CN111698469B - 一种用于无人驾驶车辆的视觉监测方法及系统 - Google Patents

Abstract

本发明公开了一种用于无人驾驶车辆的视觉监测方法及系统，涉及汽车电子电器及无人驾驶测试领域，该方法包括S1：基于车辆无人驾驶系统中的驾驶状态报文，判断车辆当前是否为无人驾驶状态，若是，转到S3，若否，转到S2；S2：判断车辆当前是否为远程驾驶状态，若是，转到S3，若否，转到S1；S3：设置于车辆上的视觉监控系统采集视频图像数据，转到S4；S4：通过无线网络，将视频监控系统采集的视频图像数据上传至云平台并存储。本发明能够有效提升车辆无人驾驶状态的监测效果。

Description

一种用于无人驾驶车辆的视觉监测方法及系统

技术领域

本发明涉及汽车电子电器及无人驾驶测试领域，具体涉及一种用于无人驾驶车辆的视觉监测方法及系统。

背景技术

汽车的发展日益智能化，每一项功能都在使驾驶员和乘客更加方便、更加安全，无人驾驶已经成为各个车企努力发展的方向之一。无人驾驶主要依靠车内的计算机系统来实现无人驾驶的目的。无人驾驶按照SAE(Society of Automotive Engineers，美国机动车工程师学会)的划分级别分为L1-L5不同阶段，分别代表车辆控制器行驶不同级别的控制权。

同时，对于无人驾驶，根据相关规定，在自动驾驶养车运营过程中，需要全程监测车辆的运营过程以及测试过程，但是，现有技术在对测试阶段的无人驾驶车辆进行监测时，往往是采用设置在路边的摄像头进行，导致监测效果差。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种用于无人驾驶车辆的视觉监测方法及系统，能够有效提升车辆无人驾驶状态的监测效果。

为达到以上目的，本发明提供的一种用于无人驾驶车辆的视觉监测方法，包括以下步骤：

S1：基于车辆无人驾驶系统中的驾驶状态报文，判断车辆当前是否为无人驾驶状态，若是，转到S3，若否，转到S2；

S2：判断车辆当前是否为远程驾驶状态，若是，转到S3，若否，转到S1；

S3：设置于车辆上的视觉监控系统采集视频图像数据，转到S4；

S4：通过无线网络，将视频监控系统采集的视频图像数据上传至云平台并存储。

在上述技术方案的基础上，所述视觉监控系统包括多个摄像头，分别为位于车辆前方的前监控摄像头、位于车辆后方的后监控摄像头、位于车辆左方的左监控摄像头和位于车辆右方的右监控摄像头，且每个摄像头均对应有ID号。

在上述技术方案的基础上，

当将视频监控系统采集的视频图像数据上传至云平台并存储之后，还包括：将视频图像数据在显示器中进行显示；

所述显示器由4块显示器拼接而成，分别为前显示器、后显示器、左显示器和右显示器，且左显示器位于前显示器的左方，右显示器位于前显示器的右方，后显示器位于前显示器的下方；

所述前显示器用于显示前监控摄像头采集的视频图像数据，所述后显示器用于显示后监控摄像头采集的视频图像数据，所述左显示器用于显示左监控摄像头采集的视频图像数据，所述右显示器用于显示右监控摄像头采集的视频图像数据。

在上述技术方案的基础上，

所述将视频图像数据在显示器中进行显示，具体为：获取车辆变速箱的档位状态，若档位为前进挡，则前显示器显示前监控摄像头采集的视频图像数据，若档位为倒车档，则后显示器显示后监控摄像头采集的视频图像数据；

所述左显示器始终显示左监控摄像头采集的视频图像数据，所述右显示器始终显示右监控摄像头采集的视频图像数据。

在上述技术方案的基础上，所述无线网络为5G网络。

本发明提供的一种用于无人驾驶车辆的视觉监测系统，包括：

视觉监控系统，其用于基于车辆无人驾驶系统中的驾驶状态报文，判断车辆当前是否为无人驾驶状态，以及车辆当前是否为远程驾驶状态，若均为是，则采集车辆四周的视频图像数据；

传输系统，其用于将视觉监控系统采集的视频图像数据上传至云平台系统；

云平台系统，其用于对传输系统上传的视频图像数据进行存储。

在上述技术方案的基础上，所述视觉监控系统包括摄像系统，所述摄像系统包括位于车辆前方的前监控摄像头、位于车辆后方的后监控摄像头、位于车辆左方的左监控摄像头和位于车辆右方的右监控摄像头，且每个摄像头均对应有ID号。

在上述技术方案的基础上，

所述云平台系统包括显示系统，所述显示系统用于对视频图像数据进行显示；

所述显示系统包括4块拼接的显示器，分别为前显示器、后显示器、左显示器和右显示器，且左显示器位于前显示器的左方，右显示器位于前显示器的右方，后显示器位于前显示器的下方；

所述前显示器用于显示前监控摄像头采集的视频图像数据，所述后显示器用于显示后监控摄像头采集的视频图像数据，所述左显示器用于显示左监控摄像头采集的视频图像数据，所述右显示器用于显示右监控摄像头采集的视频图像数据。

在上述技术方案的基础上，

所述云平台系统还包括结算模块，所述解算模块用于获取车辆变速箱的档位状态，若档位为前进挡，则控制前显示器显示前监控摄像头采集的视频图像数据，若档位为倒车档，则控制后显示器显示后监控摄像头采集的视频图像数据；

所述结算模块还用于控制左显示器始终显示左监控摄像头采集的视频图像数据，控制右显示器始终显示右监控摄像头采集的视频图像数据。

在上述技术方案的基础上，所述视觉监控系统与车辆的CAN总线相连，以获取车辆无人驾驶系统中的驾驶状态报文。

与现有技术相比，本发明的优点在于：通过在车辆上设置视觉监控系统，视觉监控系统实时采集车辆无人驾驶状态中的视频图像数据，并上传至云平台进行存储，存储的视频图像数据可作为测试的验证数据、远程控制安全员的监测数据、无人驾驶相关部门要求留底的测试原始数据使用，有效提升车辆无人驾驶状态的监测效果。

附图说明

图1为本发明实施例中一种用于无人驾驶车辆的视觉监测方法的流程图；

图2为本发明实施例中视觉监控系统中摄像头的布置结构示意图；

图3为本发明实施例中显示器的布置示意图；

图4为本发明实施例中一种用于无人驾驶车辆的视觉监测系统的结构示意图。

具体实施方式

本发明实施例提供一种用于无人驾驶车辆的视觉监测方法，通过在车辆上设置视觉监控系统，视觉监控系统实时采集车辆无人驾驶状态中的视频图像数据，并上传至云平台进行存储，存储的视频图像数据可作为测试的验证数据、远程控制安全员的监测数据、无人驾驶相关部门要求留底的测试原始数据使用。本发明实施例相应地还提供了一种用于无人驾驶车辆的视觉监测系统。

以下结合附图及实施例对本发明作进一步详细说明。本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

参见图1所示，本发明实施例提供的一种用于无人驾驶车辆的视觉监测方法，包括以下步骤：

S1：基于车辆无人驾驶系统中的驾驶状态报文，判断车辆当前是否为无人驾驶状态，若是，转到S3，若否，转到S2；

本发明实施例中，视觉监控系统可以嵌入在车辆的无人驾驶系统中，判断车辆当前是否为无人驾驶状态，以及车辆当前是否为远程驾驶状态，均由视觉监控系统完成。视觉监控系统通过接入车辆的CAN(Controller Area Network，控制器局域网络)总线，获取无人驾驶系统中的驾驶状态报文，从而对车辆当前的驾驶状态进行判断。

车辆的驾驶状态有多种，每一种驾驶状态均有对应的ID(Identity Document，编码)号，故可以通过驾驶状态的ID号，快速获知车辆当前的驾驶状态。

S2：判断车辆当前是否为远程驾驶状态，若是，转到S3，若否，转到S1；

同样的，判断车辆当前是否为远程驾驶状态，可以通过获取车辆驾驶状态的ID号，从而快速判断得知车辆当前是否为远程驾驶状态。

S3：设置于车辆上的视觉监控系统采集视频图像数据，转到S4；

本发明实施例中，视觉监控系统包括多个摄像头，参见图2所示，分别为位于车辆前方的前监控摄像头、位于车辆后方的后监控摄像头、位于车辆左方的左监控摄像头和位于车辆右方的右监控摄像头，且每个摄像头均对应有ID号。

S4：通过无线网络，将视频监控系统采集的视频图像数据上传至云平台并存储。本发明实施例中，无线网络为5G(5th generation mobile networks，第五代移动通信技术)网络。

本发明实施例中，当将视频监控系统采集的视频图像数据上传至云平台并存储之后，还包括：将视频图像数据在显示器中进行显示；

参见图3所示，显示器由4块显示器拼接而成，分别为前显示器、后显示器、左显示器和右显示器，且左显示器位于前显示器的左方，右显示器位于前显示器的右方，后显示器位于前显示器的下方；前显示器用于显示前监控摄像头采集的视频图像数据，所述后显示器用于显示后监控摄像头采集的视频图像数据，左显示器用于显示左监控摄像头采集的视频图像数据，右显示器用于显示右监控摄像头采集的视频图像数据。

本发明实施例中，将视频图像数据在显示器中进行显示，具体为：获取车辆变速箱的档位状态，若档位为前进挡，则前显示器显示前监控摄像头采集的视频图像数据，若档位为倒车档，则后显示器显示后监控摄像头采集的视频图像数据；左显示器始终显示左监控摄像头采集的视频图像数据，右显示器始终显示右监控摄像头采集的视频图像数据。

当视觉监控系统根据无人驾驶系统中的控制信号感知车辆行驶方向发生改变(如正向行驶切换至倒车或由倒车状态切换至正向行驶)，则提取车辆CAN总线上传输的车辆档位报文，从而得到车辆的档位状态，当档位为前进挡时，将前监控摄像头采集的视频图像数据显示在前显示器上，当档位为倒车档时，将后监控摄像头采集的视频图像数据显示在后显示器上，实现视野自动随档位切换，达到低失真化监控效果。

显示界面是由一定数量的显示器拼接组成，每个显示器显示一个方位摄像头采集到的视频图像数据，在摄像头采集的视频图像数据中携带有摄像头的位置ID，根据车辆档位报文提取变速箱档位状态，若档位为前进挡，则调整前监控摄像头的身份标识与前显示器关联，携带前监控摄像头位置ID的图像数据传输至前显示器显示，其他摄像头与显示器之前的关联关系对应调整；若档位为倒车档，则调整后监控摄像头的位置ID与前显示器关联，携带后监控摄像头位置ID的视频图像数据传输至前显示器显示，其他摄像头与显示器之前的关联关系对应调整。

云平台根据车辆行驶状态决策以决定是否存储视频图像数据，车辆行驶状态决策是指先判断车辆是否处于无人驾驶状态，若处于无人驾驶状态则存储数据，若不处于无人驾驶状态，则再判断车辆是否处于远程驾驶转台，处于远程驾驶状态则存储数据，若不处于远程驾驶状态，则表明车辆当前不处于无人和远程驾驶状态，车辆当前没有图像数据采集和存储的需求，无需存储数据。平台根据是否收到视频图像数据决定是否存储视频图像数据，并在云平台显示存储系统的使用占比情况。

本发明实施例的用于无人驾驶车辆的视觉监测方法，通过在车辆上设置视觉监控系统，视觉监控系统实时采集车辆无人驾驶状态中的视频图像数据，并上传至云平台进行存储，存储的视频图像数据可作为测试的验证数据、远程控制安全员的监测数据、无人驾驶相关部门要求留底的测试原始数据使用，有效提升车辆无人驾驶状态的监测效果。

参见图4所示，本发明实施例还提供一种用于无人驾驶车辆的视觉监测系统，用于实现上述所述的视觉监测方法，包括视觉监控系统、传输系统和云平台系统。

视觉监控系统用于基于车辆无人驾驶系统中的驾驶状态报文，判断车辆当前是否为无人驾驶状态，以及车辆当前是否为远程驾驶状态，若均为是，则采集车辆四周的视频图像数据；传输系统用于将视觉监控系统采集的视频图像数据上传至云平台系统；云平台系统用于对传输系统上传的视频图像数据进行存储。视觉监控系统与车辆的CAN总线相连，以获取车辆无人驾驶系统中的驾驶状态报文。

无人驾驶系统包括8个摄像头，用于环境感知和感知融合。8个摄像头分别为位于车辆前方的广角摄像头、位于车辆左前方的广角摄像头、位于车辆右前方的广角摄像头、位于车辆左后方的广角摄像头、位于车辆右后方的广角摄像头、位于车辆后方的广角摄像头、位于车辆前方的窄角摄像头和位于车辆后方的窄角摄像头。无人驾驶系统通过传感器系统、定位系统、高精度地图和云平台实现自主无人驾驶或远程操控驾驶。

本发明实施例中，视觉监控系统包括摄像系统，所述摄像系统包括位于车辆前方的前监控摄像头、位于车辆后方的后监控摄像头、位于车辆左方的左监控摄像头和位于车辆右方的右监控摄像头，且每个摄像头均对应有ID号。

本发明实施例中，云平台系统包括显示系统，显示系统用于对视频图像数据进行显示；显示系统包括4块拼接的显示器，分别为前显示器、后显示器、左显示器和右显示器，且左显示器位于前显示器的左方，右显示器位于前显示器的右方，后显示器位于前显示器的下方；前显示器用于显示前监控摄像头采集的视频图像数据，所述后显示器用于显示后监控摄像头采集的视频图像数据，所述左显示器用于显示左监控摄像头采集的视频图像数据，所述右显示器用于显示右监控摄像头采集的视频图像数据。

本发明实施例中，云平台系统还包括结算模块，解算模块用于获取车辆变速箱的档位状态，若档位为前进挡，则控制前显示器显示前监控摄像头采集的视频图像数据，若档位为倒车档，则控制后显示器显示后监控摄像头采集的视频图像数据；结算模块还用于控制左显示器始终显示左监控摄像头采集的视频图像数据，控制右显示器始终显示右监控摄像头采集的视频图像数据。

本发明实施例的用于无人驾驶车辆的视觉监测系统，通过在车辆上设置视觉监控系统，视觉监控系统实时采集车辆无人驾驶状态中的视频图像数据，并上传至云平台进行存储，存储的视频图像数据可作为测试的验证数据、远程控制安全员的监测数据、无人驾驶相关部门要求留底的测试原始数据使用，有效提升车辆无人驾驶状态的监测效果。

本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

Claims (4)

1.一种用于无人驾驶车辆的视觉监测方法，其特征在于，包括以下步骤：

S1：基于车辆无人驾驶系统中的驾驶状态报文，通过获取车辆驾驶状态的ID号，判断车辆当前是否为无人驾驶状态，若是，转到S3，若否，转到S2；

S2：通过获取车辆驾驶状态的ID号，判断车辆当前是否为远程驾驶状态，若是，转到S3，若否，转到S1；

S3：设置于车辆上的视觉监控系统采集视频图像数据，转到S4；

S4：通过无线网络，将视频监控系统采集的视频图像数据上传至云平台并存储；

所述视觉监控系统包括多个摄像头，分别为位于车辆前方的前监控摄像头、位于车辆后方的后监控摄像头、位于车辆左方的左监控摄像头和位于车辆右方的右监控摄像头，且每个摄像头均对应有ID号；

当将视频监控系统采集的视频图像数据上传至云平台并存储之后，还包括：将视频图像数据在显示器中进行显示；

所述显示器由4块显示器拼接而成，分别为前显示器、后显示器、左显示器和右显示器，且左显示器位于前显示器的左方，右显示器位于前显示器的右方，后显示器位于前显示器的下方；

所述前显示器用于显示前监控摄像头采集的视频图像数据，所述后显示器用于显示后监控摄像头采集的视频图像数据，所述左显示器用于显示左监控摄像头采集的视频图像数据，所述右显示器用于显示右监控摄像头采集的视频图像数据；

所述将视频图像数据在显示器中进行显示，具体为：获取车辆变速箱的档位状态，若档位为前进挡，则前显示器显示前监控摄像头采集的视频图像数据，若档位为倒车档，则后显示器显示后监控摄像头采集的视频图像数据；

所述左显示器始终显示左监控摄像头采集的视频图像数据，所述右显示器始终显示右监控摄像头采集的视频图像数据。

2.如权利要求1所述的一种用于无人驾驶车辆的视觉监测方法，其特征在于：所述无线网络为5G网络。

3.一种用于无人驾驶车辆的视觉监测系统，其特征在于，包括：

视觉监控系统，其用于基于车辆无人驾驶系统中的驾驶状态报文，通过获取车辆驾驶状态的ID号，判断车辆当前是否为无人驾驶状态，以及车辆当前是否为远程驾驶状态，若均为是，则采集车辆四周的视频图像数据；

传输系统，其用于将视觉监控系统采集的视频图像数据上传至云平台系统；

云平台系统，其用于对传输系统上传的视频图像数据进行存储；

所述视觉监控系统包括摄像系统，所述摄像系统包括位于车辆前方的前监控摄像头、位于车辆后方的后监控摄像头、位于车辆左方的左监控摄像头和位于车辆右方的右监控摄像头，且每个摄像头均对应有ID号；

所述云平台系统包括显示系统，所述显示系统用于对视频图像数据进行显示；

所述显示系统包括4块拼接的显示器，分别为前显示器、后显示器、左显示器和右显示器，且左显示器位于前显示器的左方，右显示器位于前显示器的右方，后显示器位于前显示器的下方；

所述前显示器用于显示前监控摄像头采集的视频图像数据，所述后显示器用于显示后监控摄像头采集的视频图像数据，所述左显示器用于显示左监控摄像头采集的视频图像数据，所述右显示器用于显示右监控摄像头采集的视频图像数据；

所述云平台系统还包括结算模块，所述结算模块用于获取车辆变速箱的档位状态，若档位为前进挡，则控制前显示器显示前监控摄像头采集的视频图像数据，若档位为倒车档，则控制后显示器显示后监控摄像头采集的视频图像数据；

所述结算模块还用于控制左显示器始终显示左监控摄像头采集的视频图像数据，控制右显示器始终显示右监控摄像头采集的视频图像数据。

4.如权利要求3所述的一种用于无人驾驶车辆的视觉监测系统，其特征在于：所述视觉监控系统与车辆的CAN总线相连，以获取车辆无人驾驶系统中的驾驶状态报文。

Images