CN110920541B - 一种基于视觉实现车辆自动控制的方法及系统 - Google Patents

Abstract

本发明公开了一种基于视觉实现车辆自动控制的方法及系统，包括以下步骤，采集模块采集车辆周围环境数据和自身状态数据作为数据集；所述数据集输入至计算模块进行相应处理并生成处理结果；视觉呈现模块将所述处理结果以视觉形式进行周边环境呈现，并以根据所述处理结果生成当前状态下相应的操作命令；控制模块接收所述操作命令并执行完成车辆的自动控制。本发明的有益效果：通过视觉系统直观查看车灯状态及照明范围进行远近光灯切换，还能够通过视觉系统观测到车外状况，避免突然打开车门引发事故。

Description

一种基于视觉实现车辆自动控制的方法及系统

技术领域

本发明涉及汽车车辆控制和人机交互图像视觉的技术领域，尤其涉及一种基于视觉实现车辆自动控制的方法及基于视觉实现车辆自动控制的系统。

背景技术

近年来汽车自动驾驶系统的发展，其又称自动驾驶汽车也称无人驾驶汽车、电脑驾驶汽车、或轮式移动机器人，是一种通过车载电脑系统实现无人驾驶的智能汽车系统。自动车辆控制属于自动驾驶系统的部分，其实就是将一些自动控制的技术运用到交通系统中，由以往的提高机械性能发展为辅助或部分取代或全部取代人的操纵，达到减少由于人的局限性造成的事故，减轻驾驶强度提高交通效率，降低污染的目标。现有应用的自动驾驶系统如巡航控制，防碰撞控制，由车上传感器获取控制所需信息。在智能交通环境下，单车可以通过通讯信息系统获得更多的信息用于控制。

但目前基于周边环境及车辆状态对车门、车灯等进行自动控制。例如目前特斯拉等车机已有通过屏幕等介质对车门、车灯等进行状态控制，但无法显示操作时车辆周边的环境。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明解决的一个技术问题是：提出一种基于视觉实现车辆自动控制的方法，用于车辆视觉呈现的自动控制。

为解决上述技术问题，本发明提供如下技术方案：一种基于视觉实现车辆自动控制的方法，包括以下步骤，采集模块采集车辆周围环境数据和自身状态数据作为数据集；所述数据集输入至计算模块进行相应处理并生成处理结果；视觉呈现模块将所述处理结果以视觉形式进行周边环境呈现，并以根据所述处理结果生成当前状态下相应的操作命令；控制模块接收所述操作命令并执行完成车辆的自动控制。

作为本发明所述的基于视觉实现车辆自动控制的方法的一种优选方案，其中：所述采集模块包括，利用摄像头、雷达获取周边环境数据；利用雷达、惯导和传感器获取车辆的自身状态数据。

作为本发明所述的基于视觉实现车辆自动控制的方法的一种优选方案，其中：所述计算模块包括，图像识别模块对所述采集模块采集到的图像进行识别；根据机器学习阶段定义的分类和名称，对识别出的物体命名并分类；图像识别模块对环境中的车辆周围物体进行测距；通过相对车辆自身位置的距离，得到物体的位置信息。

作为本发明所述的基于视觉实现车辆自动控制的方法的一种优选方案，其中：所述视觉呈现模块根据物体分类从模型库中提取对应模型，并结合所述位置信息将提取的模型放于视觉系统的对应位置实现三维环境重建。

作为本发明所述的基于视觉实现车辆自动控制的方法的一种优选方案，其中：所述视觉呈现模块的呈现包括，利用车辆中各对应的传感器获取各组件的状态信息；将所述状态信息发送给所述计算模块中处理；视觉呈现模块根据处理结果将需要显示的状态信息进行提取展示。

作为本发明所述的基于视觉实现车辆自动控制的方法的一种优选方案，其中：包括控制步骤，根据所述视觉呈现模块察看车辆自身及周围环境状态；对相关部件发送操作指令；所述操作指令传输入车辆部件控制器后，对相应部件进行自动控制；当异常情况发生，车辆自动进行处理。

本发明解决的另一个技术问题是：提出一种基于视觉实现车辆自动控制的系统，用于车辆视觉呈现的自动控制。

为解决上述技术问题，本发明提供如下技术方案：一种基于视觉实现车辆自动控制的系统，包括采集模块、计算模块、视觉呈现模块和控制模块；所述采集模块布设于车辆上用于采集数据集；所述计算模块与所述采集模块连接，用于将所述数据集进行处理识别分类并生成对应的处理结果；所述视觉呈现模块与所述计算模块连接，用于将所述处理结果以视觉形式进行周边环境呈现，并以根据所述处理结果生成当前状态下相应的操作命令；所述控制模块为设置于车辆上的控制器，用于接收所述操作命令并执行完成车辆的自动控制。

作为本发明所述的基于视觉实现车辆自动控制的系统的一种优选方案，其中：所述采集模块为摄像头、毫米波雷达和超声波雷达，所述计算模块为设置于车辆上的电子控制单元，通过中控屏与用户交互，所述视觉呈现模块为设置于车辆的车载投影仪，所述控制模块为车辆控制器。

本发明的有益效果：通过视觉系统直观查看车灯状态及照明范围进行远近光灯切换，还能够通过视觉系统观测到车外状况，避免突然打开车门引发事故。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一种实施例所述基于视觉实现车辆自动控制的方法的整体流程示意图；

图2为本发明第一种实施例所述基于视觉实现车辆自动控制的方法中带反馈的闭环控制系统的示意图；

图3为本发明第一种实施例所述基于视觉实现车辆自动控制的方法中场景下控制策略的示意图；

图4为本发明第一种实施例所述特斯拉车门控制视觉系统无法看到车辆及周围环境状态示意图；

图5为本发明第一种实施例所述车门控制视觉系统看到车身周围环境的示意图；

图6为本发明第一种实施例所述车门控制视觉系统看到车身周围环境无危险情况下完成车辆控制的示意图；

图7为本发明第一种实施例所述远光灯状态下发生会车及前方有人情况的示意图；

图8为本发明第二种实施例所述基于视觉实现车辆自动控制的系统的整体原理结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1～3的示意，示意为本实施例提出一种基于视觉实现车辆自动控制的方法的流程，图1中视觉系统对应本实施例的视觉呈现模块300、数据采集单元对应采集模块100、计算单元对应计算模块200、带反馈的控制器对应控制模块400。自动车辆控制就是将一些自动控制的技术运用到交通系统中，由以往的提高机械性能发展为辅助或部分取代或全部取代人的操纵，达到减少由于人的局限性造成的事故，减轻驾驶强度提高交通效率，降低污染的目标。智能交通系统的目的是高效率地使用道路和车辆。在同样的道路上提高交通流量，就要提高车速和减小车间距。这些指标提高到一定程度时，人的操纵能力不能满足安全性要求。因此降低驾驶的劳动强度和复杂性也是汽车技术追求的目标。控制目标由以往的提高机械性能发展为辅助或部分取代或全部取代人的操纵，达到减少由于人的局限性造成的事故，减轻驾驶强度提高交通效率，降低污染的目标。但目前当车辆进行自动控制时无法看到车辆及周围环境状态，为解决上述问题。具体的，

本实施例中包括以下步骤，

S1：采集模块100采集车辆周围环境数据和自身状态数据作为数据集；采集模块100包括利用摄像头、雷达获取周边环境数据；利用雷达、惯导和传感器获取车辆的自身状态数据。

本步骤采集模块100为利用摄像头采集图像，雷达采集周边环境点云数据，并通过摄像头测距与雷达测距相结合，得到物体的位置信息，通过图像识别技术对摄像头采集的图像进行物体识别，通过得到的数据对周边环境进行三维孪生世界的构建。具体包括以下步骤，

在车辆周身部署摄像头、毫米波雷达、超声波雷达，车辆周身的摄像头进行图像数据的采集，视觉Slam、毫米波雷达、超声波雷达进行点云数据的采集；

图像识别模块201通过预先进行的深度学习，对摄像头采集到的图像进行图像识别，识别出图像中的机动车、非机动车、行人、动物等；

车辆上的计算单元通过双目测距，测量识别到物体的距离，并通过雷达采集的数据进行矫正，以得到一个误差较小的距离数值，以当前车辆为原点，通过识别到的物体与本车的距离、角度，得到识别到物体的相对位置；

根据得到的识别结果从视觉系统模型库中提出对应模型，若不存在与模型库则用方盒子代替，并根据得到的位置信息将模型放在视觉系统中数字孪生世界的对应位置。

S2：数据集输入至计算模块200进行相应处理并生成处理结果；计算模块200包括，

图像识别模块201对采集模块100采集到的图像进行识别；

根据机器学习阶段定义的分类和名称，对识别出的物体命名并分类；

图像识别模块201对环境中的车辆周围物体进行测距；

通过相对车辆自身位置的距离，得到物体的位置信息。

S3：视觉呈现模块300将处理结果以视觉形式进行周边环境呈现，并以根据处理结果生成当前状态下相应的操作命令；视觉呈现模块300根据物体分类从模型库中提取对应模型，并结合位置信息将提取的模型放于视觉系统的对应位置实现三维环境重建。

视觉呈现模块300的呈现包括，

利用车辆中各对应的传感器获取各组件的状态信息；

将状态信息发送给计算模块200中处理；

视觉呈现模块300根据处理结果将需要显示的状态信息进行提取展示。

用户通过视觉系统对周边环境进行观察后，对车辆部件进行操作，视觉系统根据用户操作，将指令发送给反馈控制器，控制器收到指令后对相应部件进行自动化控制，将状态信息反馈给视觉系统，视觉系统对状态产生变化的组件进行展示。

用户通过呈现的视觉对车辆部件进行控制，系统将用户所做操作的指令发送给计算模块200，计算模块200将该指令分配给相应部件的控制器，控制器接受到指令后，对相应部件进行自动化控制。具体包括以下步骤，

待控制的部件进行相应自动化控制后，反馈控制器将状态信息反馈给视觉系统，形成闭环，例如车门打开角度，空调风量，车灯状态等；

视觉呈现模块300根据所得到的部件状态信息，对相应部件的状态进行展示；

有异常情况发生，用户没有或来不及进行有效规避风险的操作时，车机默认获取最高控制权，根据当前情况进行自动进行处理，如自动控制车辆门，最大限度保证车内外人生安全及财产安全。用户可随时夺回最高权限，中断车辆自动处理过程。

需要说明的是，本步骤中采集模块100为摄像头，首先由其采集车辆周围的图像，将图像传输给车机的计算模块200。计算模块200包括图像识别模块201，该图像识别模块201对图像上的物体进行识别并进行分类，将物体对应名称及分类数据传输给三维可视化系统，其中图像识别模块201采用图像识别技术，对图像进行对象识别，以识别各种不同模式的目标和对像的技术，如现阶段比较成熟的人脸图像识别技术，同样可以应用于本实施例对车辆周围环境的识别。

此外，通过双目测距，对不同物体进行测距，并给出相对位置，将位置信息一并发送给三维可视化系统。三维可视化系统接收到以上数据后，从模型库中提取对应模型(3dmax、Maya建模、点云模型、地图厂商提供模型等)，并在三维可视化系统(引擎基于OpenGL自研引擎)中做对应的展示，用户通过视觉系统可以直观看到车辆周身的情况。通过对车辆周边环境进行数字孪生，使用户更直观的感知车辆周围环境。该步骤呈现是否对车辆部件进行操作的基础，辅助用户进行观察。

S4：控制模块400接收操作命令并执行完成车辆的自动控制。参照图2的示意，示意为带反馈的闭环控制系统，其控制原理如图2中的示意。

进一步的，本实施例还包括控制步骤，

根据视觉呈现模块300察看车辆自身及周围环境状态；

对相关部件发送操作指令；

操作指令传输入车辆部件控制器后，对相应部件进行自动控制；

当异常情况发生，车辆自动进行处理。

视觉呈现模块300接收到相应部件的状态信息后，对该部件的状态进行相应的展示，直观呈现给用户。通过可视化系统对用户的操作进行直观展示，结合周边环境，使驾驶员直观看到操作状态及安全状况，根据实时看到的情况进行实时控制，并同时将控制后结果的反馈至用户查看，形成交互的闭环，辅助用户进行判断以及执行。

本实施例将车辆周围环境通过视觉呈现模块300进行展示，用户能够通过视觉呈现模块300展示的三维环境结合不同环境下的控制策略，由控制模块400执行相应的控制策略，完成环境和用户控制的交互。

参照图3的示意，具体的，控制策略包括，

用户通过三维可视化系统直观感知车辆周围环境，并决定是否对车辆部件进行操作，包括开关车门的操作，同时车机根据车辆当前状态决定是否对车辆部件进行操作，对部件操作包括，

当车辆处于远光灯，会车情况下，自动切换为近光灯。

当用户通过可视化系统对车辆部件进行操作，或车机自行决定进行部分操作后，将指令发送给车辆部件的控制器，指令传达到车辆部件控制器后，对相应部件进行自动化控制，控制同时，反馈控制器将状态信息反馈给视觉呈现模块300展示，形成闭环。

进一步的，控制策略包括强行控制的操作，

当用户忽略危险或有突发危险时，车载控制器未检测到用户进行有效规避风险的操作，车机会获取最高控制权，根据当前情况进行避险处理，最大限度的保证车内外人生安全及财产安全，用户可随时夺回最高控制权限，中断车机自动控制过程。例如：车主对车辆进行打开车门操作，步进电机和其他传感器对车门进行自动化控制，同时车机可随时接管控制。

对应场景下的具体控制策略包括，

当有人、非机动车辆、机动车辆等与车辆有碰撞风险或突然出现，有危险或潜在危险时，车机通过判断后下发锁住车门不允许用户打开、暂停开门动作或关闭车门等指令，最大限度保障车内车外人生及财产安全。当遇到危险情况时，将车辆进行的应急处理通过可视化系统呈现给用户，让用户了解操作原因、过程及目的。

危险情况下通过视觉呈现模块300将车辆如何在危险情况下，最大限度保障车内车外人生及财产安全的操作及过程直观呈现给用户，提升用户安全感，实现更加安全的交互。

控制模块400与用户的控制指令具体包括，

用户通过触控、语言等方式对相应部件下发要执行的操作命令；

相应部件控制器接受到命令后进行自动化控制，反馈控制器将状态信息反馈给视觉系统，视觉呈现车辆状态；

有异常情况发生，用户没有第一时间进行有效风险规避操作，车辆获取最高控制权限，对相应部件进行规避风险操作。为验证本实施例的可行性，参照图4～7的示意，分别以特斯拉的车门控制视觉系统和本方法的车门控制来作对比，本方法在车门控制时，能够看到车身周围环境，通过视觉呈现来避免事故的发生。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

实施例2

参照图8的示意，本实施例提出的一种基于视觉实现车辆自动控制的系统的整体原理结构示意图，上述方法能够本实施例的系统实现，该系统包括采集模块100、计算模块200、视觉呈现模块300和控制模块400；具体的，其中采集模块100布设于车辆上用于采集数据集；计算模块200与采集模块100连接，用于将数据集进行处理识别分类并生成对应的处理结果；视觉呈现模块300与计算模块200连接，用于将处理结果以视觉形式进行周边环境呈现，并以根据处理结果生成当前状态下相应的操作命令；控制模块400为设置于车辆上的控制器，用于接收操作命令并执行完成车辆的自动控制。

本实施例中采集模块100为安装于车身的摄像机或者摄像头，而计算模块200、视觉呈现模块300为与车辆车载控制单元的芯片集成，即ECU(电子控制单元)，通过计算模块200、视觉呈现模块300嵌入算法形成集成电路板与车载电子控制单元的芯片连接，车载ECU通过车辆的中控屏实现交互，控制模块400为与控制单元连接的车辆控制器，实现对车辆的控制。

如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种基于视觉实现车辆自动控制的方法，其特征在于：包括，

采集模块（100）采集车辆周围环境数据和自身状态数据作为数据集；

所述数据集输入至计算模块（200）进行相应处理并生成处理结果；

视觉呈现模块（300）将所述处理结果以视觉形式进行周边环境呈现，并以根据所述处理结果生成当前状态下相应的操作命令；

控制模块（400）接收所述操作命令并执行完成车辆的自动控制；

其中，所述采集模块（100）包括，

利用摄像头、雷达获取周边环境数据；

利用雷达、惯导和传感器获取车辆的自身状态数据；

所述计算模块（200）包括，

图像识别模块（201）对所述采集模块（100）采集到的图像进行识别；

根据机器学习阶段定义的分类和名称，对识别出的物体命名并分类；

图像识别模块（201）对环境中的车辆周围物体进行测距；

通过相对车辆自身位置的距离得到物体的位置信息；

所述视觉呈现模块（300）根据物体分类从模型库中提取对应模型，并结合所述位置信息将提取的模型放于视觉系统的对应位置实现三维环境重建；

所述视觉呈现模块（300）的呈现包括，

利用车辆中各对应的传感器获取各组件的状态信息；

将所述状态信息发送给所述计算模块（200）中处理；

视觉呈现模块（300）根据处理结果将需要显示的状态信息进行提取展示。

2.如权利要求1所述的基于视觉实现车辆自动控制的方法，其特征在于：包括控制步骤，

根据所述视觉呈现模块（300）查看车辆自身及周围环境状态；

对相关部件发送操作指令；

所述操作指令传输入车辆部件控制器后，对相应部件进行自动控制；

当异常情况发生，车辆自动进行处理。

3.如权利要求2所述的基于视觉实现车辆自动控制的方法，其特征在于：所述采集模块（100）包括布设于车辆上且用于采集数据集的摄像头、毫米波雷达和超声波雷达，所述计算模块（200）为设置于车辆上的电子控制单元，通过中控屏与用户交互，所述视觉呈现模块（300）为设置于车辆的车载投影仪，所述控制模块（400）为车辆控制器。