CN102541061A - 基于视听觉信息的缩微智能车 - Google Patents

Abstract

本发明公开了一种基于视听觉信息的缩微智能车，涉及自动化领域。所述缩微智能车包括：图像采集模块、车辆交互模块、中心模块和运动执行模块；图像采集模块连接中心模块，用于采集缩微智能车前后方的视频图像，并将视频图像发送给中心模块；车辆交互模块连接中心模块，用于根据中心模块的交互控制信息，与其他车辆通过灯光和鸣笛声进行信息交互，并将接收到的交互信息发送给中心模块；中心模块用于对视频图像和交互信息进行处理，根据处理结果进行驾驶决策，进而生成运动控制信息；运动执行模块连接中心模块，用于根据运动控制信息，实现缩微智能车的变速和转向。所述缩微智能车对于智能车多车交互问题的研究实验提供了有力支持。

Description

基于视听觉信息的缩微智能车

技术领域

本发明涉及自动化技术领域，特别涉及一种基于视听觉信息的缩微智能车。

背景技术

20世纪以来，随着汽车工业的快速发展，许多国家的汽车保有量大幅上升。近年来私人轿车在交通工具中所占比重的逐年增加，在给人们带来交通便利的同时，也带来了一些严重的问题。据统计，在导致人员伤亡的交通事故中，有90％以上是由于驾驶员的疲劳、注意力不集中和错误操作等人为因素所致。在驾驶过程中人是最不可控和难以确定的因素。

上世纪70年代起，西方各发达国家为了解决日益严重的交通问题提出了智能交通系统的概念。智能汽车作为智能交通系统的一个重要的组成部分，受到许多研究机构的广泛关注。智能汽车是信息技术、通讯技术、传感技术、控制技术、计算机技术等多领域科学与普通汽车相结合的产物。与人工驾驶汽车相比，由于具备在环境感知、反应速度、稳定运行等方面的优越性，智能汽车可为交通出行提供更优质的安全保障。如果未来智能汽车得到广泛应用，那么由人为因素造成的交通事故将大为减少。除此之外，由智能汽车构成的智能交通系统，通过合理地优化调度交通资源，及时发布交通信息，同时提供更智能便捷的相关交通服务，使得更高的交通运输效率，更环保的交通运输方式成为了可能。因此，智能汽车技术的发展对于确保国家安全与公共安全、推动信息服务及相关产业发展以及提高国民生活水平，意义重大。

智能车按照驾驶的自主化水平可以分为辅助驾驶和全自主化。智能车辅助技术是通过车身上的环境感知系统获取周围的环境信息，检测车体位置以及周围障碍物的分布情况，为驾驶员提供辅助驾驶操作，必要时甚至能够代替驾驶员对车辆进行控制；全自主化驾驶是车辆驾驶过程中无需人工干预，通过对周围驾驶环境的感知和判断，独立地进行驾驶工作。全自主驾驶可以完全替代人类驾驶员的功能。由于完全自主驾驶技术在军事、社会、经济和科技等方面都具有重要意义，因此智能自主驾驶研究受到广泛的重视。

然而，在真实道路交通环境中进行智能车研究实验，面临一定的困难。首先是面临社会安全方面的问题，即使采用大量的防护措施来保证车辆和人员的安全，考虑到自主驾驶系统的复杂性，仍无法完全排除其中潜在的错误和危险。其次，在目前的交通法规中对智能车缺乏相关规定，如果由于自主驾驶程序的错误导致交通事故，相关研究机构将可能面临法律诉讼上的风险。另外，由于需要大量的精密设备，智能车的整体造价通常比较高，高额的成本和维护费用是大多数研究机构难以承受的，因此限制了实验进行的规模。由此可见，构建缩微尺度下的自主驾驶验证平台，对于相关研究实验的进行十分必要。

我国已经越来越重视自主驾驶的相关研究，在2008年，国家自然科学基金“视听觉信息认知计算”重大专项计划明确提出，要建立一个具有自然环境感知与智能行为决策能力的无人驾驶车辆验证平台。该自主驾驶平台需要能够在城市道路环境中，安全并入及驶出多车道交通场景，具有保持车道、换道和超车的能力，在人与车辆较为密集的情况下，能对障碍物进行识别，并对行驶路径做出正确地选择。但该项目主要关注单独一辆车的技术，没有进行多车交互等问题的研究。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何提供一种基于视听觉信息的缩微智能车，以便为智能车多车交互问题的研究实验提供支持。

(二)技术方案

一种基于视听觉信息的缩微智能车，其包括：图像采集模块、车辆交互模块、中心模块和运动执行模块；所述图像采集模块连接所述中心模块，用于在所述缩微智能车自主驾驶过程中，采集所述缩微智能车前后方的视频图像，并将所述视频图像发送给所述中心模块；所述车辆交互模块连接所述中心模块，用于根据所述中心模块的交互控制信息，与其他车辆通过灯光和鸣笛声进行信息交互，并将接收到的交互信息发送给所述中心模块；所述中心模块用于对所述视频图像和交互信息进行处理，根据处理结果进行驾驶决策，进而生成运动控制信息；所述运动执行模块连接所述中心模块，用于根据所述运动控制信息，实现所述缩微智能车的变速和转向。

优选地，所述缩微智能车还包括：传感器模块；所述传感器模块连接所述中心模块，用于测定所述缩微智能车的实际行进速度和方向，并将测定结果反馈给所述中心模块。

优选地，所述传感器模块包括：陀螺仪和光电码盘；所述陀螺仪用于通过测量所述缩微智能车的姿态角测定所述缩微智能车的实际行进方向；所述光电码盘用于通过测量车轮的转速测定所述缩微智能车的实际行进速度。

优选地，所述缩微智能车还包括：通信模块；所述通信模块连接所述中心模块，用于通过无线通信方式实现对所述缩微智能车的实时跟踪和控制。

优选地，所述通信模块采用无线网卡；所述无线网卡通过Wi-Fi技术进行无线通信。

优选地，所述图像采集模块包括：前视摄像头和后视摄像头；所述前视摄像头用于采集所述缩微智能车前方的视频图像；所述后视摄像头用于采集所述缩微智能车后方的视频图像。

优选地，所述车辆交互模块包括：车灯、扬声器和麦克风；所述车灯用于向其他车辆发送灯光交互信息；所述扬声器用于向其他车辆发送鸣笛交互信息；所述麦克风用于接收其他车辆的鸣笛交互信息。

优选地，所述中心模块包括：互相连接的主处理器和主控制器；所述主处理器还连接所述图像采集模块和所述麦克风，用于对所述视频图像和接收到的鸣笛交互信息进行处理，根据处理结果进行驾驶决策，并将决策结果发送给所述主控制器；所述主控制器用于根据所述决策结果生成运动控制信息，并将所述运动控制信息发送给所述运动执行模块。

优选地，所述主处理器通过车道线识别算法、路面标志识别算法，以及障碍物和交通信号灯识别算法实现对所述视频图像的处理。

优选地，所述运动执行模块包括：转向舵机和电机；所述转向舵机用于控制车轮转向；所述电机用于控制所述缩微智能车的行进速度。

(三)有益效果

本发明的基于视听觉信息的缩微智能车，能够通过车辆交互模块与其他车辆进行交互，能够在同等比例尺度缩微下的城市道路环境中，正常行驶，并可实现一系列的基本交通驾驶行为，对于智能车多车交互问题的研究实验提供了有力支持。

附图说明

图1是本发明实施例所述的基于视听觉信息的缩微智能车的模块结构图；

图2是ROI区域的搜索流程图；

图3是ROI区域的搜索结果示意图；

图4a是直线车道的拟合结果示意图；

图4b是弯线车道的拟合结果示意图；

图5a～c是路面标志识别算法处理过程示意图；

图6a～b是车道目标行驶轨迹示意图；

图7是基于预瞄点的控制系统框图；

图8是预瞄点与车辆轨迹的关系图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1是本发明实施例所述的基于视听觉信息的缩微智能车的模块结构图。如图1所示，所述缩微智能车包括：图像采集模块100、车辆交互模块200、中心模块300、通信模块400、传感器模块500和运动执行模块600。所述图像采集模块100连接所述中心模块300，用于在所述缩微智能车自主驾驶过程中，采集所述缩微智能车前后方的视频图像，并将所述视频图像发送给所述中心模块300；所述车辆交互模块200连接所述中心模块300，用于根据所述中心模块300的交互控制信息，与其他车辆通过灯光和鸣笛声进行信息交互，并将接收到的交互信息发送给所述中心模块300；所述中心模块300用于对所述视频图像和交互信息进行处理，根据处理结果进行驾驶决策，进而生成运动控制信息；所述通信模块400连接所述中心模块300，用于与远控端无线通信，进而实现对所述缩微智能车的实时跟踪和控制；所述传感器模块500连接所述中心模块300，用于测定所述缩微智能车的实际行进速度和方向，并将测定结果反馈给所述中心模块300，从而实现对所述缩微智能车行进速度和方向的闭环控制；所述运动执行模块600连接所述中心模块300，用于根据所述运动控制信息，实现所述缩微智能车的变速和转向。

所述图像采集模块100进一步包括：前视摄像头101和后视摄像头102，所述前视摄像头101和后视摄像头102均连接所述中心模块300的主处理器301。所述前视摄像头101模拟一般的人眼视觉，观察所述缩微智能车前方的道路情况；所述后视摄像头102模拟车辆后视镜的作用，只在需要时(比如换道超车)启用，减轻了所述主处理器301的计算负担，同时这一机制本身也符合人类的一般驾驶习惯。

所述前视摄像头101和后视摄像头102均采用市场上常见的USB(Universal Serial Bus，通用串行总线)接口CCD(Charge-coupledDevice，电荷耦合元件)摄像头，接口简单，驱动软件设计十分方便，与传统的CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)摄像头相比，具有灵敏度高、解析度高、噪点低的优点。

所述车辆交互模块200进一步包括：麦克风201、车灯202和扬声器203。所述麦克风201连接所述主处理器301，用于接收其他车辆的鸣笛交互信息(即鸣笛声)，并将接收到的鸣笛交互信息发送给所述主处理器301，以供所述主处理器301进行驾驶决策。所述车灯202和扬声器203均连接所述中心模块300的主控制器302。所述车灯202用于向其他车辆发送灯光交互信息，比如在前车辆想要向左换道时，可以开启左转向灯，以提示在后车辆。所述扬声器203用于向其他车辆发送鸣笛交互信息，比如在前车辆开启了左转向灯，在后车辆的前视摄像头101将采集到这一灯光交互信息，并发送给所述主处理器301进行处理，所述主控制器302根据处理结果生成交互控制信息，从而控制所述扬声器203鸣笛，以提示在前车辆待在后车辆通过后再换道；这时，在前车辆的麦克风201将接收到在后车辆的鸣笛交互信息，并据此暂缓换道。通过上述不同车辆间的信息交互过程，可以有效降低出现交通事故的概率。

所述中心模块300包括：所述主处理器301和所述主控制器302。所述主处理器301主要用于对所述图像采集模块100采集的视频图像和所述麦克风201采集的鸣笛交互信息进行处理，根据处理结果进行驾驶决策，得到车辆驾驶的控制策略，并将这些控制策略以串口命令的形式，通过UART(Universal Asynchronous Receiver/Transmitter，通用异步接收/发送装置)接口发送给所述主控制器302。所述主处理器301采用AMD公司的E350APU(Accelerated Processing Unit，加速处理器)主板，CPU和GPU(Graphic Processing Unit，图形处理器)已集成所述APU主板中，并且所述APU主板已安装内存和硬盘，最多支持6个USB接口和2个UART接口，十分方便扩展新的外部设备。所述主控制器302根据接收到的控制策略和所述传感器模块500的反馈信息生成运动控制信息和交互控制信息，并将所述运动控制信息发送给所述运动执行模块600，将所述交互控制信息发送给所述车辆交互模块200。

所述主处理器301对所述视频图像的处理，主要是指从所述视频图像中提取车辆驾驶的必需信息，包括车道线分布情况、周围环境的障碍物分布情况、周围车辆分布情况、交通指示标志和交通信号灯等。所述主处理器301主要通过车道线识别算法、路面标志识别算法，以及障碍物和交通信号灯识别算法实现对所述视频图像的处理。

所述车道线识别算法具体如下：第一步将所述前视摄像头101采集到的图像灰度化。为了找到车道线，采用了窗口滑动的方式进行扫描，搜寻ROI(region of interest，影像处理中自动需要处理的区域)区域。显然，包含车道线的窗口与不包含车道线的窗口关于像素点的灰度统计结果明显不同，例如直方图分布，利用这一点，可予以区别。第二步，将灰度图像二值化后，找到其中心与像素点中心重合的窗口，即可确定最优的ROI区域，即车道线位于窗口正中间。图2是ROI区域的搜索流程图。图3是ROI区域的搜索结果示意图。第三步，滤去与车道线无关的孤立像素点，以图像中车道线每一行的中心点作为车道线的代表点，根据这些代表点就可以拟合出车道线。图4a是直线车道的拟合结果示意图；图4b是弯线车道的拟合结果示意图。

常用的路面标志有直行、转弯、三向和回转四种。图5a～c是路面标志识别算法处理过程示意图。如图5a～c所示，首先通过统计窗口区域灰度直方图分布的方式找到如图5a所示的包含路面标志的ROI区域；接着，如图5b所示，对所述包含路面标志的ROI区域进行二值化处理；最后，如图5c所示，利用形态学处理，滤去噪声像素点，提取出其中的路面标志，再与路面标志模板进行比较，就可以确定标志类型。

对于障碍物(比如前方车辆)和交通信号灯的识别，主要依据是待识别对象的颜色和轮廓特征，即搜索符合识别对象颜色特征的像素，再判断这些像素所构成连通域的形状，实现识别任务。

提取到车辆驾驶的必需信息后，即可进行车辆行驶控制，第一步是由所述主处理器301生成目标行驶轨迹，鉴于一般车道和交通路口的车道线分布是不同的，因此确定行驶轨迹时需要分情况讨论。图6a～b是车道目标行驶轨迹示意图。如图6a所示，对于直线车道，目标行驶轨迹直接为两条车道线的中间线；如图6b所示，对于弯线车道，取可视车道线加入固定偏移量(车道宽度是固定的)来确定目标行驶轨迹。所述主控制器302将所述目标行驶轨迹信息转换成驾驶指令，驱动智能车通过轨迹跟踪的方式不断前进。

所述缩微智能车的轨迹跟踪通过对车身行驶过程进行预瞄控制实现。驾驶员的驾驶控制是一个典型的预瞄控制。驾驶员在开车时，眼睛不断对前方的道路环境进行预瞄，经过大脑处理形成行驶的理想路径，然后根据前方路径的弯曲程度决定方向盘的旋转方向和大小，使车辆尽量逼近前方的路径。车辆控制具有明显的时延性，而预瞄控制具有明显的预见性，因此预瞄控制比反馈控制更适合于车辆的驾驶控制。所述缩微智能车模仿人类的驾驶行为，也采用预瞄控制的方式控制其自主驾驶行为。预瞄控制是通过预瞄点来实现的。预瞄点的选取需要满足两个条件：(1)预瞄点应该在规划的路径上；(2)预瞄点应该在视野图像范围内。图7是基于预瞄点的控制系统框图；图8是预瞄点与车辆轨迹的关系图。如图7和图8所示，图中θ表示预瞄点与车身连线的倾角，β表示预瞄点位置车身的倾角，并且β＝2θ，θ_ref、β_ref通过所述前视摄像头101测定。

所述缩微智能车行驶过程中需要满足相应的安全规则，根据不同场景改变不同的驾驶状态。主要的驾驶状态包括：当道路上出现行人时都要做出停车操作；当交通灯为红灯时，在路口的车辆也必须停止行进；视野中出现车辆时，判断车距是否足够安全，车距过近时，为避免撞车需要减速或停车；没有其他要素干扰时，按照驾驶指令进行正常的行驶；前方车辆速度过慢时，检测相邻车道斜后方是否有车辆阻挡，若无且当前处于直道驾驶状态，换道超车，否则维持当前驾驶状态，超车完成后回到直道驾驶状态，弯道不允许超车。

重新参见图1，所述通信模块400采用无线网卡，所述无线网卡通过Wi-Fi(一种无线互联技术)技术进行无线通信，从而实现对所述缩微智能车的实时跟踪和控制。

所述传感器模块500进一步包括：陀螺仪501和光电码盘502。所述陀螺仪501用于通过测量所述缩微智能车的姿态角测定所述缩微智能车的实际行进方向；所述光电码盘502用于利用光栅产生的方波信号通过测定频率计算车轮的转速，进而测定所述缩微智能车的实际行进速度。所述传感器模块500将测定的所述缩微智能车的实际行进方向和速度反馈给所述主控制器302，以供所述主控制器302生成运动控制信息。这种闭环的控制方式对于坡道行驶尤为重要，使用开环控制很难保证车速不失控。

所述运动执行模块600进一步包括：转向舵机601和电机602。所述转向舵机601通过传动杆带动所述缩微智能车的前轮转向。所述电机602通过减速器和变速箱带动前轮转动，从而控制所述缩微智能车的行进速度。

本实施例所述缩微智能车能实现的基本驾驶行为包括：

车道保持：所述缩微智能车确保永远行驶在当前车道中央，适应车道线的变化，实现直道、弯道的稳定行驶。并且，直线行驶时，可进行换道，若停车提前开启右转向灯，停车位置贴近车道线但不压线；拐弯时，提前开启转向灯提示其他车辆注意，适当减速，保证车辆匀速稳定通过弯道，不压线。除此之外，所述缩微智能车还能实现无碰撞地安全驶入驶出立交桥，尤其在下坡路段，确保车速不变。

超车：所述缩微智能车在直道行驶时，遇到前方车辆车速过慢，可依照交通规则先给出换道指示再换道，加速超过前方车辆。

避障：所述缩微智能车在行驶过程中，遇到前方出现障碍物，包括突然停止的其他车辆和用来表示行人的玩具人偶，可自动停止，避免碰撞。

识别交通标志：所述缩微智能车在行驶过程中，遇到特殊交通指示标志，如交通限速标志，可予以识别，并在必要时对驾驶策略进行调整。

识别红绿灯：所述缩微智能车在通过十字路口时，可对当前路口的红绿灯进行识别，按照交通信号灯的通行原则，红灯停，绿灯行，黄灯注意危险，安全通过路口。

车辆交互：所述缩微智能车在分叉路口行驶时，通过前方车辆的转弯灯提示，判断前方车辆选择的行驶道路，用于指导自身的驾驶。出现危险时，鸣笛提示注意安全。

本发明实施例所述基于视听觉信息的缩微智能车，能够通过车辆交互模块与其他车辆进行交互，能够在同等比例尺度缩微下的城市道路环境中，正常行驶，并可实现一系列的基本交通驾驶行为，对于智能车多车交互问题的研究实验提供了有力支持。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (10)

1.一种基于视听觉信息的缩微智能车，其特征在于，包括：图像采集模块、车辆交互模块、中心模块和运动执行模块；所述图像采集模块连接所述中心模块，用于在所述缩微智能车自主驾驶过程中，采集所述缩微智能车前后方的视频图像，并将所述视频图像发送给所述中心模块；所述车辆交互模块连接所述中心模块，用于根据所述中心模块的交互控制信息，与其他车辆通过灯光和鸣笛声进行信息交互，并将接收到的交互信息发送给所述中心模块；所述中心模块用于对所述视频图像和交互信息进行处理，根据处理结果进行驾驶决策，进而生成运动控制信息；所述运动执行模块连接所述中心模块，用于根据所述运动控制信息，实现所述缩微智能车的变速和转向。

2.如权利要求1所述的缩微智能车，其特征在于，所述缩微智能车还包括：传感器模块；所述传感器模块连接所述中心模块，用于测定所述缩微智能车的实际行进速度和方向，并将测定结果反馈给所述中心模块。

3.如权利要求2所述的缩微智能车，其特征在于，所述传感器模块包括：陀螺仪和光电码盘；所述陀螺仪用于通过测量所述缩微智能车的姿态角测定所述缩微智能车的实际行进方向；所述光电码盘用于通过测量车轮的转速测定所述缩微智能车的实际行进速度。

4.如权利要求1所述的缩微智能车，其特征在于，所述缩微智能车还包括：通信模块；所述通信模块连接所述中心模块，用于通过无线通信方式实现对所述缩微智能车的实时跟踪和控制。

5.如权利要求4所述的缩微智能车，其特征在于，所述通信模块采用无线网卡；所述无线网卡通过Wi-Fi技术进行无线通信。

6.如权利要求1所述的缩微智能车，其特征在于，所述图像采集模块包括：前视摄像头和后视摄像头；所述前视摄像头用于采集所述缩微智能车前方的视频图像；所述后视摄像头用于采集所述缩微智能车后方的视频图像。

7.如权利要求1所述的缩微智能车，其特征在于，所述车辆交互模块包括：车灯、扬声器和麦克风；所述车灯用于向其他车辆发送灯光交互信息；所述扬声器用于向其他车辆发送鸣笛交互信息；所述麦克风用于接收其他车辆的鸣笛交互信息。

8.如权利要求7所述的缩微智能车，其特征在于，所述中心模块包括：互相连接的主处理器和主控制器；所述主处理器还连接所述图像采集模块和所述麦克风，用于对所述视频图像和接收到的鸣笛交互信息进行处理，根据处理结果进行驾驶决策，并将决策结果发送给所述主控制器；所述主控制器用于根据所述决策结果生成运动控制信息，并将所述运动控制信息发送给所述运动执行模块。

9.如权利要求8所述的缩微智能车，其特征在于，所述主处理器通过车道线识别算法、路面标志识别算法，以及障碍物和交通信号灯识别算法实现对所述视频图像的处理。

10.如权利要求1所述的缩微智能车，其特征在于，所述运动执行模块包括：转向舵机和电机；所述转向舵机用于控制车轮转向；所述电机用于控制所述缩微智能车的行进速度。

Images