CN103389733A - 一种基于机器视觉的车辆巡线方法及系统 - Google Patents

Abstract

本发明提出了一种基于机器视觉的车辆巡线方法及系统，该巡线方法包括如下步骤：图像获取模块获取路面的RGB彩色图像；图像处理模块将RGB彩色图像转化为灰度图像；二值化模块得到二值图像，将车道线分离出来；边缘检测模块得到含有车道线的内、外边缘的边缘图像；处理器获取车道线参数，建立车道线模型，通过逆透视变换获取车辆在世界坐标系中所处的车道位置数据，根据路面图像信息，判别车辆的行驶模式；利用获取的车辆转角以及距离参数，根据车辆的行驶模式，采用分段式自适应控制策略，对舵机、电机进行参数调整，实时控制车辆的行车方向和行车速度。本发明能够提高车辆行驶过程中的巡线速度，巡线时间可以在10毫秒之内完成，车辆行驶的稳定性强。

Description

一种基于机器视觉的车辆巡线方法及系统

技术领域

本发明涉及智能交通技术领域，具体涉及一种基于机器视觉的车辆巡线方法及系统。

背景技术

随着城市化进程的加快，现有的交通基础设施和管理办法落后于时代的发展。单纯通过拓宽道路、建设高架、铺设轨道交通、设立标志、鼓励乘坐公共交通、甚至空中交通，依靠传统的方法远远不能适应现代交通的发展，需要发展智能交通系统。智能交通系统是将先进的信息技术、数据通信传输技术、控制技术以及人工智能技术等有效地综合运用于整个交通管理体系而建立起来的大范围、全方位发挥作用的实时、准确、高效运输的综合交通指挥、管理与控制系统。

智能交通系统产生于上世纪60年代末。上世纪80年代以来，该领域的研究进入了一个飞速发展的阶段。美国、日本、加拿大、德国、法国等西方主要经济强国都对此投入大量人力物力，可以说“智能交通”是交通运输进入信息时代的重要标志。将先进的智能交通系统应用于现有交通设施，可以有效减少交通负荷和环境污染、保证交通安全、提高运输效率、促进社会经济发展、提高人民生活质量，并能够推动社会信息化及新产业的形成。更重要的是，随着现代化技术的不断前进，也使得交通智能化有了实现的可能。作为未来交通发展的趋势之一，我国政府及科技、交通管理等有关部门高度重视并积极推动智能交通系统的发展。智能交通系统在中国的开发和应用将会形成一个巨大的市场，规模可在百亿甚至千亿元以上，它势必对中国的道路、交通、通讯、电信、交通管理等各个方面产生巨大的推动。

作为智能交通系统的重要研究内容之一，智能车辆驾驶主要研究无人驾驶技术或者作为辅助驾驶系统帮助驾驶员完成车辆驾驶任务。这些任务包括跟踪道路，保持车辆行驶在正确的道路上，维持车辆之间的一个安全距离，根据当前的交通状况和道路特征调节车辆的速度，横跨车道以达到超车和避障的目的以及找到达目的地的最短路径和在市区内方便的行驶和停靠。智能车辆驾驶系统集中地运用了计算机、传感器、信息融合、通讯、人工智能以及自动控制等技术，是典型的高新技术综合体。智能车辆驾驶系统将有效减轻驾驶员的负担，减少驾驶员疲劳驾驶的现象，有利于提高交通安全，同时，配合城市交通控制系统，合理分配交通流，实现交通顺畅。随着计算机和机器人技术的飞速发展，智能车辆研究已经取得了长足进展，并广泛应用于军事、科研、民用等各个领域。在军事方面，智能车辆可以在危险地带代替士兵完成战场侦察等任务；在科研方面，智能车辆可以在外星从事勘探等工作；在民用方面，可作为自动或辅助驾驶系统来减少交通事故。

视觉系统在智能车辆系统中主要起到环境探测和辨识的作用。与其他的传感器相比，计算机视觉具有检测信息量大、能够遥测等优点。缺点是在复杂环境下，要将探测的目标与背景区分开，将有用信息提取出来所需的计算量很大，单纯以硬件条件来解决，容易导致系统的实时性较差。目前的智能车辆技术中自主导航和自动驾驶是智能车辆开发的关键技术，而自主导航和自动驾驶的实现过程中，最为关键的技术是完成道路的识别和跟踪。

道路边界的识别是自主导航中的一个重要环节，对道路边界的正确识别就是能够让智能车辆在一个安全的范围之内行走。具有自主导航的智能车辆，对于信息采集处理的实时性、行驶过程中控制的鲁棒性以及自主运行决策的可行性都有很高的要求。在实际应用中一个真正具有应用价值的智能车辆必须具有实时性、鲁捧性和实用性的技术特点。实时性是指系统处理数据必须与车辆的高速行驶同步进行；鲁棒性是指智能车辆对不同的道路环境(如高速公路、市区标准公路、普通公路等)，复杂的路面环境(如路面及车道线的宽度、颜色、纹理、动态随机障碍与车流不同等)均具有良好的适应性；实用性是指要求智能车辆在体积和成本等方面能够为普通的汽车用户所接受。这些要求就使所设计的系统必须在理论算法上给予强大的支持，针对计算机视觉部分就是要有实时高效的图像处理算法。

现有技术中，智能车完成结构化道路识别的主要方法有：基于局部直线提取和动态规划的方法，基于边缘检测的识别，基于自适应窗口和膨胀特征点的识别方法，基于熵最大化的图像分割可变形模板的车道线识别技术等。基于局部直线提取和动态规划的方法需要对获取的直线点或片段进行拟合；基于膨胀特征点的识别方法容易引入道路中的干扰点，增加识别难度；基于熵最大化的图像分割可变形模板的车道线识别技术需要较长的迭代时间，实时性的效果亟待提高。另外，在行车控制策略中，基于预描点的方法由于车前盲区太大，容易产生提前预测以及频繁调整车身转角，容易导致提早改变车辆行驶状态，造成行车不稳。

发明内容

为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种基于机器视觉的车辆巡线方法及系统，提高车辆行驶过程中的巡线速度、车辆行驶的稳定性强。

为了实现本发明的上述目的，根据本发明的一个方面，本发明提供了一种基于机器视觉的车辆巡线方法，包括如下步骤：

S1：图像获取模块获取路面的RGB彩色图像，所述RGB彩色图像中含有车道线信息；

S2：图像处理模块将所述RGB彩色图像转化为灰度图像；

S3：二值化模块获取所述灰度图像中每帧图像的最佳动态阈值并进行图像分割，得到二值图像，将车道线分离出来；

S4：边缘检测模块对所述二值化图像进行边缘检测，得到含有车道线的内、外边缘的边缘图像；

S5：处理器利用霍夫变换在所述边缘图像中检测车道线并获取车道线参数，建立车道线模型；

S6：处理器利用获取的所述车道线参数，通过逆透视变换获取车辆在世界坐标系中所处的车道位置数据，根据所述路面图像信息，判别车辆的行驶模式；

S7：处理器利用步骤S6获取的车辆转角以及距离参数，根据车辆的行驶模式，采用分段式自适应控制策略，向控制器发送控制命令；

S8：所述控制器接收到处理器的控制命令，通过对舵机、电机进行参数调整，实时控制车辆的行车方向以及行车速度。

本发明的基于机器视觉的车辆巡线方法运用大津法动态确定图像的分割阈值后将图像二值化，凸显车道线特征；进而采用canny算子进行边缘检测：运用霍夫变换检测车道线并获取参数，建立车道线模型。在直道的情况下，车道线为直线模型；在车道为弯道的情况下，车道线为切线模型，模型准确。

本发明根据车辆所处的状态模式，采用分段式自适应控制策略，对控制器发送控制命令。根据车身距离车道中间的偏移角度和距离，以及车身此刻的行驶速度，根据参数自适应适度调整下一时刻的车身转角和车速。直道作为弯道的特殊道路类型，当车辆行驶在直道的中间附近位置时，始终保持车身以全速直行的方向行驶，若偏向车道两侧的任意一侧，则根据分段式自适应控制策略进行适度微调。相比较其他控制方法，本发明中方法可有效减少车身舵机角度的调整次数，摆脱车身因频繁调整行驶方向导致的车身左右摇晃，从而保障车身相对稳定的行驶。

本发明的巡线方法稳定、易控制，巡线时间可以在10毫秒之内完成。

在本发明的一种优选实施方式中，所述步骤S5中建立的车道线模型，在车道为直道的情况下，车道线为直线模型；在车道为弯道的情况下，车道线为弯道的切线模型。模型准确逼真。

在本发明的另一种优选实施方式中，所述步骤S6中的行驶模式包括直道模式，弯道模式，上坡模式，下坡模式，十字路口模式，丁字路口模式，跟随模式，换道模式，停车模式九种。

为了实现本发明的上述目的，根据本发明的另一个方面，本发明提供了一种利用基于机器视觉的车辆巡线系统，其包括图像获取模块、主板和控制器，

所述图像获取模块用于获取路面的RGB彩色图像并将所述RGB彩色图像传输给所述主板，所述RGB彩色图像中含有车道线信息；

所述主板包括巡线模块，所述巡线模块包括图像处理模块、二值化模块、边缘检测模块和处理器；

所述图像处理模块接收所述图像获取模块获取的RGB彩色图像并将所述RGB彩色图像转化为灰度图像；

所述二值化模块与所述图像处理模块相连，用于接收所述灰度图像并获取所述灰度图像中每帧图像的最佳动态阈值并进行图像分割，得到二值图像，将车道线分离出来；

所述边缘检测模块与所述二值化模块相连，用于接收并对所述二值化图像进行边缘检测，得到含有车道线的内、外边缘的边缘图像；

所述处理器与所述边缘检测模块相连，所述处理器利用霍夫变换在所述边缘图像中检测车道线并获取车道线参数，建立车道线模型；处理器利用获取的所述车道线参数，通过逆透视变换获取车辆在世界坐标系中所处的车道位置数据，以及车辆转角和距离参数，判别车辆的行驶模式；同时利用获取的车辆转角以及距离参数，根据车辆的行驶模式，采用分段式自适应控制策略，向控制器发送控制命令；

所述控制器分别与处理器、舵机和电机相连，用于接收所述处理器的控制命令，并根据控制命令调整舵机和电机的工作参数，实时控制车辆的行车方向以及行车速度。

本发明的利用基于机器视觉的车辆巡线系统能够快速的实现巡线，同时保证车辆的稳定行驶。

在本发明的一种优选实施方式中，还包括用于判断运行方向及上下坡角度的电子罗盘和用于判断前后车距及相邻车道缩微车距离的红外测距传感器，所述电子罗盘和红外测距传感器分别与所述控制板相连，所述控制板根据所述电子罗盘和红外测距传感器传输的信息控制所述马达和舵机的运行。

本发明通过利用电子罗盘和红外测距传感器，实现了对缩微车辆行驶的精确控制，大大提高了行驶的安全性。

在本发明的另一种优选实施方式中，所述主板还包括初始化模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块、地面标志检测模块；所述初始化模块分别与所述视觉传感器、所述马达和所述舵机相连，用于对所述视觉传感器、所述马达和所述舵机进行初始化；所述障碍物检测模块与所述视觉传感器相连，用于根据所述视觉传感器获取的路面图片检测车辆前方的障碍物；所述红绿灯检测模块与所述视觉传感器相连，用于根据所述视觉传感器获取的路面图片检测红绿灯的工作情况；所述交通标志检测模块与所述视觉传感器相连，用于根据所述视觉传感器获取的路面图片对交通标志进行识别和判断；所述地面标志检测模块与所述视觉传感器相连，用于根据所述视觉传感器获取的路面图片识别车辆所处车道的地面标志。

本发明通过主板的初始化模块对视觉传感器、马达和舵机进行初始化，提高了行驶的准确性，另外，该主板能够具有的障碍物检测模块、红绿灯检测模块、交通标志检测模块、地面标志检测模块，实现了自动车道线跟踪、道路位置检测、自动换道、多车互动和分析车辆目标方向的能力，提高了行驶的安全性。

在本发明的再一种优选实施方式中，所述主板还包括速度控制模块和方向控制模块，所述速度控制模块和所述方向控制模块两者分别与所述初始化模块、巡线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块和地面标志检测模块相连；所述速度控制模块接收所述初始化模块、巡线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块、地面标志检测模块检测的信息并产生速度控制信息，所述速度控制模块将速度控制信息传输给所述控制板，所述控制板控制所述马达的运行速度；所述方向控制模块接收所述初始化模块、巡线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块、地面标志检测模块检测的信息，并产生方向控制信息，所述方向控制模块将方向控制信息传输给所述控制板，所述控制板控制所述舵机的方向。

本发明的主板通过速度控制模块和方向控制模块控制马达的运行速度和舵机的方向，实现缩微车在对周围环境的感知后应采取的行为决策，包括寻线行走，壁障，遵守交通规则等，提高了行驶的安全性。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一种优选实施方式中缩微智能车系统架构图；

图2是本发明一种优选实施方式中缩微智能车硬件架构；

图3是本发明基于机器视觉的车辆巡线方法流程图；

图4是本发明一种优选实施方式中巡线摄像头采集的三通道彩色道路图；

图5是本发明一种优选实施方式中彩色道路图像转换为灰度图像；

图6是本发明一种优选实施方式中灰度图像经过动态阈值二值化后的图像；

图7是本发明一种优选实施方式中对二值化图像进行边缘检测；

图8是本发明一种优选实施方式中运用霍夫变换进行巡线；

图9是本发明一种优选实施方式中弯道获取的车道线；

图10是本发明一种优选实施方式中基于机器视觉的缩微车控制方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明可以应用于实际的车辆，也可以应用于缩微车，在本发明的一种优选实施方式中，采用缩微车进行说明，具体采用的缩微车与真车按照1:10的缩微比获得。

本发明提供了一种基于机器视觉的缩微车，如图1所示，其包括底盘，在该底盘上设置有马达和舵机。该缩微车还包括视觉传感器、主板和控制板，视觉传感器内具有图像获取模块，该图像获取模块用于获取路面图片，路面图片用于识别车道线、道路标识及障碍物等信息；主板与视觉传感器相连，主板根据视觉传感器传输的信息运行控制程序并下达控制命令，控制板与主板相连，控制板接收主板下达的控制命令控制马达和舵机的运行。

在本实施方式中，该缩微车底盘选用HPIcupracer底盘，该底盘带有电机和舵机，用于机械运动。控制板采用DFR0003型号的Arduino控制板。主板采用嵌入式x86主板。视觉传感器可以为1个，也可以为多个，当视觉传感器为多个时，每一个视觉传感器均与主板相连，在本发明的一个优选实施方中，视觉传感器为两个，在本发明的一个更加优选实施方中，视觉传感器为罗技摄像头。

本发明的基于机器视觉的缩微车通过主板和控制板根据视觉传感器获取的路面图片信息控制马达和舵机的运行，该缩微车相对于原尺度车辆，缩微智能车的结构简单，造价低廉，多车测试环境容易构建。并且实验场地和环境容易调整，可以方便地进行多种不同环境下的实验。

本发明缩微车的硬件架构包括设计合理的与车身长度、空间结构相匹配的整车硬件架构，在本实施方式中，如图2所示，将缩微车的车身空间分为上、中、下三层结构，在每层结构中放置对应的硬件装置。控制板、底盘等硬件位于车身下层，在中层放置主板，在上层车身空间设置视觉传感器，在本实施方式中，包括A、B两个图像摄取装置，B摄像头负责巡线操作，保障车身的安全行驶，A摄像头负责感知道路周围环境，以辅助决策。底层控制器和处理器分别供电。图像摄取装置安装于智能车的上方距离地面20-25cm处。

在本发明的一种优选实施方式中，该缩微车还包括用于判断运行方向及上下坡角度的电子罗盘和用于判断前后车距及相邻车道缩微车距离的红外测距传感器，电子罗盘和红外测距传感器分别与控制板相连，控制板根据电子罗盘和红外测距传感器传输的信息控制马达和舵机的运行。

在本发明的一个优选实施方式中，红外测距传感器为两路，一路用于判断前后车距，另一路用于判断该缩微车与相邻车道的缩微车的距离。

本发明通过利用电子罗盘和红外测距传感器，实现了对缩微车辆行驶的精确控制，大大提高了行驶的安全性。

在本实施方式中，该缩微车还包括电源，本发明的一种优选实施方式中，采用12V锂电池给主板供电；采用8V锂电池给电机供电；视觉传感器和控制板均由主板供电。

在本实施方式中，缩微车还包括车壳，为了便于实现对缩微车的研究，需要考虑各配件的安置情况，包括重量、尺寸因素，由于X86主板和马达耗电量高，若选用大功率电池会增加缩微车重量，因此需要选用尺寸小，功率合适的电池，同时车壳的选用也需要考虑尺寸因素。在本发明的一种优选实施方式中，外形设计时遵循以下原则：

1、主板电池和马达电池能够方便的安装、拆卸，以方便充电；

2、控制板电池无需经常拆卸，但须预留充电口；

3、车壳必须方便拆卸，换装电池。可以根据车身的大小定制车壳，考虑电池和车壳统一设计，方便更换电池。

本发明的缩微车的巡线系统包括图像获取模块、主板和控制器，所述图像获取模块用于获取视觉传感器采集的路面的RGB彩色图像并将所述RGB彩色图像传输给所述主板，所述RGB彩色图像中含有车道线信息；所述主板包括巡线模块，所述巡线模块包括图像处理模块、二值化模块、边缘检测模块和处理器；所述图像处理模块接收所述图像获取模块获取的RGB彩色图像并将所述RGB彩色图像转化为灰度图像；所述二值化模块与所述图像处理模块相连，用于接收所述灰度图像并获取所述灰度图像中每帧图像的最佳动态阈值并进行图像分割，得到二值图像，将车道线分离出来；所述边缘检测模块与所述二值化模块相连，用于接收并对所述二值化图像进行边缘检测，得到含有车道线的内、外边缘的边缘图像；所述处理器与所述边缘检测模块相连，所述处理器利用霍夫变换在所述边缘图像中检测车道线并获取车道线参数，建立车道线模型；处理器利用获取的所述车道线参数，通过逆透视变换获取车辆在世界坐标系中所处的车道位置数据，以及车辆转角和距离参数，判别车辆的行驶模式；同时利用获取的车辆转角以及距离参数，根据车辆的行驶模式，采用分段式自适应控制策略，向控制器发送控制命令；所述控制器分别与处理器、舵机和电机相连，用于接收所述处理器的控制命令，并根据控制命令调整舵机和电机的工作参数，实时控制车辆的行车方向以及行车速度。

在本实施方式中，主板还包括初始化模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块、地面标志检测模块；所述初始化模块分别与所述视觉传感器、所述马达和所述舵机相连，用于对所述视觉传感器、所述马达和所述舵机进行初始化；所述障碍物检测模块与所述视觉传感器相连，用于根据所述视觉传感器获取的路面图片检测车辆前方的障碍物；所述红绿灯检测模块与所述视觉传感器相连，用于根据所述视觉传感器获取的路面图片检测红绿灯的工作情况；所述交通标志检测模块与所述视觉传感器相连，用于根据所述视觉传感器获取的路面图片对交通标志进行识别和判断；所述地面标志检测模块与所述视觉传感器相连，用于根据所述视觉传感器获取的路面图片识别车辆所处车道的地面标志。本发明通过主板的初始化模块对视觉传感器、马达和舵机进行初始化，提高了行驶的准确性，另外，该主板能够具有的寻线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块、地面标志检测模块，实现了自动车道线跟踪、道路位置检测、自动换道、多车互动和分析车辆目标方向的能力，提高了行驶的安全性。

在本发明的另一种优选实施方式中，主板还包括速度控制模块和方向控制模块，速度控制模块和所述方向控制模块两者分别与初始化模块、寻线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块和地面标志检测模块相连。速度控制模块接收所述初始化模块、寻线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块、地面标志检测模块检测的信息并产生速度控制信息，所述速度控制模块将速度控制信息传输给所述控制板，所述控制板控制所述马达的运行速度。方向控制模块接收所述初始化模块、寻线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块、地面标志检测模块检测的信息，并产生方向控制信息，所述方向控制模块将方向控制信息传输给所述控制板，所述控制板控制舵机的方向。本发明的主板通过速度控制模块和方向控制模块控制马达的运行速度和舵机的方向，实现缩微车在对周围环境的感知后应采取的行为决策，包括寻线行走，壁障，遵守交通规则等，提高了行驶的安全性。

在本发明的一种优选实施方式中，主板采用嵌入式x86主板，基于该主板的缩微车具有自动车道线跟踪、道路位置检测、自动换道、多车互动和分析车辆目标方向的能力。在本实施方式中，主板具有USB接口，其数量可以根据需要连接的硬件进行调整，可以为限不限于4路，其中，2路USB接口连接摄像头，1路USB接口连接无线网卡；1路USB接口连接控制板。控制板上有多路数字I/O口，用于连接红外测距传感器、电子罗盘，马达和舵机等设备。

本发明主板的各模块能够实现复杂道路环境下动、静态目标环境感知的相关算法，包括寻线算法、障碍物检测算法、红绿灯检测算法、交通标志检测算法、地面标志检测算法；实现缩微车在对周围环境的感知后应采取的行为决策，包括寻线行走，壁障，遵守交通规则等。

本发明还提供了一种基于机器视觉的缩微车控制系统，其包括至少一台缩微车、服务器和管理端电脑，服务器与缩微车的主板相连，服务器与主板进行双向信息交互；管理端电脑与服务器相连，管理端电脑接收服务器传输的信息并通过服务器对所述缩微车的运行进行监控管理。

在本实施方式中，缩微车与服务器通过TCP连接，也可以通过无线网络将缩微车终端与服务器连接起来，服务器将信息传输给管理端电脑，管理端电脑实时监控缩微车的运行状态，实现对缩微车的监控管理。

本发明的基于机器视觉的缩微车控制系统的搭建是基于PC平台基础上实现的，通过视觉传感器在模拟的高仿真缩微车测试平台上对缩微车的环境感知与智能行为决策能力进行测试。缩微车是通过无线通信等技术手段将获取的信息连接到服务器的网络中,然后加以分析，得出策略，从而实现对缩微车行为的控制，从而达到车与路、车与车、车与城市网络实现相互连接。在该缩微车控制系统上，由于缩微车的实验环境相对封闭，而且缩微车基本不存在安全方面的问题，因此自主驾驶实验不会受到法律法规等非技术方面的约束。另外相对于原尺度车辆，缩微车的结构简单，造价低廉，多车测试环境容易构建。并且实验场地和环境容易调整，可以方便地进行多种不同环境下的实验。缩微车的研究是伴随着城市交通拥堵的日益加重以及智能交通解决方案技术的不断进步而出现的，也是城市智能交通以热点区域为主、以车为对象的管理模式转变的重要体现之一，推动了我国智能交通的向前发展。

在本发明的一种优选实施例中，管理端电脑内具有缩微车远程监控管理系统，该缩微车远程监控管理系统包括智能车终端管理模块和远程监控功能模块，其中，智能车终端管理模块包括系统基础属性配置模块、终端管理模块、状态信息基础属性配置模块、状态信息定制管理模块、控制指令发布模块和采集图片管理模块，缩微车通过服务器分别与系统基础属性配置模块、终端管理模块、状态信息基础属性配置模块、状态信息定制管理模块、控制指令发布模块和采集图片管理模块相连，系统基础属性配置模块用于设置缩微车系统的基础参数，具体包括但不限于缩微车上摄像头位置坐标标定、每秒读取摄像头图片帧数、通信接口、缩微车网络编号等信息。状态信息基础属性配置模块与缩微车的主板相连，用于管理缩微车行驶过程中的动态信息，包括行驶速度、加减速度、上下坡角度识别、行驶位置坐标等信息。状态信息定制管理模块与缩微车主板相连，用于管理需要和远程管理端的消息定制，用于封装并实时发送给缩微车的远程管理参数。控制指令发布模块用于配置所有接收和发送指令的格式及具体参数。采集图片管理模块用于管理视觉传感器在行驶过程是实时采集的道路信息，对图片进行相关分析处理，并将结果反馈给状态信息基础属性配置模块。远程监控功能模块包括用户连接状态监控模块和自动返回状态或更新信息模块，其中，用户连接状态监控模块与缩微车主板相连，用于实现每台缩微车控制系统与远程管理端电脑的连接监控，显示每台缩微车与管理端电脑的连接情况，显示每台缩微车当前的速度及运行状态等参数，自动返回状态或更新信息模块与缩微车主板相连，用于实时获取缩微车运行状态等参数，首先发送读取指令，缩微车接收到读取指令后将相关信息发送给远程控制端，远程控制端接收到最新的运动状态参数后对数据进行更新，再通过用户连接状态监控模块进行显示。

本发明通过缩微车远程监控管理系统实时监控缩微车的运行状态，缩微车终端与服务器保持连接，实现在信息网络平台上根据不同的功能需求对缩微车属性信息和静、动态信息进行提取和有效利用，并根据不同的功能需求对缩微车的运行状态进行有效的监管和提供综合服务。

本发明的基于机器视觉的车辆巡线系统的巡线方法，如图3所示，包括如下步骤：

S1：图像获取模块获取路面的RGB彩色图像，所述RGB彩色图像中含有车道线信息；

S2：图像处理模块将所述RGB彩色图像转化为灰度图像；

S3：二值化模块获取所述灰度图像中每帧图像的最佳动态阈值，并进行图像分割，得到二值图像，将车道线分离出来,所述最佳动态阈值的确定是根据车辆所处环境光强度，采用自适应阈值算法求取；

S4：边缘检测模块对所述二值化图像进行边缘检测，得到含有车道线的内、外边缘的边缘图像；

S5：处理器利用霍夫变换在所述边缘图像中检测车道线并获取车道线参数，建立车道线模型，所述车道线参数包括车道线斜率在车辆坐标系中的夹角；

S6：处理器利用获取的所述车道线参数，通过逆透视变换获取车辆在世界坐标系中所处的车道位置数据，根据所述路面图像信息，依据障碍物位置、车道线与车身距离参数及车辆转角，获取车辆在当前时刻的行驶状态，所述行驶状态包括左转、右转、直行、停止；

S7：处理器利用步骤S6获取的车辆转角以及距离参数，根据车辆的行驶模式，采用分段式自适应控制策略，向控制器发送控制命令；

S8：所述控制器接收到处理器的控制命令，通过对舵机、电机进行参数调整，实时控制车辆的行车方向以及行车速度。

在本实施方式中，所述步骤S5中建立的车道线模型，在车道为直道的情况下，车道线为直线模型；在车道为弯道的情况下，车道线为弯道的切线模型。

在本实施方式中，所述步骤S6中的行驶模式包括直道模式，弯道模式，上坡模式，下坡模式，十字路口模式，丁字路口模式，跟随模式，换道模式，停车模式九种。

在本发明的一种优选实施方式中，该缩微车控制方法具体包括如下步骤：

第一步：搭建本发明的基于机器视觉的缩微车控制系统。该缩微车具有自动车道线跟踪、道路位置检测、自动换道、多车互动和分析车辆目标方向的能力。该缩微车控制系统基于局域无线网络远程控制，具有远程车辆跟踪、车间通信和远程行驶状态分析的能力。在本实施方式中，按照缩微智能车与真车1:10的缩微比，根据车身的高度，设置缩微智能车上摄像头的位置，使其具有最佳盲区（车头与获取图像下边缘的距离），在本实施方式中，取为28cm。

本发明综合运用了机器视觉、人工智能、模式识别、无线传感网和仪表可靠性等多学科交叉的先进技术，针对城市交通特点，利用仿真技术，在三维立体交通沙盘仿真测试平台上复现现实交通运行状况，或虚拟出未来交通运行的状况，使得能够低成本、低危险地显现已发生或未发生的交通事件，对其特征和规律进行研究，将本发明的技术方案移植到真车上，可以帮助企业开发具有完全自主知识产权的智能汽车，为司机提供了控制车辆和预防危险情况的驾驶辅助手段，提升驾驶人员的车辆控制能力，预防交通事故和保护行人安全。

本发明智能车辆驾驶主要研究整体自动或者作为辅助驾驶系统完成车辆驾驶任务。这些任务包括跟踪道路，保持车辆行驶在正确的道路上，维持车辆之间的一个安全距离，根据当前的交通状况和道路特征调节车辆的速度，横跨车道以达到超车和避障的目的以及找到达目的地的最短路径和在市区内方便的行驶和停靠。基于机器视觉的缩微智能车在实现对障碍物、交红绿灯、交通标志等的识别中从而达到无人驾驶的目的，都要通过机器视觉来进行实现。机器视觉就是用机器代替人眼来做测量和判断。

在本实施方式中，视觉传感器将被摄取目标转换成图像信号，传送给主板，该主板还包括模数转换装置，模数转换装置根据图像信号的像素分布和亮度、颜色等信息，将图像信号转变成数字化信号；主板的寻线模块，障碍物检测模块，红绿灯检测模块，交通标志检测模块，地面标志检测模块对这些数字信号进行运算来抽取各自的目标特征并根据判别的结果来控制现场的设备动作。在本实施方式中，优选采用OpenCV图像处理软件内的函数对图像进行处理。在本实施方式中，采用的函数包括但不限于图片格式转换函数cvCvtColor()，设置图像感兴趣区域函数cvSetImageROI()，二值化处理函数cvThreshold()，寻找轮廓函数cvFindContours()，轮廓边界框返回函数cvBoundingRect()等。

第二步：主板的初始化模块对视觉传感器、马达和舵机进行初始化。

初始化该模块可实现的功能是：对所有模块中参数的初始化，包括但不限于对视觉传感器属性，投影矩阵，马达速度，舵机的方向进行初始化，在本发明的一个优选实施方式中，初始化的取值可以根据实验或者本领域常用数据进行设定。在具体算法实现上，主要调用opencv的函数进行处理。例如设置视觉传感器属性参数调用的函数包括：

cvCreateCameraCapture();该函数为摄像头获取函数,可由该函数获得缩微智能车上下两个摄像头的属性值。

cvSetCaptureProperty(pCapture,CV_CAP_PROP_FRAME_WIDTH,320);

cvSetCaptureProperty(pCapture,CV_CAP_PROP_FRAME_HEIGHT,240);

这两个函数是对摄像头获取的图片的尺寸进行设定，函数中设定的图片尺寸为320像素*240像素的大小。

第三步：视觉传感器获取路面图片并将路面图片传输给主板。

第四步：主板根据路面图片进行寻线、寻线方法包括如下步骤：

S1：图像获取模块获取路面的RGB彩色图像，所述RGB彩色图像中含有车道线信息，如图4所示，通常道路上车道线的颜色一般为白色，或间断，或连续；道路路面为黑灰色，路宽约为35cm，本实施方式中暂不考虑下雨天雨水反光等因素的影响；

S2：图像处理模块将所述RGB彩色图像转化为灰度图像，如图5所示；

S3：二值化模块运用大津法获取所述灰度图像中每帧图像的最佳动态阈值并进行图像分割，得到二值图像，将车道线分离出来，如图6所示，在本实施方式中，最佳动态阈值是利用大津法后获取的动态阈值；

S4：边缘检测模块运用canny算子对所述二值化图像进行边缘检测，得到含有车道线的内、外边缘的边缘图像，如图7所示；

S5：处理器利用霍夫变换在所述边缘图像中检测车道线并获取车道线参数，建立车道线模型，所述车道线参数包括车道线斜率在车辆坐标系中的夹角，在车道为直道的情况下，车道线为直线模型，如图8所示；在车道为弯道的情况下，车道线为弯道的切线模型，如图9所示；

S6：处理器利用获取的所述车道线参数，通过逆透视变换获取车辆在世界坐标系中所处的车道位置数据，根据所述路面图像信息，依据障碍物位置、车道线与车身距离参数及车辆转角，获取车辆在当前时刻的行驶状态，所述行驶状态包括左转、右转、直行、停止，如所处车道为直道或弯道，是否进入十字路口或丁字路口等，以便后续控制车辆实时巡线；

S7：处理器利用步骤S6获取的车辆转角以及距离参数，根据车辆的行驶模式，采用分段式自适应控制策略，向控制器发送控制命令；

S8：所述控制器接收到处理器的控制命令，通过对舵机、电机进行参数调整，实时控制车辆的行车方向以及行车速度。

本发明的巡线方法稳定、易控制，巡线时间可以在10毫秒之内完成，缩微智能车的行驶速度可达1-2米/秒，折算到真车约为40-60km/h。

在本实施方式中，处理器也可以利用图像变换函数hLines2()进行找线，图像变换函数cvHoughLines2()找到了图像中的许多线，有些是想要的，有些是不想要的，为了得到车道线，就必须要进行条件筛选，具体条件可以包括但不限于对车道线的距离、斜率阈值，车道线的距离和斜率阈值可以根据具体现实中实际道路上的车道线的距离和车道线的斜率进行选取，也可以按比例进行减小或者放大选取。

找到车道线以后，为了方便缩微车换道，可以根据车道线左右是否存在绿地的条件来确定所处的具体是哪个车道，具体的换道条件为，如果车道右侧有绿地，则说明车道是最右面的车道，只能向左换车道；如果车道左侧有绿地，则说明车道是做左侧的绿地，只能向右换车道，如果左右两侧都没有绿地，则说明是中间的车道，则向左侧或者右侧换车道都可以。本发明的寻线方法能够快速准确地找到车道线，提高了行车的安全性。

在本发明的一种优选实施方式中，障碍物检测模块对前方出现的障碍物进行识别以及作出相应的处理，障碍物检测方法包括如下步骤：

S21:障碍物检测模块接收视觉传感器获取的路面图片后对路面图片进行格式转换。障碍物检测模块从视觉传感器获取图片后，为了能避免光线影响，在图片的处理过程中需要选择合适的颜色空间，在本实施方式中，将RGB格式转换为HSV格式来进行处理，采用的格式转换函数为：cvCvtColor(image,imgHSV,CV_RGB2HSV)。

S22：障碍物检测模块进行灰度转换、二值化处理、寻找轮廓和条件筛选。在本实施方式中，调用opencv中库函数对路面图片进行灰度转换、二值化处理、寻找轮廓、条件筛选。具体主要调用的opencv函数为：

二值化处理函数cvThreshold()；

寻找轮廓函数cvFindContours()。

在寻找到轮廓后，对障碍物进行条件筛选，具体根据障碍物距缩微车的距离、障碍物的颜色、尺寸、面积等特征进行筛选。便能实现对障碍物的识别，从而指挥缩微车的动作，包括停止或换道。在本实施方式中，筛选的条件可以根据实际试验进行设定。

在本发明的另一种优选实施方式中，红绿灯检测方法包括如下步骤：

S31：当缩微车行驶至十字路口模式时，红绿灯检测模块首先判断道路图片是否存在停止线，若存在，则执行步骤S32。

S32：根据视觉传感器与红绿灯的高度阈值，获取感兴趣区域。在红绿灯的检测过程中，由于摄像头与红绿灯的高度均是固定的，为了提高处理速度，减少环境干扰等因素，因此采用设置感兴趣区域。在本实施方式中，视觉传感器与红绿灯的高度阈值可以根据具体试验或者实际道路中的视觉传感器与红绿灯的高度进行设置，具体设置的高度阈值为红绿灯的高度加减一定的度所形成的范围。

S33：读取感兴趣区域内的像素点的R、G、B三刺激值并与设定的红绿灯的R、G、B三刺激值进行比较，当满足误差要求时，感兴趣区域为目标区域。具体的误差范围可以根据具体实验具体设定。

S34：对目标区域进行条件筛选，所述条件筛选的项目包括筛选像素点的个数，R、G、B三刺激值分别所占的比例，当所有条件均满足，则判断出是红灯还是绿灯。

本发明的红绿灯检测方法通过选定感兴趣区域，并在感兴趣区域中选择目标区域，提高了红绿灯检测的快速性，对目标区域进行条件筛选，提高了红绿灯检测的准确性。

在本发明的一种优选实施方式中，交通标志类型包括直行，禁止直行，右转，禁止右转，左转，禁止左转六种类型，缩微智能车通过该模块实现对以上交通标志的识别与判断。交通标志检测方法包括如下步骤：

S41：所述交通标志检测模块检测所获取的图片中某个像素点及其周围连通域是否存在红色像素点，若存在，则设置为目标区域并进入步骤S42，具体的联通域的大小可以根据试验中交通标志的大小设定，具体可以但不限于小于、大于或等于交通标志的大小。

S42：在目标区域内搜索黑色像素点，并获取包含黑色像素的连通区域的矩形，通过尺寸调整函数调整所述矩形的大小，在本实施方式中，通过尺寸调整函数cvResize()将矩形大小调整为7个像素*5个像素大小的矩形。

S43：提取所述矩形内的特征信息，与模板进行匹配，如果匹配成功，则得出交通标志的类型，使缩微车将执行相应的操作。

本发明的交通标志检测方法通过选定目标区域并调整目标区域内矩形的大小，提高了交通标志检测的快速性，将特征信息与模板进行匹配，提高了交通标志检测的准确性。

在本发明的一种优选实施方式中，实现缩微车对所处车道地面标志的识别及反应行为，如直走右转标志，地面标志检测方法包括如下步骤：

S51：地面标志检测模块接收视觉传感器获取的路面图片后对路面图片进行灰度转换以及二值化处理。

S52：地面标志检测模块对二值化图像进行边缘检测，具体可以但不限于采用Canny函数二值化图像进行边缘检测。

S53：地面标志检测模块进行找线处理，并根据线条的大小进行筛选。

S54：提取所述线条的特征信息，与模板进行匹配，如果匹配成功，则得出地面标志的类型，使缩微车将执行相应的操作。

在本发明的一个优选实施方式中，如图10所示，主板的控制程序的运行过程为：首先，主板的初始化模块对视觉传感器、马达和舵机进行初始化。初始化后，视觉传感器检测路面图片并将路面图片传输给寻线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块以及地面标志检测模块。寻线模块寻找车道线，缩微车正常行进。在行进的过程中，障碍物检测模块判断车道是否干净，红绿灯检测模块检测是否用停止线。障碍物检测模块判断车道干净，则缩微车继续寻线行进，如果障碍物检测模块判断车道不干净，障碍物检测模块检测并经过条件筛选判断是否有障碍物，如果有障碍物则停车，停车后重新检测是否有障碍物，如果仍有障碍物则继续停车，如果没有障碍物则继续寻线行进，避免了错误检测障碍物导致停车的情况发生，提高了准确性；如果障碍物检测模块判断没有障碍物或者经过条件筛选后不需要停车，则判断换道条件是否符合，如果换道条件符合，则进行换道，在换道的过程不断检测换道是否结束，如果结束，则继续寻线行进，如果没结束，继续换道，如果换道条件不满足，则在原车道继续行驶。

红绿灯检测模块检测是否用停止线，如果没有停止线，则缩微车继续寻线行进，如果有停止线，则判断是否有红灯；如果有红灯，则停车，红灯灭后，进入十字路口行进模式，寻线模块寻找车道线，寻找到车道线后，缩微车正常行进，如果没有寻找到车道线，寻线模块继续寻线；如果没有红灯，交通标志检测模块检测是否有交通标志，如果有，则按照交通标志行走，寻线模块寻找车道线，寻找到车道线后，缩微车正常行进，如果没有寻找到车道线，寻线模块继续寻线。如果没有交通标志，则进入十字路口行进模式，寻线模块寻找车道线，寻找到车道线后，缩微车正常行进，如果没有寻找到车道线，寻线模块继续寻线。

第五步：主板向控制板下达控制命令，控制马达和舵机的运行。具体是主板的速度控制模块接收初始化模块、寻线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块、地面标志检测模块检测的信息并产生速度控制信息，所述速度控制模块将速度控制信息传输给所述控制板，所述控制板控制所述马达的运行速度。所述方向控制模块接收所述初始化模块、寻线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块、地面标志检测模块检测的信息，并产生方向控制信息，所述方向控制模块将方向控制信息传输给所述控制板，所述控制板控制所述舵机的方向。

第六步：主板将缩微车的运行信息传输给服务器并通过服务器传输给管理端电脑，管理端电脑通过缩微车远程监控管理系统实现对缩微车的运行进行监控管理。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种基于机器视觉的车辆巡线方法，其特征在于，包括如下步骤：

S1：图像获取模块获取路面的RGB彩色图像，所述RGB彩色图像中含有车道线信息；

S2：图像处理模块将所述RGB彩色图像转化为灰度图像；

S3：二值化模块获取所述灰度图像中每帧图像的最佳动态阈值，并进行图像分割，得到二值图像，将车道线分离出来,所述最佳动态阈值的确定是根据车辆所处环境光强度，采用自适应阈值算法求取；

S4：边缘检测模块对所述二值化图像进行边缘检测，得到含有车道线的内、外边缘的边缘图像；

S5：处理器利用霍夫变换在所述边缘图像中检测车道线并获取车道线参数，建立车道线模型，所述车道线参数包括车道线斜率在车辆坐标系中的夹角；

S6：处理器利用获取的所述车道线参数，通过逆透视变换获取车辆在世界坐标系中所处的车道位置数据，根据所述路面图像信息，依据障碍物位置、车道线与车身距离参数及车辆转角，获取车辆在当前时刻的行驶状态，所述行驶状态包括左转、右转、直行、停止；

S7：处理器利用步骤S6获取的车辆转角以及距离参数，根据车辆的行驶模式，采用分段式自适应控制策略，向控制器发送控制命令；

S8：所述控制器接收到处理器的控制命令，通过对舵机、电机进行参数调整，实时控制车辆的行车方向以及行车速度。

2.如权利要求1所述的基于机器视觉的车辆巡线方法，其特征在于：所述步骤S5中建立的车道线模型，在车道为直道的情况下，车道线为直线模型；在车道为弯道的情况下，车道线为弯道的切线模型。

3.如权利要求1所述的基于机器视觉的车辆巡线方法，其特征在于：所述步骤S6中的行驶模式包括直道模式，弯道模式，上坡模式，下坡模式，十字路口模式，丁字路口模式，跟随模式，换道模式，停车模式九种。

4.一种利用权利要求1所述的基于机器视觉的车辆巡线方法进行巡线的系统，其特征在于，包括：图像获取模块、主板和控制器，

所述图像获取模块用于获取路面的RGB彩色图像并将所述RGB彩色图像传输给所述主板，所述RGB彩色图像中含有车道线信息；

所述主板包括巡线模块，所述巡线模块包括图像处理模块、二值化模块、边缘检测模块和处理器；

所述图像处理模块接收所述图像获取模块获取的RGB彩色图像并将所述RGB彩色图像转化为灰度图像；

所述二值化模块与所述图像处理模块相连，用于接收所述灰度图像并获取所述灰度图像中每帧图像的最佳动态阈值并进行图像分割，得到二值图像，将车道线分离出来；

所述边缘检测模块与所述二值化模块相连，用于接收并对所述二值化图像进行边缘检测，得到含有车道线的内、外边缘的边缘图像；

所述处理器与所述边缘检测模块相连，所述处理器利用霍夫变换在所述边缘图像中检测车道线并获取车道线参数，建立车道线模型；处理器利用获取的所述车道线参数，通过逆透视变换获取车辆在世界坐标系中所处的车道位置数据，以及车辆转角和距离参数，判别车辆的行驶模式；同时利用获取的车辆转角以及距离参数，根据车辆的行驶模式，采用分段式自适应控制策略，向控制器发送控制命令；

所述控制器分别与处理器、舵机和电机相连，用于接收所述处理器的控制命令，并根据控制命令调整舵机和电机的工作参数，实时控制车辆的行车方向以及行车速度。

5.如权利要求4所述的基于机器视觉的车辆巡线系统，其特征在于：还包括用于判断运行方向及上下坡角度的电子罗盘和用于判断前后车距及相邻车道缩微车距离的红外测距传感器，所述电子罗盘和红外测距传感器分别与所述控制板相连，所述控制板根据所述电子罗盘和红外测距传感器传输的信息控制所述马达和舵机的运行。

6.如权利要求4所述的基于机器视觉的车辆巡线系统，其特征在于：所述主板还包括初始化模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块、地面标志检测模块；

所述初始化模块分别与所述视觉传感器、所述马达和所述舵机相连，用于对所述视觉传感器、所述马达和所述舵机进行初始化；

所述障碍物检测模块与所述视觉传感器相连，用于根据所述视觉传感器获取的路面图片检测车辆前方的障碍物；

所述红绿灯检测模块与所述视觉传感器相连，用于根据所述视觉传感器获取的路面图片检测红绿灯的工作情况；

所述交通标志检测模块与所述视觉传感器相连，用于根据所述视觉传感器获取的路面图片对交通标志进行识别和判断；

所述地面标志检测模块与所述视觉传感器相连，用于根据所述视觉传感器获取的路面图片识别车辆所处车道的地面标志。

7.如权利要求4所述的基于机器视觉的车辆巡线系统，其特征在于：所述主板还包括速度控制模块和方向控制模块，所述速度控制模块和所述方向控制模块两者分别与所述初始化模块、巡线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块和地面标志检测模块相连；

所述速度控制模块接收所述初始化模块、巡线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块、地面标志检测模块检测的信息并产生速度控制信息，所述速度控制模块将速度控制信息传输给所述控制板，所述控制板控制所述马达的运行速度；

所述方向控制模块接收所述初始化模块、巡线模块、障碍物检测模块、红绿灯检测模块、交通标志检测模块、地面标志检测模块检测的信息，并产生方向控制信息，所述方向控制模块将方向控制信息传输给所述控制板，所述控制板控制所述舵机的方向。

Images