CN102521566A - 一种地面自主设备用低功耗实时道路自动识别装置 - Google Patents

Abstract

本发明提供了一种地面自主设备用低功耗实时道路自动识别装置，该装置包含硬件部分和软件部分，硬件部分以主处理器模块为中心主要用来处理各种数据，道路信息依靠摄像头模块采集，GPS主要接受定位信息与时间信息，CAN作为整体信息传输总线连接主处理器与地面自主设备上的传感器节点进行信息的交互，存储设备模块用来存储实时处理的数据以及安装软件，连接在主处理器模块上的显示模块显示信息，串口模块实现该装置的信息传输，无线网络模块实现无线通信；软件部分分为操作系统、驱动程序、上位机与算法程序，主要用来操作硬件进行视频图像采集并得到识别结果。本发明具有高可靠性、低功耗、运算速度快、资源丰富、成本低、可进行实时处理等优点。

Description

一种地面自主设备用低功耗实时道路自动识别装置

技术领域

本发明属于图像视频识别与智能检测技术领域，具体涉及一种地面自主设备用低功耗实时道路自动识别装置。

背景技术

在本发明里，地面自主设备特指包括自主机器人、无人装备在内的具有自主判别能力、不需要人为操作，能够在地面上对道路进行自主识别并自主行走的机械装置与机构。目前地面自主设备自主行驶主要在一些路线已知或路况较好的结构化道路，如车道线完整，边界清晰的高速公路和城市道路上进行。对于没有车道线，边界模糊，道路场景比较复杂的非结构化道路，如乡村道路和城市非主干道路，基本无法完成无人驾驶，甚至无法实现路面的自主识别。所以目前地面自主设备自主行驶不能称作完整意义上的无人驾驶。另外，目前自主行驶技术路面识别方法较为简单，判断错误率较高；一般用PC机实现，功耗高，专用性不强，平台的性价比不高，不能从软硬件的层面上实现地面自主设备自主行驶的目的。

中国专利文献数据库公开了一种名称为《一种基于智能优化的道路识别系统与方法》(专利申请号为201010616857.8)的发明专利，该发明公开了一种基于智能优化的道路识别系统与方法，该系统包括顺次通讯连接的用于分割输入图像的图像分割模块、用于将彩色图像进行灰度化的图像特征提取模块、智能搜索单元和道路识别输出模块，以及与所述智能搜索单元通讯连接的用于描述缺省的道路参数的辅助知识库模块；所述智能搜索单元包括顺次通讯连接的匹配度计算模块和用于搜索参数空间的最佳匹配模板的智能搜索模块。所述基于智能优化的道路识别系统利用了直线变形模板的匹配方法为基础，在梯度特征信息的辅助下，设计了道路图像与直线变形模板的匹配似然概率方法，并且在参数空间中通过智能算法进行寻找的方法来获得道路识别的效果。其不足之处是该系统组成软件模块多，可靠性低，算法复杂，运算速度慢，不能进行实时处理；需要的硬件资源多，一般需要大功率的X86计算机才能对该系统做处理，不适合用于移动平台，特别不具备用于地面自主设备等移动设备的条件，不能实现实时道路检测。

发明内容

本发明的目的是为了解决现有地面自主设备自主行驶中道路检测系统算法复杂，可靠性不高，所需硬件资源多，功耗大，处理速度慢，不能实时处理采集到的视频图像信息，不能实时做出判断，整体性价比较低等不足，本发明提供一种地面自主设备用低功耗实时道路识别装置。

本发明的地面自主设备用低功耗实时道路自动识别装置，包括硬件部分和软件部分两大部分，硬件部分包括摄像头模块、TVIN模块、GPS模块(以下用GPS表示)、CAN总线(以下用CAN表示)模块、主处理器模块、存储设备模块、显示模块、串口模块、无线网络模块、电源模块。硬件部分以主处理器模块为中心，道路信息主要依靠摄像头模块进行采集，然后通过TVIN模块送给主处理器模块进行识别处理，GPS主要接受定位信息与时间信息然后送给主处理器模块进行判断处理，CAN作为整体信息传输总线连接主处理器与地面自主设备上的传感器节点进行信息的交互，存储设备模块用来存储实时处理的数据以及安装软件，存储设备模块与主处理器模块连接，连接在主处理器模块上的显示模块主要用来显示摄像头采集来的道路信息与GPS采集的信息，串口模块把主处理器模块与地面自主设备中的其他处理器模块相连接进行信息传输，无线网络模块连接着主处理器模块使得主处理器模块与附近其他地面自主设备进行无线通信，电压模块则是为整个装置提供电源供应；软件部分分为操作系统、驱动程序、上位机与算法程序，操作系统主要是运行在主处理器模块中的软件程序，为整个装置的软件运算提供软件平台，驱动程序抽象的连接着硬件部分与软件部分，并驱动硬件部分工作，上位机为硬件部分采集的信息提供一个人机交互界面实现在操作系统上的C语言界面程序，算法程序是实现道路识别方法的核心程序，算法程序主要运行在操作系统之上计算出识别结果。

所述的算法程序是本发明软件部分的核心，以下为算法程序实现步骤：

步骤(1)设定视频图像某一区域为道路所在可接受区域，并规定视频图像像素属于道路区域的条件，如道路区域连续，尖峰噪声较少等。设检测出的道路区域图像像素值假定为1，非道路区域像素值假定为0。

步骤(2)选择现有道路识别方法中的三种方法，分别为模版匹配法，自适应分割法和K-means聚类法作为备用方法，其中三种方法实现过程中都会用到视频图像预处理，形态学滤波等提高检测精度的算法。

步骤(3)模版匹配算法检测速度最快，首先用于检测采集到的视频图像的道路区域，并设定检测到的道路区域为A。

步骤(4)如果检测结果符合约束条件，标出道路区域A的边缘，取边缘中线为地面自主设备行驶路线。否则，进行第(5)步。

步骤(5)利用自适应分割的方法对采集的视频图像进行道路区域识别处理，并设定检测出的道路区域为B。如果检测结果符合约束条件，则检测并标出道路区域B的边缘，取边缘中线为地面自主设备行驶路线。否则，与步骤(4)检测出的道路区域A取交集，设交集区域为M：

M＝A∩B                      (1)

如果交集M符合约束条件，则仍标出道路边线，取中线做地面自主设备行驶路线。否则，进行第(6)步。

步骤(6)选择K-means算法对道路区域进行检测，检测出的道路区域设为C。如果检测结果符合约束条件，则选道路区域中间像素连成的线作为行驶路线。否则，与前两种检测结果用三人举手表决方法取道路区域N：

$N=\mathrm{ABC}+A\stackrel{\‾}{B}C+\mathrm{AB}\stackrel{\‾}{C}+\stackrel{\‾}{A}\mathrm{BC}---\left(2\right)$

然后标出道路区域N的边缘，取边缘中线作为行驶路线。

步骤(7)判断是否继续实时识别，如果是则返回第(3)步，否则结束。

本发明的地面自主设备用低功耗实时道路自动识别装置的主处理器模块的核心为FREESCALE公司的ARM Cortex A8处理器芯片i.MX535，该处理器芯片主频1GHz，有低功耗特性，包含的协处理器有3D与2D图形加速器(以下用GPU表示)、图像处理单元(以下用IPU表示)、视频处理单元(以下用VPU表示)，从而具有强大的图像视频以及图形处理功能。

本发明的地面自主设备用低功耗实时道路自动识别装置的摄像头模块为CCD摄像头，采集的视频为PAL格式，25Fps的视频。

本发明的地面自主设备用低功耗实时道路自动识别装置的TVIN模块是把PAL格式的视频信号转换成符合i.MX535的IPU处理格式的视频格式，以便进行处理。

本发明的地面自主设备用低功耗实时道路自动识别装置的GPS采用河南友利华系统工程有限公司的GSU36，该GPS体积小，功耗低，输出CMOS电平，可以直接与i.MX535连接，输出的1PPS经过10KHz信号细分时间，再利用中断进行授时可以把精确度提高到毫秒级。

本发明的地面自主设备用低功耗实时道路自动识别装置的CAN包含两路CAN总线，通信速率为500Kbps。

本发明的地面自主设备用低功耗实时道路自动识别装置的存储设备模块包含64G的SATA硬盘与4G的SD卡。

本发明的地面自主设备用低功耗实时道路自动识别装置的显示模块，为奇美的7寸液晶屏，同时包含7寸电阻触摸屏，可以直接与主处理器模块连接。

本发明的地面自主设备用低功耗实时道路自动识别装置的串口模块，包含5个串口，为装置提供丰富的通信接口。

本发明的地面自主设备用低功耗实时道路自动识别装置的无线网络模块，包含蓝牙，WLAN，为连接附近其他地面自主设备提供便利。

本发明的地面自主设备用低功耗实时道路自动识别装置的电源模块采用的芯片为Dialog公司的DA9053电源管理芯片，同时包含电池及电池充电电路。

本发明的主处理器模块还包含4G的NAND FLASH、以太网预留接口、USB接口、音频接口、512MB的DDR3。

地面自主设备用低功耗实时道路自动识别装置可以使得显示模块在不用的时候进入关闭状态，即只运行其他部分而不运行显示模块，以便节省电量。

所述的操作系统为Linux系统，作为开源操作系统，无需任何费用可以进行资源开源开发。

本发明与现有技术相比的优点在于：

1、本发明利用摄像头实时采集视频图像，然后利用具有1GHz主频i.MX535的主处理器模块对视频图像结合算法程序进行处理，在处理中算法的数学运算主要靠VPU以及IPU协处理器硬件实现，具有高效的特点，从而获得高实时性。

2、本发明所选用的模块都具有低功耗的特征，同时在软件设计时还采用了关闭显示模块、间歇性的关闭GPS，从而保证了低功耗的特点。

3、本发明的地面自主设备用低功耗实时道路识别装置具有高可靠性、低功耗、运算速度快、资源丰富、成本低、可进行实时处理等特点，能在地面自主设备中长时间高效率的工作。能有效实时的进行视频图像采集，实时实现道路识别处理，同时接口丰富，可以方便的同附近地面自主设备进行无线通信，存储容量大，存储器类别丰富，可以存储不同格式的大量数据，提供了CAN，为地面自主设备的安全可靠的运行提供了技术通信保障，具备显示模块，为人为观看与操作提供了便利。

附图说明

图1为地面自主设备用低功耗实时道路自动识别装置总体结构框图；

图2为地面自主设备用低功耗实时道路自动识别装置软件部分算法程序流程框图；

图中：1.摄像头模块，2.TVIN模块，3.GPS，4.CAN，5.主处理器模块，6.存储设备模块，7.显示模块，8.串口模块，9.无线网络模块，10.电源模块。

具体实施方式

所述的地面自主设备用低功耗实时道路自动识别装置分为硬件、软件两大部分，硬件部分主要是硬件平台的搭建和硬件模块，软件部分分为操作系统、驱动程序、上位机与算法程序三部分。地面自主设备用低功耗实时道路自动识别装置是实现地面自主设备用道路实时识别的装置，具有高可靠性、低功耗、运算速度快、资源丰富、成本低、可进行实时处理等优点。软件分为操作系统、驱动程序、上位机与算法程序，主要用来对硬件进行相关的操作与实现相应的道路识别功能。

下面结合附图和实例对本发明作进一步描述。

图1为地面自主设备用低功耗实时道路自动识别装置总体结构框图。如图1所示，本发明的地面自主设备用低功耗实时道路自动识别装置，包括硬件部分和软件部分，硬件部分包括摄像头模块1、TVIN模块2、GPS3、CAN4、主处理器模块5、存储设备模块6、显示模块7、串口模块8、无线网络模块9、电源模块10。硬件部分以主处理器模块5为中心，道路信息主要依靠摄像头模块1进行采集，然后通过TVIN模块2送给主处理器模块5进行识别处理，GPS3主要接受定位信息与时间信息然后送给主处理器模块5进行判断处理，CAN4作为整体信息传输总线连接主处理器与地面自主设备上的传感器节点进行信息的交互，存储设备模块6与主处理器模块5连接，用来存储实时处理的数据以及安装软件，连接在主处理器模块5上的显示模块7主要用来显示摄像头采集来的道路信息与GPS3采集的信息，串口模块8把主处理器模块5与地面自主设备中的其他处理器模块相连接进行信息传输，无线网络模块9连接着主处理器模块5使得主处理器模块5与附近其他地面自主设备进行无线通信，电源模块10则是为整个系统提供电源供应；软件部分分为操作系统、驱动程序、上位机与算法程序，操作系统主要是运行在主处理器模块5中的软件程序，为整个装置的软件运算提供软件平台，驱动程序抽象的连接着硬件部分与软件部分，驱动硬件工作，上位机为硬件采集的信息提供一个人机交互界面实现在操作系统上的C语言界面程序，算法程序是实现道路识别的核心程序，算法程序主要运行在操作系统之上计算出识别结果。

所述的地面自主设备用低功耗实时道路自动识别装置的主处理器模块5的核心为FREESCALE公司的ARM Cortex A8处理器芯片i.MX535，该处理器芯片主频1GHz，有低功耗特性，包含的协处理器有3D与2D图形加速器(以下用GPU表示)、图像处理单元(以下用IPU表示)、视频处理单元(以下用VPU表示)，从而具有强大的图像视频以及图形处理功能。

所述的地面自主设备用低功耗实时道路自动识别装置的摄像头模块1为CCD摄像头，采集的视频为PAL/NTSC格式，25Fps的视频。

所述的地面自主设备用低功耗实时道路自动识别装置的TVIN模块2是把PAL格式的视频信号转换成符合i.MX535的IPU处理格式的视频格式，以便进行处理。

所述的地面自主设备用低功耗实时道路自动识别装置的GPS 3采用河南友利华系统工程有限公司的GSU36，该GPS3体积小，功耗低，输出CMOS电平，可以直接与i.MX535连接，输出的1PPS经过10KHz信号细分时间，再利用中断进行授时可以把精确度提高到毫秒级，同时可以用来指出较远距离的大致路径。

所述的地面自主设备用低功耗实时道路自动识别装置的CAN4包含两路CAN总线，通信速率为500Kbps。

本发明的地面自主设备用低功耗实时道路自动识别装置的存储设备模块6包含64G的SATA硬盘与4G的SD卡。

所述的地面自主设备用低功耗实时道路自动识别装置的显示模块7支持奇美的7寸液晶屏，还支持PAL/NTSC、VGA、S-video、HD1080p模拟视频输出，在7寸液晶屏上同时包含7寸电阻触摸屏，可以直接接上主处理器模块5。

所述的地面自主设备用低功耗实时道路自动识别装置的串口模块8，包含5个串口，为装置提供丰富的通信接口。

所述的地面自主设备用低功耗实时道路自动识别装置的无线网络模块9，包含蓝牙、WLAN，为连接附近其他地面自主设备提供便利。

所述的地面自主设备用低功耗实时道路自动识别装置的电源模块10采用的芯片为Dialog公司的DA9053电源管理芯片，同时包含电池及电池充电电路。

所述的主处理器模块5还包含4G的NAND FLASH、以太网预留接口、USB接口、音频接口、512MB的DDR3。

地面自主设备用低功耗实时道路自动识别装置可以使得显示模块7在不用的时候进入关闭状态，即只运行其他部分而不运行显示模块7，以便节省电量。

所述的操作系统为Linux系统，作为开源操作系统，无需任何费用可以进行开源开发。

图2为地面自主设备用低功耗实时道路自动识别装置算法程序流程框图，以下为算法程序实现步骤：

步骤(1)设定视频图像某一区域为道路所在可接受区域，并规定视频图像像素属于道路区域的条件，如道路区域连续，尖峰噪声较少等。设检测出的道路区域图像像素值假定为1，非道路区域像素值假定为0。

步骤(2)选择现有道路识别方法中的三种方法，分别为模版匹配法，自适应分割法和K-means聚类法作为备用方法，其中三种方法实现过程中都会用到视频图像预处理，形态学滤波等提高检测精度的算法。

步骤(3)模版匹配算法检测速度最快，首先用于检测采集到的视频图像的道路区域，并设定检测到的道路区域为A。

步骤(4)如果检测结果符合约束条件，标出道路区域A的边缘，取边缘中线为地面自主设备行驶路线。否则，进行第(5)步。

步骤(5)利用自适应分割的方法对采集的视频图像进行道路区域识别处理，并设定检测出的道路区域为B。如果检测结果符合约束条件，则检测并标出道路区域B的边缘，取边缘中线为地面自主设备行驶路线。否则，与步骤(4)检测出的道路区域A取交集，设交集区域为M：

M＝A∩B                         (1)

如果交集M符合约束条件，则仍标出道路边线，取中线做地面自主设备行驶路线。否则，进行第(6)步。

步骤(6)选择K-means算法对道路区域进行检测，检测出的道路区域设为C。如果检测结果符合约束条件，则选道路区域中间像素连成的线作为行驶路线。否则，与前两种检测结果用三人举手表决方法取道路区域N：

$N=\mathrm{ABC}+A\stackrel{\‾}{B}C+\mathrm{AB}\stackrel{\‾}{C}+\stackrel{\‾}{A}\mathrm{BC}---\left(2\right)$

然后标出道路区域N的边缘，取边缘中线作为行驶路线。

步骤(7)判断是否继续实时识别，如果是则返回到第(3)步，继续识别，否则结束。

本发明利用摄像头实时采集视频图像，然后利用具有1GHz主频i.MX535的主处理器模块5对视频图像结合算法程序进行处理，在处理中算法的数学运算主要靠VPU以及IPU协处理器硬件实现，具有高效的特点，从而获得高实时性。

本发明所选用的模块都具有低功耗的特征，同时在软件设计时还采用了关闭显示模块7、间歇性的关闭GPS3，从而保证了低功耗的特点。

本发明的地面自主设备用低功耗实时道路自动识别装置工作时，首先上电运行操作系统和驱动程序，GPS3指出所在地与目的地的大致路径，按照GPS3指出的大致路径，通过摄像头模块1采集实时视频图像，通过TVIN模块送入主处理器模块5中，存储设备模块6可以根据设置选择存储原始视频或者不存储原始视频，同时主处理器模块5运行算法程序操作，得出道路识别结果，即可实现远距离的大致路径引导和具体道路指导，同时CAN4、存储设备模块6、显示模块7、串口模块8、无线网络模块9、电源模块10中除了显示模块可以根据要求关闭外，别的都要求一直工作。

地面自主设备用低功耗实时道路自动识别装置加电后首先启动并运行操作系统，操作系统启动完成后，根据需要自动运行算法软件，如有错误，则出现提示；如未发现错误，则软件启动完毕，进入工作状态。

软件进入工作状态后，通过算法程序实现道路识别功能。算法程序是运行在操作系统和驱动程序之上的。

用户可先将地面自主设备用低功耗实时道路识别装置的外部接口连接好，也可以进行包装成一个小实体，这样更利于在地面自主设备上替换。

本发明未详细阐述的部分属于本领域公知技术。

Claims (10)

1.一种地面自主设备用低功耗实时道路自动识别装置，其特征在于：该装置包含硬件部分和软件部分，硬件部分含有摄像头模块(1)、TVIN模块(2)、GPS(3)、CAN(4)、主处理器模块(5)、存储设备模块(6)、显示模块(7)、串口模块(8)、无线网络模块(9)和电源模块(10)；硬件部分以主处理器模块(5)为中心，道路信息主要依靠摄像头模块(1)进行采集，然后通过TVIN模块(2)送给主处理器模块(5)进行识别处理，GPS(3)主要接受定位信息与时间信息然后送给主处理器模块(5)进行判断处理，CAN(4)作为整体信息传输总线连接主处理器模块(5)与地面自主设备上的传感器节点进行信息的交互，存储设备模块(6)与主处理器模块(5)连接，用来存储实时处理的数据以及存放安装软件；连接在主处理器模块(5)上的显示模块(7)主要用来显示摄像头采集来的道路信息与GPS(3)采集的信息，串口模块(8)把主处理器模块(5)与地面自主设备中的其他处理器模块相连接进行信息传输，无线网络模块(9)连接着主处理器模块(5)使得主处理器模块(5)与附近其他地面自主设备进行无线通信，电源模块(10)则是为整个装置提供电源供应；软件部分分为操作系统、驱动程序、上位机与算法程序，操作系统主要是运行在主处理器模块(5)中的软件程序，为整个装置的软件运算提供软件平台；驱动程序抽象的连接着硬件部分，驱动硬件部分工作；上位机为硬件部分采集的信息提供一个人机交互界面实现在操作系统上的C语言界面程序；算法程序是实现道路识别方法的核心程序，算法程序主要运行在操作系统之上计算出识别结果。

2.根据权利要求1所述的地面自主设备用低功耗实时道路自动识别装置，其特征在于：所述算法程序实现步骤如下：

步骤(1)设定视频图像某一区域为道路所在可接受区域，并规定视频图像像素属于道路区域的条件；设检测出的道路区域图像像素值假定为1，非道路区域像素值假定为0；

步骤(2)选择现有道路识别方法中的三种方法，分别为模版匹配法，自适应分割法和K-means聚类法作为备用方法，其中三种方法实现过程中都会用到视频图像预处理，形态学滤波等提高检测精度的算法；

步骤(3)模版匹配算法检测速度最快，首先用于检测采集到的视频图像的道路区域，并设定检测到的道路区域为A；

步骤(4)如果检测结果符合约束条件，标出道路区域A的边缘，取边缘中线为地面自主设备行驶路线；否则，进行第(5)步；

步骤(5)利用自适应分割的方法对采集的视频图像进行道路区域识别处理，并设定检测出的道路区域为B；如果检测结果符合约束条件，则检测并标出道路区域B的边缘，取边缘中线为地面自主设备行驶路线；否则，与步骤(4)检测出的道路区域A取交集，设交集区域为M：

M＝A∩B                        (1)

如果交集M符合约束条件，则仍标出道路边线，取中线做地面自主设备行驶路线；否则，进行第(6)步；

步骤(6)选择K-means算法对道路区域进行检测，检测出的道路区域设为C；如果检测结果符合约束条件，则选道路区域中间像素连成的线作为行驶路线；否则，与前两种检测结果用三人举手表决方法取道路区域N：

$N=\mathrm{ABC}+A\stackrel{\‾}{B}C+\mathrm{AB}\stackrel{\‾}{C}+\stackrel{\‾}{A}\mathrm{BC}---\left(2\right)$

然后标出道路区域N的边缘，取边缘中线作为行驶路线；

步骤(7)判断是否继续实时识别，如果是则返回第(3)步，否则结束。

3.根据权利要求1或2所述的地面自主设备用低功耗实时道路自动识别装置，其特征在于：所述的摄像头模块(1)为CCD摄像头，能够采集的视频为PAL格式，25Fps的视频。

4.根据权利要求1或2所述的地面自主设备用低功耗实时道路自动识别装置，其特征在于：所述的存储设备模块(6)包含64G的SATA硬盘与4G的SD卡。

5.根据权利要求1或2所述的地面自主设备用低功耗实时道路自动识别装置，其特征在于：所述的无线网络模块(9)包含蓝牙、WLAN，为连接附近其他地面自主设备提供便利。

6.根据权利要求1或2所述的地面自主设备用低功耗实时道路自动识别装置，其特征在于：所述的主处理器模块(5)还包含4G的NAND FLASH、以太网预留接口、USB接口、音频接口、512MB的DDR3。

7.根据权利要求1或2所述的地面自主设备用低功耗实时道路自动识别装置，其特征在于：所述的显示模块(7)支持奇美的7寸液晶屏，还支持PAL/NTSC、VGA、S-video、HD1080p模拟视频输出，在7寸液晶屏上同时包含7寸电阻触摸屏。

8.根据权利要求1或2所述的地面自主设备用低功耗实时道路自动识别装置，其特征在于：所述的GPS(3)采用河南友利华系统工程有限公司的GSU36，可以根据输入的指令输出多格式数据，具有1PPS与10KHz信号输出。

9.根据权利要求1或2所述的地面自主设备用低功耗实时道路自动识别装置，其特征在于：所述的串口模块(8)包含5个串口，为装置提供丰富的通信接口。

10.根据权利要求1或2所述的地面自主设备用低功耗实时道路自动识别装置，其特征在于：所述的主处理器模块(5)，其核心处理器芯片采用的是FREESCALE公司具有CORTEXA8内核的主频为1GHz的i.MX535。

Images