CN112428939B - 维持路肩间距的无人驾驶车道保持感应组件装置 - Google Patents

维持路肩间距的无人驾驶车道保持感应组件装置 Download PDF

Info

Publication number
CN112428939B
CN112428939B CN202011262161.XA CN202011262161A CN112428939B CN 112428939 B CN112428939 B CN 112428939B CN 202011262161 A CN202011262161 A CN 202011262161A CN 112428939 B CN112428939 B CN 112428939B
Authority
CN
China
Prior art keywords
vehicle
road
resolution
lane
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011262161.XA
Other languages
English (en)
Other versions
CN112428939A (zh
Inventor
杨扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Boonray Intelligent Technology Co Ltd
Original Assignee
Shanghai Boonray Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Boonray Intelligent Technology Co Ltd filed Critical Shanghai Boonray Intelligent Technology Co Ltd
Priority to CN202011262161.XA priority Critical patent/CN112428939B/zh
Publication of CN112428939A publication Critical patent/CN112428939A/zh
Application granted granted Critical
Publication of CN112428939B publication Critical patent/CN112428939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/008—Adjustable or movable supports

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于无人驾驶技术领域，维持路肩间距的无人驾驶车道保持感应组件装置，装置包括：采集装置，配置用于采集车辆行驶过程中的数据信息、车辆行驶过程中的道路图像信息和车辆行驶过程中的车身信息；采集装置包括至少两个安装于车体上的伸缩机构；伸缩机构本体上侧具有顶盖片；伸缩机构具有一个插接弧柱的铰接部；伸缩机构的自由端具有厚度小于伸缩机构本体的限位条；伸缩机构本体上依次设有用于获取道路图像信息的摄像头、能沿转轴转动的旋转刮条、擦除棉。在进行道路识别过程中，使用基于纳什平衡的对抗训练，保证了道路识别的准确性和效率。

Description

维持路肩间距的无人驾驶车道保持感应组件装置
技术领域
本发明属于无人驾驶技术领域，具体涉及维持路肩间距的无人驾驶车道保持感应组件装置。
背景技术
无人驾驶汽车是通过车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标的智能汽车。
它是利用车载传感器来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物信息，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶。
集自动控制、体系结构、人工智能、视觉计算等众多技术于一体，是计算机科学、模式识别和智能控制技术高度发展的产物，也是衡量一个国家科研实力和工业水平的一个重要标志，在国防和国民经济领域具有广阔的应用前景。
传统的无人驾驶中车道保持根据人工知识建立车道模型，在实际行驶过程中，通过采集道路图像提取车道标记，之后根据车道模型计算出车道偏移量，利用转角分段PID(Proportion Integral Derivative，比例积分微分控制器)控制器计算修正车道偏离距离所需要的方向盘转角补偿值，进而对车辆车道偏离进行修正。然而，传统的无人驾驶中车道保持方法由于采用人工知识建立对应的车道模型，所以在路线不清晰、弯道曲率较大和车辆拥堵路段的识别能力不足。
发明内容
本发明的主要目的在于提供维持路肩间距的无人驾驶车道保持感应组件装置，其利用采集无人驾驶车辆行驶过程中的数据信息、道路图像信息和车身信息，对无人驾驶车辆进行转向角控制和道路识别，实现了无人驾驶车辆的道路保持的自动控制；同时，在进行道路识别过程中，使用基于纳什平衡的对抗训练，保证了道路识别的准确性和效率。
为达到上述目的，本发明的技术方案是这样实现的：
维持路肩间距的无人驾驶车道保持方法，方法执行以下步骤：
步骤1：采集车辆行驶过程中的数据信息、车辆行驶过程中的道路图像信息和车辆行驶过程中的车身信息；数据信息包括：车辆行驶过程中的物理参数和车辆行驶过程中的道路参数；物理参数至少包括：车辆行驶的速度、加速度和角速度；道路参数至少包括：道路的宽度和转向角度；车身信息至少包括：车辆的长、宽和高；
步骤2：基于道路参数，实时进行车道线识别；基于物理参数和车道线识别结果，控制车辆保持在对应的车道行驶。
进一步的，步骤2具体包括：步骤2.1：进行车道线识别，包括：录入训练数据，构建车道线识别的生成网络、判别网络和检测算法；然后将道路图像信息输入生成网络生成高分辨率图片，将高分辨率图片输入判别网络进行准确度判断，并根据判断结果捕捉高分辨率图片的分辨率分布，生成网络和判别网络基于数据分布进行对抗训练，直至达到纳什均衡，得到最优化的生成网络，将最优化的生成网络生成的高分辨率图片输入检测算法；检测算法基于道路参数和生成的高分辨率图片进行车道线识别；步骤2.2：控制车辆保持在对应的车道行驶：基于得到的车身信息；将车身信息传输到预设的实车模型进行处理，得到与车身信息相对应的方向转角，其中，实车模型通过深度神经网络学习建立，用于表征车身信息与方向转角的对应关系；基于得到的车辆行驶过程中的物理参数、道路参数和车道线识别结果，根据方向转角控制车辆保持在对应的车道行驶。
进一步的，步骤2.1中：将道路图像信息输入生成网络生成高分辨率图片的方法包括：生成进行边缘检测的卷积模板，卷积模板为3*3的模板；使用如下公式：
Figure BDA0002775002860000021
Figure BDA0002775002860000022
将卷积模板和原始图像进行卷积运算；其中，Cmn为生成的中间图像，Pm+i，n+j为道路图像信息，Wij为卷积模板；i和j均为序数，取值范围为：-1到1；使用如下公式对卷积运算后生成的中间图像Cmn进行惯性均值处理，以去除噪声：
Figure BDA0002775002860000023
Figure BDA0002775002860000024
K为生成的最终的高分辨率图片；其中，m为中间图像的长，n为中间图像的宽。
进一步的，步骤2.1中：根据判断结果捕捉高分辨率图片的分辨率分布，生成网络和判别网络基于数据分布进行对抗训练，直至达到纳什均衡的方法包括：定义分辨率变化率为：
Figure BDA0002775002860000025
式中：AR表示道路图像信息和高分辨率图片之间的分辨率变化率；A(n)表示道路图像信息的分辨率；A(n+1)表示高分辨图片的分辨率，eps为设定的极小值；第一梯度的分辨率变化率范围为0.1～0.4，第二梯度的分辨率变化率接近于0，第三梯度的分辨率变化率接近于1；定义那是均衡的表达式为：
Figure BDA0002775002860000026
Figure BDA0002775002860000027
其中，Ak为对抗系数，为一个公差为0.1，第一项为0.3的等差数列；Pk为对抗函数，是一个设定的线性函数。
进一步的，生成网络和判别网络采用神经网络进行训练，训练数据包括成对的车道线模糊图片和车道线清晰图片，即成对的低分辨率图片和高分辨率图片。
维持路肩间距的无人驾驶车道保持装置，装置包括：采集装置，配置用于采集车辆行驶过程中的数据信息、车辆行驶过程中的道路图像信息和车辆行驶过程中的车身信息；数据信息包括：车辆行驶过程中的物理参数和车辆行驶过程中的道路参数；物理参数至少包括：车辆行驶的速度、加速度和角速度；道路参数至少包括：道路的宽度和转向角度；车身信息至少包括：车辆的长、宽和高；控制装置，配置用于基于道路参数，实时进行车道线识别；基于物理参数和车道线识别结果，控制车辆保持在对应的车道行驶。
进一步的，控制装置包括：车道线识别装置，配置用于录入训练数据，构建车道线识别的生成网络、判别网络和检测算法；然后将道路图像信息输入生成网络生成高分辨率图片，将高分辨率图片输入判别网络进行准确度判断，并根据判断结果捕捉高分辨率图片的分辨率分布，生成网络和判别网络基于数据分布进行对抗训练，直至达到纳什均衡，得到最优化的生成网络，将最优化的生成网络生成的高分辨率图片输入检测算法；检测算法基于道路参数和生成的高分辨率图片进行车道线识别；车道控制装置，配置用于基于得到的车身信息；将车身信息传输到预设的实车模型进行处理，得到与车身信息相对应的方向转角，其中，实车模型通过深度神经网络学习建立，用于表征车身信息与方向转角的对应关系；基于得到的车辆行驶过程中的物理参数、道路参数和车道线识别结果，根据方向转角控制车辆保持在对应的车道行驶。
进一步的，车道线识别装置将道路图像信息输入生成网络生成高分辨率图片的方法包括：生成进行边缘检测的卷积模板，卷积模板为3*3的模板；使用如下公式：
Figure BDA0002775002860000031
Figure BDA0002775002860000032
将卷积模板和原始图像进行卷积运算；其中，Cmn为生成的中间图像，Pm+i，n+j为道路图像信息，Wij为卷积模板；i和j均为序数，取值范围为：-1到1；使用如下公式对卷积运算后生成的中间图像Cmn进行惯性均值处理，以去除噪声：
Figure BDA0002775002860000033
Figure BDA0002775002860000034
K为生成的最终的高分辨率图片；其中，m为中间图像的长，n为中间图像的宽。
进一步的，车道线识别装置根据判断结果捕捉高分辨率图片的分辨率分布，生成网络和判别网络基于数据分布进行对抗训练，直至达到纳什均衡的方法包括：定义分辨率变化率为：
Figure BDA0002775002860000035
式中：AR表示道路图像信息和高分辨率图片之间的分辨率变化率；A(n)表示道路图像信息的分辨率；A(n+1)表示高分辨图片的分辨率，eps为设定的极小值；第一梯度的分辨率变化率范围为0.1～0.4，第二梯度的分辨率变化率接近于0，第三梯度的分辨率变化率接近于1；定义那是均衡的表达式为：
Figure BDA0002775002860000041
Figure BDA0002775002860000042
其中，Ak为对抗系数，为一个公差为0.1，第一项为0.3的等差数列；Pk为对抗函数，是一个设定的线性函数。
进一步的，生成网络和判别网络采用神经网络进行训练，训练数据包括成对的车道线模糊图片和车道线清晰图片，即成对的低分辨率图片和高分辨率图片。
本发明的维持路肩间距的无人驾驶车道保持感应组件装置，具有如下有益效果：其利用采集无人驾驶车辆行驶过程中的数据信息、道路图像信息和车身信息，对无人驾驶车辆进行转向角控制和道路识别，实现了无人驾驶车辆的道路保持的自动控制；同时，在进行道路识别过程中，使用基于纳什平衡的对抗训练，保证了道路识别的准确性和效率。主要通过以下过程实现：1.车辆行驶过程中数据的完备采集：本发明采集车辆行驶过程中的数据信息、车辆行驶过程中的道路图像信息和车辆行驶过程中的车身信息；数据信息包括：车辆行驶过程中的物理参数和车辆行驶过程中的道路参数；物理参数至少包括：车辆行驶的速度、加速度和角速度；道路参数至少包括：道路的宽度和转向角度；通过物理参数和道路参数能够实现无人驾驶车行驶的完整模拟和控制；2.车道线的识别：本发明进行车道线识别时，通过构建车道线识别的生成网络、判别网络和检测算法；然后将道路图像信息输入生成网络生成高分辨率图片，将高分辨率图片输入判别网络进行准确度判断，并根据判断结果捕捉高分辨率图片的分辨率分布，生成网络和判别网络基于数据分布进行对抗训练，直至达到纳什均衡，得到最优化的生成网络，该方法进行道路识别，得到的道路识别结果更加准确和完整，同时，该方法在采集道路图像信息时，可以采集低分辨率的道路图像信息，再借助生成网络生成高分辨率图片，这样一方面，可以保证识别效率，因为直接采集高分辨率图片，将会消耗更多的图片采集时间和图片传输时间，同时另一方面还可以保证车道线识别的效率；3.高分辨率图片的生成方法，本发明在根据道路图像信息生成高分辨率图片时，所使用的方法借助边缘检测的卷积模板来实现，该过程可以显著提升图片生成的效率，虽然分辨率相较于传统现有技术要低一些，但是对于道路这样的应用场景，可以完全满足需要。
附图说明
图1为本发明的实施例提供的工作状态示意图；
图2为本发明的实施例伸缩机构的结构示意图；
图3为本发明的实施例方法的流程示意图；
图4为本发明的实施例装置的架构示意图；
图5为本发明的实施例装置的识别准确率随着实验次数变化的曲线示意图与现有技术的对比实验效果示意图。
A-本发明的实验曲线，B-现有技术的实验曲线。
附图标号说明：伸缩机构1、顶盖片1a、导水槽1b、插接弧柱1c、限位条1d、顶接扣1f、摄像头11、擦除棉12、洞穿支架13、连接轴14、往复泵15、旋转刮条16、转轴16a、车体2、车顶21、承接弧孔21a。
具体实施方式
以下结合具体实施方式和附图对本发明的技术方案作进一步详细描述：
实施例1
维持路肩间距的无人驾驶车道保持装置，装置包括：采集装置，配置用于采集车辆行驶过程中的数据信息、车辆行驶过程中的道路图像信息和车辆行驶过程中的车身信息；
采集装置包括至少两个安装于车体2上的伸缩机构1；伸缩机构1本体上侧具有顶盖片1a；伸缩机构1具有一个插接弧柱1c的铰接部；伸缩机构1的自由端具有厚度小于伸缩机构1本体的限位条1d；伸缩机构1本体上依次设有用于获取道路图像信息的摄像头11、能沿转轴16a转动的旋转刮条16、擦除棉12；擦除棉12侧面连接的连接轴14经洞穿支架13穿过并且连接轴14连接有设置在靠近铰接部的往复泵15；伸缩机构1本体靠近转轴16a附近具有能限制旋转刮条16过度旋转的顶接扣1f；顶盖片1a上贯穿上表面的导水槽1b；采集装置配置用于采集车辆行驶过程中的数据信息、车辆行驶过程中的道路图像信息和车辆行驶过程中的车身信息；
数据信息包括：车辆行驶过程中的物理参数和车辆行驶过程中的道路参数；物理参数至少包括：车辆行驶的速度、加速度和角速度；道路参数至少包括：道路的宽度和转向角度；车身信息至少包括：车辆的长、宽和高；控制装置，配置用于基于道路参数，实时进行车道线识别；基于物理参数和车道线识别结果，控制车辆保持在对应的车道行驶。
具体的，本发明利用采集无人驾驶车辆行驶过程中的数据信息、道路图像信息和车身信息，对无人驾驶车辆进行转向角控制和道路识别，实现了无人驾驶车辆的道路保持的自动控制；同时，在进行道路识别过程中，使用基于纳什平衡的对抗训练，保证了道路识别的准确性和效率。
实施例2
在实施例1的基础上，控制装置包括：车道线识别装置，配置用于录入训练数据，构建车道线识别的生成网络、判别网络和检测算法；然后将道路图像信息输入生成网络生成高分辨率图片，将高分辨率图片输入判别网络进行准确度判断，并根据判断结果捕捉高分辨率图片的分辨率分布，生成网络和判别网络基于数据分布进行对抗训练，直至达到纳什均衡，得到最优化的生成网络，将最优化的生成网络生成的高分辨率图片输入检测算法；检测算法基于道路参数和生成的高分辨率图片进行车道线识别；车道控制装置，配置用于基于得到的车身信息；将车身信息传输到预设的实车模型进行处理，得到与车身信息相对应的方向转角，其中，实车模型通过深度神经网络学习建立，用于表征车身信息与方向转角的对应关系；基于得到的车辆行驶过程中的物理参数、道路参数和车道线识别结果，根据方向转角控制车辆保持在对应的车道行驶。
具体的，本发明采集车辆行驶过程中的数据信息、车辆行驶过程中的道路图像信息和车辆行驶过程中的车身信息；数据信息包括：车辆行驶过程中的物理参数和车辆行驶过程中的道路参数；物理参数至少包括：车辆行驶的速度、加速度和角速度；道路参数至少包括：道路的宽度和转向角度；通过物理参数和道路参数能够实现无人驾驶车行驶的完整模拟和控制。
实施例3
在实施例2的基础上，车道线识别装置将道路图像信息输入生成网络生成高分辨率图片的方法包括：生成进行边缘检测的卷积模板，卷积模板为3*3的模板；使用如下公式：
Figure BDA0002775002860000061
Figure BDA0002775002860000062
将卷积模板和原始图像进行卷积运算；其中，Cmn为生成的中间图像，Pm+i，n+j为道路图像信息，Wij为卷积模板；i和j均为序数，取值范围为：-1到1；使用如下公式对卷积运算后生成的中间图像Cmn进行惯性均值处理，以去除噪声：
Figure BDA0002775002860000063
Figure BDA0002775002860000064
K为生成的最终的高分辨率图片；其中，m为中间图像的长，n为中间图像的宽。
具体的，本发明进行车道线识别时，通过构建车道线识别的生成网络、判别网络和检测算法；然后将道路图像信息输入生成网络生成高分辨率图片，将高分辨率图片输入判别网络进行准确度判断，并根据判断结果捕捉高分辨率图片的分辨率分布，生成网络和判别网络基于数据分布进行对抗训练，直至达到纳什均衡，得到最优化的生成网络，该方法进行道路识别，得到的道路识别结果更加准确和完整，同时，该方法在采集道路图像信息时，可以采集低分辨率的道路图像信息，再借助生成网络生成高分辨率图片，这样一方面，可以保证识别效率，因为直接采集高分辨率图片，将会消耗更多的图片采集时间和图片传输时间，同时另一方面还可以保证车道线识别的效率。
实施例4
在实施例3的基础上，车道线识别装置根据判断结果捕捉高分辨率图片的分辨率分布，生成网络和判别网络基于数据分布进行对抗训练，直至达到纳什均衡的方法包括：定义分辨率变化率为：
Figure BDA0002775002860000071
式中：AR表示道路图像信息和高分辨率图片之间的分辨率变化率；A(n)表示道路图像信息的分辨率；A(n+1)表示高分辨图片的分辨率，eps为设定的极小值；第一梯度的分辨率变化率范围为0.1～0.4，第二梯度的分辨率变化率接近于0，第三梯度的分辨率变化率接近于1；定义那是均衡的表达式为：
Figure BDA0002775002860000072
Figure BDA0002775002860000073
其中，Ak为对抗系数，为一个公差为0.1，第一项为0.3的等差数列；Pk为对抗函数，是一个设定的线性函数。
实施例5
在实施例4的基础上，生成网络和判别网络采用神经网络进行训练，训练数据包括成对的车道线模糊图片和车道线清晰图片，即成对的低分辨率图片和高分辨率图片。
具体的，本发明在根据道路图像信息生成高分辨率图片时，所使用的方法借助边缘检测的卷积模板来实现，该过程可以显著提升图片生成的效率，虽然分辨率相较于传统现有技术要低一些，但是对于道路这样的应用场景，可以完全满足需要
以上仅为本发明的一个实施例子，但不能以此限制本发明的范围，凡依据本发明所做的结构上的变化，只要不失本发明的要义所在，都应视为落入本发明保护范围之内受到制约。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
实施例6
如图3所示，本申请采用装置执行的维持路肩间距的无人驾驶车道保持方法，执行以下步骤：
步骤1：采集车辆行驶过程中的数据信息、车辆行驶过程中的道路图像信息和车辆行驶过程中的车身信息；数据信息包括：车辆行驶过程中的物理参数和车辆行驶过程中的道路参数；物理参数至少包括：车辆行驶的速度、加速度和角速度；道路参数至少包括：道路的宽度和转向角度；车身信息至少包括：车辆的长、宽和高；
步骤2：基于道路参数，实时进行车道线识别；基于物理参数和车道线识别结果，控制车辆保持在对应的车道行驶。
采用上述技术方案，本发明利用采集无人驾驶车辆行驶过程中的数据信息、道路图像信息和车身信息，对无人驾驶车辆进行转向角控制和道路识别，实现了无人驾驶车辆的道路保持的自动控制；同时，在进行道路识别过程中，使用基于纳什平衡的对抗训练，保证了道路识别的准确性和效率。主要通过以下过程实现：1.车辆行驶过程中数据的完备采集：本发明采集车辆行驶过程中的数据信息、车辆行驶过程中的道路图像信息和车辆行驶过程中的车身信息；数据信息包括：车辆行驶过程中的物理参数和车辆行驶过程中的道路参数；物理参数至少包括：车辆行驶的速度、加速度和角速度；道路参数至少包括：道路的宽度和转向角度；通过物理参数和道路参数能够实现无人驾驶车行驶的完整模拟和控制；2.车道线的识别：本发明进行车道线识别时，通过构建车道线识别的生成网络、判别网络和检测算法；然后将道路图像信息输入生成网络生成高分辨率图片，将高分辨率图片输入判别网络进行准确度判断，并根据判断结果捕捉高分辨率图片的分辨率分布，生成网络和判别网络基于数据分布进行对抗训练，直至达到纳什均衡，得到最优化的生成网络，该方法进行道路识别，得到的道路识别结果更加准确和完整，同时，该方法在采集道路图像信息时，可以采集低分辨率的道路图像信息，再借助生成网络生成高分辨率图片，这样一方面，可以保证识别效率，因为直接采集高分辨率图片，将会消耗更多的图片采集时间和图片传输时间，同时另一方面还可以保证车道线识别的效率；3.高分辨率图片的生成方法，本发明在根据道路图像信息生成高分辨率图片时，所使用的方法借助边缘检测的卷积模板来实现，该过程可以显著提升图片生成的效率，虽然分辨率相较于传统现有技术要低一些，但是对于道路这样的应用场景，可以完全满足需要。
步骤2具体包括：步骤2.1：进行车道线识别，包括：录入训练数据，构建车道线识别的生成网络、判别网络和检测算法；然后将道路图像信息输入生成网络生成高分辨率图片，将高分辨率图片输入判别网络进行准确度判断，并根据判断结果捕捉高分辨率图片的分辨率分布，生成网络和判别网络基于数据分布进行对抗训练，直至达到纳什均衡，得到最优化的生成网络，将最优化的生成网络生成的高分辨率图片输入检测算法；检测算法基于道路参数和生成的高分辨率图片进行车道线识别；步骤2.2：控制车辆保持在对应的车道行驶：基于得到的车身信息；将车身信息传输到预设的实车模型进行处理，得到与车身信息相对应的方向转角，其中，实车模型通过深度神经网络学习建立，用于表征车身信息与方向转角的对应关系；基于得到的车辆行驶过程中的物理参数、道路参数和车道线识别结果，根据方向转角控制车辆保持在对应的车道行驶。
具体的，本发明的深度神经网络由多层神经网络构成。使用有监督学习完成深度神经网络的训练。
在监督学习中，以前的多层神经网络的问题是容易陷入局部极值点。如果训练样本足够充分覆盖未来的样本，那么学到的多层权重可以很好的用来预测新的测试样本。但是很多任务难以得到足够多的标记样本，在这种情况下，简单的模型，比如线性回归或者决策树往往能得到比多层神经网络更好的结果。
非监督学习中，以往没有有效的方法构造多层网络。多层神经网络的顶层是底层特征的高级表示，比如底层是像素点，上一层的结点可能表示横线，三角；而顶层可能有一个结点表示人脸。一个成功的算法应该能让生成的顶层特征最大化的代表底层的样例。如果对所有层同时训练，时间复杂度会太高；如果每次训练一层，偏差就会逐层传递。这会面临跟上面监督学习中相反的问题，会严重欠拟合。
步骤2.1中：将道路图像信息输入生成网络生成高分辨率图片的方法包括：生成进行边缘检测的卷积模板，卷积模板为3*3的模板；使用如下公式：
Figure BDA0002775002860000091
Figure BDA0002775002860000092
将卷积模板和原始图像进行卷积运算；其中，Cmn为生成的中间图像，Pm+i，n+j为道路图像信息，Wij为卷积模板；步骤2.2使用如下公式对卷积运算后生成的中间图像Cmn进行惯性均值处理，以去除噪声：
Figure BDA0002775002860000093
K为生成的最终的高分辨率图片；其中，m为中间图像的长，n为中间图像的宽。i和j均为序数，取值范围为：-1到1。
具体的，以往发明的LKAS控制方式，通过由安装于车辆的影像装置获得的车道信息，计算车道与车辆之间的距离及角度，并利用从车辆的控制器局域网(Controller AreaNetwork:CAN)数据获得的车辆的行驶方向和车速，演算车道脱离速度，并根据车辆的脱离车道与否，发出车道脱离警报或进行转向控制。
步骤2.1中：根据判断结果捕捉高分辨率图片的分辨率分布，生成网络和判别网络基于数据分布进行对抗训练，直至达到纳什均衡的方法包括：定义分辨率变化率为：
Figure BDA0002775002860000094
Figure BDA0002775002860000095
式中：AR表示道路图像信息和高分辨率图片之间的分辨率变化率；A(n)表示道路图像信息的分辨率；A(n+1)表示高分辨图片的分辨率，eps为设定的极小值；第一梯度的分辨率变化率范围为0.1～0.4，第二梯度的分辨率变化率接近于0，第三梯度的分辨率变化率接近于1；定义那是均衡的表达式为：
Figure BDA0002775002860000096
其中，Ak为对抗系数，为一个公差为0.1，第一项为0.3的等差数列；Pk为对抗函数，是一个设定的线性函数。
具体的，以往的控制方式只通过脱离距离和自身车辆与车道之间的角度即偏向角演算控制量(控制程度)，因此只要稍微发生偏向角，即超越车道脱离速度的临界值，使得控制器敏感地工作。并且，在演算控制量时，因使用基于经验的转向力矩图表，无法确保对侧风、路面坡度等干扰的控制性能的稳定性。
生成网络和判别网络采用神经网络进行训练，训练数据包括成对的车道线模糊图片和车道线清晰图片，即成对的低分辨率图片和高分辨率图片。
需要说明的是，上述实施例提供的系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (5)

1.维持路肩间距的无人驾驶车道保持感应组件装置，其特征在于，所述装置包括：
采集装置，配置用于采集车辆行驶过程中的数据信息、车辆行驶过程中的道路图像信息和车辆行驶过程中的车身信息；所述的采集装置包括至少两个安装于车体(2)上的伸缩机构(1)；所述的伸缩机构(1)本体上侧具有顶盖片(1a)；所述的伸缩机构(1)具有一个插接弧柱(1c)的铰接部；所述的伸缩机构(1)的自由端具有厚度小于伸缩机构(1)本体的限位条(1d)；所述的伸缩机构(1)本体上依次设有用于获取道路图像信息的摄像头(11)、能沿转轴(16a)转动的旋转刮条(16)、擦除棉(12)；所述的擦除棉(12)侧面连接的连接轴(14)经洞穿支架(13)穿过并且所述的连接轴(14)连接有设置在靠近所述铰接部的往复泵(15)；所述的伸缩机构(1)本体靠近所述的转轴(16a)附近具有能限制所述的旋转刮条(16)过度旋转的顶接扣(1f)；所述的顶盖片(1a)上设有贯穿上表面的导水槽(1b)；
所述数据信息包括：车辆行驶过程中的物理参数和车辆行驶过程中的道路参数；所述物理参数至少包括：车辆行驶的速度、加速度和角速度；所述道路参数至少包括：道路的宽度和转向角度；所述车身信息至少包括：车辆的长、宽和高；控制装置，配置用于基于所述道路参数，实时进行车道线识别；基于所述物理参数和车道线识别结果，控制车辆保持在对应的车道行驶。
2.如权利要求1所述的维持路肩间距的无人驾驶车道保持感应组件装置，其特征在于，所述控制装置包括：车道线识别装置，配置用于录入训练数据，构建车道线识别的生成网络、判别网络和检测算法；然后将道路图像信息输入生成网络生成高分辨率图片，将高分辨率图片输入判别网络进行准确度判断，并根据判断结果捕捉高分辨率图片的分辨率分布，生成网络和判别网络基于数据分布进行对抗训练，直至达到纳什均衡，得到最优化的生成网络，将最优化的生成网络生成的高分辨率图片输入检测算法；检测算法基于道路参数和生成的高分辨率图片进行车道线识别；车道控制装置，配置用于基于得到的车身信息；将所述车身信息传输到预设的实车模型进行处理，得到与所述车身信息相对应的方向转角，其中，所述实车模型通过深度神经网络学习建立，用于表征车身信息与方向转角的对应关系；基于得到的车辆行驶过程中的物理参数、道路参数和车道线识别结果，根据所述方向转角控制车辆保持在对应的车道行驶。
3.如权利要求2所述的维持路肩间距的无人驾驶车道保持感应组件装置，其特征在于，所述车道线识别装置将道路图像信息输入生成网络生成高分辨率图片的方法包括：生成进行边缘检测的卷积模板，所述卷积模板为3*3的模板；使用如下公式：Cmn＝
Figure FDA0003125696030000021
将卷积模板和原始图像进行卷积运算；其中，Cmn为生成的中间图像，Pm+i,n+j为道路图像信息，Wij为卷积模板,i和j均为序数，取值范围为：-1到1；使用如下公式对卷积运算后生成的中间图像Cmn进行惯性均值处理，以去除噪声：
Figure FDA0003125696030000022
K为生成的最终的高分辨率图片；其中，m为中间图像的长，n为中间图像的宽。
4.如权利要求3所述的维持路肩间距的无人驾驶车道保持感应组件装置，其特征在于，所述车道线识别装置根据判断结果捕捉高分辨率图片的分辨率分布，生成网络和判别网络基于数据分布进行对抗训练，直至达到纳什均衡的方法包括：定义分辨率变化率为：
Figure FDA0003125696030000023
Figure FDA0003125696030000024
式中：AR表示道路图像信息和高分辨率图片之间的分辨率变化率；A(n)表示道路图像信息的分辨率；A(n+1)表示高分辨图片的分辨率，eps为设定的极小值；第一梯度的分辨率变化率范围为0.1～0.4，第二梯度的分辨率变化率接近于0，第三梯度的分辨率变化率接近于1；定义那什均衡的表达式为：
Figure FDA0003125696030000025
Figure FDA0003125696030000026
其中，Ak为对抗系数，为一个公差为0.1，第一项为0.3的等差数列；Pk为对抗函数，是一个设定的线性函数。
5.如权利要求4所述的维持路肩间距的无人驾驶车道保持感应组件装置，其特征在于，所述生成网络和判别网络采用神经网络进行训练，训练数据包括成对的车道线模糊图片和车道线清晰图片，即成对的低分辨率图片和高分辨率图片。
CN202011262161.XA 2020-11-12 2020-11-12 维持路肩间距的无人驾驶车道保持感应组件装置 Active CN112428939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011262161.XA CN112428939B (zh) 2020-11-12 2020-11-12 维持路肩间距的无人驾驶车道保持感应组件装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011262161.XA CN112428939B (zh) 2020-11-12 2020-11-12 维持路肩间距的无人驾驶车道保持感应组件装置

Publications (2)

Publication Number Publication Date
CN112428939A CN112428939A (zh) 2021-03-02
CN112428939B true CN112428939B (zh) 2021-08-10

Family

ID=74700458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011262161.XA Active CN112428939B (zh) 2020-11-12 2020-11-12 维持路肩间距的无人驾驶车道保持感应组件装置

Country Status (1)

Country Link
CN (1) CN112428939B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022261804A1 (en) * 2021-06-14 2022-12-22 Webasto SE Roof assembly, roof module and motor vehicle comprising a set of weatherstrips

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103287429A (zh) * 2013-06-18 2013-09-11 安科智慧城市技术（中国）有限公司 一种车道保持系统及车道保持控制方法
CN107226036A (zh) * 2016-03-24 2017-10-03 本田技研工业株式会社 传感器托架
CN111114456A (zh) * 2020-02-19 2020-05-08 天津清智科技有限公司 一种可调节车载摄像头固定支架

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014004172A1 (de) * 2014-03-22 2014-09-18 Daimler Ag Schutzvorrichtung für eine Kamera eines Kraftwagens
CN204928999U (zh) * 2015-08-28 2015-12-30 乐卡汽车智能科技（北京）有限公司 摄像装置及安装有摄像装置的汽车
CN106515602A (zh) * 2016-11-28 2017-03-22 施春燕 一种无人驾驶汽车交通标志牌识别装置
CN109886200B (zh) * 2019-02-22 2020-10-09 南京邮电大学 一种基于生成式对抗网络的无人驾驶车道线检测方法
CN210437112U (zh) * 2019-06-05 2020-05-01 天津科技大学 一种用于车道保持系统的摄像镜头
CN110487722A (zh) * 2019-07-25 2019-11-22 嘉兴普勒斯交通技术有限公司 路面视频病害破损检测系统的车载式伸缩收纳结构

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103287429A (zh) * 2013-06-18 2013-09-11 安科智慧城市技术（中国）有限公司 一种车道保持系统及车道保持控制方法
CN107226036A (zh) * 2016-03-24 2017-10-03 本田技研工业株式会社 传感器托架
CN111114456A (zh) * 2020-02-19 2020-05-08 天津清智科技有限公司 一种可调节车载摄像头固定支架

Also Published As

Publication number Publication date
CN112428939A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
Zhao et al. Detection, tracking, and geolocation of moving vehicle from uav using monocular camera
Sudha et al. An intelligent multiple vehicle detection and tracking using modified vibe algorithm and deep learning algorithm
Li et al. Springrobot: A prototype autonomous vehicle and its algorithms for lane detection
CN109255317B (zh) 一种基于双网络的航拍图像差异检测方法
US20110026770A1 (en) Person Following Using Histograms of Oriented Gradients
CN106845364B (zh) 一种快速自动目标检测方法
CN109064495A (zh) 一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取方法
CN104318258A (zh) 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN108364466A (zh) 一种基于无人机交通视频的车流量统计方法
CN109466552B (zh) 智能驾驶车道保持方法及系统
CN108877267A (zh) 一种基于车载单目相机的交叉路口检测方法
CN103454919A (zh) 智能空间中移动机器人的运动控制系统及方法
CN114005021B (zh) 基于激光视觉融合的水产养殖车间无人巡检系统和方法
CN106887012A (zh) 一种基于循环矩阵的快速自适应多尺度目标跟踪方法
CN111680713A (zh) 一种基于视觉检测的无人机对地目标跟踪与逼近方法
CN112428939B (zh) 维持路肩间距的无人驾驶车道保持感应组件装置
CN104778699A (zh) 一种自适应对象特征的跟踪方法
CN112319468B (zh) 维持路肩间距的无人驾驶车道保持方法
CN115083199B (zh) 一种车位信息确定方法及其相关设备
CN114620059B (zh) 一种自动驾驶方法及其系统、计算机可读存储介质
CN116222579B (zh) 一种基于建筑施工的无人机巡察方法及系统
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
Guo et al. Optimal path planning in field based on traversability prediction for mobile robot
CN107563282A (zh) 用于无人驾驶的识别方法、电子设备、存储介质以及系统
CN116311136A (zh) 用于辅助驾驶的车道线参数计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant