CN112131964A - 一种道路作业车辆视觉感知系统及其使用方法 - Google Patents
一种道路作业车辆视觉感知系统及其使用方法 Download PDFInfo
- Publication number
- CN112131964A CN112131964A CN202010895615.0A CN202010895615A CN112131964A CN 112131964 A CN112131964 A CN 112131964A CN 202010895615 A CN202010895615 A CN 202010895615A CN 112131964 A CN112131964 A CN 112131964A
- Authority
- CN
- China
- Prior art keywords
- information
- road
- image
- perception
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000016776 visual perception Effects 0.000 title claims abstract description 22
- 230000008447 perception Effects 0.000 claims abstract description 48
- 239000010813 municipal solid waste Substances 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000006854 communication Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 239000000306 component Substances 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000015556 catabolic process Effects 0.000 claims description 5
- 238000006731 degradation reaction Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000007175 bidirectional communication Effects 0.000 claims description 4
- 230000004438 eyesight Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000001413 cellular effect Effects 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000010287 polarization Effects 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 239000010865 sewage Substances 0.000 claims description 3
- 239000008358 core component Substances 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000005265 energy consumption Methods 0.000 abstract description 8
- -1 dirt Substances 0.000 abstract description 2
- 230000007613 environmental effect Effects 0.000 description 7
- 238000009434 installation Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公布了一种道路作业车辆视觉感知系统及其使用方法，包括：电源、系统开关、图像采集设备、感知处理器、CAN模块。该系统通过图像采集设备采集车辆作业道路上的垃圾、污垢、水坑、行人、车道线、植被等目标图像信息，并输入到感知处理器进行图像信息识别处理分析形成原始图像通道、预处理图像通道和显著性图像通道，再进行多特征信息融合和参数化、轻量化处理，输出道路作业前方区域内的垃圾分布信息和作业环境信息数据，有效完成对道路作业目标及环境的感知和判定，并通过CAN模块实时上传至整车CAN总线，提供给道路作业车辆智能决策系统使用，以支撑可根据道路作业场景变化自适应调节上装作业，降低上装能耗，提高道路作业效率。
Description
技术领域
本发明属于汽车感知技术领域，具体涉及一种基于多特征信息融合的道路作业车辆视觉感知系统。
背景技术
随着全球气候逐渐变暖、环境污染日趋严重，同时各大城市经济的发展和城市规模的日益扩大，环保问题越来越受到人们的关注。道路垃圾作为环境问题的一部分，越来越受到重视。为了不断推进环保事业的发展，保护人类生存环境，促进环保产业转型升级、引导环保领域与科技领域深入融合就成为重要渠道。
智能驾驶环卫车的出现，环卫作业的效率得到极大提升，推动着环卫事业飞速发展。由于现阶段智能驾驶环卫车基本为新能源专用车辆，整车动力电池既给车辆行驶提供动力源，又给环卫上装提供动力源，所以在车辆行驶里程焦虑的同时车辆上装运行能耗问题也凸显出来，新能源专用车辆的能耗一直是当前新能源专用车的痛点之一，研发可根据道路作业场景变化自适应调节上装作业功率的智能上装节能系统迫在眉睫，而这首先要实现的就是能够识别道路垃圾、道路作业环境、行人等相关作业场景目标的智能视觉感知系统。
图像识别使用人工智能技术自动识别图像中的对象，任务，位置和动作。图像识别已成为当下的主流，特别是在自动驾驶汽车和驾驶辅助系统上的应用，已趋于成熟。基于深度学习的图像识别技术可用于研发道路作业车辆环境感知功能，为道路作业车辆配上一双“智能眼”。
在整车动力电池容量不变的条件下，行驶里程能耗和环卫上装能耗是一对“矛盾”，减少了环卫上装能耗，也就相应会提高行驶里程，提高作业工作量，如何保证新能源道路作业车辆作业质量的同时提高道路作业效率，一直是从业技术人员一直致力解决的问题。
发明内容
为了开发出根据道路作业场景变化的自适应调节上装作业功率的智能上装节能系统的新能源环卫作业车，就需要研发出能够识别道路垃圾、道路作业环境、行人等相关作业场景目标的智能视觉感知系统。本发明为研发出道路作业车辆智能视觉感知系统，提供给道路作业智能驾驶环卫车使用，降低车辆上装运行能耗，提高道路作业效率。
为实现上述目的，本发明采用以下技术方案：包括相互连接的电源、系统开关、图像采集设备、感知处理器及CAN模块，所述电源负责给系统供电，并开启系统；系统开关为系统激活提供信号； CAN模块为系统与整车进行交互提供通讯接口；图像采集设备由安装于驾驶室内挡风玻璃正中上方的近景相机、远景相机、双目深度相机组成，实时采集图像信息；感知处理器为系统核心组成部分，承担采集图像信息分析处理工作。
进一步的，所述电源、感知处理器与图像采集设备之间通过电连接，电源供电给感知处理器后，经感知处理器继续供电至图像采集设备；所述系统开关与感知处理器之间信号连接，为系统激活提供信号，感知处理器与图像采集设备双向通讯连接；所述CAN模块与感知处理器之间双向通讯连接。
一种道路作业车辆视觉感知系统的使用方法，包括如下步骤：
步骤1，打开系统开关，系统进入激活状态，图像采集设备开始采集车辆前方作业道路的环境图像。
步骤2，感知处理器与图像采集设备进行时间同步，与视觉感知系统各组成部分建立实时通讯。
步骤3，感知处理器对经时间同步的图像信息进行图像识别处理分析。
步骤4，感知处理器基于采集和处理分析形成的图像信息，进行多特征信息融合，提取出道路作业相关分类信息。
步骤5，感知处理器进行道路作业各分类信息融合，形成数据化的垃圾分布信息和作业环境信息数据。
步骤6，感知处理器将所述信息数据通过CAN模块实时上传至整车CAN总线，供道路作业车辆智能决策系统使用；所述智能决策系统为上装控制系统或智能驾驶车辆整车控制决策系统。
步骤7，所述系统循环进行图像信息采集、图像信息处理分析和图像信息数据输出的工作流程，直至系统关闭。
进一步的，所述远景相机焦距较短，本系统为8mm，用于采集车辆前方作业道路的远景图像，所述近景相机焦距较长，本系统为16mm，用于采集车辆前方作业道路的近景图像，所述双目深度相机采集前方道路环境的深度信息，并将采集完毕的全部信息写入感知处理器，形成原始图像通道。上述三种相机应固定牢靠安装，以保证采集图像的稳定性。
进一步的，在上述技术方案中，所述图像识别处理分析，包含原始图像预处理、目标显著性分析、多特征信息融合。
进一步的，所述原始图像预处理，为感知处理器将所得图像首先进行自适应暗原色先验去雾处理，再进行图像退化预处理，形成预处理图像通道。其中，去图形退化处理使用了一种基于稀疏表示图像模型和深层降噪自编码神经网络的图像退化预处理方法。首先，根据稀疏表示理论，自然图像信号可以通过少量基函数来精确表示，这些基函数的集合称为字典（Dictionary），每一个基函数称为原子(Atom)，为了获得更高的稀疏性，将图像块本身作为原子构造字典，将图像信号在字典上投影，通过解码还原后得到稀疏表示图像模型。然后，构造一种堆栈式深度自编码器用于解决稀疏表示图像的退化问题，将当前一层自编码器的输出作为下一层自编码器的输入，逐层无监督训练多层自编码网络。由于具有多个自动编码器堆叠形成多层神经网络结构，不同的隐藏层能够学习到不同的数据特征，低阶隐藏层为高阶隐藏层提供特征，便于高阶隐藏层进行特征组合，而且这种深度自动编码器结构具有强大的非线性拟合能力，能够学习数据的分布式特征，因而可以更好地表示输入数据，提高网络对噪声的鲁棒性，同时提取原始输入的高层非线性特征表示，从而有利于后续的分类或辨识等任务并可以帮助神经网络更快的收敛。最后，经过无监督预训练的堆栈式深度自编码器网络，网络参数已经有一个接近最优值的权值分布，然后利用反向传播算法进行网络的全局参数微调，完成堆栈式深度自编码器的训练过程。由于图像监督学习训练数据集较少，采用这种无监督深度学习的方式进行图像还原的过程，可以有效防止过拟合问题。
进一步的，所述目标显著性分析，包括系统检测图像偏振信息，并通过包括数学形态分割、SLIC多尺度超像素分割和DBSCAN多尺度超像素聚类操作对图像信息进行处理，然后基于元胞自动机算法进行显著性检测，最终基于贝叶斯理论进行多尺度显著性图融合，得出针对地面污垢、积水的多尺度超像素细微区域显著性检测结果，形成显著性图像通道。
进一步的，所述多特征信息融合，包括感知处理器基于原始图像通道、预处理图像通道和显著性图像通道，图像识别卷积块分别提取底层特征图。之后将来自多个模态的特征图串接，接着对串接后通道数翻倍的特征图做1x1的卷积操作，达到降维的目的，同时起到线性融合多个模态特征的目的。这里1x1的卷积核的参数同样参与训练。融合后的特征图将继续经过后面的卷积层以及池化层，最终到达预测头网络，将多通道输入的信息逐层传递用以做最后的分类、边界框回归和像素分割，输出。网络训练同样采用反向传播算法，整个网络可以看做由节点构成的计算图，从后向前逐层更新参数。最后经参数化和轻量化处理后，实现道路垃圾实时检测定位与体积估计运算，得出道路作业各分类信息，包含垃圾的种类、体积、位置，行人的位息，污水的位置，地面污垢的位置，车道线的三维位置，植被类别、位置，路面类型、级别、质量等信息。
进一步的，所述参数化处理，包括所述系统首先将双目相机的深度、像素信息转换成伪激光雷达点云信息，然后用裁剪、滤波处理的方法过滤掉噪声及无效像素构成的空洞及周边物体的干扰信息，检测定位提取出目标物体，进而利用根据点云的坐标信息通过分割地面、分割目标顶层等方法，计算出点云图像对应的面积、长、宽、高等信息，实现道路目标的识别，最终估算得出三维目标的体积和重量数据；所述轻量化处理，基于图像识别和自学习，通过筛选策略减少图像的归一化尺寸和筛除一些不必要的卷积核，完成对系统计算量的轻量化。
进一步的，各分类信息融合，为系统基于道路作业相关信息进行融合分析，包括基于车辆作业上装的作业范围参数，将车辆前方道路划分为若干作业区域，通过识别出道路前方的水坑和车道线，防止其被误认为垃圾或污垢，融合垃圾的种类、体积和位置和地面污垢的位置，得出前方各区域垃圾等级，其中垃圾越多，体积越大，垃圾等级越高；基于行人的位置信息，判断其坐标落于何作业区域，可得出前方各区域行人分布情况；融合植被类别和位置信息，判断植被的坐标落于何作业区域，得出前方各区域的植被类别，最终得出道路作业前方区域内的垃圾分布信息和作业环境信息数据，包括各区域垃圾等级、行人分布、植被类别、道路等级信息。
与现有技术相比，本发明具有如下有益效果：
本发明能够智能有效的识别车辆前方作业道路上的垃圾、污垢、水坑、行人、车道线、植被、路面等目标，并自动融合和参数化、轻量化处理，输出道路作业前方区域内的垃圾分布信息和作业环境信息数据，有效完成对道路作业目标及环境的感知和判定，并通过CAN模块实时上传至整车CAN总线，提供给道路作业车辆智能决策系统使用，以支撑可根据道路作业场景变化自适应调节上装作业，降低上装能耗，提高道路作业效率。
附图说明
图1为本发明中道路作业车辆视觉感知系统结构框图。
图2为本发明中道路作业车辆视觉感知系统流程图。
具体实施方式
下面根据附图对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
如图1所示一种基于多特征信息融合的道路作业视觉感知系统，包括电源、系统开关、图像采集设备、感知处理器、CAN模块功能组件，所述系统由电源负责供电，开启系统；所述系统开关为系统激活提供信号；所述CAN模块为系统与车辆进行交互提供通讯接口；所述图像采集设备由近景相机、远景相机、双目深度相机组成，实时采集图像信息；所述感知处理器为系统核心，承担采集图像信息分析处理工作。
而且，在所述图像采集设备中远景相机采集车辆前方作业道路的远景图像，近景相机采集车辆前方作业道路的近景图像，双目深度相机采集前方道路环境的深度信息，一起写入感知处理器，形成原始图像通道。上述三种相机应固定牢靠安装，以保证采集图像的稳定性。
如图2所示发明实施例的基于多特征信息融合的道路作业视觉感知系统，具体工作流程及实施方法如下：
步骤1，打开系统开关，系统进入激活状态，图像采集设备开始采集车辆前方作业道路的环境图像。
步骤2，感知处理器与图像采集设备进行时间同步，与所述系统各组成部分建立实时通讯。
步骤3，感知处理器对经时间同步的原始图像信息写入本地存储器中，开始进行图像预处理和目标显著性分析，通过进行自适应暗原色先验去雾处理，结合特征稀疏表示算法和堆栈式深度自编码器网络处理形成预处理图像通道；基于图像偏振信息，通过数学形态分割、SLIC多尺度超像素分割和DBSCAN多尺度超像素聚类等操作对图像信息进行处理，然后基于元胞自动机算法和贝叶斯理论进行多尺度显著性图融合，得出针对地面污垢、积水的多尺度超像素细微区域显著性检测结果，形成显著性图像通道。
步骤4，感知处理器基于原始图像通道、预处理图像通道和显著性图像通道，进行多特征信息融合，输入至深度神经网络结构模型中，经参数化和轻量化处理后，实现道路垃圾实时检测定位与体积估计运算，得出道路垃圾、污垢、水坑、行人、道路环境等目标详细信息，包含垃圾的种类、体积、位置，行人的位息，污水的位置，地面污垢的位置，车道线的三维位置，植被类别、位置，路面类型、级别、质量等信息。
上述参数化处理,为系统首先将双目相机的深度、像素信息转换成伪激光雷达点云信息，然后用裁剪、滤波处理的方法过滤掉噪声及无效像素构成的空洞及周边物体的干扰信息，检测定位提取出目标物体，进而利用根据点云的坐标信息通过分割地面、分割目标顶层等方法，计算出点云图像对应的面积、长、宽、高等信息，实现道路目标的识别，最终估算得出三维目标的体积和重量数据。
上述轻量化处理，为系统在运行过程中，基于图像识别和自学习，通过筛选策略减少图像的归一化尺寸和筛除一些不必要的卷积核，完成对系统计算量的轻量化，大大提高了系统的运算速度。
步骤5，系统自动进行各分类信息融合，基于道路作业各相关分类信息进行融合分析，包括融合垃圾的种类、体积和位置和地面污垢的位置，同时排除掉水坑和车道线的影响，得出前方各区域垃圾等级，其中垃圾越多，体积越大，垃圾等级越高；基于行人的位置信息可得出前方各区域行人分布情况；融合植被类别和位置信息，得出前方各区域的植被类别，最终得出道路作业前方区域内的垃圾分布信息和作业环境信息数据，包含各区域垃圾等级、行人分布、植被类别、道路等级信息。
步骤6，感知处理器将所述信息数据通过CAN模块实时上传至整车CAN总线，供道路作业车辆智能决策系统使用。
上述车辆智能决策系统，为上装控制系统或智能驾驶车辆整车控制决策系统。当车辆为传统能源车辆时，上装控制系统接收道路作业感知系统输出的参数信息，分析后输出上装作业控制策略，车辆行驶由驾驶员控制；当车辆为智能驾驶车辆时，智能驾驶车辆整车控制决策系统接收道路作业感知系统输出的参数信息，分析后输出车辆行驶及上装作业控制策略。
步骤7，系统循环进行图像信息采集、图像信息处理和图像信息数据输出的工作流程，直至系统关闭。
通过上述工作流程及方法，道路作业视觉感知系统能够自动有效地识别道路作业目标，并形成数据化参数输出至车辆CAN总线。
以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换、组合、简化或改变，均应为等效的置换方式，都应涵盖在本发明创造的保护范围之内。
Claims (10)
1.一种道路作业车辆视觉感知系统，其特征在于：包括相互连接的电源、系统开关、图像采集设备、感知处理器及CAN模块，所述电源负责给系统供电，并开启系统；系统开关为系统激活提供信号； CAN模块为系统与整车进行交互提供通讯接口；图像采集设备由安装于驾驶室内挡风玻璃正中上方的近景相机、远景相机、双目深度相机组成，实时采集图像信息；感知处理器为系统核心组成部分，承担采集图像信息分析处理工作。
2.根据权利要求1所述的道路作业车辆视觉感知系统，其特征在于：所述电源、感知处理器与图像采集设备之间通过电连接，电源供电给感知处理器后，经感知处理器继续供电至图像采集设备；所述系统开关与感知处理器之间信号连接，为系统激活提供信号，感知处理器与图像采集设备双向通讯连接；所述CAN模块与感知处理器之间双向通讯连接。
3.一种道路作业车辆视觉感知系统的使用方法，其特征在于，包括如下步骤：
步骤1，打开系统开关，系统进入激活状态，图像采集设备开始采集车辆前方作业道路的环境图像；
步骤2，感知处理器与图像采集设备进行时间同步，与视觉感知系统各组成部分建立实时通讯；
步骤3，感知处理器对经时间同步的图像信息进行图像识别处理分析；
步骤4，感知处理器基于采集和处理分析形成的图像信息，进行多特征信息融合，提取出道路作业相关分类信息；
步骤5，感知处理器进行道路作业各分类信息融合，形成数据化的垃圾分布信息和作业环境信息数据；
步骤6，感知处理器将所述信息数据通过CAN模块实时上传至整车CAN总线，供道路作业车辆智能决策系统使用；
步骤7，所述系统循环进行图像信息采集、图像信息处理分析和图像信息数据输出的工作流程，直至系统关闭。
4.根据权利要求3所述的道路作业视觉感知系统的使用方法，其特征在于：所述图像采集设备中的远景相机用于采集车辆前方作业道路的远景图像，近景相机用于采集车辆前方作业道路的近景图像，双目深度相机采集前方道路环境的深度信息，并将采集完毕的全部信息写入感知处理器，形成原始图像通道。
5.根据权利要求3所述的道路作业视觉感知系统的使用方法，其特征在于：所述图像识别处理分析，包含原始图像预处理、目标显著性分析、多特征信息融合。
6.根据权利要求5所述的道路作业视觉感知系统的使用方法，其特征在于：所述原始图像预处理，为感知处理器将所得图像首先进行自适应暗原色先验去雾处理，再进行图像退化预处理，形成预处理图像通道。
7.根据权利要求5所述的道路作业视觉感知系统的使用方法，其特征在于：所述目标显著性分析，包括系统检测图像偏振信息，并通过包括数学形态分割、SLIC多尺度超像素分割和DBSCAN多尺度超像素聚类操作对图像信息进行处理，并基于元胞自动机算法进行显著性检测，最终基于贝叶斯理论进行多尺度显著性图融合，得出针对地面污垢、积水的多尺度超像素细微区域显著性检测结果，形成显著性图像通道。
8.根据权利要求5所述的道路作业视觉感知系统的使用方法，其特征在于：所述多特征信息融合，包括感知处理器基于原始图像通道、预处理图像通道和显著性图像通道，图像识别卷积块分别提取底层特征图；之后将来自多个模态的特征图串接，并对串接后通道数翻倍的特征图做1x1的卷积操作，融合后的特征图经卷积层以及池化层后，最终到达预测头网络；再将多通道输入的信息逐层传递用以做最后的分类、边界框回归和像素分割，输出至深度神经网络结构模型中；最后经参数化和轻量化处理后，实现道路垃圾实时检测定位与体积估计运算，得出道路作业各分类信息，至少包含垃圾的种类、体积、位置，行人的位息，污水的位置，地面污垢的位置，车道线的三维位置，植被类别、位置，路面类型、级别、质量信息。
9.根据权利要求5所述的道路作业视觉感知系统的使用方法，其特征在于：所述参数化处理，首先将双目相机的深度、像素信息转换成伪激光雷达点云信息，利用裁剪、滤波处理的方法过滤掉噪声及无效像素构成的空洞及周边物体的干扰信息，检测定位提取出目标物体，进而利用根据点云的坐标信息通过分割地面、分割目标顶层等方法，计算出点云图像对应的面积、长、宽、高等信息，实现道路目标的识别，最终估算得出三维目标的体积和重量数据；所述轻量化处理，为基于图像识别和自学习，通过筛选策略减少图像的归一化尺寸和筛除一些不必要的卷积核，完成对系统计算量的轻量化。
10.根据权利要求5所述的道路作业视觉感知系统的使用方法，其特征在于：所述各分类信息融合，为系统基于道路作业相关信息进行融合分析，包括基于车辆作业上装的作业范围参数，将车辆前方道路划分为若干作业区域，通过识别出道路前方的水坑和车道线，防止其被误认为垃圾或污垢，融合垃圾的种类、体积和位置和地面污垢的位置，得出前方各区域垃圾等级，其中垃圾越多，体积越大，垃圾等级越高；基于行人的位置信息，判断其坐标落于何作业区域，可得出前方各区域行人分布情况；融合植被类别和位置信息，判断植被的坐标落于何作业区域，得出前方各区域的植被类别，最终得出道路作业前方区域内的垃圾分布信息和作业环境信息数据，包括各区域垃圾等级、行人分布、植被类别、道路等级信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010895615.0A CN112131964A (zh) | 2020-08-31 | 2020-08-31 | 一种道路作业车辆视觉感知系统及其使用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010895615.0A CN112131964A (zh) | 2020-08-31 | 2020-08-31 | 一种道路作业车辆视觉感知系统及其使用方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112131964A true CN112131964A (zh) | 2020-12-25 |
Family
ID=73847633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010895615.0A Pending CN112131964A (zh) | 2020-08-31 | 2020-08-31 | 一种道路作业车辆视觉感知系统及其使用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112131964A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112660671A (zh) * | 2020-12-30 | 2021-04-16 | 重庆市环卫集团有限公司 | 一种餐厨垃圾的异物图像识别系统及管理系统 |
| CN112861715A (zh) * | 2021-02-05 | 2021-05-28 | 邵阳学院 | 一种图像识别方法和图像识别系统 |
| CN113592390A (zh) * | 2021-07-12 | 2021-11-02 | 嘉兴恒创电力集团有限公司博创物资分公司 | 一种基于多传感器融合的仓储数字孪生的方法与系统 |
| CN113989763A (zh) * | 2021-12-30 | 2022-01-28 | 江西省云眼大视界科技有限公司 | 一种视频结构化分析方法和分析系统 |
| CN114078242A (zh) * | 2022-01-19 | 2022-02-22 | 浙江吉利控股集团有限公司 | 基于自动驾驶的感知决策模型升级方法及系统 |
| CN114237089A (zh) * | 2021-11-15 | 2022-03-25 | 成都壹为新能源汽车有限公司 | 一种面向洗扫作业车的智能上装控制系统 |
| CN114310886A (zh) * | 2021-12-28 | 2022-04-12 | 深圳中智永浩机器人有限公司 | 人腿识别方法、装置、计算机设备及存储介质 |
| CN114821283A (zh) * | 2022-06-29 | 2022-07-29 | 山东施卫普环保科技有限公司 | 一种基于视觉感知的清扫车垃圾清扫方法及系统 |
| CN114991047A (zh) * | 2022-08-02 | 2022-09-02 | 山东省凯麟环保设备股份有限公司 | 基于智能视觉和双向地面清洁度判断的清扫方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930868A (zh) * | 2016-04-20 | 2016-09-07 | 北京航空航天大学 | 一种基于层次化增强学习的低分辨率机场目标检测方法 |
| CN110969178A (zh) * | 2018-09-30 | 2020-04-07 | 长城汽车股份有限公司 | 自动驾驶车辆的数据融合系统、方法及自动驾驶系统 |
| CN111079634A (zh) * | 2019-12-12 | 2020-04-28 | 徐工集团工程机械股份有限公司 | 车辆行驶中检测障碍物的方法、装置、系统及车辆 |
| US20200184252A1 (en) * | 2018-12-10 | 2020-06-11 | International Business Machines Corporation | Deep Learning Network for Salient Region Identification in Images |
| CN111444891A (zh) * | 2020-04-30 | 2020-07-24 | 天津大学 | 一种基于机载视觉的无人碾压机作业场景感知系统及方法 |
-
2020
- 2020-08-31 CN CN202010895615.0A patent/CN112131964A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930868A (zh) * | 2016-04-20 | 2016-09-07 | 北京航空航天大学 | 一种基于层次化增强学习的低分辨率机场目标检测方法 |
| CN110969178A (zh) * | 2018-09-30 | 2020-04-07 | 长城汽车股份有限公司 | 自动驾驶车辆的数据融合系统、方法及自动驾驶系统 |
| US20200184252A1 (en) * | 2018-12-10 | 2020-06-11 | International Business Machines Corporation | Deep Learning Network for Salient Region Identification in Images |
| CN111079634A (zh) * | 2019-12-12 | 2020-04-28 | 徐工集团工程机械股份有限公司 | 车辆行驶中检测障碍物的方法、装置、系统及车辆 |
| CN111444891A (zh) * | 2020-04-30 | 2020-07-24 | 天津大学 | 一种基于机载视觉的无人碾压机作业场景感知系统及方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112660671A (zh) * | 2020-12-30 | 2021-04-16 | 重庆市环卫集团有限公司 | 一种餐厨垃圾的异物图像识别系统及管理系统 |
| CN112861715A (zh) * | 2021-02-05 | 2021-05-28 | 邵阳学院 | 一种图像识别方法和图像识别系统 |
| CN113592390A (zh) * | 2021-07-12 | 2021-11-02 | 嘉兴恒创电力集团有限公司博创物资分公司 | 一种基于多传感器融合的仓储数字孪生的方法与系统 |
| CN114237089A (zh) * | 2021-11-15 | 2022-03-25 | 成都壹为新能源汽车有限公司 | 一种面向洗扫作业车的智能上装控制系统 |
| CN114310886A (zh) * | 2021-12-28 | 2022-04-12 | 深圳中智永浩机器人有限公司 | 人腿识别方法、装置、计算机设备及存储介质 |
| CN113989763A (zh) * | 2021-12-30 | 2022-01-28 | 江西省云眼大视界科技有限公司 | 一种视频结构化分析方法和分析系统 |
| CN114078242A (zh) * | 2022-01-19 | 2022-02-22 | 浙江吉利控股集团有限公司 | 基于自动驾驶的感知决策模型升级方法及系统 |
| WO2023137864A1 (zh) * | 2022-01-19 | 2023-07-27 | 浙江吉利控股集团有限公司 | 基于自动驾驶的感知决策模型升级方法、系统及电子装置 |
| CN114821283A (zh) * | 2022-06-29 | 2022-07-29 | 山东施卫普环保科技有限公司 | 一种基于视觉感知的清扫车垃圾清扫方法及系统 |
| CN114991047A (zh) * | 2022-08-02 | 2022-09-02 | 山东省凯麟环保设备股份有限公司 | 基于智能视觉和双向地面清洁度判断的清扫方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112131964A (zh) | 一种道路作业车辆视觉感知系统及其使用方法 | |
| Chen et al. | Lane departure warning systems and lane line detection methods based on image processing and semantic segmentation: A review | |
| CN109597087B (zh) | 一种基于点云数据的3d目标检测方法 | |
| Ghazali et al. | Road lane detection using H-maxima and improved hough transform | |
| Ma et al. | Simultaneous detection of lane and pavement boundaries using model-based multisensor fusion | |
| Zakaria et al. | Lane detection in autonomous vehicles: A systematic review | |
| CN109359409A (zh) | 一种基于视觉与激光雷达传感器的车辆可通过性检测系统 | |
| CN109444912B (zh) | 一种基于协同控制与深度学习的驾驶环境感知系统及方法 | |
| Deepika et al. | Obstacle classification and detection for vision based navigation for autonomous driving | |
| CN202134079U (zh) | 一种无人驾驶车辆车道标志线识别与报警装置 | |
| CN110956146B (zh) | 一种道路背景建模方法、装置、电子设备和存储介质 | |
| Chao et al. | Multi-lane detection based on deep convolutional neural network | |
| Wang et al. | The research on edge detection algorithm of lane | |
| Cheng et al. | Modeling weather and illuminations in driving views based on big-video mining | |
| CN117284320A (zh) | 一种点云数据的车辆特征识别方法及系统 | |
| DE102022102187A1 (de) | High-fidelity-daten-getriebene multimodale simulation | |
| CN113870246A (zh) | 一种基于深度学习的障碍物探测和识别方法 | |
| CN104751138A (zh) | 一种车载红外图像彩色化辅助驾驶系统 | |
| Ye et al. | Neural network‐based semantic segmentation model for robot perception of driverless vision | |
| CN111553181A (zh) | 车载相机语义识别方法、系统及装置 | |
| CN115352467A (zh) | 自动驾驶车辆的行驶控制方法、装置及设备 | |
| CN111160230B (zh) | 一种基于深度学习的道路不规则区域检测网络 | |
| Yuan et al. | A Rail Detection Method Using Bird's Eye View of LiDAR Point Clouds | |
| Lin et al. | Vehicle vision robust detection and recognition method | |
| WO2020155020A1 (zh) | 环境感知方法、装置以及控制方法、装置和车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |