CN118115975B - 一种基于障碍物检测的低速无人驾驶控制方法和系统 - Google Patents

一种基于障碍物检测的低速无人驾驶控制方法和系统 Download PDF

Info

Publication number
CN118115975B
CN118115975B CN202410489462.8A CN202410489462A CN118115975B CN 118115975 B CN118115975 B CN 118115975B CN 202410489462 A CN202410489462 A CN 202410489462A CN 118115975 B CN118115975 B CN 118115975B
Authority
CN
China
Prior art keywords
image
obstacle
pixel point
gray value
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410489462.8A
Other languages
English (en)
Other versions
CN118115975A (zh
Inventor
江志洲
吴华华
周宇斌
金伟伟
李秋生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mingshang Technology Co ltd
Original Assignee
Mingshang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mingshang Technology Co ltd filed Critical Mingshang Technology Co ltd
Priority to CN202410489462.8A priority Critical patent/CN118115975B/zh
Publication of CN118115975A publication Critical patent/CN118115975A/zh
Application granted granted Critical
Publication of CN118115975B publication Critical patent/CN118115975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及智能驾驶技术领域，具体涉及一种基于障碍物检测的低速无人驾驶控制方法和系统，方法包括：通过车载摄像头拍摄车辆前方的道路的图像；将图像转换为灰度图像；对图像进行降噪处理；识别图像中的每个像素点是否为障碍物边缘点，将图像中判断结果为是的像素点进行保留；将图像划分为a个单元，将a个单元组成b个单元集；计算a个单元中每个单元的梯度直方图，确定a个单元中每个单元的特征、b个单元集中每个单元集的特征、图像的特征；将图像的特征输入经过训练的BP神经网络，标注出道路上存在的障碍物的位置和类型；计算车辆在道路上行驶的路线以规避障碍物。本发明能够强化对道路中障碍物的感知精度，实现更加安全的低速无人驾驶功能。

Description

一种基于障碍物检测的低速无人驾驶控制方法和系统
技术领域
本发明涉及智能驾驶技术领域，且更为具体地，涉及一种基于障碍物检测的低速无人驾驶控制方法和系统。
背景技术
近年来，随着人工智能、机器视觉、传感器技术和嵌入式计算技术的发展，无人驾驶、辅助驾驶汽车已成为全球关注的焦点和未来出行的重要趋向。尤其在低速场景下，例如园区内、仓库物流、清扫作业等领域，无人驾驶、辅助驾驶车辆的市场需求日益增长。然而，低速无人驾驶、辅助驾驶车辆在复杂环境中稳定、安全、高效的行驶，关键在于能否准确、及时地识别和应对各类静态和动态障碍物。
在此背景下，本发明提出一种基于障碍物检测的低速无人驾驶控制方法，旨在强化对道路中障碍物情况的感知精度，以实现更加安全、可靠的低速无人驾驶功能。
发明内容
为了解决上述技术问题，提出了本申请，以提供一种强化对道路中障碍物情况的感知精度，以实现更加安全、可靠的低速无人驾驶功能的基于障碍物检测的低速无人驾驶控制方法和系统。
第一方面，本发明提供了一种基于障碍物检测的低速无人驾驶控制方法，包括：通过车载摄像头拍摄车辆前方的道路的图像；将所述图像转换为灰度图像；对所述图像进行降噪处理；识别所述图像中的每个像素点是否为障碍物边缘点，对于所述图像中判断结果为否的像素点进行删除，将所述图像中判断结果为是的像素点进行保留；将所述图像划分为a个单元，其中每个单元具有m×m个像素点，将所述a个单元组成b个单元集，其中每个单元集具有n×n个单元；计算所述a个单元中每个单元的梯度直方图，基于所述a个单元中每个单元的梯度直方图确定所述a个单元中每个单元的特征，基于计算所述b个单元集中每个单元集内所有单元的特征，确定所述b个单元集中每个单元集的特征，将所述a个单元的特征与所述b个单元集的特征进行串联，作为所述图像的特征；将所述图像的特征输入经过训练的BP神经网络，由所述BP神经网络在所述图像中进行标注，标注出所述道路上存在的障碍物的位置和类型；基于所述障碍物的位置和类型，计算所述车辆在所述道路上行驶的路线以规避所述障碍物。
可选地，前述的基于障碍物检测的低速无人驾驶控制方法，所述对所述图像进行降噪处理包括：将所述图像中的每个像素点作为待处理像素点，通过预设尺寸的窗口采集以所述待处理像素点为中心的区域中的所有像素点；统计所述区域中所有像素点的灰度值，计算其中最大灰度值与最小灰度值之间的差值；在所述差值大于预设阈值时，将所述待处理像素点的灰度值修改为所述区域中所有像素点的灰度值均值；在所述差值小于所述预设阈值时，保留所述待处理像素点的灰度值。
可选地，前述的基于障碍物检测的低速无人驾驶控制方法，还包括：在所述图像中的最后一个像素点作为所述待处理像素点并确定其灰度值后，增大所述窗口的尺寸，重新将所述图像中的每个像素点作为所述待处理像素点并确定其灰度值，直至所述窗口的尺寸达到预设尺寸上限。
可选地，前述的基于障碍物检测的低速无人驾驶控制方法，所述识别所述图像中的每个像素点是否为障碍物边缘点包括：将所述图像中的每个像素点作为待识别像素点，计算所述待识别像素点的梯度强度和梯度趋向；沿所述待识别像素点的梯度趋向，从所述图像中选取与所述待识别像素点邻近的第一邻近像素点和第二邻近像素点；判断所述待识别像素点的灰度值是否大于所述第一邻近像素点的灰度值以及大于所述第二邻近像素点的灰度值；在所述待识别像素点的灰度值大于所述第一邻近像素点的灰度值且大于所述第二邻近像素点的灰度值时，将所述待识别像素点作为障碍物边缘点；在所述待识别像素点的灰度值小于所述第一邻近像素点的灰度值或小于所述第二邻近像素点的灰度值时，将所述待识别像素点作为非障碍物边缘点。
可选地，前述的基于障碍物检测的低速无人驾驶控制方法，所述计算所述待识别像素点的梯度强度和梯度趋向包括：
计算所述待识别像素点的梯度强度，其中，所述待 识别像素点的坐标为，、、、表示像素点、、、的灰度值；计算所述待识别像素点的梯度趋向，其中，arctan函数为反正切函数。
可选地，前述的基于障碍物检测的低速无人驾驶控制方法，在所述识别所述图像中的每个像素点是否为障碍物边缘点后，还包括：判断所述障碍物边缘点的灰度值是否高于预设灰度上限；在所述障碍物边缘点的灰度值高于所述预设灰度上限时，在所述图像中保留所述障碍物边缘点；在所述障碍物边缘点的灰度值低于所述预设灰度上限时，判断所述障碍物边缘点的灰度值低于预设灰度下限；在所述障碍物边缘点的灰度值低于所述预设灰度下限时，从所述图像中删除所述障碍物边缘点；在所述障碍物边缘点的灰度值高于所述预设灰度下限时，判断所述障碍物边缘点是否连接其他障碍物边缘点；在所述障碍物边缘点连接所述其他障碍物边缘点时，在所述图像中保留所述障碍物边缘点；在所述障碍物边缘点未连接所述其他障碍物边缘点时，从所述图像中删除所述障碍物边缘点。
可选地，前述的基于障碍物检测的低速无人驾驶控制方法，在所述判断所述障碍 物边缘点的灰度值是否高于预设灰度上限之前，还包括：统计所述图像中所有像素点对应 的n种不同大小的灰度值，其中第i种类灰度值为；以所述第i种类灰度值为基准，将所 述图像中所有像素点区分为前景像素点和背景像素点；计算所述图像中所述前景像素点的 比例以及灰度值方差，以及计算所述图像中所述背景像素点的比例以及灰度值方差；取所述预设灰度上限为，取所述预设灰度下限为。
可选地，前述的基于障碍物检测的低速无人驾驶控制方法，所述BP神经网络在训 练过程中使用的损失函数为，其中，表示所述BP神经网络从 所述图像中预测出的c个障碍物中第k个障碍物的类型和位置，表示所述图像中所述第k 个障碍物实际的类型和位置，表示所述第k个障碍物所属类型的障碍物的风险系数，用于 反映该类型障碍物对所述车辆驾驶安全的影响程度，为偏置值。
第二方面，本发明提供了一种基于障碍物检测的低速无人驾驶控制系统，包括：图像拍摄模块，通过车载摄像头拍摄车辆前方的道路的图像；图像转换模块，将所述图像转换为灰度图像；图像降噪模块，对所述图像进行降噪处理；障碍物边缘识别模块，识别所述图像中的每个像素点是否为障碍物边缘点，对于所述图像中判断结果为否的像素点进行删除，将所述图像中判断结果为是的像素点进行保留；图像划分模块，将所述图像划分为a个单元，其中每个单元具有m×m个像素点，将所述a个单元组成b个单元集，其中每个单元集具有n×n个单元；特征计算模块，计算所述a个单元中每个单元的梯度直方图，基于所述a个单元中每个单元的梯度直方图确定所述a个单元中每个单元的特征，基于计算所述b个单元集中每个单元集内所有单元的特征，确定所述b个单元集中每个单元集的特征，将所述a个单元的特征与所述b个单元集的特征进行串联，作为所述图像的特征；障碍物识别模块，将所述图像的特征输入经过训练的BP神经网络，由所述BP神经网络在所述图像中进行标注，标注出所述道路上存在的障碍物的位置和类型；路线规划模块，基于所述障碍物的位置和类型，计算所述车辆在所述道路上行驶的路线以规避所述障碍物。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
根据本发明的技术方案，通过车载摄像头拍摄的道路图像，经过灰度转换和降噪处理后，首先识别及筛选其中的障碍物边缘点，之后创新性地将图像像素点划分为单元和单元集两层结构，并基于梯度直方图构建该两层结构的特征，则形成的特征不但能够充分体现图像中障碍物的光学特性和形状特点，而且强化了对图像局部结构的描述能力，单元和单元集两层结构的特征串联后输入经过训练的BP神经网络，可以精准识别出道路上存在的障碍物的位置和类型，从而合理规划车辆在道路上行驶的路线以规避障碍物。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的一种基于障碍物检测的低速无人驾驶控制方法的流程图；
图2为根据本申请实施例的一种基于障碍物检测的低速无人驾驶控制方法的局部流程图；
图3为根据本申请实施例的一种基于障碍物检测的低速无人驾驶控制方法的另一局部流程图；
图4为根据本申请实施例的一种基于障碍物检测的低速无人驾驶控制方法的又一局部流程图；
图5为根据本申请实施例的一种基于障碍物检测的低速无人驾驶控制系统的框图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
如图1所示，本发明的一个实施例中提供了一种基于障碍物检测的低速无人驾驶控制方法，包括：
步骤S110，通过车载摄像头拍摄车辆前方的道路的图像。
步骤S120，将图像转换为灰度图像。
步骤S130，对图像进行降噪处理。
本实施例中，对图像进行降噪处理，避免图像中的噪点被识别为障碍物边缘，从而影响精准识别障碍物。
步骤S140，识别图像中的每个像素点是否为障碍物边缘点，对于图像中判断结果为否的像素点进行删除，将图像中判断结果为是的像素点进行保留。
本实施例中，此时图像中仅剩余障碍物边缘点，障碍物边缘点与其他区域的对比更强烈，有利于精准识别障碍物。
步骤S150，将图像划分为a个单元，其中每个单元具有m×m个像素点，将a个单元组成b个单元集，其中每个单元集具有n×n个单元。
步骤S160，计算a个单元中每个单元的梯度直方图，基于a个单元中每个单元的梯度直方图确定a个单元中每个单元的特征，基于计算b个单元集中每个单元集内所有单元的特征，确定b个单元集中每个单元集的特征，将a个单元的特征与b个单元集的特征进行串联，作为图像的特征。
本实施例中，一般地m取3、n取2。本实施例中，利用梯度直方图计算图像特征，能够充分体现图像中障碍物的光学特性和形状特点，反映障碍物的轮廓信息。本实施例中，b个单元集中每个单元集的特征可以取基于计算b个单元集中每个单元集内所有单元的特征的均值，将多个单元划分为第一个单元集提取特征，形成一个更大范围内的梯度方向分布统计，增加了对图像局部结构的描述能力。
步骤S170，将图像的特征输入经过训练的BP神经网络，由BP神经网络在图像中进行标注，标注出道路上存在的障碍物的位置和类型。
本实施例中，可以直接现有技术方案中的BP神经网络，来实现道路障碍物的位置和类型的识别。
进一步地，可对现有技术方案中的BP神经网络使用的损失函数进行优化，即BP神 经网络在训练过程中使用的损失函数为，其中，表示BP神经 网络从图像中预测出的c个障碍物中第k个障碍物的类型和位置，表示图像中第k个障碍 物实际的类型和位置，表示第k个障碍物所属类型的障碍物的风险系数，用于反映该类型 障碍物对车辆驾驶安全的影响程度，为偏置值。
本实施例中，在损失函数设计中考虑到不同障碍物对驾驶风险的影响，从而使得训练出的BP神经网络更加倾向准确识别对车辆安全风险影响较大的障碍物，从而确保无人驾驶、辅助驾驶安全稳定。
步骤S180，基于障碍物的位置和类型，计算车辆在道路上行驶的路线以规避障碍物。
根据本实施例的技术方案，通过车载摄像头拍摄的道路图像，经过灰度转换和降噪处理后，首先识别及筛选其中的障碍物边缘点，之后创新性地将图像像素点划分为单元和单元集两层结构，并基于梯度直方图构建该两层结构的特征，则形成的特征不但能够充分体现图像中障碍物的光学特性和形状特点，而且强化了对图像局部结构的描述能力，单元和单元集两层结构的特征串联后输入经过训练的BP神经网络，可以精准识别出道路上存在的障碍物的位置和类型，从而合理规划车辆在道路上行驶的路线以规避障碍物。
如图2所示，本发明的一个实施例中提供了一种基于障碍物检测的低速无人驾驶控制方法，相比于前述的实施例，本实施例的基于障碍物检测的低速无人驾驶控制方法，步骤S120包括：
步骤S210，将图像中的每个像素点作为待处理像素点，通过预设尺寸的窗口采集以待处理像素点为中心的区域中的所有像素点。
本实施例中，对窗口的尺寸不进行限制。
步骤S220，统计区域中所有像素点的灰度值，计算其中最大灰度值与最小灰度值之间的差值。
步骤S230，在差值大于预设阈值时，将待处理像素点的灰度值修改为区域中所有像素点的灰度值均值。
本实施例中，在最大灰度值与最小灰度值的差值较大时，则该像素点位置的灰度值缺乏连贯性，则判断为噪点，此时利用区域像素点灰度均值进行平滑处理。
步骤S240，在差值小于预设阈值时，保留待处理像素点的灰度值。
步骤S250，在图像中的最后一个像素点作为待处理像素点并确定其灰度值后，增大窗口的尺寸，重新将图像中的每个像素点作为待处理像素点并确定其灰度值，直至窗口的尺寸达到预设尺寸上限。
根据本实施例中的技术方案，设计了自调整尺寸的窗口，对图像的像素点灰度值进行多轮平滑处理，能够显著提升对图像降噪的效果。
如图3所示，本发明的一个实施例中提供了一种基于障碍物检测的低速无人驾驶控制方法，相比于前述的实施例，本实施例的基于障碍物检测的低速无人驾驶控制方法，步骤S140包括：
步骤S310，将图像中的每个像素点作为待识别像素点，计算待识别像素点的梯度强度和梯度趋向。
具体地，计算待识别像素点的梯度强度的公式为，其中，待识别 像素点的坐标为，、、、表示像素点、、、的灰度值。
具体地，计算待识别像素点的梯度趋向的公式为，其中，arctan函数为反正切函数。
本实施例，选择待识别像素点及周围像素点共4个像素点，来准确计算待识别像素点的梯度强度和梯度趋向。
步骤S320，沿待识别像素点的梯度趋向，从图像中选取与待识别像素点邻近的第一邻近像素点和第二邻近像素点。
步骤S330，判断待识别像素点的灰度值是否大于第一邻近像素点的灰度值以及大于第二邻近像素点的灰度值。
步骤S340，在待识别像素点的灰度值大于第一邻近像素点的灰度值且大于第二邻近像素点的灰度值时，将待识别像素点作为障碍物边缘点。
本实施例中，对于图像中的障碍物来说，其边缘像素点的灰度值在其梯度方向的差异较大，即障碍物边缘相对于障碍物内部及背景差异较大，据此可以精准识别障碍物边缘。
步骤S350，在待识别像素点的灰度值小于第一邻近像素点的灰度值或小于第二邻近像素点的灰度值时，将待识别像素点作为非障碍物边缘点。
如图4所示，本发明的一个实施例中提供了一种基于障碍物检测的低速无人驾驶控制方法，相比于前述的实施例，本实施例的基于障碍物检测的低速无人驾驶控制方法，在步骤S140之后，还包括：
步骤S410，判断障碍物边缘点的灰度值是否高于预设灰度上限。
（1）统计图像中所有像素点对应的n种不同大小的灰度值，其中第i种类灰度值为。
（2）以第i种类灰度值为基准，将图像中所有像素点区分为前景像素点和背景像 素点。
（3）计算图像中前景像素点的比例以及灰度值方差，以及计算图像中背景像 素点的比例以及灰度值方差。
（4）取预设灰度上限为，取预设灰度下限为。
本实施例中，遍历了图像中所有可能的像素点灰度值，然后基于不同大小的灰度值将图像区分为前景和背景，基于最大类间方差方式实现了基于图像自适应计算出预设灰度上限和预设灰度下限，以满足复杂图像场景中的障碍物识别任务。
步骤S420，在障碍物边缘点的灰度值高于预设灰度上限时，在图像中保留障碍物边缘点。
步骤S430，在障碍物边缘点的灰度值低于预设灰度上限时，判断障碍物边缘点的灰度值低于预设灰度下限。
步骤S440，在障碍物边缘点的灰度值低于预设灰度下限时，从图像中删除障碍物边缘点。
本实施例中，本领域技术人员应当理解，障碍物边缘点的灰度值通常较高，所以此处将灰度值低于合理值的障碍物边缘点删除。
步骤S450，在障碍物边缘点的灰度值高于预设灰度下限时，判断障碍物边缘点是否连接其他障碍物边缘点。
步骤S460，在障碍物边缘点连接其他障碍物边缘点时，在图像中保留障碍物边缘点。
步骤S470，在障碍物边缘点未连接其他障碍物边缘点时，从图像中删除障碍物边缘点。
根据本实施例的技术方案，本领域技术人员应当理解，障碍物的边缘具有连贯性，即障碍物像素点之间应当存在关联，本实施例据此再次对障碍物边缘点进行筛选，提升障碍物边缘点的识别精准性。
如图5所示，本发明的一个实施例中提供了一种基于障碍物检测的低速无人驾驶控制系统，包括：
图像拍摄模块510，通过车载摄像头拍摄车辆前方的道路的图像。
图像转换模块520，将图像转换为灰度图像。
图像降噪模块530，对图像进行降噪处理。
本实施例中，对图像进行降噪处理，避免图像中的噪点被识别为障碍物边缘，从而影响精准识别障碍物。
障碍物边缘识别模块540，识别图像中的每个像素点是否为障碍物边缘点，对于图像中判断结果为否的像素点进行删除，将图像中判断结果为是的像素点进行保留。
本实施例中，此时图像中仅剩余障碍物边缘点，障碍物边缘点与其他区域的对比更强烈，有利于精准识别障碍物。
图像划分模块550，将图像划分为a个单元，其中每个单元具有m×m个像素点，将a个单元组成b个单元集，其中每个单元集具有n×n个单元。
特征计算模块560，计算a个单元中每个单元的梯度直方图，基于a个单元中每个单元的梯度直方图确定a个单元中每个单元的特征，基于计算b个单元集中每个单元集内所有单元的特征，确定b个单元集中每个单元集的特征，将a个单元的特征与b个单元集的特征进行串联，作为图像的特征。
本实施例中，一般地m取3、n取2。本实施例中，利用梯度直方图计算图像特征，能够充分体现图像中障碍物的光学特性和形状特点，反映障碍物的轮廓信息。本实施例中，b个单元集中每个单元集的特征可以取基于计算b个单元集中每个单元集内所有单元的特征的均值，将多个单元划分为第一个单元集提取特征，形成一个更大范围内的梯度方向分布统计，增加了对图像局部结构的描述能力。
障碍物识别模块570，将图像的特征输入经过训练的BP神经网络，由BP神经网络在图像中进行标注，标注出道路上存在的障碍物的位置和类型。
本实施例中，可以直接现有技术方案中的BP神经网络，来实现道路障碍物的位置和类型的识别。
路线规划模块580，基于障碍物的位置和类型，计算车辆在道路上行驶的路线以规避障碍物。
根据本实施例的技术方案，通过车载摄像头拍摄的道路图像，经过灰度转换和降噪处理后，首先识别及筛选其中的障碍物边缘点，之后创新性地将图像像素点划分为单元和单元集两层结构，并基于梯度直方图构建该两层结构的特征，则形成的特征不但能够充分体现图像中障碍物的光学特性和形状特点，而且强化了对图像局部结构的描述能力，单元和单元集两层结构的特征串联后输入经过训练的BP神经网络，可以精准识别出道路上存在的障碍物的位置和类型，从而合理规划车辆在道路上行驶的路线以规避障碍物。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (5)

1.一种基于障碍物检测的低速无人驾驶控制方法，其特征在于，包括：
通过车载摄像头拍摄车辆前方的道路的图像；
将所述图像转换为灰度图像；
对所述图像进行降噪处理；
识别所述图像中的每个像素点是否为障碍物边缘点，对于所述图像中判断结果为否的像素点进行删除，将所述图像中判断结果为是的像素点进行保留；
将所述图像划分为a个单元，其中每个单元具有m×m个像素点，将所述a个单元组成b个单元集，其中每个单元集具有n×n个单元；
计算所述a个单元中每个单元的梯度直方图，基于所述a个单元中每个单元的梯度直方图确定所述a个单元中每个单元的特征，基于计算所述b个单元集中每个单元集内所有单元的特征，确定所述b个单元集中每个单元集的特征，将所述a个单元的特征与所述b个单元集的特征进行串联，作为所述图像的特征；
将所述图像的特征输入经过训练的BP神经网络，由所述BP神经网络在所述图像中进行标注，标注出所述道路上存在的障碍物的位置和类型；
基于所述障碍物的位置和类型，计算所述车辆在所述道路上行驶的路线以规避所述障碍物；
所述对所述图像进行降噪处理包括：
将所述图像中的每个像素点作为待处理像素点，通过预设尺寸的窗口采集以所述待处理像素点为中心的区域中的所有像素点；
统计所述区域中所有像素点的灰度值，计算其中最大灰度值与最小灰度值之间的差值；
在所述差值大于预设阈值时，将所述待处理像素点的灰度值修改为所述区域中所有像素点的灰度值均值；
在所述差值小于所述预设阈值时，保留所述待处理像素点的灰度值；
还包括：
统计所述图像中所有像素点对应的n种不同大小的灰度值，其中第i种类灰度值为以所述第i种类灰度值为基准，将所述图像中所有像素点区分为前景像素点和背景像素点；
计算所述图像中所述前景像素点的比例以及灰度值方差，以及计算所述图像中所述背景像素点的比例以及灰度值方差；
所述BP神经网络在训练过程中使用的损失函数为，其中，表示所述BP神经网络从所述图像中预测出的c个障碍物中第k个障碍物的类型和位置，表示所述图像中所述第k个障碍物实际的类型和位置，表示所述第k个障碍物所属类型的障碍物的风险系数，用于反映该类型障碍物对所述车辆驾驶安全的影响程度，为偏置值。
2.根据权利要求1所述的基于障碍物检测的低速无人驾驶控制方法，其特征在于，还包括：
在所述图像中的最后一个像素点作为所述待处理像素点并确定其灰度值后，增大所述窗口的尺寸，重新将所述图像中的每个像素点作为所述待处理像素点并确定其灰度值，直至所述窗口的尺寸达到预设尺寸上限。
3.根据权利要求1所述的基于障碍物检测的低速无人驾驶控制方法，其特征在于，所述识别所述图像中的每个像素点是否为障碍物边缘点包括：
将所述图像中的每个像素点作为待识别像素点，计算所述待识别像素点的梯度强度和梯度趋向；
沿所述待识别像素点的梯度趋向，从所述图像中选取与所述待识别像素点邻近的第一邻近像素点和第二邻近像素点；
判断所述待识别像素点的灰度值是否大于所述第一邻近像素点的灰度值以及大于所述第二邻近像素点的灰度值；
在所述待识别像素点的灰度值大于所述第一邻近像素点的灰度值且大于所述第二邻近像素点的灰度值时，将所述待识别像素点作为障碍物边缘点；
在所述待识别像素点的灰度值小于所述第一邻近像素点的灰度值或小于所述第二邻近像素点的灰度值时，将所述待识别像素点作为非障碍物边缘点。
4.根据权利要求3所述的基于障碍物检测的低速无人驾驶控制方法，其特征在于，所述计算所述待识别像素点的梯度强度和梯度趋向包括：
计算所述待识别像素点的梯度强度，其中，所述待识别像素点的坐标为，、、、表示像素点、、、的灰度值；
计算所述待识别像素点的梯度趋向，其中，arctan函数为反正切函数。
5.根据权利要求4所述的基于障碍物检测的低速无人驾驶控制方法，其特征在于，在所述识别所述图像中的每个像素点是否为障碍物边缘点后，还包括：
判断所述障碍物边缘点的灰度值是否高于预设灰度上限；
在所述障碍物边缘点的灰度值高于所述预设灰度上限时，在所述图像中保留所述障碍物边缘点；
在所述障碍物边缘点的灰度值低于所述预设灰度上限时，判断所述障碍物边缘点的灰度值低于预设灰度下限；
在所述障碍物边缘点的灰度值低于所述预设灰度下限时，从所述图像中删除所述障碍物边缘点；
在所述障碍物边缘点的灰度值高于所述预设灰度下限时，判断所述障碍物边缘点是否连接其他障碍物边缘点；
在所述障碍物边缘点连接所述其他障碍物边缘点时，在所述图像中保留所述障碍物边缘点；
在所述障碍物边缘点未连接所述其他障碍物边缘点时，从所述图像中删除所述障碍物边缘点。
CN202410489462.8A 2024-04-23 2024-04-23 一种基于障碍物检测的低速无人驾驶控制方法和系统 Active CN118115975B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410489462.8A CN118115975B (zh) 2024-04-23 2024-04-23 一种基于障碍物检测的低速无人驾驶控制方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410489462.8A CN118115975B (zh) 2024-04-23 2024-04-23 一种基于障碍物检测的低速无人驾驶控制方法和系统

Publications (2)

Publication Number Publication Date
CN118115975A CN118115975A (zh) 2024-05-31
CN118115975B true CN118115975B (zh) 2024-07-23

Family

ID=91210815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410489462.8A Active CN118115975B (zh) 2024-04-23 2024-04-23 一种基于障碍物检测的低速无人驾驶控制方法和系统

Country Status (1)

Country Link
CN (1) CN118115975B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679205A (zh) * 2013-12-23 2014-03-26 湖南大学 基于阴影假设和分层hog对称特征验证的前车检测方法
CN116229423A (zh) * 2023-03-16 2023-06-06 东华大学 基于改进的Canny边缘检测算法和SVM的无人驾驶中的小目标检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6808586B2 (ja) * 2017-07-05 2021-01-06 クラリオン株式会社 車両用外界認識装置
CN111971682B (zh) * 2018-04-16 2024-07-05 三菱电机株式会社 路面检测装置、图像显示装置、障碍物检测装置、路面检测方法、图像显示方法以及障碍物检测方法
WO2019202627A1 (ja) * 2018-04-16 2019-10-24 三菱電機株式会社 障害物検出装置、障害物検出装置を利用した自動ブレーキ装置、障害物検出方法、および障害物検出方法を利用した自動ブレーキ方法
CN110097109B (zh) * 2019-04-25 2022-12-16 湖北工业大学 一种基于深度学习的道路环境障碍物检测系统及方法
JP6949090B2 (ja) * 2019-11-08 2021-10-13 三菱電機株式会社 障害物検知装置及び障害物検知方法
CN112633176B (zh) * 2020-12-24 2023-03-14 广西大学 一种基于深度学习的轨道交通障碍物检测方法
CN115841735A (zh) * 2022-09-05 2023-03-24 重庆交通大学 基于人、道路、环境动态耦合的安全驾驶辅助系统
CN115273039B (zh) * 2022-09-29 2023-01-10 中汽数据(天津)有限公司 一种基于摄像头的小障碍物探测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679205A (zh) * 2013-12-23 2014-03-26 湖南大学 基于阴影假设和分层hog对称特征验证的前车检测方法
CN116229423A (zh) * 2023-03-16 2023-06-06 东华大学 基于改进的Canny边缘检测算法和SVM的无人驾驶中的小目标检测方法

Also Published As

Publication number Publication date
CN118115975A (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
CN112801022B (zh) 一种无人驾驶矿卡作业区道路边界快速检测更新的方法
Fang et al. Road-sign detection and tracking
CN103824066B (zh) 一种基于视频流的车牌识别方法
CN101701818B (zh) 远距离障碍的检测方法
CN103902985B (zh) 一种基于roi的强鲁棒性实时车道侦测算法
CN110348332B (zh) 一种交通视频场景下机非人多目标实时轨迹提取方法
CN115717894A (zh) 一种基于gps和普通导航地图的车辆高精度定位方法
CN112666573B (zh) 一种矿区卸载区车后方挡土墙及障碍物的检测方法
CN113034378B (zh) 一种区分电动汽车与燃油汽车的方法
CN114708567B (zh) 一种基于双目摄像头的路面坑洼检测和避让方法及系统
CN113029185A (zh) 众包式高精度地图更新中道路标线变化检测方法及系统
Wang et al. Lane detection based on two-stage noise features filtering and clustering
CN113221739B (zh) 基于单目视觉的车距测量方法
CN110705553A (zh) 一种适用于车辆远景图像的划痕检测方法
Yoon et al. Thermal-infrared based drivable region detection
CN106650814B (zh) 一种基于车载单目视觉室外道路自适应分类器生成方法
Gupta et al. Robust lane detection using multiple features
CN118115975B (zh) 一种基于障碍物检测的低速无人驾驶控制方法和系统
CN112052768A (zh) 基于无人机的城市违章停车检测方法、装置及存储介质
CN116152758A (zh) 一种智能实时事故检测及车辆跟踪方法
CN116503829A (zh) 一种车道线分段拟合方法及系统
CN113673383B (zh) 一种面向复杂道路场景的时空域障碍物检测方法及系统
Chen et al. A new adaptive region of interest extraction method for two-lane detection
CN105069410A (zh) 基于非结构化的道路识别方法及装置
CN116206297A (zh) 基于级联神经网络的视频流实时车牌识别系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant