CN117237911A - 一种基于图像的动态障碍物快速检测方法及系统 - Google Patents
一种基于图像的动态障碍物快速检测方法及系统 Download PDFInfo
- Publication number
- CN117237911A CN117237911A CN202311036679.5A CN202311036679A CN117237911A CN 117237911 A CN117237911 A CN 117237911A CN 202311036679 A CN202311036679 A CN 202311036679A CN 117237911 A CN117237911 A CN 117237911A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- pixel
- super
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 123
- 238000007781 pre-processing Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000000694 effects Effects 0.000 claims abstract description 6
- 238000002372 labelling Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 10
- 230000026676 system process Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013136 deep learning model Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000001172 regenerating effect Effects 0.000 claims description 3
- 230000008263 repair mechanism Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 14
- 230000006870 function Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明所述方法及系统，涉及自动驾驶技术领域包括采集驾驶场景的图像数据并标注动态障碍物；对原始图像数据预处理，通过线性迭代聚类生成超像素图像；预测目标位置，将超像素图像输入多目标检测算法，生成目标类别和边界框。本发明提供的基于图像的动态障碍物快速检测方法通过超像素抽象将物体抽象成多个细长的矩形，降低了计算量，同时保持了对目标物体的有效表示，相比于对每个像素进行计算，只需对超像素进行计算处理，减少了计算开销，提高了检测速度，能够快速检测移动的目标并及时做出正确反应，提高了自动驾驶系统的安全性和稳健性。本发明在计算开销、检测速度和安全性方面都取得更加良好的效果。
Description
技术领域
本发明涉及自动驾驶技术领域，具体为一种基于图像的动态障碍物快速检测方法。
背景技术
随着自动驾驶行业的发展，行业内外对于自动驾驶技术的稳健性和安全性的要求越来越高。在一些自动驾驶场景中，存在着大量快速移动的目标，最容易想到且最常见的是高速公路上高速行驶的汽车。同时，配有自动驾驶系统的车辆也处于高速行驶的状态。这就要求自动驾驶系统能够快速地检测目标，本车能够及时地做出正确的反应。对动态目标的快速检测是自动驾驶系统的关键问题也是一大难点，在高速行驶的情况下，若没有达到比行驶速度快的检测速度，必然会发生碰撞，造成生命财产损失，违背自动驾驶技术安全第一的准则。
当前，在自动驾驶系统中，基于图像的目标检测方法大都使用基于全像素图像的深度学习方法，需要对图像的每个像素进行计算处理，显然在像素高的图像处理上需要更多的时间。针对这一问题，将物体抽象成多个细长矩形即超像素抽象，有效降低了计算规模从而加快目标检测。深度学习模型本身结构复杂，需要大量的计算，为了提高检测的准确性，常选择加深模型的层数，导致更高的计算量从而需要更长的时间。超像素抽象实际上降低了数据规模，尽管模型层数加深，仍然大大降低了计算量。另外，当前大多数目标检测方法是对单个图像进行训练，然而在自动驾驶中，前后帧之间有着信息关联，通过添加目标预测模型可以充分利用前后帧的关系，帮助快速定位下一时刻的目标位置，进一步提高检测速度和准确度。
发明内容
鉴于上述存在的问题，提出了本发明。
因此，本发明解决的技术问题是：现有的目标检测方法存在计算复杂性高，网络层数限制，漏检问题严重，以及如何加强自动驾驶系统中动态目标快速检测能力的优化问题。
为解决上述技术问题，本发明提供如下技术方案：一种基于图像的动态障碍物快速检测方法，包括采集驾驶场景的图像数据并标注动态障碍物；对原始图像数据预处理，通过线性迭代聚类生成超像素图像；预测目标位置，将超像素图像输入多目标检测算法，生成目标类别和边界框。
作为本发明所述的基于图像的动态障碍物快速检测方法的一种优选方案，其中：所述采集驾驶场景的图像数据并标注动态障碍物包括在不同城市场景下使用自动驾驶系统采集图像数据，利用标注软件对采集到的图像进行数据标注，标注目标边界框和类别，标注对象为动态障碍物，不包括静态物体，制作图像数据集，并按照7：3的比例将数据集划分为训练集和验证集。
作为本发明所述的基于图像的动态障碍物快速检测方法的一种优选方案，其中：所述采集驾驶场景的图像数据并标注动态障碍物还包括在数据采集过程中当自动驾驶系统检测到潜在动态障碍物时，系统通过语音提示或可视化界面向驾驶员确认是否正确检测到了动态障碍物，并等待驾驶员的反馈，当自动驾驶系统未能正确检测到潜在动态障碍物时，系统向驾驶员发送提示，询问是否存在未检测到的动态障碍物，并要求驾驶员手动标注障碍物；当自动驾驶系统处理环境或场景时出现不确定性或错误判断时，系统向驾驶员提供详细的情景解释，并请求驾驶员识别和纠正错误，当自动驾驶系统处理环境或场景时没有出现不确定性或错误判断时，继续采集图像数据并标注；当自动驾驶系统遇到意外情况或异常事件时，系统自动记录并生成事件报告，并要求驾驶员详细描述事件的发生过程，当自动驾驶系统没有遇到意外情况或异常事件时，继续采集图像数据并标注。
作为本发明所述的基于图像的动态障碍物快速检测方法的一种优选方案，其中：所述对原始图像数据预处理包括对训练集中的所有图像利用线性迭代聚类进行预处理生成超像素图像，初始化聚类中心，设置超像素个数，在图像内均匀分配初始中心点，图像的像素个数为N，图像将被初始分割成K个相同尺寸的超像素，每个超像素的大小为N/K，相邻中心点的距离为在中心点的n×n领域内重新选择中心点，计算领域内所有像素点的梯度值，按梯度最小方向移动，在每个中心点的领域内为每个像素点分配类别标签；距离度量分为颜色距离和空间距离，对每个搜索到的像素点，分别计算和每个中心点的距离，第i个像素点到第j个中心点的位置度量，表示为：
其中，[l，a，b]为颜色空间坐标，[x，g]为图像空间坐标，dc为颜色距离，ds为空间距离，Ns为类内最大空间距离，Ns＝s，Nc为最大颜色距离，取系数m代替，聚类度量表示为：
每个像素点被多个聚类中心点搜索，取距离最小值的中心点为像素点的聚类中心。
作为本发明所述的基于图像的动态障碍物快速检测方法的一种优选方案，其中：所述超像素图像包括检查超像素的边界是否与图像的自然边界一致，若一致，进入下一步评估，若不一致，调整聚类参数并重新生成超像素；使用深度学习模型评估超像素的质量，若超像素的质量达标，进入下一层处理，若质量不达标，标记为低质量并发出系统通知；基于超像素的颜色、纹理和形状特征进行分类，若内容明确，进入处理策略，若内容不明确，进入深度判断；使用预训练的深度学习模型进行内容识别，若识别成功，根据识别结果进行处理，若识别失败，启动交互模式，请求用户输入或选择图像内容类别。
作为本发明所述的基于图像的动态障碍物快速检测方法的一种优选方案，其中：所述预测目标位置包括在训练过程中，保存检测结果，输入到预测模块中，预测当前时刻的目标位置，预测模块输出预测目标的位置；在预测目标位置前，系统根据预测结果和实际观测结果自我修正，系统保存预测结果，并与实际观测结果进行比对；在预测模块输出结果后，系统启用错误修复机制来纠正预测错误，进行错误类型分析，识别为常规错误，系统进行图像矫正并向用户发出修正预警，识别为未知错误，则逐渐进行减速并制动，同时向乘客发出存在未知错误，暂停自动驾驶。
作为本发明所述的基于图像的动态障碍物快速检测方法的一种优选方案，其中：所述生成目标类别和边界框包括将超像素图像输入到多目标检测算法，对行人、车辆动态障碍物的图像进行检测，输出每个目标的类别信息和边界框，根据预测目标的位置进行复检测，以检测漏检目标；在目标检测前，系统通过多尺度图像预处理技术将输入图像按照不同的尺度进行处理，系统分析不同尺度处理后的图像，并检测到目标的大小和位置的变化模式；在目标检测过程中，系统通过自适应增强技术对输入图像进行增强预处理，系统分析增强后的图像，检测到目标的细节信息的增强效果；在目标检测后，系统分析检测结果并寻找漏检目标，未检测到漏检目标，继续进行目标检测，检测出漏检目标，系统自动记录漏检事件的数据，包括原始图像、预测结果、实际观测结果、车辆状态和驾驶环境，将漏检事件的数据上传到云端，进行深入的分析和学习，系统利用数据自我学习，自动调整检测和预测算法。
本发明的另外一个目的是提供一种基于图像的动态障碍物快速检测系统，其能通过目标检测模块将超像素图像输入到多目标检测算法中，解决了目前的检测速度慢以及漏检问题严重的问题。
作为本发明所述的基于图像的动态障碍物快速检测系统的一种优选方案，其中：包括数据采集标注模块、图像预处理模块、目标检测模块；所述数据采集标注模块用于采集驾驶场景的图像数据并进行标注，制作图像数据集，并按照7：3的比例将数据集划分为训练集和验证集；所述图像预处理模块用于对训练集中的图像使用线性迭代聚类的方法进行图像预处理，生成超像素图像；所述目标检测模块用于对超像素图像进行目标检测，识别图像中的动态障碍物并提供类别信息和边界框。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序是实现基于图像的动态障碍物快速检测方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现基于图像的动态障碍物快速检测系统方法的步骤。
本发明的有益效果：本发明提供的基于图像的动态障碍物快速检测方法通过超像素抽象将物体抽象成多个细长的矩形，降低了计算量，同时保持了对目标物体的有效表示，相比于对每个像素进行计算，只需对超像素进行计算处理，减少了计算开销，提高了检测速度，能够快速检测移动的目标并及时做出正确反应，提高了自动驾驶系统的安全性和稳健性。本发明在计算开销、检测速度和安全性方面都取得更加良好的效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一个实施例提供的一种基于图像的动态障碍物快速检测方法的整体流程图。
图2为本发明第三个实施例提供的一种基于图像的动态障碍物快速检测系统的整体流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1，为本发明的一个实施例，提供了一种基于图像的动态障碍物快速检测方法，包括：
S1：采集驾驶场景的图像数据并标注动态障碍物。
更进一步的，采集并标注包括对采集到的图像进行数据标注。
应说明的是，采集驾驶场景的图像数据并标注动态障碍物包括在不同城市场景下使用自动驾驶系统采集图像数据，利用标注软件对采集到的图像进行数据标注，标注目标边界框和类别，标注对象为动态障碍物，不包括静态物体，制作图像数据集，并按照7：3的比例将数据集划分为训练集和验证集。
更进一步的，采集并标注还包括在数据采集过程中的处理方法。
应说明的是，当自动驾驶系统检测到潜在动态障碍物时，系统通过语音提示或可视化界面向驾驶员确认是否正确检测到了动态障碍物，并等待驾驶员的反馈，当自动驾驶系统未能正确检测到潜在动态障碍物时，系统向驾驶员发送提示，询问是否存在未检测到的动态障碍物，并要求驾驶员手动标注障碍物；当自动驾驶系统处理环境或场景时出现不确定性或错误判断时，系统向驾驶员提供详细的情景解释，并请求驾驶员识别和纠正错误，当自动驾驶系统处理环境或场景时没有出现不确定性或错误判断时，继续采集图像数据并标注；当自动驾驶系统遇到意外情况或异常事件时，系统自动记录并生成事件报告，并要求驾驶员详细描述事件的发生过程，当自动驾驶系统没有遇到意外情况或异常事件时，继续采集图像数据并标注。
还应说明的是，驾驶员可以根据系统的提示确认检测结果的准确性，若系统正确检测到了动态障碍物，驾驶员可以确认，若存在误判或者遗漏，驾驶员可以指示系统进行修正；驾驶员可以根据系统的解释和提示，识别错误并提供正确的解释，这种交互机制可以帮助系统学习和纠正错误的决策和行为，提高系统在各种复杂场景中的鲁棒性和可靠性；驾驶员可以提供关于事件的补充信息，例如行为序列、车辆状态等，以帮助系统分析和处理类似事件，这种交互规则旨在通过驾驶员的描述和反馈，帮助自动驾驶系统更好地理解异常情况，改进算法和决策模型，以提高系统的安全性和可靠性。
S2：对原始图像数据预处理，通过线性迭代聚类生成超像素图像。
更进一步的，对原始图像数据预处理包括生成超像素图像。
应说明的是，对训练集中的所有图像利用线性迭代聚类进行预处理生成超像素图像，初始化聚类中心，设置超像素个数，在图像内均匀分配初始中心点，图像的像素个数为N，图像将被初始分割成K个相同尺寸的超像素，每个超像素的大小为N/K，相邻中心点的距离为在中心点的n×n领域内重新选择中心点，计算领域内所有像素点的梯度值，按梯度最小方向移动，在每个中心点的领域内为每个像素点分配类别标签；距离度量分为颜色距离和空间距离，对每个搜索到的像素点，分别计算和每个中心点的距离，第i个像素点到第j个中心点的位置度量，表示为：
其中，[l，a，b]为颜色空间坐标，[x，g]为图像空间坐标，dc为颜色距离，ds为空间距离，Ns为类内最大空间距离，Ns＝s，N为最大颜色距离，取系数m代替，聚类度量表示为：
每个像素点被多个聚类中心点搜索，取距离最小值的中心点为像素点的聚类中心。
更进一步的，生成超像素图像包括检查超像素的边界。
应说明的是，超像素的边界是否与图像的自然边界一致，若一致，进入下一步评估，若不一致，调整聚类参数并重新生成超像素；使用深度学习模型评估超像素的质量，若超像素的质量达标，进入下一层处理，若质量不达标，标记为低质量并发出系统通知；基于超像素的颜色、纹理和形状特征进行分类，若内容明确，进入处理策略，若内容不明确，进入深度判断；使用预训练的深度学习模型进行内容识别，若识别成功，根据识别结果进行处理，若识别失败，启动交互模式，请求用户输入或选择图像内容类别。
还应说明的是，系统在处理过程中自动调整参数、算法或策略，以尽可能减少不确定性或错误，通过内部交互，系统可以自我优化和适应变化的图像特征，提高预处理的准确性和鲁棒性；系统根据实时监测到的情况，自动调整处理的并行性、资源分配或算法优化等，以提高处理速度和资源利用效率，通过内部交互，系统能够在保证预处理质量的前提下实现更高的效率和性能。
S3：预测目标位置，将超像素图像输入多目标检测算法，生成目标类别和边界框。
更进一步的，预测目标位置包括将检测结果输入到预测模块中。
应说明的是，在训练过程中，保存检测结果，输入到预测模块中，预测当前时刻的目标位置，预测模块输出预测目标的位置；在预测目标位置前，系统根据预测结果和实际观测结果自我修正，系统保存预测结果，并与实际观测结果进行比对；在预测模块输出结果后，系统启用错误修复机制来纠正预测错误，进行错误类型分析，识别为常规错误，系统进行图像矫正并向用户发出修正预警，识别为未知错误，则逐渐进行减速并制动，同时向乘客发出存在未知错误，暂停自动驾驶。
还应说明的是，系统通过与实际观测结果的比对来自我修正和优化预测模块，可以分析预测结果与实际观测结果之间的差异，并自动调整预测模块的参数、算法或策略，以提高预测的准确性和鲁棒性；系统自动发现和纠正预测模块的错误，可以通过内部的错误检测机制检测预测结果的不一致性或偏差较大的情况，并通过自我修复机制进行纠正，可以进行模型的重新训练、参数调整或数据增强等操作，以提升预测结果的准确性和鲁棒性。
更进一步的，生成目标类别和边界框包括将超像素图像输入到多目标检测算法。
应说明的是，对行人、车辆动态障碍物的图像进行检测，输出每个目标的类别信息和边界框，根据预测目标的位置进行复检测，以检测漏检目标；在目标检测前，系统通过多尺度图像预处理技术将输入图像按照不同的尺度进行处理，系统分析不同尺度处理后的图像，并检测到目标的大小和位置的变化模式；在目标检测过程中，系统通过自适应增强技术对输入图像进行增强预处理，系统分析增强后的图像，检测到目标的细节信息的增强效果；在目标检测后，系统分析检测结果并寻找漏检目标，未检测到漏检目标，继续进行目标检测，检测出漏检目标，系统自动记录漏检事件的数据，包括原始图像、预测结果、实际观测结果、车辆状态和驾驶环境，将漏检事件的数据上传到云端，进行深入的分析和学习，系统利用数据自我学习，自动调整检测和预测算法。
还应说明的是，系统通过多尺度预处理技术来分析不同尺度下目标的特征，根据目标的大小和位置变化模式自动生成相应的目标检测器，这样可以提高目标检测的鲁棒性和准确性，特别适用于处理尺度变化较大的目标，例如行人和车辆；系统通过自适应增强预处理技术来改善图像的细节信息，例如增强目标的边缘、纹理等，系统分析增强后的图像，并根据细节信息的增强效果来调整预处理策略和参数，以提高目标检测的准确性和细节表达能力；系统在目标检测后自动发现漏检的目标，并进行补救，可以分析初始的目标检测结果，识别漏检目标，并通过重新检测这些目标来提高检测的完整性和准确性。
实施例2
本发明的一个实施例，提供了一种基于图像的动态障碍物快速检测方法，为了验证本发明的有益效果，通过经济效益计算和仿真实验进行科学论证。
从四个不同城市的交通场景中采集图像数据，并使用标注软件对图像进行动态障碍物(如行人和车辆)的目标边界框和类别标注，对采集的数据集进行数据清洗和预处理，包括去除噪声、数据增强(如旋转、翻转、缩放)等操作，将数据集按照7∶3的比例划分为训练集和验证集。
基于本发明的方法进行数据预处理，使用线性迭代聚类生成超像素图像，这可以帮助减少图像中的冗余信息，并提取出更有代表性的目标特征，使用三层前馈神经网络进行目标位置预测，该网络可以学习并预测目标在图像中的位置和边界框，将超像素图像和预测模块输入到本发明的目标检测算法中进行检测，该算法可以结合超像素图像和目标位置预测，识别和定位图像中的目标使用验证集进行测试。使用YOLO算法作为现有技术，将原始图像输入到YOLO算法中进行目标检测。比较本发明与现有技术在目标检测性能方面的差异，例如准确率、召回率、F1分数等指标。
如表1所示，本发明显示出更高的准确率和精确率，这意味着本发明的目标检测算法能够更准确地定位和分类目标，减少误判和误识别的情况；本发明在召回率和特异度之间取得了更好的平衡，这意味着本发明能够更好地捕捉目标样本，并准确地识别负样本，这对于提高目标检测系统的整体性能和可靠性非常重要，本发明在数据预处理方面采用了线性迭代聚类生成超像素图像的方法，这种预处理方法可以减少图像中的冗余信息，提取出更有代表性的目标特征，从而增强了目标检测算法的性能；由于本发明结合了超像素图像和目标位置预测的算法，可以更好地处理复杂场景中的目标检测任务，超像素图像的应用可以帮助降低计算复杂度，更好地捕捉目标的上下文信息；本发明提出的方法可以适用于不同类型的目标检测任务，并且具有一定的可拓展性，通过合适的调整和训练，可以将该方法应用于其他领域的目标检测问题。
表1实验对照表
| 本发明 | 现有技术 | |
| 样本数 | 100 | 100 |
| 目标检测正确的正样本数 | 90 | 80 |
| 目标检测错误的正样本数 | 10 | 20 |
| 目标检测正确的负样本数 | 80 | 70 |
| 目标检测错误的负样本数 | 20 | 30 |
| 准确率 | 95％ | 85％ |
| 召回率 | 90％ | 80％ |
| F1分数 | 0.923 | 0.827 |
实施例3
参照图2，为本发明的一个实施例，提供了一种基于图像的动态障碍物快速检测系统，包括数据采集标注模块，图像预处理模块，目标检测模块。
其中数据采集标注模块用于采集驾驶场景的图像数据并进行标注，制作图像数据集，并按照7∶3的比例将数据集划分为训练集和验证集；图像预处理模块用于对训练集中的图像使用线性迭代聚类的方法进行图像预处理，生成超像素图像；目标检测模块用于对超像素图像进行目标检测，识别图像中的动态障碍物并提供类别信息和边界框。
功能若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪速存储器)、光纤装置以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，若用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。应说明的是，以上实施例q用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于图像的动态障碍物快速检测方法，其特征在于，包括：
采集驾驶场景的图像数据并标注动态障碍物；
对原始图像数据预处理，通过线性迭代聚类生成超像素图像；
预测目标位置，将超像素图像输入多目标检测算法，生成目标类别和边界框。
2.如权利要求1所述的基于图像的动态障碍物快速检测方法，其特征在于：所述采集驾驶场景的图像数据并标注动态障碍物包括在不同城市场景下使用自动驾驶系统采集图像数据，利用标注软件对采集到的图像进行数据标注，标注目标边界框和类别，标注对象为动态障碍物，不包括静态物体，制作图像数据集，并按照7:3的比例将数据集划分为训练集和验证集。
3.如权利要求2所述的基于图像的动态障碍物快速检测方法，其特征在于：所述采集驾驶场景的图像数据并标注动态障碍物还包括在数据采集过程中当自动驾驶系统检测到潜在动态障碍物时，系统通过语音提示或可视化界面向驾驶员确认是否正确检测到了动态障碍物，并等待驾驶员的反馈，当自动驾驶系统未能正确检测到潜在动态障碍物时，系统向驾驶员发送提示，询问是否存在未检测到的动态障碍物，并要求驾驶员手动标注障碍物；
当自动驾驶系统处理环境或场景时出现不确定性或错误判断时，系统向驾驶员提供详细的情景解释，并请求驾驶员识别和纠正错误，当自动驾驶系统处理环境或场景时没有出现不确定性或错误判断时，继续采集图像数据并标注；
当自动驾驶系统遇到意外情况或异常事件时，系统自动记录并生成事件报告，并要求驾驶员详细描述事件的发生过程，当自动驾驶系统没有遇到意外情况或异常事件时，继续采集图像数据并标注。
4.如权利要求3所述的基于图像的动态障碍物快速检测方法，其特征在于：所述对原始图像数据预处理包括对训练集中的所有图像利用线性迭代聚类进行预处理生成超像素图像，初始化聚类中心，设置超像素个数，在图像内均匀分配初始中心点，图像的像素个数为N，图像将被初始分割成K个相同尺寸的超像素，每个超像素的大小为N/K，相邻中心点的距离为
在中心点的n×n领域内重新选择中心点，计算领域内所有像素点的梯度值，按梯度最小方向移动，在每个中心点的领域内为每个像素点分配类别标签；
距离度量分为颜色距离和空间距离，对每个搜索到的像素点，分别计算和每个中心点的距离，第i个像素点到第j个中心点的位置度量，表示为：
其中，[l，a，b]为颜色空间坐标，[x，y]为图像空间坐标，dc为颜色距离，ds为空间距离，Ns为类内最大空间距离，Ns＝s，Nc为最大颜色距离，取系数m代替，聚类度量表示为：
每个像素点被多个聚类中心点搜索，取距离最小值的中心点为像素点的聚类中心。
5.如权利要求4所述的基于图像的动态障碍物快速检测方法，其特征在于：所述超像素图像包括检查超像素的边界是否与图像的自然边界一致，若一致，进入下一步评估，若不一致，调整聚类参数并重新生成超像素；
使用深度学习模型评估超像素的质量，若超像素的质量达标，进入下一层处理，若质量不达标，标记为低质量并发出系统通知；
基于超像素的颜色、纹理和形状特征进行分类，若内容明确，进入处理策略，若内容不明确，进入深度判断；
使用预训练的深度学习模型进行内容识别，若识别成功，根据识别结果进行处理，若识别失败，启动交互模式，请求用户输入或选择图像内容类别。
6.如权利要求5所述的基于图像的动态障碍物快速检测方法，其特征在于：所述预测目标位置包括在训练过程中，保存检测结果，输入到预测模块中，预测当前时刻的目标位置，预测模块输出预测目标的位置；
在预测目标位置前，系统根据预测结果和实际观测结果自我修正，系统保存预测结果，并与实际观测结果进行比对；
在预测模块输出结果后，系统启用错误修复机制来纠正预测错误，进行错误类型分析，识别为常规错误，系统进行图像矫正并向用户发出修正预警，识别为未知错误，则逐渐进行减速并制动，同时向乘客发出存在未知错误，暂停自动驾驶。
7.如权利要求6所述的基于图像的动态障碍物快速检测方法，其特征在于：所述生成目标类别和边界框包括将超像素图像输入到多目标检测算法，对行人、车辆动态障碍物的图像进行检测，输出每个目标的类别信息和边界框，根据预测目标的位置进行复检测，以检测漏检目标；
在目标检测前，系统通过多尺度图像预处理技术将输入图像按照不同的尺度进行处理，系统分析不同尺度处理后的图像，并检测到目标的大小和位置的变化模式；
在目标检测过程中，系统通过自适应增强技术对输入图像进行增强预处理，系统分析增强后的图像，检测到目标的细节信息的增强效果；
在目标检测后，系统分析检测结果并寻找漏检目标，未检测到漏检目标，继续进行目标检测，检测出漏检目标，系统自动记录漏检事件的数据，包括原始图像、预测结果、实际观测结果、车辆状态和驾驶环境，将漏检事件的数据上传到云端，进行深入的分析和学习，系统利用数据自我学习，自动调整检测和预测算法。
8.一种采用如权利要求1～7任一所述的基于图像的动态障碍物快速检测方法的系统，其特征在于：包括数据采集标注模块、图像预处理模块、目标检测模块；
所述数据采集标注模块用于采集驾驶场景的图像数据并进行标注，制作图像数据集，并按照7:3的比例将数据集划分为训练集和验证集；
所述图像预处理模块用于对训练集中的图像使用线性迭代聚类的方法进行图像预处理，生成超像素图像；
所述目标检测模块用于对超像素图像进行目标检测，识别图像中的动态障碍物并提供类别信息和边界框。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的基于图像的动态障碍物快速检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于图像的动态障碍物快速检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311036679.5A CN117237911A (zh) | 2023-08-17 | 2023-08-17 | 一种基于图像的动态障碍物快速检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311036679.5A CN117237911A (zh) | 2023-08-17 | 2023-08-17 | 一种基于图像的动态障碍物快速检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117237911A true CN117237911A (zh) | 2023-12-15 |
Family
ID=89083436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311036679.5A Withdrawn CN117237911A (zh) | 2023-08-17 | 2023-08-17 | 一种基于图像的动态障碍物快速检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237911A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117833751A (zh) * | 2024-01-16 | 2024-04-05 | 深圳市科沃电气技术有限公司 | 电机驱动器的控制方法、装置、设备及存储介质 |
-
2023
- 2023-08-17 CN CN202311036679.5A patent/CN117237911A/zh not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117833751A (zh) * | 2024-01-16 | 2024-04-05 | 深圳市科沃电气技术有限公司 | 电机驱动器的控制方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113033604B (zh) | 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质 | |
| CN111640089B (zh) | 一种基于特征图中心点的缺陷检测方法及装置 | |
| US20070058856A1 (en) | Character recoginition in video data | |
| CN111797829A (zh) | 一种车牌检测方法、装置、电子设备和存储介质 | |
| TWI611961B (zh) | 車道線影像分析方法、影像分析裝置及其電腦可讀取式媒體 | |
| CN117237911A (zh) | 一种基于图像的动态障碍物快速检测方法及系统 | |
| Tao et al. | Gap detection of switch machines in complex environment based on object detection and image processing | |
| CN113240623A (zh) | 一种路面病害检测方法及装置 | |
| CN113393442A (zh) | 列车零部件异常检测方法、系统、电子设备及存储介质 | |
| CN109543498B (zh) | 一种基于多任务网络的车道线检测方法 | |
| Koh et al. | Autonomous road potholes detection on video | |
| US20220171975A1 (en) | Method for Determining a Semantic Free Space | |
| US20200174488A1 (en) | False target removal device and method for vehicles and vehicle including the device | |
| CN115731261B (zh) | 基于高速公路雷达数据的车辆换道行为识别方法及系统 | |
| CN118196573A (zh) | 一种基于深度学习的车辆检测方法及系统 | |
| Zhang et al. | A comparative analysis of object detection algorithms in naturalistic driving videos | |
| CN117789160A (zh) | 一种基于聚类优化的多模态融合目标检测方法及系统 | |
| CN112163521A (zh) | 一种车辆行驶行为的识别方法、装置及设备 | |
| Guo et al. | Lane change detection using naturalistic driving data | |
| WO2024018621A1 (en) | Classifying apparatus, classifying method, and non-transitory computer-readable storage medium | |
| JP7006724B2 (ja) | 分類装置、分類方法、及び、プログラム | |
| CN113408453A (zh) | 车道线检测方法、装置、设备及存储介质 | |
| Fujita et al. | Fine-tuned Surface Object Detection Applying Pre-trained Mask R-CNN Models | |
| KR20220143119A (ko) | 인지 시스템용 훈련 데이터 후보의 자동 식별 | |
| CN113569734B (zh) | 一种基于特征重校准的图像识别与分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20231215 |
|
| WW01 | Invention patent application withdrawn after publication |