CN115240170A - 一种基于事件相机的道路行人检测跟踪方法及系统 - Google Patents
一种基于事件相机的道路行人检测跟踪方法及系统 Download PDFInfo
- Publication number
- CN115240170A CN115240170A CN202210913702.3A CN202210913702A CN115240170A CN 115240170 A CN115240170 A CN 115240170A CN 202210913702 A CN202210913702 A CN 202210913702A CN 115240170 A CN115240170 A CN 115240170A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- road
- feature
- image
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000003708 edge detection Methods 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 13
- 239000013256 coordination polymer Substances 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 2
- 239000000523 sample Substances 0.000 description 55
- 230000004044 response Effects 0.000 description 8
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229920001651 Cyanoacrylate Polymers 0.000 description 1
- 239000004830 Super Glue Substances 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于事件相机的道路行人检测跟踪方法及系统，涉及道路行人检测追踪技术领域，方法包括：通过事件相机采集目标区域信息，并确定待检测图像；对待检测图像进行边缘检测处理，以确定初步图像特征；将初步图像特征输入至特征提取模型，以确定当前行人特征；根据当前行人特征，计算道路行人位置信息；若道路行人位置信息处于设定安全区域范围，则对当前行人特征进行特征追踪，以确定下一时刻行人特征，然后将当前行人特征更新为下一时刻行人特征，并返回根据当前行人特征，计算道路行人位置信息的步骤；若道路行人位置信息未处于设定安全区域范围，则生成紧急制动指令。本发明实现了对道路行人更全面更及时的保护。
Description
技术领域
本发明涉及道路行人检测追踪技术领域，特别是涉及一种基于事件相机的道路行人检测跟踪方法及系统。
背景技术
近年来，由于车辆或障碍物阻挡视线形成视野盲区从而导致的交通事故，在行人事故中所占比例相对较大，且横向冲突中的制动反应时间和制动严重程度比纵向冲突短且高。现有技术中，视觉算法的应用存在如下问题：fov视场角大小不合；传统帧相机检测横向行人效果不理想；数据量太大，对算力要求特别高，以至于不能做出快速响应；受光线明暗突变、逆光等影响较大；对前方车辆或障碍物阻挡视线的视野盲区突然出现的行人来不及做出响应。
随着智能驾驶技术的快速发展，已经出现一些可以解决或减缓上面所提及问题的方法，比如V2X技术通过提前感知车辆周围信息，并采取避撞措施，以有效避免或减少鬼探头；比如在前方有车辆或障碍物阻挡视线的视野盲区突然出现的行人时，车辆自动紧急制动，从而在一定程度上可以减少损伤程度等等。但是，无论是上述哪种方案，都无法做到及时保护道路行人。
发明内容
本发明的目的是提供一种基于事件相机的道路行人检测跟踪方法及系统，对道路行人实现更快的检测响应，并对响应结果进行跟踪评估，以达到对道路行人更全面更及时的保护。
为实现上述目的，本发明提供了如下方案：
第一方面，本发明提供一种基于事件相机的道路行人检测跟踪方法，包括：
通过事件相机采集目标区域信息，并确定待检测图像；所述目标区域信息中包括道路行人；
对所述待检测图像进行边缘检测处理，以确定初步图像特征；
将所述初步图像特征输入至特征提取模型，以确定当前行人特征；所述特征提取模型为根据样本集对级联分类器进行训练得到；所述级联分类器由多个Ada boost强分类器通过串联的方式集成确定；所述样本集包括多张道路行人样本和多张非行人样本；
根据所述当前行人特征，计算道路行人位置信息；所述道路行人位置信息包括所述道路行人与所述事件相机之间的距离；
判断所述道路行人位置信息是否处于设定安全区域范围；
若所述道路行人位置信息处于设定安全区域范围，则对所述当前行人特征进行特征追踪，以确定下一时刻行人特征，然后将所述当前行人特征更新为所述下一时刻行人特征，并返回根据所述当前行人特征，计算道路行人位置信息的步骤；
若所述道路行人位置信息未处于设定安全区域范围，则生成紧急制动指令。
可选地，对所述当前行人特征进行特征追踪，以确定下一时刻行人特征，具体包括：
将所述当前行人特征输入至卡尔曼滤波器，以根据公式
xt|t-1＝Axt-1|t-1+But
计算下一时刻行人特征；
其中，x表示行人特征状态变量，xt|t-1表示下一时刻行人特征，xt-1|t-1表示当前行人特征，A表示状态转移矩阵，B表示增益矩阵，ut表示t时刻的控制变量。
可选地，所述道路行人检测跟踪方法，还包括：
根据公式
xt|t＝xt|t-1+Kt(Zt-Cxt|t-1)
Kt＝Pt|t-1CT(CPt|t-1CT)-1
Pt|t＝(I-KtC)Pt|t-1
对所述下一时刻行人特征进行校正优化，以得到下一时刻优化行人特征；所述下一时刻优化行人特征用于计算下一时刻对应的道路行人位置信息；
其中，Pt|t表示在下一时刻的协方差矩阵，Pt|t-1表示在当前时刻的协方差矩阵，AT表示状态转移矩阵的转置，Q表示噪声，Kt表示卡尔曼增益，I表示单位矩阵，xt|t表示下一时刻优化行人特征，Zt表示下一时刻的行人特征测量值，C表示观测矩阵，CT表示观测矩阵的转置，(CPt|t-1CT)-1表示(CPt|t-1CT)的逆矩阵。
可选地，对所述待检测图像进行边缘检测处理，以确定初步图像特征，具体包括：
对所述待检测图像进行高斯滤波处理，得到第一特征图；
采用Canny算子计算所述第一特征图中每个像素的梯度大小和梯度方向；
根据每个像素的梯度大小和梯度方向，依次通过非极大值抑制处理和双阈值筛选处理，以确定初步图像特征。
可选地，所述Ada boost强分类器的训练过程，包括：
提取所述样本集中每张样本的HOG特征；
对所述样本集中的所有样本进行权重初始化处理，以确定每张所述样本对应的初始权重；
根据每张样本的HOG特征进行多次迭代训练，且在每次迭代训练后，判断样本错误率是否达到设定值；所述样本错误率为样本被错误分类的概率；
若样本错误率未达到设定值，则判断当前迭代次数是否达到迭代次数阈值，并在当前迭代次数未达到迭代次数阈值时，对每张样本对应的初始权重进行更新，且对被错误分类的样本赋予更大的初始权重；在当前迭代次数达到迭代次数阈值时，结束训练；
若样本错误率达到设定值，则结束训练；达到设定值的样本错误率所对应的多次迭代训练的结果构成Ada boost强分类器。
可选地，提取所述样本集中每张样本的HOG特征，具体包括：
对所述样本集中的每张样本，依次进行颜色空间归一化处理、图像梯度计算、单元格梯度直方图计算、直方图归一化处理，从而确定所述样本的HOG特征。
可选地，所述通过事件相机采集目标区域信息，并确定待检测图像，具体包括：
通过事件相机采集目标区域信息，并记录每个像素点的光强变化，以确定图像光强变化量；
当所述图像光强变化量处于设定光强阈值范围时，将所述图像光强变化量对应的多个像素点输出为待检测图像。
第二方面，本发明提供一种基于事件相机的道路行人检测跟踪系统，包括：
图像采集模块，用于通过事件相机采集目标区域信息，并确定待检测图像；所述目标区域信息中包括道路行人；
边缘检测模块，用于对所述待检测图像进行边缘检测处理，以确定初步图像特征；
特征提取模块，用于将所述初步图像特征输入至特征提取模型，以确定当前行人特征；所述特征提取模型为根据样本集对级联分类器进行训练得到；所述级联分类器由多个Ada boost强分类器通过串联的方式集成确定；所述样本集包括多张道路行人样本和多张非行人样本；
位置计算模块，用于根据所述当前行人特征，计算道路行人位置信息；所述道路行人位置信息包括所述道路行人与所述事件相机之间的距离；
位置判断模块，用于判断所述道路行人位置信息是否处于设定安全区域范围；
位置追踪模块，用于当所述道路行人位置信息处于设定安全区域范围时，对所述当前行人特征进行特征追踪，以确定下一时刻行人特征，然后将所述当前行人特征更新为所述下一时刻行人特征，并返回所述位置计算模块；
紧急制动模块，用于当所述道路行人位置信息未处于设定安全区域范围时，生成紧急制动指令。
可选地，所述边缘检测模块，具体包括：
滤波处理子模块，用于对所述待检测图像进行高斯滤波处理，得到第一特征图；
像素计算子模块，用于采用Canny算子计算所述第一特征图中每个像素的梯度大小和梯度方向；
特征处理子模块，用于根据每个像素的梯度大小和梯度方向，依次通过非极大值抑制处理和双阈值筛选处理，以确定初步图像特征。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种基于事件相机的道路行人检测跟踪方法及系统，通过事件相机确定待检测图像，能够减少很多无效信息，降低算力和功耗，从而实现更快速的响应。然后对待检测图像进行边缘检测处理，并将得到的初步图像特征输入至特征提取模型提取出当前行人特征，其中特征提取模型由多个Ada boost强分类器通过串联的方式集成，能够实现更精确的特征提取。最后，根据当前行人特征确定道路行人位置信息，并在其处于设定安全区域范围时，对当前行人特征进行追踪，以确定下一时刻行人特征，进一步判断下一时刻行人特征对应的位置信息是否处于设定安全区域范围；当未处于设定安全区域范围时，生成紧急制动指令，及时避让道路行人，实现对于道路行人的行动的预判和追踪，从而达到对道路行人更全面和及时的保护。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于事件相机的道路行人检测跟踪方法的流程示意图；
图2为本发明基于事件相机的道路行人检测跟踪系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明在前方存在车辆或障碍物阻挡视线的视野盲区的情况下，面对突然出现的道路行人，以响应速度快、高动态范围的优势，减少或减弱视野盲区车辆与横纵向行人的碰撞。
为使本发明的目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
如图1所示，本实施例提供一种基于事件相机的道路行人检测跟踪方法，包括：
步骤100，通过事件相机采集目标区域信息，并确定待检测图像；所述目标区域信息中包括道路行人。具体地，在车辆启动时，车辆中设置的ECU(Electronic ControlUnit，电子控制单元)收到车辆启动信号，同时车辆控制系统、传感器、以及事件相机等均打开。
要知道，事件相机拍摄的是“事件”，可以简单理解为“像素亮度的变化”，即事件相机输出的是像素亮度的变化情况。当事件相机采集前方区域信息时，其记录某个像素点上发生的正向或者负向的光强变化，并输出光强变化量信号。且事件相机显示的主要是前方运动物体的外边框，由于变化的部分主要是在物体边框，而其内部的区域大概率是没有变化的。相当于给图像做了一次压缩，减少了无效信息，只输出动态信息，可以以一个低带宽的线路给出一个高质量的信息。事件相机的动态范围能达到120dB，甚至会更高。高动态范围可以帮助事件相机在光线极暗、曝光过度、光线突变等情况下，依然能够保持有效的工作，为自动驾驶增添了一份安全冗余。
为了减少事件相机的振动，使用强力胶将事件相机牢牢向下倾斜固定在车辆挡风玻璃上部中间位置，既不会阻挡驾驶员的视线，还能够获得更多前方道路和行人的信息。
基于上述内容，步骤100，具体包括：
1)通过事件相机采集目标区域信息，并记录每个像素点的光强变化，以确定图像光强变化量。
2)当所述图像光强变化量处于设定光强阈值范围时，将所述图像光强变化量对应的多个像素点输出为待检测图像。具体地，通过电子控制单元ECU对采集到的事件流(图像光强变化量)进行阈值判断，如果处于设定光强阈值范围，则输出待检测图像；如果未处于设定光强阈值范围，则不输出，并需要反复进行像素光强信息的获取，直至其达到设定光强阈值范围。
在步骤200之前，还可以对待检测图像进行预处理，比如将待检测图像的尺寸调整为某一设定尺寸，对尺寸调整之后的待检测图像进行图像增强处理等。
步骤200，对所述待检测图像进行边缘检测处理，以确定初步图像特征。常用的边缘检测算法有很多，各有优缺点：Roberts边缘检测算子边缘定位准确但易受噪声影响；Prewitt边缘检测算子在处理噪声图像时有较好的优势；而Canny边缘检测算子能准确定位边缘，受噪声干扰影响较小，还可以优化图像，因此本发明具体实施例中采用Canny边缘检测算子。
具体地，步骤200包括：
1)对所述待检测图像进行高斯滤波处理，得到第一特征图；具体地，高斯滤波处理的计算公式为：
其中，f(x,y)表示待检测图像中的像素点，x和y分别表示待检测图像中的像素点的x坐标和y坐标；
为标准差，
一般选取较小值，从而有利于提高边缘检测的准确性；G表示经过高斯处理之后的第一特征图。
2)采用Canny算子计算所述第一特征图中每个像素的梯度大小(梯度幅值)和梯度方向；具体地，Canny算子是用一阶偏导的有限差分来计算的，Canny算子数学表达式如下：
Gx＝[f(x,y+1)-f(x,y)+f(x+1,y+1)-f(x+1,y)]/2
Gy＝[f(x,y)-f(x+1,y)+f(x,y+1)-f(x+1,y+1)]/2
进一步可得出图像中该像素点的梯度幅值和梯度方向，如下式：
θ(x,y)＝tan-1(Gy(x,y)/Gx(x,y))。
3)根据每个像素的梯度大小和梯度方向，依次通过非极大值抑制处理和双阈值筛选处理，以确定初步图像特征。具体地，需要对图像中的边缘进行细化，排除具有干扰性的非边缘的点，其关键在于寻找像素点局部最大值，而并非排除这些像素点。然后，设置两个阈值T1和T2，根据设置的两个阈值去除大部分噪声，对其中一个阈值得到的像素点进行追踪连接，另一个阈值作为补充，不断反复，直至找到图像中的所有轮廓线，确定出初步图像特征。
步骤300，将所述初步图像特征输入至特征提取模型，以确定当前行人特征；所述特征提取模型为根据样本集对级联分类器进行训练得到；所述级联分类器由多个Adaboost强分类器通过串联的方式集成确定；所述样本集包括多张道路行人样本和多张非行人样本。
Ada boost算法由于其在目标检测中具有较高的精度和速度而被广泛应用于障碍物辨识中。Ada boost级联分类器是一种迭代算法，先将样本进行训练得到一些弱分类器，然后把这些弱分类器结合起来得到一个强分类器。最后将多个强分类器串联成级联分类器对图像进行检测，则检测结果更加精确。
基于此，本发明具体实施例中，所述Ada boost强分类器的训练过程，包括：
1)提取所述样本集中每张样本的方向梯度直方图HOG特征。具体地，HOG特征是把采集的样本图像划分成小的单元格(cell)，然后统计每个单元格的梯度直方图，从梯度直方图可以得出图像特征，将所有特征综合即可得到整个样本图像的特征。
2)对所述样本集中的所有样本进行权重初始化处理，以确定每张所述样本对应的初始权重；具体地，假设样本集中有n个训练样本，用1代表正样本，0代表负样本，对每个样本赋予相同的初始权重。
3)根据每张样本的HOG特征进行多次迭代训练，且在每次迭代训练后，判断样本错误率是否达到设定值；所述样本错误率为样本被错误分类的概率。具体地，把样本迭代m次，通过样本特征得到一个弱分类器，每个弱分类器用于筛选负样本，保留正样本图像。通过多个弱分类器依次类推，负样本逐渐减少，保留正样本；然后计算每个弱分类器中特征的样本错误率。
4)若样本错误率未达到设定值，则判断当前迭代次数是否达到迭代次数阈值，并在当前迭代次数未达到迭代次数阈值时，对每张样本对应的初始权重进行更新，且对被错误分类的样本赋予更大的初始权重，即实现了对于样本的权重的更新。而在当前迭代次数达到迭代次数阈值时，结束训练，以使得迭代训练不会无限训练没有停止的时刻。
5)若样本错误率达到设定值，则结束训练；达到设定值的样本错误率所对应的多次迭代训练的结果构成Ada boost强分类器。
最后，将每个Ada boost强分类器串联组合成为一个级联分类器。在使用所述级联分类器时，样本集中的每一个样本图像输入至组合强分类器中，最终输出正样本图像，提高了检测精度，减少了计算时间。
进一步地，上述步骤1)提取所述样本集中每张样本的HOG特征，具体包括：
对所述样本集中的每张样本，依次进行颜色空间归一化处理、图像梯度计算、单元格梯度直方图计算、直方图归一化处理，从而确定所述样本的HOG特征。
步骤400，根据所述当前行人特征，计算道路行人位置信息；所述道路行人位置信息包括所述道路行人与所述事件相机之间的距离。在一个具体实施例中，所述道路行人与所述事件相机之间的距离可以替换为道路行人与车辆之间的距离；所述道路行人位置信息还包括车辆行驶至道路行人的位置所需要的时间。在实际应用中，可根据需要对道路行人位置信息进行设置。
步骤500，判断所述道路行人位置信息是否处于设定安全区域范围。具体来说，需要对道路行人位置信息进行危险评估，以判断道路行人当前所处的位置是否安全。然后将判断的结果发送至电子控制系统。
步骤600，若所述道路行人位置信息处于设定安全区域范围，即道路行人当前状态为安全，则对所述当前行人特征进行特征追踪，以确定下一时刻行人特征，然后将所述当前行人特征更新为所述下一时刻行人特征，并返回根据所述当前行人特征，计算道路行人位置信息的步骤。
具体地，对所述当前行人特征进行特征追踪，以确定下一时刻行人特征，具体包括：
1)将所述当前行人特征输入至卡尔曼滤波器，以根据公式xt|t-1＝Axt-1|t-1+But计算下一时刻行人特征。
其中，x表示行人特征状态变量，xt|t-1表示下一时刻行人特征，即行人特征在t时刻的先验估计，xt-1|t-1表示当前行人特征，A表示状态转移矩阵，B表示增益矩阵，ut表示t时刻的控制变量。
进一步来说，卡尔曼滤波器包含状态方程：x＝AxK-1+BuK+WK以及观测方程：y＝CxK+vK。其中，xK-1是K-1时刻的系统状态，uK是K时刻的控制变量，W是系统噪声，y是K时刻的测量值，C是观测矩阵，V是观测噪声。
根据上述状态方程和观测方程，可推导得出根据上一时刻的情况对现在时刻进行预测的状态预测方程：xt|t-1＝Axt-1|t-1+But。
2)卡尔曼滤波器在预测的每一个过程中，都会带来一定量的不确定性，采用P表示其中的不确定性协方差，Q表示预测本身带来的噪声。根据公式
xt|t＝xt|t-1+Kt(Zt-Cxt|t-1)；
Kt＝Pt|t-1CT(CPt|t-1CT)-1；
Pt|t＝(I-KtC)Pt|t-1；
对所述下一时刻行人特征进行校正优化，以得到下一时刻优化行人特征；所述下一时刻优化行人特征用于计算下一时刻对应的道路行人位置信息。进一步地，通过卡尔曼滤波器进行状态更新时，若相信预测模型多一点，则权重要设置小一点，反之同理；且在状态更新阶段的预测的不确定性是减小的。
其中，Pt|t表示t时刻的协方差矩阵，即在下一时刻的协方差矩阵，Pt|t-1表示t-1时刻的协方差矩阵，即在当前时刻的协方差矩阵，Pt|t-1＝APt-1|t-1AT+Q；AT表示状态转移矩阵的转置，Q表示噪声，Kt表示卡尔曼增益，I表示单位矩阵，xt|t表示t时刻的优化行人特征，即下一时刻优化行人特征，Zt表示t时刻的行人特征测量值，即下一时刻的行人特征测量值，Zt是将y＝Zt代入公式y＝CxK+vK计算得到的，C表示观测矩阵，CT表示观测矩阵的转置，(CPt|t- 1CT)-1表示(CPt|t-1CT)的逆矩阵。
而无论仅是通过上述特征追踪直接获取下一时刻行人特征，还是进一步对下一时刻行人特征进行优化得到下一时刻优化行人特征，对于下一时刻行人特征以及下一时刻优化行人特征均需要再次进行危险评估，即重复上述步骤400和步骤500，从而判断出检测到的道路行人是否处于安全状态。并在结果为道路行人处于安全状态时继续进行特征追踪，如此反复进行来进行道路行人的保护。
步骤700，若所述道路行人位置信息未处于设定安全区域范围，即道路行人当前状态为不安全，则生成紧急制动指令，并将紧急制动指令发送至AEB，进行自动紧急制动，以此来减小碰撞的概率。
综上，本发明通过事件相机采集到前方动态物体的外边框，对其进行行人特征提取，通过分类器筛选出目标检测行人，对其进行危险评估，进而根据评估结果判断当前情况和下一时刻是否安全，若不安全，立即将信号传送给自动紧急制动系统进行紧急制动。其中，将行人检测结果传给卡尔曼滤波器，卡尔曼滤波算法将检测到的道路行人进行标记，以获得其运动轨迹，实时检测其运动状态。该算法服从高斯分布，通过前一时刻的预测值和当前测量值，不断更新修正状态变量，得到更加精确的预测变量。最后，无论是事件相机、HOG行人特征提取，还是卡尔曼滤波的行人跟踪与检测都是相对于目前技术来说，能够达到更快的响应速度。
实施例二
如图2所示，本实施例提供一种基于事件相机的道路行人检测跟踪系统，包括：
图像采集模块101，用于通过事件相机采集目标区域信息，并确定待检测图像；所述目标区域信息中包括道路行人。
边缘检测模块201，用于对所述待检测图像进行边缘检测处理，以确定初步图像特征。具体地，所述边缘检测模块包括滤波处理子模块、像素计算子模块和特征处理子模块。
滤波处理子模块用于对所述待检测图像进行高斯滤波处理，得到第一特征图；像素计算子模块用于采用Canny算子计算所述第一特征图中每个像素的梯度大小和梯度方向；特征处理子模块用于根据每个像素的梯度大小和梯度方向，依次通过非极大值抑制处理和双阈值筛选处理，以确定初步图像特征。
特征提取模块301，用于将所述初步图像特征输入至特征提取模型，以确定当前行人特征；所述特征提取模型为根据样本集对级联分类器进行训练得到；所述级联分类器由多个Ada boost强分类器通过串联的方式集成确定；所述样本集包括多张道路行人样本和多张非行人样本。
位置计算模块401，用于根据所述当前行人特征，计算道路行人位置信息；所述道路行人位置信息包括所述道路行人与所述事件相机之间的距离。
位置判断模块501，用于判断所述道路行人位置信息是否处于设定安全区域范围。
位置追踪模块601，用于当所述道路行人位置信息处于设定安全区域范围时，对所述当前行人特征进行特征追踪，以确定下一时刻行人特征，然后将所述当前行人特征更新为所述下一时刻行人特征，并返回所述位置计算模块。
紧急制动模块701，用于当所述道路行人位置信息未处于设定安全区域范围时，生成紧急制动指令。
相对于现有技术，本发明还具有以下优点：
(1)本发明通过HOG特征提取对大量样本进行处理，以提取行人特征，采用Adaboost级联分类器根据HOG特征不断分类筛选，得到最终检测结果，可靠性强，对环境要求比较小。
(2)本发明采用的事件相机根据物体表面的光强变化而产生事件流，减少了很多无效的信息，很大程度上降低了算力和功耗，也因此具备了更高的响应速度，同时具有高动态范围，相机在极端光强变化下也能保持图像的清晰度，这大大改善传统帧相机面临的问题。另外，响应快对解决前方有车辆或障碍物阻挡视线的视野盲区突然出现的行人保护有极大地帮助，可以提前让车辆采取避撞措施，避免交通事故的发生或减小交通事故的严重程度。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种基于事件相机的道路行人检测跟踪方法，其特征在于，所述道路行人检测跟踪方法包括：
通过事件相机采集目标区域信息，并确定待检测图像；所述目标区域信息中包括道路行人；
对所述待检测图像进行边缘检测处理，以确定初步图像特征；
将所述初步图像特征输入至特征提取模型，以确定当前行人特征；所述特征提取模型为根据样本集对级联分类器进行训练得到；所述级联分类器由多个Ada boost强分类器通过串联的方式集成确定；所述样本集包括多张道路行人样本和多张非行人样本；
根据所述当前行人特征，计算道路行人位置信息；所述道路行人位置信息包括所述道路行人与所述事件相机之间的距离；
判断所述道路行人位置信息是否处于设定安全区域范围；
若所述道路行人位置信息处于设定安全区域范围，则对所述当前行人特征进行特征追踪，以确定下一时刻行人特征，然后将所述当前行人特征更新为所述下一时刻行人特征，并返回根据所述当前行人特征，计算道路行人位置信息的步骤；
若所述道路行人位置信息未处于设定安全区域范围，则生成紧急制动指令。
2.根据权利要求1所述的基于事件相机的道路行人检测跟踪方法，其特征在于，对所述当前行人特征进行特征追踪，以确定下一时刻行人特征，具体包括：
将所述当前行人特征输入至卡尔曼滤波器，以根据公式
xt|t-1＝Axt-1|t-1+But
计算下一时刻行人特征；
其中，x表示行人特征状态变量，xt|t-1表示下一时刻行人特征，xt-1|t-1表示当前行人特征，A表示状态转移矩阵，B表示增益矩阵，ut表示t时刻的控制变量。
3.根据权利要求2所述的基于事件相机的道路行人检测跟踪方法，其特征在于，所述道路行人检测跟踪方法，还包括：
根据公式
xt|t＝xt|t-1+Kt(Zt-Cxt|t-1)
Kt＝Pt|t-1CT(CPt|t-1CT)-1
Pt|t＝(I-KtC)Pt|t-1
对所述下一时刻行人特征进行校正优化，以得到下一时刻优化行人特征；所述下一时刻优化行人特征用于计算下一时刻对应的道路行人位置信息；
其中，Pt|t表示在下一时刻的协方差矩阵，Pt|t-1表示在当前时刻的协方差矩阵，AT表示状态转移矩阵的转置，Q表示噪声，Kt表示卡尔曼增益，I表示单位矩阵，xt|t表示下一时刻优化行人特征，Zt表示下一时刻的行人特征测量值，C表示观测矩阵，CT表示观测矩阵的转置，(CPt|t-1CT)-1表示(CPt|t-1CT)的逆矩阵。
4.根据权利要求1所述的基于事件相机的道路行人检测跟踪方法，其特征在于，对所述待检测图像进行边缘检测处理，以确定初步图像特征，具体包括：
对所述待检测图像进行高斯滤波处理，得到第一特征图；
采用Canny算子计算所述第一特征图中每个像素的梯度大小和梯度方向；
根据每个像素的梯度大小和梯度方向，依次通过非极大值抑制处理和双阈值筛选处理，以确定初步图像特征。
5.根据权利要求1所述的基于事件相机的道路行人检测跟踪方法，其特征在于，所述Ada boost强分类器的训练过程，包括：
提取所述样本集中每张样本的HOG特征；
对所述样本集中的所有样本进行权重初始化处理，以确定每张所述样本对应的初始权重；
根据每张样本的HOG特征进行多次迭代训练，且在每次迭代训练后，判断样本错误率是否达到设定值；所述样本错误率为样本被错误分类的概率；
若样本错误率未达到设定值，则判断当前迭代次数是否达到迭代次数阈值，并在当前迭代次数未达到迭代次数阈值时，对每张样本对应的初始权重进行更新，且对被错误分类的样本赋予更大的初始权重；在当前迭代次数达到迭代次数阈值时，结束训练；
若样本错误率达到设定值，则结束训练；达到设定值的样本错误率所对应的多次迭代训练的结果构成Ada boost强分类器。
6.根据权利要求5所述的基于事件相机的道路行人检测跟踪方法，其特征在于，提取所述样本集中每张样本的HOG特征，具体包括：
对所述样本集中的每张样本，依次进行颜色空间归一化处理、图像梯度计算、单元格梯度直方图计算、直方图归一化处理，从而确定所述样本的HOG特征。
7.根据权利要求1所述的基于事件相机的道路行人检测跟踪方法，其特征在于，所述通过事件相机采集目标区域信息，并确定待检测图像，具体包括：
通过事件相机采集目标区域信息，并记录每个像素点的光强变化，以确定图像光强变化量；
当所述图像光强变化量处于设定光强阈值范围时，将所述图像光强变化量对应的多个像素点输出为待检测图像。
8.一种基于事件相机的道路行人检测跟踪系统，其特征在于，所述道路行人检测跟踪系统包括：
图像采集模块，用于通过事件相机采集目标区域信息，并确定待检测图像；所述目标区域信息中包括道路行人；
边缘检测模块，用于对所述待检测图像进行边缘检测处理，以确定初步图像特征；
特征提取模块，用于将所述初步图像特征输入至特征提取模型，以确定当前行人特征；所述特征提取模型为根据样本集对级联分类器进行训练得到；所述级联分类器由多个Adaboost强分类器通过串联的方式集成确定；所述样本集包括多张道路行人样本和多张非行人样本；
位置计算模块，用于根据所述当前行人特征，计算道路行人位置信息；所述道路行人位置信息包括所述道路行人与所述事件相机之间的距离；
位置判断模块，用于判断所述道路行人位置信息是否处于设定安全区域范围；
位置追踪模块，用于当所述道路行人位置信息处于设定安全区域范围时，对所述当前行人特征进行特征追踪，以确定下一时刻行人特征，然后将所述当前行人特征更新为所述下一时刻行人特征，并返回所述位置计算模块；
紧急制动模块，用于当所述道路行人位置信息未处于设定安全区域范围时，生成紧急制动指令。
9.根据权利要求8所述的基于事件相机的道路行人检测跟踪系统，其特征在于，所述边缘检测模块，具体包括：
滤波处理子模块，用于对所述待检测图像进行高斯滤波处理，得到第一特征图；
像素计算子模块，用于采用Canny算子计算所述第一特征图中每个像素的梯度大小和梯度方向；
特征处理子模块，用于根据每个像素的梯度大小和梯度方向，依次通过非极大值抑制处理和双阈值筛选处理，以确定初步图像特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210913702.3A CN115240170A (zh) | 2022-08-01 | 2022-08-01 | 一种基于事件相机的道路行人检测跟踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210913702.3A CN115240170A (zh) | 2022-08-01 | 2022-08-01 | 一种基于事件相机的道路行人检测跟踪方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115240170A true CN115240170A (zh) | 2022-10-25 |
Family
ID=83678336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210913702.3A Pending CN115240170A (zh) | 2022-08-01 | 2022-08-01 | 一种基于事件相机的道路行人检测跟踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115240170A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115496920A (zh) * | 2022-11-21 | 2022-12-20 | 中国科学技术大学 | 基于事件相机的自适应目标检测方法、系统与设备 |
| CN115883978A (zh) * | 2022-11-30 | 2023-03-31 | 深圳市丛矽微电子科技有限公司 | 一种动态视觉传感器的色彩识别方法和装置 |
-
2022
- 2022-08-01 CN CN202210913702.3A patent/CN115240170A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115496920A (zh) * | 2022-11-21 | 2022-12-20 | 中国科学技术大学 | 基于事件相机的自适应目标检测方法、系统与设备 |
| CN115496920B (zh) * | 2022-11-21 | 2023-03-10 | 中国科学技术大学 | 基于事件相机的自适应目标检测方法、系统与设备 |
| CN115883978A (zh) * | 2022-11-30 | 2023-03-31 | 深圳市丛矽微电子科技有限公司 | 一种动态视觉传感器的色彩识别方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105835880B (zh) | 车道追踪系统 | |
| US6690011B2 (en) | Infrared image-processing apparatus | |
| US9384401B2 (en) | Method for fog detection | |
| CN109334563B (zh) | 一种基于道路前方行人和骑行者的防碰撞预警方法 | |
| EP2815383B1 (en) | Time to collision using a camera | |
| CN107972662A (zh) | 一种基于深度学习的车辆前向碰撞预警方法 | |
| CN115240170A (zh) | 一种基于事件相机的道路行人检测跟踪方法及系统 | |
| EP3690393B1 (en) | Information processing device, information processing method, control device, and image processing device | |
| EP2589218B1 (en) | Automatic detection of moving object by using stereo vision technique | |
| US9626599B2 (en) | Reconfigurable clear path detection system | |
| EP2851841A2 (en) | System and method of alerting a driver that visual perception of pedestrian may be difficult | |
| US10635917B1 (en) | Method and device for detecting vehicle occupancy using passenger's keypoint detected through image analysis for humans' status recognition | |
| CN110060221B (zh) | 一种基于无人机航拍图像的桥梁车辆检测方法 | |
| KR20140148171A (ko) | 지능형 차량의 차선 검출방법 | |
| CN110991264A (zh) | 前方车辆检测方法和装置 | |
| CN108256418B (zh) | 一种基于红外成像的行人预警方法及系统 | |
| Lion et al. | Smart speed bump detection and estimation with kinect | |
| KR20230074590A (ko) | 빗물, 빛 번짐, 및 먼지가 있는 카메라 이미지의 보정 | |
| Choi et al. | Fog detection for de-fogging of road driving images | |
| CN111414857B (zh) | 一种基于视觉的多特征融合的前方车辆检测方法 | |
| Cario et al. | Lane detection and tracking problems in lane departure warning systems | |
| US8948449B2 (en) | Selecting visible regions in nighttime images for performing clear path detection | |
| CN107256382A (zh) | 基于图像识别的虚拟保险杠控制方法和系统 | |
| CN116587978A (zh) | 一种基于车载显示屏的碰撞预警方法及系统 | |
| Pillai et al. | Detecting tail lights for analyzing traffic during night using image processing techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |