CN117789141A - 基于人工智能的路面抛洒事件检测方法 - Google Patents
基于人工智能的路面抛洒事件检测方法 Download PDFInfo
- Publication number
- CN117789141A CN117789141A CN202410202256.4A CN202410202256A CN117789141A CN 117789141 A CN117789141 A CN 117789141A CN 202410202256 A CN202410202256 A CN 202410202256A CN 117789141 A CN117789141 A CN 117789141A
- Authority
- CN
- China
- Prior art keywords
- camera
- vehicle
- throwing
- coordinate system
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 23
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 68
- 238000012544 monitoring process Methods 0.000 claims abstract description 24
- 238000005266 casting Methods 0.000 claims abstract description 23
- 238000005259 measurement Methods 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明公开一种基于人工智能的路面抛洒事件检测方法，包括如下步骤：（1）定位车辆位置，计算车辆与目标路段之间的距离，根据车辆行驶方向和速度，定时开启目标路段对应摄像头；（2）当车辆驶入目标路段的监控覆盖区域时，利用目标检测算法识别监控图像中的运动车辆，再用背景差分法检测运动车辆周围区域是否有疑似抛洒物；（3）利用交并比算法估算疑似抛洒物的运动轨迹，判断其与真实运动轨迹是否匹配，进而确认是否为真实抛洒物；（4）调用多角度摄像头提取关键帧，计算抛洒物景深距离，估算抛洒物尺寸；（5）根据卫星定位摄像头位置，结合景深距离计算抛洒物精确位置，并将抛洒物精确位置和抛物车辆信息传输给云服务器，供相关部门查询。
Description
技术领域
本发明涉及图像识别和边缘计算技术领域，特别涉及一种基于人工智能的路面抛洒事件检测方法。
背景技术
随着经济不断发展和交通运输需求不断增加，高速公路发展迅速。高速公路运输具有门到门直接运输的灵活性，尤其适用于客运和物流运输。随着高速公路运输能力的提高，高速公路上车辆抛洒事件也时有发生，而抛洒物就像是一枚枚“定时炸弹”，时刻危及着高速公路车辆的行车安全，是道路安全的主要隐患。
为了减少路面抛洒物对高速交通安全的影响，加强路面抛洒物的巡检工作，及时排除抛洒物潜在的安全威胁，日益成为道路巡检项目中的一个重要内容。然而，当前阶段路面抛洒物的巡检排查工作主要由人工使用巡检车辆采集道路图像，再一帧一帧排查，或者基于单一固定摄像头对静止抛洒物进行检测，此类方法都存在检测成本高、局限性大、准确度低等问题。
发明内容
发明目的：针对现有技术存在的问题，本发明提出一种基于人工智能的路面抛洒事件检测方法，联合卫星定位和公路摄像头等边缘设备共同检测目标路段抛洒事件，能够精准、快速锁定抛洒物的具体位置和抛物车辆，为排查、追溯抛洒事件提供有力的手段，从而提高道路巡检效率，降低巡检成本。
本发明为解决上述技术问题采用以下技术方案：
一种基于人工智能的路面抛洒事件检测方法，包括如下步骤：
（1）定位车辆实时位置，计算车辆与目标路段之间的距离，根据车辆的行驶方向和速度，定时开启目标路段对应摄像头，所述摄像头用于拍摄监控图像；
（2）当车辆驶入目标路段的监控覆盖区域时，利用目标检测算法识别监控图像中的运动车辆，再用背景差分法检测运动车辆周围区域是否有疑似抛洒物；
（3）检测到疑似抛洒物后，通过设置交并比阈值来跟踪疑似抛洒物，即设置第一阈值来关联前后监控图像中处于运动状态的同一目标，设置第二阈值来确认物体静止，所述第一阈值低于第二阈值，进而估算出所述疑似抛洒物的运动轨迹；比较所估算的运动轨迹与真实运动轨迹是否匹配，确认该疑似抛洒物是否为真实抛洒物；
（4）调用多角度摄像头提取关键帧，计算抛洒物景深距离，并估算抛洒物尺寸大小；
（5）根据卫星定位摄像头位置，由摄像头位置和步骤（4）所得的抛洒物景深距离，计算抛洒物的精确位置，并将抛洒物精确位置、抛洒车辆信息传输给云服务器。
在其中一个实施例中，步骤（1）利用GPS/INS联合系统定位车辆实时位置，得到车辆实时位置后，计算车辆与目标路段之间的距离d：
；
其中 (x,y,z)为车辆在地球坐标系下的位置坐标，(x 0,y 0,z 0)为目标路段摄像头在地球坐标系下的位置坐标。
进一步的，步骤（1）在利用GPS/INS联合系统定位车辆实时位置时，还包括对INS参数进行校正的过程，具体包括如下内容：
首先将INS中地理坐标系下的位置坐标(h,L,λ)转换为地球坐标系下的位置坐标(x,y,z)，h为地理高程，L为经度，λ为维度；x,y,z为直角坐标；
；
其中，，a、b分别为地球的长半轴和短半轴；GPS/
INS联合系统的伪距量测方程表示为：
Z G (t)=H(t)X(t)+V(t)；
其中；
，e x ,e y ,e z 分别为地球坐标系中下三个方向的一阶偏导系数；；δ x ,δ y ,δ z 为
GPS/INS联合系统在地球坐标系下的位置误差；δt u 表示等效时钟误差相应的距离；V(t)为
噪声矩阵；
同理，GPS/INS的伪距率误差量测方程表示为：
Z S (t)=H(t)X´(t)+V(t)；
X´(t)=[δ´ x ,δ´ y ,δ´ z ,δt ru ]T；δ´ x ,δ´ y ,δ´ z 表示GPS/INS联合系统在地球坐标系下的速度误差；δt ru 表示等效时钟漂移误差相应的距离率；
将伪距量测方程和伪距率误差量测方程组合输入卡尔曼滤波器，完成INS参数的校正。
在其中一个实施例中，步骤（1）根据GPS/INS定位的车辆实时位置、行驶方向和速度预计到达目标路段的时间，计算对应摄像头的开启时间t：
；
其中d为车辆到目标路段的距离，v为车辆实时速度，t 0为摄像头开启后的预留最小时间。
在其中一个实施例中，步骤（2）采用注意力Yolov5识别监控图像中的运动车辆，所述注意力Yolov5包括输入模块、提取特征训练模块、整合收集特征模块、预测模块；其中输入模块采用数据增强算法和自适应图片缩放，提取特征训练模块包括集中式结构、交叉式连接结构注意力转移模块，整合收集特征模块采用上采样预测特征图和下采样定位目标。
具体的，所述提取特征训练模块的注意力转移模块包括通道注意力模块M c 和空间注意力模块M s ，用于对输入的特征图进行赋权；
M c 的表达式如下：
；
其中，σ代表激活函数，MLP代表全连接层操作，AvgPool代表平均池化操作，MaxPool代表最大池化操作；
M s 的表达式如下：
；
其中， f 7×7代表7×7大小的卷积核，进行卷积操作。
在其中一个实施例中，步骤（2）的背景差分法先利用混合高斯算法构建背景模型，然后根据注意力Yolov5识别的运动车辆将检测区域锁定在所识别车辆的周围区域，再将待检测监控图像与背景模型做差分判断是否有疑似抛洒物；具体包括如下内容：
所述混合高斯算法包含参数初始化部分、模型匹配部分和参数更新部分；
参数初始化部分采用K个高斯分布方程作为背景模型；模型匹配部分和参数更新部分将后续输入的监控图像与背景模型进行匹配，进而使匹配点对应的高斯分布方程权重增加，未匹配的高斯分布方程权重降低；而当某个高斯分布方程的权重低于阈值时，以当前监控图像为基础引入一个新的高斯分布方程代替所述权重低于阈值的高斯分布方程。
在其中一个实施例中，步骤（4）基于双目测距计算抛洒物景深距离；具体包括如下内容：
（4.1）锁定抛洒物后，采用原摄像头模拟左眼采集左图像，调用相邻摄像头模拟右眼采集右图像，对左右图像用Bouguet法进行双目矫正；
（4.2）对矫正后的左右图像进行立体匹配，最后根据三角原理计算抛洒物的具体位置。
具体的，步骤（4.1）中，所述Bouguet法根据极线约束定理，通过旋转左右相机坐标系，使左右平面共面，双目矫正过程如下：
首先将图像从像素坐标系转换到相机坐标系，从像素坐标系到相机坐标系的转换关系式为：
；
其中u,v为相机坐标；x c ,y c 为像素坐标；A为相机的内参矩阵，；f为相机焦距；d x ,d y 分别为像素块的长和宽；u 0,v 0为相机坐标系原
点在像素坐标系中的位置坐标；
然后进行坐标变换：
；
；
其中x crl ,y crl ,z crl ,x crr ,y crr ,z crr 分别为矫正后左右图像的相机坐标， x cl ,y cl ,z cl ,x cr ,y cr ,z cr 分别为左右图像的原相机坐标，，，，R和T分别为左相机坐标系到右相机坐标系
的旋转矩阵和平移向量；
经过双目矫正后，左右图像对应目标点具有相同的纵坐标。
步骤（4.2）中，所述立体匹配包括代价计算、代价聚合、视差计算、视差优化；其中代价计算利用Census变换，具体过程如下：
首先定义一个奇数邻域窗口；
然后将奇数邻域窗口中的每个像素的灰度值与中心像素的灰度值进行比较，得到一个布尔值；
遍历所有像素，获取各像素对应的布尔值，将所有布尔值按照顺序组成一个比特字符串，当作中心像素的Census变换值，所述Census变换值用于立体匹配；
在左图像中选择目标点，然后在右图像中以左图像中目标点坐标为起点，向左沿极线计算右图像中各像素点与目标点的汉明距离，即：
；
其中C L 、C R 分别为左右图像中坐标(u,v)和(u-d s ,v)的Census变换值；d s 为步长表示相邻两次从右图选点的跨度；
通过立体匹配找到左右图像中目标点P的唯一一对投影点P 1 ,P 2 后，利用三角关系式测出目标点的景深距离：
；
其中D为目标点P的景深距离；d c 为左右相机光心之间的距离；f为相机焦距；I l ,I r 分别表示目标投影点P 1 ,P 2 的偏离坐标。
和现有技术相比，本发明具有如下有益效果：
1.实时监测车辆位置、车速和行驶方向，在目标路段预设若干摄像头构成监控区域，通过预测车辆离目标路段的距离，定时唤醒对应摄像头，能够延长摄像头使用寿命，同时减少摄像头非必要运算量和冗余图像信息；
2.采用改进的目标检测算法（注意力Yolov5），引入通道注意力模块和空间注意力模块，能够降低检测复杂度；进一步对疑似抛洒物进行轨迹跟踪和匹配判断，减少了误识别率；
3.考虑摄像头位置带来的测量误差，结合摄像头位置和抛洒物景深距离获取精确的抛洒物位置。
附图说明
图1为本发明一实施例的基于人工智能的路面抛洒事件检测方法流程图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似改进，因此本申请不受下面公开的具体实施例的限制。
在本申请的描述中，需要理解的是，若有出现指示方位或位置关系的术语，这些术语为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
一种基于人工智能的路面抛洒事件检测方法，包括如下步骤：
（1）定位车辆实时位置，计算车辆与目标路段之间的距离，根据车辆的行驶方向和速度，定时开启目标路段对应摄像头，摄像头用于拍摄监控图像；
（2）当车辆驶入目标路段的监控覆盖区域时，利用目标检测算法识别监控图像中的运动车辆，再用背景差分法检测运动车辆周围区域是否有疑似抛洒物；
（3）检测到疑似抛洒物后，通过设置交并比阈值来跟踪疑似抛洒物，即设置第一阈值来关联前后监控图像中处于运动状态的同一目标，设置第二阈值来确认物体静止，所述第一阈值低于第二阈值，进而估算出所述疑似抛洒物的运动轨迹；比较所估算的运动轨迹与真实运动轨迹是否匹配，确认该疑似抛洒物是否为真实抛洒物；
（4）通过移动边缘计算设备调用多角度摄像头提取关键帧，计算抛洒物景深距离，并估算抛洒物尺寸大小；
（5）根据卫星定位摄像头位置，由摄像头位置和步骤（4）所得的抛洒物景深距离，计算抛洒物的精确位置，并将边缘服务器的检测结果传输给云服务器，检测结果包括但不限于抛洒物精确位置和抛物车辆信息等，相关部门可据此进行预警和处罚。
可选的，步骤（1）中，车辆实时位置的定位可以利用GPS与INS联合系统实现。其基本思路为当GPS有信号时，可以直接利用GPS进行定位，GPS没有信号时，则利用INS得到的参数进行定位。定位得到车辆位置后，便可以计算车辆与目标路段之间的距离d：
；
其中(x,y,z)为车辆在地球坐标系下的位置坐标，(x 0,y 0,z 0)为目标路段摄像头在地球坐标系下的位置坐标。
优选的，通过计算伪距量测方程和伪距率误差量测方程，用卡尔曼滤波算法对INS参数进行校正。计算伪距量测方程和伪距率误差量测方程时需要将INS中的地理坐标系(h,L,λ)转换为地球坐标系(x,y,z)，其中h为地理高程，L为经度，λ为维度；x,y,z为直角坐标；
；
其中，，a、b分别为地球的长半轴和短半轴。
所以，GPS与INS联合系统的伪距量测方程表示为：
Z G (t)=H(t)X(t)+V(t)；
其中；
，e x ,e y ,e z 分别为地球坐标系中下三个方向的一阶偏导系数；，δ x ,δ y ,δ z
为GPS与INS联合系统在地球坐标系下的位置误差；δt u 表示等效时钟误差相应的距离；V(t)
为噪声矩阵。
同理，GPS与INS联合系统的伪距率误差量测方程表示为：
Z S (t)=H(t)X´(t)+V(t)；
不同于伪距量测方程，X´(t)=[δ´ x ,δ´ y ,δ´ z ,δt ru ]T；δ´ x ,δ´ y ,δ´ z 为δx,δy,δz的导数，即系统在地球坐标系下的速度误差；δt ru 表示等效时钟漂移误差相应的距离率。
将伪距量测方程和伪距率误差量测方程组合输入卡尔曼滤波器中便可以校正INS的参数，以消除INS的累计误差。
进一步的，步骤（1）中，根据GPS与INS联合系统定位的车辆位置，以及行驶方向和车辆速度，可以预计车辆到达目标路段的时间，进而控制摄像头的开启时间t，即：
；
其中d为车辆定位到目标路段的距离，v为汽车实时速度，t 0为摄像头开启后的预留最小时间。
可选的，步骤（2）中，采用注意力Yolov5识别监控图像中的运动车辆，注意力Yolov5的主要结构包括输入模块Input、提取特征训练模块Backbone、整合收集特征模块Neck、预测模块Prediction四个部分，其中Input部分采用了 Mosaic 数据增强和自适应图片缩放来增强鲁棒性；Backbone部分在引入了Focus 结构和 CSP 结构的基础上，还增加了注意力转移模块，提升对目标的识别速度；Neck部分则采用FPN上采样预测特征图和PAN下采样定位目标。
具体的，Backbone部分的注意力转移模块分别在通道级别和空间级别施加注意力机制，即通道注意力模块M c 和空间注意力模块M s ，用于对输入的特征图进行赋权，以加强网络对图片重点区域的关注程度。
M c 与Ms表达式分别如下：
；
其中，σ代表激活函数，MLP代表全连接层操作，AvgPool代表平均池化操作，MaxPool代表最大池化操作。
；
其中，f 7×7代表7×7大小的卷积核，进行卷积操作。
进一步的，完成车辆识别后，先利用混合高斯算法构建背景模型，然后将检测区域锁定在识别车辆的周围区域，再将待检测图像与背景模型做差分判断是否有疑似抛洒物。
其中混合高斯算法包含参数初始化部分、模型匹配部分、参数更新部分。参数初始化部分连用了K个高斯分布作为背景模型，第一个高斯分布的均值和方差来自于第一帧图像，权重最大，而第二到第K个高斯分布的均值为0，方差为较大的值，权重较低。模型匹配和参数更新部分是将后续输入图像与背景模型进行匹配，进而使匹配点权重增加，未匹配点的权重降低。而当某个高斯分布方程的权重低于阈值时，会以当前图像为基础引入一个新的高斯分布方程代替原权重过低的方程。
可选的，步骤（4）中，基于目标识别的双目测距系统实现抛洒物景深距离计算；具体过程如下：
（4.1）锁定抛洒物后，选用原摄像头模拟左眼获取左图像，调用相邻摄像头模拟右眼获取右图像。
（4.2）对矫正好的左右图像进行立体匹配，最后根据三角原理计算抛洒物的具体位置。
步骤（4.1）中，由于左右摄像头存在角度和高度的偏差，优选利用Bouguet法进行双目矫正，其基本原理为根据极线约束定理，通过旋转左右相机坐标系，使左右平面共面。具体过程如下：
在双目矫正时需要将图像从像素坐标系转换到相机坐标系，像素坐标系与相机坐标系的转换关系式为：
；
其中u,v为相机坐标；x c ,y c 为像素坐标；A为相机的内参矩阵，；f为相机焦距；d x ,d y 分别为像素块的长和宽；u 0,v 0为光心坐标，即相
机坐标系原点在像素坐标系中的位置坐标。
图像从像素坐标系转换到相机坐标系后，再进行如下坐标变换：
；
；
其中x crl ,y crl ,z crl ,x crr ,y crr ,z cr 分别为矫正后左图像和右图像的相机坐标，x cl ,y cl ,z cl ,x cr ,y cr ,z cr 分别为左图像和右图像的原相机坐标，，，，R和T分别为左相机坐标系到右相机坐标系
的旋转矩阵和平移向量。经过双目矫正后，左右图像对应目标点便具有相同的纵坐标，即位
于同一行。
步骤（4.2）中，立体匹配主要包括代价计算、代价聚合、视差计算、视差优化四个部分。
在代价计算中可以利用Census变换，该方法首先定义一个大小为n×m个像素的奇数邻域窗口；然后将窗口中的每个像素的灰度值与中心像素的灰度值进行比较，得到一个布尔值；遍历各个像素，将布尔值按照顺序组成一个比特字符串，当作中心像素的Census变换值Cs，该值为立体匹配中的参数值。在寻找对应点时，可以在左图像中选择目标点，然后在右图像中以左图像中目标点坐标为起点，向左沿极线计算右图中各像素点与目标点的汉明距离，即：
；
其中C L 、C R 分别为左右图像中坐标(u,v)和(u-d s ,v)的Census变换值；d s 为步长表示相邻两次从右图选点的跨度；
通过立体匹配找到左右图中目标点P的唯一一对投影点P 1 ,P 2 ，利用三角关系式测出目标点的景深距离：
；
其中D为目标点P的景深距离；d c 为左右相机光心之间的距离；f为相机焦距；I l ,I r 分别表示目标投影点P 1 ,P 2 的偏离坐标。
进一步可选的，步骤（5）中，将边缘服务器的检测结果通过5G通信网络或其他无线通信方式传输给云服务器，供后台查询。
如图1所示是本发明的一种优选实施例，包括以下步骤：
步骤101：利用GPS和INS联合系统对车辆进行定位，再结合行驶方向和速度预测车辆距离驶入目标路段的距离d，计算车辆到达目标路段对应摄像头的时间，定时给对应摄像头发送开启指令，优选的，摄像头开启后的预留最小时间t 0取30s。
步骤102：当车辆驶入摄像头所在的监控覆盖区域时，边缘计算设备调用训练好的注意力Yolov5识别图像中运动车辆。其中注意力Yolov5是在传统Yolov5模型的Backbone部分引入了通道注意力模块M c 和空间注意力模块M s 。
识别图像中运动车辆后，对其周围区域采用背景差分法检测是否有疑似抛洒物。而背景差分法中构建混合高斯的背景模型主要是利用摄像头采集的30秒干净图像。
步骤103：检测到出现疑似抛洒物后，通过设置IOU算法的交并比阈值来跟踪抛洒物，即设置较低的阈值来关联前后图像中在运动中的同一目标，而设置较高的阈值来确认物体静止，进而检测抛洒物的运动轨迹。然后将采集的抛洒物真实运动轨迹与预测的运动轨迹进行匹配，匹配成功则将该疑似抛洒物视为真实抛洒物。
步骤104：移动边缘计算设备调用左右两个摄像头模拟人的双眼，基于目标识别的双目测距法计算抛洒物的景深距离；具体步骤如下：
S1：锁定抛洒物后，选择用原摄像头模拟左眼获取左图像，调用相邻摄像头模拟右眼获取右图像，利用Bouguet法进行双目矫正，其基本原理为根据极线约束定理，通过旋转左右相机坐标系，使左右平面共面。经过双目矫正后，左右图像对应目标点便具有相同的纵坐标，即位于同一行。
S2：对矫正好的左右图像进行立体匹配，其中代价计算步骤可以利用Census变换，该方法首先定义一个包含n×m个像素点的奇数邻域窗口；然后将窗口中的每个像素的灰度值与中心像素的灰度值进行比较，得到一个布尔值；遍历所有像素值，将这些布尔值按照顺序组成一个比特字符串，当作中心像素的Census变换值Cs。在寻找对应点时可以在左图中选择目标点，然后在右图中以左图中目标点坐标为起点，向左沿极线计算右图中各像素点与目标点的汉明距离；在通过立体匹配找到左右图中目标点的唯一一对投影点后，利用三角关系式测出目标点的景深距离。
步骤105：在边缘服务器中，根据卫星定位的摄像头位置和目标点的景深距离可以计算抛洒物的精确位置，然后边缘服务器再将抛洒物精确位置、抛物车辆信息等通过5G通信网络传输给云服务，相关部门便可据此进行道路预警和处罚抛洒车辆。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于人工智能的路面抛洒事件检测方法，其特征在于，包括如下步骤：
（1）定位车辆实时位置，计算车辆与目标路段之间的距离，根据车辆的行驶方向和速度，定时开启目标路段对应摄像头，所述摄像头用于拍摄监控图像；
（2）当车辆驶入目标路段的监控覆盖区域时，利用目标检测算法识别监控图像中的运动车辆，再用背景差分法检测运动车辆周围区域是否有疑似抛洒物；
（3）检测到疑似抛洒物后，通过设置交并比阈值来跟踪疑似抛洒物，即设置第一阈值来关联前后监控图像中处于运动状态的同一目标，设置第二阈值来确认物体静止，所述第一阈值低于第二阈值，进而估算出所述疑似抛洒物的运动轨迹；比较所估算的运动轨迹与真实运动轨迹是否匹配，确认该疑似抛洒物是否为真实抛洒物；
（4）调用多角度摄像头提取关键帧，计算抛洒物景深距离，并估算抛洒物尺寸大小；
（5）根据卫星定位摄像头位置，由摄像头位置和步骤（4）所得的抛洒物景深距离，计算抛洒物的精确位置，并将抛洒物精确位置、抛洒车辆信息传输给云服务器。
2.根据权利要求1所述的基于人工智能的路面抛洒事件检测方法，其特征在于，步骤（1）中，利用GPS/INS联合系统定位车辆实时位置，得到车辆实时位置后，计算车辆与目标路段之间的距离d：
；
其中(x,y,z)为车辆在地球坐标系下的位置坐标，(x 0,y 0,z 0)为目标路段摄像头在地球坐标系下的位置坐标。
3.根据权利要求2所述的基于人工智能的路面抛洒事件检测方法，其特征在于，利用GPS/INS联合系统定位车辆实时位置时，还包括对INS参数进行校正的步骤，具体包括如下内容：
首先将INS中地理坐标系下的位置坐标(h,L,λ)转换为地球坐标系下的位置坐标(x,y,z)，h为地理高程，L为经度，λ为维度；x,y,z为直角坐标；
；
其中，/>，a、b分别为地球的长半轴和短半轴；GPS/INS联合系统的伪距量测方程表示为：
Z G (t)=H(t)X(t)+V(t)；
其中；
，e x ,e y ,e z 分别为地球坐标系中下三个方向的一阶偏导系数；/>；δ x ,δ y ,δ z 为GPS/INS联合系统在地球坐标系下的位置误差；δt u 表示等效时钟误差相应的距离；V(t)为噪声矩阵；
同理，GPS/INS的伪距率误差量测方程表示为：
Z S (t)=H(t)X´(t)+V(t)；
X´(t)=[δ´ x ,δ´ y ,δ´ z ,δt ru ]T；δ´ x ,δ´ y ,δ´ z 为δ x ,δ y ,δ z 的导数，表示GPS/INS联合系统在地球坐标系下的速度误差；δt ru 表示等效时钟漂移误差相应的距离率；
将伪距量测方程和伪距率误差量测方程组合输入卡尔曼滤波器，完成INS参数的校正。
4.根据权利要求2所述的基于人工智能的路面抛洒事件检测方法，其特征在于，步骤（1）中，根据GPS/INS定位的车辆实时位置、行驶方向和速度预计到达目标路段的时间，计算对应摄像头的开启时间t：
；
其中d为车辆到目标路段的距离，v为车辆实时速度，t 0为摄像头开启后的预留最小时间。
5.根据权利要求1所述的基于人工智能的路面抛洒事件检测方法，其特征在于，步骤（2）中，采用注意力Yolov5识别监控图像中的运动车辆，所述注意力Yolov5包括输入模块、提取特征训练模块、整合收集特征模块、预测模块；其中输入模块采用数据增强算法和自适应图片缩放，提取特征训练模块包括集中式结构、交叉式连接结构注意力转移模块，整合收集特征模块采用上采样预测特征图和下采样定位目标。
6.根据权利要求5所述的基于人工智能的路面抛洒事件检测方法，其特征在于，所述提取特征训练模块的注意力转移模块包括通道注意力模块M c 和空间注意力模块M s ，用于对输入的特征图进行赋权；
M c 的表达式如下：
；
其中，σ代表激活函数，MLP代表全连接层操作，AvgPool代表平均池化操作，MaxPool代表最大池化操作；
M s 的表达式如下：
；
其中， f 7×7代表7×7大小的卷积核，进行卷积操作。
7.根据权利要求5所述的基于人工智能的路面抛洒事件检测方法，其特征在于，步骤（2）中，所述背景差分法先利用混合高斯算法构建背景模型，然后根据注意力Yolov5识别的运动车辆将检测区域锁定在所识别车辆的周围区域，再将待检测监控图像与背景模型做差分判断是否有疑似抛洒物；具体包括如下内容：
所述混合高斯算法包含参数初始化部分、模型匹配部分和参数更新部分；
参数初始化部分采用K个高斯分布方程作为背景模型；模型匹配部分和参数更新部分将后续输入的监控图像与背景模型进行匹配，进而使匹配点对应的高斯分布方程权重增加，未匹配的高斯分布方程权重降低；而当某个高斯分布方程的权重低于阈值时，以当前监控图像为基础引入一个新的高斯分布方程代替所述权重低于阈值的高斯分布方程。
8.根据权利要求1所述的基于人工智能的路面抛洒事件检测方法，其特征在于，步骤（4）中，基于双目测距计算抛洒物景深距离；具体包括如下内容：
（4.1）锁定抛洒物后，采用原摄像头模拟左眼采集左图像，调用相邻摄像头模拟右眼采集右图像，对左右图像用Bouguet法进行双目矫正；
（4.2）对矫正后的左右图像进行立体匹配，最后根据三角原理计算抛洒物的具体位置。
9.根据权利要求8所述的基于人工智能的路面抛洒事件检测方法，其特征在于，步骤（4.1）中，所述Bouguet法根据极线约束定理，通过旋转左右相机坐标系，使左右平面共面，双目矫正过程如下：
首先将图像从像素坐标系转换到相机坐标系，从像素坐标系到相机坐标系的转换关系式为：
；
其中u,v为相机坐标；x c ,y c 为像素坐标；A为相机的内参矩阵，；f为相机焦距；d x ,d y 分别为像素块的长和宽；u 0,v 0为相机坐标系原点在像素坐标系中的位置坐标；
然后进行坐标变换：
；
；
其中x crl ,y crl ,z crl ,x crr ,y crr ,z crr 分别为矫正后左右图像的相机坐标， x cl ,y cl ,z cl ,x cr ,y cr ,z cr 分别为左右图像的原相机坐标，，/>，，R和T分别为左相机坐标系到右相机坐标系的旋转矩阵和平移向量；
经过双目矫正后，左右图像对应目标点具有相同的纵坐标。
10.根据权利要求8所述的基于人工智能的路面抛洒事件检测方法，其特征在于，步骤（4.2）中，所述立体匹配包括代价计算、代价聚合、视差计算、视差优化；其中代价计算利用Census变换，具体过程如下：
首先定义一个奇数邻域窗口；
然后将奇数邻域窗口中的每个像素的灰度值与中心像素的灰度值进行比较，得到一个布尔值；
遍历所有像素，获取各像素对应的布尔值，将所有布尔值按照顺序组成一个比特字符串，当作中心像素的Census变换值，所述Census变换值用于立体匹配；
在左图像中选择目标点，然后在右图像中以左图像中目标点坐标为起点，向左沿极线计算右图像中各像素点与目标点的汉明距离，即：
；
其中C L 、C R 分别为左右图像中坐标(u,v)和(u-d s ,v)的Census变换值；d s 为步长表示相邻两次从右图选点的跨度；
通过立体匹配找到左右图像中目标点P的唯一一对目标投影点P 1 ,P 2 后，利用三角关系式测出目标点的景深距离：
；
其中D为目标点P的景深距离；d c 为左右相机光心之间的距离；f为相机焦距；I l 、I r 分别表示目标投影点P 1 ,P 2 的偏离坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410202256.4A CN117789141B (zh) | 2024-02-23 | 2024-02-23 | 基于人工智能的路面抛洒事件检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410202256.4A CN117789141B (zh) | 2024-02-23 | 2024-02-23 | 基于人工智能的路面抛洒事件检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117789141A true CN117789141A (zh) | 2024-03-29 |
| CN117789141B CN117789141B (zh) | 2024-04-26 |
Family
ID=90396601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410202256.4A Active CN117789141B (zh) | 2024-02-23 | 2024-02-23 | 基于人工智能的路面抛洒事件检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117789141B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060248029A1 (en) * | 2005-04-29 | 2006-11-02 | Tyng-Luh Liu | Object-detection method multi-class Bhattacharyya Boost algorithm used therein |
| JP2009037476A (ja) * | 2007-08-02 | 2009-02-19 | Honda Motor Co Ltd | 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラム |
| CN105225224A (zh) * | 2015-08-30 | 2016-01-06 | 大连理工大学 | 提高景深测量精度的相机布局与标定方法 |
| CN105225482A (zh) * | 2015-09-02 | 2016-01-06 | 上海大学 | 基于双目立体视觉的车辆检测系统和方法 |
| CN113255580A (zh) * | 2021-06-18 | 2021-08-13 | 城云科技（中国）有限公司 | 抛洒物识别、车辆抛洒滴漏识别方法和装置 |
| CN113781516A (zh) * | 2021-11-11 | 2021-12-10 | 湖南汇视威智能科技有限公司 | 一种高空抛物检测方法 |
| CN114359800A (zh) * | 2021-12-31 | 2022-04-15 | 浙江力石科技股份有限公司 | 一种景区抛洒物视频识别系统及其检测方法 |
| CN114863695A (zh) * | 2022-05-30 | 2022-08-05 | 中邮建技术有限公司 | 一种基于车载激光和摄像机的超标车辆检测系统和方法 |
| CN115512107A (zh) * | 2022-09-16 | 2022-12-23 | 联陆智能交通科技(上海)有限公司 | 基于机器视觉的道路抛洒物检测追踪方法和系统 |
-
2024
- 2024-02-23 CN CN202410202256.4A patent/CN117789141B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060248029A1 (en) * | 2005-04-29 | 2006-11-02 | Tyng-Luh Liu | Object-detection method multi-class Bhattacharyya Boost algorithm used therein |
| JP2009037476A (ja) * | 2007-08-02 | 2009-02-19 | Honda Motor Co Ltd | 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラム |
| CN105225224A (zh) * | 2015-08-30 | 2016-01-06 | 大连理工大学 | 提高景深测量精度的相机布局与标定方法 |
| CN105225482A (zh) * | 2015-09-02 | 2016-01-06 | 上海大学 | 基于双目立体视觉的车辆检测系统和方法 |
| CN113255580A (zh) * | 2021-06-18 | 2021-08-13 | 城云科技（中国）有限公司 | 抛洒物识别、车辆抛洒滴漏识别方法和装置 |
| CN113781516A (zh) * | 2021-11-11 | 2021-12-10 | 湖南汇视威智能科技有限公司 | 一种高空抛物检测方法 |
| CN114359800A (zh) * | 2021-12-31 | 2022-04-15 | 浙江力石科技股份有限公司 | 一种景区抛洒物视频识别系统及其检测方法 |
| CN114863695A (zh) * | 2022-05-30 | 2022-08-05 | 中邮建技术有限公司 | 一种基于车载激光和摄像机的超标车辆检测系统和方法 |
| CN115512107A (zh) * | 2022-09-16 | 2022-12-23 | 联陆智能交通科技(上海)有限公司 | 基于机器视觉的道路抛洒物检测追踪方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117789141B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111448478B (zh) | 用于基于障碍物检测校正高清地图的系统和方法 | |
| CN107704821B (zh) | 一种弯道的车辆位姿计算方法 | |
| KR20190087266A (ko) | 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법 | |
| US10909395B2 (en) | Object detection apparatus | |
| Labayrade et al. | In-vehicle obstacles detection and characterization by stereovision | |
| US8098280B2 (en) | Moving object locating device, moving object locating method, and computer product | |
| JP6520740B2 (ja) | 物体検出方法、物体検出装置、およびプログラム | |
| EP2583217A1 (en) | Method for obtaining drivable road area | |
| JP2008065087A (ja) | 静止物地図生成装置 | |
| US10832428B2 (en) | Method and apparatus for estimating a range of a moving object | |
| CN111263960A (zh) | 更新用于自主驾驶的高清晰度地图的设备和方法 | |
| CN112906777A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| Parra et al. | Visual odometry and map fusion for GPS navigation assistance | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| CN112805766A (zh) | 用于更新详细地图的装置和方法 | |
| Tao et al. | Automated processing of mobile mapping image sequences | |
| KR20100066952A (ko) | 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법 | |
| CN112255604B (zh) | 一种雷达数据准确性的判断方法、装置及计算机设备 | |
| Carow et al. | Projecting lane lines from proxy high-definition maps for automated vehicle perception in road occlusion scenarios | |
| CN117789141B (zh) | 基于人工智能的路面抛洒事件检测方法 | |
| CN116740657A (zh) | 一种基于相似三角形的目标检测以及测距方法 | |
| CN116892949A (zh) | 地上物检测装置、地上物检测方法以及地上物检测用计算机程序 | |
| Jiang et al. | Precise vehicle ego-localization using feature matching of pavement images | |
| CN116007637B (zh) | 定位装置、方法、车载设备、车辆、及计算机程序产品 | |
| WO2022099522A1 (en) | Device and method for verifying estimated depth information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |