CN116977906B - 一种实时展示行人违规翻越道路隔离带方法 - Google Patents
一种实时展示行人违规翻越道路隔离带方法 Download PDFInfo
- Publication number
- CN116977906B CN116977906B CN202311228254.4A CN202311228254A CN116977906B CN 116977906 B CN116977906 B CN 116977906B CN 202311228254 A CN202311228254 A CN 202311228254A CN 116977906 B CN116977906 B CN 116977906B
- Authority
- CN
- China
- Prior art keywords
- crossing
- road
- information
- pedestrian
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002955 isolation Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000011218 segmentation Effects 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000002093 peripheral effect Effects 0.000 claims abstract description 9
- 230000009471 action Effects 0.000 claims abstract description 4
- 230000006399 behavior Effects 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 9
- 238000012417 linear regression Methods 0.000 claims description 8
- 241000283070 Equus zebra Species 0.000 claims description 4
- 230000005012 migration Effects 0.000 claims description 4
- 238000013508 migration Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000004888 barrier function Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Social Psychology (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提出一种实时展示行人违规翻越道路隔离带方法，属于道路安全技术领域。包括：S1.采集道路视频流信息，对视频流信息进行图像处理；S2.获取图像中不同物体和行人的实例分割信息；S3.判断场景中的道路隔离带；S4.分析行人是否有翻越隔离带的行为。S5.将行人违规翻越护栏行为发送至周边边缘端设备。解决了并未对翻越隔离带行为进行展示，不能对违规人员起到有效的教育作用，无法从根本上杜绝这种危害道路安全的违规行为的问题，将违规行为的相关信息进行有效展示并及时有纠正行人违规翻越隔离带行为，对违规人和其他行人都能够起到很好的教育和警示作用，从根本上杜绝违规翻越隔离带这种这种存在极高道路安全隐患的行为。
Description
技术领域
本申请涉及违规翻越道路隔离带实时展示方法，尤其涉及一种实时展示行人违规翻越道路隔离带方法，属于道路安全技术领域。
背景技术
随着社会飞速发展人民生活日益富裕，机动车数量不断增加，为了保证道路交通安全隔离带必不可少。在一些交通要道时常会有行人贪图一时便利，不按规定使用人行横道，或是随意翻越道路中间的隔离带。这些无视道路法规和道德的行为都会构成巨大的交通安全隐患。如果不及时进行警告纠正将会导致重大的安全和经济问题。
在传统的翻越隔离带违规行为检查中通常是安排交警人员在道路或路口现场进行监督，但是这种方法不仅要消耗很大的人力，而且交警人员能够覆盖的范围十分有限并且不能做到全天候监管。如果使用边缘计算技术在物联网终端设备处实时接入摄像头视频流，利用人工智能深度学习方法对道路中的隔离带进行识别检测，然后通过计算机视觉的方法判断是否存在行人违规翻越隔离带的行为。无疑是一个很好的解决方法。
通过计算机视觉的方法判断是否存在行人违规翻越隔离带的行为只基于检测区域进行翻越隔离带行为的分析和检测，并未对翻越隔离带行为进行展示，不能对违规人员起到有效的教育作用，无法从根本上杜绝这种危害道路安全的违规行为。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
鉴于此，为解决现有技术中存在的技术问题，本发明提供一种实时展示行人违规翻越道路隔离带方法。
方案一、一种实时展示行人违规翻越道路隔离带方法，包括以下步骤：
S1.采集道路视频流信息，对视频流信息进行图像处理；
S2.获取图像中不同物体和行人的实例分割信息；
S3.判断场景中的道路隔离带；
S31.初始化像素坐标X，Y及各个地面区域为隔离带的概率p，其中p值和区域UID绑定；
S32.以左上角像素为起始点，将像素所属的地面区域信息和对应UID保存至临时列表；
S33.处理下一个像素信息，按照X轴正方向顺序将像素点所属地面区域和对应UID以UID作为key值保存至字典数据结构中，根据实际输入的图像尺寸，当X坐标大于等于图像宽度最大值时，切换到下一行像素点进行处理，同时更新字典为空；
S34.当列表中有新的像素信息加入时，检查新加入的像素点是否属于公路区域类别，若属于执行S35，否则执行S33；
S35.检查历史像素信息中是否存在属于不同UID公路区域像素点，若存在则执行S36，否则执行S33；
S36.检查两个不同UID公路区域像素点间是否包含其他类别地面区域像素，若存在则将地面区域为隔离带的概率值p增加1直到检索下一行像素前地面区域的概率p保持不变，否则执行S33；
S37.检查是否存在地面区域为隔离带的概率值大于或等于60，如果存在，则输出地面区域及UID，输出地面区域为隔离带区域，若存在下个像素点执行S33，否则结束；
S4.分析行人是否有翻越隔离带的行为；
S5.将行人违规翻越护栏行为发送至周边边缘端设备，方法是：包括以下步骤：
S51.将行人违规翻越护栏行为进行数据结构化处理，输出报文信息；
S52.捕获行人违规翻越护栏行为的当前图片，并保存；
S52.通过https将报文数据和行人违规翻越护栏行为的图片发送到周边边缘端设备实时展示，将边缘计算网关作为https的客户端负责发送数据，其他边缘端设备作为https服务器负责接收和存储信息；
S53.边缘计算网关发送失败，采用缓存机制，将发送失败的数据保存在本地，在其它时间进行重新发送。
优选的，采集道路视频流信息，对视频流信息进行图像处理的方法，包括以下步骤：
S11.接入摄像头视频流信息：使用RJ45以太网网线将摄像头和边缘计算网关的网络接口进行连接，通过RTSP视频流地址的方式接入摄像头采集的实时视频流信息；
S12.视频解码：将原始视频解码成统一RGB格式的单帧图片；
S13.视频预处理：对单帧图片进行颜色空间的转换和图像滤波去噪处理。
优选的，获取图像中不同物体和行人的实例分割信息的方法，包括以下步骤：
S21.构建交通场景实例分割数据集并训练模型权重；
S22.基于语义分割算法分析场景图片。
优选的，构建交通场景实例分割数据集并训练模型权重的方法，包括以下步骤：
S211.获取交通监控视场景下的图片，以png格式保存到本地文件夹image_2下，其中图片的分辨率为1920*1080；
S212.使用标注工具Labelme对预处理后的图片集进行标注，针对道路交通目标以及斑马线进行实例分割标注，实例分割标签格式参考cityscapes数据集；精细标注不同地面区域的真值信息，其中地面区域包括马路和人行道；
S213.将对应场景图片的地面区域真值文件和交通参与目标的实例分割标签文件保存到label_2文件夹下；
S214.将数据分为训练集和测试集；随机抽取image_2文件夹中80%的图片作为训练集放入training文件夹，剩下的20%则为测试集放入testing文件夹，然后将数据集打包放到高性能GPU服务器中深度学习模型训练环境的相应目录下；
S215.用SOLOv2实例分割算法，使用预训练模型在标注完成数据集条件下进行迁移学习，得到高精度的实例分割模型。
优选的，基于语义分割算法分析场景图片的方法，包括以下步骤：
S221.图像左上角的像素点坐标为(0,0)，设定水平方向为X轴，向右为正方向，垂直方向为Y轴，向下为正方向建立坐标系；
S222.实例分割模型将相同类别的地面真值区域以及道路交通目标以相同的颜色进行标记，不同类别则颜色不同；
S223.基于KLT算法对地面区域进行目标跟踪，相同类别的不同地面区域标记不同的UID进行区分；
S224.对于每个独立的地面区域，将区域内所有像素点坐标作为输入，以一元一次方程进行线性回归，每个区域得到的一元一次方程和UID一一对应绑定；
优选的，分析行人是否有翻越隔离带行为的方法，包括以下步骤：
S41.以一元一次方程y=a*x作为线性回归方程，将每个地面区域的所包含的像素坐标信息作为输入，对每个地面区域进行回归计算，得出的回归方程式与UID绑定；
S42.设定斜率阈值，判断地面区域的斜率变化是否超出斜率阈值，当超出斜率阈值时记录隔离带区域UID，斜率阈值范围为±0.1；
S43.将UID作为key值将区域信息保存至字典数据结构中；
S44.逐个检索字典数据结构中UID区域像素点是否有行人像素相邻，若有隔离带区域与行人像素相邻，则判断发生行人违规翻越护栏行为，否则返回不存在行人违规翻越护栏行为。
方案二、一种电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现方案一所述的一种实时展示行人违规翻越道路隔离带方法的步骤。
方案三、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现方案一所述的一种实时展示行人违规翻越道路隔离带方法。
本发明的有益效果如下：本发明不仅能够有效地对整个道路场景实现全天候全方位的翻越隔离带行为检测节省大量的巡查人力和物力资源，当翻越隔离带行为警报触发时自动联动周边的智慧道路设备，将违规行为的相关信息进行有效展示并及时有纠正行人违规翻越隔离带行为，对违规人和其他行人都能够起到很好的教育和警示作用，从根本上杜绝违规翻越隔离带这种这种存在极高道路安全隐患的行为。最终实现对道路智能化、实时化和及时化的有效监管。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为一种实时展示行人违规翻越道路隔离带方法流程示意图；
图2为隔离带区域发生斜率变化示意图。其中，a为斜率变化前，b为斜率变化后。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1、参照图1-图2说明本实施方式，一种实时展示行人违规翻越道路隔离带方法，包括以下步骤：
S1.采集道路视频流信息，对视频流信息进行图像处理；
S11.接入摄像头视频流信息：使用RJ45以太网网线将摄像头和边缘计算网关的网络接口进行连接，通过RTSP视频流地址的方式接入摄像头采集的实时视频流信息；
S12.视频解码：将原始视频解码成统一RGB格式的单帧图片；
S13.视频预处理：对单帧图片进行颜色空间的转换和图像滤波去噪处理，从而达到改善图片的目的，方便图像信息进行进一步处理；
S2.获取图像中不同物体和行人的实例分割信息；
不同物体包括公路、人行道地面区域、路灯、斑马线、绿化带等道路上的物体以及道路交通参与者；
构建实例分割模型，基于深度学习算法不断筛选优化设置超参数，使用大量已标注的实例分割数据集在预训练模型基础上进行迁移学习训练后得到的；
S21.构建交通场景实例分割数据集并训练模型权重；
S211.获取交通监控视场景下的图片，以png格式保存到本地文件夹image_2下，其中图片的分辨率为1920*1080；
具体的，交通监控视场景下的图片根据实际需求获取，可采用公开的数据集或是自行收集的数据；
S212.使用标注工具Labelme对预处理后的图片集进行标注，针对道路交通目标以及斑马线进行实例分割标注，实例分割标签格式参考cityscapes数据集；精细标注不同地面区域的真值信息，其中地面区域包括马路和人行道；
S213.将对应场景图片的地面区域真值文件和交通参与目标的实例分割标签文件保存到label_2文件夹下；
S214.将数据分为训练集和测试集；随机抽取image_2文件夹中80%的图片作为训练集放入training文件夹，剩下的20%则为测试集放入testing文件夹，然后将数据集打包放到高性能GPU服务器中深度学习模型训练环境的相应目录下；
S215.用SOLOv2实例分割算法，使用预训练模型在标注完成数据集条件下进行迁移学习，得到高精度的实例分割模型；
S22.基于语义分割算法分析场景图片；
在计算机视觉领域通常将一张图片的坐上角像素位置设为零点，并设定水平方向为X轴，向右为正方向，垂直方向为Y轴，向下为正方向建立坐标系；像素点坐标系通常使用该坐标系，使用像素坐标系对各个像素点进行定位和操作；
S221.图像左上角的像素点坐标为(0,0)，设定水平方向为X轴，向右为正方向，垂直方向为Y轴，向下为正方向建立坐标系；
S222.实例分割模型将相同类别的地面真值区域以及道路交通目标以相同的颜色进行标记，不同类别则颜色不同；
S223.基于KLT算法对地面区域进行目标跟踪，相同类别的不同地面区域标记不同的UID进行区分；
S224.对于每个独立的地面区域，将区域内所有像素点坐标作为输入，以一元一次方程进行线性回归，每个区域得到的一元一次方程和UID一一对应绑定；
S3.判断场景中的道路隔离带；
S31.输入图像，初始化像素坐标X，Y及各个地面区域为隔离带的概率p，其中p值和区域UID绑定；
具体的，图像分辨率为1920*1080，其中图像宽为1920，高为1080。
S32.以左上角像素为起始点，将像素所属的地面区域信息和对应UID保存至临时列表；
S33.处理下一个像素信息，按照X轴正方向顺序将像素点所属地面区域和对应UID以UID作为key值保存至字典数据结构中，根据实际输入的图像尺寸，当X坐标大于等于图像宽度最大值时，切换到下一行像素点进行处理，同时更新字典为空；
S34.当列表中有新的像素信息加入时，检查新加入的像素点是否属于公路区域类别，若属于执行S35，否则执行S33；
S35.检查历史像素信息中是否存在属于不同UID公路区域像素点，若存在则执行S36，否则执行S33；
S36.检查两个不同UID公路区域像素点间是否包含其他类别地面区域像素，若存在则将地面区域为隔离带的概率值p增加1直到检索下一行像素前地面区域的概率p保持不变，否则执行S33；
S37.检查是否存在地面区域为隔离带的概率值大于或等于60，如果存在，则输出地面区域及UID，输出地面区域为隔离带区域，若存在下个像素点执行S33，否则结束；
S4.分析行人是否有翻越隔离带行为；
具体的，当地面区域中没有物体进入，其区域面积不会受到遮挡，故其所有像素点回归得到的方程式也不会发生变化（参照图2中的a），当地面区域部分受到遮挡时，整个地面区域回归的到的方程式会发生微小的变化，通过设置线性回归方程式可以接受的斜率变化区间降低行人违规翻越隔离带事件的误报频率（参照图2中的b），因此，设置一元一次方程（y =a*x）的斜率变化a在±0.1区间为可接受的隔离带区域线性回归方程变化容忍区间。该区间可以根据实际应用场景进行调整。
S41.以一元一次方程y=a*x作为线性回归方程，将每个地面区域的所包含的像素坐标信息作为输入，对每个地面区域进行回归计算，得出的回归方程式与UID绑定；
S42.设定斜率阈值，判断地面区域的斜率变化是否超出斜率阈值，当超出斜率阈值时记录隔离带区域UID，斜率阈值范围为±0.1；
S43.将UID作为key值将区域信息保存至字典数据结构中；
S44.逐个检索字典数据结构中UID区域像素点是否有行人像素相邻，若有隔离带区域与行人像素相邻，则判断发生行人违规翻越护栏行为，否则返回不存在行人违规翻越护栏行为。
S5.将行人违规翻越护栏行为发送至周边边缘端设备，方法是：包括以下步骤：
S51.将行人违规翻越护栏行为进行数据结构化处理，输出报文信息；
S52.捕获行人违规翻越护栏行为的当前图片，并保存；
S52.通过https将报文数据和行人违规翻越护栏行为的图片发送到周边边缘端设备实时展示，将边缘计算网关作为https的客户端负责发送数据，其他边缘端设备作为https服务器负责接收和存储信息；
具体的，通过https将报文数据和行人违规翻越护栏行为的图片发送到周边边缘端设备实时展示的方法是：
联动附近的广播设备发送制止翻越隔离带的警报音频，对翻越隔离带的违规行为进行及时制止；
或者将违规翻越隔离带的行为人照片和信息在智慧道路信息屏等设备中进行展示，能够对其他行人起到有效的警示作用，也能对违规人起到有效的批评作用。
S53.边缘计算网关发送失败，采用缓存机制，将发送失败的数据保存在本地，在其它时间进行重新发送。
具体的，捕获行人违规翻越护栏行为的当前图片通过截图功能进行获取；
具体的，截图图片命名规则为：翻越隔离带_违规类型_时间.jpg；
具体的，报文信息包括边缘计算网关设备编码、违规类型、32位数据唯一标识符、数据时间、截图捕获的图片名称和位置信息；
报文信息的字段为：{
"id": "xxxx",
"type": "1",
"uuid": "0kz5jlizotnlov2amct7fd4jl3s4kqza",
"time": "20210313155853",
"pictureName":"翻越隔离带_01_20210313155853.jpg",
"position":"xxx"
}
字段说明：
字段id，含义为：边缘计算网关设备编码；字段type，含义为：违规类型；字段uuid，含义为：32位数据唯一标识符；字段time，含义为：数据时间；字段pictureName，含义为：截图捕获的图片名称；字段position，含义为：位置信息；
违规行驶类型编码为：code（01），name（翻越隔离带）；
例如：2021年3月13日15时58分53秒检测到逆行类的违规行驶行为：
图片命名为：翻越隔离带_01_20210313155853.jpg。
实施例2、本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的一种实时展示行人违规翻越道路隔离带方法的步骤。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
实施例3、计算机可读存储介质实施例
本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的一种实时展示行人违规翻越道路隔离带方法的步骤。
所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
Claims (8)
1.一种实时展示行人违规翻越道路隔离带方法，其特征在于，包括以下步骤：
S1.采集道路视频流信息，对视频流信息进行图像处理；
S2.获取图像中不同物体和行人的实例分割信息；
S3.判断场景中的道路隔离带；
S31.初始化像素坐标X，Y及各个地面区域为隔离带的概率p，其中p值和区域UID绑定；
S32.以左上角像素为起始点，将像素所属的地面区域信息和对应UID保存至临时列表；
S33.处理下一个像素信息，按照X轴正方向顺序将像素点所属地面区域和对应UID以UID作为key值保存至字典数据结构中，根据实际输入的图像尺寸，当X坐标大于等于图像宽度最大值时，切换到下一行像素点进行处理，同时更新字典为空；
S34.当列表中有新的像素信息加入时，检查新加入的像素点是否属于公路区域类别，若属于执行S35，否则执行S33；
S35.检查历史像素信息中是否存在属于不同UID公路区域像素点，若存在则执行S36，否则执行S33；
S36.检查两个不同UID公路区域像素点间是否包含其他类别地面区域像素，若存在则将地面区域为隔离带的概率值p增加1直到检索下一行像素前地面区域的概率p保持不变，否则执行S33；
S37.检查是否存在地面区域为隔离带的概率值大于或等于60，如果存在，则输出地面区域及UID，输出地面区域为隔离带区域，若存在下个像素点执行S33，否则结束；
S4.分析行人是否有翻越隔离带的行为；
S5.将行人违规翻越护栏行为发送至周边边缘端设备，方法是：包括以下步骤：
S51.将行人违规翻越护栏行为进行数据结构化处理，输出报文信息；
S52.捕获行人违规翻越护栏行为的当前图片，并保存；
S52.通过https将报文数据和行人违规翻越护栏行为的图片发送到周边边缘端设备实时展示，将边缘计算网关作为https的客户端负责发送数据，其他边缘端设备作为https服务器负责接收和存储信息；
S53.边缘计算网关发送失败，采用缓存机制，将发送失败的数据保存在本地，在其它时间进行重新发送。
2.根据权利要求1所述的一种实时展示行人违规翻越道路隔离带方法，其特征在于，采集道路视频流信息，对视频流信息进行图像处理的方法，包括以下步骤：
S11.接入摄像头视频流信息：使用RJ45以太网网线将摄像头和边缘计算网关的网络接口进行连接，通过RTSP视频流地址的方式接入摄像头采集的实时视频流信息；
S12.视频解码：将原始视频解码成统一RGB格式的单帧图片；
S13.视频预处理：对单帧图片进行颜色空间的转换和图像滤波去噪处理。
3.根据权利要求2所述的一种实时展示行人违规翻越道路隔离带方法，其特征在于，获取图像中不同物体和行人的实例分割信息的方法，包括以下步骤：
S21.构建交通场景实例分割数据集并训练模型权重；
S22.基于语义分割算法分析场景图片。
4.根据权利要求3所述的一种实时展示行人违规翻越道路隔离带方法，其特征在于，构建交通场景实例分割数据集并训练模型权重的方法，包括以下步骤：
S211.获取交通监控视场景下的图片，以png格式保存到本地文件夹image_2下，其中图片的分辨率为1920*1080；
S212.使用标注工具Labelme对预处理后的图片集进行标注，针对道路交通目标以及斑马线进行实例分割标注，实例分割标签格式参考cityscapes数据集；精细标注不同地面区域的真值信息，其中地面区域包括马路和人行道；
S213.将对应场景图片的地面区域真值文件和交通参与目标的实例分割标签文件保存到label_2文件夹下；
S214.将数据分为训练集和测试集；随机抽取image_2文件夹中80%的图片作为训练集放入training文件夹，剩下的20%则为测试集放入testing文件夹，然后将数据集打包放到高性能GPU服务器中深度学习模型训练环境的相应目录下；
S215.用SOLOv2实例分割算法，使用预训练模型在标注完成数据集条件下进行迁移学习，得到高精度的实例分割模型。
5.根据权利要求4所述的一种实时展示行人违规翻越道路隔离带方法，其特征在于，基于语义分割算法分析场景图片的方法，包括以下步骤：
S221.图像左上角的像素点坐标为(0,0)，设定水平方向为X轴，向右为正方向，垂直方向为Y轴，向下为正方向建立坐标系；
S222.实例分割模型将相同类别的地面真值区域以及道路交通目标以相同的颜色进行标记，不同类别则颜色不同；
S223.基于KLT算法对地面区域进行目标跟踪，相同类别的不同地面区域标记不同的UID进行区分；
S224.对于每个独立的地面区域，将区域内所有像素点坐标作为输入，以一元一次方程进行线性回归，每个区域得到的一元一次方程和UID一一对应绑定。
6.根据权利要求5所述的一种实时展示行人违规翻越道路隔离带方法，其特征在于，分析行人是否有翻越隔离带行为的方法，包括以下步骤：
S41.以一元一次方程y=a*x作为线性回归方程，将每个地面区域的所包含的像素坐标信息作为输入，对每个地面区域进行回归计算，得出的回归方程式与UID绑定；
S42.设定斜率阈值，判断地面区域的斜率变化是否超出斜率阈值，当超出斜率阈值时记录隔离带区域UID，斜率阈值范围为±0.1；
S43.将UID作为key值将区域信息保存至字典数据结构中；
S44.逐个检索字典数据结构中UID区域像素点是否有行人像素相邻，若有隔离带区域与行人像素相邻，则判断发生行人违规翻越护栏行为，否则返回不存在行人违规翻越护栏行为。
7.一种电子设备，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1-6任一项所述的一种实时展示行人违规翻越道路隔离带方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的一种实时展示行人违规翻越道路隔离带方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311228254.4A CN116977906B (zh) | 2023-09-22 | 2023-09-22 | 一种实时展示行人违规翻越道路隔离带方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311228254.4A CN116977906B (zh) | 2023-09-22 | 2023-09-22 | 一种实时展示行人违规翻越道路隔离带方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116977906A CN116977906A (zh) | 2023-10-31 |
| CN116977906B true CN116977906B (zh) | 2023-12-26 |
Family
ID=88471628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311228254.4A Active CN116977906B (zh) | 2023-09-22 | 2023-09-22 | 一种实时展示行人违规翻越道路隔离带方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116977906B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289660A (zh) * | 2011-07-26 | 2011-12-21 | 华南理工大学 | 一种基于手部姿态跟踪的违规驾驶行为检测方法 |
| CN102592143A (zh) * | 2012-01-09 | 2012-07-18 | 清华大学 | 一种驾驶员行车中手持电话违规行为检测方法 |
| CN102867175A (zh) * | 2012-08-31 | 2013-01-09 | 浙江捷尚视觉科技有限公司 | 一种基于立体视觉的atm机行为分析方法 |
| CN110717433A (zh) * | 2019-09-30 | 2020-01-21 | 华中科技大学 | 一种基于深度学习的交通违规分析方法及装置 |
| CN111179345A (zh) * | 2019-12-27 | 2020-05-19 | 大连海事大学 | 基于车载机器视觉的前方车辆越线违章行为自动检测方法及系统 |
| CN114332159A (zh) * | 2021-12-21 | 2022-04-12 | 山东省水利科学研究院 | 一种基于目标追踪算法的行人违规翻越护栏的预警方法、系统、装置以及存储介质 |
-
2023
- 2023-09-22 CN CN202311228254.4A patent/CN116977906B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289660A (zh) * | 2011-07-26 | 2011-12-21 | 华南理工大学 | 一种基于手部姿态跟踪的违规驾驶行为检测方法 |
| CN102592143A (zh) * | 2012-01-09 | 2012-07-18 | 清华大学 | 一种驾驶员行车中手持电话违规行为检测方法 |
| CN102867175A (zh) * | 2012-08-31 | 2013-01-09 | 浙江捷尚视觉科技有限公司 | 一种基于立体视觉的atm机行为分析方法 |
| CN110717433A (zh) * | 2019-09-30 | 2020-01-21 | 华中科技大学 | 一种基于深度学习的交通违规分析方法及装置 |
| CN111179345A (zh) * | 2019-12-27 | 2020-05-19 | 大连海事大学 | 基于车载机器视觉的前方车辆越线违章行为自动检测方法及系统 |
| CN114332159A (zh) * | 2021-12-21 | 2022-04-12 | 山东省水利科学研究院 | 一种基于目标追踪算法的行人违规翻越护栏的预警方法、系统、装置以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116977906A (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110390262B (zh) | 视频分析方法、装置、服务器及存储介质 | |
| DE112013001858B4 (de) | Mehrfachhinweis-Objekterkennung und -Analyse | |
| CN112163543A (zh) | 一种车辆违法占道的检测方法及系统 | |
| Shobayo et al. | Development of smart plate number recognition system for fast cars with web application | |
| CN110135356A (zh) | 违章停车的检测方法及装置、电子设备、计算机可读介质 | |
| CN112084892B (zh) | 一种道路异常事件检测管理装置及其方法 | |
| CN110909699A (zh) | 视频车辆非导向行驶检测方法、装置及可读存储介质 | |
| CN107590236A (zh) | 一种面向建筑施工企业的大数据采集方法和系统 | |
| CN114332776A (zh) | 非机动车占用人行道检测方法、系统、设备及存储介质 | |
| CN110379162B (zh) | 车辆违章监测方法、装置、设备及计算机可读存储介质 | |
| CN110782653A (zh) | 一种道路信息采集方法和系统 | |
| CN116977906B (zh) | 一种实时展示行人违规翻越道路隔离带方法 | |
| CN108446330B (zh) | 一种推广对象处理方法、装置及一种计算机可读存储介质 | |
| CN111881786B (zh) | 门店经营行为管理方法、装置及存储介质 | |
| CN116229396B (zh) | 高速路面病害识别及告警方法 | |
| CN112528901A (zh) | 一种基于大数据的车辆聚集告警方法及系统 | |
| CN117095335A (zh) | 一种行人违规翻越道路隔离带检测方法 | |
| CN113158852B (zh) | 一种基于人脸与非机动车协同识别的交通卡口监控系统 | |
| KR102435435B1 (ko) | 인공지능 기반 차량번호 및 보행자 검색 시스템 및 방법 | |
| CN114418950A (zh) | 道路病害检测方法、装置、设备及存储介质 | |
| Liang et al. | [Retracted] Vehicle Detection Algorithm Based on Embedded Video Image Processing in the Background of Information Technology | |
| CN113378845A (zh) | 一种场景分割方法、装置、设备及存储介质 | |
| CN114511825A (zh) | 一种区域占用检测方法、装置、设备及存储介质 | |
| CN113239718A (zh) | 一种校园人流量统计方法 | |
| CN110866081B (zh) | 一种基于互联网地图的路况拥堵分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |