CN114648718A - 道路占道检测方法、系统、电子设备及可读存储介质 - Google Patents
道路占道检测方法、系统、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN114648718A CN114648718A CN202210313238.4A CN202210313238A CN114648718A CN 114648718 A CN114648718 A CN 114648718A CN 202210313238 A CN202210313238 A CN 202210313238A CN 114648718 A CN114648718 A CN 114648718A
- Authority
- CN
- China
- Prior art keywords
- road
- image
- detected
- target
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000011218 segmentation Effects 0.000 claims abstract description 39
- 230000006399 behavior Effects 0.000 claims description 40
- 230000008859 change Effects 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 10
- 230000001133 acceleration Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 abstract description 8
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 235000021168 barbecue Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及图像检测技术领域，公开了一种道路占道检测方法、系统、电子设备及可读存储介质，该方法获取目标道路对应的一个或多个原始图像，根据原始图像对目标道路进行区域分割，得到目标道路对应的道路分布区域，基于原始图像和预设的基准图像之间的比对结果从道路分布区域中确定待测占道区域，根据原始图像确定待测占道区域对应的待测占道图像，对待测占道图像内的目标对象进行检测，根据目标对象的检测结果判断目标道路是否存在违规占道行为，结合图像分割和图像检测对目标道路是否存在违规占道行为进行检测，相较于单一检测方法，提高道路占道行为检测的准确率。
Description
技术领域
本发明涉及图像检测技术领域，尤其涉及一种道路占道检测方法、系统、电子设备及可读存储介质。
背景技术
目前，随着经济社会的快速发展，人民对生活环境要求不断提高。但是，随着经济发展，城市道路占道经营、占道堆物、跨店经营等道路占道现象仅靠人工巡检的方式无法高效治理，使得路占道现象层出不穷、屡禁不止，阻碍城市文明程度和居民生活质量的进步，成为城市市容管理卫生管理的一大顽疾。
为了提高道路占道的巡查效率、发展自动化城市管理技术，通过图像检测进行道路占道行为检测应运而生。但是由于道路实际监控场景复杂多变，存在环境变化快、变化大、环境复杂、遮挡多等多种监控难点，使得视频静态图像检测、图像比对、动态帧行为识别等图像检测方法检测道路占道行为检测依据单一，存在误漏检较多、鲁棒性不足等问题，识别准确率较低。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
鉴于以上所述现有技术的缺点，本发明公开了一种道路占道检测方法、系统、电子设备及可读存储介质，结合图像分割和图像检测对道路占道行为进行检测，提高道路占道行为检测的准确率。
本发明公开了一种道路占道检测方法，包括：获取目标道路对应的一个或多个原始图像，根据所述原始图像对所述目标道路进行区域分割，得到所述目标道路对应的道路分布区域；基于所述原始图像和预设的基准图像之间的比对结果从所述道路分布区域中确定待测占道区域，根据所述原始图像确定所述待测占道区域对应的待测占道图像；对所述待测占道图像内的目标对象进行检测，根据所述目标对象的检测结果判断所述目标道路是否存在违规占道行为。
可选地，基于所述原始图像和预设的基准图像之间的比对结果从所述道路分布区域中确定待测占道区域，包括：基于所述原始图像和所述基准图像之间的比对结果判断所述道路分布区域是否发生变化；将发生变化的道路分布区域确定为道路变化区域，确定所述道路变化区域对应的道路变化时长；将所述道路变化时长大于或等于预设时长阈值的道路变化区域确定为待测占道区域。
可选地，根据所述原始图像确定所述待测占道区域对应的待测占道图像，包括：基于连通区域检测，从所述原始图像中提取所述待测占道区域对应的道路区域图像；将所述道路区域图像在所述原始图像中的最小外接矩阵区域图像确定为第一备选图像，将所述第一备选图像对应的原始图像确定为第二备选图像；将所述第一备选图像和/或所述第二备选图像确定为所述待测占道区域对应的待测占道图像。
可选地，根据所述目标对象的检测结果判断所述目标道路是否存在违规占道行为，包括：根据所述检测结果判断所述待测占道图像中是否存在所述目标对象；若所述待测占道图像中存在所述目标对象，则确定所述目标道路存在违规占道行为；若所述待测占道图像中不存在所述目标对象，则确定所述目标道路为正常状态。
可选地，通过以下方式获取原始图像：获取目标道路对应的采集视频流，所述采集视频流包括多个采集图像帧；从所述采集图像帧中抽取所述目标道路对应的原始图像。
可选地，根据所述原始图像对所述目标道路进行区域分割，得到所述目标道路对应的道路分布区域，包括：将所述原始图像输入道路分割模型，所述道路分割模型输出所述原始图像对应的区域分割图像，其中，所述道路分割模型通过带有道路区域标签的道路样本图像对神经网络模型训练得到；根据所述区域分割图像确定所述目标道路对应的道路分布区域。
可选地，该方法还包括以下至少一种：对所述道路样本图像进行数据处理，所述数据处理包括随机Crop、添加随机噪声、随机亮度变化中的至少一种；对所述道路分割模型集成模型加速工具。
本发明公开了一种道路占道检测系统，包括：获取模块，用于获取目标道路对应的一个或多个原始图像，根据所述原始图像对所述目标道路进行区域分割，得到所述目标道路对应的道路分布区域；确定模块，用于基于所述原始图像和预设的基准图像之间的比对结果从所述道路分布区域中确定待测占道区域，根据所述原始图像确定所述待测占道区域对应的待测占道图像；检测模块，用于对所述待测占道图像内的目标对象进行检测，根据所述目标对象的检测结果判断所述目标道路是否存在违规占道行为
本发明公开了一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述的方法。
本发明公开了一种计算机可读存储介质，其上存储有计算机程序：所述计算机程序被处理器执行时实现上述的方法。
本发明的有益效果：
获取目标道路对应的一个或多个原始图像，根据原始图像对目标道路进行区域分割，得到目标道路对应的道路分布区域，基于原始图像和预设的基准图像之间的比对结果从道路分布区域中确定待测占道区域，根据原始图像确定待测占道区域对应的待测占道图像，对待测占道图像内的目标对象进行检测，根据目标对象的检测结果判断目标道路是否存在违规占道行为。这样，结合图像分割和图像检测对目标道路是否存在违规占道行为进行检测，相较于单一检测方法，提高道路占道行为检测的准确率，同时，能够满足更多复杂场景。
附图说明
图1是本发明实施例中一个道路占道检测方法的流程示意图；
图2是本发明实施例中另一个道路占道检测方法的流程示意图；
图3是本发明实施例中一个道路占道检测系统的结构示意图；
图4是本发明实施例中一个电子设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的子样本可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
结合图1所示，本公开实施例提供了一种道路占道检测方法，包括：
步骤S101，获取目标道路对应的一个或多个原始图像，根据原始图像对目标道路进行区域分割，得到目标道路对应的道路分布区域；
步骤S102，基于原始图像和预设的基准图像之间的比对结果从道路分布区域中确定待测占道区域，根据原始图像确定待测占道区域对应的待测占道图像；
步骤S103，对待测占道图像内的目标对象进行检测，根据目标对象的检测结果判断目标道路是否存在违规占道行为。
采用本公开实施例提供的道路占道检测方法，获取目标道路对应的一个或多个原始图像，根据原始图像对目标道路进行区域分割，得到目标道路对应的道路分布区域，基于原始图像和预设的基准图像之间的比对结果从道路分布区域中确定待测占道区域，根据原始图像确定待测占道区域对应的待测占道图像，对待测占道图像内的目标对象进行检测，根据目标对象的检测结果判断目标道路是否存在违规占道行为。这样，结合图像分割和图像检测对目标道路是否存在违规占道行为进行检测，相较于单一检测方法，提高道路占道行为检测的准确率，同时，提升了场景适应性，满足更多复杂场景，进而减少部署配置需求，提升占道事件的召回率。
可选地，通过以下方式获取原始图像：获取目标道路对应的采集视频流，采集视频流包括多个采集图像帧；从采集图像帧中抽取目标道路对应的原始图像。
可选地，获取目标道路对应的采集视频流，包括：通过前端设备采集目标道路对应的采集视频流，其中，前端设备包括IPC(IP CAMERA，网络摄像头)、NVR(Network VideoRecorder，网络视频录像机)等采集设备。
在一些实施例汇总，选定目标街道的前端设备点位，配置监控兴趣区域，将前端设备点位的视频图片流接入用于实施道路占道检测方法的电子设备，进而实现街道路面占用的实时监控和告警。
可选地，从采集图像帧中抽取目标道路对应的原始图像，包括：对采集图像帧进行随机抽样，得到目标道路对应的原始图像。
在一些实施例中，从前端设备获取目标道路的视频图片流后，对视频图片流进行抽样分析。
可选地，根据原始图像对目标道路进行区域分割，得到目标道路对应的道路分布区域，包括：将原始图像输入道路分割模型，道路分割模型输出原始图像对应的区域分割图像，其中，道路分割模型通过带有道路区域标签的道路样本图像对神经网络模型训练得到；根据区域分割图像确定目标道路对应的道路分布区域。
可选地，道路区域标签包括人行道、斑马线、水泥路、石板路等道路类别中的一种或多种。
可选地，区域分割图像用于表征目标道路的分布情况，根据区域分割图像确定目标道路对应的道路分布区域，包括：根据区域分割图像生成道路分布记录，道路分布记录用于表征目标道路中各道路分布区域与时间之间的关系。
在一些实施例中，采集10万张不同的道路监控图片，标注出图片中所有的道路路面区域，其它区域看做背景，均匀的将数据集按9:1的比例分为训练集和验证集，即训练集9万，验证集1万；利用PyTorch(基于Torch的Python机器学习库)、TensorFlow(基于数据流编程的符号数学系统)或其它深度学习框架构建DeepLab v3图像分割模型结构，并利用已标注的道路路面分割数据集训练前述模型；可对训练集采用随机Crop(裁剪)、添加随机噪声、随机亮度变化数据增强等操作；训练时，采用Adam优化算法，学习率设为1e-5，batch(训练组)大小设为32，最大训练轮次设为100，停止条件设为连续20轮训练未获得更低验证集损失值；训练完成后获得道路分割模型。
可选地，该方法还包括：对道路样本图像进行数据处理，数据处理包括随机Crop、添加随机噪声、随机亮度变化中的至少一种。
可选地，该方法还包括：对道路分割模型集成模型加速工具。
在一些实施例中，模型加速工具包括TensorRT(一种神经网络推理引擎)。
可选地，基于原始图像和预设的基准图像之间的比对结果从道路分布区域中确定待测占道区域，包括：基于原始图像和基准图像之间的比对结果判断道路分布区域是否发生变化；将发生变化的道路分布区域确定为道路变化区域，确定道路变化区域对应的道路变化时长；将道路变化时长大于或等于预设时长阈值的道路变化区域确定为待测占道区域。
在一些实施例中，通过SSIM算法实现图像比对。
在一些实施例中，预设时长阈值包括1-24小时。
可选地，基于原始图像和预设的基准图像之间的比对结果从道路分布区域中确定待测占道区域，包括：根据原始图像和基准图像之间的比对结果确定各原始图像与基准图像之间的道路分布差异，并基于道路分布记录生成道路变化记录，其中，道路变化记录用于表征目标道路中各道路分布区域随时间的变化情况；根据预设时长阈值从道路变化记录中筛选出符合变化时长的道路分布区域，得到待测占道区域。这样，利用长时多次检测所得的时空记录，更准确的判断占道事件。
可选地，根据原始图像确定待测占道区域对应的待测占道图像，包括：基于连通区域检测，从原始图像中提取待测占道区域对应的道路区域图像；将道路区域图像在原始图像中的最小外接矩阵区域图像确定为第一备选图像，将第一备选图像对应的原始图像确定为第二备选图像；将第一备选图像和/或第二备选图像确定为待测占道区域对应的待测占道图像。
可选地，待测占道区域和道路区域图像均为一个或多个。
可选地，对待测占道图像内的目标对象进行检测，包括：通过目标对象检测模型对待测占道图像内的目标对象进行检测，其中，目标对象检测模型通过带有目标对象标签的占道样本图像训练得到。
在一些实施例中，目标对象包括桌子、椅子、板凳、纸箱、矿泉水箱、烧烤架、广告牌、汽车、摩托车、自行车、电瓶车等违规物品中的一种或多种。
在一些实施例中，采集20万张包含违规物品的占道样本图像，可根据应用需求添加删除物品种类；生成占道样本图像的目标对象标签，目标对象标签用于表征占道样本图像中违规物品的位置、大小和类别；均匀的将占道样本图像按9:1的比例分为训练集和验证集，即训练集18万，验证集2万；对训练集采用随机Crop、添加随机噪声、随机亮度变化等数据增强操作；利用PyTorch、TensorFlow或其它深度学习框架构建YOLO v3图像检测模型结构，并利用训练集训练前述模型；采用Adam优化算法，学习率设为1e-4，batch大小设为128，最大训练轮次设为100，停止条件设为连续20轮训练未获得更低验证集损失值；训练完成后获得目标对象检测模型。
可选地，对待测占道图像内的目标对象进行检测，包括：若待测占道图像包括第二备选图像，则根据该第二备选图像对应的第一备选图像对该第二备选图像对应的检测结果进行筛选，以去除第一备选图像之外的检测结果。
可选地，根据目标对象的检测结果判断目标道路是否存在违规占道行为，包括：根据检测结果判断待测占道图像中是否存在目标对象；若待测占道图像中存在目标对象，则确定目标道路存在违规占道行为；若待测占道图像中不存在目标对象，则确定目标道路为正常状态。这样，基于占道物品检测模型对占道区域做二次确认，提升准确率，减少误报。
可选地，根据目标对象的检测结果判断目标道路是否存在违规占道行为之后，该方法还包括：若存在违规占道行为，则上传违规占道行为对应的原始图像至预设服务器，并进行告警。
结合图2所示，本公开实施例提供了一种道路占道检测方法，包括：
步骤S201，获取目标道路对应的采集视频流；
其中，采集视频流包括多个采集图像帧；
步骤S202，从采集图像帧中抽取目标道路对应的原始图像；
步骤S203，根据原始图像对目标道路进行区域分割，得到目标道路对应的道路分布区域；
步骤S204，基于原始图像和基准图像之间的比对结果判断道路分布区域是否发生变化，若是，跳转步骤S205，若否，跳转步骤S210；
步骤S205，将发生变化的道路分布区域确定为道路变化区域，确定道路变化区域对应的道路变化时长；
步骤S206，将道路变化时长大于或等于预设时长阈值的道路变化区域确定为待测占道区域；
步骤S207，基于连通区域检测，从原始图像中提取待测占道区域对应的道路区域图像；
步骤S208，对待测占道图像内的目标对象进行检测，判断待测占道图像中是否存在目标对象，若是，跳转到步骤S209，若否，跳转到步骤S210；
其中，待测占道图像包括第一备选图像和/或第二备选图像，第一备选图像包括道路区域图像在原始图像中的最小外接矩阵区域图像，第二备选图像包括第一备选图像对应的原始图像；
步骤S209，目标道路存在违规占道行为。
步骤S210，目标道路不存在违规占道行为。
目前，通过累加机制连续检测分析同一摊位的方法检测摊位占道行为，由于摊位目标图像类型广泛、难以定义特征，导致召回率低、场景适应性低下；使用门店模板图像与监控区域的图像对比判断是否存在占道经营，由于需要为每个待监控点位配置模板图像且要经过精心的调制，导致场景适应性差、需要大规模使用部署、维护成本高；通过构建卷积神经网络得到门店位置和经营行为类别，由于仅通过静态单帧图像获得违规经营的判断方式不够鲁棒，导致检测准确率较低。而采用本公开实施例提供的道路占道检测方法，获取目标道路对应的一个或多个原始图像，根据原始图像对目标道路进行区域分割，得到目标道路对应的道路分布区域，基于原始图像和预设的基准图像之间的比对结果从道路分布区域中确定待测占道区域，根据原始图像确定待测占道区域对应的待测占道图像，对待测占道图像内的目标对象进行检测，根据目标对象的检测结果判断目标道路是否存在违规占道行为。这样，结合图像分割和图像检测对目标道路是否存在违规占道行为进行检测，相较于单一检测方法，提高道路占道行为检测的准确率，同时，提升了场景适应性，满足更多复杂场景，进而减少部署配置需求，提升占道事件的召回率，更具有鲁棒性。
结合图3所示，本公开实施例提供了一种道路占道检测系统，包括获取模块301、确定模块302和检测模块303。获取模块用于获取目标道路对应的一个或多个原始图像，根据原始图像对目标道路进行区域分割，得到目标道路对应的道路分布区域。确定模块用于基于原始图像和预设的基准图像之间的比对结果从道路分布区域中确定待测占道区域，根据原始图像确定待测占道区域对应的待测占道图像。检测模块用于对待测占道图像内的目标对象进行检测，根据目标对象的检测结果判断目标道路是否存在违规占道行为。
采用本公开实施例提供的道路占道检测方法，获取目标道路对应的一个或多个原始图像，根据原始图像对目标道路进行区域分割，得到目标道路对应的道路分布区域，基于原始图像和预设的基准图像之间的比对结果从道路分布区域中确定待测占道区域，根据原始图像确定待测占道区域对应的待测占道图像，对待测占道图像内的目标对象进行检测，根据目标对象的检测结果判断目标道路是否存在违规占道行为。这样，结合图像分割和图像检测对目标道路是否存在违规占道行为进行检测，相较于单一检测方法，提高道路占道行为检测的准确率，同时，提升了场景适应性，满足更多复杂场景，进而减少部署配置需求，提升占道事件的召回率。
结合图4所示，本公开实施例提供了一种电子设备，包括：处理器(processor)400及存储器(memory)401；存储器用于存储计算机程序，处理器用于执行存储器存储的计算机程序，以使终端执行本实施例中任一项方法。可选地，该电子设备还可以包括通信接口(Communication Interface)402和总线403。其中，处理器400、通信接口402、存储器401可以通过总线403完成相互间的通信。通信接口402可以用于信息传输。处理器400可以调用存储器401中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器401中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器401作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器400通过运行存储在存储器401中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器401可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器401可以包括高速随机存取存储器，还可以包括非说易失性存储器。
采用本公开实施例提供的电子设备，获取目标道路对应的一个或多个原始图像，根据原始图像对目标道路进行区域分割，得到目标道路对应的道路分布区域，基于原始图像和预设的基准图像之间的比对结果从道路分布区域中确定待测占道区域，根据原始图像确定待测占道区域对应的待测占道图像，对待测占道图像内的目标对象进行检测，根据目标对象的检测结果判断目标道路是否存在违规占道行为。这样，结合图像分割和图像检测对目标道路是否存在违规占道行为进行检测，相较于单一检测方法，提高道路占道行为检测的准确率，同时，提升了场景适应性，满足更多复杂场景，进而减少部署配置需求，提升占道事件的召回率。
本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本公开实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例公开的电子设备，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子设备执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、图形处理器(Graphics Processing Unit，简称GPU)，网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和子样本可以被包括在或替换其他实施例的部分和子样本。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的子样本、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它子样本、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以当前前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些子样本可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
Claims (10)
1.一种道路占道检测方法，其特征在于，包括：
获取目标道路对应的一个或多个原始图像，根据所述原始图像对所述目标道路进行区域分割，得到所述目标道路对应的道路分布区域；
基于所述原始图像和预设的基准图像之间的比对结果从所述道路分布区域中确定待测占道区域，根据所述原始图像确定所述待测占道区域对应的待测占道图像；
对所述待测占道图像内的目标对象进行检测，根据所述目标对象的检测结果判断所述目标道路是否存在违规占道行为。
2.根据权利要求1所述的方法，其特征在于，基于所述原始图像和预设的基准图像之间的比对结果从所述道路分布区域中确定待测占道区域，包括：
基于所述原始图像和所述基准图像之间的比对结果判断所述道路分布区域是否发生变化；
将发生变化的道路分布区域确定为道路变化区域，确定所述道路变化区域对应的道路变化时长；
将所述道路变化时长大于或等于预设时长阈值的道路变化区域确定为待测占道区域。
3.根据权利要求2所述的方法，其特征在于，根据所述原始图像确定所述待测占道区域对应的待测占道图像，包括：
基于连通区域检测，从所述原始图像中提取所述待测占道区域对应的道路区域图像；
将所述道路区域图像在所述原始图像中的最小外接矩阵区域图像确定为第一备选图像，将所述第一备选图像对应的原始图像确定为第二备选图像；
将所述第一备选图像和/或所述第二备选图像确定为所述待测占道区域对应的待测占道图像。
4.根据权利要求3所述的方法，其特征在于，根据所述目标对象的检测结果判断所述目标道路是否存在违规占道行为，包括：
根据所述检测结果判断所述待测占道图像中是否存在所述目标对象；
若所述待测占道图像中存在所述目标对象，则确定所述目标道路存在违规占道行为；
若所述待测占道图像中不存在所述目标对象，则确定所述目标道路为正常状态。
5.根据权利要求4所述的方法，其特征在于，通过以下方式获取原始图像：
获取目标道路对应的采集视频流，所述采集视频流包括多个采集图像帧；
从所述采集图像帧中抽取所述目标道路对应的原始图像。
6.根据权利要求1至5任一项所述的方法，其特征在于，根据所述原始图像对所述目标道路进行区域分割，得到所述目标道路对应的道路分布区域，包括：
将所述原始图像输入道路分割模型，所述道路分割模型输出所述原始图像对应的区域分割图像，其中，所述道路分割模型通过带有道路区域标签的道路样本图像对神经网络模型训练得到；
根据所述区域分割图像确定所述目标道路对应的道路分布区域。
7.根据权利要求6所述的方法，其特征在于，该方法还包括以下至少一种：
对所述道路样本图像进行数据处理，所述数据处理包括随机Crop、添加随机噪声、随机亮度变化中的至少一种；
对所述道路分割模型集成模型加速工具。
8.一种道路占道检测系统，其特征在于，包括：
获取模块，用于获取目标道路对应的一个或多个原始图像，根据所述原始图像对所述目标道路进行区域分割，得到所述目标道路对应的道路分布区域；
确定模块，用于基于所述原始图像和预设的基准图像之间的比对结果从所述道路分布区域中确定待测占道区域，根据所述原始图像确定所述待测占道区域对应的待测占道图像；
检测模块，用于对所述待测占道图像内的目标对象进行检测，根据所述目标对象的检测结果判断所述目标道路是否存在违规占道行为。
9.一种电子设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：
所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210313238.4A CN114648718A (zh) | 2022-03-28 | 2022-03-28 | 道路占道检测方法、系统、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210313238.4A CN114648718A (zh) | 2022-03-28 | 2022-03-28 | 道路占道检测方法、系统、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114648718A true CN114648718A (zh) | 2022-06-21 |
Family
ID=81995157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210313238.4A Pending CN114648718A (zh) | 2022-03-28 | 2022-03-28 | 道路占道检测方法、系统、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114648718A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272984A (zh) * | 2022-09-29 | 2022-11-01 | 江西电信信息产业有限公司 | 占道经营检测方法、系统、计算机及可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443196A (zh) * | 2019-08-05 | 2019-11-12 | 上海天诚比集科技有限公司 | 基于ssim算法的消防占道检测方法 |
| CN113902987A (zh) * | 2021-09-16 | 2022-01-07 | 阿里云计算有限公司 | 群体智能的对象检测方法、存储介质和处理器 |
| CN114155217A (zh) * | 2021-11-26 | 2022-03-08 | 盛视科技股份有限公司 | 基于视觉的违规经营检测方法及系统 |
-
2022
- 2022-03-28 CN CN202210313238.4A patent/CN114648718A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443196A (zh) * | 2019-08-05 | 2019-11-12 | 上海天诚比集科技有限公司 | 基于ssim算法的消防占道检测方法 |
| CN113902987A (zh) * | 2021-09-16 | 2022-01-07 | 阿里云计算有限公司 | 群体智能的对象检测方法、存储介质和处理器 |
| CN114155217A (zh) * | 2021-11-26 | 2022-03-08 | 盛视科技股份有限公司 | 基于视觉的违规经营检测方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272984A (zh) * | 2022-09-29 | 2022-11-01 | 江西电信信息产业有限公司 | 占道经营检测方法、系统、计算机及可读存储介质 |
| CN115272984B (zh) * | 2022-09-29 | 2022-12-20 | 江西电信信息产业有限公司 | 占道经营检测方法、系统、计算机及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110390262B (zh) | 视频分析方法、装置、服务器及存储介质 | |
| CN110136449B (zh) | 基于深度学习的交通视频车辆违停自动识别抓拍的方法 | |
| Kim et al. | Vision-based nonintrusive context documentation for earthmoving productivity simulation | |
| CN109740420B (zh) | 车辆违法识别方法及相关产品 | |
| US8730396B2 (en) | Capturing events of interest by spatio-temporal video analysis | |
| CN111429726B (zh) | 一种监控视频违停车辆检测、管理方法及对应的系统 | |
| Chen et al. | Learning-based spatio-temporal vehicle tracking and indexing for transportation multimedia database systems | |
| KR102035592B1 (ko) | 육안 인식 검사원의 부하경감을 위한 등급별 영상인식 기술을 이용한 cctv 영상내 의심물체 부분검사 지원 시스템 및 방법 | |
| WO2009067798A1 (en) | Analyzing a segment of video | |
| CN110659546B (zh) | 一种违法摊位检测方法及装置 | |
| CN102902960B (zh) | 基于高斯建模与目标轮廓的遗留物检测方法 | |
| CN116647644B (zh) | 基于数字孪生技术的校园交互式监控方法以及系统 | |
| Roy et al. | Defining traffic states using spatio-temporal traffic graphs | |
| CN112766069A (zh) | 基于深度学习的车辆违停检测方法、装置及电子设备 | |
| CN111753612A (zh) | 一种抛洒物检测方法、装置及存储介质 | |
| Tung et al. | Large-scale object detection of images from network cameras in variable ambient lighting conditions | |
| CN113515968A (zh) | 街道的异常事件检测方法、装置、设备及介质 | |
| CN114898297A (zh) | 基于目标检测和目标跟踪的非机动车违法行为判定的方法 | |
| CN114648718A (zh) | 道路占道检测方法、系统、电子设备及可读存储介质 | |
| Kejriwal et al. | Vehicle detection and counting using deep learning basedYOLO and deep SORT algorithm for urban traffic management system | |
| CN117372969B (zh) | 一种面向监控场景的异常事件检测方法 | |
| CN114495514A (zh) | 一种多源数据协同的车辆违规掉头热点区域识别方法 | |
| Sprague et al. | Integrating acceleration signal processing and image segmentation for condition assessment of asphalt roads | |
| CN115294774A (zh) | 基于深度学习的非机动车道路违停检测方法及装置 | |
| Łubkowski et al. | Assessment of quality of identification of data in systems of automatic licence plate recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |