CN116189133A - 道路巡检判定方法及装置 - Google Patents

道路巡检判定方法及装置 Download PDF

Info

Publication number
CN116189133A
CN116189133A CN202310464196.9A CN202310464196A CN116189133A CN 116189133 A CN116189133 A CN 116189133A CN 202310464196 A CN202310464196 A CN 202310464196A CN 116189133 A CN116189133 A CN 116189133A
Authority
CN
China
Prior art keywords
image data
model
reference point
vertex
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310464196.9A
Other languages
English (en)
Other versions
CN116189133B (zh
Inventor
林亦宁
朱逸帆
谢军
景琰忺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shanma Zhijian Technology Co ltd
Yibin Shanma Zhitong Technology Co ltd
Hangzhou Shanma Zhiqing Technology Co Ltd
Shanghai Supremind Intelligent Technology Co Ltd
Original Assignee
Beijing Shanma Zhijian Technology Co ltd
Yibin Shanma Zhitong Technology Co ltd
Hangzhou Shanma Zhiqing Technology Co Ltd
Shanghai Supremind Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shanma Zhijian Technology Co ltd, Yibin Shanma Zhitong Technology Co ltd, Hangzhou Shanma Zhiqing Technology Co Ltd, Shanghai Supremind Intelligent Technology Co Ltd filed Critical Beijing Shanma Zhijian Technology Co ltd
Priority to CN202310464196.9A priority Critical patent/CN116189133B/zh
Publication of CN116189133A publication Critical patent/CN116189133A/zh
Application granted granted Critical
Publication of CN116189133B publication Critical patent/CN116189133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明实施例提供了一种道路巡检判定方法及装置，涉及到道路巡检的技术领域。其方法包括：获取目标对象在目标道路的第一图像数据以及第二图像数据；基于第一图像数据，确定目标对象的第一基准点以及目标对象的第一顶点，并根据第一基准点以及第一顶点确定第一基准点与第一顶点之间的第一间距；基于第二图像数据，确定目标对象的第二基准点以及目标对象的第二顶点，并根据第二基准点以及第二顶点确定第二基准点与第二顶点之间的第二间距；计算第一间距以及第二间距之间的第一差值，在第一差值不满足第一阈值条件的情况下，确定目标道路存在病变情况，解决了道路巡检成本高的问题，达到降低道路巡检成本，提高道路巡检效率的效果。

Description

道路巡检判定方法及装置
技术领域
本发明实施例涉及道路巡检领域，具体而言，涉及一种道路巡检判定方法、装置、存储介质及电子装置。
背景技术
近年来，随着城市道路的不断增多、运营里程和规模快速增长、客运量不断攀升，因而道路也越来越容易出现坑包等病变，这使得道路路面养护难度也越来越大。
现有的技术通常是通过人工巡检的方式进行巡查，或者如公告号为CN112393740B的发明专利（以下简述为专利1）一样直接获取历史数据来确定是否存在坑包，但是，通过人工巡检的方式会极大的增加人工成本，而专利1并未涉及具体的坑包等病变的识别方式，因而并不能实际的解决问题。
发明内容
本发明实施例提供了一种道路巡检判定方法、装置、存储介质及电子装置，以至少解决相关技术中道路坑包识别成本高的问题。
根据本发明的一个实施例，提供了一种道路巡检判定方法，包括：获取目标对象在目标道路的第一图像数据以及第二图像数据，其中，所述第一图像数据包括所述目标对象处于第一时间点的侧面图像，所述第二图像数据包括所述目标处于第二时间点的侧面图像。
基于所述第一图像数据，通过预设的第一模型确定所述目标对象的第一基准点以及所述目标对象的第一顶点，并根据所述第一基准点以及所述第一顶点确定所述第一基准点与所述第一顶点之间的第一间距。
基于所述第二图像数据，通过预设的第二模型确定所述目标对象的第二基准点以及所述目标对象的第二顶点，并根据所述第二基准点以及所述第二顶点确定所述第二基准点与所述第二顶点之间的第二间距。
计算所述第一间距以及所述第二间距之间的第一差值，在所述第一差值不满足第一阈值条件的情况下，确定所述目标道路存在病变情况，其中，所述第一阈值条件包括所述第一差值大于第一阈值且小于第二阈值。
在一个示例性实施例中，所述基于所述第一图像数据，通过预设的第一模型确定所述目标对象的第一基准点包括：通过第一对象分割模型，对所述第一图像数据进行第一分割处理，以得到第一局部图像，其中，所述第一模型包括所述第一对象分割模型。
通过第一对象识别模型对所述第一局部图像进行第一对象识别，以得到第一识别结果，其中，所述第一模型包括所述第一对象识别模型。
在所述第一识别结果为所述第一局部图像为第一对象的情况下，通过基准点提取算法对所述第一对象进行基准点提取处理，以得到所述第一基准点，其中，所述目标对象包括所述第一对象。
在一个示例性实施例中，所述基于所述第一图像数据，通过预设的第一模型确定所述目标对象的第一顶点包括：通过第一对象分割模型，对所述第一图像数据进行第二分割处理，以得到第二局部图像，其中，所述第一模型包括所述第一对象分割模型。
通过第二对象识别模型对所述第二局部图像进行第二对象识别，以得到第二识别结果，其中，所述第一模型包括所述第二对象识别模型。
在所述第二识别结果为所述第二局部图像为第二对象的情况下，基于所述第一基准点确定第一基准线，其中，所述第一基准线包括以所述第一基准点为起点的竖直延长线。
将所述第一基准线与所述第二对象的交点作为所述第一顶点。
在一个示例性实施例中，在所述计算所述第一间距以及所述第二间距之间的第一差值之后，所述方法还包括：获取所述目标道路的目标对象的数量以及不满足所述第一阈值条件的第一差值的数量。
计算所述不满足所述第一阈值条件的第一差值的数量在所述目标对象的数量比例值。
在所述比例值大于第三阈值的情况下，确定所述目标道路存在病变。
在一个示例性实施例中，在所述获取目标对象在目标道路的第一图像数据以及第二图像数据之后，所述方法还包括：通过第三对象识别模型，对所述第一图像数据进行第三对象识别，以确定所述目标对象包含的第三对象的第一像素信息，并对所述第二图像数据进行第四对象识别，以确定所述第三对象的第二像素信息。
对所述第一像素信息以及所述第二像素信息进行比较处理，在所述比较处理结果不满足第三阈值条件的情况下，确定所述目标道路存在病变。
根据本发明的另一个实施例，提供了一种道路巡检判定装置，包括：图像采集模块，用于获取目标对象在目标道路的第一图像数据以及第二图像数据，其中，所述第一图像数据包括所述目标对象处于第一时间点的侧面图像，所述第二图像数据包括所述目标处于第二时间点的侧面图像。
第一间距模块，用于基于所述第一图像数据，通过预设的第一模型确定所述目标对象的第一基准点以及所述目标对象的第一顶点，并根据所述第一基准点以及所述第一顶点确定所述第一基准点与所述第一顶点之间的第一间距。
第二间距模块，用于基于所述第二图像数据，通过预设的第二模型确定所述目标对象的第二基准点以及所述目标对象的第二顶点，并根据所述第二基准点以及所述第二顶点确定所述第二基准点与所述第二顶点之间的第二间距。
病变确定模块，用于计算所述第一间距以及所述第二间距之间的第一差值，在所述第一差值不满足第一阈值条件的情况下，确定所述目标道路存在病变情况，其中，所述第一阈值条件包括所述第一差值大于第一阈值且小于第二阈值。
在一个示例性实施例中，所述第一间距模块包括：第一分割单元，用于通过第一对象分割模型，对所述第一图像数据进行第一分割处理，以得到第一局部图像，其中，所述第一模型包括所述第一对象分割模型。
第一识别单元，用于通过第一对象识别模型对所述第一局部图像进行第一对象识别，以得到第一识别结果，其中，所述第一模型包括所述第一对象识别模型。
第一基准提取单元，用于在所述第一识别结果为所述第一局部图像为第一对象的情况下，通过基准点提取算法对所述第一对象进行基准点提取处理，以得到所述第一基准点，其中，所述目标对象包括所述第一对象。
在一个示例性实施例中，所述第一间距模块包括：第二分割单元，用于通过第一对象分割模型，对所述第一图像数据进行第二分割处理，以得到第二局部图像，其中，所述第一模型包括所述第一对象分割模型。
第二识别单元 ，用于通过第二对象识别模型对所述第二局部图像进行第二对象识别，以得到第二识别结果，其中，所述第一模型包括所述第二对象识别模型。
第一基准单元，用于在所述第二识别结果为所述第二局部图像为第二对象的情况下，基于所述第一基准点确定第一基准线，其中，所述第一基准线包括以所述第一基准点为起点的竖直延长线。
第一顶点单元，用于将所述第一基准线与所述第二对象的交点作为所述第一顶点。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，通过图像识别对目标对象在目标道路的运动状态进行识别，因而可以减少人工巡检带来的高成本以及遗漏，从而提高道路巡检效率，降低道路巡检成本，因此，可以解决道路人工巡检的高成本问题，达到降低道路巡检成本，提高道路巡检效率和精度的效果。
附图说明
图1是本发明实施例的一种道路巡检判定方法的移动终端的硬件结构框图。
图2根据本发明实施例的一种道路巡检判定方法的流程图。
图3是根据本发明具体实施例的原理示意图一。
图4是图3的原理示意简图。
图5是根据本发明具体实施例的原理示意图二。
图6是图5的原理示意简图。
图7是根据本发明具体实施例的原理示意图三。
图8是图7的原理示意简图。
图9是根据本发明实施例的一种道路巡检判定装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种道路巡检判定方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输装置106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种道路巡检判定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种道路巡检判定方法，图2是根据本发明实施例的一种道路巡检判定的流程图，如图2所示，该流程包括如下步骤：步骤S202，获取目标对象在目标道路的第一图像数据以及第二图像数据，其中，所述第一图像数据包括所述目标对象处于第一时间点的侧面图像，所述第二图像数据包括所述目标处于第二时间点的侧面图像。
在本实施例中，相对于正面，侧面图像所反映的车辆运动状态的变化更加明显，例如车轮在经过凹陷时车轴下降或车轮经过突起时车轴上升的变化相较于正面图像更加容易被识别，而正面图像中车辆经过凹陷或突起时的车身变化不明显（通常仅仅发生少量的抬高或下陷，而在车辆悬挂/减震装置的辅助下，车身少量的抬高或下陷会被车辆悬挂所缓解，在图像中变化不大），因而获取侧面图像能够提高车辆对应的道路病变情况的识别效率和精度。
其中，第一图像数据和第二图像数据可以是连续两帧的帧图像，目标对象可以是在目标道路上运动的车辆；第一图像数据和第二图像数据可以是通过设置在道路两侧用于检测车速的测速仪或摄像头采集得。
需要说明的是，为了提高识别精度，第一图像数据和第二图像数据之间的时间间隔不能大于2s，通常取1s的帧图像。
步骤S204，基于所述第一图像数据，通过预设的第一模型确定所述目标对象的第一基准点以及所述目标对象的第一顶点，并根据所述第一基准点以及所述第一顶点确定所述第一基准点与所述第一顶点之间的第一间距。
在本实施例中，如图3-图8所示，在实际场景中，车轮在经过突起（图5-6）或凹陷（图7-8）时，车轴（第一基准点和第二基准点）与车轮拱罩（第一顶点和第二顶点）之间的距离（第一间距和第二间距）相较于正常路段（图3-4）会发生变化，因而此时通过判断车轴与车轮拱罩之间的间距变化即可确定车轮是否经过了突起或凹陷，进而判断是否发生了病变。
其中，第一基准点可以是正常路况下车轴的轴心点，第一顶点为正常路况下弧形或方形的车轮拱罩的最高顶点，第一间距即为正常路况下车轴与车轮拱罩之间的距离。
需要说明的是，第一基准点和第一顶点通常包括其图像坐标信息或雷达坐标信息，在一些场合下，还可以包括GPS坐标信息。
步骤S206，基于所述第二图像数据，通过预设的第二模型确定所述目标对象的第二基准点以及所述目标对象的第二顶点，并根据所述第二基准点以及所述第二顶点确定所述第二基准点与所述第二顶点之间的第二间距。
在本实施例中，第二图像数据可以是车辆经过凹陷或突起时的图像，第二基准点可以是车辆经过凹陷或突起时的车轴的轴心点，第二顶点可以是车辆经过凹陷或突起时弧形或方形的车轮拱罩的最高顶点，第二间距即为车辆经过凹陷或突起时车轴与车轮拱罩之间的距离。
步骤S208，计算所述第一间距以及所述第二间距之间的第一差值，在所述第一差值不满足第一阈值条件的情况下，确定所述目标道路存在病变情况，其中，所述第一阈值条件包括所述第一差值大于第一阈值且小于第二阈值。
在本实施例中，在正常情况下，车辆进行加速或减速时，车轮拱罩与车轴之间的距离也会发生变化，但是这种变化通常较小，且前后轮的变化并不同步（加速时前轮上抬后轮下降，减速时前轮下降后轮上抬），在图像中这种变化通常可以忽略不计；而当经过凹陷或突起时，这种变化则远远超过加速或减速时的变化量，因而此时通过判断第一间距和第二间距的差值即可判断车辆是否运行于正常路面。
其中，第一阈值和第二阈值可以是通过统计车辆运行在正常的目标道路上的间距数据再取其平均值得到的，可以想到的是，不同车辆的第一阈值条件是不同的，且不同车辆的空载/满载情况下的第一阈值条件也是不一样的，因而可以通过大数据技术来对间距数据进行长时间采集和分析计算，此处不再赘述。
通过上述步骤，通过图像识别对道路情况进行识别，由于无需额外增加新的图像采集设备，因而无需增加额外的设备支出，同时图像识别后的道路无需再安排人工进行巡检，因而也可以减少人工支出，并减少人工巡检带来的遗漏和错判，解决了道路巡检成本高的问题，提高了道路巡检效率。
其中，上述步骤的执行主体可以为基站、终端等，但不限于此。
步骤S204和步骤S206的执行顺序是可以互换的，即可以先执行步骤S206，然后再执行S204。
在一个可选的实施例中，所述基于所述第一图像数据，通过预设的第一模型确定所述目标对象的第一基准点包括：步骤S2042，通过第一对象分割模型，对所述第一图像数据进行第一分割处理，以得到第一局部图像，其中，所述第一模型包括所述第一对象分割模型。
步骤S2044，通过第一对象识别模型对所述第一局部图像进行第一对象识别，以得到第一识别结果，其中，所述第一模型包括所述第一对象识别模型。
步骤S2046，在所述第一识别结果为所述第一局部图像为第一对象的情况下，通过基准点提取算法对所述第一对象进行基准点提取处理，以得到所述第一基准点，其中，所述目标对象包括所述第一对象。
在本实施例中，对第一图像数据进行分割是为了减少其他事物的干扰，从而提高后续数据处理的处理精度，也能减少后续数据处理的难度。
其中，第一对象可以是车轮，第一对象分割模型可以（但不限于）是R-CNN系列的模型，如Mark- R-CNN深度学习实例分割模型，第一对象识别模型可以是车辆识别领域常用的yolo系列对象识别模型，如yolo3、yolo5、yolo7等识别模型；基准点提取算法可以是OpenCV圆心提取算法，也可以是基于VFW（Video For Windows）视频处理工具的圆心捕获算法，还可以是其他类型的圆心提取算法。
需要说明的是，选择车轮的圆心是车轮的圆心一般对应于车轴的轴心，且在车辆运动过程中，位置相对固定，容易跟踪，车轴的变化相对容易捕捉识别，从而提高后续数据处理的数据识别精度；容易想到的是，对于第二图像数据，其第二基准点的确定方式可以与此相同，从而减少后台识别处理。
在一个可选的实施例中，所述基于所述第一图像数据，通过预设的第一模型确定所述目标对象的第一顶点包括：步骤S2048，通过第一对象分割模型，对所述第一图像数据进行第二分割处理，以得到第二局部图像，其中，所述第一模型包括所述第一对象分割模型。
步骤S20410，通过第二对象识别模型对所述第二局部图像进行第二对象识别，以得到第二识别结果，其中，所述第一模型包括所述第二对象识别模型。
步骤S20412，在所述第二识别结果为所述第二局部图像为第二对象的情况下，基于所述第一基准点确定第一基准线，其中，所述第一基准线包括以所述第基准点为起点的竖直延长线。
步骤S20414，将所述第一基准线与所述第二对象的交点作为所述第一顶点。
在本实施例中，对第一图像数据进行第二分割处理时为了将车轮拱罩分割出来，从而减少其他事物的干扰。
其中，第二对象可以是车轮拱罩，第二对象分割模型可以（但不限于）是R-CNN系列的模型，如Mark- R-CNN深度学习实例分割模型，第二对象识别模型可以是车辆识别领域常用的yolo系列对象识别模型，如yolo3、yolo5、yolo7等识别模型。
如图3-图8所示，以第一基准点为起点，竖直向上或向下生成第一基准线，再以第一基准点为基准，将第一基准线与分割后的第二对象相交，最先相交得到的点即为第一顶点。
可以想到的是，对于第二图像数据，其第二顶点的确定方法可以与此相同。
在一个可选的实施例中，在所述计算所述第一间距以及所述第二间距之间的第一差值之后，所述方法还包括：步骤S2082，获取所述目标道路的目标对象的数量以及不满足所述第一阈值条件的第一差值的数量。
步骤S2084，计算所述不满足所述第一阈值条件的第一差值的数量在所述目标对象的数量比例值。
步骤S2086，在所述比例值大于第三阈值的情况下，确定所述目标道路存在病变。
在本实施例中，由于一部分车辆的车身颜色与车轮、车轮拱罩的颜色相同（均为深黑或黑灰色），无法进行对象分割和识别，而考虑到此类车辆的数量较少，因而此时可以通过其他颜色分类明显的车辆的运动情况进行辅助判断；在实际运行中发现，当不满足所述第一阈值条件的第一差值的车辆的数量占总的车辆的5%时，即可确定该路段可能存在凹陷或突起。
其中，第三阈值即为5%，在一些场合（如雾天或阴雨天气）下，可以将第三阈值进行调整，如8%-10%。
在一个可选的实施例中，在所述获取目标对象在目标道路的第一图像数据以及第二图像数据之后，所述方法还包括：步骤S2022，通过第三对象识别模型，对所述第一图像数据进行第三对象识别，以确定所述目标对象包含的第三对象的第一像素信息，并对所述第二图像数据进行第四对象识别，以确定所述第三对象的第二像素信息。
步骤S2022，对所述第一像素信息以及所述第二像素信息进行比较处理，在所述比较处理结果不满足第三阈值条件的情况下，确定所述目标道路存在病变。
在本实施例中，在实际场景中，车厂出于方便检修的考虑，通常将车轮刹车盘设置为亮白色或亮灰色，且车轮刹车盘也会随车轴的位置变化而变化，因而针对于车轮、车身与车轮拱罩颜色相同的车辆，可以考虑通过跟踪车轮刹车盘的方式进行跟踪。
其中，第三对象可以是车轮刹车盘（如图8所示），第三对象识别模型可以是车辆识别领域常用的yolo系列对象识别模型，如yolo3、yolo5、yolo7等识别模型，像素信息的变化可以是像素矩阵的变化，也可以是像素点的变化。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
在本实施例中还提供了一种道路巡检判定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图9是根据本发明实施例的一种道路巡检判定装置的结构框图，如图9所示，该装置包括：图像采集模块92，用于获取目标对象在目标道路的第一图像数据以及第二图像数据，其中，所述第一图像数据包括所述目标对象处于第一时间点的侧面图像，所述第二图像数据包括所述目标处于第二时间点的侧面图像。
第一间距模块94，用于基于所述第一图像数据，通过预设的第一模型确定所述目标对象的第一基准点以及所述目标对象的第一顶点，并根据所述第一基准点以及所述第一顶点确定所述第一基准点与所述第一顶点之间的第一间距。
第二间距模块96，用于基于所述第二图像数据，通过预设的第二模型确定所述目标对象的第二基准点以及所述目标对象的第二顶点，并根据所述第二基准点以及所述第二顶点确定所述第二基准点与所述第二顶点之间的第二间距。
病变确定模块98，用于计算所述第一间距以及所述第二间距之间的第一差值，在所述第一差值不满足第一阈值条件的情况下，确定所述目标道路存在病变情况，其中，所述第一阈值条件包括所述第一差值大于第一阈值且小于第二阈值。
在一个可选的实施例中，所述第一间距模块94包括：第一分割单元942，用于通过第一对象分割模型，对所述第一图像数据进行第一分割处理，以得到第一局部图像，其中，所述第一模型包括所述第一对象分割模型。
第一识别单元944，用于通过第一对象识别模型对所述第一局部图像进行第一对象识别，以得到第一识别结果，其中，所述第一模型包括所述第一对象识别模型。
第一基准提取单元946，用于在所述第一识别结果为所述第一局部图像为第一对象的情况下，通过基准点提取算法对所述第一对象进行基准点提取处理，以得到所述第一基准点，其中，所述目标对象包括所述第一对象。
在一个可选的实施例中，所述第一间距模块94包括：第二分割单元948，用于通过第一对象分割模型，对所述第一图像数据进行第二分割处理，以得到第二局部图像，其中，所述第一模型包括所述第一对象分割模型。
第二识别单元9410，用于通过第二对象识别模型对所述第二局部图像进行第二对象识别，以得到第二识别结果，其中，所述第一模型包括所述第二对象识别模型。
第一基准单元9412，用于在所述第二识别结果为所述第二局部图像为第二对象的情况下，基于所述第一基准点确定第一基准线，其中，所述第一基准线包括以所述第一基准点为起点的竖直延长线。
第一顶点单元9414，用于将所述第一基准线与所述第二对象的交点作为所述第一顶点。
在一个可选的实施例中，所述病变确定模块98还包括：数量采集单元982，用于在所述计算所述第一间距以及所述第二间距之间的第一差值之后，获取所述目标道路的目标对象的数量以及不满足所述第一阈值条件的第一差值的数量。
比例计算单元984，用于计算所述不满足所述第一阈值条件的第一差值的数量在所述目标对象的数量比例值。
病变确定单元986，用于在所述比例值大于第三阈值的情况下，确定所述目标道路存在病变。
在一个可选的实施例中，所述装置还包括：第三识别模块922，用于在所述获取目标对象在目标道路的第一图像数据以及第二图像数据之后，通过第三对象识别模型，对所述第一图像数据进行第三对象识别，以确定所述目标对象包含的第三对象的第一像素信息，并对所述第二图像数据进行第四对象识别，以确定所述第三对象的第二像素信息。
第二病变确定模块924，用于对所述第一像素信息以及所述第二像素信息进行比较处理，在所述比较处理结果不满足第三阈值条件的情况下，确定所述目标道路存在病变。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输装置以及输入输出设备，其中，该传输装置和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种道路巡检判定方法，其特征在于，包括：
获取目标对象在目标道路的第一图像数据以及第二图像数据，其中，所述第一图像数据包括所述目标对象处于第一时间点的侧面图像，所述第二图像数据包括所述目标处于第二时间点的侧面图像；
基于所述第一图像数据，通过预设的确定所述目标对象的第一基准点以及所述目标对象的第一顶点，并根据所述第一基准点以及所述第一顶点确定所述第一基准点与所述第一顶点之间的第一间距；
基于所述第二图像数据，通过预设的第二模型确定所述目标对象的第二基准点以及所述目标对象的第二顶点，并根据所述第二基准点以及所述第二顶点确定所述第二基准点与所述第二顶点之间的第二间距；
计算所述第一间距以及所述第二间距之间的第一差值，在所述第一差值不满足第一阈值条件的情况下，确定所述目标道路存在病变情况，其中，所述第一阈值条件包括所述第一差值大于第一阈值且小于第二阈值。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像数据，通过预设的第一模型确定所述目标对象的第一基准点包括：
通过第一对象分割模型，对所述第一图像数据进行第一分割处理，以得到第一局部图像，其中，所述第一模型包括所述第一对象分割模型；
通过第一对象识别模型对所述第一局部图像进行第一对象识别，以得到第一识别结果，其中，所述第一模型包括所述第一对象识别模型；
在所述第一识别结果为所述第一局部图像为第一对象的情况下，通过基准点提取算法对所述第一对象进行基准点提取处理，以得到所述第一基准点，其中，所述目标对象包括所述第一对象。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像数据，通过预设的第一模型确定所述目标对象的第一顶点包括：
通过第一对象分割模型，对所述第一图像数据进行第二分割处理，以得到第二局部图像，其中，所述第一模型包括所述第一对象分割模型；
通过第二对象识别模型对所述第二局部图像进行第二对象识别，以得到第二识别结果，其中，所述第一模型包括所述第二对象识别模型；
在所述第二识别结果为所述第二局部图像为第二对象的情况下，基于所述第一基准点确定第一基准线，其中，所述第一基准线包括以所述第一基准点为起点的竖直延长线；
将所述第一基准线与所述第二对象的交点作为所述第一顶点。
4.根据权利要求1所述的方法，其特征在于，在所述计算所述第一间距以及所述第二间距之间的第一差值之后，所述方法还包括：
获取所述目标道路的目标对象的数量以及不满足所述第一阈值条件的第一差值的数量；
计算所述不满足所述第一阈值条件的第一差值的数量在所述目标对象的数量比例值；
在所述比例值大于第三阈值的情况下，确定所述目标道路存在病变。
5.根据权利要求1所述的方法，其特征在于，在所述获取目标对象在目标道路的第一图像数据以及第二图像数据之后，所述方法还包括：
通过第三对象识别模型，对所述第一图像数据进行第三对象识别，以确定所述目标对象包含的第三对象的第一像素信息，并对所述第二图像数据进行第四对象识别，以确定所述第三对象的第二像素信息；
对所述第一像素信息以及所述第二像素信息进行比较处理，在所述比较处理结果不满足第三阈值条件的情况下，确定所述目标道路存在病变。
6.一种道路巡检判定装置，其特征在于，包括：
图像采集模块，用于获取目标对象在目标道路的第一图像数据以及第二图像数据，其中，所述第一图像数据包括所述目标对象处于第一时间点的侧面图像，所述第二图像数据包括所述目标处于第二时间点的侧面图像；
第一间距模块，用于基于所述第一图像数据，通过预设的第一模型确定所述目标对象的第一基准点以及所述目标对象的第一顶点，并根据所述第一基准点以及所述第一顶点确定所述第一基准点与所述第一顶点之间的第一间距；
第二间距模块，用于基于所述第二图像数据，通过预设的第二模型确定所述目标对象的第二基准点以及所述目标对象的第二顶点，并根据所述第二基准点以及所述第二顶点确定所述第二基准点与所述第二顶点之间的第二间距；
病变确定模块，用于计算所述第一间距以及所述第二间距之间的第一差值，在所述第一差值不满足第一阈值条件的情况下，确定所述目标道路存在病变情况，其中，所述第一阈值条件包括所述第一差值大于第一阈值且小于第二阈值。
7.根据权利要求6所述的装置，其特征在于，所述第一间距模块包括：
第一分割单元，用于通过第一对象分割模型，对所述第一图像数据进行第一分割处理，以得到第一局部图像，其中，所述第一模型包括所述第一对象分割模型；
第一识别单元，用于通过第一对象识别模型对所述第一局部图像进行第一对象识别，以得到第一识别结果，其中，所述第一模型包括所述第一对象识别模型；
第一基准提取单元，用于在所述第一识别结果为所述第一局部图像为第一对象的情况下，通过基准点提取算法对所述第一对象进行基准点提取处理，以得到所述第一基准点，其中，所述目标对象包括所述第一对象。
8.根据权利要求6所述的装置，其特征在于，所述第一间距模块包括：
第二分割单元，用于通过第一对象分割模型，对所述第一图像数据进行第二分割处理，以得到第二局部图像，其中，所述第一模型包括所述第一对象分割模型；
第二识别单元 ，用于通过第二对象识别模型对所述第二局部图像进行第二对象识别，以得到第二识别结果，其中，所述第一模型包括所述第二对象识别模型；
第一基准单元，用于在所述第二识别结果为所述第二局部图像为第二对象的情况下，基于所述第一基准点确定第一基准线，其中，所述第一基准线包括以所述第一基准点为起点的竖直延长线；
第一顶点单元，用于将所述第一基准线与所述第二对象的交点作为所述第一顶点。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至5任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项中所述的方法。
CN202310464196.9A 2023-04-26 2023-04-26 道路巡检判定方法及装置 Active CN116189133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310464196.9A CN116189133B (zh) 2023-04-26 2023-04-26 道路巡检判定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310464196.9A CN116189133B (zh) 2023-04-26 2023-04-26 道路巡检判定方法及装置

Publications (2)

Publication Number Publication Date
CN116189133A true CN116189133A (zh) 2023-05-30
CN116189133B CN116189133B (zh) 2023-07-28

Family

ID=86452575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310464196.9A Active CN116189133B (zh) 2023-04-26 2023-04-26 道路巡检判定方法及装置

Country Status (1)

Country Link
CN (1) CN116189133B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994354A (zh) * 2023-09-28 2023-11-03 上海闪马智能科技有限公司 道路电力设施巡检方法、装置、存储介质及电子装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679120A (zh) * 2012-09-11 2014-03-26 株式会社理光 不平道路的检测方法和系统
US20160039436A1 (en) * 2002-06-04 2016-02-11 General Electric Company Aerial camera system and method for determining size parameters of vehicle systems
KR102084668B1 (ko) * 2018-10-15 2020-03-04 한국건설기술연구원 도로 노면 불량 객체에 의한 도로 노면 위험 정보 제공 시스템 및 방법
CN111204283A (zh) * 2020-01-15 2020-05-29 南京佳得振隆新能源汽车有限公司 智能道路安全识别系统
CN111274939A (zh) * 2020-01-19 2020-06-12 北京中交创新投资发展有限公司 基于单目摄像头的道路路面坑洼破损自动提取方法
CN112585656A (zh) * 2020-02-25 2021-03-30 华为技术有限公司 特殊路况的识别方法、装置、电子设备和存储介质
CN113537238A (zh) * 2021-07-05 2021-10-22 上海闪马智能科技有限公司 一种信息处理方法及图像识别装置
CN115031743A (zh) * 2019-02-14 2022-09-09 御眼视觉技术有限公司 对收集的相对于公共道路路段的信息关联的系统和方法
CN115273023A (zh) * 2022-07-08 2022-11-01 重庆长安新能源汽车科技有限公司 一种车载道路坑洼识别方法、系统及汽车
CN115331190A (zh) * 2022-09-30 2022-11-11 北京闪马智建科技有限公司 一种基于雷视融合的道路隐患识别方法及装置
KR102475332B1 (ko) * 2022-05-12 2022-12-08 주식회사 유오케이 복수의 카메라를 이용한 도로 정보 수집 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN115631356A (zh) * 2022-11-28 2023-01-20 北京闪马智建科技有限公司 道路设施缺失识别方法、装置、存储介质及电子装置
CN115641334A (zh) * 2022-12-09 2023-01-24 北京闪马智建科技有限公司 道路防撞设施损伤识别方法及装置
CN115830032A (zh) * 2023-02-13 2023-03-21 杭州闪马智擎科技有限公司 基于旧有设施的道路伸缩缝病变识别方法及装置
CN115892025A (zh) * 2021-09-30 2023-04-04 沃尔沃卡车集团 用于检测、定位和共享坑洼的系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160039436A1 (en) * 2002-06-04 2016-02-11 General Electric Company Aerial camera system and method for determining size parameters of vehicle systems
CN103679120A (zh) * 2012-09-11 2014-03-26 株式会社理光 不平道路的检测方法和系统
KR102084668B1 (ko) * 2018-10-15 2020-03-04 한국건설기술연구원 도로 노면 불량 객체에 의한 도로 노면 위험 정보 제공 시스템 및 방법
CN115031743A (zh) * 2019-02-14 2022-09-09 御眼视觉技术有限公司 对收集的相对于公共道路路段的信息关联的系统和方法
CN111204283A (zh) * 2020-01-15 2020-05-29 南京佳得振隆新能源汽车有限公司 智能道路安全识别系统
CN111274939A (zh) * 2020-01-19 2020-06-12 北京中交创新投资发展有限公司 基于单目摄像头的道路路面坑洼破损自动提取方法
CN112585656A (zh) * 2020-02-25 2021-03-30 华为技术有限公司 特殊路况的识别方法、装置、电子设备和存储介质
CN113537238A (zh) * 2021-07-05 2021-10-22 上海闪马智能科技有限公司 一种信息处理方法及图像识别装置
CN115892025A (zh) * 2021-09-30 2023-04-04 沃尔沃卡车集团 用于检测、定位和共享坑洼的系统
KR102475332B1 (ko) * 2022-05-12 2022-12-08 주식회사 유오케이 복수의 카메라를 이용한 도로 정보 수집 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN115273023A (zh) * 2022-07-08 2022-11-01 重庆长安新能源汽车科技有限公司 一种车载道路坑洼识别方法、系统及汽车
CN115331190A (zh) * 2022-09-30 2022-11-11 北京闪马智建科技有限公司 一种基于雷视融合的道路隐患识别方法及装置
CN115631356A (zh) * 2022-11-28 2023-01-20 北京闪马智建科技有限公司 道路设施缺失识别方法、装置、存储介质及电子装置
CN115641334A (zh) * 2022-12-09 2023-01-24 北京闪马智建科技有限公司 道路防撞设施损伤识别方法及装置
CN115830032A (zh) * 2023-02-13 2023-03-21 杭州闪马智擎科技有限公司 基于旧有设施的道路伸缩缝病变识别方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
EKPONOIMO KING IBRITAM等: "Research on Lane Change Constraint Control Based on Pavement Pothole Detection", 2021 IEEE INTERNATIONAL CONFERENCE ON UNMANNED SYSTEMS (ICUS), pages 890 - 895 *
ESHTA RANYAL等: "AI assisted pothole detection and depth estimation", 2023 INTERNATIONAL CONFERENCE ON MACHINE INTELLIGENCE FOR GEOANALYTICS AND REMOTE SENSING (MIGARS), pages 1 - 4 *
唐咸燕: "路面病害智能识别和养护管理系统应用", 交通与运输, vol. 37, no. 05, pages 39 - 43 *
焦双健等: "基于深度学习的路面坑洼检测系统设计", 单片机与嵌入式系统应用, vol. 22, no. 07, pages 10 - 13 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994354A (zh) * 2023-09-28 2023-11-03 上海闪马智能科技有限公司 道路电力设施巡检方法、装置、存储介质及电子装置
CN116994354B (zh) * 2023-09-28 2024-01-23 上海闪马智能科技有限公司 道路电力设施巡检方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN116189133B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN108345822B (zh) 一种点云数据处理方法及装置
JP6259928B2 (ja) 車線データの処理方法、装置、記憶媒体及び機器
CN108986465B (zh) 一种车流量检测的方法、系统及终端设备
CN110298300B (zh) 一种检测车辆违章压线的方法
CN109087510A (zh) 交通监测方法及装置
CN101882217B (zh) 视频图像的目标分类方法及装置
CN116189133B (zh) 道路巡检判定方法及装置
CN104183127A (zh) 交通监控视频检测方法和装置
CN105493502A (zh) 视频监控方法、视频监控系统以及计算机程序产品
CN112825192B (zh) 基于机器学习的对象辨识系统及其方法
CN111881832A (zh) 车道目标检测方法、装置、设备及计算机可读存储介质
JPWO2008020544A1 (ja) 車両検知装置，車両検知方法並びに車両検知プログラム
CN105095869A (zh) 行人检测方法及装置
CN105426863A (zh) 检测车道线的方法和装置
CN114419143A (zh) 深度测量方法、深度测量设备及存储介质
CN102610104B (zh) 一种车载的前方车辆检测方法
CN112163544B (zh) 一种非机动车辆乱摆放的判断方法及系统
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN107274673B (zh) 基于修正局部方差的车辆排队长度测量方法及测量系统
CN114329074B (zh) 一种匝道路段通行能效检测方法和系统
CN114119955A (zh) 一种潜在危险目标检测方法及装置
CN114842285A (zh) 路侧泊位号码识别方法以及装置
CN111914675A (zh) 一种车辆轴数确定方法及装置
CN116071713A (zh) 斑马线确定方法、装置、电子设备和介质
CN111832337A (zh) 一种车牌识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant