CN109543647B - 一种道路异常识别方法、装置、设备及介质 - Google Patents

一种道路异常识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN109543647B
CN109543647B CN201811459467.7A CN201811459467A CN109543647B CN 109543647 B CN109543647 B CN 109543647B CN 201811459467 A CN201811459467 A CN 201811459467A CN 109543647 B CN109543647 B CN 109543647B
Authority
CN
China
Prior art keywords
image area
road
image
area
biological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811459467.7A
Other languages
English (en)
Other versions
CN109543647A (zh
Inventor
杨耀威
杜家鸣
孙钰淑
段立新
夏珺峥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoxin Youe Data Co Ltd
Original Assignee
Guoxin Youe Data Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoxin Youe Data Co Ltd filed Critical Guoxin Youe Data Co Ltd
Priority to CN201811459467.7A priority Critical patent/CN109543647B/zh
Publication of CN109543647A publication Critical patent/CN109543647A/zh
Application granted granted Critical
Publication of CN109543647B publication Critical patent/CN109543647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供了一种道路异常识别方法、装置、设备及介质，应用于交通监控技术领域，所述方法包括：提取原始图像中的道路图像区域；提取所述道路图像区域中的待识别图像区域，所述待识别图像区域为去除了车辆图像区域和生物图像区域后的区域；若所述待识别图像区域中的目标图像区域不小于预设的区域阈值，则确定所述目标图像区域所对应的道路存在异常，所述目标图像区域为灰度值在预设范围内的像素点组成的图像区域。通过上述方法，减少了除道路以外的对象，以及除道路图像区域中车辆图像区域和生物图像区域对道路异常检测的干扰，减少了道路异常识别过程中的数据处理量，提高了识别准确度。

Description

一种道路异常识别方法、装置、设备及介质
技术领域
本申请涉及交通监控技术领域，具体而言，涉及一种道路异常识别方法、装置、设备及介质。
背景技术
目前，城市道路交通供给与出行需求的矛盾日益激化，导致城市道路交通拥挤、阻塞、交通事故增加和交通环境恶化，并且严重地困扰着城市。实际中，道路中的异常情况会造成甚至进一步加剧交通拥挤、阻塞和交通事故，既严重干扰交通秩序、影响交通安全,又可能产生极大的社会危害。
现阶段，通常都是当某一地区的道路状态出现异常以后，当事人或者发现者进行报警，之后警方安排相关工作人员进行道路异常的处理工作。但是，上述针对道路异常情况的发现及处理滞后性较差，无法满足实际需求。因此，如何进行道路异常的识别是一个亟待考虑的问题。
发明内容
有鉴于此，本申请实施例的目的在于提供一种道路异常识别方法、装置、设备及介质，能够减少对道路异常检测的干扰以及道路异常识别过程中的数据处理量，提高了识别准确度。
第一方面，本申请实施例提供了一种道路异常识别方法，包括：
提取原始图像中的道路图像区域；
提取所述道路图像区域中的待识别图像区域，所述待识别图像区域为去除车辆图像区域和生物图像区域后的区域；
若所述待识别图像区域中的目标图像区域不小于预设的区域阈值，则确定所述目标图像区域所对应的道路存在异常，所述目标图像区域为灰度值在预设范围内的像素点组成的图像区域。
结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，所述提取所述道路图像区域中的待识别图像区域，具体包括：
将所述道路图像区域输入预先训练的车辆识别模型，得到所述道路图像中的车辆图像区域；以及，
将所述道路图像区域输入预先训练的生物识别模型，得到所述道路图像中的生物图像区域；
提取所述道路图像中所述车辆图像区域以及所述生物图像区域以外的图像区域，作为所述待识别图像区域。
结合第一方面，本申请实施例提供了第一方面的第二种可能的实施方式，其中，所述提取所述道路图像区域中的待识别图像区域，具体包括：
将所述道路图像区域输入预先训练的车辆识别模型，得到所述道路图像中的车辆图像区域；
将所述道路图像区域输入预先训练的生物识别模型，得到所述道路图像中的生物图像区域；以及，
将所述道路图像区域输入预先训练的交通拥堵识别模型，得到所述道路图像中的拥堵图像区域；
提取所述道路图像中所述车辆图像区域、所述生物图像区域以及所述拥堵图像区域以外的图像区域，作为待识别图像区域。
结合第一方面，本申请实施例提供了第一方面的第三种可能的实施方式，其中，所述提取所述道路图像区域中的待识别图像区域，具体包括：
将所述道路图像区域输入预先训练的车辆识别模型，得到所述道路图像中的车辆图像区域；
将所述道路图像区域输入预先训练的生物识别模型，得到所述道路图像中的生物图像区域；
将所述道路图像区域输入预先训练的交通拥堵识别模型，得到所述道路图像中的拥堵图像区域；以及，
将所述道路图像区域输入预先训练的交通事故识别模型，得到所述道路图像中的事故图像区域；
提取所述道路图像中所述车辆图像区域、所述生物图像区域、所述拥堵图像区域以及所述事故图像区域以外的图像区域，作为待识别图像区域。
结合第一方面、第一方面的第一种可能的实施方式至第一方面的第三种可能的实施方式中任一种可能的实施方式，本申请实施例提供了第一方面的第四种可能的实施方式，其中，所述提取原始图像中的道路图像区域，具体包括：
将所述原始图像输入到预先训练的道路识别模型中，得到道路边缘特征；
从原始图像中提取所述道路边缘特征对应的图像区域，并将提取的图像区域作为所述道路图像区域。
第二方面，本申请实施例还提供了一种道路异常识别装置，包括：
提取模块，用于提取原始图像中的道路图像区域；以及，提取所述道路图像区域中的待识别图像区域，所述待识别图像区域为去除车辆图像区域和生物图像区域后的区域；
确定模块，用于在所述待识别图像区域中的目标图像区域不小于预设的区域阈值时，确定所述目标图像区域所对应的道路存在异常，所述目标图像区域为灰度值在预设范围内的像素点组成的图像区域。
结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，其中，所述提取模块，具体用于：
将所述道路图像区域输入预先训练的车辆识别模型，得到所述道路图像中的车辆图像区域；以及，
将所述道路图像区域输入预先训练的生物识别模型，得到所述道路图像中的生物图像区域；
提取所述道路图像中所述车辆图像区域以及所述生物图像区域以外的图像区域，作为所述待识别图像区域。
结合第二方面，本申请实施例提供了第二方面的第二种可能的实施方式，其中，所述提取模块，具体用于：
将所述道路图像区域输入预先训练的车辆识别模型，得到所述道路图像中的车辆图像区域；
将所述道路图像区域输入预先训练的生物识别模型，得到所述道路图像中的生物图像区域；以及，
将所述道路图像区域输入预先训练的交通拥堵识别模型，得到所述道路图像中的拥堵图像区域；
提取所述道路图像中所述车辆图像区域、所述生物图像区域以及所述拥堵图像区域以外的图像区域，作为待识别图像区域。
结合第二方面，本申请实施例提供了第二方面的第三种可能的实施方式，其中，所述提取模块，具体用于：
将所述道路图像区域输入预先训练的车辆识别模型，得到所述道路图像中的车辆图像区域；
将所述道路图像区域输入预先训练的生物识别模型，得到所述道路图像中的生物图像区域；
将所述道路图像区域输入预先训练的交通拥堵识别模型，得到所述道路图像中的拥堵图像区域；以及，
将所述道路图像区域输入预先训练的交通事故识别模型，得到所述道路图像中的事故图像区域；
提取所述道路图像中所述车辆图像区域、所述生物图像区域、所述拥堵图像区域以及所述事故图像区域以外的图像区域，作为待识别图像区域。
结合第二方面、第二方面的第一种可能的实施方式至第二方面的第三种可能的实施方式中任一种可能的实施方式，所述提取模块，具体用于：
将所述原始图像输入到预先训练的道路识别模型中，得到道路边缘特征；
从原始图像中提取所述道路边缘特征对应的图像区域，并将提取的图像区域作为所述道路图像区域。
第三方面，本申请实施例还提供了一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令使时实现第一方面中任一项所述的道路异常识别方法。
第四方面，本申请实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现第一方面中任一项所述的道路异常识别方法。
本申请实施例提供的道路异常识别方法、装置、设备及介质，在获取到原始图像后，提取原始图像中的道路图像区域，并进一步提取道路图像区域中去除了车辆图像区域和生物图像区域的待识别图像区域，最后基于该待识别图像区域对道路中的异常进行识别，并且，对去除非道路图像、道路图像中的车辆以及生物后的待识别图像进行道路异常识别，既能够减少图像中车辆和生物对道路异常识别的干扰，提高了识别准确度，还能够减少道路异常识别过程中的数据处理量，提高道路异常识别的速度。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种道路异常识别方法的流程图。
图2示出了本申请实施例所提供的另一种道路异常识别方法的流程图。
图3示出了本申请实施例所提供的又一种道路异常识别方法的流程图。
图4示出了本申请实施例所提供的再一种道路异常识别方法的流程图。
图5示出了本申请实施例所提供的进一种道路异常识别方法的流程图。
图6示出了本申请实施例所提供的一种道路异常识别方法的整体流程示意图。
图7示出了本申请实施例所提供的一种道路异常识别装置的结构示意图。
图8示出了本申请实施例所提供的计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
考虑到目前针对道路异常情况的发现及处理滞后性较差，无法满足实际需求的问题，本申请实施例提供了一种道路异常识别方法、装置、设备及介质，下面通过实施例进行描述。
如图1所示，为本申请实施例提供的一种道路异常识别方法，应用于服务器，该方法可以包括如下步骤：
S101、提取原始图像中的道路图像区域。
本申请实施例中，当上述道路异常识别方法应用在摄像头覆盖的地区时，上述原始图像为通过摄像头采集的普通图像；当上述道路异常识别方法应用在没有摄像头覆盖的地区(比如偏远的郊区)时，上述原始图像为通过卫星采集到的卫星遥感图像。
实际应用中，服务器获取到的原始图像中会包括很多对象，若直接识别原始图像中的道路异常，识别结果会不够准确。基于此，本申请实施例中，服务器在获取到原始图像后，首先提取原始图像中的道路图像区域，以便后续基于道路图像区域进行道路的异常识别。这里，通过提取的道路图像区域进行道路异常识别能够减少服务器的数据计算量，提高了处理效率，同时，减少了除道路以外的其他对象对道路异常识别的干扰，进一步提高了识别准确度。
S102、提取所述道路图像区域中的待识别图像区域，所述待识别图像区域为去除车辆图像区域和生物图像区域后的区域。
本申请实施例中，道路异常指的是道路中存在塌方或者异物(比如掉落的货物，泥石流冲毁的路段等)等。这里，提取待识别图像区域的方法如下：识别道路图像区域中的车辆图像区域和生物图像区域，然后，从道路图像区域中去除识别出的车辆图像区域和生物图像区域，得到待识别图像区域。
这里，提取出待识别图像区域进行道路异常识别，一方面是为了减少车辆图像区域和生物图像区域对道路异常检测的干扰，提高识别准确度，另一方面为了减少进行异常识别的数据处理量，提高道路异常识别的速度。
S103、若所述待识别图像区域中的目标图像区域不小于预设的区域阈值，则确定所述目标图像区域所对应的道路存在异常，所述目标图像区域为灰度值在预设范围内的像素点组成的图像区域。
本申请实施例中，服务器在提取出待识别图像区域后，对待识别图像进行灰度化处理，得到待识别图像中各个像素点的灰度值，然后，从各个像素点中选取灰度值在预设范围内的目标像素点，判断选取的目标像素点所组成的图像区域是否大于或等于预设的区域阈值，若是，则确定上述目标图像区域异常，若否，则确定所述目标图像区域所对应的道路不存在异常。作为一种可选的实施方式，预设的区域阈值的大小可根据实际应用场景设定，比如预设的区域阈值为0.25。
服务器在确定上述目标图像区域异常后，能够将目标图像区域的异常信息进行上报。本申请实施例中的道路异常识别方法，在原始图像为卫星遥感图像时，能够支持摄像头无法覆盖的路网监控中的道理异常识别。
本申请实施例提供的一种道路异常识别方法，在获取到原始图像后，提取原始图像中的道路图像区域，并进一步提取道路图像区域中去除了车辆图像区域和生物图像区域的待识别图像区域，最后基于该待识别图像区域对道路中的异常进行识别，从而提供一种道路异常识别方法，并且，对去除非道路图像、道路图像中的车辆以及生物后的待识别图像进行道路异常识别，既能够减少图像中车辆和生物对道路异常识别的干扰，提高了识别准确度，还能够减少道路异常识别过程中的数据处理量，提高道路异常识别的速度。
进一步的，如图2所示，本申请实施例提供的道路异常识别方法中，提取原始图像中的道路图像区域，具体包括：
S201、将所述原始图像输入到预先训练的道路识别模型中，得到道路边缘特征。
本申请实施例中，训练道路识别模型即，构建道路边缘特征以及道路边缘特征对应的道路边缘的坐标值之间的对应关系。其中，道路识别模型的训练过程如下：获取多个样本图像中的道路样本数据(即道路标注数据)，每个道路样本数据均包括道路边缘特征以及道路边缘特征对应的道路边缘的坐标值；然后，将所述道路边缘特征作为解释变量，将所述道路边缘的坐标值作为被解释变量，构建道路识别模型,并基于多个道路样本数据对上述道路识别模型进行训练，得到道路识别模型。
在训练好道路识别模型后，将原始图像输入到训练得到的道路识别模型中，得到一系列的道路边缘的坐标值，即道路边缘特征。
S202、从原始图像中提取所述道路边缘特征对应的图像区域，并将提取的图像区域作为所述道路图像区域。
本申请实施例中，道路识别模型输出一系列的道路边缘的坐标值后，这一系列的坐标值连接起来后对应的图像区域即道路图像区域。服务器在基于道路识别模型输出一系列的道路边缘的坐标值后，对这一系列的坐标值连接起来后对应的原始进行切割，得到道路图像区域。
本申请实施例中，通过预先训练好的道路识别模型对道路图像区域进行识别并提取道路图像区域，识别速度快且识别准确度高。
作为一种实施方式，本申请实施例中通过Siamese网络训练道路识别模型。其中，Siamese网络分成前半部分、后半部分。前半部分为用于特征提取的特征提取函数，将两张样本图像分别输入到Siamese网络的前半部分，分别得到一个输出特征向量Gw(X1)、Gw(X2)；其中，X1和X2分别表示两张样本图像，Gw(X1)和Gw(X2)分别表示对应于两张样本图像的特征向量；后半部分构造两个特征向量距离度量，作为两张样本图像的相似度计算函数(也即相似性度量)：
EW(X1,X2)＝||GW(X1)-GW(X2)||；
其中，EW(X1，X2)表示两张样本图像的相似度计算函数。本申请实施例中，给定一组映射函数GW(X)，其中，参数为W，训练的目的就是找一组参数W，使得当X1和X2属于同一个类别时，相似性度量EW(X1，X2)是一个较小的值；当X1和X2属于不同类别时，相似性度量EW(X1，X2)是一个较大的值。
EW(X1，X2)的损失函数只和输入和参数有关，那么损失函数的形式为：
Figure BDA0001888373700000101
L(W,(Y,X1,X2)i)＝(1-Y)LG(EW(X1,X2)i)+YLI(EW(X1,X2)i)；
其中，i表示样本的采样点数，Y表示样本的标签(具体为相同类别或者不同类别)，(Y,X1,X2)i是第i个样本，是由一对样本图像和一个标签组成的。LG是只计算相同类别对样本图像的损失函数，LI是只计算不同类别对样本图像的损失函数。P是训练所使用的样本数据的个数。然后，利用上述损失函数，对网络进行训练，修正特征提取函数的相关参数，最终形成特征提取函数的相关参数和相似度阈值。
这里，Siamese网络训练过程就是从样本数据中学习特征提取函数GW(X)的相关参数和相似度阈值，得到训练好的道路识别模型。然后，通过训练好的道路识别模型去识别获取到的原始图像。
本申请实施例中，后续的车辆识别模型、生物识别模型、交通拥堵识别模型和交通事故识别模型也都是基于Siamese网络进行训练的。通过上述Siamese网络进行相关模型训练，能够淡化标签，使得网络具有很好的扩展性，可以对那些没有训练过的类别进行分类。同时，Siamese网络同样适用一些小数据量的数据集，变相的增加了整个数据集的大小，使得数据量相对较小的数据集也能用深度网络训练出不错的效果。
本申请实施例提供的道路异常识别方法中，提取所述道路图像区域中的待识别图像区域的方法有多种，下面分别进行说明：
第一种方式，如图3所示，提取所述道路图像区域中的待识别图像区域的方法具体包括如下步骤：
S301、将所述道路图像区域输入预先训练的车辆识别模型，得到所述道路图像中的车辆图像区域。
本申请实施例中，预先训练车辆识别模型，其中，获取多个样本原始图像中的车辆样本数据(即车辆标注数据)，上述每个车辆样本数据中均包括车辆特征以及车辆特征对应的车辆识别结果；上述识别结果为有车辆或者无车辆。车辆识别模型的具体训练方法如下：将车辆样本数据中的车辆特征作为Siamese网络的解释变量，将车辆样本数据中的车辆识别结果属性作为Siamese网络的被解释变量，构建车辆识别模型，并基于上述多个车辆样本数据对构建的车辆识别模型进行训练。
其中，服务器在提取了道路图像区域后，将道路图像区域输入到训练好的车辆识别模型中，得到车辆识别结果，并基于车辆识别结果确定车辆图像区域。
S302、将所述道路图像区域输入预先训练的生物识别模型，得到所述道路图像中的生物图像区域。
本申请实施例中，预先训练生物识别模型，首先，获取多个样本原始图像的生物样本数据(即人、动物等标注数据)，上述每个生物样本数据为均包括生物特征(即人的特征、动物的特征等)以及生物特征对应的生物识别结果，该生物识别结果为有生物或者无生物。生物识别模型的具体训练方法如下：将生物特征作为Siamese网络的解释变量，将生物识别结果属性作为Siamese网络的被解释变量，构建生物识别模型，并基于上述多个生物样本数据对构建的生物识别模型进行训练。
服务器在提取了道路图像区域后，直接将道路图像区域输入到训练好的生物识别模型中，得到生物识别结果，并根据生物识别结果确定生物图像区域。
S303、提取所述道路图像中所述车辆图像区域以及所述生物图像区域以外的图像区域，作为所述待识别图像区域。
本申请实施例中，服务器在确定了车辆图像区域以及生物图像区域后，从道路图像中去除上述车辆图像区域以及生物图像区域，将道路图像中的剩余的图像区域作为待识别图像区域。具体实施时，服务器在提取了道路图像区域后，去除道路图像区域中的车辆图像区域，将去除了车辆图像区域的剩余图像区域输入到训练好的生物识别模型中，得到生物识别结果，并根据生物识别结果确定生物图像区域。这样，能够减少进行生物识别的数据处理量，提高识别准确度。
本申请实施例中，通过预先训练好的模型识别车辆图像区域以及生物图像区域，识别速度快且识别准确度高。
第二种方式，如图4所示，提取所述道路图像区域中的待识别图像区域的方法具体包括如下步骤：
S401、将所述道路图像区域输入预先训练的车辆识别模型，得到所述道路图像中的车辆图像区域。
该步骤中，车辆识别模型的具体训练过程以及识别车辆图像区域的过程同步骤301。
S402、将所述道路图像区域输入预先训练的生物识别模型，得到所述道路图像中的生物图像区域。
该步骤中，生物识别模型的具体训练过程以及识别生物图像区域的过程同步骤302。
S403、将所述道路图像区域输入预先训练的交通拥堵识别模型，得到所述道路图像中的拥堵图像区域。
本申请实施例中，预先训练交通拥堵识别模型，首先，获取多个样本原始图像的拥堵样本数据(即拥堵标注数据)，上述每个拥堵样本数据为均包括交通拥堵特征以及交通拥堵特征对应的交通拥堵识别结果，该交通拥堵识别结果为交通拥堵或者未拥堵。交通拥堵识别模型的具体训练方法如下：将交通拥堵特征作为Siamese网络的解释变量，将交通拥堵识别结果属性作为Siamese网络的被解释变量，构建交通拥堵识别模型，并基于上述多个拥堵样本数据对构建的交通拥堵识别模型进行训练。
服务器在提取了道路图像区域后，将道路图像区域输入到训练好的交通拥堵识别模型中，得到交通拥堵识别结果，并根据交通拥堵识别结果确定交通拥堵图像区域。
S404、提取所述道路图像中所述车辆图像区域、所述生物图像区域以及所述拥堵图像区域以外的图像区域，作为待识别图像区域。
本申请实施例中，服务器在确定了车辆图像区域、生物图像区域以及拥堵图像区域后，从道路图像中去除上述车辆图像区域、生物图像区域以及拥堵图像区域，道路图像中剩余的图像区域为待识别图像区域。
本申请实施例中，通过预先训练好的模型识别车辆图像区域、生物图像区域和拥堵图像区域，识别速度快且识别准确度高。
第三种方式，如图5所示，提取所述道路图像区域中的待识别图像区域的方法具体包括如下步骤：
S501、将所述道路图像区域输入预先训练的车辆识别模型，得到所述道路图像中的车辆图像区域。
该步骤中，车辆识别模型的具体训练过程以及识别车辆图像区域的过程同步骤301。
S502、将所述道路图像区域输入预先训练的生物识别模型，得到所述道路图像中的生物图像区域。
该步骤中，生物识别模型的具体训练过程以及识别生物图像区域的过程同步骤302。
S503、将所述道路图像区域输入预先训练的交通拥堵识别模型，得到所述道路图像中的拥堵图像区域。
该步骤中，交通拥堵识别模型的具体训练过程以及识别拥堵图像区域的过程同步骤403。
S504、将所述道路图像区域输入预先训练的交通事故识别模型，得到所述道路图像中的事故图像区域。
本申请实施例中，预先训练交通事故识别模型，首先，获取多个样本原始图像的事故样本数据(即事故标注数据)，上述每个事故样本数据为均包括交通事故特征以及交通事故特征对应的交通事故识别结果，该交通事故识别结果为交通事故或者非交通事故。交通事故识别模型的具体训练方法如下：将交通事故特征作为Siamese网络的解释变量，将交通事故识别结果属性作为Siamese网络的被解释变量，构建交通事故识别模型，并基于上述多个事故样本数据对构建的交通事故识别模型进行训练。
服务器在提取了道路图像区域后，将道路图像区域输入到训练好的交通事故识别模型中，得到交通事故识别结果，并根据交通事故识别结果确定交通事故图像区域。这里，服务器在检测到交通事故识别模型输出的交通事故识别结果为交通事故后，启动相应的报警机制进行报警。
S505、提取所述道路图像中所述车辆图像区域、所述生物图像区域、所述拥堵图像区域以及所述事故图像区域以外的图像区域，作为待识别图像区域。
本申请实施例中，服务器在确定了车辆图像区域、生物图像区域、拥堵图像区域以及事故图像区域后，从道路图像中去除上述车辆图像区域、生物图像区域、拥堵图像区域以及事故图像区域，并将道路图像中剩余的图像区域作为待识别图像区域。
本申请实施例中，通过预先训练好的模型识别车辆图像区域、生物图像区域、拥堵图像区域以及事故图像区域，识别速度快且识别准确度高。
需要说明的是，人工可以对车辆识别模型、生物识别模型、交通拥堵识别模型和交通事故识别模型输出的错误结果进行纠正，并将识别结果作为样本数据重新对上述各个模型训练，以保证上述模型的准确度更高。
图6示出了一种道路异常识别方法整体流程图，服务器在获取到原始图像后，首先将原始图像输入到道路识别模型中，并基于道路识别模型输出结果，提取原始图像中的道路图像区域。然后，将道路图像区域分别输入到车辆识别模型、生物识别模型、交通事故识别模型和交通拥堵识别模型中，分别输出车辆图像区域、生物图像区域、拥堵图像区域和事故图像区域。服务器从道路图像区域中去除上述多个模型分别输出的车辆图像区域、生物图像区域、拥堵图像区域和事故图像区域，得到待识别图像区域，并对待识别图像区域进行灰度化处理，得到待识别图像中各个像素点的灰度值，从各个像素点中选取灰度值在预设范围内的目标像素点，判断选取的目标像素点所组成的目标图像区域是否大于或等于预设的区域阈值，若是，则确定上述目标图像区域异常，若否，则确定所述目标图像区域所对应的道路不存在异常。
通过上述道路异常识别方法，基于预先训练好的模型识别车辆图像区域、生物图像区域、拥堵图像区域以及事故图像区域，识别速度快且识别准确度高。同时，上述方法对去除非道路图像、道路图像中的车辆以及生物后的待识别图像进行道路异常识别，既能够减少图像中车辆和生物对道路异常识别的干扰，提高了识别准确度，还能够减少道路异常识别过程中的数据处理量，提高道路异常识别的速度。
如图7所示，为本申请实施例提供的一种道路异常识别装置，该装置包括：
提取模块701，用于提取原始图像中的道路图像区域；以及，提取所述道路图像区域中的待识别图像区域，所述待识别图像区域为去除车辆图像区域和生物图像区域后的区域；
确定模块702，用于在所述待识别图像区域中的目标图像区域不小于预设的区域阈值时，确定所述目标图像区域所对应的道路存在异常，所述目标图像区域为灰度值在预设范围内的像素点组成的图像区域。
可选的，如图7所示，本申请实施例提供的道路异常识别装置中，提取模块701，具体用于：
将所述道路图像区域输入预先训练的车辆识别模型，得到所述道路图像中的车辆图像区域；以及，
将所述道路图像区域输入预先训练的生物识别模型，得到所述道路图像中的生物图像区域；
提取所述道路图像中所述车辆图像区域以及所述生物图像区域以外的图像区域，作为所述待识别图像区域。
可选的，如图7所示，本申请实施例提供的道路异常识别装置中，提取模块701，具体用于：
将所述道路图像区域输入预先训练的车辆识别模型，得到所述道路图像中的车辆图像区域；
将所述道路图像区域输入预先训练的生物识别模型，得到所述道路图像中的生物图像区域；以及，
将所述道路图像区域输入预先训练的交通拥堵识别模型，得到所述道路图像中的拥堵图像区域；
提取所述道路图像中所述车辆图像区域、所述生物图像区域以及所述拥堵图像区域以外的图像区域，作为待识别图像区域。
可选的，如图7所示，本申请实施例提供的道路异常识别装置中，提取模块701，具体用于：
将所述道路图像区域输入预先训练的车辆识别模型，得到所述道路图像中的车辆图像区域；
将所述道路图像区域输入预先训练的生物识别模型，得到所述道路图像中的生物图像区域；
将所述道路图像区域输入预先训练的交通拥堵识别模型，得到所述道路图像中的拥堵图像区域；以及，
将所述道路图像区域输入预先训练的交通事故识别模型，得到所述道路图像中的事故图像区域；
提取所述道路图像中所述车辆图像区域、所述生物图像区域、所述拥堵图像区域以及所述事故图像区域以外的图像区域，作为待识别图像区域。
可选的，如图7所示，本申请实施例提供的道路异常识别装置中，提取模块701，具体用于：
将所述原始图像输入到预先训练的道路识别模型中，得到道路边缘特征；
从原始图像中提取所述道路边缘特征对应的图像区域，并将提取的图像区域作为所述道路图像区域。
如图8所示，为本申请实施例提供的一种计算机设备80，包括：处理器802、存储器801和总线，存储器801存储有处理器802可执行的机器可读指令，当计算机设备80运行时，处理器802与存储器801之间通过总线通信，处理器802执行所述机器可读指令时实现上述道路异常识别方法的步骤。
具体地，上述存储器801和处理器802能够为通用的存储器和处理器，这里不做具体限定，当处理器802运行存储器801存储的计算机程序时，能够执行本申请实施例所述的道路异常识别方法的步骤。
本申请实施例提供的一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本申请实施例所述的道路异常识别方法。
本申请实施例提供的道路异常识别方法、装置、设备及介质，在获取到原始图像后，提取原始图像中的道路图像区域，并进一步提取道路图像区域中去除了车辆图像区域和生物图像区域的待识别图像区域，最后基于该待识别图像区域对道路中的异常进行识别，并且，对去除非道路图像、道路图像中的车辆以及生物后的待识别图像进行道路异常识别，既能够减少图像中车辆和生物对道路异常识别的干扰，提高了识别准确度，还能够减少道路异常识别过程中的数据处理量，提高道路异常识别的速度。
本申请实施例所提供的道路异常识别装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种道路异常识别方法，其特征在于，所述道路异常指道路中存在塌方或者异物，包括：
提取原始图像中的道路图像区域；
提取所述道路图像区域中的待识别图像区域，所述待识别图像区域为去除车辆图像区域和生物图像区域后的区域；
若所述待识别图像区域中的目标图像区域不小于预设的区域阈值，则确定所述目标图像区域所对应的道路存在异常，所述目标图像区域为灰度值在预设范围内的像素点组成的图像区域；
所述提取原始图像中的道路图像区域，具体包括：
将所述原始图像输入到预先训练的道路识别模型中，得到道路边缘的坐标值；
从原始图像中提取所述道路边缘的坐标值对应的图像区域，并将提取的图像区域作为所述道路图像区域。
2.根据权利要求1所述的道路异常识别方法，其特征在于，所述提取所述道路图像区域中的待识别图像区域，具体包括：
将所述道路图像区域输入预先训练的车辆识别模型，得到所述道路图像中的车辆图像区域；以及，
将所述道路图像区域输入预先训练的生物识别模型，得到所述道路图像中的生物图像区域；
提取所述道路图像中所述车辆图像区域以及所述生物图像区域以外的图像区域，作为所述待识别图像区域。
3.根据权利要求1所述的道路异常识别方法，其特征在于，所述提取所述道路图像区域中的待识别图像区域，具体包括：
将所述道路图像区域输入预先训练的车辆识别模型，得到所述道路图像中的车辆图像区域；
将所述道路图像区域输入预先训练的生物识别模型，得到所述道路图像中的生物图像区域；以及，
将所述道路图像区域输入预先训练的交通拥堵识别模型，得到所述道路图像中的拥堵图像区域；
提取所述道路图像中所述车辆图像区域、所述生物图像区域以及所述拥堵图像区域以外的图像区域，作为待识别图像区域。
4.根据权利要求1所述的道路异常识别方法，其特征在于，所述提取所述道路图像区域中的待识别图像区域，具体包括：
将所述道路图像区域输入预先训练的车辆识别模型，得到所述道路图像中的车辆图像区域；
将所述道路图像区域输入预先训练的生物识别模型，得到所述道路图像中的生物图像区域；
将所述道路图像区域输入预先训练的交通拥堵识别模型，得到所述道路图像中的拥堵图像区域；以及，
将所述道路图像区域输入预先训练的交通事故识别模型，得到所述道路图像中的事故图像区域；
提取所述道路图像中所述车辆图像区域、所述生物图像区域、所述拥堵图像区域以及所述事故图像区域以外的图像区域，作为待识别图像区域。
5.一种道路异常识别装置，其特征在于，所述道路异常指道路中存在塌方或者异物，包括：
提取模块，用于提取原始图像中的道路图像区域；以及，提取所述道路图像区域中的待识别图像区域，所述待识别图像区域为去除车辆图像区域和生物图像区域后的区域；
确定模块，用于若所述待识别图像区域中的目标图像区域不小于预设的区域阈值，则确定所述目标图像区域所对应的道路存在异常，所述目标图像区域为灰度值在预设范围内的像素点组成的图像区域；
所述提取模块提取原始图像中的道路图像区域，具体包括：
将所述原始图像输入到预先训练的道路识别模型中，得到道路边缘的坐标值；
从原始图像中提取所述道路边缘的坐标值对应的图像区域，并将提取的图像区域作为所述道路图像区域。
6.根据权利要求5所述的道路异常识别装置，其特征在于，所述提取模块，具体用于：
将所述道路图像区域输入预先训练的车辆识别模型，得到所述道路图像中的车辆图像区域；以及，
将所述道路图像区域输入预先训练的生物识别模型，得到所述道路图像中的生物图像区域；
提取所述道路图像中所述车辆图像区域以及所述生物图像区域以外的图像区域，作为所述待识别图像区域。
7.根据权利要求5所述的道路异常识别装置，其特征在于，所述提取模块，具体用于：
将所述道路图像区域输入预先训练的车辆识别模型，得到所述道路图像中的车辆图像区域；
将所述道路图像区域输入预先训练的生物识别模型，得到所述道路图像中的生物图像区域；以及，
将所述道路图像区域输入预先训练的交通拥堵识别模型，得到所述道路图像中的拥堵图像区域；
提取所述道路图像中所述车辆图像区域、所述生物图像区域以及所述拥堵图像区域以外的图像区域，作为待识别图像区域。
8.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令时实现权利要求1至4任一项所述的道路异常识别方法。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至4任一项所述的道路异常识别方法。
CN201811459467.7A 2018-11-30 2018-11-30 一种道路异常识别方法、装置、设备及介质 Active CN109543647B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811459467.7A CN109543647B (zh) 2018-11-30 2018-11-30 一种道路异常识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811459467.7A CN109543647B (zh) 2018-11-30 2018-11-30 一种道路异常识别方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN109543647A CN109543647A (zh) 2019-03-29
CN109543647B true CN109543647B (zh) 2021-07-27

Family

ID=65852053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811459467.7A Active CN109543647B (zh) 2018-11-30 2018-11-30 一种道路异常识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN109543647B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395917B (zh) * 2019-08-15 2024-04-12 纳恩博（北京）科技有限公司 区域的识别方法及装置、存储介质、电子装置
CN112633039A (zh) * 2019-09-24 2021-04-09 成都通甲优博科技有限责任公司 一种拥堵区域过滤的方法和系统
CN113128249B (zh) * 2019-12-26 2022-08-23 合肥美亚光电技术股份有限公司 大蒜的疤识别方法、系统及分选设备
CN112488221B (zh) * 2020-12-07 2022-06-14 电子科技大学 一种基于动态刷新正样本图像库的道路路面异常检测方法
CN112287910B (zh) * 2020-12-25 2021-10-08 智道网联科技(北京)有限公司 道路异常区域检测方法、装置、电子设备及存储介质
US11741721B2 (en) * 2021-05-05 2023-08-29 Gm Cruise Holdings Llc Automatic detection of roadway signage
CN114155447B (zh) * 2021-12-02 2022-06-24 北京中科智易科技有限公司 人工智能大数据采集系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578272A (zh) * 2013-08-30 2014-02-12 百度在线网络技术（北京）有限公司 一种异常路况识别方法及装置
CN104902261A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 用于低清晰度视频流中的路面识别的装置和方法
CN106845424A (zh) * 2017-01-24 2017-06-13 南京大学 基于深度卷积网络的路面遗留物检测方法
CN108205647A (zh) * 2016-12-20 2018-06-26 乐视汽车（北京）有限公司 道路状况监测方法、装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105355039A (zh) * 2015-10-23 2016-02-24 张力 路况信息处理方法及设备
CN106018409B (zh) * 2016-06-29 2019-04-16 哈尔滨工程大学 一种机场跑道异物和裂纹的识别系统及其检测识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578272A (zh) * 2013-08-30 2014-02-12 百度在线网络技术（北京）有限公司 一种异常路况识别方法及装置
CN104902261A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 用于低清晰度视频流中的路面识别的装置和方法
CN108205647A (zh) * 2016-12-20 2018-06-26 乐视汽车（北京）有限公司 道路状况监测方法、装置及电子设备
CN106845424A (zh) * 2017-01-24 2017-06-13 南京大学 基于深度卷积网络的路面遗留物检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"存在车辆干扰的车道线识别";郭磊等;《汽车工程》;20070531;第29卷(第5期);372-376、400 *

Also Published As

Publication number Publication date
CN109543647A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN109543647B (zh) 一种道路异常识别方法、装置、设备及介质
US10762376B2 (en) Method and apparatus for detecting text
CN109426801B (zh) 一种车道线实例检测方法和装置
US11003941B2 (en) Character identification method and device
US11840239B2 (en) Multiple exposure event determination
WO2022083402A1 (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN111368788B (zh) 图像识别模型的训练方法、装置及电子设备
CN112949710B (zh) 一种图像的聚类方法和装置
CN110751678A (zh) 运动目标的检测方法、装置和电子设备
CN112052813B (zh) 染色体间易位识别方法、装置、电子设备及可读存储介质
CN115861400B (zh) 目标对象检测方法、训练方法、装置以及电子设备
CN111898491A (zh) 一种车辆逆向行驶的识别方法、装置及电子设备
CN115359471A (zh) 图像处理及联合检测模型训练方法、装置、设备和存储介质
CN114120071A (zh) 一种带有对象标注框图像的检测方法
CN114332809A (zh) 一种图像识别方法、装置、电子设备和存储介质
CN112288701A (zh) 一种智慧交通图像检测方法
CN114724113B (zh) 道路标牌识别方法、自动驾驶方法、装置和设备
CN116246161A (zh) 领域知识引导下的遥感图像目标精细类型识别方法及装置
CN112837404A (zh) 一种平面对象的三维信息的构建方法及装置
CN116052189A (zh) 一种文本识别方法、系统和存储介质
CN114283364A (zh) 宠物栓绳的检测方法、检测装置和电子设备
CN114708498A (zh) 图像处理方法、装置、电子设备以及存储介质
CN113569829A (zh) 集装箱编码数据识别方法及系统
CN112131947A (zh) 道路指示线提取方法及装置
CN113807236B (zh) 车道线检测的方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 101-8, 1st floor, building 31, area 1, 188 South Fourth Ring Road West, Fengtai District, Beijing

Applicant after: Guoxin Youyi Data Co., Ltd

Address before: 100070, No. 188, building 31, headquarters square, South Fourth Ring Road West, Fengtai District, Beijing

Applicant before: SIC YOUE DATA Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant