CN111523527A - 特种运输车辆监控方法、装置、介质及电子设备 - Google Patents

特种运输车辆监控方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN111523527A
CN111523527A CN202010628646.XA CN202010628646A CN111523527A CN 111523527 A CN111523527 A CN 111523527A CN 202010628646 A CN202010628646 A CN 202010628646A CN 111523527 A CN111523527 A CN 111523527A
Authority
CN
China
Prior art keywords
image frames
transport vehicle
special transport
group
license plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010628646.XA
Other languages
English (en)
Other versions
CN111523527B (zh
Inventor
何丽英
刘春�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202010628646.XA priority Critical patent/CN111523527B/zh
Publication of CN111523527A publication Critical patent/CN111523527A/zh
Application granted granted Critical
Publication of CN111523527B publication Critical patent/CN111523527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开涉及人工智能和智慧城管领域，揭示了一种特种运输车辆监控方法、装置、介质及电子设备。该方法包括：从视频监控装置获取采集的视频图像数据；将所述视频图像数据分成图像帧；将图像帧分为多个组；针对每一组，随机抽取第一预定数目个图像帧；对抽取的图像帧进行识别，以确定在各组要识别的目标图像帧，并从目标图像帧提取包含特种运输车辆的图像帧；获得图像帧中特种运输车辆的车牌信息；将车牌信息与预先建立的特种运输车辆备案信息库中相应类型的特种运输车辆备案信息进行对比，以确定车牌信息对应的特种运输车辆是否合法，并在不合法时将车牌信息输出。此方法下，实现了对特种运输车辆的高效监管，提高了监管效率，还降低了计算开销。

Description

特种运输车辆监控方法、装置、介质及电子设备
技术领域
本公开涉及人工智能技术领域，应用于智慧城管领域，特别涉及一种特种运输车辆监控方法、装置、介质及电子设备。
背景技术
目前，特种运输车辆，比如生猪运输车辆、危化品运输车辆等的运输活动在时间和空间上都比较分散，传统的人工检查的手段存在较大的局限性，难以实时进行监管，还要浪费巨大的监管成本，而利用图像识别等新兴技术来监控则需要消耗大量的计算资源。
发明内容
在人工智能和智慧城管技术领域，为了解决上述技术问题，本公开的目的在于提供一种特种运输车辆监控方法、装置、介质及电子设备。
根据本公开的一方面，提供了一种特种运输车辆监控方法，所述方法包括：
从在路口和/或生产场所布设的视频监控装置获取由所述视频监控装置采集的视频图像数据；
将所述视频图像数据分成图像帧；
将所有所述图像帧分为多个组；
针对每一组，随机抽取第一预定数目个图像帧；
对从各组抽取的图像帧进行识别，以根据在各组抽取的图像帧中所包括的包含预设类型的特种运输车辆的图像帧的数目确定在各组要识别的目标图像帧，并对所述目标图像帧进行识别以提取各组中包含预设类型的特种运输车辆的图像帧；
对提取得到的所述图像帧进行识别，以获得所述图像帧中所述预设类型的特种运输车辆的车牌信息；
将所述车牌信息与预先建立的特种运输车辆备案信息库中相应类型的特种运输车辆备案信息进行对比，以确定所述车牌信息对应的特种运输车辆是否合法，并在所述车牌信息对应的特种运输车辆不合法的情况下将所述车牌信息输出，其中，所述特种运输车辆备案信息包括车牌信息。
根据本公开的另一方面，提供了一种特种运输车辆监控装置，所述装置包括：
获取模块，被配置为从在路口和/或生产场所布设的视频监控装置获取由所述视频监控装置采集的视频图像数据；
提取模块，被配置为将所述视频图像数据分成图像帧；
将所有所述图像帧分为多个组；
针对每一组，随机抽取第一预定数目个图像帧；以及
对从各组抽取的图像帧进行识别，以根据在各组抽取的图像帧中所包括的包含预设类型的特种运输车辆的图像帧的数目确定在各组要识别的目标图像帧，并对所述目标图像帧进行识别以提取各组中包含预设类型的特种运输车辆的图像帧；
识别模块，被配置为对提取得到的所述图像帧进行识别，以获得所述图像帧中所述预设类型的特种运输车辆的车牌信息；
判断和输出模块，被配置为将所述车牌信息与预先建立的特种运输车辆备案信息库中相应类型的特种运输车辆备案信息进行对比，以确定所述车牌信息对应的特种运输车辆是否合法，并在所述车牌信息对应的特种运输车辆不合法的情况下将所述车牌信息输出，其中，所述特种运输车辆备案信息包括车牌信息。
根据本公开的另一方面，提供了一种计算机可读程序介质，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行如前所述的方法。
根据本公开的另一方面，提供了一种电子设备，所述电子设备包括：
处理器；
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如前所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开所提供的特种运输车辆监控方法，包括如下步骤：从在路口和/或生产场所布设的视频监控装置获取由所述视频监控装置采集的视频图像数据；将所述视频图像数据分成图像帧；将所有所述图像帧分为多个组；针对每一组，随机抽取第一预定数目个图像帧；对从各组抽取的图像帧进行识别，以根据在各组抽取的图像帧中所包括的包含预设类型的特种运输车辆的图像帧的数目确定在各组要识别的目标图像帧，并对所述目标图像帧进行识别以提取各组中包含预设类型的特种运输车辆的图像帧；对提取得到的所述图像帧进行识别，以获得所述图像帧中所述预设类型的特种运输车辆的车牌信息；将所述车牌信息与预先建立的特种运输车辆备案信息库中相应类型的特种运输车辆备案信息进行对比，以确定所述车牌信息对应的特种运输车辆是否合法，并在所述车牌信息对应的特种运输车辆不合法的情况下将所述车牌信息输出，其中，所述特种运输车辆备案信息包括车牌信息。
此方法下，通过先从视频监控装置获取视频图像数据，然后再从视频图像数据中提取图像帧并识别出图像帧中特种运输车辆的车牌信息，最后将车牌信息与特种运输车辆备案信息进行对比，得到不合法的特种运输车辆的车牌信息。因此，实现了对特种运输车辆的高效监管，降低了特种运输车辆的监管成本，提高了监管效率；另外，通过先将视频图像数据分成图像帧并将图像帧分为多个组，然后通过对各组图像帧进行抽样，并根据抽样的识别结果确定在各组图像帧中进行哪些图像帧的识别，因此可以不用对所有图像帧进行识别，在一定程度上降低要识别的图像帧的数量，从而可以降低计算开销。本方案可应用于智慧城管领域中，从而推动智慧城市的建设。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种特种运输车辆监控方法的系统架构示意图。
图2是根据一示例性实施例示出的一种特种运输车辆监控方法的流程图。
图3是根据图2对应实施例示出的一实施例的步骤240之前步骤以及步骤240的细节的流程图。
图4是根据一示例性实施例示出的一种特种运输车辆监控装置的框图。
图5是根据一示例性实施例示出的一种实现上述特种运输车辆监控方法的电子设备示例框图。
图6是根据一示例性实施例示出的一种实现上述特种运输车辆监控方法的计算机可读存储介质。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。
本公开首先提供了一种特种运输车辆监控方法。特种运输是指对非常规物品使用特殊车辆进行运输，在运输、装卸、保管过程中需要对要运输的货物采取特殊措施。通常，特种运输车辆不能随意运输，在政策、法规等约束下，特种运输车辆往往只能在规定的时间和区域内运输。目前，对特种运输车辆进行监管主要是通过交警等执法部门在现场监管，监管效率低下、监管成本高，而通过本公开提供的特种运输车辆监控方法则可以实现对特种运输车辆的高效监控，本方案属于智慧城管领域，通过本方案能够推动智慧城市的建设。
本公开的实施终端可以是任何具有运算、处理以及通信功能的设备，该设备可以与外部设备相连，用于接收或者发送数据，具体可以是便携移动设备，例如智能手机、平板电脑、笔记本电脑、PDA（Personal Digital Assistant）等，也可以是固定式设备，例如，计算机设备、现场终端、台式电脑、服务器、工作站等，还可以是多个设备的集合，比如云计算的物理基础设施或者服务器集群。
可选地，本公开的实施终端可以为服务器或者云计算的物理基础设施。
图1是根据一示例性实施例示出的一种特种运输车辆监控方法的系统架构示意图。如图1所示，该系统架构包括服务器110、多个视频监控装置120、数据库130以及用户终端140，数据库130为特种运输车辆备案信息库，其中包括至少一种类型的特种运输车辆备案信息。各视频监控装置120、数据库130以及用户终端140均通过通信链路与服务器110相连，它们可以向服务器110发送数据，也可以接收来自服务器110的数据，各视频监控装置120可以设置在各种特种运输车辆能够出现的场所，比如可以是马路路口或者是能够生产或者利用需要特种运输车辆来运输的物品的生产场所等。
在图1实施例中，服务器110为实施终端。当本公开提供的一种特种运输车辆监控方法应用于图1所示的系统架构中时，一个具体过程可以是这样的：各视频监控装置120不断对覆盖范围内的区域进行视频采集，并经由通信链路将采集得到的视频图像数据发送给服务器110。服务器110可以对视频图像数据进行处理，得到视频图像数据中的车牌信息，具体而言，服务器110先将视频图像数据分成图像帧，然后对图像帧进行识别从而得到车牌信息；最后，根据车牌信息在数据库130进行检索，从而识别出该车牌信息对应的特种运输车辆是否合法；当不合法时，会将对应的车牌信息发送至用户终端140，由用户终端140进行显示，用户终端140比如可以是负责对特种运输车辆进行监控的执法人员使用的终端。这样，就实现了对特种运输车辆的监控。
值得一提的是，图1仅为本公开的一个实施例。虽然在本实施例中的实施终端为服务器，但在其他实施例中，实施终端可以为如前所述的各种终端或设备；虽然在本实施例中，本公开的实施终端、固设了特种运输车辆备案信息库的终端以及输出车牌信息的终端为不同的终端，但在其他实施例或者具体应用中，上述三种终端中的任意两种及以上的终端可以为相同的终端，本公开对此不作任何限定，本公开的保护范围也不应因此而受到任何限制。
图2是根据一示例性实施例示出的一种特种运输车辆监控方法的流程图。本实施例提供的特种运输车辆监控方法可以由服务器执行，如图2所示，包括以下步骤：
步骤210，从在路口和/或生产场所布设的视频监控装置获取由所述视频监控装置采集的视频图像数据。
特种运输车辆可以是应用于各领域的专用车辆。比如，特种运输车辆可以是生猪屠宰领域的生猪调运车辆，对应的生产场所可以是定点屠宰场；特种运输车辆也可以是危险品运输领域的危化品运输车辆，对应的生产场所可以是化工厂。
视频监控装置是可以对视野内场景进行视频图像数据的采集的装置。
视频监控装置采集得到的视频图像数据可以经由有线或者无线信号传输介质传至本端。
步骤240，将所述视频图像数据分成图像帧。
视频图像数据一般以视频文件的形式存在，因此需要先将视频图像数据分成图像帧，然后进行特定的图像帧的提取。
图3是根据图2对应实施例示出的一实施例的步骤240之前步骤以及步骤240的细节的流程图。如图3所示，包括以下步骤：
步骤220，获取要对所述视频图像数据进行分帧的时间段。
所述时间段为与预设类型的特种运输车辆相对应的预定义的高频违法时间段。
在一个实施例中，要对所述视频图像数据进行分帧的时间段是根据经验预设的时间段。
比如，根据经验判断晚上24点至凌晨5点为预设类型的特种运输车辆的高频违法时间段，则可以将该时间段作为要对所述视频图像数据进行分帧的时间段。
在一个实施例中，所述获取要对所述视频图像数据进行分帧的时间段，包括：
对历史上预设类型的特种运输车辆的在各预定时间段内的违法次数进行统计，以确定违法次数最多的时间段；
将所述违法次数最多的时间段作为要对所述视频图像数据进行分帧的时间段。
比如，从每天的0点开始，以每四个小时作为一个时间段，将每天划分为6个时间段。例如00:00-04:00可以为一个时间段，04:00-08:00又可以为一个时间段，可以统计历史上预设类型的特种运输车辆在各时间段内的违法次数，将次数最高的时间段作为违法次数最多的时间段。比如，如果在历史上，00:00-04:00以及04:00-08:00的违法次数分别是3610、560，而00:00-04:00在一天中的违法次数是最多的，则可以将00:00-04:00作为违法次数最多的时间段。
步骤230，在所有所述视频图像数据中获取在所述时间段内的视频图像数据。
视频图像数据是时间维度上数据，因此，可以通过时间对视频图像数据进行筛选，即可以仅获取在一个时间段内的视频图像数据。
步骤240'，将在所述时间段内的视频图像数据分成图像帧。
在图3所示实施例中，通过仅对高频违法时间段的视频图像数据进行分帧，并对分成的图像帧进行识别，实现了有针对性的进行图像帧的识别，提高了对特种运输车辆的监控效率，也由于不需要对全部图像帧进行识别而降低了计算开销。
步骤250，将所有所述图像帧分为多个组。
组的数目小于所有所述图像帧的数目。每一组包括一个或多个图像帧，各组包含的图像帧的数目可以相同，也可以不同。
在一个实施例中，所述将所有所述图像帧分为多个组，包括：
针对每一视频监控装置对应的图像帧，将该视频监控装置对应的图像帧分为第二预定数目组。
在本实施例中，通过对各视频监控装置对应的图像帧逐一进行分组，使得各视频监控装置采集的视频图像数据都能得到有效识别。
在一个实施例中，所述将所有所述图像帧分为多个组，包括：
按照各图像帧的先后顺序，从未分组的第一个图像帧开始，每次选取第四预定数目个图像帧分为一组，直至未分组的图像帧的数目小于或等于第四预定数目，其中，当未分组的图像帧的数目小于或等于第四预定数目时，将所有未分组的图像帧分为一组。
步骤260，针对每一组，随机抽取第一预定数目个图像帧。
对于每一组图像帧，都会从中随机选出第一预定数目个图像帧。第一预定数目一般小于各组包含的图像帧的数目。
步骤270，对从各组抽取的图像帧进行识别，以根据在各组抽取的图像帧中所包括的包含预设类型的特种运输车辆的图像帧的数目确定在各组要识别的目标图像帧，并对所述目标图像帧进行识别以提取各组中包含预设类型的特种运输车辆的图像帧。
预设类型的特种运输车辆比如可以是生猪运输车辆或者危化品运输车辆。
可以利用多种算法对视频图像数据中的图像帧进行识别来判断图像帧中是否包含预设类型的特种运输车辆，比如可以通过卷积神经网络、深度学习模型等机器学习模型来进行图像帧的识别，具体而言，通过预先利用包括大量图像帧样本的样本集对深度学习模型进行训练，图像帧样本集中的每一图像帧样本均标记了标签，该标签记录了是否包含预设类型的特种运输车辆的信息，训练结束后，使用训练好的深度学习模型即可进行图像帧的识别，从而可以提取包含预设类型的特种运输车辆的图像帧。
在一个实施例中，所述对从各组抽取的图像帧进行识别，以根据在各组抽取的图像帧中所包括的包含预设类型的特种运输车辆的图像帧的数目确定在各组要识别的目标图像帧，并对所述目标图像帧进行识别以提取各组中包含预设类型的特种运输车辆的图像帧，包括：
针对从每一组抽取的图像帧，若在该组抽取的图像帧中包括至少一个包含预设类型的特种运输车辆的图像帧，则将该组的所有图像帧作为目标图像帧，并对该组的每一目标图像帧进行识别以提取该组中包含预设类型的特种运输车辆的图像帧；
针对从每一组抽取的图像帧，若在该组抽取的图像帧中不包括包含预设类型的特种运输车辆的图像帧，则在该组的未被抽取的图像帧中随机抽取第三预定数目个图像帧作为目标图像帧，并对所述目标图像帧逐一进行识别以提取该组中包含预设类型的特种运输车辆的图像帧。
各组的图像帧由于数量过多，很可能有大量的图像帧不包含预设类型的特种运输车辆。在本实施例中，一方面，通过在一个组内抽取的图像帧中包括至少一个包含预设类型的特种运输车辆的图像帧的情况下，对该组的每一图像帧进行识别，降低了遗漏的提取的包含预设类型的特种运输车辆的图像帧的数量；另一方面，在一个组内抽取的图像帧中不包括包含预设类型的特种运输车辆的图像帧的情况下，说明该组中包括包含预设类型的特种运输车辆的图像帧的可能性低，此时通过在该组的未被抽取的图像帧中只随机抽取第三预定数目个图像帧并对第三预定数目个图像帧逐一进行识别，而不对其他图像帧进行识别，在减少了遗漏的提取到的包含预设类型的特种运输车辆的图像帧的数量的同时，减少了要识别的图像帧的数量，从而降低了计算开销。
在一个实施例中，所述对从各组抽取的图像帧进行识别，以根据在各组抽取的图像帧中所包括的包含预设类型的特种运输车辆的图像帧的数目确定在各组要识别的目标图像帧，并对所述目标图像帧进行识别以提取各组中包含预设类型的特种运输车辆的图像帧，包括：
针对从每一组抽取的图像帧，若在该组抽取的图像帧中包括至少一个包含预设类型的特种运输车辆的图像帧，则将该组的所有图像帧作为目标图像帧，并对该组的每一目标图像帧进行识别以提取该组中包含预设类型的特种运输车辆的图像帧，否则，则跳过对该组的图像帧的识别。
在本实施例中，在一个组内抽取的图像帧中不包括包含预设类型的特种运输车辆的图像帧的情况下，说明该组中包括包含预设类型的特种运输车辆的图像帧的可能性低，此时通过跳过对该组的图像帧的识别，在使遗漏的提取到的包含预设类型的特种运输车辆的图像帧的数量保持在较低水平的同时，大大减少了要识别的图像帧的数量，从而降低了计算开销。
在一个实施例中，所述对所述目标图像帧进行识别以提取各组中包含预设类型的特种运输车辆的图像帧，包括：
获取包含车辆的目标图像帧，作为待识别目标图像帧；
提取各待识别目标图像帧的车辆轮廓图像；
基于各待识别目标图像帧的车辆轮廓图像获取各待识别目标图像帧的几何特征值；
针对每一待识别目标图像帧，判断该待识别目标图像帧的几何特征值是否在相应的几何特征值阈值范围；
如果是，则确定该待识别目标图像帧中包含预设类型的特种运输车辆，否则，确定该待识别目标图像帧中不包含预设类型的特种运输车辆。
可以利用各种方式提取待识别目标图像帧中的车辆轮廓图像，比如可以通过先从待识别目标图像帧中分割出车辆图像，然后对车辆图像进行二值化、填充、修饰、细化等一系列处理，即可得到车辆轮廓图像。
车辆的几何特征是表示车辆的几何关系的特征，比如可以是表示车辆整体以及内部结构之间尺寸关系的几何特征。
例如，车辆的几何特征可以包括：顶篷长度与车辆长度的比值、顶篷长度与车辆高度的比值、以顶篷中垂线为界，车辆前后两部分长度的比值、车辆长度与车辆高度的比值等。
不同类型的车辆，特别是不同类型的特种运输车辆的几何特征往往是不同的，因此，可以利用几何特征值进行预设类型的特种运输车辆的图像帧的识别和提取。
步骤280，对提取得到的所述图像帧进行识别，以获得所述图像帧中所述预设类型的特种运输车辆的车牌信息。
从视频图像数据中提取图像帧所使用的模型或者算法可以与从图像帧中获取车牌信息时使用的模型或算法不同。
可以利用各种车牌识别算法对图像帧进行识别，比如，可以利用OCR （OpticalCharacter Recognition，光学字符识别）算法对图像帧中的车牌信息进行识别。
在一个实施例中，所述对所述图像帧进行识别，以获得所述图像帧中所述预设类型的特种运输车辆的车牌信息，包括：
获取包括同一特种运输车辆的图像帧，并分为一组；
针对每一组图像帧，对该组图像帧进行识别，以获取所述预设类型的特种运输车辆的车牌信息；
针对从每一组图像帧，在该组图像帧对应的车牌信息中获取最多的车牌信息作为该组图像帧对应的所述预设类型的特种运输车辆的车牌信息。
在本实施例中，通过将同一特种运输车辆的图像帧分为一组，对从同一组的图像帧识别出的车牌信息中获取最多的车牌信息，由于识别出同一车牌信息的图像帧的数量越多，说明识别结果越准确，所以可以提高识别出的车牌信息的准确性。
步骤290，将所述车牌信息与预先建立的特种运输车辆备案信息库中相应类型的特种运输车辆备案信息进行对比，以确定所述车牌信息对应的特种运输车辆是否合法，并在所述车牌信息对应的特种运输车辆不合法的情况下将所述车牌信息输出。
其中，所述特种运输车辆备案信息包括车牌信息。
预先建立的特种运输车辆备案信息库可以通过基于获取相应类型的特种运输车辆的监督管理部门的备案信息来建立。
比如，对于生猪运输车辆这一种特种运输车辆，可以通过获取畜牧兽医主管部门的备案信息来建立相应的特种运输车辆备案信息库。
在一个实施例中，所述将所述车牌信息与预先建立的特种运输车辆备案信息库中相应类型的特种运输车辆备案信息进行对比，以确定所述车牌信息对应的特种运输车辆是否合法，并在所述车牌信息对应的特种运输车辆不合法的情况下将所述车牌信息输出，包括：
判断预先建立的特种运输车辆备案信息库中相应类型的特种运输车辆备案信息中是否存在包括的车牌信息与所述车牌信息一致的特种运输车辆备案信息；
如果否，则确定所述车牌信息对应的特种运输车辆不合法；
如果是，则判断所述特种运输车辆备案信息是否过期；
在所述特种运输车辆备案信息未过期的情况下，确定所述车牌信息对应的特种运输车辆合法，否则，确定所述车牌信息对应的特种运输车辆不合法。
在本实施例中，在判断车牌信息对应的特种运输车辆是否合法时，不仅比对了车牌信息，还判断了特种运输车辆备案信息是否过期，因此提高了对特种运输车辆监控的可靠性。
综上所述，根据图2实施例提供的特种运输车辆监控方法，通过先从视频监控装置获取视频图像数据，然后再从视频图像数据中提取图像帧并识别出图像帧中特种运输车辆的车牌信息，最后将车牌信息与特种运输车辆备案信息进行对比，得到不合法的特种运输车辆的车牌信息。因此，实现了对特种运输车辆的高效监管，降低了特种运输车辆的监管成本，提高了监管效率；另外，通过先将视频图像数据分成图像帧并将图像帧分为多个组，然后通过对各组图像帧进行抽样，并根据抽样的识别结果确定在各组图像帧中进行哪些图像帧的识别，因此可以不用对所有图像帧进行识别，在一定程度上降低要识别的图像帧的数量，降低计算开销，本方案可应用于智慧城管领域中，从而推动智慧城市的建设。
本公开还提供了一种特种运输车辆监控装置，以下是本公开的装置实施例。
图4是根据一示例性实施例示出的一种特种运输车辆监控装置的框图。如图4所示，装置400包括：
获取模块410，被配置为从在路口和/或生产场所布设的视频监控装置获取由所述视频监控装置采集的视频图像数据；
提取模块420，被配置为将所述视频图像数据分成图像帧；
将所有所述图像帧分为多个组；
针对每一组，随机抽取第一预定数目个图像帧；以及
对从各组抽取的图像帧进行识别，以根据在各组抽取的图像帧中所包括的包含预设类型的特种运输车辆的图像帧的数目确定在各组要识别的目标图像帧，并对所述目标图像帧进行识别以提取各组中包含预设类型的特种运输车辆的图像帧；
识别模块430，被配置为对提取得到的所述图像帧进行识别，以获得所述图像帧中所述预设类型的特种运输车辆的车牌信息；
判断和输出模块440，被配置为将所述车牌信息与预先建立的特种运输车辆备案信息库中相应类型的特种运输车辆备案信息进行对比，以确定所述车牌信息对应的特种运输车辆是否合法，并在所述车牌信息对应的特种运输车辆不合法的情况下将所述车牌信息输出，其中，所述特种运输车辆备案信息包括车牌信息。
根据本公开的第三方面，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图5来描述根据本发明的这种实施方式的电子设备500。图5显示的电子设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于：上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件（包括存储单元520和处理单元510）的总线530。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元510执行，使得所述处理单元510执行本说明书上述“实施例方法”部分中描述的根据本发明各种示例性实施方式的步骤。
存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元（RAM）521和/或高速缓存存储单元522，还可以进一步包括只读存储单元（ROM）523。
存储单元520还可以包括具有一组（至少一个）程序模块525的程序/实用工具524，这样的程序模块525包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备500也可以与一个或多个外部设备700（例如键盘、指向设备、蓝牙设备等）通信，还可与一个或者多个使得用户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口550进行。并且，电子设备500还可以通过网络适配器560与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器560通过总线530与电子设备500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、终端装置、或者网络设备等）执行根据本公开实施方式的方法。
根据本公开的第四方面，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种特种运输车辆监控方法，其特征在于，所述方法包括：
从在路口和/或生产场所布设的视频监控装置获取由所述视频监控装置采集的视频图像数据；
将所述视频图像数据分成图像帧；
将所有所述图像帧分为多个组；
针对每一组，随机抽取第一预定数目个图像帧；
对从各组抽取的图像帧进行识别，以根据在各组抽取的图像帧中所包括的包含预设类型的特种运输车辆的图像帧的数目确定在各组要识别的目标图像帧，并对所述目标图像帧进行识别以提取各组中包含预设类型的特种运输车辆的图像帧；
对提取得到的所述图像帧进行识别，以获得所述图像帧中所述预设类型的特种运输车辆的车牌信息；
将所述车牌信息与预先建立的特种运输车辆备案信息库中相应类型的特种运输车辆备案信息进行对比，以确定所述车牌信息对应的特种运输车辆是否合法，并在所述车牌信息对应的特种运输车辆不合法的情况下将所述车牌信息输出，其中，所述特种运输车辆备案信息包括车牌信息。
2.根据权利要求1所述的方法，其特征在于，所述将所有所述图像帧分为多个组，包括：
针对每一视频监控装置对应的图像帧，将该视频监控装置对应的图像帧分为第二预定数目组。
3.根据权利要求1所述的方法，其特征在于，所述对从各组抽取的图像帧进行识别，以根据在各组抽取的图像帧中所包括的包含预设类型的特种运输车辆的图像帧的数目确定在各组要识别的目标图像帧，并对所述目标图像帧进行识别以提取各组中包含预设类型的特种运输车辆的图像帧，包括：
针对从每一组抽取的图像帧，若在该组抽取的图像帧中包括至少一个包含预设类型的特种运输车辆的图像帧，则将该组的所有图像帧作为目标图像帧，并对该组的每一目标图像帧进行识别以提取该组中包含预设类型的特种运输车辆的图像帧；
针对从每一组抽取的图像帧，若在该组抽取的图像帧中不包括包含预设类型的特种运输车辆的图像帧，则在该组的未被抽取的图像帧中随机抽取第三预定数目个图像帧作为目标图像帧，并对所述目标图像帧逐一进行识别以提取该组中包含预设类型的特种运输车辆的图像帧。
4.根据权利要求1所述的方法，其特征在于，所述对从各组抽取的图像帧进行识别，以根据在各组抽取的图像帧中所包括的包含预设类型的特种运输车辆的图像帧的数目确定在各组要识别的目标图像帧，并对所述目标图像帧进行识别以提取各组中包含预设类型的特种运输车辆的图像帧，包括：
针对从每一组抽取的图像帧，若在该组抽取的图像帧中包括至少一个包含预设类型的特种运输车辆的图像帧，则将该组的所有图像帧作为目标图像帧，并对该组的每一目标图像帧进行识别以提取该组中包含预设类型的特种运输车辆的图像帧，否则，则跳过对该组的图像帧的识别。
5.根据权利要求1所述的方法，其特征在于，在将所述视频图像数据分成图像帧之前，所述方法还包括：
获取要对所述视频图像数据进行分帧的时间段，所述时间段为与预设类型的特种运输车辆相对应的预定义的高频违法时间段；
在所有所述视频图像数据中获取在所述时间段内的视频图像数据；
所述将所述视频图像数据分成图像帧，包括：
将在所述时间段内的视频图像数据分成图像帧。
6.根据权利要求1所述的方法，其特征在于，所述将所有所述图像帧分为多个组，包括：
按照各图像帧的先后顺序，从未分组的第一个图像帧开始，每次选取第四预定数目个图像帧分为一组，直至未分组的图像帧的数目小于或等于第四预定数目，其中，当未分组的图像帧的数目小于或等于第四预定数目时，将所有未分组的图像帧分为一组。
7.根据权利要求1-6任意一项所述的方法，其特征在于，所述将所述车牌信息与预先建立的特种运输车辆备案信息库中相应类型的特种运输车辆备案信息进行对比，以确定所述车牌信息对应的特种运输车辆是否合法，并在所述车牌信息对应的特种运输车辆不合法的情况下将所述车牌信息输出，包括：
判断预先建立的特种运输车辆备案信息库中相应类型的特种运输车辆备案信息中是否存在包括的车牌信息与所述车牌信息一致的特种运输车辆备案信息；
如果否，则确定所述车牌信息对应的特种运输车辆不合法；
如果是，则判断所述特种运输车辆备案信息是否过期；
在所述特种运输车辆备案信息未过期的情况下，确定所述车牌信息对应的特种运输车辆合法，否则，确定所述车牌信息对应的特种运输车辆不合法。
8.一种特种运输车辆监控装置，其特征在于，所述装置包括：
获取模块，被配置为从在路口和/或生产场所布设的视频监控装置获取由所述视频监控装置采集的视频图像数据；
提取模块，被配置为将所述视频图像数据分成图像帧；
将所有所述图像帧分为多个组；
针对每一组，随机抽取第一预定数目个图像帧；以及
对从各组抽取的图像帧进行识别，以根据在各组抽取的图像帧中所包括的包含预设类型的特种运输车辆的图像帧的数目确定在各组要识别的目标图像帧，并对所述目标图像帧进行识别以提取各组中包含预设类型的特种运输车辆的图像帧；
识别模块，被配置为对提取得到的所述图像帧进行识别，以获得所述图像帧中所述预设类型的特种运输车辆的车牌信息；
判断和输出模块，被配置为将所述车牌信息与预先建立的特种运输车辆备案信息库中相应类型的特种运输车辆备案信息进行对比，以确定所述车牌信息对应的特种运输车辆是否合法，并在所述车牌信息对应的特种运输车辆不合法的情况下将所述车牌信息输出，其中，所述特种运输车辆备案信息包括车牌信息。
9.一种计算机可读程序介质，其特征在于，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行根据权利要求1至7中任一项所述的方法。
10.一种电子设备，其特征在于，所述电子设备包括：
处理器；
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1至7任一项所述的方法。
CN202010628646.XA 2020-07-02 2020-07-02 特种运输车辆监控方法、装置、介质及电子设备 Active CN111523527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010628646.XA CN111523527B (zh) 2020-07-02 2020-07-02 特种运输车辆监控方法、装置、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010628646.XA CN111523527B (zh) 2020-07-02 2020-07-02 特种运输车辆监控方法、装置、介质及电子设备

Publications (2)

Publication Number Publication Date
CN111523527A true CN111523527A (zh) 2020-08-11
CN111523527B CN111523527B (zh) 2020-10-27

Family

ID=71911968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010628646.XA Active CN111523527B (zh) 2020-07-02 2020-07-02 特种运输车辆监控方法、装置、介质及电子设备

Country Status (1)

Country Link
CN (1) CN111523527B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950953A (zh) * 2021-02-19 2021-06-11 合肥海赛信息科技有限公司 一种基于视频分析的特种车辆智能检测方法
CN113469158A (zh) * 2021-09-06 2021-10-01 智广海联(天津)大数据技术有限公司 基于卷积神经网络的非法危化品运输车辆识别方法及系统
CN113554867A (zh) * 2021-06-23 2021-10-26 广州交信投科技股份有限公司 一种基于视频智能分析的危运车辆告警方法
WO2024001356A1 (zh) * 2022-06-30 2024-01-04 比亚迪股份有限公司 车辆的检测方法、控制器、程序和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100238289A1 (en) * 2009-03-23 2010-09-23 Chih-Hsien Wu In-car audio/video recording rearview mirror assembly
CN104123843A (zh) * 2014-07-25 2014-10-29 中国科学院自动化研究所 一种非法营运车辆检测系统及方法
CN105303153A (zh) * 2014-07-23 2016-02-03 中兴通讯股份有限公司 一种车辆车牌识别方法及装置
CN105608906A (zh) * 2016-03-29 2016-05-25 成都理工大学 高速公路机动车非法占用应急车道的监控系统及实现方法
CN107273889A (zh) * 2017-04-27 2017-10-20 浙江工业大学 一种基于统计的车牌识别方法
CN107808524A (zh) * 2017-11-30 2018-03-16 中山大学 一种基于无人机的道路交叉口车辆检测方法
CN110310488A (zh) * 2019-07-11 2019-10-08 何世全 一种大型货车违章消息生成方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100238289A1 (en) * 2009-03-23 2010-09-23 Chih-Hsien Wu In-car audio/video recording rearview mirror assembly
CN105303153A (zh) * 2014-07-23 2016-02-03 中兴通讯股份有限公司 一种车辆车牌识别方法及装置
CN104123843A (zh) * 2014-07-25 2014-10-29 中国科学院自动化研究所 一种非法营运车辆检测系统及方法
CN105608906A (zh) * 2016-03-29 2016-05-25 成都理工大学 高速公路机动车非法占用应急车道的监控系统及实现方法
CN107273889A (zh) * 2017-04-27 2017-10-20 浙江工业大学 一种基于统计的车牌识别方法
CN107808524A (zh) * 2017-11-30 2018-03-16 中山大学 一种基于无人机的道路交叉口车辆检测方法
CN110310488A (zh) * 2019-07-11 2019-10-08 何世全 一种大型货车违章消息生成方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950953A (zh) * 2021-02-19 2021-06-11 合肥海赛信息科技有限公司 一种基于视频分析的特种车辆智能检测方法
CN113554867A (zh) * 2021-06-23 2021-10-26 广州交信投科技股份有限公司 一种基于视频智能分析的危运车辆告警方法
CN113469158A (zh) * 2021-09-06 2021-10-01 智广海联(天津)大数据技术有限公司 基于卷积神经网络的非法危化品运输车辆识别方法及系统
WO2024001356A1 (zh) * 2022-06-30 2024-01-04 比亚迪股份有限公司 车辆的检测方法、控制器、程序和存储介质

Also Published As

Publication number Publication date
CN111523527B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN111523527B (zh) 特种运输车辆监控方法、装置、介质及电子设备
CN109657564A (zh) 一种人员在岗检测方法、装置、存储介质及终端设备
CN110428091A (zh) 基于数据分析的风险识别方法及相关设备
CN110177255B (zh) 一种基于案件调度的视频信息发布方法及系统
CN102902752A (zh) 一种日志监控方法及系统
CN102902960B (zh) 基于高斯建模与目标轮廓的遗留物检测方法
CN103294775A (zh) 基于地理时空约束的警务云图像识别车辆管控系统
CN111405475B (zh) 一种多维感知数据碰撞融合分析方法和装置
CN101668291A (zh) 基于3g网络的多功能多采集的便携式身份识别装置及方法
CN111476685B (zh) 行为分析方法、装置及设备
CN108563651A (zh) 一种多视频的目标搜索方法、装置及设备
CN107273819A (zh) 一种公交车人数统计应用方法
CN111062562A (zh) 一种社区网格服务联动处置控制方法及系统
CN111723772B (zh) 基于图像识别的易腐垃圾识别方法、装置及计算机设备
CN108288025A (zh) 一种车载视频监控方法、装置及设备
CN112364176A (zh) 一种人员行动轨迹的构建方法、设备及系统
CN113971821A (zh) 驾驶员信息确定方法、装置、终端设备及存储介质
CN103761879A (zh) 一种车辆套牌识别方法及系统
CN112278647A (zh) 智能垃圾分类系统及其实现方法
CN114283361A (zh) 状态信息的确定方法和装置、存储介质及电子装置
CN112468509A (zh) 一种基于深度学习技术的流量数据自动检测方法及装置
CN112364072A (zh) 一种涉车非营运车营运发现方法、装置、设备和介质
CN111950969A (zh) 一种农村综合社会治理系统
CN116561372B (zh) 基于多算法引擎的人员聚档方法、装置及可读存储介质
CN112287186B (zh) 一种用于城市管理的智能分类方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant