CN111914648A - 车辆检测和识别的方法及装置、电子设备、存储介质 - Google Patents

车辆检测和识别的方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN111914648A
CN111914648A CN202010622076.3A CN202010622076A CN111914648A CN 111914648 A CN111914648 A CN 111914648A CN 202010622076 A CN202010622076 A CN 202010622076A CN 111914648 A CN111914648 A CN 111914648A
Authority
CN
China
Prior art keywords
vehicle
vehicle image
target
detected
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010622076.3A
Other languages
English (en)
Inventor
邓练兵
李皓
李大铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Dahengqin Technology Development Co Ltd
Original Assignee
Zhuhai Dahengqin Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Dahengqin Technology Development Co Ltd filed Critical Zhuhai Dahengqin Technology Development Co Ltd
Priority to CN202010622076.3A priority Critical patent/CN111914648A/zh
Publication of CN111914648A publication Critical patent/CN111914648A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供了一种车辆检测和识别的方法及装置、电子设备、存储介质，其中方法包括：接收登陆所述门户系统的用户通过所述统一服务网关发送的调用所述服务接口的请求；依据所述请求获取对应的待测视频数据，并对所述待测视频数据的目标检测区域进行车辆检测，得到初始车辆图像集；对所述初始车辆图像集的车辆图像识别得到所述车辆图像对应的车型信息、颜色信息以及车牌信息；将所述车辆图像、对应的车型信息、对应的颜色信息及对应的车牌信息存储为结构化数据；可以实现根据车辆特征对视频数据进行处理，通过构建车辆的结构化数据并存储，可以提高视频数据的应用价值，以便为社会安防提供有力支持。

Description

车辆检测和识别的方法及装置、电子设备、存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及车辆检测和识别的方法及装置、电子设备、存储介质。
背景技术
随着社会经济的迅速发展、城市发展进程的加快，城市人口的不断增加，人民生活水平的不断提高，私家车的数量不断增多，导致城市交通问题也越来越多，使得涉车刑事案件频发，给公共安全带来了很大的挑战。
目前已经开始广泛采用视频监控作为收集交通行政执法证据的重要手段。一般在各个重要路段及卡口处安装监控装置，用于采集在当前区域行驶的车辆的监控录像。在案件侦查场景中，经常需要查找某个嫌疑车辆的行驶状况，现有技术中缺乏对多个监控录像统一管理，需要通过人为分析嫌疑车辆可能经过的路径，然后调取出相关监控装置拍摄的多个监控录像，并挨个播放监控录像，由工作人员从大量的监控录像中找到与嫌疑车辆相关的视频片段，工作量大且容易存在漏检。
发明内容
鉴于上述问题，提出了本申请以便提供克服上述问题或者至少部分地解决上述问题的车辆检测和识别的方法及装置、电子设备、存储介质，包括：
一种车辆检测和识别的方法，应用于部署于门户系统的车辆识别服务平台，所述车辆识别服务平台提供的服务接口预先注册到所述门户系统的统一服务网关并发布；所述方法包括：
接收登陆所述门户系统的用户通过所述统一服务网关发送的调用所述服务接口的请求；
依据所述请求获取对应的待测视频数据，并对所述待测视频数据的目标检测区域进行车辆检测，得到初始车辆图像集；
对所述初始车辆图像集的车辆图像识别得到所述车辆图像对应的车型信息、颜色信息以及车牌信息；
将所述车辆图像、对应的车型信息、对应的颜色信息及对应的车牌信息存储为结构化数据。
可选地，所述方法还包括：
依据所述结构化数据，对所述初始车辆图像集进行聚类，得到至少一个车辆图像组；
对所述车辆图像组中的车辆图像进行质量分析，得到对应的质量得分；
依据所述质量得分和质量过滤筛选算法，确定所述车辆图像组中的目标车辆图像；
依据所述目标车辆图像，更新所述结构化数据得到目标结构化数据。
可选地，所述依据所述结构化数据，对所述初始车辆图像集进行聚类，得到至少一个车辆图像组的步骤，包括：
将所述结构化数据中车型信息、颜色信息及车牌信息均相同的车辆图像划分为一个车辆图像组。
可选地，所述方法还包括：
接收数据查询指令；
从所述目标结构化数据中查找符合所述数据查询指令的第一目标车辆图像；
输出所述第一目标车辆图像。
可选地，所述方法还包括：
接收待测车辆图像；
从所述结构化数据中查找与所述待测车辆图像匹配的第二目标车辆图像；
输出包含所述第二目标车辆图像的第二目标视频帧。
可选地，所述从所述结构化数据中查找与所述待测车辆图像匹配的第二目标车辆图像的步骤，还包括：
对所述待测车辆图像识别得到所述待测车辆图像对应的待测车型信息、待测颜色信息以及待测车牌信息；
从所述结构化数据中查找与所述待测车型信息、待测颜色信息以及待测车牌信息均匹配的第二目标车辆图像。
可选地，所述待测视频数据包括多个连续的视频帧，所述对待测视频数据进行车辆检测，得到初始车辆图像集的步骤，还包括：
按照预设帧数间隔从所述待测视频数据中提取目标视频帧；
对所述目标视频帧进行车辆检测，得到初始车辆图像集。
一种车辆检测和识别的装置，应用于部署于门户系统的车辆识别服务平台，所述车辆识别服务平台提供的服务接口预先注册到所述门户系统的统一服务网关并发布；所述装置包括：
第一接收模块，用于接收登陆所述门户系统的用户通过所述统一服务网关发送的调用所述服务接口的请求；
车辆检测模块，用于依据所述请求获取对应的待测视频数据，并对所述待测视频数据的目标检测区域进行车辆检测，得到初始车辆图像集；
车辆识别模块，用于对所述初始车辆图像集的车辆图像识别得到所述车辆图像对应的车型信息、颜色信息以及车牌信息；
结构化存储模块，用于将所述车辆图像、对应的车型信息、对应的颜色信息及对应的车牌信息存储为结构化数据。
可选地，所述装置还包括：
图像聚类模块，用于依据所述结构化数据，对所述初始车辆图像集进行聚类，得到至少一个车辆图像组；
质量分析模块，用于对所述车辆图像组中的车辆图像进行质量分析，得到对应的质量得分；
目标确定模块，用于依据所述质量得分和质量过滤筛选算法，确定所述车辆图像组中的目标车辆图像；
数据更新模块，用于依据所述目标车辆图像，更新所述结构化数据得到目标结构化数据。
可选地，所述图像聚类模块包括：
聚类子模块，用于将所述结构化数据中车型信息、颜色信息及车牌信息均相同的车辆图像划分为一个车辆图像组。
可选地，所述装置还可以包括：
第二接收模块，用于接收数据查询指令；
第一目标查找模块，用于从所述目标结构化数据中查找符合所述数据查询指令的第一目标车辆图像；
第一目标输出模块，用于输出所述第一目标车辆图像。
可选地，所述装置还包括
第三接收模块，用于接收待测车辆图像；
第二目标匹配模块，用于从所述结构化数据中查找与所述待测车辆图像匹配的第二目标车辆图像；
第二目标输出模块，用于输出包含所述第二目标车辆图像的第二目标视频帧。
可选地，所述第二目标匹配模块还包括：
属性识别子模块，用于对所述待测车辆图像识别得到所述待测车辆图像对应的待测车型信息、待测颜色信息以及待测车牌信息；
属性匹配子模块，用于从所述结构化数据中查找与所述待测车型信息、待测颜色信息以及待测车牌信息均匹配的第二目标车辆图像。
可选地，所述待测视频数据包括多个连续的视频帧，所述车辆检测模块还可以包括：
间隔提取子模块，用于按照预设帧数间隔从所述待测视频数据中提取目标视频帧；
车辆检测子模块，用于对所述目标视频帧进行车辆检测，得到初始车辆图像集。
一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
本申请具有以下优点：
在本申请的实施例中，通过接收登陆所述门户系统的用户通过所述统一服务网关发送的调用所述服务接口的请求；依据所述请求获取对应的待测视频数据，并对所述待测视频数据的目标检测区域进行车辆检测，得到初始车辆图像集；对所述初始车辆图像集的车辆图像识别得到所述车辆图像对应的车型信息、颜色信息以及车牌信息；将所述车辆图像、对应的车型信息、对应的颜色信息及对应的车牌信息存储为结构化数据，所述结构化数据中包含与所述待测视频数据对应的车辆图像，以及与所述车辆图像对应的车型信息、颜色信息及车牌信息；从而实现根据车辆特征对视频数据进行处理，通过构建车辆的结构化数据并存储，可以提高视频数据的应用价值，以便为社会安防提供有力支持。
附图说明
为了更清楚地说明本申请的技术方案，下面将对本申请的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请的一种车辆检测和识别的方法的步骤流程图；
图2为本申请的一种车辆检测和识别的装置的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参照图1，示出了本申请一实施例提供的一种车辆检测和识别的方法，该方法应用于部署于门户系统的车辆识别服务平台，所述车辆识别服务平台提供的服务接口预先注册到所述门户系统的统一服务网关并发布。
门户系统是指通向某类综合性互联网信息资源并提供有关信息服务的应用系统，是一种提供应用程序和信息单点访问的网页站点，它对提供给用户的复杂多样的信息和服务进行提炼，简化成一个满足用户需求和利益的单一界面，是用于集成“其他”应用、内容和流程的用户界面架构。门户系统部署有多个服务平台，其中包括用于对视频数据进行车辆检测和识别的车辆识别服务平台。上述车辆识别服务平台根据业务需求，将数据业务逻辑封装成API(Application Programming Interface，应用程序接口)服务，注册到门户系统的统一服务网关并发布。通过统一服务网关基本可以实现国内所有网络无障碍交互访问。门户系统对应的用户可以通过网关调用对应服务平台的API服务，进而实现对对应服务平台的服务功能的调用。
该方法具体可以包括：
步骤101，接收登陆所述门户系统的用户通过所述统一服务网关发送的调用所述服务接口的请求；
步骤102，依据所述请求获取对应的待测视频数据，并对所述待测视频数据的目标检测区域进行车辆检测，得到初始车辆图像集；
步骤103，对所述初始车辆图像集的车辆图像识别得到所述车辆图像对应的车型信息、颜色信息以及车牌信息；
步骤104，将所述车辆图像、对应的车型信息、对应的颜色信息及对应的车牌信息存储为结构化数据。
在本申请实施例中，通过接收登陆门户系统的用户通过统一服务网关发送的调用服务接口的请求；依据请求获取对应的待测视频数据，并对待测视频数据的目标检测区域进行车辆检测，得到初始车辆图像集；对初始车辆图像集的车辆图像识别得到车辆图像对应的车型信息、颜色信息以及车牌信息；将车辆图像、对应的车型信息、对应的颜色信息及对应的车牌信息存储为结构化数据，结构化数据中包含与待测视频数据对应的车辆图像，以及与车辆图像对应的车型信息、颜色信息及车牌信息；从而实现根据车辆特征对视频数据进行处理，通过构建车辆的结构化数据并存储，可以提高视频数据的应用价值，以便为社会安防提供有力支持。
下面，将对本示例性实施例中车辆检测和识别的方法作进一步地说明。
在步骤101中，接收登陆所述门户系统的用户通过所述统一服务网关发送的调用所述服务接口的请求。
本实施例中，门户系统将多个服务平台的入口集成起来，门户系统的统一服务网关发布有与车辆识别服务平台提供的服务接口对应的入口，通过该入口可以向车辆识别服务平台发送调用服务接口的请求。在实际应用场景中，门户系统可以供地方政府、企业、交管所等有监控需求的单位同时使用，并且根据实际需求，可以为不同的单位提供不同的内容，以及，可以为同一个单位的不同用户提供不同的内容。为了加强监控管理，需要对登陆门户系统的用户进行权限限定，例如，可以在门户系统的登陆界面对用户进行身份验证，只有身份验证通过的用户，才有权限登陆门户系统和调用相关的服务平台的服务功能；或者在发送调用服务接口请求的界面对用户进行身份验证，只有身份验证通过的用户，才有权限通过统一服务网关发送调用服务接口请求。车辆识别服务平台可以提供数据接入服务负责多媒体数据的接入、编转码；实时视频的播放；接入数据源的上下线管理。实现标准化的数据接入、数据解析、数据转发和数据管理；可以理解，即车辆识别服务平台可以接入多个监控拍摄终端。
上述请求可以包括路径信息，该路径信息即为待测视频数据的路径，待测视频数据可以是即时拍摄的视频数据，也可以是已完成拍摄的视频数据等。具体地，当待测视频数据为即时拍摄的视频数据时，通过视频采集终端实时拍摄得到视频数据，并将视频数据同步保存或上传到特定路径下，该特定路径即为上述请求包括的待测视频数据的路径。当待测视频数据为已完成拍摄的视频数据时，则可以是将以完成拍摄的视频数据保存到上述特定路径下；本实施例采用一种方式即可调取多个待测视频数据，实现了多视频数据的统一管理。
在步骤102中，依据所述请求获取对应的待测视频数据，并对所述待测视频数据的目标检测区域进行车辆检测，得到初始车辆图像集。
当车辆识别服务平台接收调用车辆识别服务平台的服务接口的请求时，可以从请求携带的路径信息中获取在该路径信息下保存的待测视频数据，并对待测视频数据的目标检测区域进行车辆检测，得到初始车辆图像集。在实际场景中，摄像头具有最佳拍摄区域，在该拍摄区域中的车辆呈现较为完整，即车辆的主要特征都可以被摄像头拍摄下来，不被其他车辆或物体遮挡，或者被遮挡部分较小；并且，对于某个视频帧而言，在该视频帧中处于最佳拍摄区域之外的车辆，在该视频帧之前或之后会经过摄像头的最佳拍摄区域，基于此，可以在待测视频数据的拍摄范围内设定目标检测区域，可以有效减少车辆检测时的数据处理量，提高车辆检测的效率。待测视频数据包括多个连续的视频帧。在一示例中，可以先检测待测视频数据中的第一个视频帧，得到第一帧车辆图像集，即可以采用基于深度学习的车辆检测模型识别第一个视频帧的目标检测区域中是否存在车辆，并提取车辆图像，将提取出的多个车辆图像作为第一帧车辆图像集。采用与第一个视频帧相同的方法采集后续其他视频帧的车辆图像集，将待测视频数据的每个视频帧对应的车辆图像集集合，得到初始车辆图像集。需要说明的是，当车辆检测模型识别到待测视频数据中的任一一个视频帧的目标检测区域不存在车辆时，则该视频帧的车辆图像集为空。上述的车辆检测模型可以是目标检测模型，例如RefineDet(一种基于单阶段的检测器)、Faster R-CNN(一种目标检测网络)、SSD(Single Shot Multibox Detector)和YOLO(You Only Look Once)等，在此不做限定。
在另一示例中，按照预设帧数间隔从待测视频数据中提取目标视频帧；对目标视频帧的目标检测区域进行车辆检测，得到初始车辆图像集。预设帧数间隔可以依据实际需求进行设定。本示例为了减少车辆检测的图片的数量，采用抽样的方式从待测视频数据的连续视频帧间隔抽取视频帧进行车辆检测；对抽样得到的每一视频帧采用如上一示例对视频帧进行车辆检测的方法，得到与抽样的每一视频帧对应的车辆图像集，将抽样的多个视频帧对应的车辆图像集集合，得到初始车辆图像集。
在步骤103中，对所述初始车辆图像集的车辆图像识别得到所述车辆图像对应的车型信息、颜色信息以及车牌信息。
本实施例中，可以对初始车辆图像集中的每个车辆图像进一步进行识别，得到对应的车型信息、颜色信息以及车牌信息。
具体地，可以采用预设的车型识别模型对初始车辆图像集中的车辆图像进行车型检测，得到对应的车型信息；采用预设的颜色识别模型对初始车辆图像集中的车辆图像进行颜色检测，得到对应的颜色信息；采用预设的车牌识别模型对初始车辆图像集中的车辆图像进行车牌检测，得到对应的车牌信息。在实际案件场景中，许多不法分子会故意遮挡车牌，导致车牌识别模型检测不到车辆图像的车牌信息，此时，车牌信息可以为相应的提示信息。即在具体实现中，当车牌识别模型检测不到车辆图像的车牌信息时，说明该车辆存在故意遮挡车牌行为，此时，可以输出告警信息，以便提示用户排查该车辆是否违规或违法车辆。
其中，车型识别模型可以采用基于深度学习技术训练得到；该车型识别模型使用的训练样本集包括不同车型的数据集。颜色识别模型可以采用HSV(Hue，Saturation，Value；色相，饱和度，亮度)模型。车牌识别模型可以选择CNN(Convolutional NeuralNetworks，卷积神经网络)算法，该CNN算法可以对输入的车牌图像数据中的字符进行识别，并输出得到车牌字符。
在步骤104中，将所述车辆图像、对应的车型信息、对应的颜色信息及对应的车牌信息存储为结构化数据。
本实施例中，将车辆图像和对应的车型信息、颜色信息及车牌信息存储为结构化数据，其中结构化数据可以通过二维数据表来体现。在二维数据表中包括车辆图像、车型、颜色、车牌等标题栏，将从待测视频数据中提取到的车辆图像依次放在车辆图像的标题栏下，将车型信息记录在车型标题栏下，将颜色信息记录在颜色标题栏下，将车牌信息记录在车牌标题栏下，且同一个车辆图像与对应的车型信息、颜色信息、车牌信息记录在同一行。通过对待测视频数据中的车辆图像及车型信息、颜色信息、车牌信息等属性信息进行结构化数据存储，可以向用户提供清晰明了的统计数据，可以方便用户可以快速了解待测视频数据是否存在其需要的信息，以便进行下一步处理了。
进一步地，在本申请一可选实施例中，所述方法还包括：
依据所述结构化数据，对所述初始车辆图像集进行聚类，得到至少一个车辆图像组；
对所述车辆图像组中的车辆图像进行质量分析，得到对应的质量得分；
依据所述质量得分和质量过滤筛选算法，确定所述车辆图像组中的目标车辆图像；
依据所述目标车辆图像，更新所述结构化数据得到目标结构化数据。
本实施例中，通过对初始车辆图像集进行聚类，得到至少一个车辆图像组，并确定车辆图像组中的目标车辆图像，最后依据目标车辆图像更新结构化数据得到目标结构化数据。可以理解，初始的结构化数据记录的是每个车辆图像及其对应的属性信息，而待测视频数据中移动的车辆，在待测视频数据的不同视频帧中的车辆图像并不完全相同，因此，在结构化数据中，对于同一个车辆，会保留多条数据信息；目标结构化数据是对结构化数据中属性信息相同的车辆图像进行整理得到的，即，在目标结构化数据中，对于属性信息相同的车辆图像仅保留一条数据信息，且该条数据信息中的车辆图像的质量最优；从而简化结构化数据，可以节约存储空间。
具体地，依据所述结构化数据，对所述初始车辆图像集进行聚类，得到至少一个车辆图像组，具体可以是，将所述结构化数据中车型信息、颜色信息及车牌信息均相同的车辆图像划分为一个车辆图像组。可以认为，同一个车辆图像组中的车辆图像对应为同一个车辆。由于车牌信息是车辆的唯一身份标识，因此，在其他实施方式中，也可以将车牌信息相同的车辆图像划分为一个车辆图像组。
在本实施例中，质量分析可以是基于车辆图像清晰度的质量分析。可以理解，车辆图像的清晰度越高，对应的质量得分越高；车辆图像的清晰度越低，对应的质量得分越低，即清晰度与图像质量成正比关系。具体地，首先确定清晰度的计算公式；然后根据车辆图像的各像素值计算清晰度；最后，将清晰度进行归一化处理得到车辆图像的质量得分。每个车辆图像组经过质量分析后，得到对应的车辆图像的质量得分；质量过滤筛选算法，可以是将每个车辆图像组中的车辆图像按照质量得分从高到底的顺序排序，从中挑选出质量得分最高的、预设数量的车辆图像进行图像融合，得到该车辆图像组的目标车辆图像；或者，也可以是将每个车辆图像组中的车辆图像按照质量得分从高到底的顺序排序，从中挑选出质量得分最高的一个车辆图像作为该车辆图像组的目标车辆图像；或者，还可以是从每个车辆图像组中，将质量得分大于预设阈值的至少一个车辆图像进行图像融合，得到该车辆图像组的目标车辆图像；等。
由于同一个车辆图像组中的车辆图像对应为同一个车辆，可以将初始的结构化数据中同一车辆图像组的多条记录进行整合得到一条，并将目标车辆图像作为车辆图像组中的车辆图像进行存储，实现对初始的结构化数据更新，得到目标结构化数据。
进一步地，在本申请一可选实施例中，所述方法还包括：
接收数据查询指令；
从所述目标结构化数据中查找符合所述数据查询指令的第一目标车辆图像；
输出所述第一目标车辆图像。
本实施例中，车辆识别服务平台还可以接收用户发送的属性信息查询指令，该属性信息查询指令可以包含目标属性信息，目标属性信息中可以包括至少一个属性信息，例如，目标属性信息可以是车型信息为轿车、颜色信息为红色；依据目标属性信息遍历目标结构化数据，从目标结构化数据中查找符合目标属性信息的第一目标车辆图像，若查找得到，则将该第一目标车辆图像输出，在终端设备的显示屏上进行展示；若查找不到，则输出与查找不到对应的提示信息，例如，可以在终端设备的显示屏上显示“查找不到”的文字，等；或者，在查找不到时，输出空消息。需要说明的是，当目标属性信息是开放信息时，即目标属性信息不能确定唯一一个车辆时，在目标结构化数据中可能查找到多个第一目标车辆图像，此时，将查找到的多个第一目标车辆图像分别输出。
进一步地，在本申请一可选实施例中，所述方法还包括：
接收待测车辆图像；
从所述结构化数据中查找与所述待测车辆图像匹配的第二目标车辆图像；
输出包含所述第二目标车辆图像的第二目标视频帧。
本实施例中，车辆识别服务平台还可以接收用户发送的待测车辆图像，在实际应用场景中，待测车辆图像可以是用户想要追踪的车辆对应的车辆图像；用户需要先得到待测视频数据中是否存与待测车辆图像匹配的第二目标车辆图像，若不存在，则不需要进一步查看和分析该待测视频数据，从而减少用户对想要追踪的车辆进行追踪的效率；其中，判断结果包括存在和不存在两种。具体地，通过遍历结构化数据中的目标车辆图像，从目标车辆图像中查找与待测车辆图像匹配的第二目标车辆图像，若查找得到，则在终端设备的显示屏上展示第二目标车辆图像，或者进一步确定第二目标车辆图像对应的第二目标视频帧，在终端设备的显示屏上展示第二目标视频帧；若查找不到，则输出与查找不到对应的提示信息。其中，从所述结构化数据中查找与所述待测车辆图像匹配的第二目标车辆图像的步骤可以包括：
对所述待测车辆图像识别得到所述待测车辆图像对应的待测车型信息、待测颜色信息以及待测车牌信息；
从所述结构化数据中查找与所述待测车型信息、待测颜色信息以及待测车牌信息均匹配的第二目标车辆图像。
由于车牌信息是车辆的唯一身份标识，在其他示例中，从所述结构化数据中查找与所述待测车辆图像匹配的第二目标车辆图像的步骤也可以包括：对待测车辆图像进行车牌识别，得到待测车牌信息，再从结构化数据中查找与待测车牌信息相同的第二目标车辆图像。当待测车辆图像的车牌信息不清晰或被遮挡时，则可以对待测车辆图像进行车型识别和颜色识别，得到对应的待测车型信息和待测颜色信息；再从结构化数据中查找能够同时符合待测车型信息和待测颜色信息的车辆图像作为第二目标车辆图像。
本申请实施例，通过接收待测车辆图像，并对待测车辆图像进行识别，依据识别结果从待测视频数据中查找与之对应的第二目标车辆图像，并输出第二目标车辆图像；由于第二目标车辆图像一般为多个，因此，可以进一步确定第二目标车辆图像对应的视频帧，再输出第二目标车辆图像对应的视频帧，多个第二目标车辆图像对应的视频帧按照时间顺序依次播放；从而实现以图搜车的效果，依次播放包含第二目标车辆图像的视频帧，以便用户对待测目标车辆进行追踪。
在本申请实施例中，通过接收登陆门户系统的用户通过统一服务网关发送的调用服务接口的请求；依据请求获取对应的待测视频数据，并对待测视频数据的目标检测区域进行车辆检测，得到初始车辆图像集；对初始车辆图像集的车辆图像识别得到车辆图像对应的车型信息、颜色信息以及车牌信息；将车辆图像、对应的车型信息、对应的颜色信息及对应的车牌信息存储为结构化数据，结构化数据中包含与待测视频数据对应的车辆图像，以及与车辆图像对应的车型信息、颜色信息及车牌信息；从而实现根据车辆特征对视频数据进行处理，构建车辆的结构化数据并存储，提高视频数据的应用价值，以便为社会安防提供有力支持；此外，本申请实施例中，还可以通过接收属性信息查询指令，从目标结构化数据中查找符合属性信息查询指令的第一目标车辆图像，并输出第一目标车辆图像；以及，通过接收待测车辆图像，从结构化数据中查找与待测车辆图像匹配的第二目标车辆图像，并输出第二目标车辆图像对应的视频帧，可以提高用户追踪车辆的效率。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
参照图2，示出了本申请的一种车辆检测和识别的装置实施例的结构框图，该装置应用于部署于门户系统的车辆识别服务平台，所述车辆识别服务平台提供的服务接口预先注册到所述门户系统的统一服务网关并发布；具体可以包括如下模块：
第一接收模块201，用于接收登陆所述门户系统的用户通过所述统一服务网关发送的调用所述服务接口的请求；
车辆检测模块202，用于依据所述请求获取对应的待测视频数据，并对所述待测视频数据的目标检测区域进行车辆检测，得到初始车辆图像集；
车辆识别模块203，用于对所述初始车辆图像集的车辆图像识别得到所述车辆图像对应的车型信息、颜色信息以及车牌信息；
结构化存储模块204，用于将所述车辆图像、对应的车型信息、对应的颜色信息及对应的车牌信息存储为结构化数据。
在本申请实施例的一种优选实施例中，所述装置还可以包括：
图像聚类模块，用于依据所述结构化数据，对所述初始车辆图像集进行聚类，得到至少一个车辆图像组；
质量分析模块，用于对所述车辆图像组中的车辆图像进行质量分析，得到对应的质量得分；
目标确定模块，用于依据所述质量得分和质量过滤筛选算法，确定所述车辆图像组中的目标车辆图像；
数据更新模块，用于依据所述目标车辆图像，更新所述结构化数据得到目标结构化数据。
在本申请实施例的一种优选实施例中，图像聚类模块可以包括：
聚类子模块，用于将所述结构化数据中车型信息、颜色信息及车牌信息均相同的车辆图像划分为一个车辆图像组。
在本申请实施例的一种优选实施例中，所述装置还可以包括：
第二接收模块，用于接收数据查询指令；
第一目标查找模块，用于从所述目标结构化数据中查找符合所述数据查询指令的第一目标车辆图像；
第一目标输出模块，用于输出所述第一目标车辆图像。
在本申请实施例的一种优选实施例中，所述装置还可以包括
第三接收模块，用于接收待测车辆图像；
第二目标匹配模块，用于从所述结构化数据中查找与所述待测车辆图像匹配的第二目标车辆图像；
第二目标输出模块，用于输出包含所述第二目标车辆图像的第二目标视频帧。
在本申请实施例的一种优选实施例中，所述第二目标匹配模块还可以包括：
属性识别子模块，用于对所述待测车辆图像识别得到所述待测车辆图像对应的待测车型信息、待测颜色信息以及待测车牌信息；
属性匹配子模块，用于从所述结构化数据中查找与所述待测车型信息、待测颜色信息以及待测车牌信息均匹配的第二目标车辆图像。
在本申请实施例的一种优选实施例中，所述待测视频数据包括多个连续的视频帧，车辆检测模块202还可以包括：
间隔提取子模块，用于按照预设帧数间隔从所述待测视频数据中提取目标视频帧；
车辆检测子模块，用于对所述目标视频帧进行车辆检测，得到初始车辆图像集。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请实施例还公开了电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的车辆检测和识别的方法的步骤。
本申请实施例还公开了计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的车辆检测和识别的方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种车辆检测和识别的方法、一种车辆检测和识别的装置、电子设备和存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种车辆检测和识别的方法，其特征在于，应用于部署于门户系统的车辆识别服务平台，所述车辆识别服务平台提供的服务接口预先注册到所述门户系统的统一服务网关并发布；所述方法包括：
接收登陆所述门户系统的用户通过所述统一服务网关发送的调用所述服务接口的请求；
依据所述请求获取对应的待测视频数据，并对所述待测视频数据的目标检测区域进行车辆检测，得到初始车辆图像集；
对所述初始车辆图像集的车辆图像识别得到所述车辆图像对应的车型信息、颜色信息以及车牌信息；
将所述车辆图像、对应的车型信息、对应的颜色信息及对应的车牌信息存储为结构化数据。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
依据所述结构化数据，对所述初始车辆图像集进行聚类，得到至少一个车辆图像组；
对所述车辆图像组中的车辆图像进行质量分析，得到对应的质量得分；
依据所述质量得分和质量过滤筛选算法，确定所述车辆图像组中的目标车辆图像；
依据所述目标车辆图像，更新所述结构化数据得到目标结构化数据。
3.根据权利要求2所述的方法，其特征在于，所述依据所述结构化数据，对所述初始车辆图像集进行聚类，得到至少一个车辆图像组的步骤，包括：
将所述结构化数据中车型信息、颜色信息及车牌信息均相同的车辆图像划分为一个车辆图像组。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
接收数据查询指令；
从所述目标结构化数据中查找符合所述数据查询指令的第一目标车辆图像；
输出所述第一目标车辆图像。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收待测车辆图像；
从所述结构化数据中查找与所述待测车辆图像匹配的第二目标车辆图像；
输出包含所述第二目标车辆图像的第二目标视频帧。
6.根据权利要求5所述的方法，其特征在于，所述从所述结构化数据中查找与所述待测车辆图像匹配的第二目标车辆图像的步骤，还包括：
对所述待测车辆图像识别得到所述待测车辆图像对应的待测车型信息、待测颜色信息以及待测车牌信息；
从所述结构化数据中查找与所述待测车型信息、待测颜色信息以及待测车牌信息均匹配的第二目标车辆图像。
7.根据权利要求1所述的方法，其特征在于，所述待测视频数据包括多个连续的视频帧，所述对待测视频数据进行车辆检测，得到初始车辆图像集的步骤，还包括：
按照预设帧数间隔从所述待测视频数据中提取目标视频帧；
对所述目标视频帧进行车辆检测，得到初始车辆图像集。
8.一种车辆检测和识别的装置，其特征在于，应用于部署于门户系统的车辆识别服务平台，所述车辆识别服务平台提供的服务接口预先注册到所述门户系统的统一服务网关并发布；所述装置包括：
第一接收模块，用于接收登陆所述门户系统的用户通过所述统一服务网关发送的调用所述服务接口的请求；
车辆检测模块，用于依据所述请求获取对应的待测视频数据，并对所述待测视频数据的目标检测区域进行车辆检测，得到初始车辆图像集；
车辆识别模块，用于对所述初始车辆图像集的车辆图像识别得到所述车辆图像对应的车型信息、颜色信息以及车牌信息；
结构化存储模块，用于将所述车辆图像、对应的车型信息、对应的颜色信息及对应的车牌信息存储为结构化数据。
9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的车辆检测和识别的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的车辆检测和识别的方法的步骤。
CN202010622076.3A 2020-07-01 2020-07-01 车辆检测和识别的方法及装置、电子设备、存储介质 Pending CN111914648A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010622076.3A CN111914648A (zh) 2020-07-01 2020-07-01 车辆检测和识别的方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010622076.3A CN111914648A (zh) 2020-07-01 2020-07-01 车辆检测和识别的方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN111914648A true CN111914648A (zh) 2020-11-10

Family

ID=73226793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010622076.3A Pending CN111914648A (zh) 2020-07-01 2020-07-01 车辆检测和识别的方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN111914648A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361332A (zh) * 2021-05-17 2021-09-07 北京中海前沿材料技术有限公司 视频数据的采集处理方法和装置
CN113435333A (zh) * 2021-06-28 2021-09-24 深圳市商汤科技有限公司 一种数据处理方法、装置、计算机设备和存储介质
CN113537248A (zh) * 2021-08-13 2021-10-22 珠海格力电器股份有限公司 图像识别方法和装置、电子设备和存储介质
CN115359436A (zh) * 2022-08-18 2022-11-18 中国人民公安大学 基于遥感图像的排查方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200671A (zh) * 2014-09-09 2014-12-10 安徽四创电子股份有限公司 一种基于大数据平台的虚拟卡口管理方法及系统
CN108734966A (zh) * 2017-04-17 2018-11-02 杭州天象智能科技有限公司 一种交通视频综合分析云平台系统
CN109002744A (zh) * 2017-06-06 2018-12-14 中兴通讯股份有限公司 图像识别方法、装置和视频监控设备
CN110119456A (zh) * 2019-05-14 2019-08-13 深圳市商汤科技有限公司 检索图像的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200671A (zh) * 2014-09-09 2014-12-10 安徽四创电子股份有限公司 一种基于大数据平台的虚拟卡口管理方法及系统
CN108734966A (zh) * 2017-04-17 2018-11-02 杭州天象智能科技有限公司 一种交通视频综合分析云平台系统
CN109002744A (zh) * 2017-06-06 2018-12-14 中兴通讯股份有限公司 图像识别方法、装置和视频监控设备
CN110119456A (zh) * 2019-05-14 2019-08-13 深圳市商汤科技有限公司 检索图像的方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361332A (zh) * 2021-05-17 2021-09-07 北京中海前沿材料技术有限公司 视频数据的采集处理方法和装置
CN113435333A (zh) * 2021-06-28 2021-09-24 深圳市商汤科技有限公司 一种数据处理方法、装置、计算机设备和存储介质
CN113537248A (zh) * 2021-08-13 2021-10-22 珠海格力电器股份有限公司 图像识别方法和装置、电子设备和存储介质
CN113537248B (zh) * 2021-08-13 2024-06-07 珠海格力电器股份有限公司 图像识别方法和装置、电子设备和存储介质
CN115359436A (zh) * 2022-08-18 2022-11-18 中国人民公安大学 基于遥感图像的排查方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111914648A (zh) 车辆检测和识别的方法及装置、电子设备、存储介质
CN102610102B (zh) 一种嫌疑车辆查控方法及系统
CN108388888B (zh) 一种车辆识别方法、装置和存储介质
WO2019105342A1 (zh) 车辆套牌检测方法、装置、可读存储介质及电子设备
CN108509912B (zh) 多路网络视频流车牌识别方法及系统
CN109033440A (zh) 一种视频侦查多维轨迹分析方法
CN108446681B (zh) 行人分析方法、装置、终端及存储介质
CN103177436B (zh) 物件追踪的方法、系统
CN110177255B (zh) 一种基于案件调度的视频信息发布方法及系统
CN111931567B (zh) 人体识别的方法及装置、电子设备、存储介质
US20220301317A1 (en) Method and device for constructing object motion trajectory, and computer storage medium
CN111914649A (zh) 人脸识别的方法及装置、电子设备、存储介质
CN111090777B (zh) 一种视频数据的管理方法、管理设备及计算机存储介质
CN110796098A (zh) 内容审核模型的训练及审核方法、装置、设备和存储介质
CN112509325B (zh) 一种基于视频深度学习的非现场违法自动甄别方法
CN112651293B (zh) 一种公路违法设摊事件视频检测方法
CN109872541A (zh) 一种车辆信息分析方法及装置
WO2018176191A1 (zh) 套牌车识别方法及装置
CN114898297A (zh) 基于目标检测和目标跟踪的非机动车违法行为判定的方法
CN113065026A (zh) 基于安全微服务架构的异常事件智能检测系统、方法及介质
Kejriwal et al. Vehicle detection and counting using deep learning basedYOLO and deep SORT algorithm for urban traffic management system
CN111611886A (zh) 一种基于车辆行为分析的停车信息校验方法及装置
US11907291B2 (en) System for integral analysis and management of video data
CN108052949B (zh) 物品类别统计方法、系统、计算机设备和可读存储介质
CN112380993A (zh) 基于目标实时追踪信息的智能违法行为检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination