CN112347853A - 一种基于视频的车牌数据脱敏方法、存储介质及服务器 - Google Patents

一种基于视频的车牌数据脱敏方法、存储介质及服务器 Download PDF

Info

Publication number
CN112347853A
CN112347853A CN202011077033.8A CN202011077033A CN112347853A CN 112347853 A CN112347853 A CN 112347853A CN 202011077033 A CN202011077033 A CN 202011077033A CN 112347853 A CN112347853 A CN 112347853A
Authority
CN
China
Prior art keywords
license plate
vehicle
frame
detection
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011077033.8A
Other languages
English (en)
Other versions
CN112347853B (zh
Inventor
邹承明
林嘉怡
曾炜
陈玉鹏
王耀威
顾善植
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peng Cheng Laboratory
Original Assignee
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peng Cheng Laboratory filed Critical Peng Cheng Laboratory
Priority to CN202011077033.8A priority Critical patent/CN112347853B/zh
Publication of CN112347853A publication Critical patent/CN112347853A/zh
Application granted granted Critical
Publication of CN112347853B publication Critical patent/CN112347853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频的车牌数据脱敏方法及系统，方法包括步骤：对视频中的车辆进行跟踪检测，获取车辆位置信息；根据所述车辆位置信息从所述视频中截取出对应帧的车辆图片，获取对应车辆的车牌位置信息；通过构造决策树二分类器判断所述车牌是否为误检车牌，若是，则去掉所述误检车牌的位置信息，并将所述车辆记为车牌漏检车辆；若否，则将所述车辆位置信息和车牌位置信息融合并对应存储；采用kalman滤波估计出所述车牌漏检车辆的车牌坐标并保存；根据存储的车牌位置信息和车牌坐标对视频中车辆的车牌进行马赛克处理，实现车牌数据脱敏。本发明提高了车牌检测的准确率，从而提高了车牌数据脱敏准确率。

Description

一种基于视频的车牌数据脱敏方法、存储介质及服务器
技术领域
本发明涉及数据保护领域，特别涉及一种基于视频的车牌数据脱敏方法、存储介质及服务器。
背景技术
交通路口、小区门口、商场门口、停车场等场景下的监控视频中车辆信息可用于车流量统计等科学研究，车辆中的车牌信息属于个人隐私，人们对隐私保护的意识越来越强烈，对敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护就显得尤为重要。
虽然车牌检测识别技术现在已经相当纯熟，且已经商业化，但大都限定了场景，让车辆静止以后再去对车牌进行检测，例如停车场、小区门口，但是交通路口下大多为运动的车辆，车牌大小会由远到近或由近到远的不断变化。车牌检测技术常采用基于形态学的车牌检测、基于颜色特征的车牌检测、基于模板匹配的车牌检测、基于纹理分析的车牌检测和基于神经网络的车牌检测等，都是在整张图片里去找可能是车牌的对象，但因为相对整张图片而言，车牌太小而造成很多误检和漏检，在交通路口等车流量很大的复杂场景下，对车牌的检测准确度不高，导致无法对车牌数据进行准确脱敏。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的不足，提供一种基于视频的车牌数据脱敏方法、存储介质及服务器，旨在解决现有技术对车牌的检测准确度不高，导致无法对车牌数据进行准确脱敏的问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
一种基于视频的基于视频的车牌数据脱敏方法，其中，包括步骤：
对视频中的车辆进行跟踪检测，获取车辆位置信息；
根据所述车辆位置信息从所述视频中截取出对应帧的车辆图片，获取对应车辆的车牌位置信息；
通过构造决策树二分类器判断所述车牌是否为误检车牌，若是，则去掉所述误检车牌的位置信息，并将所述车辆记为车牌漏检车辆；若否，则将所述车辆位置信息和车牌位置信息融合并对应存储；
采用kalman滤波估计出所述车牌漏检车辆的车牌坐标并保存；
根据存储的车牌位置信息和车牌坐标对视频中车辆的车牌进行马赛克处理，实现车牌数据脱敏。
所述的基于视频的车牌数据脱敏方法，其中，所述对视频中的车辆进行跟踪检测，获取车辆位置信息的步骤包括：
用通用目标检测框架检测视频中的车辆；
用SORT算法对检测出的车辆进行跟踪，针对当前帧检测到的每一辆车，结合前面帧与后面帧中同一车辆的位置信息，取其均值作为当前帧的车辆位置信息；
对所述车辆位置信息进行平滑处理并保存到文档，所述车辆位置信息包括当前所处理图片的帧数、检测到的物体类别、车辆id、车辆检测框从左上点开始顺时针排序的四个顶点的坐标和车辆检测框的置信度。
所述的基于视频的车牌数据脱敏方法，其中，所述根据所述车辆位置信息从所述视频中截取出对应帧的车辆图片，获取对应车辆的车牌位置信息的步骤包括：
根据所述车辆位置信息从视频中截取出对应帧的车辆图片，截取的所述车辆图片的高度为视频中车辆高度的110％；
采用扭曲平面物体检测网络从截取出的车辆图片中检测车牌，获取到车牌位置信息，所述车牌位置信息包括车牌检测框从左上点开始顺时针排序的四个顶点的坐标和车牌检测框的置信度。
所述的基于视频的车牌数据脱敏方法，其中，所述通过构造决策树二分类器判断所述车牌是否为误检车牌，若是，则去掉所述误检车牌的位置信息，并将所述车辆记为车牌漏检车辆；若否，则将所述车辆位置信息和车牌位置信息融合并对应存储的步骤包括：
根据所述车辆位置信息和车牌位置信息，判断所述车牌检测框的四个顶点是否都在车辆检测框内；
若所述车牌检测框的四个顶点中至少有一个不在所述车辆检测框内，则去掉所述车牌位置信息，并将该车牌对应的车辆记为车牌漏检车辆；
若所述车牌检测框的四个顶点都在所述车辆检测框内，则根据所述车辆位置信息和车牌位置信息构造决策树二分类器，并用所述决策树二分类器判断检测出来的车牌是否为误检车牌；
若是，则去掉所述误检车牌的位置信息，并将所述车辆记为车牌漏检车辆；若否，则将所述车辆位置信息和车牌位置信息融合并对应存储。
所述的基于视频的车牌数据脱敏方法，其中，所述采用kalman滤波估计出所述车牌漏检车辆的车牌坐标并保存的步骤包括：
遍历每一帧图片上对应存储的车辆位置数据和车牌位置数据，找到所述车牌漏检车辆；
建立kalman滤波模型，采用kalman滤波估计出所述车牌漏检车辆的车牌坐标并保存。
所述的基于视频的车牌数据脱敏方法，其中，所述建立kalman滤波模型，采用kalman滤波估计出所述车牌漏检车辆的车牌坐标的步骤包括：
设置一个在对应存储的车辆位置信息与车牌位置信息中遍历的阈值f_max，并将所述阈值初始化；
确定车牌漏检车辆的id为car_id以及车牌漏检车辆所在图片帧数frame_id；
在对应存储的车辆位置信息与车牌位置信息中，从漏检帧frame_id往前遍历f_max帧，找到有id为car_id并且有车牌的车辆所在的帧，存储到前向帧列表pre_frame_list中；
在对应存储的车辆位置信息与车牌位置信息中，从漏检帧frame_id往后遍历f_max帧，找到有id为car_id并且有车牌的车辆所在的帧，存储到后向帧列表back_frame_list中；
确定kalman滤波系统状态[rptlx,rptly,rpw,rph]，rptlx为车牌左顶点横坐标到对应车辆左顶点横坐标的距离占车辆宽的比例，rptly为车牌左顶点纵坐标到对应车辆左顶点纵坐标的距离占车辆高的比例，rpw为车牌宽占对应车辆宽的比例，rph为车牌高占车辆高的比例，根据kalman滤波系统状态建立kalman滤波模型；
判断前向帧列表pre_frame_list和后向帧列表back_frame_list是否
为空；
若前向帧列表pre_frame_list不为空，后向帧列表back_frame_list为空，则用正向kalman滤波估计车牌漏检车辆的车牌坐标；
若前向帧列表pre_frame_list为空，后向帧列表back_frame_list不为空，则用反向kalman滤波估计车牌漏检车辆的车牌坐标；
若前向帧列表pre_frame_list和后向帧列表back_frame_list都不为空，则将所述前向帧列表和后向帧列表合并为一个完整帧列表full_frame_list，用双向kalman滤波估计车牌漏检车辆的车牌坐标。
所述的基于视频的车牌数据脱敏方法，其中，所述用正向kalman滤波估计车牌漏检车辆的车牌坐标的步骤包括：
在前向帧列表pre_frame_list的第一帧frame_first中找到id为car_id的车辆，用该车辆的车辆位置信息与车牌位置信息计算出对应的kalman滤波系统状态，初始化kalman模型；
从第一帧frame_first帧到漏检帧frame_id帧依次从前往后根据前一帧中car_id车的车牌的系统状态预测当前帧car_id车的车牌的系统状态，用当前帧中car_id车的车牌系统状态的检测值作为测量值对预测的系统状态进行更新，作为当前帧中car_id车的车牌的系统状态，若当前帧车牌漏检没有检测值，则将预测值作为测量值；
根据漏检车牌更新后的系统状态，计算出车牌漏检车辆的车牌坐标并保存。
所述的基于视频的车牌数据脱敏方法，其中，所述用反向kalman滤波估计漏检车牌位置的步骤包括：
在后向帧列表back_frame_list的最后一帧frame_last中找到id为car_id的车辆，用该车辆的车辆位置数据与车牌位置数据计算出对应的kalman滤波系统状态，初始化kalman模型；
从最后一帧frame_last帧到漏检帧frame_id帧依次从后往前根据后一帧中car_id车的车牌的系统状态预测当前帧car_id车的车牌的系统状态，用当前帧中car_id车的车牌系统状态的检测值作为测量值对预测的系统状态进行更新，作为当前帧中car_id车的车牌的系统状态，若当前帧车牌漏检没有检测值，则将预测值作为测量值；
根据漏检车牌更新后的系统状态，计算出计算出车牌漏检车辆的车牌坐标并保存。
所述的基于视频的车牌数据脱敏方法，其中，所述用双向kalman滤波估计漏检车牌位置的步骤包括：
从完整帧列表full_frame_list的第一帧frame_first中找到id为car_id的车辆，用该车辆的车辆位置数据与车牌位置数据计算出对应的kalman滤波系统状态，初始化kalman模型；
从完整帧列表第一帧frame_first帧到最后一帧frame_last帧依次从前往后根据前一帧中car_id车的车牌的系统状态预测当前帧car_id车的车牌的系统状态，用当前帧中car_id车的车牌系统状态的检测值作为测量值对预测的系统状态进行更新，作为当前帧中car_id车的车牌的正向系统状态，若当前帧车牌漏检没有检测值，则将预测值作为测量值；
从完整帧列表full_frame_list的最后一帧frame_last帧中找到id为car_id的车辆，用该车辆的车辆位置数据与车牌位置数据计算出对应的系统状态，初始化kalman模型；
从完整帧列表最后一帧frame_last帧到第一帧frame_first帧依次从后往前根据后一帧中car_id车的车牌的系统状态预测当前帧car_id车的车牌的系统状态，用当前帧中car_id车的车牌系统状态的检测值作为测量值对预测的系统状态进行更新，作为当前帧中car_id车的车牌的反向系统状态，若当前帧车牌漏检没有检测值，则将预测值作为测量值；
根据漏检帧frame_id帧的正向系统状态和反向系统状态分别计算出车牌漏检车辆的车牌坐标，取其均值，作为车牌漏检车辆的最终车牌坐标并保存。
一种基于视频的车牌数据脱敏系统，其中，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现本发明所述基于视频的车牌数据脱敏方法中的步骤。
有益效果：与现有技术相比，本发明提供的基于视频的车牌数据脱敏方法提高了车牌检测的准确率，从而提高了车牌数据脱敏准确率，实现了对交通路口、小区门口、商场门口、停车场等场景下的监控视频中的车牌数据进行脱敏处理，在保护个人隐私的前提下让脱敏后的视频能够公开共享。
附图说明
图1为本发明一种基于视频的车牌数据脱敏方法较佳实施例的流程图。
图2为本发明一种基于视频的车牌数据脱敏系统的原理图。
具体实施方式
本发明提供一种基于视频的车牌数据脱敏方法及系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
数据脱敏，指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护，这样就可以在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集。交通路口、小区门口、商场门口、停车场等场景下的监控视频中车辆信息可用于车流量统计等科学研究，车辆中的车牌信息属于个人隐私，人们对隐私保护的意识越来越强烈，对敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护就显得尤为重要。要想把上面场景中的信息公开实现共享，需要对视频中的车牌数据进行脱敏处理。
基于此，本发明提供了一种基于视频的基于视频的车牌数据脱敏方法，如图1所示，其包括步骤：
S10、对视频中的车辆进行跟踪检测，获取车辆位置信息；
S20、根据所述车辆位置信息从所述视频中截取出对应帧的车辆图片，获取对应车辆的车牌位置信息；
S30、通过构造决策树二分类器判断所述车牌是否为误检车牌，若是，则去掉所述误检车牌的位置信息，并将所述车辆记为车牌漏检车辆；若否，则将所述车辆位置信息和车牌位置信息融合并对应存储；
S40、采用kalman滤波估计出所述车牌漏检车辆的车牌坐标并保存；
S50、根据存储的车牌位置信息和车牌坐标对视频中车辆的车牌进行马赛克处理，实现车牌数据脱敏。
本实施例根据车辆跟踪的结果将车辆从视频中截取出来，再基于截取出来的车辆检测车牌，减小了目标检测的范围，减少了计算量，同时扩大了待检测目标车牌相对于检测图片的比例，使得车牌这种小目标检测的准确度变高。本实施例只在截取出的车辆中检测车牌，相比其他从整张图片中检测车牌的方法，大大降低了检测到的车牌在车辆之外误检率。
本实施例将检测到的车牌位置信息与对应车辆位置信息融合，构造一个决策树二分类器，去掉在车辆检测框内检测到的误检车牌，进一步降低误检率。结合车辆跟踪的结果，实现了车牌跟踪的效果，很容易将不同时刻的同一个车牌对应上，采用卡拉曼(kalman)滤波对不同时刻的同一车牌对应的系统状态进行迭代更新。将检测到的车辆位置信息和车牌位置信息对应存储，容易判断某一辆车车牌是否漏检，若漏检，则用卡拉曼滤波估计漏检车牌的位置坐标并保存，降低了漏检率，提高了车牌检测的准确率，提高了车牌数据脱敏准确率，对于车牌数据脱敏、保护个人隐私具有重大意义。
在一些实施方式中，所述对视频中的车辆进行跟踪检测，获取车辆位置信息的步骤包括：用通用目标检测框架YOLOv3检测视频中的车辆；用SORT算法对检测出的车辆进行跟踪，针对当前帧检测到的每一辆车，结合前面帧与后面帧中同一车辆的位置信息，取其均值作为当前帧的车辆位置信息；对所述车辆位置信息进行平滑处理，消除车辆运动过程中产生的定位抖动，将所述车辆位置信息保存到文档，所述车辆位置信息的保存格式为[frameid,class,carid,ctlx,ctly,ctrx,ctry,cbrx,cbry,cblx,cbly,cs]，其依次为当前所处理图片的帧数、检测到的物体类别、车辆id、车辆检测框从左上点开始顺时针排序的四个顶点的坐标和车辆检测框的置信度。
在一些实施方式中，所述根据所述车辆位置信息从所述视频中截取出对应帧的车辆图片，获取对应车辆的车牌位置信息的步骤包括：根据所述车辆位置信息从视频中截取出对应帧的车辆图片，为了防止车辆跟踪得到的检测框定位的车辆不完整，使得车牌在车辆检测框外，统一在截取的时候将车辆高度下扩车辆高度的10％，即截取的所述车辆图片的高度为视频中车辆高度的110％；用alpr-unconstrained算法中的扭曲平面物体检测网络从截取出的车辆图片中检测车牌，获取到车牌位置信息，所述车牌位置信息保存的格式为:[ptlx,ptly,ptrx,ptry,pbrx,pbry,pblx,pbly,ps]，其依次为车牌检测框从左上点开始顺时针排序的四个顶点的坐标和车牌检测框的置信度。
在一些实施方式中，根据所述车辆位置信息和车牌位置信息，判断所述车牌检测框的四个顶点是否都在车辆检测框内；若所述车牌检测框的四个顶点中至少有一个不在所述车辆检测框内，说明该车牌超出车辆区域，则去掉所述车牌位置信息，并将该车牌对应的车辆记为车牌漏检车辆；若所述车牌检测框的四个顶点都在所述车辆检测框内，则结合所述车辆位置信息和车牌位置信息构造特征向量[ctlx,ctly,ctrx,ctry,cbrx,cbry,cblx,cbly,cs,ca,ptlx,ptly,ptrx,ptry,pbrx,pbry,pblx,pbly,par,pa,ps]，依次为车辆的位置数据、车辆的置信度、车辆的面积、车牌的位置数据、车牌的长宽比、车牌的面积、车牌的置信度；基于所述特征向量构造决策树二分类器，用所述决策树二分类器判断检测出来的车牌是否为误检车牌；若是，则去掉所述误检车牌的位置信息，并将所述车辆记为车牌漏检车辆；若否，则将所述车辆位置信息和车牌位置信息融合并对应存储。本实施例通过训练决策树二分类器去掉误检车牌，可有效提高车牌脱敏的准确率。
在一些实施方式中，遍历每一帧图片上对应存储的车辆位置数据和车牌位置数据，找到所述车牌漏检车辆，即只有车辆位置信息却没有对应车牌位置信息的车辆；建立kalman滤波模型，采用kalman滤波估计出所述车牌漏检车辆的车牌坐标并保存。本实施例通过用卡拉曼滤波估计漏检车牌，可进一步提高车牌脱敏的准确率。
在一些具体的实施方式中，所述建立kalman滤波模型，采用kalman滤波估计出所述车牌漏检车辆的车牌坐标的步骤包括：设置一个在对应存储的车辆位置信息与车牌位置信息中遍历的阈值f_max，并将所述阈值初始化；确定车牌漏检车辆的id为car_id以及车牌漏检车辆所在图片帧数frame_id；在对应存储的车辆位置信息与车牌位置信息中，从漏检帧frame_id往前遍历f_max帧，找到有id为car_id并且有车牌的车辆所在的帧，存储到前向帧列表pre_frame_list中；在对应存储的车辆位置信息与车牌位置信息中，从漏检帧frame_id往后遍历f_max帧，找到有id为car_id并且有车牌的车辆所在的帧，存储到后向帧列表back_frame_list中；确定kalman滤波系统状态[rptlx,rptly,rpw,rph]，rptlx为车牌左顶点横坐标到对应车辆左顶点横坐标的距离占车辆宽的比例，rptly为车牌左顶点纵坐标到对应车辆左顶点纵坐标的距离占车辆高的比例，rpw为车牌宽占对应车辆宽的比例，rph为车牌高占车辆高的比例，根据kalman滤波系统状态建立kalman滤波模型；判断前向帧列表pre_frame_list和后向帧列表back_frame_list是否为空；若前向帧列表pre_frame_list不为空，后向帧列表back_frame_list为空，则用正向kalman滤波估计车牌漏检车辆的车牌坐标；若前向帧列表pre_frame_list为空，后向帧列表back_frame_list不为空，则用反向kalman滤波估计车牌漏检车辆的车牌坐标；若前向帧列表pre_frame_list和后向帧列表back_frame_list都不为空，则将所述前向帧列表和后向帧列表合并为一个完整帧列表full_frame_list，用双向kalman滤波估计车牌漏检车辆的车牌坐标。
在一些具体的实施方式中，所述用正向kalman滤波估计车牌漏检车辆的车牌坐标的步骤包括：在前向帧列表pre_frame_list的第一帧frame_first中找到id为car_id的车辆，用该车辆的车辆位置信息与车牌位置信息计算出对应的kalman滤波系统状态，初始化kalman模型；从第一帧frame_first帧到漏检帧frame_id帧依次从前往后根据前一帧中car_id车的车牌的系统状态预测当前帧car_id车的车牌的系统状态，用当前帧中car_id车的车牌系统状态的检测值作为测量值对预测的系统状态进行更新，作为当前帧中car_id车的车牌的系统状态，若当前帧车牌漏检没有检测值，则将预测值作为测量值；根据漏检车牌更新后的系统状态，计算出车牌漏检车辆的车牌坐标并保存。
在一些具体的实施方式中，所述用反向kalman滤波估计漏检车牌位置的步骤包括：在后向帧列表back_frame_list的最后一帧frame_last中找到id为car_id的车辆，用该车辆的车辆位置数据与车牌位置数据计算出对应的kalman滤波系统状态，初始化kalman模型；从最后一帧frame_last帧到漏检帧frame_id帧依次从后往前根据后一帧中car_id车的车牌的系统状态预测当前帧car_id车的车牌的系统状态，用当前帧中car_id车的车牌系统状态的检测值作为测量值对预测的系统状态进行更新，作为当前帧中car_id车的车牌的系统状态，若当前帧车牌漏检没有检测值，则将预测值作为测量值；根据漏检车牌更新后的系统状态，计算出计算出车牌漏检车辆的车牌坐标并保存。
在一些具体的实施方式中，所述用双向kalman滤波估计漏检车牌位置的步骤包括：从完整帧列表full_frame_list的第一帧frame_first中找到id为car_id的车辆，用该车辆的车辆位置数据与车牌位置数据计算出对应的kalman滤波系统状态，初始化kalman模型；从完整帧列表第一帧frame_first帧到最后一帧frame_last帧依次从前往后根据前一帧中car_id车的车牌的系统状态预测当前帧car_id车的车牌的系统状态，用当前帧中car_id车的车牌系统状态的检测值作为测量值对预测的系统状态进行更新，作为当前帧中car_id车的车牌的正向系统状态，若当前帧车牌漏检没有检测值，则将预测值作为测量值；从完整帧列表full_frame_list的最后一帧frame_last帧中找到id为car_id的车辆，用该车辆的车辆位置数据与车牌位置数据计算出对应的系统状态，初始化kalman模型；从完整帧列表最后一帧frame_last帧到第一帧frame_first帧依次从后往前根据后一帧中car_id车的车牌的系统状态预测当前帧car_id车的车牌的系统状态，用当前帧中car_id车的车牌系统状态的检测值作为测量值对预测的系统状态进行更新，作为当前帧中car_id车的车牌的反向系统状态，若当前帧车牌漏检没有检测值，则将预测值作为测量值；根据漏检帧frame_id帧的正向系统状态和反向系统状态分别计算出车牌漏检车辆的车牌坐标，取其均值，作为车牌漏检车辆的最终车牌坐标并保存。
在一些实施方式中，根据存储的车牌位置信息和车牌坐标得到最终完整的车牌位置信息，基于所述完整的车牌位置信息对视频中车辆的车牌进行马赛克处理，实现车牌数据脱敏。
在一些实施方式中，还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本发明所述基于视频的车牌数据脱敏方法中的步骤。
在一些实施方式中，还提供一种基于视频的车牌数据脱敏系统，如图2所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
综上所述，本发明提供的基于视频的车牌数据脱敏方法，基于车辆跟踪的结果对车牌进行检车，间接实现对车牌的跟踪，能在很大程度上减少车牌漏检，便于后续基于车牌跟踪补充漏检车牌；根据车将跟踪的结果将车辆图片截取出来进行车牌检测，减小了目标检测的范围，减少了计算量，同时扩大了待检测目标车牌相对于检测图片的比例，使得车牌这种小目标检测的准确度变高；本发明还通过训练决策树二分类器去掉误检车牌，并利用卡拉曼滤波估计漏检车牌，可有效提高车牌脱敏准确率。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于视频的基于视频的车牌数据脱敏方法，其特征在于，包括步骤：
对视频中的车辆进行跟踪检测，获取车辆位置信息；
根据所述车辆位置信息从所述视频中截取出对应帧的车辆图片，获取对应车辆的车牌位置信息；
通过构造决策树二分类器判断所述车牌是否为误检车牌，若是，则去掉所述误检车牌的位置信息，并将所述车辆记为车牌漏检车辆；若否，则将所述车辆位置信息和车牌位置信息融合并对应存储；
采用kalman滤波估计出所述车牌漏检车辆的车牌坐标并保存；
根据存储的车牌位置信息和车牌坐标对视频中车辆的车牌进行马赛克处理，实现车牌数据脱敏。
2.根据权利要求1所述的基于视频的车牌数据脱敏方法，其特征在于，所述对视频中的车辆进行跟踪检测，获取车辆位置信息的步骤包括：
用通用目标检测框架检测视频中的车辆；
用SORT算法对检测出的车辆进行跟踪，针对当前帧检测到的每一辆车，结合前面帧与后面帧中同一车辆的位置信息，取其均值作为当前帧的车辆位置信息；
对所述车辆位置信息进行平滑处理并保存到文档，所述车辆位置信息包括当前所处理图片的帧数、检测到的物体类别、车辆id、车辆检测框从左上点开始顺时针排序的四个顶点的坐标和车辆检测框的置信度。
3.根据权利要求2所述的基于视频的车牌数据脱敏方法，其特征在于，所述根据所述车辆位置信息从所述视频中截取出对应帧的车辆图片，获取对应车辆的车牌位置信息的步骤包括：
根据所述车辆位置信息从视频中截取出对应帧的车辆图片，截取的所述车辆图片的高度为视频中车辆高度的110％；
采用扭曲平面物体检测网络从截取出的车辆图片中检测车牌，获取到车牌位置信息，所述车牌位置信息包括车牌检测框从左上点开始顺时针排序的四个顶点的坐标和车牌检测框的置信度。
4.根据权利要求3所述的基于视频的车牌数据脱敏方法，其特征在于，所述通过构造决策树二分类器判断所述车牌是否为误检车牌，若是，则去掉所述误检车牌的位置信息，并将所述车辆记为车牌漏检车辆；若否，则将所述车辆位置信息和车牌位置信息融合并对应存储的步骤包括：
根据所述车辆位置信息和车牌位置信息，判断所述车牌检测框的四个顶点是否都在车辆检测框内；
若所述车牌检测框的四个顶点中至少有一个不在所述车辆检测框内，则去掉所述车牌位置信息，并将该车牌对应的车辆记为车牌漏检车辆；
若所述车牌检测框的四个顶点都在所述车辆检测框内，则根据所述车辆位置信息和车牌位置信息构造决策树二分类器，并用所述决策树二分类器判断检测出来的车牌是否为误检车牌；
若是，则去掉所述误检车牌的位置信息，并将所述车辆记为车牌漏检车辆；若否，则将所述车辆位置信息和车牌位置信息融合并对应存储。
5.根据权利要求4所述的基于视频的车牌数据脱敏方法，其特征在于，所述采用kalman滤波估计出所述车牌漏检车辆的车牌坐标并保存的步骤包括：
遍历每一帧图片上对应存储的车辆位置数据和车牌位置数据，找到所述车牌漏检车辆；
建立kalman滤波模型，采用kalman滤波估计出所述车牌漏检车辆的车牌坐标并保存。
6.根据权利要求5所述的基于视频的车牌数据脱敏方法，其特征在于，所述建立kalman滤波模型，采用kalman滤波估计出所述车牌漏检车辆的车牌坐标的步骤包括：
设置一个在对应存储的车辆位置信息与车牌位置信息中遍历的阈值f_max，并将所述阈值初始化；
确定车牌漏检车辆的id为car_id以及车牌漏检车辆所在图片帧数frame_id；
在对应存储的车辆位置信息与车牌位置信息中，从漏检帧frame_id往前遍历f_max帧，找到有id为car_id并且有车牌的车辆所在的帧，存储到前向帧列表pre_frame_list中；
在对应存储的车辆位置信息与车牌位置信息中，从漏检帧frame_id往后遍历f_max帧，找到有id为car_id并且有车牌的车辆所在的帧，存储到后向帧列表back_frame_list中；
确定kalman滤波系统状态[rptlx,rptly,rpw,rph]，rptlx为车牌左顶点横坐标到对应车辆左顶点横坐标的距离占车辆宽的比例，rptly为车牌左顶点纵坐标到对应车辆左顶点纵坐标的距离占车辆高的比例，rpw为车牌宽占对应车辆宽的比例，rph为车牌高占车辆高的比例，根据kalman滤波系统状态建立kalman滤波模型；
判断前向帧列表pre_frame_list和后向帧列表back_frame_list是否为空；
若前向帧列表pre_frame_list不为空，后向帧列表back_frame_list为空，则用正向kalman滤波估计车牌漏检车辆的车牌坐标；
若前向帧列表pre_frame_list为空，后向帧列表back_frame_list不为空，则用反向kalman滤波估计车牌漏检车辆的车牌坐标；
若前向帧列表pre_frame_list和后向帧列表back_frame_list都不为空，则将所述前向帧列表和后向帧列表合并为一个完整帧列表full_frame_list，用双向kalman滤波估计车牌漏检车辆的车牌坐标。
7.根据权利要求6所述的基于视频的车牌数据脱敏方法，其特征在于，所述用正向kalman滤波估计车牌漏检车辆的车牌坐标的步骤包括：
在前向帧列表pre_frame_list的第一帧frame_first中找到id为car_id的车辆，用该车辆的车辆位置信息与车牌位置信息计算出对应的kalman滤波系统状态，初始化kalman模型；
从第一帧frame_first帧到漏检帧frame_id帧依次从前往后根据前一帧中car_id车的车牌的系统状态预测当前帧car_id车的车牌的系统状态，用当前帧中car_id车的车牌系统状态的检测值作为测量值对预测的系统状态进行更新，作为当前帧中car_id车的车牌的系统状态，若当前帧车牌漏检没有检测值，则将预测值作为测量值；
根据漏检车牌更新后的系统状态，计算出车牌漏检车辆的车牌坐标并保存。
8.根据权利要求6所述的基于视频的车牌数据脱敏方法，其特征在于，所述用反向kalman滤波估计漏检车牌位置的步骤包括：
在后向帧列表back_frame_list的最后一帧frame_last中找到id为car_id的车辆，用该车辆的车辆位置数据与车牌位置数据计算出对应的kalman滤波系统状态，初始化kalman模型；
从最后一帧frame_last帧到漏检帧frame_id帧依次从后往前根据后一帧中car_id车的车牌的系统状态预测当前帧car_id车的车牌的系统状态，用当前帧中car_id车的车牌系统状态的检测值作为测量值对预测的系统状态进行更新，作为当前帧中car_id车的车牌的系统状态，若当前帧车牌漏检没有检测值，则将预测值作为测量值；
根据漏检车牌更新后的系统状态，计算出计算出车牌漏检车辆的车牌坐标并保存。
9.根据权利要求6所述的基于视频的车牌数据脱敏方法，其特征在于，所述用双向kalman滤波估计漏检车牌位置的步骤包括：
从完整帧列表full_frame_list的第一帧frame_first中找到id为car_id的车辆，用该车辆的车辆位置数据与车牌位置数据计算出对应的kalman滤波系统状态，初始化kalman模型；
从完整帧列表第一帧frame_first帧到最后一帧frame_last帧依次从前往后根据前一帧中car_id车的车牌的系统状态预测当前帧car_id车的车牌的系统状态，用当前帧中car_id车的车牌系统状态的检测值作为测量值对预测的系统状态进行更新，作为当前帧中car_id车的车牌的正向系统状态，若当前帧车牌漏检没有检测值，则将预测值作为测量值；
从完整帧列表full_frame_list的最后一帧frame_last帧中找到id为car_id的车辆，用该车辆的车辆位置数据与车牌位置数据计算出对应的系统状态，初始化kalman模型；
从完整帧列表最后一帧frame_last帧到第一帧frame_first帧依次从后往前根据后一帧中car_id车的车牌的系统状态预测当前帧car_id车的车牌的系统状态，用当前帧中car_id车的车牌系统状态的检测值作为测量值对预测的系统状态进行更新，作为当前帧中car_id车的车牌的反向系统状态，若当前帧车牌漏检没有检测值，则将预测值作为测量值；
根据漏检帧frame_id帧的正向系统状态和反向系统状态分别计算出车牌漏检车辆的车牌坐标，取其均值，作为车牌漏检车辆的最终车牌坐标并保存。
10.一种基于视频的车牌数据脱敏系统，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-9任意一项所述基于视频的车牌数据脱敏方法中的步骤。
CN202011077033.8A 2020-10-10 2020-10-10 一种基于视频的车牌数据脱敏方法、存储介质及服务器 Active CN112347853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011077033.8A CN112347853B (zh) 2020-10-10 2020-10-10 一种基于视频的车牌数据脱敏方法、存储介质及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011077033.8A CN112347853B (zh) 2020-10-10 2020-10-10 一种基于视频的车牌数据脱敏方法、存储介质及服务器

Publications (2)

Publication Number Publication Date
CN112347853A true CN112347853A (zh) 2021-02-09
CN112347853B CN112347853B (zh) 2024-08-23

Family

ID=74360419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011077033.8A Active CN112347853B (zh) 2020-10-10 2020-10-10 一种基于视频的车牌数据脱敏方法、存储介质及服务器

Country Status (1)

Country Link
CN (1) CN112347853B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410190A (zh) * 2022-11-02 2022-11-29 平安银行股份有限公司 车牌图像角点检测模型训练方法、车牌脱敏方法及其设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567705A (zh) * 2010-12-23 2012-07-11 北京邮电大学 一种检测和跟踪夜间行驶车辆的方法
CN103886549A (zh) * 2012-12-21 2014-06-25 北京齐尔布莱特科技有限公司 自动对图片中的车牌进行马赛克处理的方法及装置
CN104408475A (zh) * 2014-12-08 2015-03-11 深圳市捷顺科技实业股份有限公司 一种车牌识别方法及车牌识别设备
US9349055B1 (en) * 2013-06-26 2016-05-24 Google Inc. Real-time image-based vehicle detection based on a multi-stage classification
CN109299672A (zh) * 2018-09-05 2019-02-01 重庆大学 自适应调节阈值和算法结构的停车事件检测系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567705A (zh) * 2010-12-23 2012-07-11 北京邮电大学 一种检测和跟踪夜间行驶车辆的方法
CN103886549A (zh) * 2012-12-21 2014-06-25 北京齐尔布莱特科技有限公司 自动对图片中的车牌进行马赛克处理的方法及装置
US9349055B1 (en) * 2013-06-26 2016-05-24 Google Inc. Real-time image-based vehicle detection based on a multi-stage classification
CN104408475A (zh) * 2014-12-08 2015-03-11 深圳市捷顺科技实业股份有限公司 一种车牌识别方法及车牌识别设备
CN109299672A (zh) * 2018-09-05 2019-02-01 重庆大学 自适应调节阈值和算法结构的停车事件检测系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410190A (zh) * 2022-11-02 2022-11-29 平安银行股份有限公司 车牌图像角点检测模型训练方法、车牌脱敏方法及其设备

Also Published As

Publication number Publication date
CN112347853B (zh) 2024-08-23

Similar Documents

Publication Publication Date Title
US10261574B2 (en) Real-time detection system for parked vehicles
US11132559B2 (en) Abnormality detection method, apparatus, and device for unmanned checkout
US20210056715A1 (en) Object tracking method, object tracking device, electronic device and storage medium
JP6488083B2 (ja) 駐車区画占有率判定のための映像および視覚ベースのアクセス制御のハイブリッド方法およびシステム
US20170032514A1 (en) Abandoned object detection apparatus and method and system
WO2019020103A1 (zh) 目标识别方法、装置、存储介质和电子设备
CN111932596B (zh) 摄像头遮挡区域的检测方法、装置、设备和存储介质
CN110443245B (zh) 一种非限制场景下的车牌区域的定位方法、装置及设备
CN108647587B (zh) 人数统计方法、装置、终端及存储介质
CN111079621B (zh) 检测对象的方法、装置、电子设备和存储介质
US11482007B2 (en) Event-based vehicle pose estimation using monochromatic imaging
US10599946B2 (en) System and method for detecting change using ontology based saliency
CN113505643B (zh) 违章目标物检测方法及相关装置
US20220405527A1 (en) Target Detection Methods, Apparatuses, Electronic Devices and Computer-Readable Storage Media
Santos et al. Car recognition based on back lights and rear view features
CN112347853A (zh) 一种基于视频的车牌数据脱敏方法、存储介质及服务器
CN110765940B (zh) 目标对象统计方法和装置
CN111062415B (zh) 基于对比差异的目标对象图像提取方法、系统及存储介质
CN110298302B (zh) 一种人体目标检测方法及相关设备
CN111402185B (zh) 一种图像检测方法及装置
CN113869163B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN112101139B (zh) 人形检测方法、装置、设备及存储介质
Pun et al. A real-time detector for parked vehicles based on hybrid background modeling
CN113919393A (zh) 车位识别的方法、装置和设备
CN115346143A (zh) 行为检测方法、电子设备、计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant