CN112115904A - 车牌检测识别方法、装置及计算机可读存储介质 - Google Patents

车牌检测识别方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN112115904A
CN112115904A CN202011025548.3A CN202011025548A CN112115904A CN 112115904 A CN112115904 A CN 112115904A CN 202011025548 A CN202011025548 A CN 202011025548A CN 112115904 A CN112115904 A CN 112115904A
Authority
CN
China
Prior art keywords
license plate
detection
recognition
vehicle
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011025548.3A
Other languages
English (en)
Inventor
郝行猛
王耀农
舒梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011025548.3A priority Critical patent/CN112115904A/zh
Publication of CN112115904A publication Critical patent/CN112115904A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明实施例提供了一种车牌检测识别方法、装置及计算机可读存储介质。该方法包括：对视频流中的车辆进行目标检测，在判断满足抓拍条件的情况下，记录所述视频流中包含所述车辆的多个图像帧对应的目标检测结果；基于所述多个图像帧中每个图像帧对应的所述目标检测结果分别进行车牌检测和车牌识别，得到所述每个图像帧的车牌检测结果和车牌字符识别结果，以及所述每个图像帧对应的车牌置信得分值；根据所述每个图像帧对应的车牌置信得分值，确定所述车辆的车牌检测结果和车牌字符识别结果。通过本发明，解决了相关技术中如何进行精确的车牌检测识别的问题，提升了车牌检测识别的准确性和可靠性。

Description

车牌检测识别方法、装置及计算机可读存储介质
技术领域
本发明实施例涉及图像处理技术领域，具体而言，涉及一种车牌检测识别方法、装置及计算机可读存储介质。
背景技术
随着智能交通系统(Intelligent Transportation System，简称为ITS)在电警、卡口、出入口、停车场等交通场景的日益普及，精准高效的车牌类型判定及识别方法越来备受青睐，特别是在安检系数较高的边境出入口场景，精确的车牌检测识别显得尤为重要。
发明内容
本发明实施例提供了一种车牌检测识别方法、装置及计算机可读存储介质，以至少解决相关技术中如何进行精确的车牌检测识别的问题。
根据本发明的一个实施例，提供了一种车牌检测识别方法，包括：对视频流中的车辆进行目标检测，在判断满足抓拍条件的情况下，记录所述视频流中包含所述车辆的多个图像帧对应的目标检测结果；基于所述多个图像帧中每个图像帧对应的所述目标检测结果分别进行车牌检测和车牌识别，得到所述每个图像帧的车牌检测结果和车牌字符识别结果，以及所述每个图像帧对应的车牌置信得分值；根据所述每个图像帧对应的车牌置信得分值，确定所述车辆的车牌检测结果和车牌字符识别结果。
在至少一个示例性实施例中，所述目标检测结果包括车辆检测框，所述抓拍条件包括：对所述视频流中的所述车辆进行目标检测的置信度高于稳定状态阈值；以及所述车辆检测框与预设抓拍线之间的位置关系满足预定条件。
在至少一个示例性实施例中，所述预定条件包括：所述车辆检测框的下边沿触及所述预设抓拍线，其中，所述预设抓拍线的位置snap_line＝h1*snap_ratio，h1是当前图像帧的分辨率中的高度值，snap_ratio是所述预设抓拍线的比例系数。
在至少一个示例性实施例中，在判断满足抓拍条件的情况下，所述方法还包括：根据抓拍统计帧数F_CNT连续采集所述车辆的F_CNT个图像帧。
在至少一个示例性实施例中，基于所述多个图像帧中每个图像帧对应的所述目标检测结果分别进行车牌检测和车牌识别包括：截取所述每个图像帧对应的所述车辆检测框的预定区域，并对所述预定区域分别进行车牌检测和车牌识别，其中，所述预定区域至少包含所述车辆的车牌区域。
在至少一个示例性实施例中，所述车牌检测结果包括车牌类型，基于所述多个图像帧中每个图像帧对应的所述目标检测结果分别进行车牌检测和车牌识别，得到所述每个图像帧的车牌检测结果和车牌字符识别结果包括：根据字符编码构成，基于所述每个图像帧对应的所述目标检测结果分别进行车牌检测以确定所述车牌类型；根据确定的所述车牌类型调用对应于所述车牌类型的车牌识别算法进行车牌识别，得到所述车牌字符识别结果。
在至少一个示例性实施例中，根据确定的所述车牌类型调用对应于所述车牌类型的车牌识别算法进行车牌识别，得到所述车牌字符识别结果包括：根据确定的所述车牌类型调用对应于所述车牌类型的车牌识别算法进行车牌识别，并确定所述车牌识别是否成功；在所述车牌识别成功的情况下，获取所述车牌字符识别结果；在所述车牌识别不成功的情况下，调用对应于其他车牌类型的车牌识别算法进行车牌识别，直到车牌识别成功，获取所述车牌字符识别结果，并将所述车牌检测结果中的所述车牌类型更新为识别成功的所述车牌识别算法对应的车牌类型；或者直到所有的车牌类型对应的车牌识别算法进行车牌识别均不成功，确定所述车辆为无牌状态。
在至少一个示例性实施例中，基于所述多个图像帧中每个图像帧对应的所述目标检测结果分别进行车牌检测和车牌识别，得到所述每个图像帧对应的车牌置信得分值包括：确定基于所述每个图像帧对应的所述目标检测结果进行车牌检测的车牌检测置信度PD_Score和进行车牌识别的车牌识别置信度PR_Score；对所述车牌检测置信度PD_Score和所述车牌识别置信度PR_Score进行加权计算，得到所述每个图像帧对应的所述车牌置信得分值P_Score＝α*PD_Score+γ*PR_Score，其中，α和γ分别是PD_Score和PR_Score的加权系数。
在至少一个示例性实施例中，所述车牌检测置信度PD_Score＝PD_Conf+[(90-arctan(h2/w)+k*100/3.5，其中，PD_Conf是所述车牌检测所输出的车牌检测框的置信度，w和h2分别是所述车牌检测框的宽和高，k是所述车牌检测框的宽高比；所述车牌识别置信度
Figure BDA0002702025890000031
其中，Cconfi是所述车牌字符识别结果中第i个有效字符的可靠性得分，N是所述车牌字符识别结果中字符的个数。
在至少一个示例性实施例中，所述车牌检测结果包括车牌类型和车牌检测框，根据所述每个图像帧对应的车牌置信得分值，确定所述车辆的车牌检测结果和车牌字符识别结果包括：根据所述每个图像帧对应的车牌置信得分值，确定最高车牌置信得分值对应的图像帧的所述车牌字符识别结果作为所述车辆的车牌字符识别结果；统计所述多个图像帧的所述车牌检测结果中的所述车牌类型，将统计结果中数量最多的车牌类型作为所述车辆的车牌对应的车牌类型；以及基于所述最高车牌置信得分值对应的所述图像帧的所述车牌字符识别结果对所述最高车牌置信得分值对应的所述图像帧的所述车牌检测框进行修正，将修正后的所述车牌检测框作为所述车辆的车牌对应的车牌检测框。
在至少一个示例性实施例中，基于所述最高车牌置信得分值对应的所述图像帧的所述车牌字符识别结果对所述最高车牌置信得分值对应的所述图像帧的所述车牌检测框进行修正包括：提取所述最高车牌置信得分值对应的所述图像帧的所述车牌字符识别结果中的有效字符在所述车牌字符识别结果中的位置索引值；根据所述位置索引值和所述有效字符的长度确定平均字符宽度；根据所述平均字符宽度修正所述车牌检测框中的左右边界的位置。
在至少一个示例性实施例中，根据所述位置索引值和所述有效字符的长度确定平均字符宽度包括：根据所述位置索引值和所述有效字符的长度确定平均字符宽度pr_avg_w＝(char_index[end]-char_index[start])/[2*(k-2)]，其中，k为所述有效字符的长度，char_index[end]为所述有效字符中最后一个有效字符的位置索引值，char_index[start]为所述有效字符中第一个有效字符的位置索引值；根据所述平均字符宽度修正所述车牌检测框中的左右边界的位置包括：根据所述平均字符宽度pr_avg_w修正所述车牌检测框中的左右边界的位置为
Figure BDA0002702025890000041
其中，pr_len为所述车牌字符识别结果中字符的总长度，PD_w为修正前所述车牌检测框的宽度。
在至少一个示例性实施例中，在根据所述每个图像帧对应的车牌置信得分值，确定所述车辆的车牌检测结果和车牌字符识别结果之后，所述方法还包括以下至少之一：上报所述车辆的所述车牌字符识别结果；上报所述车辆的车牌对应的所述车牌类型；上报所述最高车牌置信得分值对应的所述图像帧；上报所述车辆的车牌对应的所述车牌检测框。
根据本发明的另一个实施例，提供了一种车牌检测识别装置，包括：车辆目标检测模块，设置为对视频流中的车辆进行目标检测，在判断满足抓拍条件的情况下，记录所述视频流中包含所述车辆的多个图像帧对应的目标检测结果；车牌检测识别模块，设置为基于所述多个图像帧中每个图像帧对应的所述目标检测结果分别进行车牌检测和车牌识别，得到所述每个图像帧的车牌检测结果和车牌字符识别结果，以及所述每个图像帧对应的车牌置信得分值；结果判定模块，设置为根据所述每个图像帧对应的车牌置信得分值，确定所述车辆的车牌检测结果和车牌字符识别结果。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，由于该方案在满足抓拍条件的情况下记录包含车辆的多个图像帧对应的目标检测结果，并分别基于每个图像帧对应的目标检测结果进行车牌检测和车牌识别，最终根据每个图像帧对应的车牌置信得分值综合确定车辆的最终车牌检测结果和车牌字符识别结果，因此，可以解决相关技术中如何进行精确的车牌检测识别的问题，提升了车牌检测识别的准确性和可靠性。
附图说明
图1是本发明实施例的一种车牌检测识别方法所应用的监控设备的硬件结构框图；
图2是根据本发明实施例的一种车牌检测识别方法的流程图；
图3是根据本发明实施例的一种车牌检测识别装置的结构框图；
图4是根据本发明实施例的车牌检测识别方法的详细流程图；
图5是根据本发明实施例的抓拍线的示意图；
图6是根据本发明实施例的车牌检测及识别模块的算法执行流程图；
图7是根据本发明实施例的有效字符序列索引值示意图；
图8是根据本发明实施例的修正前后的PD框的示意图。
具体实施方式
目前，基于当前人工智能的时代背景下，一种稳定可靠的边境出入口车辆抓拍及车牌类型判定及识别系统对ITS的智能化水平提升尤为重要。为此，往往可以对出入口进出的车辆进行感应，并控制摄像机对当前的图像帧进行抓拍采集方式来获取过出入口的车辆的当前图像帧，进而将抓拍获取的整帧图像进行预处理后，作为图像识别模块的输入，进行牌照定位及牌照切分，并将切分后的车牌作为车牌字符识别模块的输入获取车牌识别结果。然而，考虑到输入整帧图像预处理过程时间复杂度较高，容易受到外部噪声的干扰影响车牌定位的精度；而且系统只取用一帧抓拍帧作为车牌识别模块的结果帧，缺少车牌检测及识别结果的可靠性得分评价方式，无法优选出最佳车牌识别结果上报系统；并且基于线圈传感器等硬件模块实现车辆感应，容易受到硬件模块自身灵敏度及信号检测等硬件缺陷制约。
考虑到上述不足，本发明实施例及其示例性实施例方式中，提供了一种车牌识别方案，该方案能够实现出入口车辆车牌类型自适应判定及车牌字符识别。该方案采用目标检测(Objective Detection，简称为OD)方法在视频图像中检测目标车辆，在基于目标检测结果确定目标状态稳定的前提下，在确定满足抓拍条件时采集连续的多个图像帧，并对该多个图像帧进行车牌检测(也称为牌检，Plate Detection，简称为PD)及车牌识别(也称为牌识，Plate Recognition，简称为PR)，其中，对于多个图像帧中的每一个图像帧，通过车牌检测确定车牌类型，并依据确定的车牌类型通过相应的车牌识别算法进行车牌识别，得到车牌字符识别结果，并得到当前图像帧对应的包括置信得分P_Score及类别标志位P_Class的车牌属性信息。根据多个图像帧各自的车牌属性信息，可以综合判定车牌类型并通过车牌的置信得分P_Score进行车牌优选。最终，建立车牌识别有效字符位置索引列表，对优选后的牌检PD的检测框BBox进行修正后，上报最终结果。
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在监控设备、监控服务器或者类似的具有运算能力的装置中执行。以运行在监控设备上为例，图1是本发明实施例的一种车牌检测识别方法所应用的监控设备的硬件结构框图。如图1所示，监控设备可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，还可以包括一个或多个(图1中仅示出一个)图像采集模块106、用于通信功能的传输设备108以及输入输出设备110。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述监控设备的结构造成限定。例如，监控设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的车牌检测识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的车牌检测识别方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至监控设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图像采集模块106用于在处理器102的控制下进行图像采集，其可以具有图像跟踪、分析功能，其可以安装在云台上以实现监控区域的调整。
传输装置108用于经由一个网络接收或者发送数据。上述的网络具体实例可包括监控设备对应的通信供应商提供的无线网络。在一个实例中，传输装置108可以包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置108可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种车牌检测识别方法，图2是根据本发明实施例的一种车牌检测识别方法的流程图，如图2所示，该流程包括如下步骤S202至S206。
步骤S202，对视频流中的车辆进行目标检测，在判断满足抓拍条件的情况下，记录所述视频流中包含所述车辆的多个图像帧对应的目标检测结果。
在实际应用中，抓拍条件可以根据实际需要来具体设置。总体而言，抓拍条件建议能够保证对车辆进行目标检测的状态较稳定，且为了提高图像识别的准确率，建议抓拍条件还能够保证对车辆进行图像采集所获得的图像较清晰。因此，在至少一个示例性实施例中，所述目标检测结果包括车辆检测框，所述抓拍条件可以设置为包括以下两点：
(1)对所述视频流中的所述车辆进行目标检测的置信度高于稳定状态阈值。
在监控运行的过程中，可以连续对监控的视频流进行目标检测，这样，在一车辆从远处驶来的过程中，目标检测算法能够检测到目标(本申请中检测目标为车辆)，且目标检测的状态是一个不稳定——趋于稳定——稳定的过程，而为了保证最终的车牌检测识别的准确性，应当尽可能保证目标检测状态稳定的前提下实施图像帧的采集。
在实际应用中，目标检测的置信度能够体现目标检测状态是否稳定，作为一个较为简单的判断方式，可以通过判断对所述视频流中的所述车辆进行目标检测的置信度是否高于稳定状态阈值来判断目标检测状态是否稳定，当高于稳定状态阈值，则可以认为目标检测状态是稳定的，此时可以通过将一个稳定状态标志位S_Flag置为1，来体现系统中当前车辆的目标检测状态已经达到稳定，这样在后续判断车辆到达抓拍线的情况下，基于该稳定状态标志位S_Flag的值为1可以确定目前目标检测状态稳定，可以正常进行抓拍。
(2)所述车辆检测框与预设抓拍线之间的位置关系满足预定条件。
为了保证车辆目前在图像中的位置适合进行后续的车牌检测和识别，也为了保证每次有车辆通过时采集的图像中车辆的位置大体相似，从而便于识别区域的截取，可以设定一个抓拍线(也就是本实施例中所提及的预设抓拍线)并设定一个位置关系需要满足的预定条件。在至少一个示例性实施例中，所述预定条件可以包括：所述车辆检测框的下边沿触及所述预设抓拍线，其中，所述预设抓拍线的位置snap_line＝h1*snap_ratio，h1是当前图像帧的分辨率中的高度值，snap_ratio是所述预设抓拍线的比例系数(例如，可以是抓拍线高度占总体车辆(或车辆检测框)总体高度的比例)。snap_ratio的取值可以根据卡口或出入口所通过车辆的类型来设定，例如，可以根据小型客车和大客车的车牌在整体车辆高度的位置比例来设定snap_ratio的取值。
在步骤S202中，一旦确定满足抓拍条件，还可以进一步包括以下步骤：根据抓拍统计帧数F_CNT连续采集所述车辆的F_CNT个图像帧，其中，抓拍统计帧数F_CNT可以根据算法本身的性质和精确度需求来设定。实际抓拍中，可以根据预定的时间间隔连续抓拍，获得包含车辆影像的多个图像帧，其中预定的时间间隔与车辆的速度、抓拍统计帧数F_CNT的取值相关，该时间间隔可以是预设的固定值，也可以是根据实际车辆通过卡口或出入口的速度来实时计算调整。
步骤S204，基于所述多个图像帧中每个图像帧对应的所述目标检测结果分别进行车牌检测和车牌识别，得到所述每个图像帧的车牌检测结果和车牌字符识别结果，以及所述每个图像帧对应的车牌置信得分值。
在实际应用中，考虑到部分卡口和出入口(例如，高度公路的卡口和边境出入口)处经常有大型货车通过，而这些货车的高度很高，相对地车牌的位置比较低，且从尺寸上来说车牌的占整个车身的比例也非常小，很容易导致漏检。为此，可以按照预定规则截取所述每个图像帧对应的所述车辆检测框的预定区域，而车牌检测和识别过程基于截取的预定区域来进行，这样可以相对提高车牌的尺寸占比，降低漏检的概率，也能够降低车牌检测网络前向预处理的时间复杂度。因此，在至少一个示例性实施例中，基于所述多个图像帧中每个图像帧对应的所述目标检测结果分别进行车牌检测和车牌识别可以包括：截取所述每个图像帧对应的所述车辆检测框的预定区域，并对所述预定区域分别进行车牌检测和车牌识别，其中，所述预定区域至少包含所述车辆的车牌区域。预定区域在图像帧中的位置和大小，可以根据官方规定的车牌安装位置和尺寸来设定。
在至少一个示例性实施例中，所述车牌检测结果包括车牌类型，也就是说，可以通过车牌检测来确定车牌类型，例如，该车牌属于国内车牌还是海外车牌，或者更具体地，该车牌属于具体哪国车牌。
基于此，步骤S204中，基于所述多个图像帧中每个图像帧对应的所述目标检测结果分别进行车牌检测和车牌识别，得到所述每个图像帧的车牌检测结果和车牌字符识别结果的过程可以包括：
根据字符编码构成，基于所述每个图像帧对应的所述目标检测结果分别进行车牌检测以确定所述车牌类型，例如，边境海外车牌字符与国内车牌的字符编码不同，国内车牌的首个字符为汉字，国外则为数字或者英文字符，可依据此条件来确定车牌类型；
根据确定的所述车牌类型调用对应于所述车牌类型的车牌识别算法进行车牌识别，得到所述车牌字符识别结果。
通过上述方案，可以确定车牌类型，并根据车牌类型对应的车牌识别算法来进行车牌识别，该方式可以更加准确地实现车牌的识别。
考虑到车牌类别的判定不一定准确，该方案提供了一种车牌类型修正的方案。此外，考虑到车牌外观状态不总是很理想，或者有的车辆是无牌车，在本方案中还提供了一种无牌车判定的方案。以下详细描述该方案。
在至少一个示例性实施例中，步骤S204中根据确定的所述车牌类型调用对应于所述车牌类型的车牌识别算法进行车牌识别，得到所述车牌字符识别结果的过程可以包括：
根据确定的所述车牌类型调用对应于所述车牌类型的车牌识别算法进行车牌识别，并确定所述车牌识别是否成功；
在所述车牌识别成功的情况下，获取所述车牌字符识别结果；
在所述车牌识别不成功的情况下，调用对应于其他车牌类型的车牌识别算法进行车牌识别，直到车牌识别成功，获取所述车牌字符识别结果，并将所述车牌检测结果中的所述车牌类型更新为识别成功的所述车牌识别算法对应的车牌类型(也就是说，执行车牌类型的修正)；或者直到所有的车牌类型对应的车牌识别算法进行车牌识别均不成功，确定所述车辆为无牌状态(也就是说，判定无牌车)。
通过上述方案，可以对车牌检测中的车牌类型的误检进行修正，提高车牌检测定位的精度。此外，可以对无牌的特殊状态进行识别，及时发现异常车辆。
在车牌检测和车别识别过程，都会输出各自对应的检测和识别结果的置信度，基于两个过程的置信度，可以得到当前图像帧对应的车牌置信得分值。因此，在至少一个示例性实施例中，步骤S204中，基于所述多个图像帧中每个图像帧对应的所述目标检测结果分别进行车牌检测和车牌识别，得到所述每个图像帧对应的车牌置信得分值的过程可以包括：
确定基于所述每个图像帧对应的所述目标检测结果进行车牌检测的车牌检测置信度PD_Score和进行车牌识别的车牌识别置信度PR_Score；
对所述车牌检测置信度PD_Score和所述车牌识别置信度PR_Score进行加权计算，得到所述每个图像帧对应的所述车牌置信得分值P_Score＝α*PD_Score+γ*PR_Score，其中，α和γ分别是PD_Score和PR_Score的加权系数，其中，加权系数可以根据实际应用要求进行设定，也可以根据实时的检测和识别结果的准确性(可以由人工判定或基于其他检测识别结果进行二次核验的结果来确定其准确性)进行实时调整。
通过对车牌检测置信度和车牌识别置信度进行加权求和，可以综合车牌的检测识别结果整体的置信度，从而便于后续结果的优选和优化。
在至少一个示例性实施例中，所述车牌检测置信度可以按照如下公式计算：
PD_Score＝PD_Conf+[(90-arctan(h2/w))+k*100/3.5，其中，PD_Conf是所述车牌检测所输出的车牌检测框的置信度，w和h2分别是所述车牌检测框的宽和高，k是所述车牌检测框的宽高比。
在至少一个示例性实施例中，所述车牌识别置信度可以按照如下公式计算：
Figure BDA0002702025890000121
其中，Cconfi是所述车牌字符识别结果中第i个有效字符的可靠性得分，N是所述车牌字符识别结果中字符的个数。
步骤S206，根据所述每个图像帧对应的车牌置信得分值，确定所述车辆的车牌检测结果和车牌字符识别结果。
在至少一个示例性实施例中，所述车牌检测结果可以包括车牌类型和车牌检测框(车牌检测输出的车牌检测框)。
步骤S206可以包括以下过程：
步骤S206-1，根据所述每个图像帧对应的车牌置信得分值，确定最高车牌置信得分值对应的图像帧的所述车牌字符识别结果作为所述车辆的车牌字符识别结果，通过该步骤，基于能够体现对车牌检测及识别的可靠性评价的车牌整体置信得分值，优选最高置信度的车牌字符识别结果，从而提升车牌上报结果的可靠性。
步骤S206-2，统计所述多个图像帧的所述车牌检测结果中的所述车牌类型，将统计结果中数量最多的车牌类型作为所述车辆的车牌对应的车牌类型，通过该步骤，综合多帧牌检结果类型，可有效减少单帧图像检测导致的偶然性事件。
步骤S206-3，基于所述最高车牌置信得分值对应的所述图像帧的所述车牌字符识别结果对所述最高车牌置信得分值对应的所述图像帧的所述车牌检测框进行修正，将修正后的所述车牌检测框作为所述车辆的车牌对应的车牌检测框，通过该步骤，可以修正车牌检测狂，提高车牌检测定位的精度。
在至少一个示例性实施例中，步骤S206-3中，基于所述最高车牌置信得分值对应的所述图像帧的所述车牌字符识别结果对所述最高车牌置信得分值对应的所述图像帧的所述车牌检测框进行修正的过程可以包括：
提取所述最高车牌置信得分值对应的所述图像帧的所述车牌字符识别结果中的有效字符在所述车牌字符识别结果中的位置索引值；
根据所述位置索引值和所述有效字符的长度确定平均字符宽度，在至少一个示例性实施例中，可以根据所述位置索引值和所述有效字符的长度确定平均字符宽度pr_avg_w＝(char_index[end]-char_index[start])/[2*(k-2)]，其中，k为所述有效字符的长度，char_index[end]为所述有效字符中最后一个有效字符的位置索引值，char_index[start]为所述有效字符中第一个有效字符的位置索引值；
根据所述平均字符宽度修正所述车牌检测框中的左右边界的位置，在至少一个示例性实施例中，可以根据所述平均字符宽度pr_avg_w修正所述车牌检测框中的左右边界的位置为
Figure BDA0002702025890000131
其中，pr_len为所述车牌字符识别结果中字符的总长度，PD_w为修正前所述车牌检测框的宽度。
需要说明的是，根据上述过程中步骤S206-1至步骤S206-3的描述可以看出，步骤S206-2的处理并不依赖于步骤S206-1和步骤S206-3，因此，步骤S206-2和步骤S206-1/步骤S206-3之间并没有特定的处理顺序，可以同步或先后处理，在先后处理时没有特定的先后顺序限制。
通过上述步骤S202-S206，可以实现对车牌的准确检测和识别，为了便于车牌识别后的处理，在至少一个示例性实施例中，在步骤S206之后，所述方法还可以包括以下过程至少之一：
上报所述车辆的所述车牌字符识别结果；
上报所述车辆的车牌对应的所述车牌类型；
上报所述最高车牌置信得分值对应的所述图像帧；
上报所述车辆的车牌对应的所述车牌检测框。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种车牌检测识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例的一种车牌检测识别装置的结构框图，如图3所示，该装置包括：
车辆目标检测模块32，设置为对视频流中的车辆进行目标检测，在判断满足抓拍条件的情况下，记录所述视频流中包含所述车辆的多个图像帧对应的目标检测结果；
车牌检测识别模块34，设置为基于所述多个图像帧中每个图像帧对应的所述目标检测结果分别进行车牌检测和车牌识别，得到所述每个图像帧的车牌检测结果和车牌字符识别结果，以及所述每个图像帧对应的车牌置信得分值；
结果判定模块36，设置为根据所述每个图像帧对应的车牌置信得分值，确定所述车辆的车牌检测结果和车牌字符识别结果。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，对视频流中的车辆进行目标检测，在判断满足抓拍条件的情况下，记录所述视频流中包含所述车辆的多个图像帧对应的目标检测结果；
S2，基于所述多个图像帧中每个图像帧对应的所述目标检测结果分别进行车牌检测和车牌识别，得到所述每个图像帧的车牌检测结果和车牌字符识别结果，以及所述每个图像帧对应的车牌置信得分值；
S3，根据所述每个图像帧对应的车牌置信得分值，确定所述车辆的车牌检测结果和车牌字符识别结果。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
在一个示例性实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，对视频流中的车辆进行目标检测，在判断满足抓拍条件的情况下，记录所述视频流中包含所述车辆的多个图像帧对应的目标检测结果；
S2，基于所述多个图像帧中每个图像帧对应的所述目标检测结果分别进行车牌检测和车牌识别，得到所述每个图像帧的车牌检测结果和车牌字符识别结果，以及所述每个图像帧对应的车牌置信得分值；
S3，根据所述每个图像帧对应的车牌置信得分值，确定所述车辆的车牌检测结果和车牌字符识别结果。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
为了便于理解本发明实施例提供的方案，以下示例性实施例给出一种基于逻辑标志位和队列来实现车牌识别的实例。
本实施例中提供了一种基于深度学习视频检测识别及相关逻辑标志位的判别方案，实现交通边境出入口车辆车牌类型自适应判定及车牌字符识别。在诸如边境、卡口等出入口场景下，采用目标检测方法(例如，YOLOV3等目标检测方法)在输入的视频图像中检测目标车辆并获取目标检测(Objective Detection，简称为OD)检测框，并基于车检OD结果进行车牌检测输出车牌检测(也称为牌检Plate Detection，简称为PD)结果，依据当前帧的车牌类别标志位P_overseas自适应调用相应的车牌识别模块获取车牌字符识别PR结果，并将车牌的置信得分值P_Score及类别标志位P_Class属性信息入队存储。由属性队列中牌检类型列表P_Class_list逻辑求和运算，输出车牌类别判定结果，并通过车牌可靠性性评价得分P_Score进行车牌优选。最终，建立车牌识别(也称为牌识Plate Recognition，简称为PR)有效字符位置索引列表，对优选后的牌检PD的检测框BBox进行修正后，上报最终结果。
图4是根据本发明实施例的车牌检测识别方法的详细流程图，如图4所示，该方案的主要执行流程如下：
步骤S401，参数预设：预设参数主要有车检OD的稳定状态阈值OD_Thresh、抓拍统计帧数F_CNT以及抓拍线预设比例系数snap_ratio。将置信度大于OD_Thresh的当前帧设置为状态稳定起始帧，确保车辆抓拍时OD状态的稳定性；抓拍统计帧数F_CNT，用来统计抓拍帧数；抓拍线预设比例系数snap_ratio控制抓拍线的位置。假设图像分辨率为w*h，则抓拍线的位置公式如下：
snap_line＝h*snap_ratio (1)
图5是根据本发明实施例的抓拍线的示意图。
步骤S402，输入视频：开始进行监控，获取监控视频。
步骤S403，车辆检测：通过基于深度学习的YOLOV3目标检测方法，通过配置调优CNN各卷积神经网络参数对训练集数据进行训练，获取目标检测网络模型；由OD目标检测网络对视频图像中车辆进行检测定位，获取车辆OD目标检测框BBox。
步骤S404，OD_Score判定状态是否稳定：比对当前帧中车检OD的置信度OD_Conf与设定阈值OD_Thresh的大小，将车检OD置信度大于设定阈值的图像帧作为目标状态稳定的起始帧，保证抓拍帧中车辆OD检测结果的可靠性，将稳定状态标志位S_Flag置为1。
步骤S405，抓拍存储：目标车辆的车检框BBox的下边界触及预设抓拍线并且当前稳定状态标志位S_Flag的值为1时，连续抓拍F_CNT张图像帧并保存车检OD结果。根据当前帧的索引序列建立车牌属性队列PD_queue。
步骤S406，车牌检测及识别(PDPR)：将抓拍缓存图像帧的OD结果上下分割处理，将OD下半部分图像作为车牌识别模块的输入，有效解决大货车车牌相对于整个OD图像占比过小导致的漏检问题，也可降低车牌检测网络前向预处理的时间复杂度。
车牌类型修正的前提依据：边境海外车牌字符与国内车牌的字符编码不同，国内车牌的首个字符为汉字，国外则为数字或者英文字符，可依据此条件及当前的Unkown状态进行二次识别修正，并将相应的SA_Flag标志位置为1。
图6是根据本发明实施例的车牌检测及识别模块的算法执行流程图。如图6所示，车牌检测及识别模块PDPR的具体执行过程如下：
1、根据车牌检测网络输出PD车牌类型，将海外车牌标志位P_overseas进行置位赋值，P_overseas＝＝1表示海外车牌，P_overseas＝＝0表示国内车牌；
2、若P_overseas＝＝1，则首先调用海外车牌算法识别模块进行车牌字符识别，当识别结果为Unkown时，启用国内车牌识别模块的二次识别功能，同时将此车牌的SA_Flag标志位置为1，判别当前国内车牌识别结果是否为Unkown，结果为Unkown则按无牌状态处理，否则按照国内车牌识别流程进行结果输出，当SA_Flag的值为1时，需要将原始的牌检类型结果进行修正。
3、若P_overseas＝＝0时，则首先调用国内车牌算法识别模块进行车牌字符识别，其后续的逻辑判断流程与P_overseas＝＝1时一致，设置二次分析标志位SA_Flag，可有效规避无牌车误识别现象。
4、置信得分计算：车牌置信得分包括两部分牌检置信度PD_Score和牌识置信度PR_Score，最终结果P_Score由PD_Score和PR_Score两者加权计算得出，计算公式如下所示；
Figure BDA0002702025890000181
其中，α和γ分别是PD_Score和PR_Score的加权系数，w，h分别是牌检框的宽和高，比例系数k为牌检框宽高比，PD_Conf是牌检模型输出车牌检测框BBox的置信度，Cconf是车牌识别结果中每个字符的可靠性得分值，N为识别字符的个数。
步骤S407，车牌属性入队存储：将当前帧车牌的属性信息，即车牌类型P_Class(0表示国内车牌，1表示海外车牌)及车牌置信得分值P_Score，按照帧索引值存储到属性队列P_queue中的牌检类型列表P_Class_list及车牌置信得分列表P_Score_list中。
步骤S408，车牌类型判定：通过车牌属性队列中的牌检类型列表P_Class_listSum求和运算控制当前车辆车牌最终牌检类别P_Class的输出，若Sum>F_CNT/2，则P_Class置为1(海外车牌)，否则置为0(国内车牌)。综合多帧牌检结果类型，可有效减少单帧图像检测导致的偶然性事件。
步骤S409，车牌优选及PD框修正：从当前车牌属性队列中的牌置信得分列表选取得分值最高的序列帧作为最终车牌上报结果，同时根据车牌识别字符的序列的索引值对当前的PD牌检框进行修正。牌检框修正说明如下：
假设车牌字符识别总长度为pr_len，识别模块输入的车牌检测框的宽度为PD_w，去除识别字符序列中的无效字符，将有效字符在原识别字符序列中的位置索引值存入字符列表char_index[]中，图7是根据本发明实施例的有效字符序列索引值示意图。去除两字符间的最大间隔值后，求取平均平均字符宽度pr_avg_w，计算公式如公式3所示，其中end、start分别表示有效字符序列中首尾字符在原识别字符序列中的索引位置(end＝k-1，start＝0；k为有效字符的长度)，此处平均宽度取得是半个字符宽度。
pr_avg_w＝char_index[end]-char_index[start]/2*(k-2) (3)
牌检框修正后的左右边界的宽度为：pd_left，pd_right，计算公式如下：
Figure BDA0002702025890000191
图8是根据本发明实施例的修正前后的PD框的示意图，可以看到，修正后，PD框左右的多余部分被去掉。
步骤S410，结果上报：基于车牌属性队列P_queue中的置信得分值优选出最佳图像帧，并将修正后的牌检PD结果及车牌识别结果上报系统。
综上，本发明实施例的方案涉及以下主要技术内容：
1、在交通边境出入口场景下，由海外车牌标志位P_overseas的状态值自适应调用国内或海外车牌识别模型，并通过二次识别标志SA_Flag有效规避无牌车误识别以及并对原始车牌类型误检结果自动修正。
2、由本提案设计的牌检PD置信度及牌识PR置信度的加权融合计算方式建立车牌检测及识别的可靠性评价体系，获取车牌整体的置信得分值，保证上报车牌结果的可靠性；通过建立车牌PR有效字符位置索引列表，对牌检PD的检测框BBox进行修正，提高车牌检测定位的精度。
3、根据图像帧的索引序列建立车牌属性队列PD_queue，通过对车牌属性队列中牌检类型列表P_Class_list逻辑Sum求和运算，判定当前车辆的最终牌检类型，规避单帧图像的偶然性结果；并通过属性队列中牌检置信得分列表P_Score_list优选出最佳图像帧作为上报帧。
该方案具有以下显著优点：
1、通过本提案设计的牌检PD置信度及牌识PR置信度的加权融合计算方式建立车牌检测及识别的可靠性评价体系，获取车牌整体的置信得分值，提升车牌上报结果的可靠性。
2、由海外车牌标志位P_overseas的状态值自适应调用国内或海外车牌识别模型，并通过二次识别标志SA_Flag有效规避无牌车误识别以及原始车牌误检结果自动修正。
3、通过建立车牌PR有效字符位置索引列表，对牌检PD的检测框BBox进行修正，提高车牌检测定位的精度。
4、车检OD稳定状态下，通过对车牌属性队列中的多帧图像牌检类型列表逻辑求和Sum运算，判定当前车辆的最终牌检类型，规避单帧图像的偶然性结果；并通过属性队列中牌检置信得分列表优选出最佳图像帧作为上报帧。
5、通过对车检OD结果的上下分割处理，将OD下半部分作为牌检PD的输入图像，有效优化车牌在识别输入图像中占比过小导致的车牌漏检问题，并且可降低车牌检测网络前向图像预处理的时间复杂度。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种车牌检测识别方法，其特征在于，包括：
对视频流中的车辆进行目标检测，在判断满足抓拍条件的情况下，记录所述视频流中包含所述车辆的多个图像帧对应的目标检测结果；
基于所述多个图像帧中每个图像帧对应的所述目标检测结果分别进行车牌检测和车牌识别，得到所述每个图像帧的车牌检测结果和车牌字符识别结果，以及所述每个图像帧对应的车牌置信得分值；
根据所述每个图像帧对应的车牌置信得分值，确定所述车辆的车牌检测结果和车牌字符识别结果。
2.根据权利要求1所述的方法，其特征在于，所述目标检测结果包括车辆检测框，所述抓拍条件包括：
对所述视频流中的所述车辆进行目标检测的置信度高于稳定状态阈值；以及
所述车辆检测框与预设抓拍线之间的位置关系满足预定条件。
3.根据权利要求2所述的方法，其特征在于，所述预定条件包括：
所述车辆检测框的下边沿触及所述预设抓拍线，其中，所述预设抓拍线的位置snap_line＝h1*snap_ratio，h1是当前图像帧的分辨率中的高度值，snap_ratio是所述预设抓拍线的比例系数。
4.根据权利要求1所述的方法，其特征在于，在判断满足抓拍条件的情况下，所述方法还包括：
根据抓拍统计帧数F_CNT连续采集包含所述车辆的F_CNT个图像帧。
5.根据权利要求1所述的方法，其特征在于，所述目标检测结果包括车辆检测框，基于所述多个图像帧中每个图像帧对应的所述目标检测结果分别进行车牌检测和车牌识别包括：
截取所述每个图像帧对应的所述车辆检测框的预定区域，并对所述预定区域分别进行车牌检测和车牌识别，其中，所述预定区域至少包含所述车辆的车牌区域。
6.根据权利要求1所述的方法，其特征在于，所述车牌检测结果包括车牌类型，基于所述多个图像帧中每个图像帧对应的所述目标检测结果分别进行车牌检测和车牌识别，得到所述每个图像帧的车牌检测结果和车牌字符识别结果包括：
根据字符编码构成，基于所述每个图像帧对应的所述目标检测结果分别进行车牌检测以确定所述车牌类型；
根据确定的所述车牌类型调用对应于所述车牌类型的车牌识别算法进行车牌识别，得到所述车牌字符识别结果。
7.根据权利要求6所述的方法，其特征在于，根据确定的所述车牌类型调用对应于所述车牌类型的车牌识别算法进行车牌识别，得到所述车牌字符识别结果包括：
根据确定的所述车牌类型调用对应于所述车牌类型的车牌识别算法进行车牌识别，并确定所述车牌识别是否成功；
在所述车牌识别成功的情况下，获取所述车牌字符识别结果；
在所述车牌识别不成功的情况下，调用对应于其他车牌类型的车牌识别算法进行车牌识别，直到车牌识别成功，获取所述车牌字符识别结果，并将所述车牌检测结果中的所述车牌类型更新为识别成功的所述车牌识别算法对应的车牌类型；或者直到所有的车牌类型对应的车牌识别算法进行车牌识别均不成功，确定所述车辆为无牌状态。
8.根据权利要求1所述的方法，其特征在于，基于所述多个图像帧中每个图像帧对应的所述目标检测结果分别进行车牌检测和车牌识别，得到所述每个图像帧对应的车牌置信得分值包括：
确定基于所述每个图像帧对应的所述目标检测结果进行车牌检测的车牌检测置信度PD_Score和进行车牌识别的车牌识别置信度PR_Score；
对所述车牌检测置信度PD_Score和所述车牌识别置信度PR_Score进行加权计算，得到所述每个图像帧对应的所述车牌置信得分值P_Score＝α*PD_Score+γ*PR_Score，其中，α和γ分别是PD_Score和PR_Score的加权系数。
9.根据权利要求8所述的方法，其特征在于，
所述车牌检测置信度PD_Score＝PD_Conf+[(90-arctan(h2/w))+k*100/3.5，其中，PD_Conf是所述车牌检测所输出的车牌检测框的置信度，w和h2分别是所述车牌检测框的宽和高，k是所述车牌检测框的宽高比；
所述车牌识别置信度
Figure FDA0002702025880000031
其中，Cconfi是所述车牌字符识别结果中第i个有效字符的可靠性得分，N是所述车牌字符识别结果中字符的个数。
10.根据权利要求1所述的方法，其特征在于，所述车牌检测结果包括车牌类型和车牌检测框，根据所述每个图像帧对应的车牌置信得分值，确定所述车辆的车牌检测结果和车牌字符识别结果包括：
根据所述每个图像帧对应的车牌置信得分值，确定最高车牌置信得分值对应的图像帧的所述车牌字符识别结果作为所述车辆的车牌字符识别结果；
统计所述多个图像帧的所述车牌检测结果中的所述车牌类型，将统计结果中数量最多的车牌类型作为所述车辆的车牌对应的车牌类型；以及
基于所述最高车牌置信得分值对应的所述图像帧的所述车牌字符识别结果对所述最高车牌置信得分值对应的所述图像帧的所述车牌检测框进行修正，将修正后的所述车牌检测框作为所述车辆的车牌对应的车牌检测框。
11.根据权利要求10所述的方法，其特征在于，基于所述最高车牌置信得分值对应的所述图像帧的所述车牌字符识别结果对所述最高车牌置信得分值对应的所述图像帧的所述车牌检测框进行修正包括：
提取所述最高车牌置信得分值对应的所述图像帧的所述车牌字符识别结果中的有效字符在所述车牌字符识别结果中的位置索引值；
根据所述位置索引值和所述有效字符的长度确定平均字符宽度；
根据所述平均字符宽度修正所述车牌检测框中的左右边界的位置。
12.根据权利要求11所述的方法，其特征在于，
根据所述位置索引值和所述有效字符的长度确定平均字符宽度包括：根据所述位置索引值和所述有效字符的长度确定平均字符宽度pr_avg_w＝(char_index[end]-char_index[start])/[2*(k-2)]，其中，k为所述有效字符的长度，char_index[end]为所述有效字符中最后一个有效字符的位置索引值，char_index[start]为所述有效字符中第一个有效字符的位置索引值；
根据所述平均字符宽度修正所述车牌检测框中的左右边界的位置包括：根据所述平均字符宽度pr_avg_w修正所述车牌检测框中的左右边界的位置为
Figure FDA0002702025880000041
其中，pr_len为所述车牌字符识别结果中字符的总长度，PD_w为修正前所述车牌检测框的宽度。
13.根据权利要求10所述的方法，其特征在于，在根据所述每个图像帧对应的车牌置信得分值，确定所述车辆的车牌检测结果和车牌字符识别结果之后，还包括以下至少之一：
上报所述车辆的所述车牌字符识别结果；
上报所述车辆的车牌对应的所述车牌类型；
上报所述最高车牌置信得分值对应的所述图像帧；
上报所述车辆的车牌对应的所述车牌检测框。
14.一种车牌检测识别装置，其特征在于，包括：
车辆目标检测模块，设置为对视频流中的车辆进行目标检测，在判断满足抓拍条件的情况下，记录所述视频流中包含所述车辆的多个图像帧对应的目标检测结果；
车牌检测识别模块，设置为基于所述多个图像帧中每个图像帧对应的所述目标检测结果分别进行车牌检测和车牌识别，得到所述每个图像帧的车牌检测结果和车牌字符识别结果，以及所述每个图像帧对应的车牌置信得分值；
结果判定模块，设置为根据所述每个图像帧对应的车牌置信得分值，确定所述车辆的车牌检测结果和车牌字符识别结果。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至13任一项中所述的方法。
CN202011025548.3A 2020-09-25 2020-09-25 车牌检测识别方法、装置及计算机可读存储介质 Pending CN112115904A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011025548.3A CN112115904A (zh) 2020-09-25 2020-09-25 车牌检测识别方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011025548.3A CN112115904A (zh) 2020-09-25 2020-09-25 车牌检测识别方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112115904A true CN112115904A (zh) 2020-12-22

Family

ID=73798229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011025548.3A Pending CN112115904A (zh) 2020-09-25 2020-09-25 车牌检测识别方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112115904A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651398A (zh) * 2020-12-28 2021-04-13 浙江大华技术股份有限公司 车辆的抓拍控制方法、装置及计算机可读存储介质
CN112686252A (zh) * 2020-12-28 2021-04-20 中国联合网络通信集团有限公司 一种车牌检测方法和装置
CN112907832A (zh) * 2021-01-19 2021-06-04 浙江大华技术股份有限公司 加油事件的处理方法、视频处理装置及存储介质
CN113487649A (zh) * 2021-05-20 2021-10-08 浙江大华技术股份有限公司 一种车辆检测方法、装置以及计算机存储介质
CN113610770A (zh) * 2021-07-15 2021-11-05 浙江大华技术股份有限公司 一种车牌识别方法和装置及设备
CN113792696A (zh) * 2021-09-23 2021-12-14 北京中电兴发科技有限公司 一种应用于目标抓拍的车辆目标质量评估方法
CN114332827A (zh) * 2022-03-10 2022-04-12 浙江大华技术股份有限公司 一种车辆识别方法、装置、电子设备和存储介质
CN114882492A (zh) * 2022-07-11 2022-08-09 浙江大华技术股份有限公司 一种车牌识别方法、装置、终端及计算机可读存储介质
WO2024011889A1 (zh) * 2022-07-13 2024-01-18 北京京东乾石科技有限公司 信息识别方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229466A (zh) * 2016-12-15 2018-06-29 杭州海康威视数字技术股份有限公司 一种车牌识别方法及装置
CN109598246A (zh) * 2018-12-07 2019-04-09 广东亿迅科技有限公司 车辆出入检测方法、装置、计算机设备和存储介质
CN109858436A (zh) * 2019-01-29 2019-06-07 中国科学院自动化研究所 基于视频动态前景掩膜的目标类别修正方法、检测方法
US20190251369A1 (en) * 2018-02-11 2019-08-15 Ilya Popov License plate detection and recognition system
CN111553282A (zh) * 2020-04-29 2020-08-18 北京百度网讯科技有限公司 用于检测车辆的方法和装置
CN111582261A (zh) * 2020-04-30 2020-08-25 浙江大华技术股份有限公司 一种非机动车的车牌识别方法和车牌识别装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229466A (zh) * 2016-12-15 2018-06-29 杭州海康威视数字技术股份有限公司 一种车牌识别方法及装置
US20190251369A1 (en) * 2018-02-11 2019-08-15 Ilya Popov License plate detection and recognition system
CN109598246A (zh) * 2018-12-07 2019-04-09 广东亿迅科技有限公司 车辆出入检测方法、装置、计算机设备和存储介质
CN109858436A (zh) * 2019-01-29 2019-06-07 中国科学院自动化研究所 基于视频动态前景掩膜的目标类别修正方法、检测方法
CN111553282A (zh) * 2020-04-29 2020-08-18 北京百度网讯科技有限公司 用于检测车辆的方法和装置
CN111582261A (zh) * 2020-04-30 2020-08-25 浙江大华技术股份有限公司 一种非机动车的车牌识别方法和车牌识别装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651398A (zh) * 2020-12-28 2021-04-13 浙江大华技术股份有限公司 车辆的抓拍控制方法、装置及计算机可读存储介质
CN112686252A (zh) * 2020-12-28 2021-04-20 中国联合网络通信集团有限公司 一种车牌检测方法和装置
CN112651398B (zh) * 2020-12-28 2024-02-13 浙江大华技术股份有限公司 车辆的抓拍控制方法、装置及计算机可读存储介质
CN112907832A (zh) * 2021-01-19 2021-06-04 浙江大华技术股份有限公司 加油事件的处理方法、视频处理装置及存储介质
WO2022242008A1 (en) * 2021-05-20 2022-11-24 Zhejiang Dahua Technology Co., Ltd. Methods and systems for vehicle detection
CN113487649A (zh) * 2021-05-20 2021-10-08 浙江大华技术股份有限公司 一种车辆检测方法、装置以及计算机存储介质
CN113610770A (zh) * 2021-07-15 2021-11-05 浙江大华技术股份有限公司 一种车牌识别方法和装置及设备
CN113792696A (zh) * 2021-09-23 2021-12-14 北京中电兴发科技有限公司 一种应用于目标抓拍的车辆目标质量评估方法
CN113792696B (zh) * 2021-09-23 2023-07-18 北京中电兴发科技有限公司 一种应用于目标抓拍的车辆目标质量评估方法
CN114332827A (zh) * 2022-03-10 2022-04-12 浙江大华技术股份有限公司 一种车辆识别方法、装置、电子设备和存储介质
CN114882492A (zh) * 2022-07-11 2022-08-09 浙江大华技术股份有限公司 一种车牌识别方法、装置、终端及计算机可读存储介质
CN114882492B (zh) * 2022-07-11 2022-11-22 浙江大华技术股份有限公司 一种车牌识别方法、装置、终端及计算机可读存储介质
WO2024011889A1 (zh) * 2022-07-13 2024-01-18 北京京东乾石科技有限公司 信息识别方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN112115904A (zh) 车牌检测识别方法、装置及计算机可读存储介质
EP3806064B1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN104303193B (zh) 基于聚类的目标分类
CN111382704B (zh) 基于深度学习的车辆压线违章判断方法、装置及存储介质
CN111626225B (zh) 一种工位车辆的车牌识别方法、装置、设备及存储介质
CN110688884B (zh) 客流统计方法及装置
CN112633255B (zh) 目标检测方法、装置及设备
CN112330715A (zh) 一种跟踪方法、跟踪装置、终端设备及可读存储介质
CN116153086B (zh) 基于深度学习的多路段交通事故及拥堵检测方法及系统
CN111476160A (zh) 损失函数优化方法、模型训练方法、目标检测方法及介质
CN110602446A (zh) 垃圾回收提醒方法、系统及存储介质
CN113723176B (zh) 一种目标对象确定方法、装置、存储介质和电子装置
CN117242489A (zh) 目标跟踪方法及装置、电子设备、计算机可读介质
CN112863195B (zh) 车辆状态的确定方法及装置
CN113077018A (zh) 一种目标对象识别方法、装置、存储介质及电子装置
CN113450575A (zh) 一种路侧停车的管理方法及装置
CN112257520A (zh) 人流量统计方法、装置及系统
CN117152949A (zh) 一种基于无人机的交通事件识别方法及系统
CN114724378B (zh) 一种基于深度学习的车辆追踪统计系统及方法
CN113837138B (zh) 一种着装监控方法、系统、介质及电子终端
CN114118271A (zh) 图像确定方法、装置、存储介质及电子装置
CN111046876B (zh) 基于纹理检测技术的车牌字符快速识别方法及其系统
CN113592427A (zh) 工时统计方法、工时统计装置及计算机可读存储介质
CN114359828A (zh) 目标行为的记录方法、装置、存储介质及电子装置
CN112529366A (zh) 一种基于机器视觉的工程远程监理协同管控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination