CN110491133A - 一种基于置信度的车辆信息校正系统和方法 - Google Patents

一种基于置信度的车辆信息校正系统和方法 Download PDF

Info

Publication number
CN110491133A
CN110491133A CN201910731665.2A CN201910731665A CN110491133A CN 110491133 A CN110491133 A CN 110491133A CN 201910731665 A CN201910731665 A CN 201910731665A CN 110491133 A CN110491133 A CN 110491133A
Authority
CN
China
Prior art keywords
information
vehicles
vehicle
score value
license plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910731665.2A
Other languages
English (en)
Other versions
CN110491133B (zh
Inventor
蔡良裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hengqin Shanbo Investment Management Co Ltd
Original Assignee
Hengqin Shanbo Investment Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hengqin Shanbo Investment Management Co Ltd filed Critical Hengqin Shanbo Investment Management Co Ltd
Priority to CN201910731665.2A priority Critical patent/CN110491133B/zh
Publication of CN110491133A publication Critical patent/CN110491133A/zh
Application granted granted Critical
Publication of CN110491133B publication Critical patent/CN110491133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供的一种基于置信度的车辆信息校正系统和方法。本发明从无人化停车场的视频摄像头获取的全部拍摄画面当中,基于车辆的车牌号码、颜色、车标品牌以及标志性区域等因素提取车辆信息,对于在一定时间区段和空间范围内提取的车辆信息,确定该车辆信息对应同一台车辆的匹配分值区间以及该区间的置信度,从而根据匹配分值区间以及该区间的置信度,将对应某台车辆的全部拍摄画面聚合起来,实现持续性记录追踪。

Description

一种基于置信度的车辆信息校正系统和方法
技术领域
本申请涉及用于无人化停车场的车辆识别技术领域,尤其涉及一种基于置信度的车辆信息校正系统和方法。
背景技术
无人化停车场综合利用多种信息感知、物联网、智能识别与控制技术,实现停车场服务的全自动无人化。
目前,在无人化停车场中主要是依靠各个视频摄像头拍摄和记录入场车辆的信息。其中,停车场出入口的摄像头一般通过调试摄像的焦距、方向、视野等参数,拍摄入场车辆的车牌画面,并利用文字符号提取识别技术从中获得车牌号码,作为车辆信息。
出于安保监视的需要,停车场内部也安装一定数量的视频摄像头,拍摄入场车辆的行车和停放画面,这些视频摄像头的摄像焦距、方向、视野与出入口处的摄像头存在明显不同,例如一般画面场景较为开阔,以展示一台乃至多台车辆的整体车身为主,不一定能够清晰显示车牌。因此,通常难以从这些停车场内部视频摄像头的画面中准确获取车牌号码作为车辆信息,例如可能出现车牌号码提取失败、提取错误或者不完整的情况。
当然,有一些较为高档的无人化停车场也针对每个停车位设立了对应的视频摄像头,能够拍摄并提取识别停放车辆的车牌号码作为车辆信息,可以为车主离场时自助缴费和找寻车辆提供便利,也可以及时发现及纠正压线等不规范停放行为。但是,这样增大了视频摄像头及其配套通信线路和设备的数量,增加了硬件成本,故而采用此种配置的无人化停车场目前仅为少数。
在无人化停车场的运营过程中,在出入口对车牌号码等车辆信息进行识别登记自然是必需的。不过,对于入场车辆在入场、行车、停放、再次行车直至离场的全过程,开展持续性记录追踪同样具有重要的意义和广泛的应用。例如,基于持续性记录追踪可以明确每台车辆在停车场内的运行轨迹、停放位置等信息,所确定的信息可以应用在车场调度、用户偏好分析、取车找寻、特定目标追踪等方面。
然而,如前文所述,从无人化停车场的视频摄像头获取的全部拍摄画面当中,并不是总能提取识别出车牌号码作为车辆信息。在此情况下,希望能够借助车辆的颜色、外形、车标品牌等其它因素从拍摄画面当中提取车辆信息,实现对车辆的持续性记录追踪,但是以上因素的车辆信息与每台车辆的对应关系往往不具有唯一性,造成存在较大误差。
因此,在现有的硬件条件下,针对每台车辆全过程,还难以提取获得准确、唯一的车辆信息,从而将该台车辆的全部拍摄画面聚合起来,实现持续性记录追踪。
发明内容
有鉴于此,本申请的目的在于提出一种基于置信度的车辆信息校正系统和方法。本发明从无人化停车场的视频摄像头获取的全部拍摄画面当中,基于车辆的车牌号码、颜色、车标品牌以及标志性区域等因素提取车辆信息,对于在一定时间区段和空间范围内提取的车辆信息,确定该车辆信息对应同一台车辆的匹配分值区间以及该区间的置信度,从而根据匹配分值区间以及该区间的置信度,将对应某台车辆的全部拍摄画面聚合起来,实现持续性记录追踪。
本发明提供了一种基于置信度的车辆信息校正系统,包括:视频摄像头、车辆信息提取单元、车辆信息校正单元、车辆画面聚合单元;
所述视频摄像头包括停车场出入口处的视频摄像头以及停车场内部的视频摄像头;
车辆信息提取单元针对停车场入口处或者停车场内部的视频摄像头拍摄画面,基于车辆的车牌号码、颜色、车标品牌以及标志性区域提取车辆信息;
车辆信息校正单元,对于在一定时间区段内提取的车辆信息,确定对应同一台车辆的具有预定置信度的匹配分值区间;以及根据车辆信息的匹配分值,将匹配分值落入匹配分值区间的车辆信息确定对应于同一台车辆;
车辆画面聚合单元,将对应同一台车辆的全部拍摄画面聚合起来,实现持续性记录追踪。
优选的是,所述车辆信息提取单元针对无人化停车场的视频摄像头获取的拍摄画面,如果包含车牌画面,则从中利用文字符号提取识别技术,获得车牌号码作为车辆信息;如果包含车辆前脸画面,则提取车标品牌信息;以及从无人化停车场的视频摄像头获取的拍摄画面当中提取车辆颜色信息;从无人化停车场的视频摄像头获取的拍摄画面当中,提取包含的车辆标志性区域,车辆的标志性区域可以是规则区域或者非规则区域,作为车辆信息。
优选的是,所述车辆信息校正单元利用车辆信息中的车牌号码,确定提取的车牌号码相互匹配的拍摄画面;针对同一时间区段的全部拍摄画面,如果其中两幅拍摄画面的车牌号码匹配,进而,对于这两幅拍摄画面,根据车标品牌信息、车辆颜色信息、车辆标志性区域信息确定二者的匹配分值;统计预定置信度值对应的匹配分值区间。
优选的是,所述车辆信息校正单元对于同一时间区段内的两幅拍摄图像,如果其中至少一幅不能提取出车牌号码,则根据拍摄图像中提取的车标品牌信息、车辆颜色信息、车辆标志性区域信息,计算二者的匹配分值,再根据以上具有预定置信度值的匹配分值区间,如果二者的匹配分值落入该匹配分值区间,则判断二者属于同一车辆。
优选的是,所述系统还包括:资源线程管理单元,当车辆信息提取单元从位于停车场入口处的视频摄像头提供的拍摄画面中提取到一个新的车牌号码,则为该台车辆开创一个线程,并且在内存中分配对应该台车辆的存储空间。
本发明提供了一种基于置信度的车辆信息校正追踪方法,包括:从无人化停车场的视频摄像头获取的全部拍摄画面当中,基于车辆的车牌号码、颜色、车标品牌以及标志性区域提取车辆信息;
对于在一定时间区段内提取的车辆信息,确定对应同一台车辆的具有预定置信度的匹配分值区间;
根据车辆信息的匹配分值,将匹配分值落入匹配分值区间的车辆信息确定对应于同一台车辆;
将对应同一台车辆的全部拍摄画面聚合起来,实现持续性记录追踪。
其中,提取车辆信息具体包括:
无人化停车场的视频摄像头获取的拍摄画面,如果包含车牌画面,则从中利用文字符号提取识别技术,获得车牌号码作为车辆信息;
无人化停车场的视频摄像头获取的拍摄画面,如果包含车辆前脸画面,则提取车标品牌信息;
无人化停车场的视频摄像头获取的拍摄画面当中,提取车辆颜色信息;
无人化停车场的视频摄像头获取的拍摄画面当中,提取包含的车辆标志性区域,车辆的标志性区域可以是规则区域或者非规则区域,作为车辆信息。
其中,确定对应同一台车辆的具有预定置信度的匹配分值区间,具体包括:
利用车辆信息中的车牌号码,确定提取的车牌号码相互匹配的拍摄画面;
针对同一时间区段的全部拍摄画面,如果其中两幅拍摄画面的车牌号码匹配,进而,对于这两幅拍摄画面,根据车标品牌信息、车辆颜色信息、车辆标志性区域信息确定二者的匹配分值;
统计预定置信度值对应的匹配分值区间。
其中,对于同一时间区段内的两幅拍摄图像,如果其中至少一幅不能提取出车牌号码,则根据拍摄图像中提取的车标品牌信息、车辆颜色信息、车辆标志性区域信息,计算二者的匹配分值,再根据以上具有预定置信度值的匹配分值区间,如果二者的匹配分值落入该匹配分值区间,则判断二者属于同一车辆。
本方法还包括:当从位于停车场入口处的视频摄像头提供的拍摄画面中提取到一个新的车牌号码,则为该台车辆开创一个线程,并且在内存中分配对应该台车辆的存储空间。
本发明应用于无人化停车场,在通过视频摄像头不是总能提取识别出车牌号码作为车辆信息的情况下,能够借助车辆的颜色、外形、车标品牌等其它因素从拍摄画面当中提取车辆信息,实现对同一台车辆的持续性记录追踪,明确每台车辆在停车场内的运行轨迹、停放位置等信息,所确定的信息可以应用在车场调度、用户偏好分析、取车找寻、特定目标追踪等方面。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请实施例的车辆信息校正系统结构图;
图2是本申请实施例的车辆信息校正追踪方法流程图;
图3是视频摄像头拍摄的典型的车辆前脸示意图像;
图4是车辆不规则区域示意图;
图5是车辆不规则区域的Y坐标的遍历示意图;
图6是车辆规则区域示意图;
图7是车辆规则区域的Y坐标的遍历示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示,本发明提供的一种基于置信度的车辆信息校正系统,该系统从无人化停车场的视频摄像头获取的全部拍摄画面当中,基于车辆的车牌号码、颜色、车标品牌以及标志性区域等因素提取车辆信息;对于在一定时间区段内提取的车辆信息,确定对应同一台车辆的具有预定置信度的匹配分值区间;根据车辆信息的匹配分值,将匹配分值落入匹配分值区间的车辆信息确定对应于同一台车辆;将对应同一台车辆的全部拍摄画面聚合起来,实现持续性记录追踪。这样,当输入车牌号码或者其它类型的车辆信息从而指定某台车辆后,可以将该车辆在入场、行车、停放、再次行车直至离场的全过程的拍摄画面按照时间或者空间顺序呈现出来,从而实现车场调度、用户偏好分析、取车找寻、特定目标追踪等方面的应用。
本发明所述的车辆信息校正系统包括:视频摄像头、车辆信息提取单元、车辆信息校正单元、车辆画面聚合单元。
无人化停车场的视频摄像头包括停车场出入口处的视频摄像头以及停车场内部的视频摄像头。停车场出入口的视频摄像头拍摄入场和出场车辆的车牌画面,后续利用文字符号提取识别技术能够从中获得车牌号码,作为车辆信息。并且,停车场出入口的视频摄像头的拍摄画面中一般还会包含车头及其正中位置的车标图案,后续可以从中提取车标品牌信息以及车辆颜色信息,同样作为车辆信息。停车场内部的视频摄像头拍摄车辆在停车场内部行车、停放的画面;其中,有些拍摄画面能够显示和用于提取车牌号码,但有些拍摄画面中无法准确显示和用于提取出车牌号码;类似,有些拍摄画面中能够显示和用于提取车标品牌信息,有些拍摄画面中则不能;但是,停车场内部的视频摄像头拍摄画面中一般都会包含车辆颜色信息。此外,不论是停车场出入口处的视频摄像头,还是停车场内部的视频摄像头,其拍摄的视频画面中都可能包含车辆的标志性区域,例如车辆的标志性区域可以是规则区域或者非规则区域;规则区域可能是车辆外观可见的零部件边缘形成的,例如车灯边缘、前盖边缘、前挡风玻璃边缘等;非规则区域一般对应车辆的污损、碰撞划痕,前挡风玻璃后面摆放的摆件、挂绳等部位。
通过无人化停车场内部的有线或者无线形式的物联网,车辆信息提取单元从各个视频摄像头取得全部的拍摄画面。
其中,车辆信息提取单元针对停车场入口处或者停车场内部的视频摄像头拍摄画面,如果包含车牌画面,则从中利用文字符号提取识别技术,获得车牌号码作为车辆信息;将所提取的车辆信息与拍摄画面相关联后共同存储在系统的缓存之中,从而可以基于车辆信息检索查询拍摄画面。
并且,车辆信息提取单元从停车场入口处或者停车场内部的视频摄像头拍摄画面当中,如果包含车辆前脸画面,则提取车标品牌信息。图3是视频摄像头拍摄的典型的车辆前脸示意图像,包括前风挡区域301、发动机前盖板区域302、车灯区域303、前进气口区域304、前保险杠区域305、车牌区域306、车标区域307,并且可以看到在车辆左前方有一块非规则的污损或者划痕区域308,这些不同的区域由于存在部件之间的接缝和交界线、颜色差异、反光度差异等因素,故而每个区域外周都具有相对明显的封闭边缘。由于车标位于车辆前脸正中区域,且与周围的车体相比具有明显可识别的封闭边缘,可以先划定车前脸正中区域范围,可以规定针对每幅车辆前脸图像,位于其图像竖直中心线以左、以右一定比例范围(如竖直中心线左、右各5%图像横向宽度以内)内和水平中心线以上、以下一定比例范围内(如水平中心线以上5%,以下10%的图像纵向宽度以内)的区域划为车辆前脸正中区域范围,如图3中的虚线框C,然后在该范围内利用边缘检测算法提取具有闭合边缘的区域,如果该正中区域范围内提取出若干闭合边缘区域,则可以根据预设的车标图形的面积大小范围筛选条件、横纵比范围筛选条件,从这些区域中筛选出面积大小和横纵比范围符合条件的封闭边缘区域,将该区域作为车标图形,进而可以提取该车标图形中的字符、色块、线条等特征要素;车辆信息提取单元连接到车标数据库,将提取的特征要素与车标数据库中的车标图形特征进行相近度比对,识别出车标品牌信息(例如福特、宝马、丰田、大众等)。
并且,车辆信息提取单元从停车场入口处或者停车场内部的视频摄像头拍摄画面当中,提取车辆颜色信息。对于车辆颜色信息,车辆信息提取单元从车前脸图像的发动机前盖板部位302提取。由于发动机前盖板部位经常有反光倒影,而且不同亮度下车色也有色差,所以先提取整块颜色均一且亮度在预定范围内的区域,即从前盖板区域302提取一块面积不小于最小阈值的图像块,如图3的图像块M,判断该图像块内像素的颜色值是否均一(即图像块中任意像素的R-G-B颜色值在R-G-B颜色空间中表示为一个点,则任意两个像素的R-G-B颜色值在颜色空间中的点的距离偏差不大于颜色偏差阈值),且图像块内任意两个像素的亮度值的偏差不大于亮度偏差阈值,则该图像块符合要求,然后从该图像块计算像素的平均R-G-B颜色值,作为提取出来的车色信息。如果该图像块不符合要求,则横向和/或纵向平移该图像块一定的像素,然后重新评估是否符合要求。显然,针对同一车辆所提取的车标品牌信息以及车辆颜色信息也与拍摄画面相关联后共同存储在系统的缓存之中。
车辆信息提取单元从停车场入口处或者停车场内部的视频摄像头拍摄的视频画面中提取可能包含的车辆标志性区域,车辆的标志性区域可以是规则区域或者非规则区域,作为车辆信息。针对图3所示车前脸拍摄图像,采用canny边缘检测算子对该图像进行边缘检测,提取由封闭边缘包围的图像区域,对该图像区域进行规则性判断,将规则性值低于预设阈值的图像区域确定为非规则区域,将规则性值大于等于预设阈值的图像区域确定为规则区域。通过边缘检测算法以及规则性值判断,能够提取车前脸图像的上述前风挡区域301、发动机前盖板区域302、车灯区域303、前进气口区域304、前保险杠区域305等若干个整块封闭区域,作为所述规则区域。将规则区域的相对大小、平均像素颜色、外接矩纵横比等作为规则区域信息。所述非规则区域是指图像区域的边界是不规则的,存在较多的扭曲和折返,没有确定的形状。这些非规则区域一般对应车辆的污损、碰撞划痕,前挡风玻璃后面摆放的摆件、挂绳等部位也会形成非规则区域。如图4所示是提取的一个不规则区域示意图;如图6所示是作为对比说明的一个规则区域示意图。从图4和图6中可以看出,当面积相近的时候,不规则图形的边缘周长会比规则图形的边缘周长长很多,因为不规则图形边缘扭曲、折返的情况都更多,所以,可以定义一个边缘周长与面积的比值的阈值,如果图形的边缘周长与面积的比值大于该阈值,则认为其为不规则图形,而如果图形的边缘周长与面积的比值小于该阈值,则认为其为规则图形。但是,由图形的边缘周长与面积的比值确定图形是否为规则图形是较为粗略的确定方法,有时候不完全排除误识别。为了更精确的确定提取出来的图像区域是否为规则区域,进而提取出非规则区域信息,在本实施例中,还可以采用游标遍历图形边缘的方法来确定提取出来的图像区域是否为规则区域。具体地,如图5所示是图4的不规则区域的Y坐标(当然也可以是X坐标)的遍历示意图;图7是图6的规则区域的Y坐标(当然也可以是X坐标)的遍历示意图。本实施例中,在确定提取出来的图像区域是否为规则区域时,可以假定一个虚拟的“游标”,由该“游标”沿所述图像区域的边缘遍历一周(可以将“游标”沿着图像区域的边缘走过的像素总数定义为遍历进度值),再回到起点,游标本身的Y值(或X值)大小变化的拐点数(也就是统计游标每走过一个像素,其Y值的变化方向,如果变化方向改变,例如由增大变成减小,或者由减小变成增大,或者由增大/减小变为持平,则认为Y值的变化方向改变了一次,可以设立一个计数器,Y值的变化方向每改变一次计数器加1,也就是拐点数增加了1)的多少可以体现出图像区域是否为规则区域,拐点数低于拐点数量阈值的图像区域为规则区域,拐点数高于拐点数量阈值的图像区域为非规则区域,该拐点数量阈值可以由经验值确定。对于非规则区域,可以提取这些非规则区域的Y值和/或X值的拐点的拐点坐标,组成一个特征数组,作为该非规则区域信息。以上规则区域信息与非规则区域信息,作为车辆信息与拍摄画面相关联后共同存储在系统的缓存之中。
车辆信息校正单元,对于车辆信息提取单元从停车场入口处或者停车场内部的视频摄像头拍摄画面当中提取出来的以上车辆信息,判断在一定时间区段内,从拍摄画面中提取的各种类型的车辆信息对应同一台车辆的匹配分值区间以及该区间的置信度。本发明的目标是实现对车辆在停车场内行车、停放过程的持续性记录追踪,而同一台车辆在停车场内部的行车、停放过程,在时间区段上分布在有限的范围之内,因此,为了校正的准确性以及节约运算资源,一般可以以某台车辆在停车场入口处形成拍摄画面并从中提取车牌号码、车标品牌信息、车辆颜色信息、车辆标志性区域信息为起点,在时间区段上限定一定的范围——例如从该台车辆进入停车场入口处起30分钟内,获得该时间区段内从停车场入口和内部的视频摄像头提供的拍摄画面中提取的车辆信息,确定这些车辆信息对应该台车辆的匹配分值区间以及该区间的置信度。同理,在车辆离场过程中,也可以以车辆从停车场出口形成拍摄画面为终点,在时间区段上限定在此之前的一定范围,获得该时间区段内从停车场出口和内部的视频摄像头提供的拍摄画面中提取的车辆信息,确定这些车辆信息对应该台车辆的匹配分值区间以及该区间的置信度。
针对时间区段内的各种类型的车辆信息,首先,利用车辆信息中的车牌号码,确定提取的车牌号码相互匹配的拍摄画面;如果两幅拍摄画面的车牌号码匹配,进而,对于这两幅拍摄画面,根据车标品牌信息、车辆颜色信息、车辆标志性区域信息确定二者的匹配分值;其中,如果车标品牌信息相同,则对二者的匹配分值增加一个分值数值M1,反之,如果车标品牌信息不同,则确定二者的匹配分值为0;如果二者的车辆颜色信息处于相同颜色范围内,则对二者的匹配分值增加一个分值数值M2,反之,如果车辆颜色信息不在相同颜色范围内,则二者的匹配分值为0;如果二者的规则区域信息的相对大小、平均像素颜色、外接矩纵横比均处于相同范围内,则对二者的匹配分值增加一个分值数值M3,反之,如果规则区域信息的相对大小、平均像素颜色、外接矩纵横比不在相同范围内,则二者的匹配分值为0;如果二者的非规则区域信息处于相同范围内,即非规则区域的拐点坐标数组匹配,则对二者的匹配分值增加一个分值数值M4,反之,如果非规则区域信息不在相同范围内,则二者的匹配分值为0。将分值数值M1、M2、M3、M4累加,获得车牌号码匹配的两幅拍摄画面提取的车辆信息的匹配分值。在以上匹配分值的基础上,统计预定置信度值对应的匹配分值区间,例如,置信度95%的匹配分值区间为80-100,即通过车标品牌信息、车辆颜色信息、车辆标志性区域信息计算的匹配分值分布在80-100的区间内,这些车辆信息对应于同一车辆的概率不低于95%。
进而,对于所述时间区段内的两幅拍摄图像,如果其中至少一幅不能提取出车牌号码,则根据拍摄图像中提取的车标品牌信息、车辆颜色信息、车辆标志性区域信息,计算二者的匹配分值,再根据以上具有预定置信度值的匹配分值区间,如果二者的匹配分值落入该匹配分值区间,则判断二者属于同一车辆。
在车辆信息校正单元根据每幅拍摄画面提取的车辆信息,确定属于同一台车辆的拍摄画面之后,车辆画面聚合单元将对应同一台车辆的全部拍摄画面聚合起来,实现持续性记录追踪。这样,当输入车牌号码或者其它类型的车辆信息从而指定某台车辆后,可以将该车辆在入场、行车、停放、再次行车直至离场的全过程的拍摄画面按照时间或者空间顺序呈现出来,从而实现车场调度、用户偏好分析、取车找寻、特定目标追踪等方面的应用。
如图1,本发明的系统还包括资源线程管理单元,当车辆信息提取单元从位于停车场入口处的视频摄像头提供的拍摄画面中提取到一个新的车牌号码,则为该台车辆开创一个线程,并且在内存中分配对应该台车辆的存储空间。车辆信息提取单元提取的车辆信息连同拍摄画面相关联后,如果车辆信息校正单元根据每幅拍摄画面提取的车辆信息,确定属于同一台车辆的拍摄画面,则将这些拍摄画面及关联的车辆信息存储在相应的内存存储空间中,以及通过所述线程响应车辆画面聚合单元的请求,拍摄画面按照时间或者空间顺序呈现出来。
图2示出了一种基于置信度的车辆信息校正追踪方法,其特征在于,包括:
从无人化停车场的视频摄像头获取的全部拍摄画面当中,基于车辆的车牌号码、颜色、车标品牌以及标志性区域提取车辆信息;
对于在一定时间区段内提取的车辆信息,确定对应同一台车辆的具有预定置信度的匹配分值区间;
根据车辆信息的匹配分值,将匹配分值落入匹配分值区间的车辆信息确定对应于同一台车辆;
将对应同一台车辆的全部拍摄画面聚合起来,实现持续性记录追踪。
其中,提取车辆信息具体包括:
无人化停车场的视频摄像头获取的拍摄画面,如果包含车牌画面,则从中利用文字符号提取识别技术,获得车牌号码作为车辆信息;
无人化停车场的视频摄像头获取的拍摄画面,如果包含车辆前脸画面,则提取车标品牌信息;
无人化停车场的视频摄像头获取的拍摄画面当中,提取车辆颜色信息;
无人化停车场的视频摄像头获取的拍摄画面当中,提取包含的车辆标志性区域,车辆的标志性区域可以是规则区域或者非规则区域,作为车辆信息。
其中,确定对应同一台车辆的具有预定置信度的匹配分值区间,具体包括:
利用车辆信息中的车牌号码,确定提取的车牌号码相互匹配的拍摄画面;
针对同一时间区段的全部拍摄画面,如果其中两幅拍摄画面的车牌号码匹配,进而,对于这两幅拍摄画面,根据车标品牌信息、车辆颜色信息、车辆标志性区域信息确定二者的匹配分值;
统计预定置信度值对应的匹配分值区间。
其中,对于同一时间区段内的两幅拍摄图像,如果其中至少一幅不能提取出车牌号码,则根据拍摄图像中提取的车标品牌信息、车辆颜色信息、车辆标志性区域信息,计算二者的匹配分值,再根据以上具有预定置信度值的匹配分值区间,如果二者的匹配分值落入该匹配分值区间,则判断二者属于同一车辆。
本方法还包括:当从位于停车场入口处的视频摄像头提供的拍摄画面中提取到一个新的车牌号码,则为该台车辆开创一个线程,并且在内存中分配对应该台车辆的存储空间。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于置信度的车辆信息校正系统,其特征在于,包括:视频摄像头、车辆信息提取单元、车辆信息校正单元、车辆画面聚合单元;
所述视频摄像头包括停车场出入口处的视频摄像头以及停车场内部的视频摄像头;
车辆信息提取单元针对停车场入口处或者停车场内部的视频摄像头拍摄画面,基于车辆的车牌号码、颜色、车标品牌以及标志性区域提取车辆信息;
车辆信息校正单元,对于在一定时间区段内提取的车辆信息,确定对应同一台车辆的具有预定置信度的匹配分值区间;以及根据车辆信息的匹配分值,将匹配分值落入匹配分值区间的车辆信息确定对应于同一台车辆;
车辆画面聚合单元,将对应同一台车辆的全部拍摄画面聚合起来,实现持续性记录追踪。
2.根据权利要求1所述的基于置信度的车辆信息校正系统,其特征在于,所述车辆信息提取单元针对无人化停车场的视频摄像头获取的拍摄画面,如果包含车牌画面,则从中利用文字符号提取识别技术,获得车牌号码作为车辆信息;如果包含车辆前脸画面,则提取车标品牌信息;以及从无人化停车场的视频摄像头获取的拍摄画面当中提取车辆颜色信息;从无人化停车场的视频摄像头获取的拍摄画面当中,提取包含的车辆标志性区域,车辆的标志性区域可以是规则区域或者非规则区域,作为车辆信息。
3.根据权利要求2所述的基于置信度的车辆信息校正系统,其特征在于,所述车辆信息校正单元利用车辆信息中的车牌号码,确定提取的车牌号码相互匹配的拍摄画面;针对同一时间区段的全部拍摄画面,如果其中两幅拍摄画面的车牌号码匹配,进而,对于这两幅拍摄画面,根据车标品牌信息、车辆颜色信息、车辆标志性区域信息确定二者的匹配分值;统计预定置信度值对应的匹配分值区间。
4.根据权利要求3所述的基于置信度的车辆信息校正系统,其特征在于,所述车辆信息校正单元对于同一时间区段内的两幅拍摄图像,如果其中至少一幅不能提取出车牌号码,则根据拍摄图像中提取的车标品牌信息、车辆颜色信息、车辆标志性区域信息,计算二者的匹配分值,再根据以上具有预定置信度值的匹配分值区间,如果二者的匹配分值落入该匹配分值区间,则判断二者属于同一车辆。
5.根据权利要求4所述的基于置信度的车辆信息校正系统,其特征在于,所述系统还包括:资源线程管理单元,当车辆信息提取单元从位于停车场入口处的视频摄像头提供的拍摄画面中提取到一个新的车牌号码,则为该台车辆开创一个线程,并且在内存中分配对应该台车辆的存储空间。
6.一种基于置信度的车辆信息校正追踪方法,包括:从无人化停车场的视频摄像头获取的全部拍摄画面当中,基于车辆的车牌号码、颜色、车标品牌以及标志性区域提取车辆信息;
对于在一定时间区段内提取的车辆信息,确定对应同一台车辆的具有预定置信度的匹配分值区间;
根据车辆信息的匹配分值,将匹配分值落入匹配分值区间的车辆信息确定对应于同一台车辆;
将对应同一台车辆的全部拍摄画面聚合起来,实现持续性记录追踪。
7.根据权利要求6所述的基于置信度的车辆信息校正追踪方法,,其特征在于,提取车辆信息具体包括:
无人化停车场的视频摄像头获取的拍摄画面,如果包含车牌画面,则从中利用文字符号提取识别技术,获得车牌号码作为车辆信息;
无人化停车场的视频摄像头获取的拍摄画面,如果包含车辆前脸画面,则提取车标品牌信息;
无人化停车场的视频摄像头获取的拍摄画面当中,提取车辆颜色信息;
无人化停车场的视频摄像头获取的拍摄画面当中,提取包含的车辆标志性区域,车辆的标志性区域可以是规则区域或者非规则区域,作为车辆信息。
8.根据权利要求7所述的基于置信度的车辆信息校正追踪方法,其特征在于,确定对应同一台车辆的具有预定置信度的匹配分值区间,具体包括:
利用车辆信息中的车牌号码,确定提取的车牌号码相互匹配的拍摄画面;
针对同一时间区段的全部拍摄画面,如果其中两幅拍摄画面的车牌号码匹配,进而,对于这两幅拍摄画面,根据车标品牌信息、车辆颜色信息、车辆标志性区域信息确定二者的匹配分值;
统计预定置信度值对应的匹配分值区间。
9.根据权利要求8所述的基于置信度的车辆信息校正追踪方法,其特征在于,对于同一时间区段内的两幅拍摄图像,如果其中至少一幅不能提取出车牌号码,则根据拍摄图像中提取的车标品牌信息、车辆颜色信息、车辆标志性区域信息,计算二者的匹配分值,再根据以上具有预定置信度值的匹配分值区间,如果二者的匹配分值落入该匹配分值区间,则判断二者属于同一车辆。
10.根据权利要求9所述的基于置信度的车辆信息校正追踪方法,其特征在于,当从位于停车场入口处的视频摄像头提供的拍摄画面中提取到一个新的车牌号码,则为该台车辆开创一个线程,并且在内存中分配对应该台车辆的存储空间。
CN201910731665.2A 2019-08-08 2019-08-08 一种基于置信度的车辆信息校正系统和方法 Active CN110491133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910731665.2A CN110491133B (zh) 2019-08-08 2019-08-08 一种基于置信度的车辆信息校正系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910731665.2A CN110491133B (zh) 2019-08-08 2019-08-08 一种基于置信度的车辆信息校正系统和方法

Publications (2)

Publication Number Publication Date
CN110491133A true CN110491133A (zh) 2019-11-22
CN110491133B CN110491133B (zh) 2020-10-16

Family

ID=68550311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910731665.2A Active CN110491133B (zh) 2019-08-08 2019-08-08 一种基于置信度的车辆信息校正系统和方法

Country Status (1)

Country Link
CN (1) CN110491133B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112382104A (zh) * 2020-11-13 2021-02-19 重庆盘古美天物联网科技有限公司 基于车辆轨迹分析的路侧停车管理方法
CN113362612A (zh) * 2021-06-02 2021-09-07 国电内蒙古东胜热电有限公司 一种车辆识别方法及系统
CN113793362A (zh) * 2021-09-22 2021-12-14 清华大学 基于多镜头视频的行人轨迹提取方法和装置
CN116129655A (zh) * 2022-12-01 2023-05-16 西安航天三沃机电设备有限责任公司 一种应用于治超非现场执法系统的车辆信息匹配方法

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040234105A1 (en) * 2003-05-19 2004-11-25 Quen-Zong Wu Method of automatic vehicle licence plate recognition by color discrimination and reorganization
US20050152581A1 (en) * 2004-01-14 2005-07-14 Kenta Hoki Road surface reflection detecting apparatus
CN101398894A (zh) * 2008-06-17 2009-04-01 浙江师范大学 机动车车牌自动识别方法及其实现装置
CN102915638A (zh) * 2012-10-07 2013-02-06 复旦大学 基于监控视频的智能停车场管理系统
CN103324935A (zh) * 2013-06-27 2013-09-25 中山大学 一种图像中对车辆进行定位与区域分割的方法
CN103390166A (zh) * 2013-07-17 2013-11-13 中科联合自动化科技无锡有限公司 基于车前脸特征的车辆型号一致性判别方法
CN103488973A (zh) * 2013-09-12 2014-01-01 上海依图网络科技有限公司 基于图像的车辆品牌识别方法和系统
CN103530366A (zh) * 2013-10-12 2014-01-22 湖北微模式科技发展有限公司 一种基于自定义特征的车辆搜索方法与系统
CN103617735A (zh) * 2013-12-20 2014-03-05 深圳市捷顺科技实业股份有限公司 一种车辆识别方法及系统
CN104268596A (zh) * 2014-09-25 2015-01-07 深圳市捷顺科技实业股份有限公司 一种车牌识别器及其车牌检测方法与系统
KR20150091874A (ko) * 2014-02-04 2015-08-12 주식회사 만도 차량 인식 장치 및 그 방법
CN104915644A (zh) * 2015-05-29 2015-09-16 安徽四创电子股份有限公司 一种基于差别数据重建的车牌智能判别方法
CN104951784A (zh) * 2015-06-03 2015-09-30 杨英仓 一种车辆无牌及车牌遮挡实时检测方法
CN105005759A (zh) * 2015-05-04 2015-10-28 南京理工大学 多特征融合的卡口图像前车窗的定位与提取方法
CN105160292A (zh) * 2015-07-07 2015-12-16 深圳市捷顺科技实业股份有限公司 一种车辆标识识别方法与系统
KR101621822B1 (ko) * 2015-02-02 2016-05-31 김명석 하이브리드 이미지 전송 기반의 방범겸용 차량번호 인식 장치, 그리고 이를 이용한 차량번호 인식 및 제공 방법
US20160328975A1 (en) * 2014-01-31 2016-11-10 JVC Kenwood Corporation Electronic device, control method for electronic device, and control program for electronic device
CN106709493A (zh) * 2017-01-09 2017-05-24 同观科技(深圳)有限公司 一种双动态视频车牌定位方法和装置
CN106778648A (zh) * 2016-12-26 2017-05-31 江苏盛世华安智能科技股份有限公司 车辆轨迹跟踪及车牌识别系统和识别方法
CN107103314A (zh) * 2017-06-15 2017-08-29 浙江南自智能科技股份有限公司 一种基于机器视觉的套牌车辆检索识别系统
CN109871728A (zh) * 2017-12-01 2019-06-11 北京万集科技股份有限公司 一种车型识别方法及装置

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040234105A1 (en) * 2003-05-19 2004-11-25 Quen-Zong Wu Method of automatic vehicle licence plate recognition by color discrimination and reorganization
US20050152581A1 (en) * 2004-01-14 2005-07-14 Kenta Hoki Road surface reflection detecting apparatus
CN101398894A (zh) * 2008-06-17 2009-04-01 浙江师范大学 机动车车牌自动识别方法及其实现装置
CN102915638A (zh) * 2012-10-07 2013-02-06 复旦大学 基于监控视频的智能停车场管理系统
CN103324935A (zh) * 2013-06-27 2013-09-25 中山大学 一种图像中对车辆进行定位与区域分割的方法
CN103390166A (zh) * 2013-07-17 2013-11-13 中科联合自动化科技无锡有限公司 基于车前脸特征的车辆型号一致性判别方法
CN103488973A (zh) * 2013-09-12 2014-01-01 上海依图网络科技有限公司 基于图像的车辆品牌识别方法和系统
CN103530366A (zh) * 2013-10-12 2014-01-22 湖北微模式科技发展有限公司 一种基于自定义特征的车辆搜索方法与系统
CN103617735A (zh) * 2013-12-20 2014-03-05 深圳市捷顺科技实业股份有限公司 一种车辆识别方法及系统
US20160328975A1 (en) * 2014-01-31 2016-11-10 JVC Kenwood Corporation Electronic device, control method for electronic device, and control program for electronic device
KR20150091874A (ko) * 2014-02-04 2015-08-12 주식회사 만도 차량 인식 장치 및 그 방법
CN104268596A (zh) * 2014-09-25 2015-01-07 深圳市捷顺科技实业股份有限公司 一种车牌识别器及其车牌检测方法与系统
KR101621822B1 (ko) * 2015-02-02 2016-05-31 김명석 하이브리드 이미지 전송 기반의 방범겸용 차량번호 인식 장치, 그리고 이를 이용한 차량번호 인식 및 제공 방법
CN105005759A (zh) * 2015-05-04 2015-10-28 南京理工大学 多特征融合的卡口图像前车窗的定位与提取方法
CN104915644A (zh) * 2015-05-29 2015-09-16 安徽四创电子股份有限公司 一种基于差别数据重建的车牌智能判别方法
CN104951784A (zh) * 2015-06-03 2015-09-30 杨英仓 一种车辆无牌及车牌遮挡实时检测方法
CN105160292A (zh) * 2015-07-07 2015-12-16 深圳市捷顺科技实业股份有限公司 一种车辆标识识别方法与系统
CN106778648A (zh) * 2016-12-26 2017-05-31 江苏盛世华安智能科技股份有限公司 车辆轨迹跟踪及车牌识别系统和识别方法
CN106709493A (zh) * 2017-01-09 2017-05-24 同观科技(深圳)有限公司 一种双动态视频车牌定位方法和装置
CN107103314A (zh) * 2017-06-15 2017-08-29 浙江南自智能科技股份有限公司 一种基于机器视觉的套牌车辆检索识别系统
CN109871728A (zh) * 2017-12-01 2019-06-11 北京万集科技股份有限公司 一种车型识别方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112382104A (zh) * 2020-11-13 2021-02-19 重庆盘古美天物联网科技有限公司 基于车辆轨迹分析的路侧停车管理方法
CN113362612A (zh) * 2021-06-02 2021-09-07 国电内蒙古东胜热电有限公司 一种车辆识别方法及系统
CN113793362A (zh) * 2021-09-22 2021-12-14 清华大学 基于多镜头视频的行人轨迹提取方法和装置
CN113793362B (zh) * 2021-09-22 2024-05-07 清华大学 基于多镜头视频的行人轨迹提取方法和装置
CN116129655A (zh) * 2022-12-01 2023-05-16 西安航天三沃机电设备有限责任公司 一种应用于治超非现场执法系统的车辆信息匹配方法

Also Published As

Publication number Publication date
CN110491133B (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN110491133A (zh) 一种基于置信度的车辆信息校正系统和方法
CN107967806B (zh) 车辆套牌检测方法、装置、可读存储介质及电子设备
CN107688764B (zh) 检测车辆违章的方法及装置
CN101656023B (zh) 一种视频监视模式下的室内停车场管理方法
CN103714325B (zh) 基于嵌入式系统的遗留物和遗失物实时检测方法
CN109871728B (zh) 一种车型识别方法及装置
CN106297278A (zh) 一种用于查询抛洒物车辆的方法和系统
CN108319952B (zh) 一种车辆特征提取方法及装置
CN104574447A (zh) 颜色和谐验证系统
CN107045619A (zh) 车外环境识别装置
CN105740835B (zh) 夜视环境下基于车载相机的前方车辆检测方法
CN111503991B (zh) 一种识别冰箱食材存取位置的方法及冰箱
CN111523352A (zh) 一种智能化快速识别违法改装车的方法及其监控系统
CN110276258A (zh) 一种识别车辆外观的方法及系统
CN106203267A (zh) 基于机器视觉的车辆防碰撞方法
CN110598550B (zh) 一种基于多层信息智能分析的车辆联网识别系统
CN111292530A (zh) 处理违章图片的方法、装置、服务器和存储介质
CN113128507A (zh) 一种车牌识别方法、装置、电子设备及存储介质
CN111523385B (zh) 一种基于帧差法的静止车辆检测方法及系统
CN106557754A (zh) 一种夜间车辆检测和状态判断方法
CN113781827A (zh) 一种云平台的视频数据管理方法及云平台
CN108734113A (zh) 车辆自动标注方法、存储介质、电子设备、系统
CN106128114A (zh) 套牌车辆的识别方法及装置
CN110619539A (zh) 一种基于停车场聚合信息的大数据分析方法和系统
CN111383248B (zh) 一种行人闯红灯判断方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 519031 room 105-34702, No. 6, Baohua Road, Hengqin New District, Zhuhai City, Guangdong Province (centralized office area)

Applicant after: Shanpo Technology (Zhuhai) Co., Ltd

Address before: 519031 room 105-34702, No. 6, Baohua Road, Hengqin New District, Zhuhai City, Guangdong Province (central office)

Applicant before: Hengqin Shanbo Investment Management Co., Ltd

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant