CN112651398A - 车辆的抓拍控制方法、装置及计算机可读存储介质 - Google Patents
车辆的抓拍控制方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112651398A CN112651398A CN202011606218.3A CN202011606218A CN112651398A CN 112651398 A CN112651398 A CN 112651398A CN 202011606218 A CN202011606218 A CN 202011606218A CN 112651398 A CN112651398 A CN 112651398A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- target
- target frame
- license plate
- snapshot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000011159 matrix material Substances 0.000 claims description 90
- 238000001514 detection method Methods 0.000 claims description 54
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000012806 monitoring device Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 230000036544 posture Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Abstract
本发明实施例提供了一种车辆的抓拍控制方法、装置及计算机可读存储介质。该方法包括：确定视频流图像中车辆的目标框；基于车辆的目标框进行车牌识别和目标跟踪，并将车牌识别的结果与目标跟踪的跟踪目标标识相关联；在判断车辆满足抓拍条件的情况下，确定跟踪目标标识所关联的车牌识别的结果是否为无牌，在车牌识别的结果为无牌的情况下，判断车辆的目标框中是否包含预定对象，在包含预定对象的情况下，控制对车辆进行抓拍，其中，预定对象包括车脸和/或车尾。通过本发明，解决了相关技术中存在很多无效的抓拍的问题，有效提升了车辆抓拍的准确率。
Description
技术领域
本发明实施例涉及图像处理技术领域，具体而言，涉及一种车辆的抓拍控制方法、装置及计算机可读存储介质。
背景技术
随着各类交通场景下的人工智能技术的日益成熟，基于人工智能技术进行各类型车辆的识别以及车牌的识别已经是技术发展的趋势。
目前，为了管理和计费控制之便，在卡口、出入口等位置往往需要进行来往车辆(包括机动车和非机动车)和人员的抓拍，并且基于智能识别结果记录车辆的车牌状态，例如，有牌还是无牌，有牌的话输出识别车牌号码。然而，因为在实际应用中往往存在比较复杂的因素，例如，目标姿态位置、环境、光线影响、遮挡等等，这些因素都可能影响对车牌的识别，如果将所有无牌的识别结果都进行对应的抓拍和上报，往往会引起误报，影响抓拍的准确率，产生很多无效的抓拍上报记录。
发明内容
本发明实施例提供了一种车辆的抓拍控制方法、装置及计算机可读存储介质，以至少解决相关技术中存在很多无效的抓拍的问题。
根据本发明的一个实施例，提供了一种车辆的抓拍控制方法，包括：确定视频流图像中车辆的目标框；基于所述车辆的目标框进行车牌识别和目标跟踪，并将所述车牌识别的结果与所述目标跟踪的跟踪目标标识相关联；在判断所述车辆满足抓拍条件的情况下，确定所述跟踪目标标识所关联的所述车牌识别的结果是否为无牌，在所述车牌识别的结果为无牌的情况下，判断所述车辆的目标框中是否包含预定对象，在包含所述预定对象的情况下，控制对所述车辆进行抓拍，其中，所述预定对象包括车脸和/或车尾。
在至少一个示例性实施例中，判断所述车辆的目标框中是否包含所述预定对象包括：确定所述预定对象的目标框；确定相交比率ratio＝(A∩B)/A，其中，A表示所述预定对象的目标框，B表示所述车辆的目标框，A∩B表示A与B的交集；在所述相交比率ratio大于或等于阈值thresh的情况下，确定所述车辆的目标框中包含所述预定对象，否则，确定所述车辆的目标框中不包含所述预定对象。
在至少一个示例性实施例中，在确定视频流图像中所述车辆的目标框之前，所述方法还包括：基于所述视频流图像进行目标检测，以确定所述视频流图像中包含的候选目标框及所述候选目标框对应的目标类别，其中，所述目标类别包括以下之一：车辆、车脸、车尾、行人。
在至少一个示例性实施例中，基于所述视频流图像进行目标检测包括：将所述视频流图像输入区域生成网络，生成所述候选目标框并记录所述候选目标框的位置信息；将所述候选目标框输入空间金字塔池化网络，得到每个所述候选目标框的具有相同维度的图像特征；基于每个所述候选目标框的所述图像特征和所述位置信息生成特征矩阵I并将所述特征矩阵I输入关系网络，以确定所述候选目标框对应的所述目标类别。
在至少一个示例性实施例中，基于每个所述候选目标框的所述图像特征和所述位置信息生成特征矩阵I并将所述特征矩阵I输入关系网络，以确定所述候选目标框对应的所述目标类别包括：生成特征矩阵I＝(fA┊fG)，其中，fA为所述候选目标框的所述图像特征，fG为所述候选目标框的所述位置信息，(fA┊fG)表示将fA和fG进行拼接；将所述特征矩阵I输入所述关系网络，得到键值矩阵K、查询矩阵Q和值矩阵V，其中，K＝WkI，Q＝WqI，V＝WvI，其中，Wk、Wq和Wv分别为训练得到对应于所述键值矩阵K、所述查询矩阵Q和所述值矩阵V的权重向量；基于所述键值矩阵K和所述查询矩阵Q确定关系矩阵A＝KTQ，其中，T表示矩阵转置；基于所述关系矩阵A和所述值矩阵V确定所述候选目标框对应的特征矩阵
其中，
softmax()代表归一化指数函数；基于所述候选目标框对应的所述特征矩阵O计算所述候选目标框对应的所述目标类别。
在至少一个示例性实施例中，确定视频流图像中所述车辆的目标框包括：在所述视频流图像中包含的所述候选目标框中，筛选所述目标类别为车辆的所述候选目标框作为所述车辆的目标框。
在至少一个示例性实施例中，确定所述预定对象的目标框包括：在所述视频流图像中包含的所述候选目标框中，筛选所述目标类别为车脸和/或车尾的所述候选目标框作为所述预定对象的目标框。
在至少一个示例性实施例中，所述抓拍条件包括以下至少之一：所述车辆的所述目标框到达预设的抓拍区域；所述跟踪目标标识发生变化，其中，所述跟踪目标标识用于唯一标识当前跟踪的车辆。
在至少一个示例性实施例中，所述方法还包括：在所述车牌识别的结果为有牌的情况下，将当前的识别车牌号码与上一次抓拍关联的识别车牌号码进行比较；在当前的所述识别车牌号码与上一次抓拍关联的识别车牌号码相同的情况下，控制取消对所述车辆进行抓拍。
根据本发明的另一个实施例，提供了一种车辆的抓拍控制装置，包括：车辆目标框确定模块，设置为确定视频流图像中车辆的目标框；识别及跟踪处理模块，设置为基于所述车辆的目标框进行车牌识别和目标跟踪，并将所述车牌识别的结果与所述目标跟踪的跟踪目标标识相关联；抓拍控制模块，设置为在判断所述车辆满足抓拍条件的情况下，确定所述跟踪目标标识所关联的所述车牌识别的结果是否为无牌，在所述车牌识别的结果为无牌的情况下，判断所述车辆的目标框中是否包含预定对象，在包含所述预定对象的情况下，控制对所述车辆进行抓拍，其中，所述预定对象包括车脸和/或车尾。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，由于在基于视频流图像确定当前车辆满足抓拍条件的情况下，先判断当前车辆的车牌识别结果是否为无牌，在判断为无牌的情况下，检查当前车辆的目标框中是否包含车脸和/或车尾，只有在包含车脸和/或车尾时，才能表明当前的无牌识别结果是正确的，此时才控制对该车辆进行无牌车的抓拍，该方案可以解决相关技术中存在很多无效的抓拍的问题，能够有效提升车辆抓拍(尤其是无牌车的抓拍)的准确性。
附图说明
图1是本发明实施例的一种监控设备的硬件结构框图；
图2是根据本发明实施例的车辆的抓拍控制的流程图；
图3是根据本发明实施例的车辆的抓拍控制的示例性流程图；
图4是根据本发明实施例的车辆的抓拍控制装置的结构框图；
图5是根据本发明实施例的车辆的抓拍控制方法的详细流程图；
图6是根据本发明实施例的目标检测的详细流程图；
图7(a)是根据本发明实施例的目标检测的效果图一；
图7(b)是根据本发明实施例的目标检测的效果图二；
图7(c)是根据本发明实施例的目标检测的效果图三。
具体实施方式
在智能交通领域，往往需要在卡口、出入口等处进行通过车辆的实时抓拍，而为了进行抓拍控制，往往需要借助雷达或者地感线圈准确把握车辆位置从而触发抓拍信号，设备及配套成本较高。此外，在对抓拍图进行车辆特征检测及车牌识别的过程中，检测识别精度容易受目标姿态位置环境光线影响，无法保证高精度的车辆抓拍及信息上报。
为了解决抓拍的精度低，存在很多无效的抓拍的问题，本发明实施例提供了一种车辆的抓拍控制方法、装置及计算机可读存储介质，用以实现高精度的车辆抓拍。
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在诸如监控服务器、监控平台、监控设备或者类似的具有运算功能的装置中执行。以运行在监控设备上为例，图1是本发明实施例的一种监控设备的硬件结构框图。如图1所示，监控设备可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述监控设备还可以包括用于通信功能的传输设备106，用于连接执行抓拍动作的摄像头，以向摄像头发出拍摄指令或抓拍指令以及接收摄像头返回的视频流信号及图像信号。所述监控设备还可以包括输入输出设备108，用于接收用户操作指令，以及显示监控图像等等。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述监控设备的结构造成限定。例如，监控设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的车辆的抓拍控制方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至监控设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括监控设备的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站或网关设备与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(RadioFrequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。在另一个实例中，传输装置106也可以通过有线方式与互联网进行通讯。传输装置106也可以直接经由设备间接口接收或者发送数据，例如，监控设备可以通过传输装置106直接与连接的摄像头进行数据交互，以向摄像头发出拍摄指令或抓拍指令以及接收摄像头返回的视频流信号及图像信号。
在本实施例中提供了一种运行于诸如监控服务器、监控平台、监控设备或者类似的具有运算功能的装置的车辆的抓拍控制方法，图2是根据本发明实施例的车辆的抓拍控制的流程图，如图2所示，该流程包括如下步骤：
步骤S202，确定视频流图像中车辆的目标框。
本方案所应用的场景中，可能需要对车辆进行抓拍。根据实际场景中需要抓拍的目标对象的类型，可以对车辆的具体类型进行设定。例如，所述车辆可以是机动车和/或摩托车，当然，在某些场景下，如果某些非机动车也存在标识牌，则也可以包括非机动车。
图3是根据本发明实施例的车辆的抓拍控制的示例性流程图，如图3所示，在至少一个示例性实施例中，在步骤S202之前，所述方法还可以包括：
步骤S302，基于所述视频流图像进行目标检测，以确定所述视频流图像中包含的候选目标框及所述候选目标框对应的目标类别，其中，所述目标类别包括以下之一：车辆、车脸、车尾、行人。
在至少一个示例性实施例中，步骤S302中基于所述视频流图像进行目标检测可以包括：
步骤S302-1，将所述视频流图像输入区域生成网络，生成所述候选目标框并记录所述候选目标框的位置信息；
步骤S302-2，将所述候选目标框输入空间金字塔池化网络，得到每个所述候选目标框的具有相同维度的图像特征；
步骤S302-3，基于每个所述候选目标框的所述图像特征和所述位置信息生成特征矩阵I并将所述特征矩阵I输入关系网络，以确定所述候选目标框对应的所述目标类别。
在至少一个示例性实施例中，步骤S302-3可以包括以下处理：
生成特征矩阵I＝(fA┊fG)，其中，fA为所述候选目标框的所述图像特征，fG为所述候选目标框的所述位置信息，(fA┊fG)表示将fA和fG进行拼接；
将所述特征矩阵I输入所述关系网络，得到键值矩阵K(Key)、查询矩阵Q(Query)和值矩阵V(Value)，其中，K＝WkI，Q＝WqI，V＝WVI，其中，Wk、Wq和Wv分别为训练得到对应于所述键值矩阵K、所述查询矩阵Q和所述值矩阵V的权重向量；
基于所述键值矩阵K和所述查询矩阵Q确定关系矩阵A＝KTQ，其中，T表示矩阵转置；
基于所述关系矩阵A和所述值矩阵V确定所述候选目标框对应的特征矩阵
其中，
softmax()代表归一化指数函数；
基于所述候选目标框对应的所述特征矩阵O计算所述候选目标框对应的所述目标类别。
该方案属于一种改进的二阶段目标检测方法，通过引入关系网络，将车辆本身的车辆整体、车脸、车尾之间的位置关系作为先验条件，将多个候选目标框进行关联的目标检测，大大提高了检测的精度。由于目标间的相关性，可以进一步提升车头，车尾，车辆目标的召回率和准确率，对各种光照及场景条件的适应性增强。
基于上述目标检测的方法，就可以得到在所述视频流图像中包含的所有候选目标框，并从中找到对应于车辆的目标框。例如，在至少一个示例性实施例中，确定视频流图像中所述车辆的目标框可以包括：在所述视频流图像中包含的所述候选目标框中，筛选所述目标类别为车辆的所述候选目标框作为所述车辆的目标框。
步骤S204，基于所述车辆的目标框进行车牌识别和目标跟踪，并将所述车牌识别的结果与所述目标跟踪的跟踪目标标识相关联。
在本步骤S204中，所述车辆可以是机动车和/或摩托车，也就是说当识别到机动车和/或摩托车时，仅仅对机动车和/或摩托车进行车牌识别和目标跟踪，而对于诸如行人、非机动车等其他不关注的目标对象，可以不对其进行车牌识别和目标跟踪，以防由于近处行人和非机动车边缘纹理信息丰富，误检测为机动车或机动车结果框不准，进而减少误报。
在本步骤S204中，车牌识别和目标跟踪的过程可以是相互独立执行的，二者之间没有必然的顺序关联，也就是说，车牌识别和目标跟踪的执行没有任何的顺序限制，二者可以同时且互相独立的执行。
在该步骤S204中，跟踪目标标识可以唯一标识一个跟踪目标，当然，在实际应用中，因为环境、场景、遮挡、光线等等因素，可能会导致识别误差，从而将同一个跟踪目标识别为新的跟踪目标，这就会出现跟踪目标标识的跳变，基于此可能会触发针对于实际同一个目标车辆的多次无效抓拍，为了有效滤除无效的抓拍，以下步骤S206可以有效滤除至少部分的无效抓拍。
步骤S206，在判断所述车辆满足抓拍条件的情况下，确定所述跟踪目标标识所关联的所述车牌识别的结果是否为无牌，在所述车牌识别的结果为无牌的情况下，判断所述车辆的目标框中是否包含预定对象，在包含所述预定对象的情况下，控制对所述车辆进行抓拍，其中，所述预定对象包括车脸和/或车尾。
也就是说，在识别为无牌的情况下，需要检查车辆的目标框中是否包含预定对象，当不包含预定对象的情况下，控制取消对所述车辆进行抓拍，而仅在包含预定对象的情况下，才认定为当前的无牌判定是有效的，从而进行无牌车辆的抓拍。
在至少一个示例性实施例中，所述抓拍条件可以包括以下至少之一：所述车辆的所述目标框到达预设的抓拍区域；所述跟踪目标标识发生变化，其中，所述跟踪目标标识用于唯一标识当前跟踪的车辆。
在至少一个示例性实施例中，步骤S206中所涉及的判断所述车辆的目标框中是否包含所述预定对象可以通过以下方式来实现：
确定所述预定对象的目标框，在实际实施中，可以通过以下方式确定所述预定对象的目标框：在所述视频流图像中包含的所述候选目标框中，筛选所述目标类别为车脸和/或车尾的所述候选目标框作为所述预定对象的目标框；
确定相交比率ratio＝(A∩B)/A，其中，A表示所述预定对象的目标框，B表示所述车辆的目标框，A∩B表示A与B的交集；
在所述相交比率ratio大于或等于阈值thresh的情况下，确定所述车辆的目标框中包含所述预定对象，否则，确定所述车辆的目标框中不包含所述预定对象。
通过上述方式，可以快速实现所述车辆的目标框中是否包含所述预定对象的判断，并且该方式基于之前所进行的目标识别的识别结果即可实现，无需进行额外的图像识别处理，实现简单，资源占用小。本领域技术人员应当理解，除了该方式，也可以通过诸如图像识别等方式来确定当前的车辆的目标框中是否包含所述预定对象。本发明实施例对具体的实现方式并不作限定。
除了对于无牌检测结果的处理，对于有牌的检测结果，也可以通过进一步的判断来去除无效的抓拍。例如，在至少一个示例性实施例中，所述方法还可以包括：
在所述车牌识别的结果为有牌的情况下，将当前的识别车牌号码与上一次抓拍关联的识别车牌号码进行比较；
在当前的所述识别车牌号码与上一次抓拍关联的识别车牌号码相同的情况下，控制取消对所述车辆进行抓拍。
通过上述步骤，由于在基于视频流图像确定当前车辆满足抓拍条件的情况下，先判断当前车辆的车牌识别结果是否为无牌，在判断为无牌的情况下，检查当前车辆的目标框中是否包含车脸和/或车尾，只有在包含车脸和/或车尾时，才能表明当前的无牌识别结果是正确的，此时才控制对该车辆进行无牌车的抓拍，该方案可以解决相关技术中存在很多无效的抓拍的问题，能够有效提升车辆抓拍(尤其是无牌车的抓拍)的准确性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种车辆的抓拍控制装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明实施例的车辆的抓拍控制装置的结构框图，如图4所示，该装置包括：目标检测模块40、车辆目标框确定模块42、识别及跟踪处理模块44、抓拍控制模块46。以下分别进行详细说明。
目标检测模块40，设置为基于所述视频流图像进行目标检测，以确定所述视频流图像中包含的候选目标框及所述候选目标框对应的目标类别，其中，所述目标类别包括以下之一：车辆、车脸、车尾、行人。
目标检测模块40可以设置为通过以下方式基于所述视频流图像进行目标检测：
将所述视频流图像输入区域生成网络，生成所述候选目标框并记录所述候选目标框的位置信息；
将所述候选目标框输入空间金字塔池化网络，得到每个所述候选目标框的具有相同维度的图像特征；
基于每个所述候选目标框的所述图像特征和所述位置信息生成特征矩阵I并将所述特征矩阵I输入关系网络，以确定所述候选目标框对应的所述目标类别。
在至少一个示例性实施例中，基于每个所述候选目标框的所述图像特征和所述位置信息生成特征矩阵I并将所述特征矩阵I输入关系网络，以确定所述候选目标框对应的所述目标类别可以包括以下处理：
生成特征矩阵I＝(fA┊fG)，其中，fA为所述候选目标框的所述图像特征，fG为所述候选目标框的所述位置信息，(fA┊fG)表示将fA和fG进行拼接；
将所述特征矩阵I输入所述关系网络，得到键值矩阵K、查询矩阵Q和值矩阵V，其中，K＝WkI，Q＝VqI，V＝WvI，其中，Wk、Wq和Wv分别为训练得到对应于所述键值矩阵K、所述查询矩阵Q和所述值矩阵V的权重向量；
基于所述键值矩阵K和所述查询矩阵Q确定关系矩阵A＝KTQ，其中，T表示矩阵转置；
基于所述关系矩阵A和所述值矩阵V确定所述候选目标框对应的特征矩阵
其中，
softmax( )代表归一化指数函数；
基于所述候选目标框对应的所述特征矩阵O计算所述候选目标框对应的所述目标类别。
该方案属于一种改进的二阶段目标检测方案，通过引入关系网络，将车辆本身的车辆整体、车脸、车尾之间的位置关系作为先验条件，将多个候选目标框进行关联的目标检测，大大提高了检测的精度。由于目标间的相关性，可以进一步提升车头，车尾，车辆目标的召回率和准确率，对各种光照及场景条件的适应性增强。
车辆目标框确定模块42，设置为确定视频流图像中车辆的目标框。
本方案所应用的场景中，可能需要对车辆进行抓拍。根据实际场景中需要抓拍的目标对象的类型，可以对车辆的具体类型进行设定。例如，所述车辆可以是机动车和/或摩托车，当然，在某些场景下，如果某些非机动车也存在标识牌，则也可以包括非机动车。
基于上述目标检测模块40的检测结果，车辆目标框确定模块42就可以得到在所述视频流图像中包含的所有候选目标框，并从中找到对应于车辆的目标框。例如，在至少一个示例性实施例中，所述车辆目标框确定模块42设置为通过以下方式确定视频流图像中所述车辆的目标框：在所述视频流图像中包含的所述候选目标框中，筛选所述目标类别为车辆的所述候选目标框作为所述车辆的目标框。
识别及跟踪处理模块44，设置为基于所述车辆的目标框进行车牌识别和目标跟踪，并将所述车牌识别的结果与所述目标跟踪的跟踪目标标识相关联。
识别及跟踪处理模块44所识别和跟踪的所述车辆可以是机动车和/或摩托车，也就是说当识别到机动车和/或摩托车时，仅仅对机动车和/或摩托车进行车牌识别和目标跟踪，而对于诸如行人、非机动车等其他不关注的目标对象，可以不对其进行车牌识别和目标跟踪，以防由于近处行人和非机动车边缘纹理信息丰富，误检测为机动车或机动车结果框不准，进而减少误报。
识别及跟踪处理模块44在处理车牌识别和目标跟踪的过程中，可以是独立执行车牌识别和目标跟踪的，二者之间没有必然的顺序关联，也就是说，识别及跟踪处理模块44进行车牌识别和目标跟踪的执行没有任何的顺序限制，二者可以同时且互相独立的执行。
识别及跟踪处理模块44进行目标跟踪时，所设置的跟踪目标标识可以唯一标识一个跟踪目标，当然，在实际应用中，因为环境、场景、遮挡、光线等等因素，可能会导致识别误差，从而将同一个跟踪目标识别为新的跟踪目标，这就会出现跟踪目标标识的跳变，基于此可能会触发针对于实际同一个目标车辆的多次无效抓拍，为了有效滤除无效的抓拍，以下抓拍控制模块46可以有效滤除至少部分的无效抓拍。
抓拍控制模块46，设置为在判断所述车辆满足抓拍条件的情况下，确定所述跟踪目标标识所关联的所述车牌识别的结果是否为无牌，在所述车牌识别的结果为无牌的情况下，判断所述车辆的目标框中是否包含预定对象，在包含所述预定对象的情况下，控制对所述车辆进行抓拍，其中，所述预定对象包括车脸和/或车尾。
也就是说，在识别为无牌的情况下，抓拍控制模块46需要检查车辆的目标框中是否包含预定对象，当不包含预定对象的情况下，控制取消对所述车辆进行抓拍，而仅在包含预定对象的情况下，才认定为当前的无牌判定是有效的，从而控制进行无牌车辆的抓拍。
在至少一个示例性实施例中，所述抓拍条件可以包括以下至少之一：所述车辆的所述目标框到达预设的抓拍区域；所述跟踪目标标识发生变化，其中，所述跟踪目标标识用于唯一标识当前跟踪的车辆。
在至少一个示例性实施例中，抓拍控制模块46可以通过以下方式来判断所述车辆的目标框中是否包含所述预定对象：
确定所述预定对象的目标框，在实际实施中，可以通过以下方式确定所述预定对象的目标框：在所述视频流图像中包含的所述候选目标框中，筛选所述目标类别为车脸和/或车尾的所述候选目标框作为所述预定对象的目标框；
确定相交比率ratio＝(A∩B)/A，其中，A表示所述预定对象的目标框，B表示所述车辆的目标框，A∩B表示A与B的交集；
在所述相交比率ratio大于或等于阈值thresh的情况下，确定所述车辆的目标框中包含所述预定对象，否则，确定所述车辆的目标框中不包含所述预定对象。
通过上述模块功能设置，可以快速实现所述车辆的目标框中是否包含所述预定对象的判断，并且该模块功能设置基于之前所进行的目标识别的识别结果即可实现，无需进行额外的图像识别处理，实现简单，资源占用小。本领域技术人员应当理解，除了该模块功能设置，也可以通过诸如图像识别等方式来确定当前的车辆的目标框中是否包含所述预定对象。本发明实施例对具体的实现方式并不作限定。
除了对于无牌检测结果的处理，对于有牌的检测结果，抓拍控制模块46也可以通过进一步的判断来去除无效的抓拍。例如，在至少一个示例性实施例中，抓拍控制模块46还可以设置为：
在所述车牌识别的结果为有牌的情况下，将当前的识别车牌号码与上一次抓拍关联的识别车牌号码进行比较；
在当前的所述识别车牌号码与上一次抓拍关联的识别车牌号码相同的情况下，控制取消对所述车辆进行抓拍。
通过上述装置，由于在基于视频流图像确定当前车辆满足抓拍条件的情况下，先判断当前车辆的车牌识别结果是否为无牌，在判断为无牌的情况下，检查当前车辆的目标框中是否包含车脸和/或车尾，只有在包含车脸和/或车尾时，才能表明当前的无牌识别结果是正确的，此时才控制对该车辆进行无牌车的抓拍，该方案可以解决相关技术中存在很多无效的抓拍的问题，能够有效提升车辆抓拍(尤其是无牌车的抓拍)的准确性。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，确定视频流图像中车辆的目标框；
S2，基于所述车辆的目标框进行车牌识别和目标跟踪，并将所述车牌识别的结果与所述目标跟踪的跟踪目标标识相关联；
S3，在判断所述车辆满足抓拍条件的情况下，确定所述跟踪目标标识所关联的所述车牌识别的结果是否为无牌，在所述车牌识别的结果为无牌的情况下，判断所述车辆的目标框中是否包含预定对象，在包含所述预定对象的情况下，控制对所述车辆进行抓拍，其中，所述预定对象包括车脸和/或车尾。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
在一个示例性实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，确定视频流图像中车辆的目标框；
S2，基于所述车辆的目标框进行车牌识别和目标跟踪，并将所述车牌识别的结果与所述目标跟踪的跟踪目标标识相关联；
S3，在判断所述车辆满足抓拍条件的情况下，确定所述跟踪目标标识所关联的所述车牌识别的结果是否为无牌，在所述车牌识别的结果为无牌的情况下，判断所述车辆的目标框中是否包含预定对象，在包含所述预定对象的情况下，控制对所述车辆进行抓拍，其中，所述预定对象包括车脸和/或车尾。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
以下通过一示例性实施例对车辆的抓拍控制方案进行详细的描述。
考虑到目前的出入口车辆抓拍对算法效果提出了很高要求，研发出具备高精度，较强实用性和通用性的算法尤为重要。本实施例提出的车辆的抓拍控制方案，基于视频流的车辆检测跟踪及车牌识别，并对位于抓拍区域的车辆图像抓拍上报，且保证上报目标车辆的唯一性和有效性。本实施例提供的检测网络可以满足各种环境光照，各种目标姿态及遮挡条件下的车辆检测，且有效抑制背景及非机动车，行人等目标的干扰。具体而言，本实施例中采用了二阶段检测方式，对区域生成网络(Region Proposal Network，简称为RPN)网络输出的候选框特征输入到空间金字塔池化(Spatial Pyramid Pooling，简称为SPP)网络和关系网络(Relation net)，利用目标间的关联信息进一步增强了特征有效性，提高目标检测的精度。对连续视频流数据的车辆检测结果进行跟踪，在目标id唯一的前提下触发抓拍规则进行抓拍。对未关联到车牌信息的抓拍图，利用检测网络分类输出车头，车尾，全车等目标框，区分当前目标车辆框是否包含车头或车尾，去除仅包含车身的目标车辆抓拍图；对关联到车牌信息的抓拍图，和上一次上报的抓拍图关联的车牌信息比对，去除有相同车牌信息的车辆抓拍图。该方法保证正常出入口车辆抓拍效果前提下，提高复杂场景的车辆抓拍的精度，有效解决了由于出入口场景车身特征不明显造成的检测跟踪不稳定，进而影响目标抓拍的精度，大大降低了虚报和误报。
图5是根据本发明实施例的车辆的抓拍控制方法的详细流程图，如图5所示，该方法的主要执行流程如下：
步骤S501，获取视频流图像，进行视频流图像中的目标检测，包括各类机动车，非机动车，摩托车和行人，其中机动车按车头，车尾，车辆的目标框分类输出。利用车头，车尾与车辆目标的相对位置关系，采用改进的二阶段目标检测方法，区域生成网络RPN(其是一个用来提取候选目标框的网络)后面接空间金字塔池化SPP网络和关系网络Relationnetwork进一步提升检测精度。
其中，区域生成网络RPN是一个用来提取候选目标框的网络。
对于接空间金字塔池化SPP网络，由于通过RPN所提取的候选目标框的尺寸是不统一的，而CNN网络需要的输入图像是固定尺寸的，因此，通过SPP能够使用一套标准的pool对图像进行池化，从而将候选目标框的尺寸进行统一，通过将SPP插入到多层卷积和全连接层之间，相当于提供了一个标准通道，解决了输入图像尺寸不统一的问题。
关系网络是通过构建神经网络来计算两个样本之间的距离从而分析匹配程度，可以看成提供了一个科学系的非线性分类器用于判断关系，通过关系网络实现了所有对象的联合推理，提高了对象识别的精度。
图6是根据本发明实施例的目标检测的详细流程图，如图6所示，具体实现过程包括以下步骤：
步骤S601，获取待检测图像并进行预处理；
步骤S602，将待检测图像输入RPN网络生成候选目标框；
步骤S603，将候选目标框输入SPP网络，使每个目标框输出相同维度的图像特征fA；
步骤S604，假设目标框的坐标位置信息用fG表示，那么将fA和fG拼接起来形成特征矩阵I(见公式1)输入关系网络，特征矩阵I通过与训练得到的权重向量相乘分别得到K，Q，V矩阵(见公式2)。其中K，Q矩阵相乘得到目标框之间的关系矩阵A(见公式3)，关系矩阵A各向量作归一化指数函数softmax得到
(2)(见公式4)，将特征值矩阵V和关系矩阵
相乘，得到候选目标框新特征矩阵O(3)(见公式5)。
具体使用的公式如下：
I＝(fA┊fG) (1)
Q＝WqI，K＝WkI，V＝WvI (2)
A＝KTQ (3)
步骤S605，矩阵O最后用于计算目标框的类别及回归坐标的精确位置。矩阵O由于目标间的相关性，可以进一步提升车头，车尾，车辆目标的召回率和准确率，对各种光照及场景条件的适应性增强。
图7(a)、图7(b)、图7(c)分别是根据本发明实施例的目标检测的效果图。如图7(a)、7(b)和7(c)所示，该目标检测算法可以准确识别出各个目标框及其类型。
步骤S502，确定目标类别是否是机动车或摩托车，若不是，则进入步骤S503，否则，进入步骤S504。
步骤S503，确定目标类别是否是车脸或车尾，若是，则将该车脸或车尾目标框输入步骤S510参与无牌车判断。
步骤S504，机动车和摩托车目标框内部进行车牌识别。
步骤S505，机动车和摩托车目标框同时输入跟踪模块进行目标跟踪，行人。在本方案中，行人和非机动车目标(车脸，车尾目标框)做检测但不进行跟踪，防止由于近处行人和非机动车边缘纹理信息丰富，误检测为机动车或机动车结果框不准，进而减少误报。
步骤S506，通过跟踪ID是否有关联或者关联过车牌信息，能够将跟踪目标划分为有牌车和无牌车。判断跟踪结果是否关联到车牌(即是有牌车还是无牌车)，如果关联到车牌，则进入步骤S507，否则，进入步骤S510。
步骤S507，对机动车和摩托车检测框内部识别到车牌的情况，将车辆和车牌结果关联到同一个跟踪ID输出。跟踪目标框到达抓拍区域时，首先判断其是否满足抓拍规则，符合抓拍条件时进入步骤S508。
步骤S508，对当前抓拍结果为有牌车的情况，采用和上一次抓拍关联的车牌识别结果进行比对，若识别结果不相同，则进入步骤S509，否则，相邻两次上报的车牌识别结果相同则过滤此次重复抓拍。
步骤S509，当前抓拍结果为有牌车且和上一次抓拍关联的车牌识别结果不相同，此时进行有牌车抓拍并记录车辆车牌信息。
步骤S510，对当前抓拍结果为无牌的情况，需要获得车辆或车尾的目标框以及被判定为无牌的机动车或摩托车的目标框，基于此执行无牌车判断策略。
步骤S511，跟踪目标框到达抓拍区域时，首先判断其是否满足抓拍规则，符合抓拍条件时进入步骤S512。
步骤S512，计算输出类别为车脸或者车尾的检测框A与跟踪目标框B的交集C，然后计算C占A的比率，这里计算公式为ratio＝(A∩B)/A；车脸或者车尾在车辆目标框内部，理想情况ratio＝＝1，考虑到检测精度误差，这里ratio大于等于阈值thresh则认为当前车辆目标框包含车脸或者车尾信息，小于thresh则判断为不包含车脸或车尾信息，这里thresh取经验值0.9。当判断包含车脸或车尾信息时，进入步骤S513。在判断不包含车脸或车尾信息时，由于正常的抓拍图应该包含车脸或车尾特征，对于不包含的车辆可以认为抓拍目标为车身或背景，不上报此次抓拍图信息，从而实现车身误抓的过滤。
步骤S513，当前机动车或摩托车的目标框包含车脸或车尾信息，属于真的无牌车，此时进行无牌车抓拍并记录车辆车牌信息。
相关技术中，一方面由于出入口场景的特殊性，车辆驶离镜头时仅包含车身的状态时间占比较长，机动车检测和跟踪不稳定，导致车辆ID跳变，基于ID的抓拍规则的前提下，容易出现车身多抓。另一方面由于实际场景比较复杂，镜头前存在行人及其他车辆的遮挡，导致目标ID跳变，也会出现车辆多抓问题。实际的出入口算法抓拍上报的结果分析，多抓主要集中在车辆驶离过程中的车身多抓和长时间遮挡造成的目标多抓，误抓主要集中在和车辆外轮廓具有一定相似性的复杂背景。由于大部分抓拍结果为有牌车，车牌特征较稳定且为车辆的唯一标识，所以在本实施例的方案中，有牌车不判断跟踪框内是否包含车脸或车尾信息，避免因为误判断引入的漏抓风险。在本实施例的方案中，无牌车抓拍结果的判断，引入车脸和车尾信息，可以大大过滤掉车身误抓和背景虚报，同时由于无牌车结果占少数，在此基础上增加的过滤条件不会过滤掉有效的车牌目标。算法抓拍的整体召回率基本不变的情况下，进一步提升了准确率，减少了复杂场景的虚报和误报，不增加算法模型复杂度的前提下实现了高精度的车辆抓拍。
综上，本发明实施例的方案，对于无牌车抓拍结果，通过判断跟踪目标框内是否包含车脸或车尾检测框，过滤掉不包含车脸或车尾信息的车辆目标框，从而进一步减少车辆驶离时产生的多抓及特殊场景的背景虚抓。该方法采用唯一的目标检测模型增加车脸和车尾类别输出，不增加模型复杂度。对于有牌车抓拍结果，通过相邻两次抓拍的车牌识别结果进行对比，过滤同一辆车的重复抓拍，保证抓拍率的前提下进一步提升准确率。在进行目标检测时，通过改进的二阶段检测网络，对RPN网络输出的候选框特征输入到SPP网络和关系网络，利用目标间的关联信息进一步增强了特征有效性，提高目标检测的精度。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种车辆的抓拍控制方法，其特征在于，包括：
确定视频流图像中车辆的目标框；
基于所述车辆的目标框进行车牌识别和目标跟踪，并将所述车牌识别的结果与所述目标跟踪的跟踪目标标识相关联；
在判断所述车辆满足抓拍条件的情况下，确定所述跟踪目标标识所关联的所述车牌识别的结果是否为无牌，在所述车牌识别的结果为无牌的情况下，判断所述车辆的目标框中是否包含预定对象，在包含所述预定对象的情况下，控制对所述车辆进行抓拍，其中，所述预定对象包括车脸和/或车尾。
2.根据权利要求1所述的方法，其特征在于，判断所述车辆的目标框中是否包含所述预定对象包括：
确定所述预定对象的目标框；
确定相交比率ratio＝(A∩B)/A，其中，A表示所述预定对象的目标框，B表示所述车辆的目标框，A∩B表示A与B的交集；
在所述相交比率ratio大于或等于阈值thresh的情况下，确定所述车辆的目标框中包含所述预定对象，否则，确定所述车辆的目标框中不包含所述预定对象。
3.根据权利要求1或2所述的方法，其特征在于，在确定视频流图像中所述车辆的目标框之前，还包括：
基于所述视频流图像进行目标检测，以确定所述视频流图像中包含的候选目标框及所述候选目标框对应的目标类别，其中，所述目标类别包括以下之一：车辆、车脸、车尾、行人。
4.根据权利要求3所述的方法，其特征在于，基于所述视频流图像进行目标检测包括：
将所述视频流图像输入区域生成网络，生成所述候选目标框并记录所述候选目标框的位置信息；
将所述候选目标框输入空间金字塔池化网络，得到每个所述候选目标框的具有相同维度的图像特征；
基于每个所述候选目标框的所述图像特征和所述位置信息生成特征矩阵I并将所述特征矩阵I输入关系网络，以确定所述候选目标框对应的所述目标类别。
5.根据权利要求4所述的方法，其特征在于，基于每个所述候选目标框的所述图像特征和所述位置信息生成特征矩阵I并将所述特征矩阵I输入关系网络，以确定所述候选目标框对应的所述目标类别包括：
生成特征矩阵
其中，fA为所述候选目标框的所述图像特征，fG为所述候选目标框的所述位置信息，
表示将fA和fG进行拼接；
将所述特征矩阵I输入所述关系网络，得到键值矩阵K、查询矩阵Q和值矩阵V，其中，K＝WkI，Q＝WqI，V＝WvI，其中，Wk、Wq和Wv分别为训练得到对应于所述键值矩阵K、所述查询矩阵Q和所述值矩阵V的权重向量；
基于所述键值矩阵K和所述查询矩阵Q确定关系矩阵A＝KTQ，其中，T表示矩阵转置；
基于所述关系矩阵A和所述值矩阵V确定所述候选目标框对应的特征矩阵
其中，
softmax()代表归一化指数函数；
基于所述候选目标框对应的所述特征矩阵O计算所述候选目标框对应的所述目标类别。
6.根据权利要求3所述的方法，其特征在于，确定视频流图像中所述车辆的目标框包括：
在所述视频流图像中包含的所述候选目标框中，筛选所述目标类别为车辆的所述候选目标框作为所述车辆的目标框。
7.根据权利要求3所述的方法，其特征在于，确定所述预定对象的目标框包括：
在所述视频流图像中包含的所述候选目标框中，筛选所述目标类别为车脸和/或车尾的所述候选目标框作为所述预定对象的目标框。
8.根据权利要求1所述的方法，其特征在于，所述抓拍条件包括以下至少之一：
所述车辆的所述目标框到达预设的抓拍区域；
所述跟踪目标标识发生变化，其中，所述跟踪目标标识用于唯一标识当前跟踪的车辆。
9.根据权利要求1所述的方法，其特征在于，还包括：
在所述车牌识别的结果为有牌的情况下，将当前的识别车牌号码与上一次抓拍关联的识别车牌号码进行比较；
在当前的所述识别车牌号码与上一次抓拍关联的识别车牌号码相同的情况下，控制取消对所述车辆进行抓拍。
10.一种车辆的抓拍控制装置，其特征在于，包括：
车辆目标框确定模块，设置为确定视频流图像中车辆的目标框；
识别及跟踪处理模块，设置为基于所述车辆的目标框进行车牌识别和目标跟踪，并将所述车牌识别的结果与所述目标跟踪的跟踪目标标识相关联；
抓拍控制模块，设置为在判断所述车辆满足抓拍条件的情况下，确定所述跟踪目标标识所关联的所述车牌识别的结果是否为无牌，在所述车牌识别的结果为无牌的情况下，判断所述车辆的目标框中是否包含预定对象，在包含所述预定对象的情况下，控制对所述车辆进行抓拍，其中，所述预定对象包括车脸和/或车尾。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至9任一项中所述的方法。
12.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至9任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011606218.3A CN112651398B (zh) | 2020-12-28 | 2020-12-28 | 车辆的抓拍控制方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011606218.3A CN112651398B (zh) | 2020-12-28 | 2020-12-28 | 车辆的抓拍控制方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112651398A true CN112651398A (zh) | 2021-04-13 |
| CN112651398B CN112651398B (zh) | 2024-02-13 |
Family
ID=75364341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011606218.3A Active CN112651398B (zh) | 2020-12-28 | 2020-12-28 | 车辆的抓拍控制方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112651398B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591725A (zh) * | 2021-08-03 | 2021-11-02 | 世邦通信股份有限公司 | 一种鸣笛车辆提取方法、装置、设备及介质 |
| CN114220285A (zh) * | 2021-12-14 | 2022-03-22 | 中国电信股份有限公司 | 超速车辆的定位与示警方法、装置、电子设备及可读介质 |
| WO2022242008A1 (en) * | 2021-05-20 | 2022-11-24 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for vehicle detection |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106448184A (zh) * | 2016-12-15 | 2017-02-22 | 深圳市捷顺科技实业股份有限公司 | 车辆识别方法及车辆出场识别方法 |
| CN108509978A (zh) * | 2018-02-28 | 2018-09-07 | 中南大学 | 基于cnn的多级特征融合的多类目标检测方法及模型 |
| US20190251369A1 (en) * | 2018-02-11 | 2019-08-15 | Ilya Popov | License plate detection and recognition system |
| CN111225182A (zh) * | 2018-11-26 | 2020-06-02 | 杭州海康威视数字技术股份有限公司 | 图像采集设备、方法及装置 |
| CN111507126A (zh) * | 2019-01-30 | 2020-08-07 | 杭州海康威视数字技术股份有限公司 | 一种驾驶辅助系统的报警方法、装置及电子设备 |
| CN111797829A (zh) * | 2020-06-24 | 2020-10-20 | 浙江大华技术股份有限公司 | 一种车牌检测方法、装置、电子设备和存储介质 |
| CN111968378A (zh) * | 2020-07-07 | 2020-11-20 | 浙江大华技术股份有限公司 | 机动车闯红灯抓拍方法、装置、计算机设备和存储介质 |
| CN112115904A (zh) * | 2020-09-25 | 2020-12-22 | 浙江大华技术股份有限公司 | 车牌检测识别方法、装置及计算机可读存储介质 |
-
2020
- 2020-12-28 CN CN202011606218.3A patent/CN112651398B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106448184A (zh) * | 2016-12-15 | 2017-02-22 | 深圳市捷顺科技实业股份有限公司 | 车辆识别方法及车辆出场识别方法 |
| US20190251369A1 (en) * | 2018-02-11 | 2019-08-15 | Ilya Popov | License plate detection and recognition system |
| CN108509978A (zh) * | 2018-02-28 | 2018-09-07 | 中南大学 | 基于cnn的多级特征融合的多类目标检测方法及模型 |
| CN111225182A (zh) * | 2018-11-26 | 2020-06-02 | 杭州海康威视数字技术股份有限公司 | 图像采集设备、方法及装置 |
| CN111507126A (zh) * | 2019-01-30 | 2020-08-07 | 杭州海康威视数字技术股份有限公司 | 一种驾驶辅助系统的报警方法、装置及电子设备 |
| CN111797829A (zh) * | 2020-06-24 | 2020-10-20 | 浙江大华技术股份有限公司 | 一种车牌检测方法、装置、电子设备和存储介质 |
| CN111968378A (zh) * | 2020-07-07 | 2020-11-20 | 浙江大华技术股份有限公司 | 机动车闯红灯抓拍方法、装置、计算机设备和存储介质 |
| CN112115904A (zh) * | 2020-09-25 | 2020-12-22 | 浙江大华技术股份有限公司 | 车牌检测识别方法、装置及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 任俊丽;郭浩;董亚飞;刘茹;安居白;王妍;: "自适应尺度突变目标跟踪", 中国图像图形学报, no. 06 * |
| 朱百万;: "车脸识别的停车场收费系统设计与实现", 电子技术与软件工程, no. 05 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022242008A1 (en) * | 2021-05-20 | 2022-11-24 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for vehicle detection |
| CN113591725A (zh) * | 2021-08-03 | 2021-11-02 | 世邦通信股份有限公司 | 一种鸣笛车辆提取方法、装置、设备及介质 |
| CN113591725B (zh) * | 2021-08-03 | 2023-08-22 | 世邦通信股份有限公司 | 一种鸣笛车辆提取方法、装置、设备及介质 |
| CN114220285A (zh) * | 2021-12-14 | 2022-03-22 | 中国电信股份有限公司 | 超速车辆的定位与示警方法、装置、电子设备及可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112651398B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107305627B (zh) | 一种车辆视频监控方法、服务器及系统 | |
| CN112651398A (zh) | 车辆的抓拍控制方法、装置及计算机可读存储介质 | |
| CN108596277B (zh) | 一种车辆身份识别方法、装置和存储介质 | |
| KR101493009B1 (ko) | 전후면 차량 번호 인식 방법과 그 시스템 | |
| KR102297217B1 (ko) | 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치 | |
| CN112434566A (zh) | 客流统计方法、装置、电子设备及存储介质 | |
| CN112464755A (zh) | 一种监控方法及装置、电子设备、存储介质 | |
| CN108288025A (zh) | 一种车载视频监控方法、装置及设备 | |
| CN115063454A (zh) | 多目标跟踪匹配方法、装置、终端及存储介质 | |
| CN116311063A (zh) | 监控视频下基于人脸识别的人员细粒度跟踪方法及系统 | |
| CN109213897A (zh) | 视频搜索方法、视频搜索装置以及视频搜索系统 | |
| CN113971821A (zh) | 驾驶员信息确定方法、装置、终端设备及存储介质 | |
| CN112597995B (zh) | 车牌检测模型训练方法、装置、设备及介质 | |
| CN113077018A (zh) | 一种目标对象识别方法、装置、存储介质及电子装置 | |
| CN116434161A (zh) | 用于判断基于高位视频的停车行为是否可信的方法和系统 | |
| CN112712626A (zh) | 基于车牌信息的车辆验证方法、装置、计算机设备及存储介质 | |
| CN116311166A (zh) | 交通障碍物识别方法、装置及电子设备 | |
| CN110619304A (zh) | 一种车型识别方法、系统、装置及计算机可读介质 | |
| Patel et al. | Vehicle tracking and monitoring in surveillance video | |
| CN114359828A (zh) | 目标行为的记录方法、装置、存储介质及电子装置 | |
| CN112738387B (zh) | 目标抓拍方法、装置及存储介质 | |
| CN115131725A (zh) | 交通流统计方法、装置、设备及存储介质 | |
| CN111161542B (zh) | 车辆识别方法及装置 | |
| CN113591620A (zh) | 一种基于一体式移动采集设备的预警方法、装置及系统 | |
| CN113255549A (zh) | 一种狼群围猎行为状态智能识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |