CN107992865A - 一种基于视频分析的车辆识别方法和系统 - Google Patents
一种基于视频分析的车辆识别方法和系统 Download PDFInfo
- Publication number
- CN107992865A CN107992865A CN201810078331.5A CN201810078331A CN107992865A CN 107992865 A CN107992865 A CN 107992865A CN 201810078331 A CN201810078331 A CN 201810078331A CN 107992865 A CN107992865 A CN 107992865A
- Authority
- CN
- China
- Prior art keywords
- task
- video
- image
- vehicle
- priority
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/48—Indexing scheme relating to G06F9/48
- G06F2209/484—Precedence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于视频分析的车辆识别方法和系统,属于计算机视觉领域。本发明系统架构主要包括客户层、应用层和计算层,以摄像头或交通监控采集的车辆视频作为系统输入,对视频进行处理提取车辆图像,利用卷积神经网络对提取的车辆图像进行特征提取,识别车辆信息,最终返回结果。本发明特点是采用模块化分层架构和分布式计算处理方式,模块化将数据、逻辑与界面进行隔离,各模块之间相互独立,有利于系统开发和后期系统维护、版本升级,分布式使系统能够适用更复杂的计算场景。本发明的核心计算采用卷积神经网络,能够更加准确的对车辆图像进行识别。
Description
技术领域
本发明属于计算机视觉领域,涉及一种基于视频分析的车辆识别方法和系统。
背景技术
近些年来,随着国民经济的发展,工业水平的提高,人们的物质生活水平也迅猛发展,人们对于交通运输系统的依赖程度也越来越强。然而交通问题却成了当今城市生活的热点问题,成为影响人们城市生活质量水平的重要因素之一,交通问题的原因是多方面的,其中交通运输承载能力与管理软硬件条件不匹配的矛盾是引发交通问题的重要原因之一。另一方面,视频监控设备的发展,模式是被以及图像处理等学科理论的成熟,计算机视觉技术的提高,基于计算机视觉的智能交通监控系统已经成为现在智慧城市的一项重要组成部分。
智能交通系统是结合网络通讯技术、计算机视觉技术和传感器技术,为交通参与者提供多样化服务的先进交通综合管理系统。它利用便捷的信息采集、处理和发布技术,有效地改善了交通拥堵、环境污染、交通事故、能源消耗等问题,相比于传统的人工管理交通系统,采用计算机辅助的只能管理方案提高交通运输效率的同时,也提供了一体化的资源共享、信息服务,使人、车、路紧密的结合起来。其主要应用方向包括跨区域、多模式的公路收费系统,交通环境实时监控,公路布控、交通信息服务系统以及公共交通的调度和指挥等。
智能交通管理系统对车辆识别的要求越来越高,所需要的车辆信息也是越来越多。车辆识别系统是智能交通管理系统中十分重要的一环,它通过车辆检测和车辆识别可以准确地获取路面交通车流量信息,同时能获取基本的车辆信息,这些都是路面交通管理系统的重要基础信息。随之深度学习在近几年的火热发展,特别是卷积神经网络在计算机视觉领域的取得的重大突破,卷积神经网络已经成为计算机视觉领域的重要研究方向。随着最近几年深度学习的发展,作为传统机器学习的分支和延伸,深度学习如今已经在很多领域取得了辉煌的成绩,尤其是在图像识别领域,卷积神经网络在图像特征提取上的优势是人工提取所不能比拟的。卷积神经网络以原始图像作为输入,通过大量图像数据训练,能够自动提取用于识别图像目标的特征,简化了图像目标识别模型。而且卷积神经网络对图像目标的平移、缩放、旋转等形变具有很强的鲁棒性,可以极大提高目标的识别率,同时具有更好的泛化能力。
发明内容
有鉴于此,本发明的目的在于提供一种基于视频分析的车辆识别方法和一种基于分布式的车辆识别系统。
为达到上述目的,本发明提供如下技术方案:
一种基于视频分析的车辆识别系统,包括客户层、应用层和计算层,采用模块化的分布式架构;
(1)所述客户层为界面交互层,用于完成人机交互,提供用户登录和注册的窗口,用户等级分为普通用户和高级用户,为不同等级的用户提供不同等级的服务;系统提供可视化窗口,实现用户上传文件和结果显示;系统对用户上传的文件进行格式检测,将符合系统格式要求的视频送入下一模块进行处理;
其中,对文件检测是检测用户选择的视频文件格式是否符合系统要求,包括上传文件是否为视频文件或者视频文件是否符合要求格式,以及视频文件大小进行检测,超过系统处理能力的超大视频进行警告提醒;对于符合系统要求的文件会进入一下模块进行操作,对于不符合系统要求的文件会返回警告信息,提醒用户重新选择文件;系统要求的视频文件格式为avi格式的视频文件;
所述结果显示包括返回结果显示和返回信息提示;其中,返回结果窗口显示系统的返回信息,返回信息包括:警告信息、错误信息和最终车辆识别结果;警告信息包括:用户选择文件格式不符合要求和无系统检测结果;错误信息包括检测过程意外中断信息;车辆识别结果包括:车辆的车型和品牌车辆属性的识别结果;
(2)所述应用层负责对视频进行处理,包括背景提取、运动车辆检测和车辆图像提取;系统初始化参数之后,读取视频序列,通过计算视频序列的前几帧获取视频中的背景图像;得出视频的背景图之后,通过逐帧与背景图进行差分来得到运动物体差值图像,接下来对差值图像进行二值化和腐蚀膨胀图像处理操作,得到车辆图像;
(3)所述计算层是基于卷积神经网络的车辆识别,对车辆图像经过神经网络的卷积和池化操作提取车辆特征,经过全连接层计算目标损失函数,完成车辆的识别任务,并返回结果,然后将结果显示在客户层。
进一步,所述应用层采用celery分布式架构,能对多个视频任务进行分布式处理,即多个视频能分别在不同的主机上处理;其中,celery是一个基于Python开发的分布式异步消息任务队列,用于实现系统任务的异步处理;
首先系统将用户任务进行队列处理,按照任务排序准则将任务加入任务队列中;系统检测当前时间下空闲状态的计算主机的数量,然后按照计算主机的标号进行任务的分发,同时给定每一个任务一个唯一的任务ID,其中任务ID用于标记任务,避免分布式处理过程中任务分发后结果与任务无法对应,结果无法回收或者结果与用户需求不一致的情况。
进一步,所述任务排序准则为:对于同等优先级的任务排序准则是“先到先得”,即对于先上传提交的任务排在队列的前面,后上传提交的任务排在队列后面;对于不同等级的优先级来说先排优先级高的任务,后排优先级低的任务;为防止低优级的任务得不到分配,系统根据任务上传的时间,超过规定时间限制的低优先级任务如果未得到分配,则系统自动调高其优先级;
其中,优先级等级由高到低依次为:紧急优先级、高优先级、一般优先级;对于未设置优先级的任务系统默认为一般优先级;用户根据自身需求设置任务优先级,对于任务优先级的使用系统做如下规定:普通用户只能使用高优先级和一般优先级两种,高优先级任务也有数量限制,以此防止故意调高任务优先级的行为;高级用户能使用三个等级优先级,并且紧急优先级任务只有高级用户才能使用。
进一步,所述分布式架构包括三个部分:任务调度、模块调度和结果整理;其中任务调度按照所述任务队列分发任务,分发准则就是依次从任务队列的最前端开始到队列末尾进行分发;首先,系统按照固定的时间检测视频处理模块的状态,一旦检测出空闲状态的视频处理模块,就将任务分发给此模块,直至任务分发完毕;
模块调度负责检测模块的工作状态,工作状态包括:空闲、忙碌、故障,其中空闲状态表示此视频处理模块此时能接收新任务;忙碌状态表示此视频处理模块正在处理任务,暂不能接收新任务;故障状态代表此视频处理模块存在故障,不能接收任务,需要由管理员进行维护或者更换;
结果整理负责整理视频处理模块的输出,根据所述任务ID对任务进行跟踪记录,保证任务不丢失。
进一步,所述对视频进行处理是通过读取视频中一系列的帧图像来进行处理,系统需要对视频中的一帧帧的原始视频图像进行一系列处理,包括以下步骤:
101)图像灰度化:原始视频的帧图像为RGB三通道的彩色图像,存在噪声干扰和多余的颜色空间信息,系统对图像进行颜色空间转换,将原始彩色图像转换为灰度图像,去除多余信息;系统基于计算机视觉库Opencv来处理图像;
102)图像去燥:去除灰度图像中的斑点噪声和椒盐噪声;系统采用中值滤波器对灰度图像进行去噪处理,其中,中值滤波是一种非线性平滑滤波,将每个像素点的像素值设置为滤波器所经过灰度图像区域像素值得中值,按照以下公式计算:
g(x,y)=median{f(x,y),(x,y)∈M}
其中,g(x,y)是中值滤波之后的像素值,f(x,y)是中值滤波器所滑动经过原始灰度图像区域的像素值,M为滤波器所滑动经过的灰度图像区域;
103)视频背景构建:系统通过视频的前N帧进行区间统计得到背景图像,使用以下公式:
其中Bi(x,y)表示提取得到的背景图像(x,y)点的灰度值,fi(x,y)表示第i帧灰度图像(x,y)像素点的灰度值,N为处理的视频序列帧数;
由于自然因素的干扰,导致视频背景发生变化,需要对背景进行更新;系统按照以下方式定义背景图像更新:
Bxy(I)=αBxy(I-1)+(1-α)fxy(I-1)
其中,Bxy(I-1)表示原始背景图,fxy(I-1)表示新的视频图像帧,Bxy(I)表示新的背景图,α为调整背景图像更新速率的参数;
4)运动车辆检测:系统采用背景差分法进行运动物体的检测,所述背景差分法是通过当前画面帧与步骤103)的背景图像进行差分计算得出运动物体位置;按照以下方式得到运动车辆图像:
Vi(x,y)=|fi(x,y)-Bi(x,y)|
其中fi(x,y)表示当前帧图像,Bi(x,y)表示步骤103)提取的背景图像,Vi(x,y)表示差分计算得到的车辆图像。
进一步,所述基于卷积神经网络的车辆识别采用卷积神经网络算法,包括以下步骤:
201)数据集准备:卷积神经网络模型的训练需要大量的数据集,系统使用的数据集来源于网络,根据不同车辆品牌进行一级类别的区分,然后同一品牌下的车辆再按照车型的不同进行二级级别的区分,然后同一类型的车辆按照生产年份的不同进行三级级别的区分,将数据集按照类别区分粒度进行层级结构的区分;
202)模型训练:卷积神经网络模型在系统中部署之前需要进行训练,利用步骤201)采集的训练数据集进行训练;首先,将数据集分为训练数据集train和测试数据集test,分别占总数据集的80%和20%,其中训练数据集train用于模型的训练,测试数据集test用于验证训练出来的模型的分类准确率;模型的训练使用caffe深度学习架构,其中caffe深度学习架构是一种开源的;
203)模型提取:训练好的模型用来进行车辆识别,首先将训练好的模型提取出来,然后部署在系统之中;模型的输入连接所述运动车辆图像,进行车辆的识别。
进一步,该方法包括以下步骤:
S1:用户通过客户层上传待识别视频文件,提交任务;
S2:待识别视频在应用层通过视频处理技术,包括背景提取、运动物体检测,最后提取保留车辆信息的关键帧,并保存为车辆图像;
S3:将步骤S2提取的车辆图像传输到卷积神经网络计算模块,提取图像特征,对车辆进行识别,最终返回结果。
本发明的有益效果在于:本发明采用模块化结构设计系统架构,方便系统的开发与后期维护,各个模块相互独立,更为方便部署。本发明采用celery分布式系统架构,可以更加有效的,更加充分的利用物理资源,对于任务数量较多时,采用分布式同时进行任务处理,效率更高,给用户更佳的服务。同时系统采用更佳高效的卷积神经网络作为系统的核心计算层,拥有更好的识别准确率,使得系统能够更好得适应不同的环境,拥有更佳的泛化能力。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚,本发明提供如下附图进行说明:
图1为视频车辆识别系统架构图;
图2为视频处理流程图;
图3为分布式系统工作示意图。
具体实施方式
下面将结合附图,对本发明的优选实施例进行详细的描述。
参见图1,图1是本发明的视频车辆识别系统架构图。在本发明实施例中,考虑到系统本身的维护和开发,所以系统开发采用模块化结构,系统分为多个模块,各个模块之间相互独立,通过系统通信管道进行通信和数据交互。模块化结构方便系统的维护和开发,模块系统步骤如下:
步骤101:客户层。客户层是界面交互层,负责人机交互功能。系统提供客户可视化窗口,供客户选择待识别视频,包括客户自己上传。系统对用户选择的文件进行检测,符合条件的视频才会送入下一模块进行处理;同时提供结果显示窗口,以查看车辆检测结果。其中,对文件检测的目的是检测用户选择的文件格式是否符合系统要求,对于符合系统要求的文件会进入一下模块进行操作,对于不符合系统要求的文件会返回警告信息,提醒用户重新选择文件,系统要求的文件格式为avi格式的视频文件,返回信息包括:警告信息、车辆识别结果,其中,警告信息包括:用户选择文件格式不符合要求、无系统检测结果等;车辆识别结果包括:车辆的车型、品牌等信息。
步骤102:视频处理。视频处理过程是应用层主要功能之一,主要包括背景提取、运动车辆检测、车辆图像提取等。系统初始化参数之后,读取视频序列,通过计算视频序列的前几帧获取视频中的背景图像。得出视频的背景图之后,通过逐帧与背景图进行差分来得到运动物体差值图像,接下来对差值图像进行二值化、腐蚀膨胀等操作检测出车辆图像,提取车辆图像。
步骤103:分布式系统结构。分布式系统结构是应用层的基本结构,采用celery分布式架构,可以对多个视频任务进行分布式处理,即多个视频可以同时在不同的主机上处理,每一个视频处理过程都与步骤102一样。
步骤104:计算层。计算层的核心是基于卷积神经网络的车辆识别,对车辆图像经过神经网络的卷积、池化等操作提取车辆特征,经过全连接层计算目标损失函数,完成车辆的识别任务,并返回结果,然后将结果显示在客户层,其中车辆图像来自步骤102处理得到的车辆图像。
步骤105:数据库。系统部署数据库结构,用于存储车辆识别结果以及任务信息。
参见图2,图2为视频处理流程图,步骤如下:
步骤201:输入视频。用户通过客户层选择车辆视频;
步骤202:系统检测用户上传文件格式是否为视频格式,如果是则进行接下来的操作,如果不是,则返回警告信息,提醒用户重新选择上传文件;
步骤203:系统将用户任务进行排序,默认情况下系统将用户的任务设置统一的一般优先级,对于同样优先级的任务排序准则是先到先得,即对于先上传提交的任务排在队列的前面,后上传提交的任务排在队列后面。用户根据自己的实际需求可以设置任务的优先级,对于优先级高的任务优先排序,对于未设置优先级的任务系统同一默认为一般优先级。对于任务分发,采取从任务队列由前到后依次分配;
步骤204:视频背景提取。系统初始化参数之后,读取视频序列,通过计算视频序列的前几帧获取视频中的背景图像;
步骤205:运动物体检测。系统采用背景差分法进行运动物体的检测,即通过当前画面帧与背景图像差分计算得出运动物体位置的算法;
步骤206:车辆图像提取。通过步骤205可以检测到运动车辆,提取当前帧画面作为车辆图像,用于后续的车辆识别;
步骤207:车辆特征提取。步骤206提取的车辆图像被送入到计算层的卷积神经网络,作为卷积神经网络的输入,通过网络的卷积、池化、全连接等操作,提取车辆特征;
步骤208:车辆图像识别。步骤207提取的车辆特征用于车辆识别中。
步骤209:结果储存。步骤208识别的结果存储到系统的数据库中,整理最终结果;
步骤210:结果返回。经过步骤209处理的识别结果返回客户层,并显示出来,车辆识别过程结束。
参见图3,图3为分布式系统工作示意图,步骤如下:
步骤301:用户提交任务;
步骤302:用户提交任务将会放入到任务队列中。默认情况下系统将用户的任务设置统一的一般优先级,对于同样优先级的任务排序准则是“先到先得”,即对于先上传提交的任务排在队列的前面,后上传提交的任务排在队列后面。用户根据自己的实际需求可以设置任务的优先级,对于优先级高的任务优先排序,对于未设置优先级的任务系统同一默认为一般优先级;
步骤303:任务队列。每一个任务拥有一个唯一的ID,用来标记任务,避免分布式处理过程中任务分发后结果与任务无法对应,结果无法回收或者结果与用户需求不一致情况的发生;
步骤304:任务分发。分发准则就是依次从任务队列的最前端开始分发。首先,系统会按照固定的时间检测视频处理模块的状态,一旦检测出空闲状态的视频处理模块,就将任务分发给此模块,直至任务分发完毕。模块调度模块负责检测模块的工作状态,其中工作状态包括:空闲、忙碌、故障,其中空闲状态表示此视频处理模块此时可以接收新任务;忙碌状态表示此视频处理模块正在处理任务,暂不能接收新任务;故障状态代表此视频处理模块存在故障,不能接收任务,需要由管理员进行维护或者更换。结果整理负责处理视频处理模块的输出,按照任务ID进行标记,保证任务不丢失;
最后说明的是,以上优选实施例仅用以说明本发明的技术方案而非限制,尽管通过上述优选实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离本发明权利要求书所限定的范围。
Claims (7)
1.一种基于视频分析的车辆识别系统,其特征在于:该系统包括客户层、应用层和计算层,采用模块化的分布式架构;
(1)所述客户层为界面交互层,用于完成人机交互,提供用户登录和注册的窗口,用户等级分为普通用户和高级用户,为不同等级的用户提供不同等级的服务;系统提供可视化窗口,实现用户上传文件和结果显示;系统对用户上传的文件进行格式检测,将符合系统格式要求的视频送入下一模块进行处理;
其中,对文件检测是检测用户选择的视频文件格式是否符合系统要求,包括上传文件是否为视频文件或者视频文件是否符合要求格式,以及视频文件大小进行检测,超过系统处理能力的超大视频进行警告提醒;对于符合系统要求的文件会进入一下模块进行操作,对于不符合系统要求的文件会返回警告信息,提醒用户重新选择文件;系统要求的视频文件格式为avi格式的视频文件;
所述结果显示包括返回结果显示和返回信息提示;其中,返回结果窗口显示系统的返回信息,返回信息包括:警告信息、错误信息和最终车辆识别结果;警告信息包括:用户选择文件格式不符合要求和无系统检测结果;错误信息包括检测过程意外中断信息;车辆识别结果包括:车辆的车型和品牌车辆属性的识别结果;
(2)所述应用层负责对视频进行处理,包括背景提取、运动车辆检测和车辆图像提取;系统初始化参数之后,读取视频序列,通过计算视频序列的前几帧获取视频中的背景图像;得出视频的背景图之后,通过逐帧与背景图进行差分来得到运动物体差值图像,接下来对差值图像进行二值化和腐蚀膨胀图像处理操作,得到车辆图像;
(3)所述计算层是基于卷积神经网络的车辆识别,对车辆图像经过神经网络的卷积和池化操作提取车辆特征,经过全连接层计算目标损失函数,完成车辆的识别任务,并返回结果,然后将结果显示在客户层。
2.如权利要求1所述的一种基于视频分析的车辆识别系统,其特征在于:所述应用层采用celery分布式架构,能对多个视频任务进行分布式处理,即多个视频能分别在不同的主机上处理;其中,celery是一个基于Python开发的分布式异步消息任务队列,用于实现系统任务的异步处理;
首先系统将用户任务进行队列处理,按照任务排序准则将任务加入任务队列中;系统检测当前时间下空闲状态的计算主机的数量,然后按照计算主机的标号进行任务的分发,同时给定每一个任务一个唯一的任务ID,其中任务ID用于标记任务,避免分布式处理过程中任务分发后结果与任务无法对应,结果无法回收或者结果与用户需求不一致的情况。
3.如权利要求2所述的一种基于视频分析的车辆识别系统,其特征在于:所述任务排序准则为:对于同等优先级的任务排序准则是“先到先得”,即对于先上传提交的任务排在队列的前面,后上传提交的任务排在队列后面;对于不同等级的优先级来说先排优先级高的任务,后排优先级低的任务;为防止低优级的任务得不到分配,系统根据任务上传的时间,超过规定时间限制的低优先级任务如果未得到分配,则系统自动调高其优先级;
其中,优先级等级由高到低依次为:紧急优先级、高优先级、一般优先级;对于未设置优先级的任务系统默认为一般优先级;用户根据自身需求设置任务优先级,对于任务优先级的使用系统做如下规定:普通用户只能使用高优先级和一般优先级两种,高优先级任务也有数量限制,以此防止故意调高任务优先级的行为;高级用户能使用三个等级优先级,并且紧急优先级任务只有高级用户才能使用。
4.如权利要求2所述的一种基于视频分析的车辆识别系统,其特征在于:所述分布式架构包括三个部分:任务调度、模块调度和结果整理;其中任务调度按照所述任务队列分发任务,分发准则就是依次从任务队列的最前端开始到队列末尾进行分发;首先,系统按照固定的时间检测视频处理模块的状态,一旦检测出空闲状态的视频处理模块,就将任务分发给此模块,直至任务分发完毕;
模块调度负责检测模块的工作状态,工作状态包括:空闲、忙碌、故障,其中空闲状态表示此视频处理模块此时能接收新任务;忙碌状态表示此视频处理模块正在处理任务,暂不能接收新任务;故障状态代表此视频处理模块存在故障,不能接收任务,需要由管理员进行维护或者更换;
结果整理负责整理视频处理模块的输出,根据所述任务ID对任务进行跟踪记录,保证任务不丢失。
5.如权利要求1所述的一种基于视频分析的车辆识别系统,其特征在于:所述对视频进行处理是通过读取视频中一系列的帧图像来进行处理,系统需要对视频中的一帧帧的原始视频图像进行一系列处理,包括以下步骤:
101)图像灰度化:原始视频的帧图像为RGB三通道的彩色图像,存在噪声干扰和多余的颜色空间信息,系统对图像进行颜色空间转换,将原始彩色图像转换为灰度图像,去除多余信息;系统基于计算机视觉库Opencv来处理图像;
102)图像去燥:去除灰度图像中的斑点噪声和椒盐噪声;系统采用中值滤波器对灰度图像进行去噪处理,其中,中值滤波是一种非线性平滑滤波,将每个像素点的像素值设置为滤波器所经过灰度图像区域像素值得中值,按照以下公式计算:
g(x,y)=median{f(x,y),(x,y)∈M}
其中,g(x,y)是中值滤波之后的像素值,f(x,y)是中值滤波器所滑动经过原始灰度图像区域的像素值,M为滤波器所滑动经过的灰度图像区域;
103)视频背景构建:系统通过视频的前N帧进行区间统计得到背景图像,使用以下公式:
<mrow>
<msub>
<mi>B</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>1</mn>
</munderover>
<msub>
<mi>f</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
其中Bi(x,y)表示提取得到的背景图像(x,y)点的灰度值,fi(x,y)表示第i帧灰度图像(x,y)像素点的灰度值,N为处理的视频序列帧数;
由于自然因素的干扰,导致视频背景发生变化,需要对背景进行更新;系统按照以下方式定义背景图像更新:
Bxy(I)=αBxy(I-1)+(1-α)fxy(I-1)
其中,Bxy(I-1)表示原始背景图,fxy(I-1)表示新的视频图像帧,Bxy(I)表示新的背景图,α为调整背景图像更新速率的参数;
4)运动车辆检测:系统采用背景差分法进行运动物体的检测,所述背景差分法是通过当前画面帧与步骤103)的背景图像进行差分计算得出运动物体位置;按照以下方式得到运动车辆图像:
Vi(x,y)=|fi(x,y)-Bi(x,y)|
其中fi(x,y)表示当前帧图像,Bi(x,y)表示步骤103)提取的背景图像,Vi(x,y)表示差分计算得到的车辆图像。
6.如权利要求5所述的一种基于视频分析的车辆识别系统,其特征在于:所述基于卷积神经网络的车辆识别采用卷积神经网络算法,包括以下步骤:
201)数据集准备:卷积神经网络模型的训练需要大量的数据集,系统使用的数据集来源于网络,根据不同车辆品牌进行一级类别的区分,然后同一品牌下的车辆再按照车型的不同进行二级级别的区分,然后同一类型的车辆按照生产年份的不同进行三级级别的区分,将数据集按照类别区分粒度进行层级结构的区分;
202)模型训练:卷积神经网络模型在系统中部署之前需要进行训练,利用步骤201)采集的训练数据集进行训练;首先,将数据集分为训练数据集train和测试数据集test,分别占总数据集的80%和20%,其中训练数据集train用于模型的训练,测试数据集test用于验证训练出来的模型的分类准确率;模型的训练使用caffe深度学习架构,其中caffe深度学习架构是一种开源的;
203)模型提取:训练好的模型用来进行车辆识别,首先将训练好的模型提取出来,然后部署在系统之中;模型的输入连接所述运动车辆图像,进行车辆的识别。
7.基于如权利要求1-6中任一项所述系统的一种基于视频分析的车辆识别方法,其特征在于:该方法包括以下步骤:
S1:用户通过客户层上传待识别视频文件,提交任务;
S2:待识别视频在应用层通过视频处理技术,包括背景提取、运动物体检测,最后提取保留车辆信息的关键帧,并保存为车辆图像;
S3:将步骤S2提取的车辆图像传输到卷积神经网络计算模块,提取图像特征,对车辆进行识别,最终返回结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810078331.5A CN107992865A (zh) | 2018-01-26 | 2018-01-26 | 一种基于视频分析的车辆识别方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810078331.5A CN107992865A (zh) | 2018-01-26 | 2018-01-26 | 一种基于视频分析的车辆识别方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107992865A true CN107992865A (zh) | 2018-05-04 |
Family
ID=62039900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810078331.5A Pending CN107992865A (zh) | 2018-01-26 | 2018-01-26 | 一种基于视频分析的车辆识别方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107992865A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109341763A (zh) * | 2018-10-10 | 2019-02-15 | 广东长盈科技股份有限公司 | 一种基于物联网的运输数据采集系统及方法 |
CN110543805A (zh) * | 2019-04-15 | 2019-12-06 | 贵州电网有限责任公司都匀供电局 | 基于图像识别和智能调配的电力应急物资需求提报平台 |
CN111781600A (zh) * | 2020-06-18 | 2020-10-16 | 重庆工程职业技术学院 | 一种适用于信号交叉口场景的车辆排队长度检测方法 |
CN112733581A (zh) * | 2019-10-28 | 2021-04-30 | 普天信息技术有限公司 | 车辆属性识别方法及系统 |
CN112818805A (zh) * | 2021-01-26 | 2021-05-18 | 四川天翼网络服务有限公司 | 一种基于特征融合的细粒度车辆属性分析系统及方法 |
CN113112829A (zh) * | 2021-04-19 | 2021-07-13 | 重庆交通职业学院 | 一种自适应交通信号灯提高道路安全的方法和装置 |
US20230052553A1 (en) * | 2021-08-16 | 2023-02-16 | Ambarella International Lp | Adding an adaptive offset term using convolution techniques to a local adaptive binarization expression |
CN116109830A (zh) * | 2023-04-17 | 2023-05-12 | 深圳亿维锐创科技股份有限公司 | 基于机器视觉的车辆分离方法、装置和计算机设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609685A (zh) * | 2012-01-17 | 2012-07-25 | 公安部沈阳消防研究所 | 一种图像型火灾探测器的遮挡判别方法 |
CN105488517A (zh) * | 2015-11-30 | 2016-04-13 | 杭州全实鹰科技有限公司 | 一种基于深度学习的车辆品牌型号识别方法 |
CN106293918A (zh) * | 2016-08-11 | 2017-01-04 | 浪潮(北京)电子信息产业有限公司 | 一种调度进程的方法、系统及计算机 |
CN106384100A (zh) * | 2016-09-28 | 2017-02-08 | 武汉大学 | 一种基于部件的精细车型识别方法 |
CN106651903A (zh) * | 2016-12-30 | 2017-05-10 | 明见(厦门)技术有限公司 | 一种运动物体检测方法 |
CN106778646A (zh) * | 2016-12-26 | 2017-05-31 | 北京智芯原动科技有限公司 | 基于卷积神经网络的车型识别方法及装置 |
CN106780548A (zh) * | 2016-11-16 | 2017-05-31 | 南宁市浩发科技有限公司 | 基于交通视频的运动车辆检测方法 |
-
2018
- 2018-01-26 CN CN201810078331.5A patent/CN107992865A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609685A (zh) * | 2012-01-17 | 2012-07-25 | 公安部沈阳消防研究所 | 一种图像型火灾探测器的遮挡判别方法 |
CN105488517A (zh) * | 2015-11-30 | 2016-04-13 | 杭州全实鹰科技有限公司 | 一种基于深度学习的车辆品牌型号识别方法 |
CN106293918A (zh) * | 2016-08-11 | 2017-01-04 | 浪潮(北京)电子信息产业有限公司 | 一种调度进程的方法、系统及计算机 |
CN106384100A (zh) * | 2016-09-28 | 2017-02-08 | 武汉大学 | 一种基于部件的精细车型识别方法 |
CN106780548A (zh) * | 2016-11-16 | 2017-05-31 | 南宁市浩发科技有限公司 | 基于交通视频的运动车辆检测方法 |
CN106778646A (zh) * | 2016-12-26 | 2017-05-31 | 北京智芯原动科技有限公司 | 基于卷积神经网络的车型识别方法及装置 |
CN106651903A (zh) * | 2016-12-30 | 2017-05-10 | 明见(厦门)技术有限公司 | 一种运动物体检测方法 |
Non-Patent Citations (3)
Title |
---|
曾俊东: "基于卷积神经网络的监控视频车型识别系统设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
赵池航: "《交通信息感知理论与方法》", 30 September 2014 * |
霍达: "基于Celery的分布式视频计算处理框架", 《万方数据知识服务平台》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109341763A (zh) * | 2018-10-10 | 2019-02-15 | 广东长盈科技股份有限公司 | 一种基于物联网的运输数据采集系统及方法 |
CN110543805A (zh) * | 2019-04-15 | 2019-12-06 | 贵州电网有限责任公司都匀供电局 | 基于图像识别和智能调配的电力应急物资需求提报平台 |
CN112733581A (zh) * | 2019-10-28 | 2021-04-30 | 普天信息技术有限公司 | 车辆属性识别方法及系统 |
CN112733581B (zh) * | 2019-10-28 | 2024-05-21 | 普天信息技术有限公司 | 车辆属性识别方法及系统 |
CN111781600A (zh) * | 2020-06-18 | 2020-10-16 | 重庆工程职业技术学院 | 一种适用于信号交叉口场景的车辆排队长度检测方法 |
CN111781600B (zh) * | 2020-06-18 | 2023-05-30 | 重庆工程职业技术学院 | 一种适用于信号交叉口场景的车辆排队长度检测方法 |
CN112818805A (zh) * | 2021-01-26 | 2021-05-18 | 四川天翼网络服务有限公司 | 一种基于特征融合的细粒度车辆属性分析系统及方法 |
CN113112829A (zh) * | 2021-04-19 | 2021-07-13 | 重庆交通职业学院 | 一种自适应交通信号灯提高道路安全的方法和装置 |
US20230052553A1 (en) * | 2021-08-16 | 2023-02-16 | Ambarella International Lp | Adding an adaptive offset term using convolution techniques to a local adaptive binarization expression |
US11935257B2 (en) * | 2021-08-16 | 2024-03-19 | Ambarella International Lp | Adding an adaptive offset term using convolution techniques to a local adaptive binarization expression |
CN116109830A (zh) * | 2023-04-17 | 2023-05-12 | 深圳亿维锐创科技股份有限公司 | 基于机器视觉的车辆分离方法、装置和计算机设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107992865A (zh) | 一种基于视频分析的车辆识别方法和系统 | |
CN108388888B (zh) | 一种车辆识别方法、装置和存储介质 | |
Gaede et al. | Visualizing social acceptance research: A bibliometric review of the social acceptance literature for energy technology and fuels | |
CN111768618B (zh) | 基于城市画像的交通拥堵状态传播预测和预警系统及方法 | |
CN106096531B (zh) | 一种基于深度学习的交通图像多类型车辆检测方法 | |
CN108596277A (zh) | 一种车辆身份识别方法、装置和存储介质 | |
CN106650725A (zh) | 基于全卷积神经网络的候选文本框生成和文本检测方法 | |
CN102982344A (zh) | 基于同时融合多视角特征及多标签信息的支持向量机分类方法 | |
CN102034212A (zh) | 一种基于视频分析的城市管理系统 | |
CN103578119A (zh) | 基于超像素的Codebook动态场景中目标检测方法 | |
CN101414411B (zh) | 影像式的空位侦测系统与方法 | |
Suitner | Imagineering cultural Vienna: On the semiotic regulation of vienna's culture-led urban transformation | |
CN110232316A (zh) | 一种基于改进的dsod模型的车辆检测与识别方法 | |
CN103336969A (zh) | 一种基于弱监督学习的图像语义解析方法 | |
CN110458082A (zh) | 一种城市管理案件分类识别方法 | |
CN109948690A (zh) | 一种基于深度学习和结构信息的高铁场景感知方法 | |
CN107292933A (zh) | 一种基于bp神经网络的车辆颜色识别方法 | |
CN106886573A (zh) | 一种图像检索方法及装置 | |
CN109784161A (zh) | 一种店内视频监控智能分析系统及方法 | |
CN107798077A (zh) | 一种人口监测方法及系统 | |
CN107480194A (zh) | 多模态知识表示自动学习模型的构建方法及系统 | |
CN115565369A (zh) | 一种基于超图的时空超图卷积交通流量预测方法及系统 | |
CN111046213B (zh) | 一种基于图像识别的知识库构建方法 | |
CN108882152A (zh) | 一种基于路径选择上报的用户隐私保护方法 | |
CN109254984B (zh) | 基于od数据感知城市动态结构演化规律的可视分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180504 |
|
RJ01 | Rejection of invention patent application after publication |