具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1所示为本发明一实施例提供的一种车速智能监控方法的流程示意图。如图1所示,该车速智能监控方法包括:
步骤101:实时采集视频监控数据。
在现有技术中,实时采集的视频监控数据一般是被存储起来,在需要进行视频分析时再将已存储的视频监控数据调出或由人工进行判断分析,由此造成了滞后效应,无法在车辆监控分析场景下实现对车辆超速/低速行驶行为的及时处理。而在本发明实施例中,该视频监控数据为前端视频采集设备所直接采集到的一些基本信息,直接作为后续进行进一步实时智能分析的基本资源数据。
在本发明一实施例中,该实时采集的视频监控数据可包括监控视频以及以下几项中的一种或多种:视频采集位置信息和视频采集时间信息。其中监控视频为后续进行车辆特征信息、车速信息和车道限速信息提取的资源数据,视频采集位置信息和视频采集时间信息可作为附加的属性信息用于明确车辆超速/低速行驶行为发生的时间和地点。
在本发明一实施例中,实时采集的视频监控数据还可直接发给监控中心的监控人员查看,使得监控人员能够监督整个车辆占道智能监控过程的自动进行。
步骤102:实时提取视频监控数据中车辆的车辆特征信息、车速信息以及车辆所行驶车道的车道限速信息。
在本发明一实施例中,车辆特征信息可包括以下几项中的一种或多种:车辆牌号、车辆品牌、车辆类型和车辆行驶的时间跨度,用于进一步明确可能存在超速/低速行驶车辆的身份特征。车道限速信息可包括以下几项中的一种或多种:车道类别信息、车道限速标识信息和车道交通灯信息,用于进一步明确车道的限速要求。
车辆特征信息用于确认车辆的特征,车辆行驶车道的车道限速信息用于确认车道的限速要求。在本发明一实施例中,该车辆特征信息、车速信息和车道限速信息的提取过程可基于对车辆特征信息、车速信息和车道限速信息的预训练模型实现。例如,提前对车辆类型与车辆的形状的对应关系进行预训练,对车道限速与车道类型的对应关系进行预训练,当识别出监控视频中的车辆的体型较小且不带有车斗时,基于预训练模型可判断该车辆为小汽车;当识别出车道类型为高速超车道时,基于预训练模型可判断出该超车道的限速要求为100km/h-120km/h。
步骤103:根据实时提取的车辆特征信息、车速信息和车道限速信息判断车辆是否存在超速/低速行驶行为。
基于该车辆特征信息可确认车辆的特征,基于该车速信息可确认车速,基于该车道限速信息可确认车道的限速要求,当车辆的车速与车道限速信息不相符时便可认定车辆存在超速/低速行驶行为,从而实现了对监控视频中的车辆超速/低速行驶行为的实时分析判断。在本发明一实施例中,当判断出车辆存在超速/低速行为后,可进一步基于车辆特征信息、车速信息信息和车道限速信息给出违章处罚结果。例如“车辆A存在超速行驶的违法行为,建议扣除XX分,罚款YY元……”。
在本发明一实施例中,可以是基于对违章条款的机器描述的预训练模型,实时判断车辆是否存在超速/低速行驶行为。例如,通过预训练过程学习不同的车道类型的限速要求,例如某路段行车道的车道限速信息为:限速要求60km/h-80km/h,且仅允许小型车行驶。当车辆特征信息所包括的车辆类型为小汽车,而车速信息为92km/h时,则可判断该小汽车在该车道存在超速行驶行为。
在本发明一实施例中,车辆的车辆特征信息、车速信息以及车辆所行驶车道的车道限速信息在被提取后可被保存起来,以便于后续的追溯和查询。例如,可在接收以车辆特征信息、车速信息或车道限速信息为查询条件的查询指令后,调取与车辆特征信息对应的所有车道限速信息和车速信息,或调取与车道限速信息对应的所有车辆特征信息和车速信息,或调取与车速信息对应的所有车道限速信息和车辆特征信息,从而实现对于某一具体车辆的超速/低速行驶记录或及某一具体车道的超速/低速行驶记录的查询。
在本发明一实施例中,由于车辆的正常行驶行为并不需要进行违章处理,因此若判断为车辆不存在超速/低速行驶行为,则可不保存与车辆对应的车辆特征信息、车速信息和车道限速信息,以提高存储硬件资源的利用效率。
图2所示为本发明另一实施例提供的一种车速智能监控方法的流程示意图。如图2所示,该车速智能监控方法包括:
步骤201:实时采集视频监控数据。
步骤202:从视频监控数据中截取车辆所处区域的区域视频监控数据。
通过从视频监控数据中截取区域视频监控数据,去掉了与当前监控车辆无关的区域的视频监控数据,减少了后续提取车辆特征信息、车速信息和车道限速信息的计算量,减轻硬件分析资源的计算负担。
应当理解,该区域视频监控数据的区域大小可由开发人员根据实际场景需求而定,例如前端视频采集设备的监控范围包括两个街区,而监控人员所关注的仅为其中的一个街区的违章占道情况,此时便可从视频监控数据中截取当前一个街区的区域视频监控数据。或者,该区域的大小也可由所监视的车辆的图像大小而定。然而,本发明对该区域视频监控数据的区域大小的确定方式并不做限定。
步骤203:从区域视频监控数据中提取车辆特征信息、车速信息和车道限速信息。
由于原始的视频监控数据已经被截取为了区域视频监控数据,因此车辆特征信息、车速信息和车道限速信息的提取过程的计算量得到了降低,减轻了硬件分析资源的计算负担。车辆特征信息、车速信息和车道限速信息的具体提取方式仍可通过预训练模型实现,在此不再赘述。
在本发明一实施例中,考虑到车辆特征信息、车速信息的提取仅关注监控视频中的车辆,车道限速信息的提取关注监控视频中的车道,而车辆在监控视频中所占的区域要小于车道所占的区域,因此也可以仅从区域视频监控数据中提取车辆特征信息和车速信息,而车道限速信息仍从原始采集的视频监控数据中提取。然而,本发明对车辆特征信息、车速信息和车道限速信息的提取基础并不做具体限定。
步骤204:基于实时提取的车辆特征信息、车速信息和车道限速信息生成语义分析结果。
例如,车辆的特征信息包括车辆A的如下信息:牌号为XX67890、品牌为YY;车速为93km/h;车道限速信息为B路段限速60km/h-80km/h,则语义分析结果的整体信息可表示为牌号为XX67890、品牌为YY的车辆A在B路段内以93km/h行驶,B路段的限速要求为60km/h-80km/h。
步骤205:基于该语义分析结果对以及违章条款的机器描述的预训练模型,实时判断车辆是否存在超速/低速行驶行为。例如,基于上述语义分析结果,则可判断为牌号为XX67890、品牌为YY的车辆A在B路段内超速行驶。
应当注意,尽管出于简化说明的目的将本发明所述的方法表示和描述为一连串动作,但是应理解和认识到要求保护的主题内容将不受这些动作的执行顺序所限制,因为一些动作可以按照与这里示出和描述的顺序不同的顺序出现或者与其它动作并行地出现,同时一些动作还可能包括若干子步骤,而这些子步骤之间可能出现时序上交叉执行的可能。例如,在本发明一实施例中,如图2’所示,在实时采集视频监控数据后(步骤201’),车道限速信息可直接从所采集的视频监控数据中提取(步骤202’),然后再从视频监控数据中截取车辆所处区域的区域视频监控数据(步骤203’)以及从区域视频监控数据中提取车辆特征信息和车速信息(步骤204’),之后基于所提取到的车道限速信息、车辆特征信息和车速信息生成语义分析结果(步骤205’),并最终基于该语义分析结果以及对违章条款的机器描述的预训练模型,实时判断车辆是否存在超速/低速行驶行为(步骤206’)。另外,可能并非所有图示的动作是实施根据所附权利要求书所述的方法所必须的。再者,前述步骤的描述不排除该方法还可以包括可能取得附加效果的附加步骤。还应当理解,不同的实施方式或者流程中描述的方法步骤可以相互组合或者替换。
图3所示为本发明一实施例提供的一种车速智能监控系统的结构示意图。如图3所示,该车速智能监控系统30包括:
环境感知装置301,配置为实时采集视频监控数据;
对象特征分析装置302,配置为根据环境感知装置301所采集的视频监控数据,实时提取车辆的车辆特征信息和车速信息;
地理标志分析装置303,配置为根据环境感知装置301所采集的视频监控数据,实时提取车辆所行驶车道的车道限速信息;以及
决策装置304,配置为根据对象特征分析装置302所实时提取的车辆特征信息和车速信息,和地理标志分析装置303所实时提取的车道限速信息判断所述车辆是否存在超速/低速行驶行为。
在本发明一实施例中,该车速智能监控系统进一步包括:
语义分析装置305,配置为基于对象特征分析装置302和地理标志分析装置303所分别实时提取的车辆特征信息、车速信息和车道限速信息生成语义分析结果;
其中决策装置304进一步配置为:
基于语义分析装置305所生成的语义分析结果以及对违章条款的机器描述的预训练模型,实时判断车辆是否存在超速/低速行驶行为。
在本发明一实施例中,该决策装置304进一步配置为:
接收以所述车辆特征信息、车速信息或所述车道限速信息为查询条件的查询指令;以及调取与所述车辆特征信息对应的所有所述车道限速信息和车速信息,或调取与所述车道限速信息对应的所有所述车辆特征信息和车速信息,或调取与所述车速信息对应的所有所述车道限速信息和所述车辆特征信息。
在本发明一实施例中,决策装置304进一步配置为:
若车辆不存在超速/低速行驶行为,并不保存与车辆对应的车辆特征信息、车速信息和车道限速信息。
在本发明一实施例中,该车速智能监控系统进一步包括:
对象区域提取装置306,配置为从环境感知装置301所采集的视频监控数据中截取车辆所处区域的区域视频监控数据;
其中对象特征分析装置302进一步配置为:从区域视频监控数据中提取车辆特征信息和/或车速信息。
在本发明另一实施例中,地理标志分析装置303也可进一步配置为:从区域视频监控数据中提取车道限速信息。
在本发明一实施例中,对象特征分析装置302进一步配置为:基于对车辆特征信息和车速信息的预训练模型,从视频监控数据中提取车辆特征信息和车速信息;和/或,
地理标志分析装置303进一步配置为:基于对车道限速信息的预训练模型,从视频监控数据中提取车道限速信息。
在本发明一实施例中,该决策装置304进一步配置为:当判断结果为是时,根据所提取的车辆特征信息、车速信息和车道限速信息给出违章处罚结果。
由此可见,本发明实施例所提供的车速智能监控系统其实是基于一种监控视频智能信息模型实现的。该监控视频智能信息模型中的信息流可分为不同的层面提取,而且相邻的层面之间存在一定的依赖关系,如图4所示。在环境感知装置301采集视频监控数据的过程中,将视频和现场感知数据(如:声音、时间、相机的地理位置、温度、气象、相机位姿等)存入环境感知层,这些信息是传统视频监控和智能视频监控提供监控场景的基本要素,为顶层决策提供必要的支持。在前端处理过程中,将原始采集的视频监控数据进行初步处理(包括传统预处理,以及基于统计学习方法的前端智能分析等),并将初步处理的结果存入特征层、地理标志层和对象层,分别对应对象特征分析装置302提取车辆的车辆特征信息和车速信息的过程、地理标志分析装置303提取车辆所行驶车道的车道限速信息的过程以及对象区域提取装置306从原始采集的视频监控数据中截取区域视频监控数据的过程。在后端处理过程中,将根据不同的应用需要,综合前述的相应各层,利用机器学习技术进行分析和处理,将相关的处理结果存入语义层,对应语义分析装置305生成语义分析结果的过程。对于语义分析装置305中的语义分析结果,利用机器学习技术训练的判断模型可以给出不同的决策建议供监控人员参考;同时,监控人员还可以向系统发出指令,以查询监控数据中相应的内容,这些属于决策/理解层。其中的判断模型以及通过其判断得到的决策建议,属于决策范畴。监控人员在观察过程中,向监控系统发出某种指令以查询某一事件中,具备某类特征的目标,系统将其指令解释成符合本结构模型的描述方式,对其所掌握的数据进行检索,属于理解范畴。
应当理解,当车速智能监控系统包括前端视频采集设备和后端视频分析设备时,环境感知装置301可设置在前端视频采集设备中,而地理标志分析装置303、对象区域提取装置306、对象特征分析装置302、语义分析装置305、决策装置304可分别设置在前端视频采集设备中或设置在后端视频分析设备中。只要车速智能监控系统中的所有装置能够实现各自的分析提取功能以及信息流的逐步提取,以最终达到语义决策的目的即可。本发明对车速智能监控系统中的装置具体设置在前端视频采集设备还是后端视频分析设备并不做限定。
本发明的教导还可以实现为一种计算机可读存储介质的计算机程序产品,包括计算机程序代码,当计算机程序代码由处理器执行时,其使得处理器能够按照本发明实施方式的方法来实现如本文实施方式所述的车速智能监控方法。计算机存储介质可以为任何有形媒介,例如软盘、CD-ROM、DVD、硬盘驱动器、甚至网络介质等。
应当理解,虽然以上描述了本发明实施方式的一种实现形式可以是计算机程序产品,但是本发明的实施方式的方法或装置可以被依软件、硬件、或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的方法和设备可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的方法和装置可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的处理器执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
应当理解,尽管在上文的详细描述中提及了装置的若干模块或单元,但是这种划分仅仅是示例性而非强制性的。实际上,根据本发明的示例性实施方式,上文描述的两个或更多模块/单元的特征和功能可以在一个模块/单元中实现,反之,上文描述的一个模块/单元的特征和功能可以进一步划分为由多个模块/单元来实现。此外,上文描述的某些模块/单元在某些应用场景下可被省略。例如当硬件计算资源的计算能力不受限制时,也可不包括对象区域提取装置。
还应当理解,为了不模糊本发明的实施方式,说明书仅对一些关键、未必必要的技术和特征进行了描述,而可能未对一些本领域技术人员能够实现的特征做出说明。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换等,均应包含在本发明的保护范围之内。