CN106340205A - 交通监控方法及交通监控装置 - Google Patents

Abstract

本发明公开了一种可用于车辆轨迹跟踪与碰撞预警的交通监控方法，采用智能监控信息层级结构模型实现，该模型包括环境感知层、对象层、特征层、语义层及决策层。该方法包括：实时获取交通图像并存储于环境感知层；在交通图像中提取车辆图像并存储于对象层；利用卷积神经网络所得模型和具备在线学习能力的现场采集设备实时处理车辆图像，以获取车辆的身份信息和运动参数，存储于特征层；处理特征参数得出车辆的运动趋势并存入语义层；以语义层的结论判断车辆是否将发生碰撞；若判断车辆将发生碰撞，则产生预警。通过对交通图像进行预处理、学习、及识别，可分析是否将发生事故；并产生预警以告之有关人员。本发明还公开了一种交通监控装置。

Description

交通监控方法及交通监控装置

技术领域

本发明涉及交通监控技术，特别涉及一种用于车辆轨迹跟踪与碰撞预警的交通监控方法及交通监控装置。本发明属于交通监控领域、机器视觉领域、机器学习领域、人工智能领域。

背景技术

随着经济和社会的不断发展，我国车辆数量呈逐年激增态势，交通事故也随之逐年增多。为有效监控和管理道路交通，降低交通事故发生率，基于视频技术的交通监控系统大量应用于城乡的各级公路。受硬件和软件技术的限制，传统的交通监测手段一般仅能获取监测录像，而不能对可能发生的事故进行识别判断，这就需要监控人员付出长时间、高强度的重复性劳动才能完成判读以及相应后续工作，且无法实现实时、高效、准确的监控，这不利于尽快了解交通状况及尽快对可能发生的事故进行处理。

发明内容

本发明的实施方式旨在至少解决现有技术中存在的技术问题之一。为此，本发明的实施方式需要提供一种及交通监控方法及交通监控装置。

本发明提供一种交通监控方法，可用于车辆轨迹跟踪与碰撞预警，所述交通监控方法采用智能监控信息层级结构模型实现，所述信息层级结构模型包括环境感知层、对象层、特征层、语义层及决策层；所述交通监控方法包括：

实时获取交通图像并存储所述交通图像于所述环境感知层；

在所述交通图像中提取车辆区域图像并存储所述车辆图像于所述对象层；

利用深度卷积神经网络训练所得模型和具备在线学习能力的现场采集设备实时处理车辆图像，以获取车辆的身份信息及运动参数，并存储所述身份信息及所述运动参数于所述特征层；

处理所述运动参数以得出所述车辆的运动趋势并将所述运动趋势存入所述语义层；

处理所述运动趋势以判断所述车辆是否将发生碰撞并将判断结果存储于所述决策层；及

若判断所述车辆将发生碰撞，则产生预警。

在本发明实施方式中，通过对交通图像进行处理及识别，可分析车辆是否将发生事故，并产生预警，从而有利于相关人员尽快了解交通状况及尽快对情况进行处理，可解决现有技术某些问题。

在某些实施方式中，所述产生预警的步骤在交通监测端产生预警。

在某些实施方式中，所述产生预警的步骤发送预警信息至所述身份信息对应的所述车辆以产生预警。

本发明还提供一种交通监控装置，可用于车辆轨迹跟踪与碰撞预警，所述交通监控方法采用智能监控信息层级结构模型实现，所述信息层级结构模型包括环境感知层、对象层、特征层、语义层及决策层；所述交通监控装置包括：

图像获取模块，用于实时获取交通图像并存储所述交通图像于所述环境感知层；

提取模块，在所述交通图像中提取车辆图像并存储所述车辆图像于所述对象层；

图像处理模块，用于利用卷积神经网络所得模型和具备在线学习能力的现场采集设备实时处理车辆图像以获取车辆的身份信息及运动参数并存储所述身份信息及所述运动参数于所述特征层；

参数处理模块，用于处理所述运动参数以得出所述车辆的运动趋势并将所述运动趋势存入所述语义层；

碰撞判断模块，用于处理所述运动趋势以判断所述车辆是否将发生碰撞并将判断结果存储于所述决策层；

预警模块，用于在所述第一参数处理模块判断为是时产生预警。

在某些实施方式中，所述预警模块用于在交通监测端产生预警。

在某些实施方式中，所述预警模块用于发送预警信息至所述身份信息对应的所述车辆以产生预警。

本发明的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施方式的实践了解到。

附图说明

本发明的实施方式的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明某些实施方式的交通监测方法的流程示意图。

图2是本发明某些实施方式的交通监测装置的功能模块示意图。

图3是本发明某些实施方式的交通监测方法或交通监测装置的原理示意图。

图4是本发明某些实施方式的交通监测方法或交通监测装置采用的智能交通监测信息结构。

图5是本发明某些实施方式的交通图像及车辆图像的示意图。

具体实施方式

下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅可用于解释本发明的实施方式，而不能理解为对本发明的实施方式的限制。

请参阅图1-5，本发明实施方式的监控方法，交通监控方法采用信息层级结构实现，交通监控方法可包括以下步骤：

S1，实时获取交通图像300并存储交通图像300于环境感知层；

S2，在交通图像300中提取车辆区域图像310并存储车辆区域图像310于对象层；

S3，利用卷积神经网络所得模型和具备在线学习能力的现场采集设备实时处理车辆区域图像310以获取车辆的身份信息及运动参数，并存储身份信息及运动参数于特征层；

S4，处理运动参数以得出车辆的运动趋势并将运动趋势存入语义层；

S5，处理运动趋势以判断车辆是否将发生碰撞并将判断结果存储于决策层；

S6，若S5判断车辆将发生碰撞，则产生预警。

请参阅图2，本发明实施方式的交通监控装置100可包括图像获取模块110、提取模块120、图像处理模块130、参数处理模块140、碰撞判断模块150及预警模块160，分别可用于实现S1、S2、S3、S4、S5及S6。也就是说，图像获取模块110可用于实时获取交通图像300并存储交通图像300于环境感知层；提取模块120在交通图像300中提取车辆区域图像310并存储车辆区域图像310于对象层；图像处理模块130可用于利用卷积神经网络所得模型和具备在线学习能力的现场采集设备实时处理车辆区域图像310以获取车辆的身份信息及运动参数并存储身份信息及运动参数于特征层；参数处理模块140可用于处理运动参数以得出车辆的运动趋势并将运动趋势存入语义层；碰撞判断模块150可用于处理运动趋势以判断车辆是否将发生碰撞并将判断结果存储于决策层；预警模块160可用于在第一参数处理模块140判断为是时产生预警。

目前的交通监测手段一般仅能获取监测录像，却不能对可能发生的事故进行识别判断，不利于尽快了解交通状况及尽快对可能发生的事故进行处理。在本发明实施方式中，通过对交通图像300进行处理及识别，可分析车辆是否将发生碰撞，并产生预警，从而有利于相关人员尽快了解交通状况及尽快对情况进行处理。

请参阅图4，在本发明某些实施方式中，交通监控方法或交通监控装置100采用信息层级结构实现，该结构是一种智能监控信息层级结构，可包括环境感知层、地理标志层、对象层、特征层、语义层及决策层等。各层级分别可用于存储信息处理不同阶段的信息，层级与层级之间有机联结，从上一层中调用信息进行处理，处理结果可存储于下一层级。其中，地理标志层并未在本发明实施方式中应用。

智能监控信息层级结构各层级的联结方式及信息传递顺序可参阅图4。其中，环境感知层是最基础的层级。前端采集设备，如设置于道路的监控摄像头111，获取交通图像300及各帧交通图像300对应的时间、地点，可将这些基础信息存储于环境感知层并作为后续信息处理的基础。交通图像300对应的地点可以是摄像头111所在的地点。

若交通图像300中包含车辆，可从环境感知层提取图像中的车辆区域图像310并存储于对象层。车辆区域图像310可作为后续分析车辆运动信息及身份信息的基础。

从对象层调取车辆区域图像310并做分析可获取车辆的运动参数及车辆身份信息并存储于特征层，并作为后续分析的基础。身份信息可以是与车辆身份相关的图像，例如车牌图像、车标图像等，可用于后续处理以获得车辆的车牌号、品牌等信息并存储于语义层。

从特征层调取车辆的运动参数并处理分析，可获得初步的运动趋势分析结果，例如平行、并行靠近、同车道同速等运动趋势。运动趋势分析结果可形成语义层面的结论并存储于语义层。

从语义层调取运动趋势信息，可根据运动趋势进行判断是否将发生碰撞、是否预警。判断结果可存储于决策层。

从语义层还可调取车辆的车牌号、品牌等信息，以提示或显示发生碰撞的车辆的车牌号、品牌等。

可根据后期的分析结果决定各层级存储的信息是保留还是删除。例如若车辆正常行驶经过，可删除各层级存储的相关信息，或者仅保留环境感知层的基础信息。若车辆出现疑似违章或事故，可保留各层级的相关信息，以方便有关人员后期调取查验。如此，可保留有效信息，减少信息冗余。

请参阅图3，交通监控装置100的图像获取模块110可包括设置于道路的摄像头111等装置，可用于实时获取交通图像300，如交通监控录像。交通监控装置100还可包括交通监测端100a的相关设备。交通监测端100a可以是交通管理部门的监控中心，配备有相关的监控人员，可用于实时监控交通状况。在某些实施方式中，S6在交通监测端100a产生预警，以方便监控人员及时了解突发状况例如交通事故。

请结合参阅图4，交通图像300可存储于环境感知层。交通图像300获取的时间、地点等信息也可存储于环境感知层，可在后期处理中提取并处理，相关处理结果存储到其他层，在判断事故将发生时可发送至交通监测端100a以方便监控人员了解事件发生时间、地点等信息。

请参阅图5，现有的图像处理技术可实现车辆的识别及分割提取，因此可在交通图像300中提取车辆区域图像310，可仅可包括车辆，以方便后续识别处理。提取车辆区域图像310可方便进一步的识别分析。请结合参阅图4，车辆区域图像310可存储在对象层，即由环境感知层提取车辆区域图像310到对象层。

对车辆区域图像310进行分析可获取运动参数，运动参数可包括运动轨迹及运动速度，还可包括运动方向、时间跨度等，可用于综合分析车辆的运动趋势，并进一步判断是否会发生事故，例如相撞、追尾等。请结合参阅图4，运动参数可存储于特征层，也就是说，从对象层获取运动参数并存储于特征层。

预警模块160可以是集成于交通监测端100a的设备的预警装置，例如显示器、语音提示装置、蜂鸣器等，可用于产生预警信息给监控人员。

请结合参阅图4，身份信息可包括车牌图像、车标图像等，对身份信息进一步处理可得到车牌号、品牌、车型等信息并存于语义层。例如，系统从对象层中的车辆区域图像310的车辆A所在区域中，分析得到其牌号为XX67890、品牌为YY、当时运行方向为ZZ、车速为每小时85公里；车辆B所在区域中，分析得车牌号为AA12345、品牌为BB、当时运行方向为CC、车速为每小时95公里；外加两车的运动轨迹，这些信息存入语义层。

身份信息存储下来可用于备案，若事故发生，存储的身份信息可用于事故处理、事故查验、肇事车辆查询等。

S4中处理运动参数以得出车辆的运动趋势并将运动趋势存入语义层；S5中处理运动趋势以判断车辆是否将发生碰撞并将判断结果存储于决策层。

例如，车辆区域图像310中的两辆车辆，运行状况可包括并行平行、并行靠近、同车道同速等，是对交通状况的一种判断。可预设多种运行状况，根据对运动参数分析来匹配相应的运动趋势。可在交通监测端100a提示运动趋势，从而使监控人员了解到当前交通状况。

若事故发生，对象层、特征层、语义层、决策层等层存储的相关信息可长期存储，作为后期事故处理的重要资料。若事故未发生，存储的相关信息也可及时删除，例如在车辆通过之后自动删除。

在某些实施方式中，S6发送预警信息至身份信息对应的车辆以产生预警。在某些实施方式的交通监控装置100中，预警模块160可用于发送预警信息至身份信息对应的车辆以产生预警。

可建立车辆与交通监控装置100的联网系统，在预测到将发生事故时，发送预警信息至身份信息对应的车辆以产生预警，如此，可帮助司机预防事故的发生。综上，本发明实施方式可对交通状况进行分析，并将相关重要信息以信息层级的结构进行存储，可帮助相关人员了解信息处理的中间过程，从而全面了解事故，以便做出恰当处理。

本发明实施方式的交通监控方法及装置可应可用于道路，例如高速公路，尤其宜应用在易发生事故的路段。

在本发明的实施方式的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的实施方式和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的实施方式的限制。此外，术语“第一”、“第二”仅可用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地可包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。

在本发明的实施方式中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不同结构。为了简化本发明的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明的实施方式可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明的实施方式提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明的各个实施例中的各功能单元可以集成在一个处理器中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种交通监控方法，可用于车辆轨迹跟踪与碰撞预警，其特征在于，所述交通监控方法采用智能监控信息层级结构模型实现，所述信息层级结构模型包括环境感知层、对象层、特征层、语义层及决策层；所述交通监控方法包括：

实时获取交通图像并存储所述交通图像于所述环境感知层；

在所述交通图像中提取车辆区域图像并存储所述车辆区域图像于所述对象层；

利用深度卷积神经网络训练所得模型和具备在线学习能力的现场采集设备，实时处理车辆区域图像以获取车辆的身份信息及运动参数，并存储所述身份信息及所述运动参数于所述特征层；

处理所述运动参数以得出所述车辆的运动趋势并将所述运动趋势存入所述语义层；

处理所述运动趋势以判断所述车辆是否将发生碰撞并将判断结果存储于所述决策层；及

若判断所述车辆将发生碰撞，则产生预警。

2.如权利要求1所述的交通监控方法，其特征在于，所述产生预警的步骤在交通监控端产生预警。

3.如权利要求1所述的交通监控方法，其特征在于，所述产生预警的步骤发送预警信息至所述身份信息对应的所述车辆以产生预警。

4.一种交通监控装置，可用于车辆轨迹跟踪与碰撞预警，其特征在于，所述交通监控方法采用智能监控信息层级结构模型实现，所述信息层级结构模型包括环境感知层、对象层、特征层、语义层及决策层；所述交通监控装置包括：

图像获取模块，用于实时获取交通图像并存储所述交通图像于所述环境感知层；

提取模块，在所述交通图像中提取车辆区域图像并存储所述车辆区域图像于所述对象层；

图像处理模块，用于利用深度卷积神经网络训练所得模型和具备在线学习能力的现场采集设备实时处理车辆区域图像，以获取车辆的身份信息及运动参数并存储所述身份信息及所述运动参数于所述特征层；

参数处理模块，用于处理所述运动参数以得出所述车辆的运动趋势并将所述运动趋势存入所述语义层；

碰撞判断模块，用于处理所述运动趋势以判断所述车辆是否将发生碰撞并将判断结果存储于所述决策层；

预警模块，用于在所述第一参数处理模块判断为是时产生预警。

5.如权利要求4所述的交通监控装置，其特征在于，所述预警模块用于在交通监控端产生预警。

6.如权利要求4所述的交通监控方法，其特征在于，所述预警模块用于发送预警信息至所述身份信息对应的所述车辆以产生预警。