CN106448163A - 道路监控方法及道路监控装置 - Google Patents

Abstract

本发明公开了一种道路监控方法，道路监控方法采用信息层级结构实现，信息层级结构包括环境感知层、地理标志层、对象层、特征层、语义层及决策层，道路监控方法包括：获取监控图像及拍摄地点并存储于环境感知层；判断监控图像中是否存在汛情；若是，从监控图像提取过水区域图像及车辆区域图像并存储于对象层；综合处理过水区域图像及车辆区域图像以获取汛情参数及车辆信息并存储于特征层；根据地点信息、汛情参数及车辆信息产生语义层面的结论；根据结论产生建议信息。通过对监控图像进行处理及识别，可分析道路是否发生汛情，对图像进行处理分析以获得汛情参数，并进一步产生建议信息以上报有关人员。本发明还公开了一种道路监控装置。

Description

道路监控方法及道路监控装置

技术领域

本发明涉及道路监控技术，特别涉及一种道路监控方法及道路监控装置。

背景技术

目前的道路监测手段一般仅能获取监控录像，却不能对道路上的汛情及车辆情况进行识别判断，不利于及时对汛情进行通报和处理；通过人工查看监控图像，不仅耗时耗力，且判断的准确度及实时性很难保证。

发明内容

本发明的实施方式旨在至少解决现有技术中存在的技术问题之一。为此，本发明的实施方式需要提供一种及道路监控方法及道路监控装置。

本发明提供一种道路监控方法，所述道路监控方法采用信息层级结构实现，所述信息层级结构包括环境感知层、地理标志层、对象层、特征层、语义层及决策层，所述道路监控方法包括：

获取监控图像及拍摄地点并存储于所述环境感知层；

判断所述监控图像中是否存在汛情；若是，从所述监控图像提取过水区域图像及车辆区域图像并存储于所述对象层；

综合处理所述过水区域图像及所述车辆区域图像以获取汛情参数及车辆信息并存储于所述特征层；

根据所述地点信息、所述汛情参数及所述车辆信息产生语义层面的结论并存储于所述语义层；及

根据所述结论产生建议信息并存储于所述决策层。

通过对监控图像进行处理及识别，可分析道路是否发生汛情，对图像进行处理分析以获得汛情参数，再产生包含汛情参数的建议信息，从而有利于相关人员尽快全面了解汛情及尽快对情况进行处理。可解决现有技术的某些问题。

本发明还提供一种道路监控装置，所述道路监控装置采用信息层级结构实现，所述信息层级结构包括环境感知层、地理标志层、对象层、特征层、语义层及决策层，所述道路监控装置包括：

图像获取模块，用于获取监控图像及拍摄地点并存储于所述环境感知层；

判断模块，用于判断所述监控图像中是否存在汛情；

提取模块，用于在所述判断模块判断为是时从所述监控图像提取过水区域图像及车辆区域图像并存储于所述对象层；

图像处理模块，用于综合处理所述过水区域图像及所述车辆区域图像以获取汛情参数及车辆信息并存储于所述特征层；

结论产生模块，用于根据所述地点信息、所述汛情参数及所述车辆信息产生语义层面的结论并存储于所述语义层；及

决策模块，用于根据所述结论产生建议信息并存储于所述决策层。

本发明的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施方式的实践了解到。

附图说明

本发明的实施方式的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明某些实施方式的道路监控方法的流程示意图。

图2是本发明某些实施方式的道路监控装置的功能模块示意图。

图3是本发明某些实施方式的监控图像、过水区域图像及车辆区域图像的示意图。

图4是本发明某些实施方式的道路监控方法或道路监控装置采用的智能道路监测信息结构。

图5是本发明某些实施方式的道路监控方法或道路监控装置的原理示意图。

图6是本发明某些实施方式的道路监控方法的流程示意图。

具体实施方式

下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅可用于解释本发明的实施方式，而不能理解为对本发明的实施方式的限制。

请参阅图1-5，本发明实施方式的道路监控方法，道路监控方法采用信息层级结构实现，信息层级结构可包括环境感知层、地理标志层、对象层、特征层、语义层及决策层，道路监控方法可包括：

S1，获取监控图像300及拍摄地点并存储于环境感知层；

S2，判断监控图像300中是否存在汛情；

S3，若S2判断为是，从监控图像300以提取过水区域图像310及车辆区域图像320并存储于对象层；

S4，综合处理过水区域图像310及车辆区域图像320以获取汛情参数及车辆信息并存储于特征层；及

S5，根据地点信息、汛情参数及车辆信息产生语义层面的结论并存储于语义层；

S6，根据结论产生建议信息并存储于决策层。

请参阅图2，本发明实施方式的道路监控装置100包括图像获取模块110、判断模块120、提取模块130、图像处理模块140、结论产生模块及决策模块160，分别用于实现S1、S2、S3、S4、S5及S6。也就是说，图像获取模块110用于获取监控图像300及拍摄地点并存储于环境感知层；判断模块120用于判断监控图像300中是否存在汛情；提取模块130用于在判断模块120判断为是时从监控图像300提取过水区域图像310及车辆区域图像320并存储于对象层；图像处理模块140用于综合处理过水区域图像310及车辆区域图像320以获取汛情参数及车辆信息并存储于特征层；结论产生模块150用于根据地点信息、汛情参数及车辆信息产生语义层面的结论并存储于语义层；决策模块160用于根据结论产生建议信息并存储于决策层。

其中图像获取模块110可包括图像采集装置111，例如监控摄像头，可用于获取监控图像300。拍摄地点即获取监控图像300的地点，例如图像采集装置111所在的地点。过水区域图像310可包括洪水及洪水所覆盖路面的区域。车辆区域图像320可仅包括车辆。

目前的道路监测手段一般仅能获取监控录像，却不能对道路上发生的汛情进行识别判断，不利于尽快了解交通状况和及时对汛情进行处理。通过人工查看监控图像300，不仅耗时耗力，且判断的准确度及实时性很难保证。在本发明实施方式中，通过对监控图像300进行处理及识别，可分析道路上否发生汛情，并产生建议信息，从而有利于相关人员尽快全面了解汛情及尽快对情况进行处理。

由于通常情况下监控图像300中的路面是静止的，当汛情出现时，例如路面上有洪水流动时，采用现有图像处理手段较易识别。

其中，在某些实施方式中，S4利用深度卷积神经网络训练所得模型综合处理过水区域图像及车辆区域图像，可获取汛情参数及车辆信息并存储于所述特征层。利用深度卷积神经网络训练所得模型，可进行训练和学习，从而提升设备对图像进行处理的智能化水平。

请参阅图3，应用线下针对应用场景预先训练的模型可实现车辆及过水区域的识别及语义分割，因此可在监控图像300中提取车辆区域图像320及过水区域图像310，车辆区域图像320可仅包括车辆，以方便后续识别处理。请结合参阅图4，车辆区域图像320可存储在对象层，即由环境感知层的监控图像300提取车辆区域图像320及过水区域图像310到对象层。

然后根据过水区域图像310及车辆区域图像320以获取汛情参数。汛情参数可包括仅与过水区域有关的参数，例如洪水的运动方向及运动速度，洪水覆盖路面的面积等，还可包括与汛情及车辆有关的参数，例如各个车辆距离过水区域的距离，以及仅与车辆有关的参数，例如车辆的数量、运动参数及身份信息等，身份信息可以是车牌号、品牌、车型、颜色等。运动参数可包括车辆的运动方向、运动速度等。获取的汛情参数越细致，越有助于相关人员全面了解汛情，从而做出合适的处理决定。

请参阅图4，在本发明某些实施方式中，道路监控方法或道路监控装置100采用信息层级结构实现，该结构是一种智能监控信息层级结构，可包括环境感知层、地理标志层、对象层、特征层、语义层及决策层等。各层级分别可用于存储信息处理不同阶段的信息，层级与层级之间有机联结，从上一层中调用信息进行处理，处理结果可存储于下一层级。其中，地理标志层并未在本发明实施方式中应用。

智能监控信息层级结构各层级的联结方式及信息传递顺序可参阅图4。其中，环境感知层是基础的层级。图像采集装置111，如设置于道路的监控摄像头，可用于获取监控图像300及各帧监控图像300对应的时间、地点等，可将这些基础信息存储于环境感知层并作为后续信息处理的基础。监控图像300对应的地点可以是摄像头所在的地点。

若在监控图像300中检测到有汛情，可从环境感知层的监控图像300中提取出仅包含车辆的车辆区域图像320及过水区域图像310并存储于对象层。车辆区域图像320及过水区域图像310可作为后续分析汛情、车辆运动信息及车辆身份信息的基础。

从对象层调取车辆区域图像320并做处理，例如将不同的图像合成，或将图像进一步分割提取，可获得处理后的能体现过水区域或车辆特征在图像，并作为后续分析的基础。例如可从车辆区域图像320中提取仅包含车牌的车牌图像，以方便后续识别车牌号。对分割出的特征图像进行分析处理，可获得汛情分析结果，即一些计算机可识别的汛情参数并存储于特征层，例如洪水的运动方向、运动速度、覆盖的路面面积，路段内车辆的牌号、品牌、当时的运动方向、运动速度等情况，及车辆数量等。可产生包含汛情参数的建议信息，以提示监控人员或司机。

从特征层调取汛情参数并进一步分析，可获得一些结论信息或建议信息，例如汛情的严重程度、建议采取的措施等。可呈现在交通监测端100a，以使相关管理人员知晓汛情及应对方案。在某些实施方式中，结论包括汛情严重程度。也就是说，可根据汛情严重程度产生建议信息，例如若结论中汛情较为严重，可建议有关人员立即封闭有汛情的路段并疏散车辆。

可根据后期的分析结果决定各层级存储的信息是保留还是删除。例如，通过对监控图像300的层层处理分析，发现并无汛情，或汛情为不影响交通可忽略的程度，可删除各层级存储的相关信息，或者仅保留环境感知层的基础信息。若确认出现汛情，可保留各层级的相关信息，以方便处理状况后有关人员可后期调取查验以调查汛情原因、相关事故的责任等。如此，可保留有效信息，减少冗余信息。

请参阅图5，道路监控装置100的图像获取模块110可包括设置于道路的图像采集装置111，如摄像头等，可用于实时获取道监控图像300，如道路监控录像。道路监控装置100还可包括交通监测端100a的相关设备。交通监测端100a可以是交通管理部门的监控中心，配备有相关的监控人员，可用于实时监控道路状况。在某些实施方式中，S5在交通监测端100a在交通监测端100a产生建议信息，以方便监控人员及时了解汛情及周边交通的状况。某些实施方式的决策模块160可用于在交通监测端100a产生预警或建议信息。建议信息可通过语音或文字提示等方式呈现。

为方便相关人员全面了解汛情，可分析获得更多的信息并呈现在交通监测端100a。例如，在某些实施方式中，S3从多帧监控图像300提取多帧过水区域图像310；S4根据多帧过水区域图像310计算洪水的运动方向及运动速度；汛情参数包括运动方向及运动速度。

在某些实施方式的道路监控装置100中，提取模块130用于从多帧监控图像300提取多帧过水区域图像310；图像处理模块140用于根据多帧过水区域图像310计算洪水的运动方向及运动速度，汛情参数包括运动方向及运动速度。

洪水的运动方向及运动速度是重要的汛情参数，根据洪水运动的方向及速度可判断汛情的严重或紧急程度，来势是否凶猛，多长时间会到达什么位置等。可根据比对多帧过水区域图像310来判断洪水的运动方向，并可根据每帧过水区域图像310对应的拍摄时间及每帧图像中过水区域的边缘来计算洪水的移动速度。

此外，请结合参阅图3，汛情参数还可包括车辆距离过水区域的距离。在某些实施方式中，S4根据过水区域图像310中过水区域及车辆区域图像320中车辆的相对位置计算车辆距离过水区域的距离；汛情参数包括车辆距离过水区域的距离。在某些实施方式的控制装置中，图像处理模块140用于根据过水区域图像310中过水区域及车辆区域图像320中车辆的相对位置计算车辆距离过水区域的距离。

例如，可以将车辆区域图像320与过水区域图像310按原始比例及位置合成在一起，在合成图像340中计算各车辆到过水区域的距离。通过了解该距离，及洪水的运动方向及速度等，可预测将会有多少车辆浸入过水区域甚至抛锚，从而了解洪水的严重及紧急程度。方便监控人员采取应对的措施。

车辆信息可包括车辆数量、身份信息及车辆运动参数等。

建议信息可通过语音或文字提示等方式呈现。例如，提示“在T时间、S路段，出现汛情，洪水运动方向自西向东，速度约5米每秒，附近共两辆车辆，分别距离过水区域200米、350米，车牌号分别为……，品牌及车型分别为……，分别以X、Y的速度驶向过水区域”。从而帮助有关监控人员了解汛情及相关车辆的情况。

请参阅图6，在某些实施方式中，道路监控方法还可包括：S7，发送预警信息或建议信息至身份信息对应的车辆。其中身份信息可以是车辆的车牌号等。

可建立车辆与道路监控装置100或交通监测端100a的联网系统，在检测到出现汛情时，发送预警或建议信息至身份信息对应的车辆以提醒该车辆的司机。如此，可帮助司机了解汛情并采取有效措施，以避免更重大的事故的发生，防止或减少人员及财产的损失。

为了实现更远距离的提示或预警，可综合分析多个位置的图像采集装置111所拍摄的监控图像300，例如，A位置拍摄的监控图像300中出现了汛情，分析汛情参数并发现洪水正流向B位置，距离A位置1公里远的B位置拍摄的监控图像300中虽然无过水区域，然而有大量车辆，可获得车辆区域图像320以分析车辆的运动参数及身份信息。再将A位置及B位置获取的汛情信息及车辆信息综合起来，从而对汛情的危急程度、可能对交通产生的影响产生预测及预警。

综上，本发明实施方式可对道路上的汛情进行分析，并将相关重要信息以信息层级的结构进行存储，并将必要信息或预警信息呈现给有关人员。可帮助相关人员全面了解汛情，以便做出恰当处理。也可帮助有关人员后期调取信息进行查验，以探求汛情情况及了解引发的相关事故等。

本发明实施方式的道路监控方法及装置可应可用于道路，例如高速公路，尤其宜应用在易出现汛情的路段，例如山区中山洪频发路段或靠近江河湖海的路段。

在本发明的实施方式的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的实施方式和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的实施方式的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。

在本发明的实施方式中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不同结构。为了简化本发明的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明的实施方式可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明的实施方式提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明的各个实施例中的各功能单元可以集成在一个处理器中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种道路监控方法，其特征在于，所述道路监控方法采用信息层级结构实现，所述信息层级结构包括环境感知层、地理标志层、对象层、特征层、语义层及决策层，所述道路监控方法包括：

获取监控图像及拍摄地点并存储于所述环境感知层；

判断所述监控图像中是否存在汛情；若是，从所述监控图像提取过水区域图像及车辆区域图像并存储于所述对象层；

综合处理所述过水区域图像及所述车辆区域图像以获取汛情参数及车辆信息并存储于所述特征层；

根据所述地点信息、所述汛情参数及所述车辆信息产生语义层面的结论并存储于所述语义层；及

根据所述结论产生建议信息并存储于所述决策层。

2.如权利要求1所述的道路监控方法，其特征在于，

所述结论包括汛情严重程度。

3.如权利要求1所述的道路监控方法，其特征在于，所述根据所述结论产生建议信息并存储于所述决策层的步骤在交通监测端产生所述建议信息。

4.如权利要求1所述的道路监控方法，其特征在于，所述从所述监控图像提取过水区域图像及车辆区域图像并存储于所述对象层的步骤从多帧所述监控图像提取多帧所述过水区域图像；

所述综合处理所述过水区域图像及所述车辆区域图像以获取汛情参数及车辆信息并存储于所述特征层的步骤根据多帧所述过水区域图像计算洪水的运动方向及运动速度，所述汛情参数包括所述运动方向及所述运动速度。

5.如权利要求1所述的道路监控方法，其特征在于，

所述综合处理所述过水区域图像及所述车辆区域图像以获取汛情参数及车辆信息并存储于所述特征层的步骤根据所述过水区域图像中过水区域及所述车辆区域图像中车辆的相对位置计算车辆距离过水区域的距离；

所述汛情参数包括所述车辆距离过水区域的距离。

6.如权利要求1所述的道路监控方法，其特征在于，

所述道路监控方法包括：

发送预警信息或所述建议信息至所述身份信息对应的所述车辆。

7.如权利要求1所述的道路监控方法，其特征在于，所述综合处理所述过水区域图像及所述车辆区域图像以获取汛情参数及车辆信息并存储于所述特征层的步骤利用深度卷积神经网络训练所得模型综合处理所述过水区域图像及所述车辆区域图像。

8.一种道路监控装置，其特征在于，所述道路监控装置采用信息层级结构实现，所述信息层级结构包括环境感知层、地理标志层、对象层、特征层、语义层及决策层，所述道路监控装置包括：

图像获取模块，用于获取监控图像及拍摄地点并存储于所述环境感知层；

判断模块，用于判断所述监控图像中是否存在汛情；

提取模块，用于在所述判断模块判断为是时从所述监控图像提取过水区域图像及车辆区域图像并存储于所述对象层；

图像处理模块，用于综合处理所述过水区域图像及所述车辆区域图像以获取汛情参数及车辆信息并存储于所述特征层；

结论产生模块，用于根据所述地点信息、所述汛情参数及所述车辆信息产生语义层面的结论并存储于所述语义层；及

决策模块，用于根据所述结论产生建议信息并存储于所述决策层。

9.如权利要求8所述的道路监控装置，其特征在于，

所述提取模块用于从多帧所述监控图像提取多帧所述过水区域图像；

所述图像处理模块用于根据多帧所述过水区域图像计算洪水的运动方向及运动速度，所述汛情参数包括所述运动方向及所述运动速度。

10.如权利要求8所述的道路监控装置，其特征在于，

所述图像处理模块用于根据所述过水区域图像中过水区域及所述车辆区域图像中车辆的相对位置计算车辆距离过水区域的距离；

所述汛情参数包括所述车辆距离过水区域的距离。