CN106448162A - 道路监控方法及道路监控装置 - Google Patents

Abstract

本发明公开一种道路监控方法，采用信息层级结构实现，信息层级结构包括环境感知层、地理标志层、对象层及语义层，方法包括：获取监控图像及拍摄地点并存储于环境感知层；从监控图像提取车道图像并存储于地理标志层；根据监控图像判断是否存在异物抛洒情况；若存在，从监控图像提取异物区域图像并存储于对象层；综合处理异物区域图像及车道图像以获取异物覆盖路面的情况并存储于语义层；产生提示信息。通过对监控图像进行处理及识别，可分析是否发生异物抛洒情况，并产生预警或建议信息，从而有利于相关人员尽快了解异物抛洒情况及尽快对情况进行处理。本发明还公开了一种道路监控装置。

Description

道路监控方法及道路监控装置

技术领域

本发明涉及道路监控技术，特别涉及一种道路监控方法及道路监控装置。

背景技术

目前的道路监测手段一般仅能获取监控录像，却不能对道路上可能发生的异物抛洒情况进行识别判断，不利于尽快了解交通状况和及时对异物抛洒情况进行处理。通过人工查看监控图像，不仅耗时耗力，且判断的准确度及实时性很难保证。

发明内容

本发明的实施方式旨在至少解决现有技术中存在的技术问题之一。为此，本发明的实施方式需要提供一种及道路监控方法及道路监控装置。

本发明提供一种道路监控方法，所述道路监控方法采用信息层级结构实现，所述信息层级结构包括环境感知层、地理标志层、对象层及语义层，所述道路监控方法包括：

S1，获取监控图像及拍摄地点并存储于所述环境感知层；

S2，从所述监控图像提取车道图像并存储于所述地理标志层；

S3，根据所述监控图像判断是否存在异物抛洒情况；

S4，若存在异物抛洒情况，从所述监控图像提取异物区域图像并存储于所述对象层；

S5，综合处理所述异物区域图像及所述车道图像以获取异物覆盖路面的情况并存储于所述语义层，所述异物覆盖路面的情况包括异物覆盖的车道

S6，产生提示信息，所述提示信息包括所述异物覆盖路面的情况及所述拍摄地点。

在本发明实施方式中，通过对监控图像进行处理及识别，可分析是否发生异物抛洒情况，并产生预警或建议信息，从而有利于相关人员尽快了解异物抛洒情况及尽快对情况进行处理。可解决现有技术某些问题。

本发明还提供一种道路监控装置，所述道路监控装置采用信息层级结构实现，所述信息层级结构包括环境感知层、地理标志层、对象层及语义层，所述道路监控装置包括：

图像获取模块，用于获取监控图像及拍摄地点并存储于所述环境感知层；

车道提取模块，用于从所述监控图像提取车道图像并存储于所述地理标志层；

判断模块，用于根据所述监控图像判断是否存在异物抛洒情况；

异物提取模块，用于在存在异物抛洒情况时从所述监控图像提取异物区域图像并存储于所述对象层；

处理模块，综合处理所述异物区域图像及所述车道图像以获取异物覆盖路面的情况并存储于所述语义层，所述异物覆盖路面的情况包括异物覆盖的车道；及

提示模块，用于所述提示信息包括所述异物覆盖路面的情况及所述拍摄地点。

本发明的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施方式的实践了解到。

附图说明

本发明的实施方式的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明某些实施方式的道路监控方法的流程示意图。

图2是本发明某些实施方式的道路监控装置的功能模块示意图。

图3是本发明某些实施方式的监控图像及异物区域图像的示意图。

图4是本发明某些实施方式的道路监控方法或道路监控装置采用的智能道路监测信息结构。

图5是本发明某些实施方式的道路监控方法或道路监控装置的原理示意图。

图6是本发明某些实施方式的道路监控方法的整体图像获取原理示意图。

具体实施方式

下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅可用于解释本发明的实施方式，而不能理解为对本发明的实施方式的限制。

请参阅图1-5，本发明实施方式的道路监控方法，道路监控方法采用信息层级结构实现，信息层级结构包括环境感知层、地理标志层、对象层及语义层，道路监控方法包括：

S1，获取监控图像300及拍摄地点并存储于环境感知层；

S2，从监控图像300提取车道图像320并存储于地理标志层；

S3，根据监控图像300判断是否存在异物抛洒情况；

S4，若存在异物抛洒情况，从监控图像300提取异物区域图像310并存储于对象层；

S5，综合处理异物区域图像310及车道图像320以获取异物覆盖路面的情况并存储于语义层，异物覆盖路面的情况包括异物覆盖的车道；

S6，产生提示信息，提示信息包括异物覆盖路面的情况及拍摄地点。

请参阅图2，本发明实施方式的道路监控装置100可包括图像获取模块110、车道提取模块120、判断模块130、异物提取模块140、处理模块150及提示模块，分别用于实现S1、S2、S3、S4、S5及S6。

也就是说，图像获取模块110用于获取监控图像300及拍摄地点并存储于环境感知层；车道提取模块120用于从监控图像300提取车道图像320并存储于地理标志层；判断模块130用于根据监控图像300判断是否存在异物抛洒情况；异物提取模块140用于在存在异物抛洒情况时从监控图像300提取异物区域图像310并存储于对象层；处理模块150综合处理异物区域图像310及车道图像320以获取异物覆盖路面的情况并存储于语义层，异物覆盖路面的情况包括异物覆盖的车道；提示模块用于提示信息包括异物覆盖路面的情况及拍摄地点。

其中图像获取模块110可包括图像采集装置111，例如监控摄像头，可用于获取监控图像300。拍摄地点即获取监控图像300的地点，例如图像采集装置111所在的地点。异物区域图像310可包括异物及周边的情况。

目前的道路监测手段一般仅能获取监控录像，却不能对道路上可能发生的异物抛洒情况进行识别判断，不利于尽快了解交通状况和及时对异物抛洒情况进行处理。通过人工查看监控图像300，不仅耗时耗力，且判断的准确度及实时性很难保证。在本发明实施方式中，通过对监控图像300进行处理及识别，可分析是否发生异物抛洒情况，并产生提示信息，从而有利于相关人员尽快了解异物抛洒情况及尽快对情况进行处理。

其中，请结合参阅图3，在某些实施方式中，现有技术手段可实现对监控图像300中是否有异物抛洒现象进行识别。例如，可从监控图像300中提取出仅包含车辆的车辆图像，若车辆图像中有物体分离出来，可判定为存在异物抛洒情况，进而进行S3及后续步骤。

请参阅图3，现有的图像处理技术可实现异物区域的识别及分割提取，因此可在监控图像300中提取异物区域图像310，异物区域图像310可仅可包括异物及周边区域，以方便后续识别处理。请结合参阅图4，异物区域图像310可存储在对象层，即由环境感知层的监控图像300提取异物区域图像310到对象层。

请参阅图4，在本发明某些实施方式中，道路监控方法或道路监控装置100采用信息层级结构实现，该结构是一种智能监控信息层级结构，可包括环境感知层、地理标志层、对象层、特征层、语义层及决策层等。各层级分别可用于存储信息处理不同阶段的信息，层级与层级之间有机联结，从上一层中调用信息进行处理，处理结果可存储于下一层级。

智能监控信息层级结构各层级的联结方式及信息传递顺序可参阅图3。其中，环境感知层是最基础的层级。图像采集装置111，如设置于道路的监控摄像头，可用于获取监控图像300及各帧监控图像300对应的时间、地点等，可将这些基础信息存储于环境感知层并作为后续信息处理的基础。监控图像300对应的地点可以是摄像头所在的地点。

地理标志层用于存储从监控图像300提取的车道图像320。可在道路中没有车的时候提取，以获取完整的车道图像320。

若在监控图像300中检测到存在异物抛洒情况，可从环境感知层的监控图像300中提取出仅包含异物区域图像310并存储于对象层。异物区域图像310可作为后续分析异物抛洒情况的基础。

从对象层调取异物区域图像310及从地理标志层提取车道图像320并做整合而获得既包含异物信息又包含车道信息的整合图像400并存储于特征层，并作为后续分析的基础。

处理分析整合图像400可获取异物覆盖路面的情况并存储于语义层，异物覆盖路面的情况为系统可以理解的具体结论，例如异物具体覆盖了哪个或哪几个车道，以及异物的形态、数量、覆盖路面的面积等。可产生包含异物覆盖路面的情况的提示信息以提示相关人员。

从语义层调取异物覆盖路面的情况并分析以产生预警或建议信息。

可呈现提示信息、预警或建议信息在交通监测端100a，以使相关管理人员知晓异物抛洒情况及应对方案。

可根据后期的分析结果决定各层级存储的信息是保留还是删除。例如，通过对异物区域图像310的层层分析，发现并无异物抛洒情况或为可不作处理的不严重情况，可删除各层级存储的相关信息，或者仅保留环境感知层的基础信息。若确认出现异物抛洒情况，可保留各层级的相关信息，以方便处理状况后有关人员可后期调取查验以调查异物抛洒原因、事故责任等。如此，可保留有效信息，减少冗余信息。

请参阅图5，道路监控装置100的图像获取模块110可包括设置于道路的图像采集装置111，如摄像头等，可用于实时获取道监控图像300，如道路监控录像。道路监控装置100还可包括交通监测端100a的相关设备。交通监测端100a可以是交通管理部门的监控中心，配备有相关的监控人员，可用于实时监控道路状况。在某些实施方式中，S6在交通监测端100a产生预警或建议信息，以方便监控人员及时了解异物抛洒情况及周边交通的状况。某些实施方式的决策模块160160可用于在交通监测端100a产生提示信息、预警或建议信息，并可通过语音或文字提示等方式呈现。

在某些实施方式中，S6在交通监测端100a产生提示信息。如此，可方便监控人员及相关工作人员全面了解异物抛洒情况，实现更有效的交通监管及处理。

在某些实施方式中，道路监控方法包括：S8，分析异物覆盖路面的情况以产生预警或建议信息并存储于决策层。S8可由某些实施方式的道路监控装置100的决策模块160实现，即决策模块160用于分析异物覆盖路面的情况以产生预警或建议信息并存储于决策层。

建议信息是基于异物覆盖路面的情况得到的，例如若覆盖面积较大，覆盖多个车道，可建议监控人员立即派工作人员到该路段处理；若仅覆盖一个车道，或覆盖面积较小，不影响正常交通，不那么紧急，可建议暂缓处理。如此，可方便监控人员及相关工作人员有的放矢，实现更有效的交通监管及处理。

在某些实施方式中，信息层级结构还包括特征层；

S5包括：

S501，整合异物区域图像310及车道图像320以产生整合图像400并存储于特征层；及

S502，处理整合图像400以获取异物覆盖路面的情况。

某些实施方式的道路监控装置100的处理模块150可包括整合子模块及第一处理子模块，分别用于实现S501及S502。也就是说，整合子模块，用于整合异物区域图像310及车道图像320以产生整合图像400并存储于特征层。第一处理子模块，处理整合图像400以获取异物覆盖路面的情况。

请结合参阅图3，例如，将异物区域图像310与车道图像320进行等比例的合成。这样，可以实现异物在车道上的定位，通过对异物遮蔽道路标线情况进行判断，可获得异物覆盖了几个车道，具体为哪个车道或哪些车道等。这些信息包含在提示信息，从而可使相关人员了解以确定处理办法。

具体的，异物覆盖路面的情况还可包括覆盖路面的面积。例如，在某些实施方式中，S502利用深度卷积神经网络训练所得模型处理整合图像400以获取异物覆盖路面的面积，异物覆盖路面的情况包括覆盖路面的面积。

覆盖路面的面积决定了对交通的影响情况，若覆盖路面较小(例如仅覆盖了某车道的五分之一)，且位于车道边上，车辆可绕行，从而对交通影响不大，若覆盖路面较大(例如覆盖了多个车道)，或位于车道中央，则对交通影响较大。具体对道路交通的影响程度大小，可根据道路的实际情况判断。例如，对于两车道的窄路，覆盖一个车道就会严重影响交通；而对于十车道在宽路，覆盖一个车辆对交通影响不大。相关人员可根据覆盖面积及覆盖车道等信息确定处理办法。

在某些实施方式中，信息层级结构还包括特征层；

S5包括：

S504，从异物区域图像310提取仅包含异物的异物图像311并存储于特征层；及

S505，处理异物图像311以获得异物的形态及/或异物的数量并存储于语义层；覆盖路面的情况包括异物的形态及/或异物的数量。

某些实施方式的道路监控装置100的处理模块150可包括提取子模块及第二处理子模块，分别用于实现S504及S505。也就是说，提取子模块用于从异物区域图像310提取仅包含异物的异物图像311并存储于特征层；第二处理子模块用于处理异物图像311以获得异物的形态及/或异物的数量并存储于语义层。

请参阅图6，异物图像311为对异物区域图像310的进一步提取。处理异物图像311可获得异物的形态，例如规则几何体或非规则几何体，若为非规则几何体，又可分为液体或渣土状固体。若为规则几何体，可能为多个，若为不规则几何体，也有可可能在抛洒后分为几个块区。通过分析异物图像311，可获得异物的数量，或者块区的数量。通过提示异物形态或数量，可方便相关人员全面了解情况。

建议信息可通过语音或文字提示等方式呈现。例如，提示“在T时间、S路段，出现异物抛洒情况，覆盖右侧第一车道及第二车道，异物为规则几何体，共三个，占据了第一车道的大部分及第二车道的约三分之一，占据第二车道的位置靠近车道边缘”。从而帮助有关监控人员了解异物抛洒情况。

若该路段权包含两车道，可分析上述异物覆盖路面的情况并产生建议信息，通过文字或语音呈现，例如“严重影响交通，建议立即处理”。

综上，本发明实施方式可对道路上的异物抛洒情况进行分析，并将相关重要信息以信息层级的结构进行存储，并将必要信息或预警信息呈现给有关人员。可帮助相关人员全面了解异物抛洒情况，以便做出恰当处理。也可帮助有关人员后期调取信息进行查验，以探求事故原因或找寻相关的车辆或人员。

本发明实施方式的道路监控方法及装置可应可用于道路，例如高速公路，尤其宜应用在易出现异物抛洒的路段，例如颠簸路段。

在本发明的实施方式的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的实施方式和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的实施方式的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。

在本发明的实施方式中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不同结构。为了简化本发明的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明的实施方式可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明的实施方式提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明的各个实施例中的各功能单元可以集成在一个处理器中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种道路监控方法，其特征在于，所述道路监控方法采用信息层级结构实现，所述信息层级结构包括环境感知层、地理标志层、对象层及语义层，所述道路监控方法包括：

获取监控图像及拍摄地点并存储于所述环境感知层；

从所述监控图像提取车道图像并存储于所述地理标志层；

根据所述监控图像判断是否存在异物抛洒情况；

若存在异物抛洒情况，从所述监控图像提取异物区域图像并存储于所述对象层；

处理步骤，综合处理所述异物区域图像及所述车道图像以获取异物覆盖路面的情况并存储于所述语义层，所述异物覆盖路面的情况包括异物覆盖的车道；及

产生提示信息，所述提示信息包括所述异物覆盖路面的情况及所述拍摄地点。

2.如权利要求1所述的道路监控方法，其特征在于，包括：

分析所述异物覆盖路面的情况以产生预警或建议信息并存储于所述决策层。

3.如权利要求1所述的道路监控方法，其特征在于，所述产生提示信息的步骤在交通监测端产生所述提示信息。

4.如权利要求1所述的道路监控方法，其特征在于，所述信息层级结构还包括特征层；

所述处理步骤包括：

整合所述异物区域图像及所述车道图像以产生整合图像并存储于所述特征层；及

处理子步骤，处理所述整合图像以获取所述异物覆盖路面的情况。

5.如权利要求4所述的道路监控方法，其特征在于，所述处理子步骤，利用深度卷积神经网络训练所得模型处理所述整合图像，以获取异物覆盖路面的面积，所述异物覆盖路面的情况包括所述覆盖路面的面积。

6.如权利要求1所述的道路监控方法，其特征在于，所述信息层级结构还包括特征层；

所述处理步骤包括：

从所述异物区域图像提取仅包含异物的异物图像并存储于所述特征层；及

处理所述异物图像以获得异物的形态及/或异物的数量并存储于所述语义层；所述覆盖路面的情况包括所述异物的形态及/或所述异物的数量。

7.一种道路监控装置，其特征在于，所述道路监控装置采用信息层级结构实现，所述信息层级结构包括环境感知层、地理标志层、对象层及语义层，所述道路监控装置包括：

图像获取模块，用于获取监控图像及拍摄地点并存储于所述环境感知层；

车道提取模块，用于从所述监控图像提取车道图像并存储于所述地理标志层；

判断模块，用于根据所述监控图像判断是否存在异物抛洒情况；

异物提取模块，用于在存在异物抛洒情况时从所述监控图像提取异物区域图像并存储于所述对象层；

处理模块，综合处理所述异物区域图像及所述车道图像以获取异物覆盖路面的情况并存储于所述语义层，所述异物覆盖路面的情况包括异物覆盖的车道；及

提示模块，用于所述提示信息包括所述异物覆盖路面的情况及所述拍摄地点。

8.如权利要求7所述的道路监控装置，其特征在于，包括：

决策模块，用于分析所述异物覆盖路面的情况以产生预警或建议信息并存储于所述决策层。

9.如权利要求7所述的道路监控装置，其特征在于，所述信息层级结构还包括特征层；

所述处理模块包括：

整合子模块，用于整合所述异物区域图像及所述车道图像以产生整合图像并存储于所述特征层；及

第一处理子模块，用于利用深度卷积神经网络训练所得模型处理所述整合图像以获取所述异物覆盖路面的情况。

10.如权利要求7所述的道路监控装置，其特征在于，所述信息层级结构还包括特征层；

所述处理模块包括：

提取子模块，用于从所述异物区域图像提取仅包含异物的异物图像并存储于所述特征层；及

第二处理子模块，用于处理所述异物图像以获得异物的形态及/或异物的数量并存储于所述语义层；所述覆盖路面的情况包括所述异物的形态及/或所述异物的数量。