CN113505715A - 一种基于实时视频的车窗抛物检测方法 - Google Patents

Abstract

本发明适用于计算机领域，提供了一种基于实时视频的车窗抛物检测方法，根据获取的交通监控视频，提取交通监控视频中车辆的车身轮廓形状；通过判断车身轮廓形状在交通监控视频中是否保持前后一致；当车身轮廓形状在交通监控视频中没有保持前后一致，说明该车辆存在车窗抛物行为，向执法端发送车辆信息和违章行为信息。该车窗抛物检测方法能够对实时视频进行自动监控检测，能够对所有的视频进行不间断的检测，省时省力，并且将检测到的存在车窗抛物行为的车辆信息及时及时传递给执法端，以便于执法端在有效的执法失效内，对违规的车辆做出处罚和提醒。

Description

一种基于实时视频的车窗抛物检测方法

技术领域

本发明属于计算机领域，尤其涉及一种基于实时视频的车窗抛物检测方法。

背景技术

车窗抛物是指驾驶员和乘车人员从车内向外乱扔杂物的不文明行为。这种行为即造成环境污染，还会造成人身伤害。此外，在环卫工人被撞事件中，30％以上的事故是因清理“车窗抛物”而引起的。由此可见车窗抛物将引发不可忽视的交通安全问题。

随着经济的发展以及互联网科技的崛起，道路交通视频监控已经成为各个城市进行交通管理所采用的方法之一，通过在各个路段假设监控设备，采集实时视频上传到监控中心，监控中心的监控人员对采集的视频进行人工监控，找出其中违反交通的车辆，或者通过监控系统对于闯红灯的行为进行监控。

但是现有的视频监控系统仍然缺少对车窗抛物的自动监控，对车窗抛物这种违反交通规则的行为的监控还主要依赖于人工过滤监控，但是一个城市每天采集的道路交通视频量巨大，交通道路错综复杂，依靠人为监控，难免会有疏漏，难以全面监控并且耗时耗力。

发明内容

本发明实施例提供一种基于实时视频的车窗抛物检测方法，旨在解决依靠人为监控大量的道路交通视频并识别出车窗抛物违章行为，难免会有疏漏，难以全面监控并且耗时耗力的问题。

本发明实施例是这样实现的，一种基于实时视频的车窗抛物检测方法包括：

获取交通监控视频；

提取交通监控视频中车辆的车身轮廓形状；

判断车身轮廓形状在交通监控视频中是否保持前后一致；

当车身轮廓形状在交通监控视频中没有保持前后一致，向执法端发送车辆信息和违章行为信息；所述车辆信息至少包括车牌号，所述违章行为信息至少包括违章时间信息和违章地点信息。

作为本发明的一种改进方案：所述获取交通监控视频具体包括：

获取监控设备上传的交通监控视频；

获取移动端上传的交通监控视频或多张交通违章照片。

作为本发明的又一种改进方案：所述提取交通监控视频中车辆的车身轮廓形状具体包括：

采集车辆车身的主体颜色；

根据车身主体颜色去除有干扰的背景；

提取车辆车窗处的轮廓形状以及车窗开闭信息。

作为本发明的另一种改进方案：所述判断车身轮廓形状在交通监控视频中是否保持前后一致具体包括：

判断车辆车窗是否是打开的状态；

当车辆车窗是打开的状态，进一步连续采集多张车辆车窗的轮廓形状；

将多张车辆车窗的轮廓形状进行对比，判断多张车辆车窗的轮廓形状是否保持前后一致；

当多张车辆车窗的轮廓形状没有保持前后一致的时候，说明车辆车窗处出现过异物，进一步从采集到的多张车辆车窗的轮廓形状中剔除正常的车窗轮廓形状，提取异物的轮廓形状；

判断异物的轮廓形状是否与车窗的轮廓形状一直交叠；

若异物的轮廓形状与车窗的轮廓形状一直交叠，说明异物没有从车窗脱离，不属于车窗抛物；

若异物的轮廓形状没有与车窗的轮廓形状一直交叠，说明异物的轮廓形状与车窗的轮廓形状脱离，属于车窗抛物。

作为本发明的进一步方案：所述判断车辆车窗是否是打开的状态之后，所述方法还包括：

当车辆车窗是打开的状态，判断车窗处是否有手臂伸出；

当车窗处有手臂伸出的时候，判断是否有异物与手臂脱离；

当有异物与手臂脱离，说明属于车窗抛物。

作为本发明的再进一步方案：所述向执法端发送车辆信息和违章行为信息具体包括：

识别违章车辆的车牌号；

提取交通监控视频或者交通违章照片上的违章时间信息；

获取移动端上传的违章地点信息或者调取监控设备安装位置信息作为违章地点信息；

截取交通监控视频中出现违章行为的违章视频片段；

至少将车牌号、违章时间信息、违章地点信息和违章视频片段发送给执法端。

作为本发明的优化方案：所述方法还包括：

判断异物轮廓形状的大小和具体几何形状；

当异物的体积较小且形状接近长条形圆柱状，进一步判断异物的温度是否超过环境温度；

当异物温度超过环境温度，确认该异物为烟头。

作为本发明的又一种方案：所述方法还包括：

判断异物轮廓形状的大小和具体几何形状；

当异物的体积在离开车窗的时候出现波动且形状不规则，进一步判断异物的行动轨迹是否向下；

当异物的行动轨迹不是向下，说明异物质量较轻在空中飘动，确认该异物为塑料袋类垃圾。

作为本发明的另一种方案：所述向执法端发送车辆信息和违章行为信息之后，所述方法还包括：

接收所述执法端对违章视频片段的确认信息、执法指令以及处罚信息；

根据执法指令从数据库中调取与车牌号相匹配的客户端通讯信息；

根据客户端通讯信息，向客户端发送处罚信息。

本发明的有益效果：根据获取的交通监控视频，提取交通监控视频中车辆的车身轮廓形状；通过判断车身轮廓形状在交通监控视频中是否保持前后一致；当车身轮廓形状在交通监控视频中没有保持前后一致，说明该车辆存在车窗抛物行为，向执法端发送车辆信息和违章行为信息。该车窗抛物检测方法能够对实时视频进行自动监控检测，能够对所有的视频进行不间断的检测，省时省力，并且将检测到的存在车窗抛物行为的车辆信息及时及时传递给执法端，以便于执法端在有效的执法失效内，对违规的车辆做出处罚和提醒。解决了依靠人为监控大量的道路交通视频并识别出车窗抛物违章行为，难免会有疏漏，难以全面监控并且耗时耗力的问题。

附图说明

图1是一种基于实时视频的车窗抛物检测方法的运行环境示意图；

图2是一种基于实时视频的车窗抛物检测方法的主流程图；

图3是一种基于实时视频的车窗抛物检测方法中车窗轮廓形状检测方法流程图；

图4是一种基于实时视频的车窗抛物检测方法中手臂检测方法流程图；

图5是一种基于实时视频的车窗抛物检测方法中违章信息发送流程图；

图6是一种基于实时视频的车窗抛物检测方法中处罚信息发送流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明根据获取的交通监控视频，提取交通监控视频中车辆的车身轮廓形状；通过判断车身轮廓形状在交通监控视频中是否保持前后一致；当车身轮廓形状在交通监控视频中没有保持前后一致，说明该车辆存在车窗抛物行为，向执法端发送车辆信息和违章行为信息。该车窗抛物检测方法能够对实时视频进行自动监控检测，能够对所有的视频进行不间断的检测，省时省力，并且将检测到的存在车窗抛物行为的车辆信息及时及时传递给执法端，以便于执法端在有效的执法失效内，对违规的车辆做出处罚和提醒。解决了依靠人为监控大量的道路交通视频并识别出车窗抛物违章行为，难免会有疏漏，难以全面监控并且耗时耗力的问题。

图1示出了本发明实施例的一种基于实时视频的车窗抛物检测方法的运行环境示意图，其中监控设备1和移动端2将交通监控视频数据或者违章照片上传到基于实时视频的车窗抛物检测系统3中，该车窗抛物检测系统3对视频进行分析，从大量视频中找出出现车窗抛物的视频片段，将该视频片段截取，和车牌号以及违章时间和地点发送给执法端4，执法端4反馈处罚信息，车窗抛物检测系统3再将处罚信息发送给客户端5，客户端5接收到处罚信息之后到指定的执法单位履行处罚内容。

图2示出了本发明实施例的一种基于实时视频的车窗抛物检测方法的主流程图，所述车窗抛物检测方法包括：

步骤S10：获取交通监控视频。

步骤S11：提取交通监控视频中车辆的车身轮廓形状。因为车辆的外部形状是固定的，并且车身处的形状较为平滑，车身外部除非发生事故，一般不会出现凹凸不平的地方，因此对车身这一形状固定的特性进行采样，为下面的识别判断做对比基础。

步骤S12：判断车身轮廓形状在交通监控视频中是否保持前后一致。如果车窗处出现车窗抛物，那么车窗抛物会改变车身的轮廓形状，但是当车窗抛物离开车身之后，车身的轮廓形状又会恢复到原来的形状，因为判断车身以及车窗处的轮廓形状是否改变，在一定程度上能够判断车辆是否存在车窗抛物的行为。

步骤S13：当车身轮廓形状在交通监控视频中没有保持前后一致，向执法端发送车辆信息和违章行为信息。所述车辆信息至少包括车牌号，所述违章行为信息至少包括违章时间信息和违章地点信息。所述车辆信息还可以包括车辆的颜色、型号甚至是体积大小以及车辆周围的交通信息，以便于执法端快速找到该车辆以及后续判断车窗抛物对周围将造成多大的影响。

在本实施例的一种情况中，所述获取交通监控视频具体包括：

步骤S101：获取监控设备上传的交通监控视频。分布在城市各个道路上的交通监控系统将监控视频实时上传。

步骤S102：获取移动端上传的交通监控视频或多张交通违章照片。鼓励城市民众一起相互监督，发现车窗抛物违章行为及时录像或者拍照，将发现的违章行为向执法单位反馈，一起维护城市的市容市貌，杜绝不文明行为的出现。

在本实施例的一种情况中，所述提取交通监控视频中车辆的车身轮廓形状具体包括：

步骤S110：采集车辆车身的主体颜色。

步骤S111：根据车身主体颜色去除有干扰的背景。因为车辆的颜色是大面积同色的，因此识别起来比较容易，但是视频中经常出现一些杂乱的背景，干扰对车窗抛物行为的判断，因此要先将车辆单独识别出来，去除车辆所在位置的背景。

步骤S112：提取车辆车窗处的轮廓形状以及车窗开闭信息。此时再对车辆的形状进行提取或者进一步监控车辆车窗的开启关闭状态，使得提取的车辆轮廓形状更加准确。

图3示出了本发明实施例的一种基于实时视频的车窗抛物检测方法中车窗轮廓形状检测方法流程图，所述判断车身轮廓形状在交通监控视频中是否保持前后一致具体包括：

步骤S120：判断车辆车窗是否是打开的状态。因为想要形成车窗抛物，其车窗必然是要被打开的。

步骤S121：当车辆车窗是打开的状态，进一步连续采集多张车辆车窗的轮廓形状。采集多张轮廓形状的原因是要前后多张进行对比，因为车窗抛物行为会使车辆车身形状发生改变，这种改变尤其凸显在车窗的位置。

步骤S122：将多张车辆车窗的轮廓形状进行对比，判断多张车辆车窗的轮廓形状是否保持前后一致。

步骤S123：当多张车辆车窗的轮廓形状没有保持前后一致的时候，说明车辆车窗处出现过异物，进一步从采集到的多张车辆车窗的轮廓形状中剔除正常的车窗轮廓形状，提取异物的轮廓形状。即使车窗处出现了异物，也有可能是驾驶员或者乘客将手臂搭在车窗上休息等行为，不一定就是要进行车窗抛物，所以在车窗出现异物的基础上，还需要做进一步判断。

步骤S124：判断异物的轮廓形状是否与车窗的轮廓形状一直交叠。

步骤S125：若异物的轮廓形状与车窗的轮廓形状一直交叠，说明异物没有从车窗脱离，这种情况可是仅是乘客在停车的时候探头查看路况，或者将手臂搭在车窗上等，不属于车窗抛物行为。

步骤S126：若异物的轮廓形状没有与车窗的轮廓形状一直交叠，说明异物的轮廓形状与车窗的轮廓形状脱离，此时就说明检测到的异物先是与车窗在一起的，然后又从车窗处脱离车身，由此行动路线，就能能够确认该行为属于车窗抛物行为。

图4示出了本发明实施例的一种基于实时视频的车窗抛物检测方法中手臂检测方法流程图，所述判断车辆车窗是否是打开的状态之后，所述方法还包括：

步骤S20：当车辆车窗是打开的状态，判断车窗处是否有手臂伸出。

步骤S21：当车窗处有手臂伸出的时候，判断是否有异物与手臂脱离。

步骤S22：当有异物与手臂脱离，说明属于车窗抛物。这又是另一种更为简单的检测方法，但是该检测方法有效执行的前提是手臂从车窗内伸出。虽然该方法的执行有一定的前提条件，但是该方法简单快捷，判断精准有效，因此该方法可以与上述方法一起检测，查缺补漏，使得整个车窗抛物检测方法更加完善。

图5示出了本发明实施例的一种基于实时视频的车窗抛物检测方法中违章信息发送流程图，所述向执法端发送车辆信息和违章行为信息具体包括：

步骤S130：识别违章车辆的车牌号。

步骤S131：提取交通监控视频或者交通违章照片上的违章时间信息。

步骤S132：获取移动端上传的违章地点信息或者调取监控设备安装位置信息作为违章地点信息。

步骤S133：截取交通监控视频中出现违章行为的违章视频片段。

步骤S134：至少将车牌号、违章时间信息、违章地点信息和违章视频片段发送给执法端。通过接收到的违章视频片段便于执法端进一步确认违章事实是否有效，人为做最终的裁定，此时通过检测方法筛选截取的视频已经很少，执法端能够在短时间内做出高效的判断，节省大量的时间。

作为本发明的另一种优化实施例，所述方法还包括：

步骤S30：判断异物轮廓形状的大小和具体几何形状。

步骤S31：当异物的体积较小且形状接近长条形圆柱状，进一步判断异物的温度是否超过环境温度。此时对异物温度的判断可以是监控设备本身自带的温度识别探头在视频中直接呈现出异物的当前温度，还可以是监控设备旁边安装有一个温度检测设备，对周围环境中出现的物体温度进行监测。

步骤S32：当异物温度超过环境温度，确认该异物为烟头。因为车窗抛物中烟头是其中一个较多的车窗抛物垃圾组成，而且从车窗扔烟头的危害性较大，因此需要特别对其进行进一步识别判断。

作为本发明的又一种优化实施例，所述方法还包括：

步骤S40：判断异物轮廓形状的大小和具体几何形状。

步骤S41：当异物的体积在离开车窗的时候出现波动且形状不规则，进一步判断异物的行动轨迹是否向下。

步骤S42：当异物的行动轨迹不是向下，说明异物质量较轻在空中飘动，确认该异物为塑料袋类垃圾。因为塑料袋类的车窗抛物本身材质较轻，当车辆行驶的过程中，塑料袋从车窗来开之后，受到气流的干扰，其形状不断变大变小，并且运动轨迹飘忽不定；即使车辆处于停止的状态，塑料袋从车窗来开之后也会飘忽下降且形状在下降过程中改变，根据这种特性能够较为简单的识别出塑料袋类的车窗抛物。对塑料袋类的车窗抛物进行进一步识别，是因为塑料袋在道路上空飞扬，会遮挡后面车辆的行车视线，可能会引发较为严重的事故，需要特别重视。

图6示出了本发明实施例的一种基于实时视频的车窗抛物检测方法中处罚信息发送流程图，所述向执法端发送车辆信息和违章行为信息之后，所述方法还包括：

步骤S50：接收所述执法端对违章视频片段的确认信息、执法指令以及处罚信息。

步骤S51：根据执法指令从数据库中调取与车牌号相匹配的客户端通讯信息。

步骤S52：根据客户端通讯信息，向客户端发送处罚信息。所述处罚信息包括具体的处罚金额，对驾照的扣分情况，执行单位等信息。

为了能够加载上述方法顺利运行，除了包括上述暂存窗口和数据库之外，还可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线、处理器和存储器等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor， DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。

上述存储器可用于存储计算机以及系统程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述客户端的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如信息采集模板展示功能、产品信息发布功能等)等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据(比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于实时视频的车窗抛物检测方法，其特征在于，所述方法包括：

获取交通监控视频；

提取交通监控视频中车辆的车身轮廓形状；

判断车身轮廓形状在交通监控视频中是否保持前后一致；

当车身轮廓形状在交通监控视频中没有保持前后一致，向执法端发送车辆信息和违章行为信息；所述车辆信息至少包括车牌号，所述违章行为信息至少包括违章时间信息和违章地点信息。

2.如权利要求1所述的基于实时视频的车窗抛物检测方法，其特征在于，所述获取交通监控视频具体包括：

获取监控设备上传的交通监控视频；

获取移动端上传的交通监控视频或多张交通违章照片。

3.如权利要求1所述的基于实时视频的车窗抛物检测方法，其特征在于，所述提取交通监控视频中车辆的车身轮廓形状具体包括：

采集车辆车身的主体颜色；

根据车身主体颜色去除有干扰的背景；

提取车辆车窗处的轮廓形状以及车窗开闭信息。

4.如权利要求1所述的基于实时视频的车窗抛物检测方法，其特征在于，所述判断车身轮廓形状在交通监控视频中是否保持前后一致具体包括：

判断车辆车窗是否是打开的状态；

当车辆车窗是打开的状态，进一步连续采集多张车辆车窗的轮廓形状；

将多张车辆车窗的轮廓形状进行对比，判断多张车辆车窗的轮廓形状是否保持前后一致；

当多张车辆车窗的轮廓形状没有保持前后一致的时候，说明车辆车窗处出现过异物，进一步从采集到的多张车辆车窗的轮廓形状中剔除正常的车窗轮廓形状，提取异物的轮廓形状；

判断异物的轮廓形状是否与车窗的轮廓形状一直交叠；

若异物的轮廓形状与车窗的轮廓形状一直交叠，说明异物没有从车窗脱离，不属于车窗抛物；

若异物的轮廓形状没有与车窗的轮廓形状一直交叠，说明异物的轮廓形状与车窗的轮廓形状脱离，属于车窗抛物。

5.如权利要求4所述的基于实时视频的车窗抛物检测方法，其特征在于，所述判断车辆车窗是否是打开的状态之后，所述方法还包括：

当车辆车窗是打开的状态，判断车窗处是否有手臂伸出；

当车窗处有手臂伸出的时候，判断是否有异物与手臂脱离；

当有异物与手臂脱离，说明属于车窗抛物。

6.如权利要求2所述的基于实时视频的车窗抛物检测方法，其特征在于，所述向执法端发送车辆信息和违章行为信息具体包括：

识别违章车辆的车牌号；

提取交通监控视频或者交通违章照片上的违章时间信息；

获取移动端上传的违章地点信息或者调取监控设备安装位置信息作为违章地点信息；

截取交通监控视频中出现违章行为的违章视频片段；

至少将车牌号、违章时间信息、违章地点信息和违章视频片段发送给执法端。

7.如权利要求4所述的基于实时视频的车窗抛物检测方法，其特征在于，所述方法还包括：

判断异物轮廓形状的大小和具体几何形状；

当异物的体积较小且形状接近长条形圆柱状，进一步判断异物的温度是否超过环境温度；

当异物温度超过环境温度，确认该异物为烟头。

8.如权利要求4所述的基于实时视频的车窗抛物检测方法，其特征在于，所述方法还包括：

判断异物轮廓形状的大小和具体几何形状；

当异物的体积在离开车窗的时候出现波动且形状不规则，进一步判断异物的行动轨迹是否向下；

当异物的行动轨迹不是向下，说明异物质量较轻在空中飘动，确认该异物为塑料袋类垃圾。

9.如权利要求1-8任一所述的基于实时视频的车窗抛物检测方法，其特征在于，所述向执法端发送车辆信息和违章行为信息之后，所述方法还包括：

接收所述执法端对违章视频片段的确认信息、执法指令以及处罚信息；

根据执法指令从数据库中调取与车牌号相匹配的客户端通讯信息；

根据客户端通讯信息，向客户端发送处罚信息。

Images