CN109033199A - 一种巡查视频同步播放与智能比对方法及装置 - Google Patents

Abstract

本发明涉及一种巡查视频同步播放与智能比对方法，用于通过智能比对公路巡查视频获取公路设施损坏、丢失或污染等异常状况，包括以下步骤：A、获取用于比对的第一巡查视频和第二巡查视频；B、从第一巡查视频查找并抽取一帧满足比对条件的第一画面并对该帧画面进行图像语义分析得到第一矩阵；C、从第二巡查视频中查找并抽取满足比对条件的第二画面，对第二画面进行图像语义分析得到相应的第二矩阵；D、根据第一矩阵对第二矩阵进行匹配筛选并根据筛选结果得到匹配成功的第二矩阵对应的第二画面；E、将第一画面与筛选出的第二画面进行比对得到比对结果；F、重复步骤A‑E，直至第一巡查视频的所有需要比对的帧画面完成比对。

Description

一种巡查视频同步播放与智能比对方法及装置

技术领域

本发明涉及一种巡查视频同步播放与智能比对方法及装置，属于路政巡查领域。

背景技术

随着公路建设不断发展，公路设施不断增加，传统的公路日常巡查工作面临着越来越大的挑战，对公路信息化提出了越来越多的要求。

传统路政巡查中，在巡查过程中，对公路设施的遗失或受到的破坏，只能依靠个人的经验进行判断，在巡查结束后，如果需要获取某一位置的公路设施的状况，则可能需要把两个来比对的巡查视频都播放一遍才能找到想要的信息，而巡查视频往往容量很大，如果进行人工比对，不仅浪费大量时间、效率不高，还可能因为个人因素，比如看巡查视频时走神、疲劳等因素影响导致对比结果不准确或不全面。

发明内容

本发明提供一种巡查视频同步播放与智能比对方法及装置，通过计算机程序自动对需要比对的巡查视频进行智能比对，减少人为比对的时间且提高比对结果的准确率。

本发明的技术方案第一方面为一种巡查视频同步播放与智能比对方法，包括以下步骤：

A、获取用于比对的第一巡查视频和第二巡查视频，所述第一巡查视频关联第一GPS信息，所述第二巡查视频关联第二GPS信息；

B、根据第一GPS信息从第一巡查视频顺序查找并抽取一帧第一画面并对该帧画面进行图像语义分析得到第一矩阵；

C、根据第二GPS信息从第二巡查视频中顺序查找并抽取满足比对条件的第二画面，对每一帧满足比对条件的第二画面进行图像语义分析得到相应的第二矩阵，所述对比条件为第二GPS信息与第一GPS信息相似度在预设阈值范围内；

D、根据第一矩阵对得到的所有第二矩阵进行匹配筛选得到匹配度最高的一个第二矩阵，并根据该匹配度最高的第二矩阵获得对应的第二画面；

E、将第一画面与筛选出的第二画面进行比对得到比对结果；

F、重复步骤A-E，直至第一巡查视频的所有需要比对的帧画面完成比对。

进一步，所述步骤A包括：所述第一巡查视频和第二巡查视频的每一帧关联其拍摄时对应的经纬度和时间信息。

进一步，所述步骤B包括：根据指定的第一经纬度和第一日期对第一巡查视频进行索引，获取一帧第一画面。

进一步，所述步骤B还包括：使用PSPNet网络对第一画面进行图像语义分析得到第一矩阵。

进一步，所述步骤C包括：根据第一经纬度和第二日期对第二巡查视频进行索引，获取第二日期拍摄的至少一帧第一经纬度的第二画面。

进一步，所述步骤C还包括：使用PSPNet网络对第二画面进行图像语义分析得到第二矩阵。

进一步，所述步骤D包括：将每一个第二矩阵分别与第一矩阵进行匹配，筛选出匹配度最高的一个第二矩阵；根据所述匹配度最高的一个第二矩阵获得与其相对应的第二画面。

进一步，所述步骤E包括：将第一画面与相匹配的第二画面进行比对，查看两个画面中的需要比对的物体存在的区别，从而判断所述需要比对的物体是否异常。

进一步，所述步骤F之后还包括如下步骤：G、根据比对结果获取所有异常公路设施的经纬度，并生成检修报告推送至检修任务发布平台。

本发明的技术方案第二方面为一种计算机装置，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

A、获取用于比对的第一巡查视频和第二巡查视频，所述第一巡查视频关联第一GPS信息，所述第二巡查视频关联第二GPS信息；

B、根据第一GPS信息从第一巡查视频顺序查找并抽取一帧第一画面并对该帧画面进行图像语义分析得到第一矩阵；

C、根据第二GPS信息从第二巡查视频中顺序查找并抽取满足比对条件的第二画面，对每一帧满足比对条件的第二画面进行图像语义分析得到相应的第二矩阵，所述对比条件为第二GPS信息与第一GPS信息相似度在预设阈值范围内；

D、根据第一矩阵对得到的所有第二矩阵进行匹配筛选得到匹配度最高的一个第二矩阵，并根据该匹配度最高的第二矩阵获得对应的第二画面；

E、将第一画面与筛选出的第二画面进行比对得到比对结果；

F、重复步骤A-E，直至第一巡查视频的所有需要比对的帧画面完成比对。

本发明的有益效果为：减少了人为对比巡查视频所用时间，降低了人力成本，通过计算机智能比对，增大了比对结果的准确率，避免了漏判错判等问题发生。

附图说明

图1所示为根据本发明的方法的总体流程图；

图2所示为根据本发明具体实施例的一帧画面的比对方法示意图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，在本公开中所使用的单数形式的“一种”、“所述”和“该”旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种数据，但这些数据不应限于这些术语。这些术语仅用来将同一类型的数据彼此区分开。例如，在不脱离本公开范围的情况下，第一巡查视频也可以被称为第二巡查视频，类似地，第二巡查视频也可以被称为第一巡查视频。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

参考图1，一种巡查视频同步播放与智能比对方法，用于通过智能比对公路巡查视频获取公路设施损坏、丢失或污染等异常状况，包括以下步骤：

A、获取用于比对的第一巡查视频和第二巡查视频，所述第一巡查视频关联第一GPS信息，所述第二巡查视频关联第二GPS信息；

B、根据第一GPS信息从第一巡查视频顺序查找并抽取一帧第一画面并对该帧画面进行图像语义分析得到第一矩阵；

C、根据第二GPS信息从第二巡查视频中顺序查找并抽取满足比对条件的第二画面，对每一帧满足比对条件的第二画面进行图像语义分析得到相应的第二矩阵，所述对比条件为第二GPS信息与第一GPS信息相似度在预设阈值范围内；

D、根据第一矩阵对得到的所有第二矩阵进行匹配筛选得到匹配度最高的一个第二矩阵，并根据该匹配度最高的第二矩阵获得对应的第二画面；

E、将第一画面与筛选出的第二画面进行比对得到比对结果；

F、重复步骤A-E，直至第一巡查视频的所有需要比对的帧画面完成比对；

G、根据比对结果获取所有异常公路设施的经纬度，并生成检修报告推送至检修任务发布平台。

参照图2，具体的，为了方便对巡查视频的每一帧画面进行检索，巡查过程中，拍摄巡查视频的同时还同步记录GPS信息，并且将GPS信息关联添加至巡查视频的相关属性特征，巡查视频还包括拍摄时间信息等属性特征；为了判断某一公路段的公路设施是否存在异常，选取两个不同日期拍摄的该公路段的巡查视频；这里选取最近一次拍摄的对该公路段的第一巡查视频和该最近一次前的一次拍摄的对该公路段的第二巡查视频，所述第一巡查视频和第二巡查视频的每一帧关联其拍摄时对应的经纬度和时间信息。

具体的，根据指定的第一经纬度和第一日期对第一巡查视频进行索引，获取一帧第一画面，其中第一日期即对该公路段最近一次拍摄的日期，第一画面即为包括想要比对的某一经纬度位置的公路设施的图像，获得第一画面后进行图像语义分割获得与第一画面对应的第一矩阵，其中图像语义分割可用多种方法实现，这里使用PSPNet算法实现图像语义分割。

为了获取第一画面中公路设施状况，这里根据第一经纬度对第二日期拍摄的第二巡查视频进行索引，获取第二巡查视频中至少一帧经纬度为第一经纬度的第二画面，其中的第二日期即为最近一次前的一次拍摄的日期；在某一经纬度可能拍摄有多帧不同角度的画面，为了使第二画面与第一画面包括的公路设施尽量一致，这里选取N帧的经纬度为第一经纬度的第二画面，将这N帧第二画面分别进行图像语义分割，得到N个第二矩阵，这里也使用PSPNet算法实现图像语义分割；将得到的所有第二矩阵与第一矩阵进行匹配，筛选出匹配率最高的一个第二矩阵，假设为第X个第二矩阵，其中N和X为大于等于1的正整数且1＜＜X＜＜N，由图像语义分割的关系可获取到该匹配率最高的第X个第二矩阵对应的第X帧第二画面；如此则获得了同一经纬度而拍摄日期不同的第一画面和第二画面，因此可以通过公路设施先后状态判断公路设施是否有损坏、丢失或污染等异常。

以上仅为一帧画面的比对，重复上述方法，对第一巡查视频中需要比对的所有帧画面进行比对，并将比对结果通过人机交互界面显示；当发现公路设施异常，可根据经纬度定位异常公路设施的位置，获取异常公路设施现状，并推送至检修任务发布平台，以便对异常公路设施及时进行维护。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的巡查视频同步播放与智能比对方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种巡查视频同步播放与智能比对方法，其特征在于，所述方法包括以下步骤：

A、获取用于比对的第一巡查视频和第二巡查视频，所述第一巡查视频关联第一GPS信息，所述第二巡查视频关联第二GPS信息；

B、根据第一GPS信息从第一巡查视频顺序查找并抽取一帧第一画面并对该帧画面进行图像语义分析得到第一矩阵；

C、根据第二GPS信息从第二巡查视频中顺序查找并抽取满足比对条件的第二画面，对每一帧满足比对条件的第二画面进行图像语义分析得到相应的第二矩阵，所述对比条件为第二GPS信息与第一GPS信息相似度在预设阈值范围内；

D、根据第一矩阵对得到的所有第二矩阵进行匹配筛选得到匹配度最高的一个第二矩阵，并根据该匹配度最高的第二矩阵获得对应的第二画面；

E、将第一画面与筛选出的第二画面进行比对得到比对结果；

F、重复步骤A-E，直至第一巡查视频的所有需要比对的帧画面完成比对。

2.根据权利要求1所述的巡查视频同步播放与智能比对方法，其特征在于，所述步骤A包括：所述第一巡查视频和第二巡查视频的每一帧关联其拍摄时对应的经纬度和时间信息。

3.根据权利要求2所述的巡查视频同步播放与智能比对方法，其特征在于，所述步骤B包括：根据指定的第一经纬度和第一日期对第一巡查视频进行索引，获取一帧第一画面。

4.根据权利要求1所述的巡查视频同步播放与智能比对方法，其特征在于，所述步骤B还包括：使用PSPNet网络对第一画面进行图像语义分析得到第一矩阵。

5.根据权利要求3所述的巡查视频同步播放与智能比对方法，其特征在于，所述步骤C包括：根据第一经纬度和第二日期对第二巡查视频进行索引，获取第二日期拍摄的至少一帧第一经纬度的第二画面。

6.根据权利要求1所述的巡查视频同步播放与智能比对方法，其特征在于，所述步骤C还包括：使用PSPNet网络对第二画面进行图像语义分析得到第二矩阵。

7.根据权利要求1所述的巡查视频同步播放与智能比对方法，其特征在于，所述步骤D包括：

将每一个第二矩阵分别与第一矩阵进行匹配，筛选出匹配度最高的一个第二矩阵；

根据所述匹配度最高的一个第二矩阵获得与其相对应的第二画面。

8.根据权利要求1所述的巡查视频同步播放与智能比对方法，其特征在于，所述步骤E包括：将第一画面与相匹配的第二画面进行比对，查看两个画面中的需要比对的物体存在的区别，从而判断所述需要比对的物体是否异常。

9.根据权利要求1所述的巡查视频同步播放与智能比对方法，其特征在于，所述步骤F之后还包括如下步骤：G、根据比对结果获取所有异常公路设施的经纬度，并生成检修报告推送至检修任务发布平台。

10.一种计算机装置，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：

A、获取用于比对的第一巡查视频和第二巡查视频，所述第一巡查视频关联第一GPS信息，所述第二巡查视频关联第二GPS信息；

B、根据第一GPS信息从第一巡查视频顺序查找并抽取一帧第一画面并对该帧画面进行图像语义分析得到第一矩阵；

C、根据第二GPS信息从第二巡查视频中顺序查找并抽取满足比对条件的第二画面，对每一帧满足比对条件的第二画面进行图像语义分析得到相应的第二矩阵，所述对比条件为第二GPS信息与第一GPS信息相似度在预设阈值范围内；

D、根据第一矩阵对得到的所有第二矩阵进行匹配筛选得到匹配度最高的一个第二矩阵，并根据该匹配度最高的第二矩阵获得对应的第二画面；

E、将第一画面与筛选出的第二画面进行比对得到比对结果；

F、重复步骤A-E，直至第一巡查视频的所有需要比对的帧画面完成比对。