CN115455275A - 融合巡检设备的视频处理系统 - Google Patents

Abstract

本申请公开了一种融合巡检设备的视频处理系统，包括：巡检设备，所述巡检设备包括摄像头，所述巡检设备按照设定路线移动并通过所述摄像头拍摄的视频信息进行图像识别以完成巡检任务；视频摘要服务器，用于接收所述巡检设备发送的视频信息，并根据所述视频信息执行视频摘要任务，所述巡检任务和视频摘要任务中识别的目标对象至少有部分不相同；其中，所述巡检设备向所述视频摘要服务器发送视频信息时，发送视频信息对应的定位信息；所述视频摘要服务器对所述视频信息中的画面帧进行摘要处理，并将摘要信息、画面帧、视频信息和定位信息关联；检索服务器，用于对视频摘要进行检索。本方案可以进一步挖掘数据价值。

Description

融合巡检设备的视频处理系统

技术领域

本申请涉及图像处理技术，特别是一种融合巡检设备的视频处理系统。

背景技术

随着智能装备的发展，有越来越多的智能设备加入到智能巡检业务中。这些智能设备如无人机、机器人等，通过自身搭载的传感器或者摄像头完成巡检任务。目前这些设备还是专用设备，其传感设备的数据一般仅针对专门业务。数据的使用单一。

发明人发现，上述数据仍然存在一定的数据挖掘价值。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种融合巡检设备的视频处理系统，以挖掘视频数据价值，该系统包括：

巡检设备，所述巡检设备包括摄像头，所述巡检设备按照设定路线移动并通过所述摄像头拍摄的视频信息进行图像识别以完成巡检任务；

视频摘要服务器，用于接收所述巡检设备发送的视频信息，并根据所述视频信息执行视频摘要任务，所述巡检任务和视频摘要任务中识别的目标对象至少有部分不相同；其中，所述巡检设备向所述视频摘要服务器发送视频信息时，发送视频信息对应的定位信息；所述视频摘要服务器对所述视频信息中的画面帧进行摘要处理，并将摘要信息、画面帧、视频信息和定位信息关联；

检索服务器，所述检索服务器用于根据用户输入的摘要关键词、以及区域信息和时间信息的至少之一，对检索视频信息、对应的画面帧或者拍摄位置进行检索。

在一些实施例中，所述视频摘要服务器根据巡检设备巡检路线对应的视频信息中的摘要密度，决定是否继续对在该巡检路线上产生的新的视频信息进行摘要处理；以及，所述视频摘要服务器根据巡检设备巡检路线对应的视频信息中的摘要密度，决定后续在该巡检路线上产生的新的视频信息的策略；

其中，所述摘要密度是指在视频中检出目标对象的数量除以处理的视频帧数的结果。

在一些实施例中，所述根据巡检设备巡检路线对应的视频信息中的摘要密度，决定是否继续对在该巡检路线上产生的新的视频信息进行摘要处理，具体是：

判断所述摘要密度是否大于第一阈值，若是，则决定继续对在该巡检路线上产生的新的视频信息进行摘要处理，若否，则决定不继续进行视频摘要处理；

所述根据巡检设备巡检路线对应的视频信息中的摘要密度，决定后续在该巡检路线上产生的新的视频信息的策略，具体是：

当所述摘要密度大于第二阈值时，按照第一间隔对视频信息中的画面帧进行抽取处理，当所述摘要密度小于等于第二阈值且大于第一阈值时，按照第二间隔对视频信息中的画面帧进行抽取处理，其中，所述第一间隔小于所述第二间隔。

在一些实施例中，所述根据巡检设备巡检路线对应的视频信息中的摘要密度，决定是否继续对在该巡检路线上产生的新的视频信息进行摘要处理，具体还包括：

对巡检路线对应的视频信息进行分段统计，得到各分段的摘要密度，对摘要密度低于第一阈值的分段进行屏蔽，并记录该分段对应的定位信息，基于所述定位信息，对后续在该巡检路线上产生的视频信息进行分段屏蔽，其中，被屏蔽的视频信息段不作摘要处理。

在一些实施例中，还包括终端设备，所述终端设备用于获取用户操作以及显示检索结果；

所述终端设备用于在搜索界面中显示地图信息，并获取用户的检索的时间信息和摘要关键词，在当前显示的地图信息上加载拍摄区域；

其中，在加载拍摄区域时，终端设备在第一图层中显示地图信息，向检索服务器发送所述时间信息、摘要关键词和当前显示的地图信息；

检索服务器根据时间信息和摘要关键词检索当前显示的地图区域中所涉及的拍摄区域，将检索到的各拍摄区域发送到终端设备；

终端设备根据若干个拍摄区域的并集结果在显示于第一图层之上的第二图层中渲染具备预设透明度的拍摄区域。

在一些实施例中，所述根据时间信息和摘要关键词检索当前显示的地图区域中所涉及的拍摄区域，具体是：

筛选出属于当前显示的地图区域中并且满足所述时间信息选定的时间段的定位信息；

根据所述定位信息关联至对应的候选摘要信息；

根据用户检索的摘要关键词，从所述候选摘要信息中进行筛选得到目标摘要信息；

根据若干个目标摘要信息确定对应的目标定位信息；

根据各所述目标定位信息确定对应的拍摄区域。

在一些实施例中，检索服务器在确定检索结果之后，根据检索结果中的目标摘要信息，关联至目标视频信息，将所述目标视频信息加载到缓存之中，从所述目标视频信息中抽取与目标摘要信息相关的片段和画面帧进行缓存，其中，与目标摘要信息相关的片段是指，目标摘要信息对应的视频帧前后设定时间内的画面帧所构成的子视频；当若干目标摘要信息的子视频重叠时，将多个子视频合并为一个子视频。

在一些实施例中，终端设备在第二图层显示所述拍摄区域后，从缓存中加载拍摄区域对应的子视频和画面帧；

当用户选中显示界面中的拍摄区域后，根据用户配置的策略加载显示窗以显示拍摄区域对应的画面帧或者子视频。

在一些实施例中，当用户选中显示界面中的拍摄区域后，终端设备根据用户所选中的拍摄区域对应的定位信息和其他拍摄区域的定位信息，计算被选中的拍摄区域中心到其他拍摄区域中心之间的距离，根据检索的目标对象在当前区域的最大估计速度，结合拍摄区域对应的画面帧的产生时间，判断被选中的拍摄区域和其他拍摄区域之间是否存在关联，并将与被选中的拍摄区域存在关联的区域进行标记。

在一些实施例中，所述判断被选中的拍摄区域和其他拍摄区域之间是否存在关联，具体是：

计算各拍摄区域对应的产生时间与被选中的拍摄区域对应的产生时间的差值，将各拍摄区域与被选中的拍摄区域之间的距离以及各拍摄区域对应的差值的绝对值相除，得到各拍摄区域对应的估计速度，当所述估计速度小于所述最大估计速度时，判定该拍摄区域与被选中的拍摄区域存在关联，否则，判定不存在关联。

通过本申请实施例将巡检设备用于专用任务的视频进行视频摘要以补充传统监控网络，从而进一步挖掘巡检设备的视频数据价值，在本实施例中，通过摘要服务器接收巡检设备在完成任务时所拍摄的视频，并对其进行视频摘要，在摘要中适应巡检设备移动的特点加入定位信息与视频摘要信息关联，通过检索服务器可以实现对视频信息、画面帧和拍摄位置的定位检索，其扩大了原有安防摄像头系统的数据来源，进一步挖掘了数据的利用价值。

进一步地，本申请实施例还基于视频信息的摘要密度来调整对特定巡检路线中视频信息的处理，可以排除一些信息密度较低的巡检路线内容，有选择性地对巡检设备的视频信息进行筛选或者策略调整，减少视频摘要的处理量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种融合巡检设备的视频处理系统的模块框图；

图2是本申请实施例提供的一种融合巡检设备的视频处理系统的数据结构示意图；

图3是本申请实施例提供的一种融合巡检设备的视频处理系统的终端设备的界面示意图；

图4是本申请实施例提供的一种融合巡检设备的视频处理系统的终端设备的另一界面示意图；

图5是本申请实施例提供的一种融合巡检设备的视频处理系统的终端设备的又一界面示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，以下将参照本申请实施例中的附图，通过实施方式清楚、完整地描述本申请的技术方案，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参照图1，本申请实施例公开了一种融合巡检设备的视频处理系统，包括：

巡检设备，所述巡检设备包括摄像头，所述巡检设备按照设定路线移动并通过所述摄像头拍摄的视频信息进行图像识别以完成巡检任务。在本实施例中，巡检设备主要指无人机或者巡检机器人等设备，这些设备通常携带有摄像头，其摄像头一般用于执行巡检任务，例如，检查裂痕、检查故障等，这些视频信息在相关技术中，一般属于专用于巡检任务的信息。发明人认为其具备一定的数据挖掘潜力，可以补充诸如安防系统等数据。例如，在一些例子中，用于电力巡检的无人机设备，通常按照一定时间和一定的航线对电力设施进行巡检。在部分场景中，如郊外的铁塔线路巡检，无人机会沿途拍摄电缆或者铁塔，但是实际上拍摄时所拍摄到的图像信息中可能存在一定的关键信息，例如，路面途径的车辆、行人，或者其他途径的无人机，甚至是一些事件，例如车祸，火灾等。需要理解的是，在本实施例中，是利用已有的巡检设备所拍摄的图像进行分析，并不要求巡检设备为了获得更多的信息而改变其执行的任务。

视频摘要服务器，用于接收所述巡检设备发送的视频信息，并根据所述视频信息执行视频摘要任务，所述巡检任务和视频摘要任务中识别的目标对象至少有部分不相同；其中，所述巡检设备向所述视频摘要服务器发送视频信息时，发送视频信息对应的定位信息；所述视频摘要服务器对所述视频信息中的画面帧进行摘要处理，并将摘要信息、画面帧、视频信息和定位信息关联。在本实施例中，视频摘要服务器中搭载有用于进行特定对象识别的目标识别网络，这些识别网络用于识别视频画面帧中的目标或者事件，可以理解的是，上述目标或者事件与巡检任务中所识别的目标或者时间并不相同。如图2所示，视频摘要服务器会根据处理后的摘要信息，将画面帧，摘要信息、视频信息和定位信息进行关联，其中，由于画面帧的产生时间和定位信息的生成时间并非一一对应的，因此，定位信息和画面帧各对应一个生成时间。如果需要匹配画面帧对应的定位信息时，可以根据两者生成时间的接近程度来确定，可以选择生成时间最接近的定位信息来作为画面帧的定位信息。需要理解的是，在进行目标识别时，可以通过按照一定间隔抽取画面帧的方式来进行目标识别，来减少处理量。其中，视频摘要是指将视频画面帧中特定的信息，以文字信息等方式进行标注，使得在视频检索时，可以利用这些标注信息对图像（视频）进行检索，从而加快检索速度。

数据库，用于存放视频数据和视频摘要数据。数据库可以设置在独立于检索服务器和视频摘要服务器的计算机上，也可以作为上述两者的部分。

检索服务器，所述检索服务器用于根据用户输入的摘要关键词、以及区域信息和时间信息的至少之一，对检索视频信息、对应的画面帧或者拍摄位置进行检索。与传统的视频摘要不同的是，传统的视频摘要中与本方案的视频摘要中区别在于，传统视频摘要基于安防摄像头，安防摄像头的设置点是固定的，而本方案中巡检设备则是移动的。因此，在检索时，需要考虑定位因素，并基于定位因素给用户提供直观的可视化方案。其中摘要关键词是用于检索的关键词，可以是诸车辆，行人等词语，区域信息是指当前需要检索的区域，可以由用户在地图上选定，例如，框选一个地图区域。时间信息，通常是指一个时间段。

终端设备（搭载有特定软件的电子设备），所述终端设备用于获取用户操作以及显示检索结果。需要理解的是，对于终端设备而言，其目标是为用户提供一个直观清楚的可视化界面，帮助用户分析检索结果。用户通过终端设备可以基于区域、时间和关键词进行检索。例如，用户可以将地图调整到某个区域，然后设定检索的时间段和检索的关键词。终端设备会向检索服务器发起检索，然后将检索后得到的结果返回到终端设备，终端设备根据检索结果进行渲染和显示。

下面对摘要服务器进行视频摘要的处理策略进行说明，在实际应用中，由于巡检设备不同于固定的摄像头，固定摄像头的拍摄区域都是经过设计的区域，这些区域通常是道路或者进出口。而巡检设备的摄像头不是固定的，巡检设备如无人机等会按照一定的巡检路线进行移动并进行拍摄。因此，有可能这些巡检视频中有部分是没有任何有价值的信息内容的，例如部分飞行巡检有部分是为了检查设施外观（如拍摄设施的墙壁），这些视频片段是不会产生有用的摘要信息的。为了评估这些巡检设备对应的视频信息的有效性，本实施例提出利用摘要密度来评估视频的有用性或者是重要程度。

视频摘要服务器根据巡检设备巡检路线对应的视频信息中的摘要密度，决定是否继续对在该巡检路线上产生的新的视频信息进行摘要处理；以及，所述视频摘要服务器根据巡检设备巡检路线对应的视频信息中的摘要密度，决定后续在该巡检路线上产生的新的视频信息的策略。其中，需要理解的是，摘要密度这一概念反映的是在画面帧中出现目标对象的概率，这些目标对象根据需要可以是汽车、飞机、行人、动物或者某些事件等。当视频中摘要密度低于阈值的时候，说明在巡检设备的整个巡检路线上，并不会拍到有意义的目标对象或者拍到有意义的目标的可能性较低。在这种情况下，可以停止对在该巡检路线上产生的视频信息进行视频摘要，以减少无用的处理量。其中，所述摘要密度是指在视频中检出目标对象的数量除以处理的视频帧数的结果。

具体地，所述根据巡检设备巡检路线对应的视频信息中的摘要密度，决定是否继续对在该巡检路线上产生的新的视频信息进行摘要处理，具体是：

判断所述摘要密度是否大于第一阈值，若是，则决定继续对在该巡检路线上产生的新的视频信息进行摘要处理，若否，则决定不继续进行视频摘要处理。可以根据经验设置第一阈值，例如检出率低于5%，则不在进行摘要处理，即平均20帧画面中仅检出一个目标。

所述根据巡检设备巡检路线对应的视频信息中的摘要密度，决定后续在该巡检路线上产生的新的视频信息的策略，具体是：

当所述摘要密度大于第二阈值时，按照第一间隔对视频信息中的画面帧进行抽取处理，当所述摘要密度小于等于第二阈值且大于第一阈值时，按照第二间隔对视频信息中的画面帧进行抽取处理，其中，所述第一间隔小于所述第二间隔。可见，在本实施例中，策略是指对视频信息进行摘要处理时的具体方式。

对于摘要密度较高的视频，说明其相对信息量较大，重要性比较高，因此，可以采用更小的间隔进行画面帧的抽取处理。对于摘要密度相对较低的视频，可以说明其相对不那么重要，可以采用较大的间隔进行画面帧的抽取处理，这样的方式可以降低对不重要的视频的处理量。

此外，在部分实施例中，可以对处理策略进行进一步优化，在这些实施例中，所述根据巡检设备巡检路线对应的视频信息中的摘要密度，决定是否继续对在该巡检路线上产生的新的视频信息进行摘要处理，具体还包括：

对巡检路线对应的视频信息进行分段统计，得到各分段的摘要密度，对摘要密度低于第一阈值的分段进行屏蔽，并记录该分段对应的定位信息，基于所述定位信息，对后续在该巡检路线上产生的视频信息进行分段屏蔽，其中，被屏蔽的视频信息段不作摘要处理。具体地，可以按照每分钟对视频信息进行分段统计，在每一分钟内分析其摘要密度，当某个分段的摘要密度低于第一阈值的时候屏蔽巡检线路上对应的该段视频，需要理解的是，本方案应用于巡检设备中，因此，需要根据上述视频段起始点对应的视频信息来确定出视频段拍摄的路线段落，并且基于此，在往后产生的视频信息中屏蔽属于该段路线对应的视频。可以理解的是，视频段所对应的定位信息可以是指该视频段开始和结束帧对应的两个定位信息（选择产生时间最接近的定位信息作为画面帧对应的定位信息）。

在一种例子中，用户通过在特定区域中使用时间信息检索。

如图3所示，首先终端设备在检索界面中显示地图信息，地图信息可以是基于已有的电子地图加载的，然后在界面中获取用户的检索的时间信息（该时间信息具体是一个时间段），随后通过向检索服务器发起检索，并且在当前显示的地图信息上加载拍摄区域；

其中，终端设备在加载拍摄区域时，终端设备首先在第一图层中显示地图信息，向检索服务器发送所述时间信息和当前显示的区域信息；当前显示的区域信息实际上就是当前检索范围的坐标信息，可以将显示的地图的四个角的定位信息发送到检索服务器，使得检索服务器确定检索范围。然后在该范围中，按照时间信息进行检索。

检索服务器根据时间信息检索当前显示的区域中所涉及的拍摄区域，将检索到的各拍摄区域发送到终端设备；可以理解的是，通过这一方式，用户可以了解到在某个时间段内拍摄所覆盖的区域。在本实施例中，终端设备根据若干个拍摄区域的并集结果在显示于第一图层之上的第二图层中渲染具备预设透明度拍摄区域。如图3所示，用户可以看到在上述时间段内，拍摄的范围可能包括哪些。例如，已知在特定的区域发生了事故，用户需要了解该区域是否可能存在拍摄的映像时，可以通过该区域在一定时间段内的检索来确定在上述区域是否存在拍摄的映像。本方案中，用户只需要搜索到特定的地点（指某个点或者某个区域），并且输入相关的时间段就可以分析系统中是否可能存在相关的视频段。当然，虽然特定的地点未必存在视频段，但是也可以通过周边的视频段分析是否抓拍到有效信息。本申请可以让用户方便地检索到视频的分布情况。

在另一种检索方式中，用户还加入了摘要关键词的检索。在该模式下，用户可以更进一步地检索。如图4所示，用户可以直接在特定的区域和特定的时间段内，检索关于货车的信息。

与前一种实施例相同，终端设备用于在搜索界面中显示地图信息，并获取用户的检索的时间信息和摘要关键词，在当前显示的地图信息上加载拍摄区域；

其中，在加载拍摄区域时，终端设备在第一图层中显示地图信息，向检索服务器发送所述时间信息、摘要关键词和当前显示的地图信息。

检索服务器根据时间信息和摘要关键词检索当前显示的地图区域中所涉及的拍摄区域，将检索到的各拍摄区域发送到终端设备。

终端设备根据若干个拍摄区域的并集结果在显示于第一图层之上的第二图层中渲染具备预设透明度的拍摄区域。通过这样的渲染方式，可以使得用户看清楚地图的同时大致了解到拍摄范围可能覆盖到的区域。需要理解的是，巡检设备所拍摄的方向和角度并非固定的，为了简化设置，通过规则的圆形来简单替代实际的拍摄区域。

与图3中实施例不同的是，在本实施例中，经过了关键词的筛选，仅显示拍摄到特定关键词对应对象的拍摄区域，使得用户可以获知在上述区域中，在特定的时间段内有哪些位置拍摄到相关的对象。用户可以基于上述信息对拍摄到的目标进行人工对比分析，从而确定他们之间是否存在关联。

其中，所述根据时间信息和摘要关键词检索当前显示的地图区域中所涉及的拍摄区域，具体是：

首先，筛选出属于当前显示的地图区域中并且满足所述时间信息选定的时间段的定位信息。由于巡检设备是处于移动状态的，因此，需要结合时间条件，筛选出途经当前区域的所有定位信息。如图2所示，这些定位信息被关联到具体的产生时间的视频信息。

接着，根据所述定位信息关联至对应的候选摘要信息；接着可以利用视频信息作为连接，在属于相同视频信息的摘要信息中，按照产生时间来匹配摘要信息。具体地，确定定位信息对应的视频信息，根据定位信息产生的时间和摘要信息对应的画面帧的产生时间进行匹配。确定出定位信息关联到的摘要信息。

根据用户检索的摘要关键词，从所述候选摘要信息中进行筛选得到目标摘要信息。接着，利用用户检索的关键词筛选出目标摘要信息。

根据若干个目标摘要信息确定对应的目标定位信息。

根据各所述目标定位信息确定对应的拍摄区域。此时，根据目标摘要信息确定出对应的目标定位信息，然后基于定位信息就可以粗略估算出拍摄范围。当然，实际上巡检设备的拍摄范围与其当时的姿态是相关的，在本实施例中，按照一定半径作为巡检设备的拍摄范围，实际拍摄范围与估算的拍摄范围之间存在差异。用户可以基于估计的拍摄范围对目标对象的移动轨迹进行分析。

与相关技术不同的是，传统的安防设施的视频摘要技术中，安防摄像头的位置是固定的，相关技术通常选定若干个摄像头，然后查询这些摄像头在一定时间内的摘要信息。但是本方案中的巡检设备处于移动状态，那么意味着不能通过先选择设备再进行检索的方式来进行摘要检索。本方案通过划定区域范围然后检索相关定位信息的方式来进行检索，可以适应巡检设备移动的特点。

在部分实施例中，检索服务器在确定检索结果之后，根据检索结果中的目标摘要信息，关联至目标视频信息，将所述目标视频信息加载到缓存之中，从所述目标视频信息中抽取与目标摘要信息相关的片段和画面帧进行缓存，其中所述与目标摘要信息相关的片段是指，目标摘要信息对应的视频帧前后设定时间内的画面帧所构成的子视频；当若干目标摘要信息的子视频重叠时，将多个子视频合并为一个子视频。

可以理解的是，在检索服务器中可以设置缓存，由于用户在检索时会在接近的区域进行反复的查看和检索，优化用户体验，会根据用户检索的结果，将相关的视频信息进行缓存，使得用户需要获取上述视频时，速度更快。同时，本方案会根据用户检索的结果，将目标摘要信息相关的画面帧，以及该画面帧前后若干时间长度的视频进行缓存，这样的方式，用户可以获取这些信息时速度比较快，同时，这样的分级缓存方式，适应了上述应用的特点，即，用户在相似区域和时间段进行反复检索时，其实大概率都是基于相同的视频段进行处理，因此，预先加载相关的视频信息对于检索服务器的处理仍然有所帮助。

在部分实施例中，如图4所示，终端设备在第二图层显示所述拍摄区域后，从缓存中加载拍摄区域对应的子视频和画面帧；

当用户选中显示界面中的拍摄区域后，根据用户配置的策略加载显示窗以显示拍摄区域对应的画面帧或者子视频。

在本实施例中，用户可以通过鼠标点击或者悬停在拍摄区域上，拍摄区域可以显示摘要图像或者播放相关的子视频。需要理解的是，可能在同一个区域中包括多个画面帧，可以摘取部分画面帧进行显示，例如在相近的区域中，仅摘取其中一个画面帧进行显示，或者多个画面帧轮换显示。当然，当用户选中一个拍摄区域后，可以向用户提供列表选择的方式来展示这些画面帧或者子视频。通过这一方式，用户可以对检索结果进行浏览，从而确定检索到的是否有用信息，从而可以调整相关检索条件。

在实际的应用中，摘要信息并不一定会进行关联分析，例如在一片区域的一段时间内，均从摘要信息中检索到货车，但是，这两个地点所拍摄到的货车之间是否具备关联关系，需要用户进行人工分析。在部分实施例中，为了辅助用户进行比对，会将可能存在联系的拍摄区域进行关联。例如，用户搜索货车，在当前显示的地图中搜索到多个关于货车的摘要，并显示对应的拍摄区域。用户基于地图上的路径分布，会查看和比对这些画面帧中的目标是否存在关联。在本实施例中，当用户选中显示界面中的拍摄区域后，终端设备根据用户所选中的拍摄区域对应的定位信息和其他拍摄区域的定位信息，计算被选中的拍摄区域中心到其他拍摄区域中心之间的距离，根据检索的目标对象在当前区域的最大估计速度，结合拍摄区域对应的画面帧的产生时间，判断被选中的拍摄区域和其他拍摄区域之间是否存在关联，并将与被选中的拍摄区域存在关联的区域进行标记。如图4所示，当用户选中一个拍摄区域后，与之可能关联的拍摄区域均以虚线的方式标出（当然，虚线仅仅是一种方式，还以通过颜色图案等方式进行表示）。

具体地，可以理解的是，通过计算两个拍摄区域中心的距离，以及两个拍摄区域对应的画面帧的产生时间，在假定两者是相同目标的情形下，可以估算其速度，如果其速度明显是不合常理的，可以排除两者的联系。例如，通常在城市道路中，汽车的平均移动速度会低于80km/h，当我们检索的目标是车辆的时候，如果发现相距1km的两个拍摄点之间的拍摄时间仅差20秒，这显然是不会存在关联的。因此，可以为各类对象设置一定的最大移动速度，然后基于目标在两个拍摄区域的估算移动速度来判断是否存在关联。

具体的计算方式是：计算各拍摄区域对应的产生时间与被选中的拍摄区域对应的产生时间的差值，将各拍摄区域与被选中的拍摄区域之间的距离以及各拍摄区域对应的差值的绝对值相除，得到各拍摄区域对应的估计速度，当所述估计速度小于所述最大估计速度时，判定该拍摄区域与被选中的拍摄区域存在关联，否则，判定不存在关联。

通过表示出存在关联的拍摄区域，使得用户可以更加快速选择目标来进行比对。

在一些实施例中，如图5所示，为了帮助用户进行对比方便用户将自己感兴趣的画面取出，所述终端设备还用于显示对比区域，所述对比区域用于显示用户所选择的拍摄区域对应的画面帧以及画面帧的生成时间和摘要信息；其中，所述对比区中的画面帧按照生成时间进行自动排序。

基于这一区域，用户可以灵活地选择自己需要的摘要画面帧进行排序，从而组织线索，方便用户对目标对象的移动路线进行分析。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种融合巡检设备的视频处理系统，其特征在于，包括：

巡检设备，所述巡检设备包括摄像头，所述巡检设备按照设定路线移动并通过所述摄像头拍摄的视频信息进行图像识别以完成巡检任务；

视频摘要服务器，用于接收所述巡检设备发送的视频信息，并根据所述视频信息执行视频摘要任务，所述巡检任务和视频摘要任务中识别的目标对象至少有部分不相同；其中，所述巡检设备向所述视频摘要服务器发送视频信息时，发送视频信息对应的定位信息；所述视频摘要服务器对所述视频信息中的画面帧进行摘要处理，并将摘要信息、画面帧、视频信息和定位信息关联；

检索服务器，所述检索服务器用于根据用户输入的摘要关键词、区域信息和时间信息的至少之一，对检索视频信息、对应的画面帧或者拍摄位置进行检索。

2.根据权利要求1所述的融合巡检设备的视频处理系统，其特征在于，所述视频摘要服务器根据巡检设备的巡检路线对应的视频信息中的摘要密度，决定是否继续对在该巡检路线上产生的新的视频信息进行摘要处理；以及，所述视频摘要服务器根据巡检设备巡检路线对应的视频信息中的摘要密度，决定后续在该巡检路线上产生的新的视频信息的策略；

其中，所述摘要密度是指在视频中检出目标对象的数量除以处理的视频帧数的结果。

3.根据权利要求2所述的融合巡检设备的视频处理系统，其特征在于，所述根据巡检设备的巡检路线对应的视频信息中的摘要密度，决定是否继续对在该巡检路线上产生的新的视频信息进行摘要处理，具体是：

判断所述摘要密度是否大于第一阈值，若是，则决定继续对在该巡检路线上产生的新的视频信息进行摘要处理，若否，则决定不继续进行视频摘要处理；

所述根据巡检设备巡检路线对应的视频信息中的摘要密度，决定后续在该巡检路线上产生的新的视频信息的策略，具体是：

当所述摘要密度大于第二阈值时，按照第一间隔对视频信息中的画面帧进行抽取处理，当所述摘要密度小于等于第二阈值且大于第一阈值时，按照第二间隔对视频信息中的画面帧进行抽取处理，其中，所述第一间隔小于所述第二间隔。

4.根据权利要求3所述的融合巡检设备的视频处理系统，其特征在于，所述根据巡检设备巡检路线对应的视频信息中的摘要密度，决定是否继续对在该巡检路线上产生的新的视频信息进行摘要处理，具体还包括：

对巡检路线对应的视频信息进行分段统计，得到各分段的摘要密度，对摘要密度低于第一阈值的分段进行屏蔽，并记录该分段对应的起始定位信息和结束定位信息，基于起始定位信息和结束定位信息，对后续在该巡检路线上产生的视频信息进行分段屏蔽，其中，被屏蔽的视频信息段不作摘要处理。

5.根据权利要求1所述的融合巡检设备的视频处理系统，其特征在于，还包括终端设备，所述终端设备用于获取用户操作以及显示检索结果；

所述终端设备用于在搜索界面中显示地图信息，并获取用户的检索的时间信息和摘要关键词，在当前显示的地图信息上加载拍摄区域；

其中，在加载拍摄区域时，终端设备在第一图层中显示地图信息，向检索服务器发送所述时间信息、摘要关键词和当前显示的地图信息；

检索服务器根据时间信息和摘要关键词检索当前显示的地图区域中所涉及的拍摄区域，将检索到的各拍摄区域发送到终端设备；

终端设备根据若干个拍摄区域的并集结果在显示于第一图层之上的第二图层中渲染具备预设透明度的拍摄区域。

6.根据权利要求5所述的融合巡检设备的视频处理系统，其特征在于，所述根据时间信息和摘要关键词检索当前显示的地图区域中所涉及的拍摄区域，具体是：

筛选出属于当前显示的地图区域中并且满足所述时间信息选定的时间段的定位信息；

根据所述定位信息关联至对应的候选摘要信息；

根据用户检索的摘要关键词，从所述候选摘要信息中进行筛选得到目标摘要信息；

根据若干个目标摘要信息确定对应的目标定位信息；

根据各所述目标定位信息确定对应的拍摄区域。

7.根据权利要求6所述的融合巡检设备的视频处理系统，其特征在于，检索服务器在确定检索结果之后，根据检索结果中的目标摘要信息，关联至目标视频信息，将所述目标视频信息加载到缓存之中，从所述目标视频信息中抽取与目标摘要信息相关的片段和画面帧进行缓存，其中，与目标摘要信息相关的片段是指，目标摘要信息对应的视频帧前后设定时间内的画面帧所构成的子视频；当若干目标摘要信息的子视频重叠时，将多个子视频合并为一个子视频。

8.根据权利要求7所述的融合巡检设备的视频处理系统，其特征在于，终端设备在第二图层显示所述拍摄区域后，从缓存中加载拍摄区域对应的子视频和画面帧；

当用户选中显示界面中的拍摄区域后，根据用户配置的策略加载显示窗以显示拍摄区域对应的画面帧或者子视频。

9.根据权利要求8所述的融合巡检设备的视频处理系统，其特征在于，当用户选中显示界面中的拍摄区域后，终端设备根据用户所选中的拍摄区域对应的定位信息和其他拍摄区域的定位信息，计算被选中的拍摄区域中心到其他拍摄区域中心之间的距离，根据检索的目标对象在当前区域的最大估计速度，结合拍摄区域对应的画面帧的产生时间，判断被选中的拍摄区域和其他拍摄区域之间是否存在关联，并将与被选中的拍摄区域存在关联的区域进行标记。

10.根据权利要求9所述的融合巡检设备的视频处理系统，其特征在于，所述判断被选中的拍摄区域和其他拍摄区域之间是否存在关联，具体是：

计算各拍摄区域对应的产生时间与被选中的拍摄区域对应的产生时间的差值，将各拍摄区域与被选中的拍摄区域之间的距离以及各拍摄区域对应的差值的绝对值相除，得到各拍摄区域对应的估计速度，当所述估计速度小于所述最大估计速度时，判定该拍摄区域与被选中的拍摄区域存在关联，否则，判定不存在关联。

Images