CN115604425B - 应用于耕地智保场景的铁塔视联系统 - Google Patents

Abstract

本申请实施例公开了应用于耕地智保场景的铁塔视联系统，应用于土地管理技术领域。上述系统包括摄像数据分析中心和门控中心，上述摄像数据分析中心用于获取地块规划信息，根据上述地块规划信息确定铁塔上每一摄像头的布设位置，以使得每一耕地类型的地块达到耕地智保场景的视联要求；上述摄像数据分析中心还用于对于各摄像头输出的视频进行针对预设类型车辆的连续检测，以及根据检测结果对上述门控中心进行控制；上述预设类型的车辆为用于破坏耕地的非农耕车辆；上述门控中心用于在上述检测结果指示上述预设类型的车辆非法进入耕地的情况下，对上述检测结果对应的耕地进行门控管制。本申请具备高实时性。

Description

应用于耕地智保场景的铁塔视联系统

技术领域

本申请实施例涉及土地管理技术领域，尤其涉及应用于耕地智保场景的铁塔视联系统。

背景技术

为更好适应耕地数量、质量、生态“三位一体”保护，坚守住耕地的管控要求，保证耕地面积不减少、质量不降低、保障粮食安全的，有必要在已有视频监控设施的基础上，提升对于耕地的管理和保障力度，从而产生了耕地智保场景。耕地智保场景是通过融合摄像技术、人工智能技术和计算机技术自动全面对于耕地进行管理的场景，在该场景下的技术方案较为匮乏，亟待提出一种应用于耕地智保场景的技术方案，通过技术创新提升对土地安全的保障能力。

发明内容

为了解决上述至少一个技术问题，本申请实施例提供应用于耕地智保场景的铁塔视联系统。

一方面，本申请实施例提供了应用于耕地智保场景的铁塔视联系统，所述系统包括摄像数据分析中心和门控中心，

所述摄像数据分析中心用于获取地块规划信息，根据所述地块规划信息确定铁塔上每一摄像头的布设位置，以使得每一耕地类型的地块达到耕地智保场景的视联要求；

所述摄像数据分析中心还用于对于各摄像头输出的视频进行针对预设类型车辆的连续检测，以及根据检测结果对所述门控中心进行控制；所述预设类型的车辆为用于破坏耕地的非农耕车辆；

所述门控中心用于在所述检测结果指示所述预设类型的车辆非法进入耕地的情况下，对所述检测结果对应的耕地进行门控管制。

在一个实施例中，所述检测结果包括进入耕地的车辆的车辆类型和被进入的耕地的耕地标识；所述摄像数据分析中心还用于执行下述操作：

响应于所述耕地标识指示所述耕地为有效农业用地并且所述车辆类型为所述预设类型的情况，对所述车辆启动预设监控操作和预设信息提取操作，所述预设监控操作用于对所述车辆在所述耕地内活动进行监控，所述预设信息提取操作用于对所述车辆进行深度的特征提取。

在一个实施例中，响应于所述耕地标识指示所述耕地为有效农业用地并且所述车辆类型为所述预设类型的情况，所述摄像数据分析中心还用于执行下述操作：

激活所述门控中心，以使得所述门控中心对于进入所述耕地的车辆均进行管制操作，所述管制操作包括：

步骤1：对于申请进入的车辆进行第一采集，所述第一采集用于采集所述车辆的车牌号；

步骤2：对所述车辆进行第二采集，所述第二采集用于采集所述车辆的驾驶员的证件信息；

步骤3：响应于所述车牌号和所述证件信息均符合预设要求的情况，开启闸门允许所述车辆进入；并且对所述驾驶员进行第三采集，所述第三采集用于采集所述驾驶员的面部信息；响应于所述车牌号与所述面部信息之间不存在关联关系的情况，构建所述车牌号和所述面部信息之间的关联关系；响应于所述车牌号与所述面部信息之间存在关联关系的情况，基于新采集到的面部信息更新所述关联关系中的面部信息；

步骤4：对于申请进入的车辆进行所述第一采集；

步骤5：响应于所述第一采集得到的车牌号没有对应的关联关系的情况，重复执行步骤2；

步骤6：响应于所述第一采集得到的车牌号有对应的关联关系的情况，查询所述关联关系中的面部信息是否满足完备性要求；

步骤7：响应于所述完备性要求未被满足的情况，重复执行步骤2；

步骤8：响应于所述完备性要求被满足的情况，对所述驾驶员进行第三采集，得到目标面部信息；

步骤9：基于所述目标面部信息和所述关联关系中的面部信息做比对，比对通过，则启动闸门；比对不通过，重复执行步骤2。

在一个实施例中，所述摄像数据分析中心还用于执行下述操作：

响应于所述耕地标识指示所述耕地非有效农业用地，或者，所述车辆类型非所述预设类型的情况，所述摄像数据分析中心基于目标图像生成监控记录，所述目标图像为所述检测结果对应的图像，所述监控记录包括所述目标图像、监控记录生成时间和所述耕地的耕地标识。

在一个实施例中，所述连续检测包括：

对于各摄像头输出的视频中的每一视频，基于第一对象检测模型对所述视频中的每一帧进行检测，所述第一对象检测模型为轻量级对象检测模型，所述第一对象检测模型的分类精度低于第一阈值并且运行速度高于第二阈值；

所述预设监控操作包括：

确定触发所述预设监控操作的视频作为目标视频，将所述目标视频中触发所述预设监控操作的图像作为参考帧，将所述参考帧的下一帧图像确定为当前帧；

将所述当前帧的上一帧中的全部车辆进行基于梯度的光流对象映射，基于映射结果得到所述当前帧的车辆检测结果，所述车辆检测结果包括所述当前帧中的全部车辆；

响应于所述当前帧的帧标识减去所述参考帧的帧标识的结果相对于预设数量的余数为零的情况，基于所述第一对象检测模型对所述当前帧进行基于图像特征的对象检测，根据检测结果更新所述当前帧的车辆检测结果；

根据所述当前帧的车辆检测结果确定每一车辆的轨迹点；

响应于所述当前帧的车辆检测结果与所当前帧的前一帧的车辆检测结果不完全相同的情况，将所述当前帧确定为目标帧；

将所述当前帧的下一帧确定为新的当前帧，重复执行上述步骤；

所述摄像数据分析中心还用于对所述目标帧进行所述预设信息提取操作。

在一个实施例中，所述预设信息提取操作包括：

将所述目标帧和所述参考帧均输入第二对象检测模型进行特征提取；其中，所述第二对象检测模型为重量级信息提取模型，所所述第二对象检测模型的提取精度高于第三阈值并且运行速度低于第四阈值。

本申请实施例提供应用于耕地智保场景的铁塔视联系统，通过在铁塔布设位置上安放摄像头，可以根据规划信息关联的各个耕地进行监控。通过对拍摄得到的视频数据进行分析，可以全自动发现非法进入有效农业耕地的预设类型的车辆。本申请实施例通过设计侧重点不同的多个模型将针对耕地的监管任务进行了有效的分解，从而解决了实时性问题，也就是说，本申请实施例可以实现实时性的高强度的监管。具体表现为，对于视频数据可以采用低精度实时监控从而完成车辆的筛选，对于有可能破坏耕地的车辆进行重点的信息提取和轨迹监控，从而，分层次、分情况的完成科学监管，但是需要注意的是，不论何种情况，本申请都能够实现实时控制，这得益于本申请实施例中模型的设计以及系统架构设计的优势，通过实现功能解耦和负载的均匀分配，使得该系统的各个组件各司其职，并且负载均衡，组件的运行表现均衡，不存在拖慢整体系统响应速度的情况，这是本申请实施例中实现实时控制的关键所在。

并且，本申请实施例还可以触发管制操作，并且在管制操作中实施全自动平滑的鉴权切换，显著提升用户体验。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案和优点，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本说明书实施例提供的应用于耕地智保场景的铁塔视联系统的逻辑框型示意图；

图2是本申请实施例提供的电学组件负载示意图；

图3是本申请实施例提供的管制操作流程图；

图4是本申请实施例提供的基于梯度的光流对象映射示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请实施例保护的范围。

需要说明的是，本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了使本申请实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请实施例，并不用于限定本申请实施例。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本申请实施例详述之前，必须要强调的是，本申请实施例中的内容都是经由有 关部门或者用户授权的情况下实施的，在未来也必须要在经过充分授权后应用。

以下介绍本申请实施例的应用于耕地智保场景的铁塔视联系统，图1示出了本申请实施例提供的应用于耕地智保场景的铁塔视联系统的示意图。

上述系统包括摄像数据分析中心和门控中心，上述摄像数据分析中心用于获取地 块规划信息，根据上述地块规划信息确定铁塔上每一摄像头的布设位置，以使得每一耕地 类型的地块达到耕地智保场景的视联要求。

地块规划信息是有关部门设定的，因此，对于其具体内容本申请实施例不做限定，本申请实施例是基于该地块规划信息来实施相关的动作，但是并不限定该地块规划信息的内容。本申请对于耕地智保场景的视联要求，比如，其可以要求通过设置多个摄像头覆盖待监控地块的全貌和各个重点位置，当然，重点位置根据具体情况确定。通过建设铁塔并安置摄像头直至得到该耕地智保场景的视联要求为止。

上述摄像数据分析中心还用于对于各摄像头输出的视频进行针对预设类型车辆 的连续检测，以及根据检测结果对上述门控中心进行控制；上述预设类型的车辆为用于破 坏耕地的非农耕车辆。

具体来说，上述连续检测包括：

对于各摄像头输出的视频中的每一视频，基于第一对象检测模型对上述视频中的每一帧进行检测，上述第一对象检测模型为轻量级对象检测模型，上述第一对象检测模型的分类精度低于第一阈值并且运行速度高于第二阈值。

请参考图2，其示出本申请中电学组件负载示意图。对于被执行连续检测的每个视频帧，都需要基于第一对象检测模型实施检测，显然，需要被检测的图像帧的数量很可能较多，也很可能源源不断，这就要求实施检测的第一对象检测模型必然具备较好的检测速度。为了达到检测速度要求，本申请实施例调整了第一对象检测模型的规模，通过降低检测精度的方式确保检测速度。也就是说，第一对象检测模型只需要能够识别出预设类型的车辆即可达到本申请实施例的要求，显而易见，本申请实施例只要求第一对象检测模型实现一个基础的分类任务，在第一对象检测模型的设计上侧重于速度要求，适当牺牲了精度要求。

具体来说，上述第一对象检测模型为轻量级、用于检测预设类型的车辆的对象检测模型，上述第一对象检测模型被训练为进行分类的模型，上述第一对象检测模型的分类精度低于第一阈值并且运行速度高于第二阈值。本申请实施例对于第一阈值和第二阈值不做限定。但是可以确定的是，第一阈值必然低于用于限定下文的重量级信息提取模型(第二对象检测模型)提取精度的第三阈值，第二阈值高于用于限定下文的重量级信息提取模型的运行速度的第四阈值，当然，第三阈值和第四阈值的设定也根据实际情况确定。

前文说过，第一对象检测模型只是实现了一个基础的分类任务，该第一对象检测模型可以通过训练神经网络的方式得到，这一训练方式也十分简单，可以参考其他现有技术，当然，为了达到本申请实施例的运行要求，相关人员也可以进行模型剪枝等操作进一步降低第一对象检测模型的规模，当然，模型剪枝也会牺牲精度，但是本申请实施例对于第一对象检测模型的精度要求本来就低。这得益于本申请的电学组件负载的设计框架，因为进行连续检测以及后续的针对某些帧的深度的特征特征提取这些任务都很大很重，实时性要求却非常高，使用单一的模型必然不能同时达到任务执行要求和实时性要求，因此，本申请实施例进行了任务的分解，第一对象检测模型只需要执行基础的分类任务即可，其会被频繁启动，长期运行，检测图像的数量也多，因此，被配置为执行基础的分类任务，以便于尽量满足实时性要求。

上述门控中心用于在上述检测结果指示上述预设类型的车辆非法进入耕地的情 况下，对上述检测结果对应的耕地进行门控管制。

本申请实施例认为，对于有效的农耕用地而言，在其中运行农耕有关的机械设备是安全合理的，但是非农耕车辆可能会破坏农耕用地，因此，非农耕车辆进入有效的农耕用地即可以被判定为“非法”，当然，本申请实施例中对于非农耕车辆不做限定，可以被认为其是与耕作完全无关的车辆，比如，吊车、混凝土搅拌车等。

在该连续检测的过程中可以输出检测结果，上述检测结果包括进入耕地的车辆的车辆类型和被进入的耕地的耕地标识；上述摄像数据分析中心还用于执行下述操作：

响应于上述耕地标识指示上述耕地为有效农业用地并且上述车辆类型为上述预设类型的情况，对上述车辆启动预设监控操作和预设信息提取操作，上述预设监控操作用于对上述车辆在上述耕地内活动进行监控，上述预设信息提取操作用于对上述车辆进行深度的特征提取。

在一个具体的实施例中，响应于上述耕地标识指示上述耕地为有效农业用地并且上述车辆类型为上述预设类型的情况，上述摄像数据分析中心还用于执行下述操作：

激活上述门控中心，以使得上述门控中心对于进入上述耕地的车辆均进行管制操作，如图3所示，上述管制操作包括：

步骤1：对于申请进入的车辆进行第一采集，上述第一采集用于采集上述车辆的车牌号。

步骤2：对上述车辆进行第二采集，上述第二采集用于采集上述车辆的驾驶员的证件信息。

如果管制操作被启动，则进入该耕地都需要审核身份，电子闸门只允许符合审核要求的车辆进入。也就是说，为了强化对于相关的耕地的监管，只有在车牌号和证件信息都授权的情况下才运行车辆通过，防止非法车辆在没有经过批准的情况下进入有效农业用地从事破坏农耕土地的活动。

步骤3：响应于上述车牌号和上述证件信息均符合预设要求的情况，开启闸门允许上述车辆进入；并且对上述驾驶员进行第三采集，上述第三采集用于采集上述驾驶员的面部信息；响应于上述车牌号与上述面部信息之间不存在关联关系的情况，构建上述车牌号和上述面部信息之间的关联关系；响应于上述车牌号与上述面部信息之间存在关联关系的情况，基于新采集到的面部信息更新上述关联关系中的面部信息。

本申请实施例对于预设要求没有限定，比如，可以将被允许进入的车牌号和证件信息提前请求有关部门批准登记，并记录在门控中心关联的数据库中，门控中心基于获取到的车牌号和证件信息去查询该数据库，如果查询成功，则表征该预设要求被符合，可以开启闸门允许车辆进入。

车辆首次进入的情况下步骤1和步骤2都需要被实施，如果车辆被允许进入，还可以在驾驶员无感知的情况下采集该驾驶员的面部信息，构建上述车牌号和上述面部信息之间的关联关系。

如果车辆再次进入，还可以再次在驾驶员无感知的情况下采集该驾驶员的面部信息，完善上述车牌号和上述面部信息之间的关联关系。

步骤4：对于申请进入的车辆进行上述第一采集。

步骤4中的车辆必然不是首次进入的车辆(首次进入的车辆的第一采集在步骤1)，但是对于再次进入的车辆，依然需要通过第一采集得到车牌号。

步骤5：响应于上述第一采集得到的车牌号没有对应的关联关系的情况，重复执行步骤2。

如果没有对应的关联关系，则重复到步骤2去顺次执行。

步骤6：响应于上述第一采集得到的车牌号有对应的关联关系的情况，查询上述关联关系中的面部信息是否满足完备性要求。

如果有对应的关联关系，则可以该关联关系中的面部信息是否满足完备性要求，本申请实施例中完备性要求是指该关联关系中的面部信息足以支持人脸识别，对于完备性要求的具体内容和判断方法本申请实施例不做赘述，并非重点可以参考现有技术。

步骤7：响应于上述完备性要求未被满足的情况，重复执行步骤2。

步骤8：响应于上述完备性要求被满足的情况，对上述驾驶员进行第三采集，得到目标面部信息。

如果完备性要求被满足，直接采集驾驶员的目标面部信息即可通过人脸识别的方式判断该驾驶员是否为合法驾驶员，而无需要求驾驶员出示证件。如果人脸识别不通过，可以重新执行步骤2，如果人脸识别通过，可以直接放行。

步骤9：基于上述目标面部信息和上述关联关系中的面部信息做比对，比对通过，则启动闸门。

如果比对不通过，重复执行步骤2。

根据前文可知本申请的管制操作有如下有益效果：

(1)安全级别高，至少需要两种信息才可以被准许进入，车牌号和证件信息都符合要求，或者车牌号和面部信息符合要求，才可以被准许进入。

(2)实现无知觉的鉴权切换，车辆首次或者前几次进入，缺少驾驶员面部信息，则可以要求驾驶员出示证件，并且在驾驶员无感知情况下采集面部信息，在面部信息充足后，即可基于面部信息自动为有权限的驾驶员及其车辆启动闸门，实现无障碍全自动的通行服务，而不再需要驾驶员驾车停留出示证件，对驾驶员是无感知和友好的，驾驶员从一开始需要出示证件到后来的无需证件的两种鉴权方式平滑切换，并且全程无感，显著提升驾驶员的通行体验。

当然，在一个实施例中，上述摄像数据分析中心还用于执行下述操作：

响应于上述耕地标识指示上述耕地非有效农业用地，或者，上述车辆类型非上述预设类型的情况，上述摄像数据分析中心基于目标图像生成监控记录，上述目标图像为上述检测结果对应的图像，上述监控记录包括上述目标图像、监控记录生成时间和上述耕地的耕地标识。

响应于上述耕地标识指示上述耕地为有效农业用地并且上述车辆类型为上述预设类型的情况，预设监控操作会被启动，上述预设监控操作包括：

S101.确定触发上述预设监控操作的视频作为目标视频，将上述目标视频中触发上述预设监控操作的图像作为参考帧，将上述参考帧的下一帧图像确定为当前帧。

S102.将上述当前帧的上一帧中的全部车辆进行基于梯度的光流对象映射，基于映射结果得到上述当前帧的车辆检测结果，上述车辆检测结果包括上述当前帧中的全部车辆。

基于梯度的光流对象映射，指的是将当前帧的上一帧所对应的车辆检测结果中的全部目标对象都向当前帧映射，实质上这实现了上述全部目标对象的溯源。如图4所示，其示出基于梯度的光流对象映射示意图。左图为当前帧的上一帧，其中包括2个对象，即分别位于位置A和位置B的对象1和对象2，对这2个对象进行基于梯度的光流对象映射，可以发现对象1和对象2分别位于当前帧的位置C和位置D，这既得到了轨迹又尽量不会丢失对象。基于梯度的光流对象映射是现有技术，本申请实施例对此不做限定，这个技术目前也速度较快，不会因为运行该技术而影响实时监管。

S103.响应于上述当前帧的帧标识减去上述参考帧的帧标识的结果相对于预设数量的余数为零的情况，基于上述第一对象检测模型对上述当前帧进行基于图像特征的对象检测，根据检测结果更新上述当前帧的车辆检测结果。

但是，本申请实施例也认为基于梯度的光流对象映射的可靠性也是有限的，已经被检测出的车辆依然可能丢失，新出现的车辆也有可能发现不了，所以本申请实施例设定在上述当前帧的帧标识和上述参考帧的帧标识的差值相对于预设数量的余数为零的情况下，基于上述第一对象检测模型对上述当前帧进行基于图像特征的对象检测，根据检测结果更新上述当前帧的车辆检测结果。比如，当前帧的帧标识为10，参考帧的帧标识为5，差值为5，预设数量为5，则余数为0，步骤S103被启动。参考帧的帧标识和预设数量都可以被设置为预设非零值。并且大于1。这样就能及时发现被丢失的车辆和新出现的车辆，从而确保监管的及时有效。需要指的注意的是，只有在特定情况才执行步骤S103,可以降低第一对象检测模型的使用频率，也就是说，本申请实施例通过引入基于梯度的光流对象映射降低了第一对象检测模型的启动频率，第一对象检测模型相对于基于梯度的光流对象映射来说速度稍慢，因此，这种设计既可以达到实时性检测要求，又可以及时发现被丢失的车辆和新出现的车辆，从而确保监管的及时有效，是本申请实施例另一个为了满足实时性要求的独特设计。

S104.根据上述当前帧的车辆检测结果确定每一车辆的轨迹点。

通过轨迹点的确定可以生成对于预设类型车辆的监控轨迹，提升监控力度。

S105.响应于上述当前帧的车辆检测结果与所当前帧的前一帧的车辆检测结果不完全相同的情况，将上述当前帧确定为目标帧；上述摄像数据分析中心还用于对上述目标帧进行上述预设信息提取操作。

也就是说，如果全部帧的车辆检测结果不发生变动，只需要对参考帧进行前述的预设信息提取操作和预设监控操作。如果变动了，预设类型的车辆多了，或者少了，只被参考帧和目标帧触发预设信息提取操作和预设监控操作，从而降低了预设信息提取操作和预设监控操作的启动频率，进一步提速满足系统的实时性要求。

S106.将上述当前帧的下一帧确定为新的当前帧，重复执行上述步骤。

显然，步骤S101-S106是一个连续的过程，至于这一连续的过程的停止条件可以根据本领域技术人员来确定，并非本申请实施例重点，不做赘述。

具体来说，上述预设信息提取操作包括：将上述目标帧和上述参考帧均输入第二对象检测模型进行特征提取；其中，上述第二对象检测模型为重量级信息提取模型，所上述第二对象检测模型的提取精度高于第三阈值并且运行速度低于第四阈值。

请参考图2，重量级信息提取模型是一种精细化模型，可以实现非常精细的信息提取和精准的分类，因此，速度也相对慢一些，应用于严苛监管，得到更为丰富的用于监管的信息，本申请实施例中只需要对目标帧和参考帧，才需要使用第二对象检测模型来处理，也就是说，第二对象检测模型的启动频率也是很低的，从而可以满足系统的实时性要求。

为了使得第二对象模型的特征提取精度充分满足严苛监管的需求，本申请实施例对该模型的训练方法进行详述，当然，本申请实施例并不限定该第二对象模型的具体结构，因为只要能适配该训练方法的神经网络理论上都可以，因此，本申请实施例并不限定结构。

在一个具体的实施例中，上述第二对象检测模型通过下述方法训练得到：

步骤10：获取车辆样本图像集，上述车辆样本图像集中每个样本序列包括多个车辆样本图像以及对应的标注信息，并且上述多个车辆样本图像中每一车辆样本图像均指向同一个车牌号。

步骤11：针对任一样本序列，将上述样本序列中各样本图像分别独立输入第一特征提取模型和第二特征提取模型，分别对应得到第一样本信息矩阵序列和第二样本信息矩阵序列，其中，上述第一特征提取模型为预训练的用于提取车辆整体特征的模型，上述第二特征提取模型为预训练的用于提取车辆关键区域的特征的模型。

本申请实施例并不限定第一特征提取模型和第二特征提取模型的结构，其只要可以进行信息提取即可，比如可以是包括金字塔网络，深度卷积网络等。每个样本图像都可以经由第一特征提取模型和第二特征提取模型后，被对应输出对应的第一样本信息矩阵和第二样本信息矩阵。当然，为了提升训练速度上述第一特征提取模型为预训练的用于提取车辆整体特征的模型，上述第二特征提取模型为预训练的用于提取车辆关键区域的特征的模型。对于预训练的方法和关键位置不做限定，预训练可以在开源网络的参数的指导下进行，关键位置与监管要求有关，可以根据实际情况进行设定。预训练过程采用了现有技术，对此，本申请实施例不做限定。

步骤12：对上述第一样本信息矩阵序列中的各个第一样本信息矩阵分别进行降采样处理，得到第一样本信息分布。

本申请实施例并不限定降采样的方法，可以参考现有技术，通过降采样可以降低第一样本信息矩阵序列的维度，比如将该第一样本信息矩阵序列的每一个元素都映射为一个多维向量，从而得到多维向量序列，该多维向量序列即可表征第一样本信息分布。

步骤13：对上述第二样本信息矩阵序列中的各个第二样本信息矩阵分别进行降采样处理，得到第二样本信息分布。

步骤14：将上述第一样本信息矩阵序列输入预训练的车辆检测模型，得到第一检测结果分布。

步骤15：将上述第二样本信息矩阵序列输入预训练的车辆检测模型，得到第二检测结果分布。

进行特征提取的目的在于提取到足够准确的信息以达到精确的车辆检测的目的，也就是说，车辆检测的结果准确与否直接衡量了提取到的信息是否准确，通过结果驱动的思想，本申请实施例引入了预训练的车辆检测模型，通过该模型对第一样本信息矩阵序列和第二样本信息矩阵序列进行分别处理，可以得到第一检测结果分布和第二检测结果分布。以第一检测结果分布为例，对第一样本信息矩阵序列中每一矩阵输入该车辆检测模型可以得到对应的检测结果，各检测结果形成的分布即为第一检测结果分布。本申请的车辆检测模型只是用于衡量样本信息质量从而指导模型训练的，因此，对于车辆检测模型本身不做要求，可以进行车辆检测即可，可以自己训练，也可以从开源网络获取。

步骤16：基于上述第一样本信息分布和上述第二样本信息分布之间的差异，得到异模型本体损失。

本申请实施例在进行损失设计的时候使用异模型本体损失描述由不同的模型(第一特征提取模型和第二特征提取模型)提取出的信息的分布差异，本申请实施例认为，对于相同的样本序列，第一特征提取模型和第二特征提取模型由于关注的位置不同提取的信息有差异是正常的，但是信息的在样本序列这个纵向的分布应该是具有一致性的，如果不一致，就会产生异模型本体损失。当然，本申请对于各种“差异”的具体刻画方法不做限定，因为现有技术中有大量的刻画各种“差异”的方法，本申请的重点和其中一个发明点在于公开“何种差异”，通过刻画哪些差异才能达到训练目的，而不是具体的差异如何刻画。

步骤17：基于上述第一检测结果分布和上述第二检测结果分布之间的差异，得到异模型表现损失。

本申请实施例在进行损失设计的时候使用异模型表现损失描述由不同的模型(第一特征提取模型和第二特征提取模型)提取出的信息的分布差异导致的车辆检测结果的差异。因为使用的是相同的车辆检测模型，因此该结果的差异指示从结果驱动的角度进一步描述了第一特征提取模型和第二特征提取模型的异模型差异，该差异即为异模型表现损失。本申请实施例认为，对于相同的样本序列，第一特征提取模型和第二特征提取模型由于关注的位置不同提取的信息有差异是正常的，但是信息的在样本序列这个纵向的分布应该是具有一致性的，相应的，检测结果也应当具有一致性，如果不一致，就会产生异模型表现损失。

步骤18：基于上述第一检测结果分布和上述样本序列对应的标注信息之间的差异，得到第一车辆检测损失。

进行特征提取的目的在于得到准确的检测结果，因此应当基于检测结果进行特征提取有关的模型的参数调整，也就是说，步骤18和步骤19是通过预测值和真值的差异的角度来刻画损失。

步骤19：基于上述第二检测结果分布和上述样本序列对应的标注信息之间的差异，得到第二车辆检测损失。

步骤20：根据上述异模型本体损失、上述异模型表现损失、上述第一车辆检测损失和上述第二车辆检测损失，确定模型训练损失。

本申请实施例可以通过加权的方式来确定模型训练损失,当然，权值不做限定，本领域技术人员可以根据实际情况设定，不赘述。

步骤21：基于上述模型训练损失调整上述第一特征提取模型的参数以及上述第二提取模型的参数。

调参方式和训练迭代是现有技术，不赘述。训练结束后，基于调整参数后得到的第一特征提取模型和上述车辆检测模型得到联合模型，将上述联合模型作为上述第二对象检测模型。通过上述训练方法，第一特征提取模型与第二特征提取模型彼此之间进行了充分的信息交流，也充分的吸取对方的知识，第一特征提取模型本身就可以提取全局特征信息，现在经过训练之后增加了关键位置的提取能力，特征提取能力被显著地增强了。车辆检测模型的获取方法不做限定，可以参考现有技术，但是该第二对象检测模型毫无疑问是一个重量级的模型，因为其具备非常强的信息提取能力，速度也相对较慢，但是提取到的信息含量是非常丰富的，并且检测准确度也高。

使用上述第二对象检测模型中的第一特征提取模型，对上述目标帧以及参考帧进行特征提取；将特征提取结果输入上述第二对象检测模型中的车辆检测模型进行车辆识别，识别结果可以由数据分析中心进行记录。

本申请实施例提供应用于耕地智保场景的铁塔视联系统，通过在铁塔布设位置上安放摄像头，可以根据规划信息关联的各个耕地进行监控。通过对拍摄得到的视频数据进行分析，可以全自动发现非法进入有效农业耕地的预设类型的车辆。本申请实施例通过设计侧重点不同的多个模型将针对耕地的监管任务进行了有效的分解，从而解决了实时性问题，也就是说，本申请实施例可以实现实时性的高强度的监管。具体表现为，对于视频数据可以采用低精度实时监控从而完成车辆的筛选，对于有可能破坏耕地的车辆进行重点的信息提取和轨迹监控，从而，分层次、分情况的完成科学监管，但是需要注意的是，不论何种情况，本申请都能够实现实时控制，这得益于本申请实施例中模型的设计以及系统架构设计的优势，通过实现功能解耦和负载的均匀分配，使得该系统的各个组件各司其职，并且负载均衡，组件的运行表现均衡，不存在拖慢整体系统响应速度的情况，这是本申请实施例中实现实时控制的关键所在。

并且，本申请实施例还可以触发管制操作，并且在管制操作中实施全自动平滑的鉴权切换，显著提升用户体验。

以上上述仅为本申请实施例的较佳实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。

Claims (5)

1.一种应用于耕地智保场景的铁塔视联系统，其特征在于，所述系统包括摄像数据分析中心和门控中心，

所述摄像数据分析中心用于获取地块规划信息，根据所述地块规划信息确定铁塔上每一摄像头的布设位置，以使得每一耕地类型的地块达到耕地智保场景的视联要求；

所述摄像数据分析中心还用于对于各摄像头输出的视频进行针对预设类型车辆的连续检测，以及根据检测结果对所述门控中心进行控制；所述预设类型的车辆为用于破坏耕地的非农耕车辆，其中，连续检测包括：对于各摄像头输出的视频中的每一视频，基于第一对象检测模型对所述视频中的每一帧进行检测，所述第一对象检测模型为轻量级对象检测模型，所述第一对象检测模型的分类精度低于第一阈值并且运行速度高于第二阈值；

预设监控操作包括：

确定触发所述预设监控操作的视频作为目标视频，将所述目标视频中触发所述预设监控操作的图像作为参考帧，将所述参考帧的下一帧图像确定为当前帧；

将所述当前帧的上一帧中的全部车辆进行基于梯度的光流对象映射，基于映射结果得到所述当前帧的车辆检测结果，所述车辆检测结果包括所述当前帧中的全部车辆；

响应于所述当前帧的帧标识减去所述参考帧的帧标识的结果相对于预设数量的余数为零的情况，基于所述第一对象检测模型对所述当前帧进行基于图像特征的对象检测，根据检测结果更新所述当前帧的车辆检测结果；

根据所述当前帧的车辆检测结果确定每一车辆的轨迹点；

响应于所述当前帧的车辆检测结果与所当前帧的前一帧的车辆检测结果不完全相同的情况，将所述当前帧确定为目标帧；

将所述当前帧的下一帧确定为新的当前帧，重复执行上述步骤；

所述摄像数据分析中心还用于对所述目标帧进行预设信息提取操作；

所述门控中心用于在所述检测结果指示所述预设类型的车辆非法进入耕地的情况下，对所述检测结果对应的耕地进行门控管制。

2.根据权利要求1所述的应用于耕地智保场景的铁塔视联系统，其特征在于，所述检测结果包括进入耕地的车辆的车辆类型和被进入的耕地的耕地标识；所述摄像数据分析中心还用于执行下述操作：

响应于所述耕地标识指示所述耕地为有效农业用地并且所述车辆类型为所述预设类型的情况，对所述车辆启动预设监控操作和预设信息提取操作，所述预设监控操作用于对所述车辆在所述耕地内活动进行监控，所述预设信息提取操作用于对所述车辆进行深度的特征提取。

3.根据权利要求1所述的应用于耕地智保场景的铁塔视联系统，其特征在于，响应于所述耕地标识指示所述耕地为有效农业用地并且所述车辆类型为所述预设类型的情况，所述摄像数据分析中心还用于执行下述操作：

激活所述门控中心，以使得所述门控中心对于进入所述耕地的车辆均进行管制操作，所述管制操作包括：

步骤1：对于申请进入的车辆进行第一采集，所述第一采集用于采集所述车辆的车牌号；

步骤2：对所述车辆进行第二采集，所述第二采集用于采集所述车辆的驾驶员的证件信息；

步骤3：响应于所述车牌号和所述证件信息均符合预设要求的情况，开启闸门允许所述车辆进入；并且对所述驾驶员进行第三采集，所述第三采集用于采集所述驾驶员的面部信息；响应于所述车牌号与所述面部信息之间不存在关联关系的情况，构建所述车牌号和所述面部信息之间的关联关系；响应于所述车牌号与所述面部信息之间存在关联关系的情况，基于新采集到的面部信息更新所述关联关系中的面部信息；

步骤4：对于申请进入的车辆进行所述第一采集；

步骤5：响应于所述第一采集得到的车牌号没有对应的关联关系的情况，重复执行步骤2；

步骤6：响应于所述第一采集得到的车牌号有对应的关联关系的情况，查询所述关联关系中的面部信息是否满足完备性要求；

步骤7：响应于所述完备性要求未被满足的情况，重复执行步骤2；

步骤8：响应于所述完备性要求被满足的情况，对所述驾驶员进行第三采集，得到目标面部信息；

步骤9：基于所述目标面部信息和所述关联关系中的面部信息做比对，比对通过，则启动闸门；比对不通过，重复执行步骤2。

4.根据权利要求2所述的应用于耕地智保场景的铁塔视联系统，其特征在于，所述摄像数据分析中心还用于执行下述操作：

响应于所述耕地标识指示所述耕地非有效农业用地，或者，所述车辆类型非所述预设类型的情况，所述摄像数据分析中心基于目标图像生成监控记录，所述目标图像为所述检测结果对应的图像，所述监控记录包括所述目标图像、监控记录生成时间和所述耕地的耕地标识。

5.根据权利要求1所述的应用于耕地智保场景的铁塔视联系统，其特征在于，所述预设信息提取操作包括：

将所述目标帧和所述参考帧均输入第二对象检测模型进行特征提取；其中，所述第二对象检测模型为重量级信息提取模型，所所述第二对象检测模型的提取精度高于第三阈值并且运行速度低于第四阈值。

Images