CN113747123A - 航拍违法检测系统、视频处理装置和违法检测装置 - Google Patents

Abstract

本申请提供一种航拍违法检测系统，包括视频处理模块和违法检测模块，其中视频处理模块获取广角视频数据和长焦视频数据，并根据违法检测模块发送的控制指令，将广角视频数据或者长焦视频数据发送到违法检测模块；违法检测模块接收广角视频数据或者长焦视频数据进行违法检测，并发送控制指令到视频处理模块，实现了视频处理模块和违法检测模块的紧密配合，在保证违法检测精度的同时减少了视频数据传输。本申请同时还提供了一种视频处理装置和违法检测装置，均具有上述有益效果。

Description

航拍违法检测系统、视频处理装置和违法检测装置

技术领域

本申请涉及违法检测领域，特别涉及一种航拍违法检测系统、视频处理装置和违法检测装置。

背景技术

基于无人机航拍的违法检测，总体上还是一个新兴方向。目前的方法和系统，主要由无人机平台、4G/专用图像传输电台视频传输、机载或地面识别模块构成，实际应用过程中存在很多缺陷。小型旋翼无人机，受制于航时、航程、速度等影响，只能在较小范围内实现路网/边境/线路监视，不能实现长距离路网/边境/线路覆盖。起飞重量几十公斤级的固定翼无人机，航程、速度可以满足路网/边境/线路监视监视要求，但在视频采集、视频传输方面仍有问题需要解决。

快速变焦摄像机，目标易脱锁；慢速变焦摄像机，识别模块没有足够的抓拍、识别时间。一款民用摄像机，其变焦范围很难兼顾较大范围查看和较小目标识别两个任务。吊舱搭载广角、长焦双摄像机可以解决上述矛盾。采用广角、长焦双可见光摄像机后，由于机载模块处理能力不足，需将视频传输到地面进行处理。目前无人机大量使用专用图传电台，受制于电台体积、重量、同频干扰，路网/边境/线路巡视无人机难以配置大功率图传；即使配置，也不能满足路网/边境/线路监视应用中动辄七八十、上百公里的视频传输需要。实际应用场景中，只能使用体积小、重量轻、发射功率较低、经济实用的图传，单级传输距离基本在十几公里到30公里。

如何实现航拍违法检测系统的视频端和检测端的紧密配合，在保证违法检测精度的同时减少视频数据传输是目前亟需解决的问题。

发明内容

本申请的目的是提供一种航拍违法检测系统，能够在保证违法检测精度的同时减少视频数据传输。其具体方案如下：

本申请提供一种航拍违法检测系统，包括视频处理模块和违法检测模块，其中，

视频处理模块获取广角视频数据和长焦视频数据，并根据违法检测模块发送的控制指令，将广角视频数据或者长焦视频数据发送到违法检测模块；

违法检测模块接收广角视频数据或者长焦视频数据进行违法检测，并发送控制指令到视频处理模块。

可选的，所述视频处理模块获取广角视频数据和长焦视频数据，并根据违法检测模块发送的控制指令，将广角视频数据或者长焦视频数据发送到违法检测模块，包括：

视频处理模块采集广角视频数据和长焦视频数据并进行存储；

视频处理模块接收到违法检测模块发送的目标锁定指令，将广角视频数据无缝切换为长焦视频数据发送到违法检测模块；

视频处理模块接收到违法检测模块发送的解除锁定指令，将长焦视频数据无缝切换为广角视频数据发送到违法检测模块。

可选的，所述视频处理模块采集广角视频数据和长焦视频数据并进行存储，包括：

视频处理模块同时采集广角视频数据和长焦视频数据，并对广角视频数据和长焦视频数据采用相同的压缩算法、帧率和参数进行压缩编码，得到的压缩编码后的广角视频数据和长焦视频数据的视频帧只包含I帧和P帧；

将压缩编码后的广角视频数据和长焦视频数据进行存储。

可选的，所述视频处理模块接收到违法检测模块发送的目标锁定指令，将广角视频数据无缝切换为长焦视频数据发送到违法检测模块，包括：

视频处理模块接收到违法检测模块发送的目标锁定指令后，更新长焦视频数据的时间戳与广角视频数据的时间戳同步，同时在广角视频数据中将违法目标锁定，并通过变焦逐渐减小广角视频数据的巡航视场，当广角视频数据的巡航视场变焦到最小视场且长焦视频数据到达I帧时，将长焦视频数据推送到视频输出流发送到违法检测模块完成无缝切换；

视频处理模块接收到违法检测模块发送的解除锁定指令，将长焦视频数据无缝切换为广角视频数据发送到违法检测模块，包括：

视频处理模块接收到违法检测模块发送的解除锁定指令后，更新广角视频数据的时间戳与长焦视频数据的时间戳同步，同时在长焦视频数据中保持违法目标锁定，并通过变焦逐渐扩大长焦视频数据的视场，当长焦视频数据的视场变焦到最大视场且广角视频数据到达I帧时，将广角视频数据推送到视频输出流发送到违法检测模块，并通过变焦逐渐增大广角视频数据的视场，当广角视频数据的视场变焦到巡航视场时完成无缝切换。

可选的，所述违法检测模块接收广角视频数据或者长焦视频数据进行违法检测，并发送控制指令到视频处理模块，包括：

违法检测模块无缝接收广角视频数据或者长焦视频数据；

违法检测模块对广角视频数据进行违法目标检测，当检测到违法目标时发送目标锁定指令到视频处理模块；

违法检测模块对长焦视频数据进行违法目标识别，当识别违法目标预设次数后发送解除锁定指令到视频处理模块。

可选的，所述违法检测模块包括检测算法单元和多个视频接收单元，检测算法单元与多个视频接收单元有线连接；违法检测模块无缝接收广角视频数据或者长焦视频数据均采用下述视频接收方法；

所述视频接收方法包括：

多个视频接收单元同时接收视频数据，并向检测算法单元实时上报接收数据质量；

检测算法单元根据无人机当前位置、视频接收单元位置和接收数据质量选择当前最优视频接收单元，并向所有视频接收单元发送通知信息，所述通知信息中携带允许发送视频数据的当前最优视频接收单元地址；

所有视频接收单元接收通知信息，若当前最优视频接收单元与上一个最优视频接收单元不同，则当前最优视频接收单元在收到下一个I帧后，开始向检测算法单元发送视频数据，当前正在发送视频数据的上一个最优视频接收单元在收到下一个I帧后，停止向检测算法单元发送视频数据；若当前最优视频接收单元与上一个最优视频接收单元相同，则上一个最优视频接收单元继续发送视频数据；其他的视频接收单元在收到视频数据后直接丢弃。

本申请提供一种视频处理装置，包括：

视频采集存储模块，用于采集广角视频数据和长焦视频数据并存储；

视频切换发送模块，用于接收到目标锁定指令，将广角视频数据无缝切换为长焦视频数据进行发送，还用于接收到解除锁定指令，将长焦视频数据无缝切换为广角视频数据进行发送。

可选的，所述视频采集存储模块包括：

视频采集压缩单元，用于同时采集广角视频数据和长焦视频数据，并对广角视频数据和长焦视频数据采用相同的压缩算法、帧率和参数进行压缩编码，得到的压缩编码后的广角视频数据和长焦视频数据的视频帧只包含I帧和P帧；

视频存储处理单元，用于将压缩编码后的广角视频数据和长焦视频数据进行存储；

所述视频切换发送模块包括：

广角长焦切换单元，用于接收到目标锁定指令后，更新长焦视频数据的时间戳与广角视频数据的时间戳同步，同时在广角视频数据中将违法目标锁定，并通过变焦逐渐减小广角视频数据的巡航视场，当广角视频数据的巡航视场变焦到最小视场且长焦视频数据到达I帧时，将长焦视频数据推送到视频输出流完成无缝切换；

长焦广角切换单元，用于接收到解除锁定指令后，更新广角视频数据的时间戳与长焦视频数据的时间戳同步，同时在长焦视频数据中保持违法目标锁定，并通过变焦逐渐扩大长焦视频数据的视场，当长焦视频数据的视场变焦到最大视场且广角视频数据到达I帧时，将广角视频数据推送到视频输出流，并通过变焦逐渐增大广角视频数据的视场，当广角视频数据的视场变焦到巡航视场时完成无缝切换。

本申请提供一种违法检测装置，包括检测算法单元和多个视频接收单元，检测算法单元与多个视频接收单元有线连接；其中，

检测算法单元通过多个视频接收单元无缝接收广角视频数据或者长焦视频数据；

检测算法单元对广角视频数据进行违法目标检测，当检测到违法目标时发送目标锁定指令；

检测算法单元对长焦视频数据进行违法目标识别，当识别违法目标预设次数后发送解除锁定指令。

可选的，所述检测算法单元通过多个视频接收单元无缝接收广角视频数据或者长焦视频数据均采用下述视频接收方法；

所述视频接收方法包括：

多个视频接收单元同时接收视频数据，并向检测算法单元实时上报接收数据质量；

检测算法单元根据无人机当前位置、视频接收单元位置和接收数据质量选择当前最优视频接收单元，并向所有视频接收单元发送通知信息，所述通知信息中携带允许发送视频数据的当前最优视频接收单元地址；

所有视频接收单元接收通知信息，若当前最优视频接收单元与上一个最优视频接收单元不同，则当前最优视频接收单元在收到下一个I帧后，开始向检测算法单元发送视频数据，当前正在发送视频数据的上一个最优视频接收单元在收到下一个I帧后，停止向检测算法单元发送视频数据；若当前最优视频接收单元与上一个最优视频接收单元相同，则上一个最优视频接收单元继续发送视频数据；其他的视频接收单元在收到视频数据后直接丢弃。

本申请提供一种航拍违法检测系统，包括视频处理模块和违法检测模块，其中视频处理模块获取广角视频数据和长焦视频数据，并根据违法检测模块发送的控制指令，将广角视频数据或者长焦视频数据发送到违法检测模块；违法检测模块接收广角视频数据或者长焦视频数据进行违法检测，并发送控制指令到视频处理模块。

可见，本申请通过视频处理模块根据违法检测模块发送的控制指令发送广角视频数据或者长焦视频数据到违法检测模块，违法检测模块进行违法检测并发送控制指令到视频处理模块对发送的视频数据进行控制的方法，实现了视频处理模块和违法检测模块的紧密配合，在保证违法检测精度的同时减少了视频数据传输。

本申请同时还提供了一种视频处理装置和违法检测装置，均具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种航拍违法检测系统的结构示意图；

图2为本申请实施例提供的一种视频处理模块的工作方法的流程示意图；

图3为本申请实施例提供的一种违法检测模块的工作方法的流程示意图；

图4为本申请实施例提供的一种视频处理装置的结构示意图；

图5为本申请实施例提供的一种违法检测装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护范围。

如图1所示，本申请提供一种航拍违法检测系统10，包括视频处理模块101和违法检测模块102，其中，视频处理模块101获取广角视频数据和长焦视频数据，并根据违法检测模块102发送的控制指令，将广角视频数据或者长焦视频数据发送到违法检测模块102；违法检测模块102接收广角视频数据或者长焦视频数据进行违法检测，并发送控制指令到视频处理模块101。

本实施例中，视频处理模块101设置在无人机上，无人机做巡航飞行，无人机可以选用长航程固定翼或复合翼飞机，包括飞控系统。长航程无人机可以在上百公里范围内作业，无人机设置有吊舱，吊舱上配置广角和长焦双摄像机同时采集路网/边境/线路监实时视频，便于大视场监视和小视场抓拍之间无延迟自由切换。无人机巡航速度与车速相差不能太大，如果速度差超过10米/秒，供摄像机、违法处理模块反应时间太短，很难对违法车辆进行牌照识别。按车速120公里计算，无人机巡航速度至少需要达到23米/秒(84公里/小时)。

假定无人机和车辆相对速度为10米/秒，飞行高度为200米(实际飞行高度更高)；视场角为1度的摄像机，车牌可识别距离为430米，最大识别角度θ＝45°，则牌照可识别地面区域长度为

可供识别的最大时间为18秒；考虑识别准确率，比较适宜的识别时间约12秒。无人机牌照识别适用于去向车道，来向车道由于无人机和车辆相对速度太大，系统反应时间不足。因此，对于高速运动的车辆，尽量缩短大视场观察和小视场抓拍之间的切换时间是违法检测和取证的关键因素。吊舱搭载广角、长焦双摄像机，考虑到无人机安全飞行高度，长焦摄像机视场选择1度左右，广角摄像机焦距为长焦摄像机20倍以上，视场角20～40度即可。安装时需保证双摄像机光轴平行，普通摄像机即可满足要求。

在一种可实现的实施方式中，请参考图2，视频处理模块获取广角视频数据和长焦视频数据，并根据违法检测模块发送的控制指令，将广角视频数据或者长焦视频数据发送到违法检测模块，包括：

S201：视频处理模块采集广角视频数据和长焦视频数据并进行存储。

S202：视频处理模块接收到违法检测模块发送的目标锁定指令，将广角视频数据无缝切换为长焦视频数据发送到违法检测模块。

S203：视频处理模块接收到违法检测模块发送的解除锁定指令，将长焦视频数据无缝切换为广角视频数据发送到违法检测模块。

具体的，采用广角、长焦双可见光摄像机后，由于机载模块处理能力不足，需将视频传输到地面进行处理。由于图传带宽限制，通常只能传输一路高清视频，鉴于广角和高清视频不会被同时使用，且违法检测模块要求视频切换过程中无卡顿和花屏，将广角、长焦视频数据分时利用如下：

1)违法检测模块处于巡航监测模式时，视频处理模块下行发送广角视频数据，长焦视频数据仅进行压缩编码，不下行发送。为实现两路视频瞬时切换，需要两路视频分辨率相同、帧率相同，视频处理模块编码两路视频时，压缩算法、帧率、参数均需保持一致，且视频中只有I、P帧，没有B帧。

2)当违法检测模块基于广角视频数据检测到违规车辆时，向视频处理模块发送目标锁定请求。视频处理模块通过广角视频数据将车辆变焦锁定到画面中，当广角视频数据到达最小视场后，视频处理模块在长焦视频数据到达I帧时，开始将长焦视频数据包推送到输出流中。由于两路视频压缩算法相同且不包含B帧(均为H.264baseline)，两路视频在同一个输出流中传送，只存在时间戳不同步的问题。切换视频时需要将长焦视频数据包的时间戳更新为与广角视频流时间戳同步。

3)违法检测模块在进入目标锁定模式后，开始牌照识别，识别次数到达预定值后，退出目标锁定模式，请求变焦扩大视场角。同步骤2)，视频处理模块在长焦视频数据已经到达最大视场后，选择自广角视频数据的某个I帧开始，将广角视频数据推送到输出流中。

4)违法检测模块和视频处理模块重新回到巡航状态后，进入步骤1)，依此循环。

采用上述方式，长焦视频数据和广角视频数据可瞬时切换。由于两路视频压缩参数相同且无B帧，切换时只需要考虑时间戳连续，切换时刻与I帧对齐。对地面播放器而言，由于收到的视频数据包时间戳连续，切换自I帧开始，切换之后的数据对切换前的视频无依赖，因此与同一路视频拍摄场景切换类似，播放器画面在切换过程中无卡顿，无花屏，切换瞬时完成，满足图传带宽要求。

在一种可实现的实施方式中，视频处理模块采集广角视频数据和长焦视频数据并进行存储，包括：视频处理模块同时采集广角视频数据和长焦视频数据，并对广角视频数据和长焦视频数据采用相同的压缩算法、帧率和参数进行压缩编码，得到的压缩编码后的广角视频数据和长焦视频数据的视频帧只包含I帧和P帧；将压缩编码后的广角视频数据和长焦视频数据进行存储。

在一种可实现的实施方式中，视频处理模块接收到违法检测模块发送的目标锁定指令，将广角视频数据无缝切换为长焦视频数据发送到违法检测模块，包括：视频处理模块接收到违法检测模块发送的目标锁定指令后，更新长焦视频数据的时间戳与广角视频数据的时间戳同步，同时在广角视频数据中将违法目标锁定，并通过变焦逐渐减小广角视频数据的巡航视场，当广角视频数据的巡航视场变焦到最小视场且长焦视频数据到达I帧时，将长焦视频数据推送到视频输出流发送到违法检测模块完成无缝切换。

在一种可实现的实施方式中，视频处理模块接收到违法检测模块发送的解除锁定指令，将长焦视频数据无缝切换为广角视频数据发送到违法检测模块，包括：视频处理模块接收到违法检测模块发送的解除锁定指令后，更新广角视频数据的时间戳与长焦视频数据的时间戳同步，同时在长焦视频数据中保持违法目标锁定，并通过变焦逐渐扩大长焦视频数据的视场，当长焦视频数据的视场变焦到最大视场且广角视频数据到达I帧时，将广角视频数据推送到视频输出流发送到违法检测模块，并通过变焦逐渐增大广角视频数据的视场，当广角视频数据的视场变焦到巡航视场时完成无缝切换。

具体的，视频处理模块对两路视频处理方式如下：

1)初始化视频发送流(RTSP/TS等)，发据流用于向违法检测模块发送视频数据。分别打开两路视频存储文件。

2)在巡航模式下，接收广角视频数据包，将视频数据包存储，同时写入视频发送流中，视频时间戳与广角视频保持一致。对60帧帧率视频而言，每发送一帧，PTS/DTS增加150；50帧帧率视频，每帧增加180。接收到的长焦视频帧仅用于存储。

3)巡航模式下接收到目标锁定请求后，基于被跟踪目标在广角视频画面中的位置，控制伺服机构锁定目标。减小广角摄像机视场角，将广角视频帧写入发送流，同时存储。长焦视频帧也进行存储。

4)当广角摄像机视场角到达最小值时，准备切换。根据被跟踪目标在长焦视频画面中的位置，控制伺服机构锁定目标(一般需要根据长焦视频重新初始化跟踪算法)。在接收到长焦视频I帧之前，仍然分别存储两路视频数据，同时将广角视频写入发送流；接收到长焦视频I帧后，将长焦视频帧写入发送流，同时分别存储两路视频。发送长焦视频时，需要维持时间戳与发送流一致，视频包的PTS/DTS与切换前保持连续且按9000/帧率的速度递增。

5)当长焦模式下收到目标解锁请求(回退到巡航模式)后，基于被跟踪目标在广角视频画面中的位置，控制伺服机构锁定目标(一般需要根据广角视频重新初始化跟踪算法)。增大长焦摄像机视场角到最大视场角。长焦摄像机到达最大视场后，在接收到广角视频I帧之前，将长焦视频写入发送流，同时分别存储两路视频数据；接收到广角视频I帧后，将广角视频帧写入发送流，同时分别存储两路视频。切换到广角视频时，需要维持时间戳与发送流一致，视频包的PTS/DTS与切换前保持连续且按9000/帧率的速度递增。

6)当广角视频视场角到达巡航模式视场角时，停止变焦。继续将广角视频写入发送流，同时存储两路视频。步骤2～6完成一个循环。

由于切换时维持了PTS/DTS连续，接收端不会丢包。视频帧率、分辨率相同，编码算法、参数也相同，又由于切换时刻位于I帧，切换后接收端正常解码。接收端对切换视频源是透明的，切换视频源对接收端而言相当于视频场景切换，不会引入花屏、卡顿、缓冲等现象。

基于上述实施例，通过同时使用广角和长焦双可见光摄像机(均可选变焦摄像机)，以及瞬时切换视频数据，解决地面分辨率不足、变焦时间长、变焦跟踪易脱锁、图传带宽不足以传输两路视频等问题。

在一种可实现的实施方式中，如图3所示，违法检测模块接收广角视频数据或者长焦视频数据进行违法检测，并发送控制指令到视频处理模块的方法，包括：

S301：违法检测模块无缝接收广角视频数据或者长焦视频数据。

在一种可实现的实施方式中，违法检测模块包括检测算法单元和多个视频接收单元，检测算法单元与多个视频接收单元有线连接；违法检测模块无缝接收广角视频数据或者长焦视频数据均采用下述视频接收方法；视频接收方法包括：多个视频接收单元同时接收视频数据，并向检测算法单元实时上报接收数据质量；检测算法单元根据无人机当前位置、视频接收单元位置和接收数据质量选择当前最优视频接收单元，并向所有视频接收单元发送通知信息，所述通知信息中携带允许发送视频数据的当前最优视频接收单元地址；所有视频接收单元接收通知信息，若当前最优视频接收单元与上一个最优视频接收单元不同，则当前最优视频接收单元在收到下一个I帧后，开始向检测算法单元发送视频数据，当前正在发送视频数据的上一个最优视频接收单元在收到下一个I帧后，停止向检测算法单元发送视频数据；若当前最优视频接收单元与上一个最优视频接收单元相同，则上一个最优视频接收单元继续发送视频数据；其他的视频接收单元在收到视频数据后直接丢弃。

具体的，视频处理模块、多个视频接收单元，形成一对多组网，多个视频接收单元通过光纤通信，采用地面电信网络满足远距离视频传输需求。

S302：违法检测模块对广角视频数据进行违法目标检测，当检测到违法目标时发送目标锁定指令到视频处理模块。

S303：违法检测模块对长焦视频数据进行违法目标识别，当识别违法目标预设次数后发送解除锁定指令到视频处理模块。

具体的，检测算法单元对广角视频数据进行违法目标检测，当检测到违法目标时发送目标锁定指令到视频处理模块，检测算法单元对长焦视频数据进行违法目标识别，当识别违法目标预设次数后发送解除锁定指令到视频处理模块。本实施例不对检测算法单元进行限制，只要可以实现对违法目标的检测和识别的都可以，检测算法单元可以充分利用本地或者云端算力进行违法目标检测和违法目标识别，实现本申请的目的。

具体的，为增加视频传输距离、降低无线干扰，视频处理模块与多个沿途视频接收单元组成一对多的布局，多个视频接收单元与检测算法单元通过有线网络连接。需要解决的问题是：多个视频接收单元同时接收视频的情况下，如何动态地从中选择最优接收单元，切换最优接收单元时视频需要保证无卡顿、无丢包；为节省带宽，任何时刻仅有最优接收单元的视频数据在有线网络中传输。

针对动态选择最优接收单元、切换最优接收单元时数据不丢包、节省有线网络带宽的需求出发，设计远距离图像传输方案如下：

1)沿途多个视频接收单元均接收图传视频数据，并向检测算法单元实时上报RSSI、SNR等信息。各视频接收单元收到视频数据后直接丢弃，不向检测算法单元发送视频数据。

2)检测算法单元综合飞机当前位置、视频接收单元位置、各视频接收单元上报的RSSI、SNR等信息选择当前最优视频接收单元。检测算法单元向所有视频接收单元发送消息，消息中携带允许发送视频数据的视频接收单元地址。

3)所有视频接收单元收到消息后，核对是否允许本视频接收单元发送视频数据。如果消息中允许本视频接收单元发送视频而之前本视频接收单元没有发送视频，则在收到下一个I帧后，本视频接收单元向检测算法单元发送视频数据；如果本视频接收单元当前处于数据发送状态而检测算法单元指定由其他视频接收单元发送视频数据，则在收到下一个I帧后，本视频接收单元停止发送视频。步骤2)-3)构成一个循环。

通过上述方法，任何时刻网络中仅存在一路视频发送，节省了有线网络带宽。与机载长焦、广角视频切换不同的是，由于视频来源只有一路，切换视频接收单元前后，播放器接收到的视频包，时间戳、帧序号都没有发生跳变，播放器端不会发生花屏或卡顿。播放器端意识不到视频接收单元发生了切换，播放地址维持不变，不会产生花块或中断等现象。

上述方法中的核心点在于，所有视频接收单元都同时接收视频处理模块发送的视频，但必须由检测算法单元选择其中一路在有线网络中传输；切换时刻发生于GOP边界，即视频I帧时刻；播放器只需播放一路视频，对其屏蔽了视频接收单元切换。

可以理解的是，通过沿途分布的视频接收单元和地面光纤，检测算法单元选择最优视频接收单元，将视频自下一个I帧开始从上一个最优视频接收单元切换到当前最优视频接收单元，由于时间戳连续，视频在不同视频接收单元间无缝切换，画面不中断、不花屏，解决无线传输距离不足、辐射功率过大等问题。

具体的，在检测算法单元的实体选择上，本地计算机和云没有区别，违法检测、路面异常物检测、牌照识别等算法不是本申请重点描述对象，所以这里不再赘述。视频可以通过RTSP、GB/T28181或其他协议接入既有监控网络中，实时视频以及历史视频的播放由于比较成熟，不过多描述。本系统飞机、飞控、吊舱、本地存储和云平台都可以采用现有成熟技术和产品，只要能实现本申请的发明目的即可。

基于上述实施例，广角、长焦双可见光摄像机组合，有效解决了地面分辨率不足、变焦时间过长、预留给系统的反应时间过短等问题。采用沿途分布的多个视频接收单元和地面有线网络，传输距离成倍增加，有线带宽要求很低，同时降低了无线干扰。

实验证明，在300米相对航高，保证无人机飞行安全的情况下，飞机与目标直线距离470～480米内，采用双可见光摄像机，可兼顾广角违规监视和长焦抓拍识别需要。采用20度视场角摄像机可覆盖100～200米道路，利用1度视场角长焦摄像机视频，能可靠识别出车辆牌照。基于普通图传，沿途安装5台视频接收单元，利用最优视频接收单元选择和视频接收单元无缝切换技术，在视频无卡顿、花屏的情况下传输距离轻松达上百公里，完全满足普通地级市范围内高速公路的视频巡视需要。由于一架飞机只需要一路视频带宽，相比沿途架设龙门架，巡视效率大幅增加，宽带费用大幅降低。

下面对本申请实施例提供的一种视频处理装置进行介绍，下文描述的视频处理装置与上文描述的航拍违法检测系统中的视频处理模块可相互对应参照。

参考图4，本申请还提供一种视频处理装置40，包括：

视频采集存储模块401，用于采集广角视频数据和长焦视频数据并存储；

视频切换发送模块402，用于接收到目标锁定指令，将广角视频数据无缝切换为长焦视频数据进行发送，还用于接收到解除锁定指令，将长焦视频数据无缝切换为广角视频数据进行发送。

在一种可实现的实施方式中，视频采集存储模块41包括：

视频采集压缩单元，用于同时采集广角视频数据和长焦视频数据，并对广角视频数据和长焦视频数据采用相同的压缩算法、帧率和参数进行压缩编码，得到的压缩编码后的广角视频数据和长焦视频数据的视频帧只包含I帧和P帧；

视频存储处理单元，用于将压缩编码后的广角视频数据和长焦视频数据进行存储；

在一种可实现的实施方式中，视频切换发送模块42包括：

广角长焦切换单元，用于接收到目标锁定指令后，更新长焦视频数据的时间戳与广角视频数据的时间戳同步，同时在广角视频数据中将违法目标锁定，并通过变焦逐渐减小广角视频数据的巡航视场，当广角视频数据的巡航视场变焦到最小视场且长焦视频数据到达I帧时，将长焦视频数据推送到视频输出流完成无缝切换；

长焦广角切换单元，用于接收到解除锁定指令后，更新广角视频数据的时间戳与长焦视频数据的时间戳同步，同时在长焦视频数据中保持违法目标锁定，并通过变焦逐渐扩大长焦视频数据的视场，当长焦视频数据的视场变焦到最大视场且广角视频数据到达I帧时，将广角视频数据推送到视频输出流，并通过变焦逐渐增大广角视频数据的视场，当广角视频数据的视场变焦到巡航视场时完成无缝切换。

由于装置部分的实施例与系统部分的实施例相互对应，因此装置部分的实施例请参见系统部分的实施例的描述，这里暂不赘述。

下面对本申请实施例提供的一种违法检测装置进行介绍，下文描述的违法检测装置与上文描述的航拍违法检测系统的违法检测模块可相互对应参照。

参考图5，本申请还提供一种违法检测装置50，包括检测算法单元501和多个视频接收单元502，检测算法单元501与多个视频接收单元502有线连接；其中，

检测算法单元通过多个视频接收单元无缝接收广角视频数据或者长焦视频数据；

检测算法单元对广角视频数据进行违法目标检测，当检测到违法目标时发送目标锁定指令；

检测算法单元对长焦视频数据进行违法目标识别，当识别违法目标预设次数后发送解除锁定指令。

在一种可实现的实施方式中，检测算法单元通过多个视频接收单元无缝接收广角视频数据或者长焦视频数据均采用下述视频接收方法；视频接收方法包括：

多个视频接收单元同时接收视频数据，并向检测算法单元实时上报接收数据质量；

检测算法单元根据无人机当前位置、视频接收单元位置和接收数据质量选择当前最优视频接收单元，并向所有视频接收单元发送通知信息，所述通知信息中携带允许发送视频数据的当前最优视频接收单元地址；

所有视频接收单元接收通知信息，若当前最优视频接收单元与上一个最优视频接收单元不同，则当前最优视频接收单元在收到下一个I帧后，开始向检测算法单元发送视频数据，当前正在发送视频数据的上一个最优视频接收单元在收到下一个I帧后，停止向检测算法单元发送视频数据；若当前最优视频接收单元与上一个最优视频接收单元相同，则上一个最优视频接收单元继续发送视频数据；其他的视频接收单元在收到视频数据后直接丢弃。

由于装置部分的实施例与系统部分的实施例相互对应，因此装置部分的实施例请参见系统部分的实施例的描述，这里暂不赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种航拍违法检测系统、视频处理装置和违法检测装置进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种航拍违法检测系统，其特征在于，包括视频处理模块和违法检测模块，其中，

视频处理模块获取广角视频数据和长焦视频数据，并根据违法检测模块发送的控制指令，将广角视频数据或者长焦视频数据发送到违法检测模块；

违法检测模块接收广角视频数据或者长焦视频数据进行违法检测，并发送控制指令到视频处理模块。

2.根据权利要求1所述的航拍违法检测系统，其特征在于，所述视频处理模块获取广角视频数据和长焦视频数据，并根据违法检测模块发送的控制指令，将广角视频数据或者长焦视频数据发送到违法检测模块，包括：

视频处理模块采集广角视频数据和长焦视频数据并进行存储；

视频处理模块接收到违法检测模块发送的目标锁定指令，将广角视频数据无缝切换为长焦视频数据发送到违法检测模块；

视频处理模块接收到违法检测模块发送的解除锁定指令，将长焦视频数据无缝切换为广角视频数据发送到违法检测模块。

3.根据权利要求2所述的航拍违法检测系统，其特征在于，所述视频处理模块采集广角视频数据和长焦视频数据并进行存储，包括：

视频处理模块同时采集广角视频数据和长焦视频数据，并对广角视频数据和长焦视频数据采用相同的压缩算法、帧率和参数进行压缩编码，得到的压缩编码后的广角视频数据和长焦视频数据的视频帧只包含I帧和P帧；

将压缩编码后的广角视频数据和长焦视频数据进行存储。

4.根据权利要求2所述的航拍违法检测系统，其特征在于，所述视频处理模块接收到违法检测模块发送的目标锁定指令，将广角视频数据无缝切换为长焦视频数据发送到违法检测模块，包括：

视频处理模块接收到违法检测模块发送的目标锁定指令后，更新长焦视频数据的时间戳与广角视频数据的时间戳同步，同时在广角视频数据中将违法目标锁定，并通过变焦逐渐减小广角视频数据的巡航视场，当广角视频数据的巡航视场变焦到最小视场且长焦视频数据到达I帧时，将长焦视频数据推送到视频输出流发送到违法检测模块完成无缝切换；

视频处理模块接收到违法检测模块发送的解除锁定指令，将长焦视频数据无缝切换为广角视频数据发送到违法检测模块，包括：

视频处理模块接收到违法检测模块发送的解除锁定指令后，更新广角视频数据的时间戳与长焦视频数据的时间戳同步，同时在长焦视频数据中保持违法目标锁定，并通过变焦逐渐扩大长焦视频数据的视场，当长焦视频数据的视场变焦到最大视场且广角视频数据到达I帧时，将广角视频数据推送到视频输出流发送到违法检测模块，并通过变焦逐渐增大广角视频数据的视场，当广角视频数据的视场变焦到巡航视场时完成无缝切换。

5.根据权利要求1所述的航拍违法检测系统，其特征在于，所述违法检测模块接收广角视频数据或者长焦视频数据进行违法检测，并发送控制指令到视频处理模块，包括：

违法检测模块无缝接收广角视频数据或者长焦视频数据；

违法检测模块对广角视频数据进行违法目标检测，当检测到违法目标时发送目标锁定指令到视频处理模块；

违法检测模块对长焦视频数据进行违法目标识别，当识别违法目标预设次数后发送解除锁定指令到视频处理模块。

6.根据权利要求5所述的航拍违法检测系统，其特征在于，所述违法检测模块包括检测算法单元和多个视频接收单元，检测算法单元与多个视频接收单元有线连接；违法检测模块无缝接收广角视频数据或者长焦视频数据均采用下述视频接收方法；

所述视频接收方法包括：

多个视频接收单元同时接收视频数据，并向检测算法单元实时上报接收数据质量；

检测算法单元根据无人机当前位置、视频接收单元位置和接收数据质量选择当前最优视频接收单元，并向所有视频接收单元发送通知信息，所述通知信息中携带允许发送视频数据的当前最优视频接收单元地址；

所有视频接收单元接收通知信息，若当前最优视频接收单元与上一个最优视频接收单元不同，则当前最优视频接收单元在收到下一个I帧后，开始向检测算法单元发送视频数据，当前正在发送视频数据的上一个最优视频接收单元在收到下一个I帧后，停止向检测算法单元发送视频数据；若当前最优视频接收单元与上一个最优视频接收单元相同，则上一个最优视频接收单元继续发送视频数据；其他的视频接收单元在收到视频数据后直接丢弃。

7.一种视频处理装置，其特征在于，包括：

视频采集存储模块，用于采集广角视频数据和长焦视频数据并存储；

视频切换发送模块，用于接收到目标锁定指令，将广角视频数据无缝切换为长焦视频数据进行发送，还用于接收到解除锁定指令，将长焦视频数据无缝切换为广角视频数据进行发送。

8.根据权利要求7所述的视频处理装置，其特征在于，所述视频采集存储模块包括：

视频采集压缩单元，用于同时采集广角视频数据和长焦视频数据，并对广角视频数据和长焦视频数据采用相同的压缩算法、帧率和参数进行压缩编码，得到的压缩编码后的广角视频数据和长焦视频数据的视频帧只包含I帧和P帧；

视频存储处理单元，用于将压缩编码后的广角视频数据和长焦视频数据进行存储；

所述视频切换发送模块包括：

广角长焦切换单元，用于接收到目标锁定指令后，更新长焦视频数据的时间戳与广角视频数据的时间戳同步，同时在广角视频数据中将违法目标锁定，并通过变焦逐渐减小广角视频数据的巡航视场，当广角视频数据的巡航视场变焦到最小视场且长焦视频数据到达I帧时，将长焦视频数据推送到视频输出流完成无缝切换；

长焦广角切换单元，用于接收到解除锁定指令后，更新广角视频数据的时间戳与长焦视频数据的时间戳同步，同时在长焦视频数据中保持违法目标锁定，并通过变焦逐渐扩大长焦视频数据的视场，当长焦视频数据的视场变焦到最大视场且广角视频数据到达I帧时，将广角视频数据推送到视频输出流，并通过变焦逐渐增大广角视频数据的视场，当广角视频数据的视场变焦到巡航视场时完成无缝切换。

9.一种违法检测装置，其特征在于，包括检测算法单元和多个视频接收单元，检测算法单元与多个视频接收单元有线连接；其中，

检测算法单元通过多个视频接收单元无缝接收广角视频数据或者长焦视频数据；

检测算法单元对广角视频数据进行违法目标检测，当检测到违法目标时发送目标锁定指令；

检测算法单元对长焦视频数据进行违法目标识别，当识别违法目标预设次数后发送解除锁定指令。

10.根据权利要求9所述的违法检测装置，其特征在于，所述检测算法单元通过多个视频接收单元无缝接收广角视频数据或者长焦视频数据均采用下述视频接收方法；

所述视频接收方法包括：

多个视频接收单元同时接收视频数据，并向检测算法单元实时上报接收数据质量；

检测算法单元根据无人机当前位置、视频接收单元位置和接收数据质量选择当前最优视频接收单元，并向所有视频接收单元发送通知信息，所述通知信息中携带允许发送视频数据的当前最优视频接收单元地址；

所有视频接收单元接收通知信息，若当前最优视频接收单元与上一个最优视频接收单元不同，则当前最优视频接收单元在收到下一个I帧后，开始向检测算法单元发送视频数据，当前正在发送视频数据的上一个最优视频接收单元在收到下一个I帧后，停止向检测算法单元发送视频数据；若当前最优视频接收单元与上一个最优视频接收单元相同，则上一个最优视频接收单元继续发送视频数据；其他的视频接收单元在收到视频数据后直接丢弃。

Images