CN116962661A - 一种摄像头异常报警方法、装置、车辆、介质及设备 - Google Patents

Abstract

本申请公开了一种摄像头异常报警方法、装置、车辆、介质及设备，属于数据处理领域。该方法包括通过感知模型对摄像头获得的每帧图像中的驾驶员进行感知检测，得到每帧图像中驾驶员的人脸框检测结果，以及每帧图像中无驾驶员情况对应的摄像头异常置信度；对每帧图像中人脸框检测结果进行判断，在每帧图像的人脸框检测结果为每帧图像不包含人脸框的条件下，对每帧图像中的摄像头异常置信度进行时序统计，得到摄像头异常时序队列中的摄像头异常平均值和异常时长；当摄像头异常平均值大于异常阈值，且异常时长大于时长阈值时，对摄像头进行异常报警提示。本申请能够更加及时监控到摄像头的异常情况。

Description

一种摄像头异常报警方法、装置、车辆、介质及设备

技术领域

本申请涉及数据处理领域，特别涉及一种摄像头异常报警方法、装置、车辆、介质及设备。

背景技术

驾驶员疲劳预警系统(Driver Monitor System，简称DMS)是一个后装产品，安装在驾驶室内，一个或多个摄像头朝向驾驶员，利用深度学习技术监控驾驶员，在其做出影响驾驶的行为时，及时报警提醒。

现有技术中有很多关于摄像头异常的检测方法，有的基于神经网络模型使摄像头能够及时地监控车辆情况，有的则是基于背景对比监控摄像头的异常情况；但是，本申请提出的方案能够及时监控到摄像头的异常情况。

发明内容

为了实现及时监控到摄像头异常的目的，本申请主要提供一种摄像头异常报警方法、装置、车辆、介质及设备。

第一方面，本申请实施例提供一种摄像头异常报警方法，其包括：

通过感知模型对摄像头获得的每帧图像中的驾驶员进行感知检测，得到每帧图像中驾驶员的人脸框检测结果，以及每帧图像中无驾驶员情况对应的摄像头异常置信度；

对每帧图像中人脸框检测结果进行判断，在每帧图像的人脸框检测结果为每帧图像不包含人脸框的条件下，对每帧图像中的摄像头异常置信度进行时序统计，得到摄像头异常时序队列中的摄像头异常平均值和异常时长；

当摄像头异常平均值大于异常阈值，且异常时长大于时长阈值时，对摄像头进行异常报警提示。

第二方面，本申请实施例提供一种摄像头异常报警装置，其包括：

感知信息获取模块，其用于通过感知模型对摄像头获得的每帧图像中的驾驶员进行感知检测，得到每帧图像中驾驶员的人脸框检测结果，以及每帧图像中无驾驶员情况对应的摄像头异常置信度；

相关信息处理模块，其用于对每帧图像中人脸框检测结果进行判断，在每帧图像的人脸框检测结果为每帧图像不包含人脸框的条件下，对每帧图像中的摄像头异常置信度进行时序统计，得到摄像头异常时序队列中的摄像头异常平均值和异常时长；

报警判断模块，其用于当摄像头异常平均值大于异常阈值，且异常时长大于时长阈值时，对摄像头进行异常报警提示。

第三方面，本申请实施例提供了一种车辆，其中，车辆包括方案二中的摄像头异常报警装置。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被执行时，使得计算机执行方案一中的摄像头异常报警方法。

第五方面，本申请实施例提供了一种计算机设备，其包括处理器和存储器，存储器存储有计算机指令，计算机指令被处理器执行时实现方案一中的摄像头异常报警方法。

本申请实施例的技术方案通过感知模型输出的关于每帧图像的人脸框检测结果、摄像头异常置信度，通过人脸框检测结果可以区分出用于对摄像头异常进行报警判断的图像，对人脸框检测结果、摄像头异常置信度的直接获取更加节省时间。及时准确的排查安全隐患，保证报警设备能够正常运转。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图示例性的示出了本申请的一些实施例。

图1是本申请一种摄像头异常报警方法的具体实施方式的示意图；

图2是本申请一种摄像头异常报警装置的具体实施方式的示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

下面结合附图对本申请的较佳实施例进行详细阐述，以使本申请的优点和特征能更易于被本领域技术人员理解，从而对本申请的保护范围做出更为清楚明确的界定。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

驾驶员由于担心被处罚，将摄像头移动，导致报警设备失去预警能力，当摄像头无法检测到驾驶员时，触发摄像头异常警报。当摄像头的镜头前无驾驶员时，但是驾驶车辆的速度大于速度阈值且画面中不存在驾驶员的时长满足触发时长阈值时，若感知模型检测到人脸，则本方案无法判断，属于感知模型误判，此场景失效。

下面，以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面述及的具体的实施例可以相互结合形成新的实施例。对于在一个实施例中描述过的相同或相似的思想或过程，可能在其他某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1示出了本申请一种摄像头异常报警方法的一个具体实施方式。

在图1所示的具体实施方式中，一种摄像头异常报警方法主要包括：

步骤S101，通过感知模型对摄像头获得的每帧图像中的驾驶员进行感知检测，得到每帧图像中驾驶员的人脸框检测结果，以及每帧图像中无驾驶员情况对应的摄像头异常置信度。

在该具体实施方式中，感知模型对图像中驾驶员的人脸框检测结果包括存在人脸框和不存在人脸框，将不存在人脸框的图像进行标识，以识别出没有驾驶员的图像，可以用于对摄像头异常进行报警判断。对人脸框检测结果、摄像头异常置信度的直接获取更加节省时间，同时为后续摄像头异常判断奠定基础。

在本申请的一个具体实施例中，摄像头的异常情况包括摄像头角度异常、摄像头异常损坏和、或摄像头异常遮挡。

在该具体实施例中，摄像头拍摄不到驾驶员的原因可能是摄像头被人为移动，导致摄像头角度异常而拍摄不到人脸；或者是摄像头被损坏、摄像头被异物遮挡。需要对摄像头这种异常情况进行报警提示。

在图1所示的具体实施方式中，一种摄像头异常报警方法，还包括：

步骤S102，对每帧图像中人脸框检测结果进行判断，在每帧图像的人脸框检测结果为每帧图像不包含人脸框的条件下，对每帧图像中的摄像头异常置信度进行时序统计，得到摄像头异常时序队列中的摄像头异常平均值和异常时长。

在该具体实施方式中，若判断出每帧图像的人脸框检测结果为每帧图像不包含人脸框，则通过对图像中的摄像头异常置信度进行排序和统计，得到摄像头异常时序队列中的摄像头异常平均值和异常时长，为后续摄像头异常判断奠定基础，及时排查安全隐患。

在本申请的一个具体实施例中，对每帧图像中的摄像头异常置信度进行时序统计，得到摄像头异常时序队列中的摄像头异常平均值和异常时长，包括：将每帧图像中的摄像头异常置信度按照时间顺序进行时序统计，得到摄像头异常时序队列及其异常时长；对摄像头异常时序队列中摄像头异常置信度进行加权计算，得到摄像头异常时序队列中的摄像头异常平均值。

本实施例中，按照时间先后顺序将每帧图像进行时序排列，得到摄像头异常时序队列，通过摄像头异常时序队列得到异常时长，并通过加权计算得到摄像头异常平均值，为后续摄像头异常判断奠定基础。

在本申请的一个具体实施例中，将每帧图像中的摄像头异常置信度按照时间顺序进行时序统计，得到摄像头异常时序队列及其异常时长，包括：在摄像头异常时序队列中，将当前获取到的摄像头异常置信度对应的最新一帧图像的时间戳，减去最初获取到的摄像头异常置信度对应的末尾一帧图像的时间戳，得到异常时长。

本实施例中，时间戳存在于每帧图像的属性信息中，可以随取随用，节省时间。异常时长的获取对摄像头异常的判断更加准确。

在本申请的一个具体实例中，对每帧图像中人脸框检测结果进行判断，其判断结果包括两种，即图像不包含人脸框，或者图像包含人脸框。当当前一帧图像不包含人脸框时，或者其摄像头异常置信度大于异常阈值，则将当前一帧图像中的驾驶行为置信度设置为第一值来表示当前一帧图像无法用于对驾驶行为的判断，但是当前一帧图像还可以用于对摄像头异常的报警判断，重复利用率高。当当前一帧图像包含人脸框时，其不能够用于对摄像头异常的判断，但是可以根据人脸框中的人脸关键点检测数量与数量阈值的大小关系，来判断是否可以用于对驾驶行为进行判断；当人脸关键点检测数量小于数量阈值时，通过将驾驶行为置信度设置为第一值，将不可用于判断驾驶行为的图像标识出来，方便滤除掉。

在图1所示的具体实施方式中，一种摄像头异常报警方法，还包括：

步骤S103，当摄像头异常平均值大于异常阈值，且异常时长大于时长阈值时，对摄像头进行异常报警提示。

在该具体实施方式中，在摄像头异常时序队列中，若摄像头异常平均值一直大于异常阈值，并且该摄像头异常时序队列还在不断地增加，使得异常时长大于时长阈值，则判定摄像头异常并进行报警提示，及时准确的排查安全隐患，保证报警设备能够正常运转。

在本申请的一个具体实施例中，当驾驶员的驾驶车辆的速度大于速度阈值时，每隔预设时间间隔，重新对摄像头的异常进行报警判断。

在该具体实施例中，本方案是针对在驾驶过程中对驾驶员的异常行为进行报警判断，故驾驶车辆的速度只要大于0即可。报警的预设时间间隔设置的不同使得报警更加及时准确，同时也保证了报警设备能够正常运转。

在本申请的一个具体实施例中，时长阈值设置为5秒。

在该具体实施例中，摄像头异常一般是一个持续时间比较长的情况，摄像头异常时不可能存在这一秒异常，而下一秒又恢复正常了。一般会将时长阈值设置为5秒。

本申请通过感知模型对摄像头获得的每帧图像进行感知检测而得到每帧图像的人脸框检测结果、每帧图像中无驾驶员情况对应的摄像头异常置信度；通过人脸框检测结果可以区分出用于对摄像头异常进行报警判断的图像，对人脸框检测结果和摄像头异常置信度的直接获取更加节省时间，同时为后续摄像头异常的判断奠定基础。当前帧图像的人脸框检测结果为每帧图像不包含人脸框，需要对图像中的摄像头异常置信度进行时序统计，得到摄像头异常时序队列和异常时长，并对摄像头异常时序队列中摄像头异常置信度进行加权计算，得到摄像头异常平均值；当前帧图像不包含人脸框，或者当前帧图像的摄像头异常置信度大于异常阈值时，通过将当前帧图像中的驾驶行为置信度设置为第一值来表示当前帧图像无法用于对驾驶行为的判断，但是当前帧图像还可以用于对摄像头异常的报警判断，重复利用率高；若当前帧图像含有人脸框，则不能够用于对摄像头异常的判断。当摄像头异常平均值大于异常阈值，且异常时长大于时长阈值时，对摄像头进行异常报警提示；在摄像头异常时序队列中，若摄像头异常平均值一直大于异常阈值，并且该摄像头异常时序队列还在不断地增加，使得异常时长大于时长阈值，则判定摄像头异常并进行报警提示，及时准确的排查安全隐患，保证报警设备能够正常运转。

图2示出了本申请一种摄像头异常报警装置的具体实施方式。

在图2所示的具体实施方式中，一种摄像头异常报警装置主要包括：

感知信息获取模块201，其用于通过感知模型对摄像头获得的每帧图像中的驾驶员进行感知检测，得到每帧图像中驾驶员的人脸框检测结果，以及每帧图像中无驾驶员情况对应的摄像头异常置信度；

相关信息处理模块202，其用于对每帧图像中人脸框检测结果进行判断，在每帧图像的人脸框检测结果为每帧图像不包含人脸框的条件下，对每帧图像中的摄像头异常置信度进行时序统计，得到异常时长和摄像头异常时序队列中的摄像头异常平均值；

报警判断模块203，其用于当摄像头异常平均值大于异常阈值，且异常时长大于时长阈值时，对摄像头进行异常报警提示。

在该具体实施方式中，在感知信息获取模块201中，感知模型对图像中驾驶员的人脸框检测结果包括存在人脸框和不存在人脸框，将不存在人脸框的图像进行标识，以识别出没有驾驶员的图像，可以用于对摄像头异常进行报警判断。对人脸框检测结果、摄像头异常置信度的直接获取更加节省时间，同时为后续摄像头异常的判断奠定基础；在相关信息处理模块202中，若判断出当前帧图像的人脸框检测结果为每帧图像不包含人脸框，则按照时间先后顺序，对图像中的摄像头异常置信度进行排序，得到摄像头异常时序队列，通过摄像头异常时序队列得到异常时长，并对摄像头异常时序队列中摄像头异常置信度进行加权计算，得到摄像头异常平均值，为后续摄像头异常判断奠定基础，及时排查安全隐患；在报警判断模块203中，在摄像头异常时序队列中，若摄像头异常平均值一直大于异常阈值，并且该摄像头异常时序队列还在不断地增加，使得异常时长大于时长阈值，则判定摄像头异常并进行报警提示，及时准确的排查安全隐患，保证报警设备能够正常运转。

在本申请的一个具体实施例中，摄像头的异常情况包括摄像头角度异常、摄像头异常损坏和、或摄像头异常遮挡。

在该具体实施例中，摄像头的拍摄不到驾驶员的原因可能是摄像头被人为移动，导致摄像头角度异常而拍摄不到人脸；或者是摄像头被损坏、摄像头被异物遮挡。需要对摄像头这种异常情况进行报警提示。

在本申请的一个具体实施例中，对每帧图像中的摄像头异常置信度进行时序统计，得到摄像头异常时序队列中的摄像头异常平均值和异常时长，包括：将每帧图像中的摄像头异常置信度按照时间顺序进行时序统计，得到摄像头异常时序队列及其异常时长；对摄像头异常时序队列中摄像头异常置信度进行加权计算，得到摄像头异常时序队列中的摄像头异常平均值。

本实施例中，按照时间先后顺序将每帧图像进行时序排列，得到摄像头异常时序队列，通过摄像头异常时序队列得到异常时长，并通过加权计算得到摄像头异常平均值，为后续摄像头异常判断奠定基础。

在本申请的一个具体实施例中，将每帧图像中的摄像头异常置信度按照时间顺序进行时序统计，得到摄像头异常时序队列及其异常时长，包括：在摄像头异常时序队列中，将当前获取到的摄像头异常置信度对应的最新一帧图像的时间戳，减去最初获取到的摄像头异常置信度对应的末尾一帧图像的时间戳，得到异常时长。

本实施例中，时间戳存在于每帧图像的属性信息中，可以随取随用，节省时间。异常时长的获取对摄像头异常的判断更加准确。

在本申请的一个具体实例中，对每帧图像中人脸框检测结果进行判断，其判断结果包括两种，即图像不包含人脸框，或者图像包含人脸框。当当前一帧图像不包含人脸框时，或者其摄像头异常置信度大于异常阈值，则将当前一帧图像中的驾驶行为置信度设置为第一值来表示当前一帧图像无法用于对驾驶行为的判断，但是当前一帧图像还可以用于对摄像头异常的报警判断，重复利用率高。当当前一帧图像包含人脸框时，其不能够用于对摄像头异常的判断，但是可以根据人脸框中的人脸关键点检测数量与数量阈值的大小关系，来判断是否可以用于对驾驶行为进行判断；当人脸关键点检测数量小于数量阈值时，通过将驾驶行为置信度设置为第一值，将不可用于判断驾驶行为的图像标识出来，方便滤除掉。

在本申请的一个具体实施例中，当驾驶员的驾驶车辆的速度大于速度阈值时，每隔预设时间间隔，重新对摄像头的异常进行报警判断。

在该具体实施例中，本方案是针对在驾驶过程中对驾驶员的异常行为进行报警判断，故驾驶车辆的速度只要大于0即可。报警的预设时间间隔设置的不同使得报警更加及时准确，同时也保证了报警设备能够正常运转。

在本申请的一个具体实施例中，时长阈值设置为5秒。

在该具体实施例中，摄像头异常一般是一个持续时间比较长的情况，在摄像头异常时，摄像头不可能存在这一秒异常，而下一秒又恢复正常的情况，所以一般会将时长阈值设置为5秒。

本申请提供的一种摄像头异常报警装置，可用于执行上述任一实施例描述的摄像头异常报警方法，其实现原理和技术效果类似，在此不再赘述。

在本申请的一个具体实施例中，本申请所提出的一种摄像头异常报警装置中的各功能模块可直接在硬件中、在由处理器执行的软件模块中或在两者的组合中。

软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸盘、CD-ROM或此项技术中已知的任何其它形式的存储介质中。示范性存储介质耦合到处理器，使得处理器可从存储介质读取信息和向存储介质写入信息。

处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)、现场可编程门阵列(英文：Field Programmable Gate Array，简称：FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合等。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。在替代方案中，存储介质可与处理器成一体式。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器和存储介质可作为离散组件驻留在用户终端中。

在本申请的另一个具体实施方式中，一种车辆，其中，车辆包括任一实施例中的摄像头异常报警装置。可选的，该车辆包括处理器和存储器，处理器和存储器耦合，该车辆用于实现本申请说明书附图1所示的任一实施例中的摄像头异常报警方法。

在本申请的另一个具体实施方式中，一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被执行时，使得计算机执行任一实施例中的摄像头异常报警方法。

在本申请的另一个具体实施方式中，一种计算机设备，其包括处理器和存储器，存储器存储有计算机指令，计算机指令被处理器执行时实现任一实施例中的摄像头异常报警方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种摄像头异常报警方法，其特征在于，包括：

通过感知模型对摄像头获得的每帧图像中的驾驶员进行感知检测，得到每帧所述图像中驾驶员的人脸框检测结果，以及每帧所述图像中无驾驶员情况对应的摄像头异常置信度；

对每帧所述图像中所述人脸框检测结果进行判断，在每帧所述图像的所述人脸框检测结果为每帧所述图像不包含人脸框的条件下，对每帧所述图像中的所述摄像头异常置信度进行时序统计，得到摄像头异常时序队列中的摄像头异常平均值和异常时长；

当所述摄像头异常平均值大于异常阈值，且所述异常时长大于时长阈值时，对所述摄像头进行异常报警提示。

2.如权利要求1所述的摄像头异常报警方法，其特征在于，所述对每帧所述图像中的所述摄像头异常置信度进行时序统计，得到摄像头异常时序队列中的摄像头异常平均值和异常时长，包括：

将每帧所述图像中的所述摄像头异常置信度按照时间顺序进行时序统计，得到所述摄像头异常时序队列及其所述异常时长；

对所述摄像头异常时序队列中所述摄像头异常置信度进行加权计算，得到所述摄像头异常时序队列中的所述摄像头异常平均值。

3.如权利要求2所述的摄像头异常报警方法，其特征在于，所述将每帧所述图像中的所述摄像头异常置信度按照时间顺序进行时序统计，得到所述摄像头异常时序队列及其所述异常时长，包括：

在所述摄像头异常时序队列中，将当前获取到的所述摄像头异常置信度对应的最新一帧所述图像的时间戳，减去最初获取到的所述摄像头异常置信度对应的末尾一帧所述图像的时间戳，得到所述异常时长。

4.如权利要求1所述的摄像头异常报警方法，其特征在于，所述摄像头的异常情况包括摄像头角度异常、摄像头异常损坏和/或摄像头异常遮挡。

5.如权利要求1所述的摄像头异常报警方法，其特征在于，当所述驾驶员的驾驶车辆的速度大于速度阈值时，每隔预设时间间隔，重新对所述摄像头的异常进行报警判断。

6.如权利要求1所述的摄像头异常报警方法，其特征在于，所述时长阈值设置为5秒。

7.一种摄像头异常报警装置，其特征在于，包括：

感知信息获取模块，其用于通过感知模型对摄像头获得的每帧图像中的驾驶员进行感知检测，得到每帧所述图像中驾驶员的人脸框检测结果，以及每帧所述图像中无驾驶员情况对应的摄像头异常置信度；

相关信息处理模块，其用于对每帧所述图像中所述人脸框检测结果进行判断，在每帧所述图像的所述人脸框检测结果为每帧所述图像不包含人脸框的条件下，对每帧所述图像中的所述摄像头异常置信度进行时序统计，得到摄像头异常时序队列中的摄像头异常平均值和异常时长；

报警判断模块，其用于当所述摄像头异常平均值大于异常阈值，且所述异常时长大于时长阈值时，对所述摄像头进行异常报警提示。

8.一种车辆，其特征在于，所述车辆包括如权利要求7所述的摄像头异常报警装置。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，其特征在于，所述计算机指令被执行时，使得计算机执行如权利要求1-6中任一项所述的摄像头异常报警方法。

10.一种计算机设备，其包括处理器和存储器，所述存储器存储有计算机指令，其特征在于，所述计算机指令被所述处理器执行时实现如权利要求1-6中任一项所述的摄像头异常报警方法。