CN109413411A - 一种监控线路的黑屏识别方法、装置及服务器 - Google Patents

Abstract

本发明公开了一种监控线路的黑屏识别方法、装置及服务器，所述方法包括：获取监控屏幕图像，所述监控屏幕图像包括至少一个显示有监控图像的屏幕的屏幕图像；确定所述监控屏幕图像中的屏幕图像，所述屏幕图像包括至少一个监控线路的监控图像；将所述屏幕图像输入黑屏识别模型进行黑屏识别处理，得到包含黑屏图像的屏幕图像中的黑屏信息，所述黑屏识别模型包括基于机器学习算法对标注有黑屏信息的屏幕图像进行训练确定的预测模型；基于所述黑屏信息和所述包含黑屏图像的屏幕图像的尺寸信息确定所述黑屏图像所对应的监控线路。利用本发明提供的技术方案可以快速准确的识别出存在黑屏图像的监控线路。

Description

一种监控线路的黑屏识别方法、装置及服务器

技术领域

本发明涉及信息处理技术领域，尤其涉及一种监控线路的黑屏识别方法、装置及服务器。

背景技术

目前，在居民小区、道路、公园、博物馆等公共场所常常需要利用摄像机在一些固定点位做人工操作、或者自动巡检，以拍摄多个区域的监控视频并实时展示在监控室中的屏幕上，进行交通、治安监控。在实际的监控过程中，常常会出现因故障而导致黑屏的监控线路，造成监控盲区。因此，需要及时识别出视频监控过程中出现的黑屏现象的监控线路，以及时修复故障。

现有技术中识别出现黑屏现象的监控线路往往需要获取原始的监控视频，计算出每一帧视频图像中像素点的灰度值；然后，统计每一帧视频图像中灰度值大于预设黑色阈值的像素点的数量；当某一帧视频图像中灰度值大于预设黑色阈值的像素点的数量大于预设数量阈值时，可以确定该视频图像所对应的监控线路出现黑屏现象，相应的，该视频图像所对应的监控线路出现故障，需要进行相应的故障维护。但上述现有的方法依赖原始的监控视频，数据处理量大，且对监控视频中每一帧视频图像的图像质量要求高，如图像质量不佳，容易发生误判，识别准确率低。因此，需要提供更可靠或更有效的方案。

发明内容

本发明提供了一种监控线路的黑屏识别方法、装置及服务器，可以快速准确的识别出存在黑屏图像的监控线路。

第一方面，本发明提供了一种监控线路的黑屏识别方法，所述方法包括：

获取监控屏幕图像，所述监控屏幕图像包括至少一个显示有监控图像的屏幕的屏幕图像；

确定所述监控屏幕图像中的屏幕图像，所述屏幕图像包括至少一个监控线路的监控图像；

将所述屏幕图像输入黑屏识别模型进行黑屏识别处理，得到包含黑屏图像的屏幕图像中的黑屏信息，所述黑屏识别模型包括基于机器学习算法对标注有黑屏信息的屏幕图像进行训练确定的预测模型；

基于所述黑屏信息和所述包含黑屏图像的屏幕图像的尺寸信息确定所述黑屏图像所对应的监控线路。

第二方面提供了一种监控线路的黑屏识别装置，所述装置包括：

监控屏幕图像获取模块，用于获取监控屏幕图像，所述监控屏幕图像包括至少一个显示有监控图像的屏幕的屏幕图像；

屏幕图像确定模块，用于确定所述监控屏幕图像中的屏幕图像，所述屏幕图像包括至少一个监控线路的监控图像；

黑屏识别处理模块，用于将所述屏幕图像输入黑屏识别模型进行黑屏识别处理，得到包含黑屏图像的屏幕图像中的黑屏信息，所述黑屏识别模型包括基于机器学习算法对标注有黑屏信息的屏幕图像进行训练确定的预测模型；

监控线路的黑屏识别模块，用于基于所述黑屏信息和所述包含黑屏图像的屏幕图像的尺寸信息确定所述黑屏图像所对应的监控线路。

第三方面提供了一种监控线路的黑屏识别服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的监控线路的黑屏识别方法。

本发明提供的监控线路的黑屏识别方法、装置及服务器，具有如下技术效果：

本发明能够在不获取原始监控视频的基础上，直接通过获取监控室画面(监控屏幕图像)，就可以快速准确的识别出存在黑屏现象的监控线路，不仅省去了派专人在监控室检查的人力成本，而且能够及时的反馈出存在黑屏现象的监控线路，以便及时对存在黑屏的监控线路进行故障修复。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明实施例提供的一种应用环境的示意图；

图2是本发明实施例提供的一种监控线路的黑屏识别方法的流程示意图；

图3是本发明实施例提供的确定所述监控屏幕图像中的屏幕图像的一种流程示意图；

图4是本发明实施例提供的确定所述监控屏幕图像中的屏幕图像的另一种流程示意图；

图5是本发明实施例提供的确定所述监控屏幕图像中的屏幕图像的另一种流程示意图；

图6是本发明实施例提供的确定所述监控屏幕图像中的屏幕图像的另一种流程示意图；

图7是本发明实施例提供的屏幕识别模型训练及应用的一种示意图；

图8是本发明实施例提供的黑屏识别模型训练及应用的一种示意图；

图9是本发明实施例提供的基于所述黑屏信息和所述包含黑屏图像的屏幕图像的尺寸信息确定所述黑屏图像所对应的监控线路的一种流程示意图；

图10是本发明实施例提供的一种监控线路的黑屏识别装置的结构示意图；

图11是本发明实施例提供的一种服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，图1是本发明实施例提供的一种应用环境的示意图，如图1所示，该应用环境可以包括显示设备01、摄像设备02、和服务器03。

所述显示设备01可以用于显示监控图像；本说明书实施例中，所述显示设备可以包括一个或多个显示器，所述显示器的屏幕上可以显示一个或多个监控线路的监控图像。

所述摄像设备02可以用于采集显示设备01上显示的监控屏幕图像；以及用于将采集的监控屏幕图像发送给服务器03。具体的，所述拍摄设备02可以包括但不限于摄像机，例如，所述摄像设备02还可以为服务器03上的镜头，相应的，服务器03可以直接获取镜头拍摄到的监控屏幕图像。

所述服务器03可以用于基于摄像设备02采集的监控屏幕图像进行监控线路的黑屏识别处理。具体的，所述服务器03可以包括一个或多个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。服务器可以包括有网络通信单元、处理器和存储器等等。

以下介绍本发明一种监控线路的黑屏识别方法，图2是本发明实施例提供的一种监控线路的黑屏识别方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，所述方法可以包括：

S201：获取监控屏幕图像。

本说明书实施例中，结合图1所示，可以在对准显示有监控图像的屏幕的方位上设置摄像设备，进行监控屏幕图像的采集。具体的，所述监控屏幕图像可以包括至少一个显示有监控图像的屏幕的屏幕图像。

本说明书实施例中，获取监控屏幕图像就可以实现监控图像的采集，无需获取原始的监控视频，可以提高计算效率；另外，该监控屏幕图像可以实时获取，保证后续可以基于该监控屏幕图像实时进行监控线路的黑屏识别。

S203：确定所述监控屏幕图像中的屏幕图像，所述屏幕图像包括至少一个监控线路的监控图像。

本说明书实施例中，在步骤S201获取监控屏幕图像之后，可以确定所述监控屏幕图像中的屏幕图像。具体的，所述屏幕图像可以包括至少一个监控线路的监控图像，且当监控屏幕图像中包括多个屏幕图像时，不同的屏幕图像中可以包括相同或不同数量的监控线路的监控图像。

在一个具体的实施例中，如图3所示，所述确定所述监控屏幕图像中的屏幕图像可以包括：

S301：对所述监控屏幕图像进行灰度化处理，得到灰度监控屏幕图像。

在实际应用中，监控屏幕图像往往是RGB图像，本说明书实施例中，可以对监控屏幕图像进行灰度化处理，实现图像的降维以及减少后续的计算量，提高计算处理效率。

S303：计算所述灰度监控屏幕图像的图像梯度值，利用所述图像梯度值提取所述灰度监控屏幕图像中的矩形边缘，得到包含矩形边缘的梯度图像。

本说明书实施例中，所述灰度监控屏幕图像的图像梯度值可以包括灰度监控屏幕图像在水平方向和垂直方向上的图像梯度值进行求和得到的总的图像梯度值。具体的，本说明书实施例中，可以包括但不限于利用Sobel(索贝尔)算子计算所述灰度监控屏幕图像的图像梯度值。

本说明书实施例中，所述灰度监控屏幕图像的图像梯度值可以表征对应的像素点是否被检测为边缘。相应的，可以利用所述图像梯度值提取所述灰度监控屏幕图像中的矩形边缘，得到包含矩形边缘的梯度图像。

S305：对所述包含矩形边缘的梯度图像进行二值化处理，得到二值图像。

本说明书实施例中，对梯度图像进行二值化处理，得到黑白图像来突出边界。具体的，本说明书实施例中，可以包括但不限于利用Otsu算法(最大类间方差法)自适应的寻找最佳的二值化边界阈值，得到包含二值矩形边界的图像。具体的，可以基于图像的灰度直方图，遍历灰度值0至255来找出使得类间方差最大化的值作为二值化边界阈值。

S307：查找所述二值图像中的连通区域，计算所述连通区域的最小矩形外界边框。

S309：将所述最小矩形外界边框所对应的图像作为屏幕图像。

本说明书实施例中，屏幕图像所对应的二值图像应该是相互连通的，那么求这个连通区域的最小外界矩形边框就可以确定屏幕图像的位置。具体的，可以包括但不限于利用八连通区域算法来寻找二值图里所有的连通区域，然后，计算每一个连通区域的最小矩形外接边框；将最小矩形外界边框所对应的图像作为屏幕图像。

在一些实施例中，如图4所示，在计算所述灰度监控屏幕图像的图像梯度值之前，所述方法还包括：

S311：对所述灰度监控屏幕图像进行图像模糊处理，得到模糊监控屏幕图像。

相应的，所述计算所述灰度监控屏幕图像的图像梯度值包括计算所述模糊监控屏幕图像的图像梯度值。

本说明书实施例中，对灰度监控屏幕图像进行图像模糊处理可以降低图像噪音对识别屏幕图像的干扰，提高识别出的屏幕图像的准确性。

具体的，本说明书实施例中，可以包括但不限于采用双边滤波(BilateralFiltering)算法对所述灰度监控屏幕图像进行图像模糊处理。具体的，双边滤波算法采用加权平均的方法，用周边像素亮度值的加权平均代表某个像素的强度，所用的加权平均基于高斯分布；同时，权重不仅考虑了像素的欧氏距离(空间差异)，还考虑了像素范围域中的辐射差异(光度与色彩差异)，可以在模糊噪音的基础上有效的保留边界的信息。

在另一些实施例中，如图5所示，在步骤S307之后，所述方法还可以包括：

S313：判断所述最小矩形外界边框是否满足预设边框条件；

S315：当判断的结果为是时，判断满足预设边框条件的最小矩形外界边框所对应的图像是否存在图像倾斜；

S317：当判断出满足预设边框条件的最小矩形外界边框所对应的图像不存在图像倾斜时，将不存在图像倾斜的最小矩形外界边框所对应的图像作为屏幕图像；

相应的，所述将所述最小矩形外界边框所对应的图像作为屏幕图像包括将不存在图像倾斜的最小矩形外界边框所对应的图像作为屏幕图像。

在实际应用中，当需要进行监控的场景确定后，监控屏幕图像中屏幕图像的排列信息(所述排列信息可以为屏幕图像在监控屏幕图像中的大概的位置和尺寸大小信息)可以确定，相应的，本说明书实施例中，所述预设边框条件可以包括基于屏幕图像在监控屏幕图像中的排列信息设定的矩形外界边框的位置大小。具体的，这里通过判断所述最小矩形外界边框是否满足预设边框条件，可以将明显大小不符合和位置不符合的最小矩形外界边框剔除。

进一步的，考虑到获取的监控屏幕图像中的屏幕图像存在因拍摄角度等导致的图像倾斜，本说明书实施例中，可以进行满足预设边框条件的最小矩形外界边框所对应的图像是否存在图像倾斜的判断，当判断的结果为否时，可以将不存在图像倾斜的最小矩形外界边框所对应的图像作为屏幕图像。反之，在另一些实施例中，当判断的结果为是时，可以执行步骤S319。

S319：当判断出满足预设边框条件的最小矩形外界边框所对应的图像存在图像倾斜时，利用坐标变换将存在图像倾斜的图像变换为水平位置的图像，将所述水平位置的图像作为屏幕图像。

相应的，所述将所述最小矩形外界边框所对应的图像作为屏幕图像包括将所述水平位置的图像作为屏幕图像。

在另一些实施例中，如图6所示，所述确定所述监控屏幕图像中的屏幕图像可以包括：

S601：将所述监控屏幕图像输入屏幕识别模型进行屏幕识别处理，得到所述监控屏幕图像中屏幕图像的位置信息。

本说明书实施例，所述屏幕识别模型包括基于机器学习算法对标注有屏幕图像的位置信息的监控屏幕图像进行屏幕识别训练确定的预测模型。具体的，本说明书实施例中所述机器学习算法可以包括但不限于基于卷积神经网络、传统神经网络，递归神经网络或深度神经网络等的学习算法。在一个具体的实施例中，以基于深度神经网络的学习算法SSD(Single Shot Multi-Box Detector，多目标检测)网络为例，具体的，基于SSD对标注有屏幕图像的位置信息的监控屏幕图像进行屏幕识别训练得到屏幕识别模型可以包括以下步骤：

1)获取标注有屏幕图像的位置信息的监控屏幕图像；

本说明书实施例中，可以通过摄像设备采集大量监控屏幕图像，对采集的大量监控屏幕图像进行屏幕图像的位置信息标注处理，得到标注有屏幕图像的位置信息的监控屏幕图像。

另一些实施例中，可以对采集的监控屏幕图像进行图像增强处理后，对图像增强处理后的图像进行屏幕图像的位置信息标注处理，得到标注有屏幕图像的位置信息的监控屏幕图像。

具体的，本说明书实施例中，所述图像增强处理可以包括对图像的亮度调整，对图像的饱和度调整以及对图像的加噪处理等。

本说明书实施例中，可以对监控屏幕图像利用图像标注工具标注出屏幕图像的位置信息。具体的，可以采用但不限于标注工具LabelImg。

2)将标注有屏幕图像的位置信息的监控屏幕图像输入多目标检测模型进行屏幕识别训练，调整所述多目标检测模型中各层的参数直至所述多目标检测模型的当前输出的屏幕图像的位置信息与当前输入的监控屏幕图像中屏幕图像的位置信息相匹配，将当前多目标检测模型作为屏幕识别模型。

本说明书实施例中，在得到标注有屏幕图像的位置信息的监控屏幕图像之后，可以将该标注有屏幕图像的位置信息的监控屏幕图像作为训练数据，输入预设多目标检测模型进行屏幕识别训练。

本说明书实施例所述多目标检测模型以VGG16图像分类模型结构为基础，具体的，本说明书实施例中取VGG16的前5层卷积层，将VGG16两个全连接层改成卷积层再增加4个卷积层构造多目标检测模型的网络结构。其中，前5层卷积层进行图像特征提取，得到特征图；再对接下来5个不同的卷积层的输出的特征图分别做2次卷积(相当于不同尺度的特征提取和检测)，一次卷积输出分类用的置信度，另一次卷积输出回归的屏幕图像的位置信息；最后一层卷积层综合5个多尺度的特征图和前5层卷积层的特征图的输出结果，基于非最大抑制算法筛选出屏幕图像的位置信息。

上述训练过程中采用在最终特征图上做目标检测之外还在之前选取的5个特征图上进行预测，有效提高计算速度。

如图7所示，图7是本发明实施例提供的屏幕识别模型训练及应用的一种示意图。从图7中可见，在以标注有屏幕图像的位置信息的监控屏幕图像作为训练数据输入多目标检测模型进行训练后，可以得到屏幕识别模型，后续，将新的监控屏幕图像输入该屏幕识别模型，该屏幕识别模型可以输出该新的监控屏幕图像中屏幕图像的位置信息。

S603：提取所述位置信息所对应的图像。

S605：将提取的所述所对应的图像作为屏幕图像。

另外，需要说明的是，本说明书实施例中，在确定监控屏幕图像中的屏幕图像时，可以根据实际的屏幕的排列情况(即监控屏幕图像所对应的监控场景中屏幕的排列情况)确定屏幕图像之间的相对位置，进而确定每一屏幕图像所对应的监控线路。

S205：将所述屏幕图像输入黑屏识别模型进行黑屏识别处理，得到包含黑屏图像的屏幕图像中的黑屏信息。

本说明书实施例中，所述黑屏信息可以包括黑屏图像的位置信息和尺寸信息。

本说明书实施例中，所述黑屏识别模型可以包括基于机器学习算法对标注有黑屏信息的屏幕图像进行训练确定的预测模型。具体的，本说明书实施例中所述机器学习算法可以包括但不限于基于卷积神经网络、传统神经网络，递归神经网络或深度神经网络等的学习算法。在一个具体的实施例中，以基于深度神经网络的学习算法SSD(Single ShotMulti-Box Detector，多目标检测)网络为例，具体的，基于SSD对标注有黑屏信息的屏幕图像进行黑屏识别训练得到黑屏识别模型可以包括以下步骤：

1)获取标注有黑屏信息的屏幕图像；

2)将标注有黑屏信息的屏幕图像输入多目标检测模型进行屏幕识别训练，调整所述多目标检测模型中各层的参数直至所述多目标检测模型的当前输出的黑屏信息与当前输入的屏幕图像的黑屏信息相匹配，将当前多目标检测模型作为黑屏识别模型。

具体的，这里黑屏识别模型的训练过程的相关步骤可以参见上述屏幕设备模型训练过程的相关步骤，在此不再赘述。

如图8所示，图8是本发明实施例提供的黑屏识别模型训练及应用的一种示意图。从图8中可见，在以标注有黑屏信息的屏幕图像作为训练数据输入多目标检测模型进行训练后，可以得到黑屏识别模型，后续，将新的屏幕图像输入该黑屏识别模型，若该新的屏幕图像中包含黑屏图像，该黑屏识别模型可以输出该新的屏幕图像的黑屏信息。

此外，需要说明的是，当输入黑屏识别模型中的屏幕图像中不包含和平图像时，该黑屏识别模型输出的黑屏信息为空，具体的实施例中，可以以预设字符串等形式标识该黑屏识别模型输出的黑屏信息为空。

S207：基于所述黑屏信息和所述包含黑屏图像的屏幕图像的尺寸信息确定所述黑屏图像所对应的监控线路。

本说明书实施例中，在步骤S205确定出屏幕图像之后，可以获取屏幕图像的尺寸信息，然后，可以基于所述黑屏信息和所述包含黑屏图像的屏幕图像的尺寸信息确定所述黑屏图像所对应的监控线路，具体的，如图9所示，基于所述黑屏信息和所述包含黑屏图像的屏幕图像的尺寸信息确定所述黑屏图像所对应的监控线路可以包括：

S901：利用所述黑屏图像的尺寸信息和包含所述黑屏图像的屏幕图像的尺寸信息计算所述黑屏图像与所述屏幕图像的尺寸比例。

S903：根据所述尺寸比例确定所述屏幕图像的分屏信息。

S905：根据所述分屏信息和所述黑屏图像的位置信息确定所述黑屏图像在包含所述黑屏图像的屏幕图像中的位置信息。

S907：基于所述黑屏图像在包含所述黑屏图像的屏幕图像中的位置信息确定所述黑屏图像所对应的监控线路。

在一个具体的实施例中，结合图1，假设计算出黑屏图像与包含该黑屏图像的屏幕图像的尺寸比例为1:2，相应的，可以判断出屏幕图像的分屏信息为2*2。进一步的，在确定屏幕图像的分屏信息之后，可以结合黑屏图像的位置信息确定出黑屏图像在包含该黑屏图像的屏幕图像中的位置信息，例如，黑屏图像在包含该黑屏图像的屏幕图像中的第一排第二列。相应的，可以确定屏幕图像中的第一排第二列显示的监控图像的监控线路，进而，确定出黑屏图像所对应的监控线路，实现对监控线路的黑屏识别，以便及时对存在黑屏的监控线路进行故障修复。

由以上本说明书实施例提供的技术方案可见，本说明书实施例中通过获取监控屏幕图像，确定监控屏幕图像中的屏幕图像，以及将屏幕图像输入黑屏识别模型进行黑屏识别处理，可以得到包含黑屏图像的屏幕图像中的黑屏信息，实现对黑屏现象的监控，最后，基于黑屏信息和包含黑屏图像的屏幕图像的尺寸信息可以准确确定出黑屏图像所对应的监控线路，无需依赖原始的监控视频就实现对监控线路的黑屏识别。利用本说明书实施例提供的技术方案可以在不获取原始监控视频的基础上，直接通过获取监控室画面(监控屏幕图像)，就可以快速准确的识别出存在黑屏现象的监控线路，不仅省去了派专人在监控室检查的人力成本，而且能够及时的反馈出存在黑屏现象的监控线路，以便及时对存在黑屏的监控线路进行故障修复。

本发明实施例还提供了一种监控线路的黑屏识别装置，如图10所示，所述装置包括：

监控屏幕图像获取模块1010，可以用于获取监控屏幕图像，所述监控屏幕图像包括至少一个显示有监控图像的屏幕的屏幕图像；

屏幕图像确定模块1020，可以用于确定所述监控屏幕图像中的屏幕图像，所述屏幕图像包括至少一个监控线路的监控图像；

黑屏识别处理模块1030，可以用于将所述屏幕图像输入黑屏识别模型进行黑屏识别处理，得到包含黑屏图像的屏幕图像中的黑屏信息，所述黑屏识别模型包括基于机器学习算法对标注有黑屏信息的屏幕图像进行训练确定的预测模型；

监控线路的黑屏识别模块1040，可以用于基于所述黑屏信息和所述包含黑屏图像的屏幕图像的尺寸信息确定所述黑屏图像所对应的监控线路。

另一实施例中，所述黑屏信息包括黑屏图像的位置信息和尺寸信息；

相应的，所述监控线路的黑屏识别模块1040可以包括：

尺寸比例确定单元，可以用于利用所述黑屏图像的尺寸信息和包含所述黑屏图像的屏幕图像的尺寸信息计算所述黑屏图像与所述屏幕图像的尺寸比例；

分屏信息确定单元，可以用于根据所述尺寸比例确定所述屏幕图像的分屏信息；

位置信息确定单元，可以用于根据所述分屏信息和所述黑屏图像的位置信息确定所述黑屏图像在包含所述黑屏图像的屏幕图像中的位置信息；

监控线路确定单元，可以用于基于所述黑屏图像在包含所述黑屏图像的屏幕图像中的位置信息确定所述黑屏图像所对应的监控线路。

另一实施例中，所述屏幕图像确定模块1020可以包括：

灰度化处理单元，可以用于对所述监控屏幕图像进行灰度化处理，得到灰度监控屏幕图像；

梯度图像确定单元，可以用于计算所述灰度监控屏幕图像的图像梯度值，利用所述图像梯度值提取所述灰度监控屏幕图像中的矩形边缘，得到包含矩形边缘的梯度图像；

二值化处理单元，可以用于对所述包含矩形边缘的梯度图像进行二值化处理，得到二值图像；

外界边框确定单元，可以用于查找所述包含二值图像中的连通区域，计算所述连通区域的最小矩形外界边框；

第一屏幕图像确定单元，用于将所述最小矩形外界边框所对应的图像作为屏幕图像。

另一实施例中，所述屏幕图像确定模块1020还可以包括：

图像模糊处理单元，用于在计算所述灰度监控屏幕图像的图像梯度值之前，对所述灰度监控屏幕图像进行图像模糊处理，得到模糊监控屏幕图像；

相应的，所述梯度图像确定单元中计算所述灰度监控屏幕图像的图像梯度值包括计算所述模糊监控屏幕图像的图像梯度值。

另一实施例中，所述屏幕图像确定模块1020还可以包括：

第一判断单元，用于在计算得到最小矩形外界边框之后，判断所述最小矩形外界边框是否满足预设边框条件；

第二判断单元，用于当所述第一判断单元判断的结果为是时，判断满足预设边框条件的最小矩形外界边框所对应的图像是否存在图像倾斜；

第二屏幕图像确定单元，用于当所述第二判断单元判断的结果为否时，将不存在图像倾斜的最小矩形外界边框所对应的图像作为屏幕图像；

其中，所述预设边框条件包括基于屏幕图像在监控屏幕图像中的排列信息设定的矩形外界边框的位置大小；

相应的，所述第一屏幕图像确定单元中将所述最小矩形外界边框所对应的图像作为屏幕图像包括将不存在图像倾斜的最小矩形外界边框所对应的图像作为屏幕图像。

另一实施例中，所述屏幕图像确定模块1020还可以包括：

图像变换处理单元，用于当所述第二判断单元判断的结果为是时，利用坐标变换将存在图像倾斜的图像变换为水平位置的图像；

第三屏幕图像确定单元，用于将所述水平位置的图像作为屏幕图像；

相应的，所述第一屏幕图像确定单元中将所述最小矩形外界边框所对应的图像作为屏幕图像包括将所述水平位置的图像作为屏幕图像。

另一实施例中，所述屏幕图像确定模块1020可以包括：

屏幕识别处理单元，用于将所述监控屏幕图像输入屏幕识别模型进行屏幕识别处理，得到所述监控屏幕图像中屏幕图像的位置信息；

图像提取单元，用于提取所述位置信息所对应的图像；

第四屏幕图像确定单元，用于将提取的所述所对应的图像作为屏幕图像；

其中，所述屏幕识别模型包括基于机器学习算法对标注有屏幕图像的位置信息的监控屏幕图像进行屏幕识别训练确定的预测模型。

所述的装置实施例中的装置与方法实施例基于同样地发明构思。

本发明实施例提供了一种监控线路的黑屏识别服务器，该监控线路的黑屏识别服务器包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的监控线路的黑屏识别方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本发明实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图11是本发明实施例提供的一种监控线路的黑屏识别方法的服务器的硬件结构框图。如图11所示，该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central ProcessingUnits，CPU)1110(处理器1110可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1130，一个或一个以上存储应用程序1123或数据1122的存储介质1120(例如一个或一个以上海量存储设备)。其中，存储器1130和存储介质1120可以是短暂存储或持久存储。存储在存储介质1120的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1110可以设置为与存储介质1120通信，在服务器1100上执行存储介质1120中的一系列指令操作。服务器1100还可以包括一个或一个以上电源1160，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1140，和/或，一个或一个以上操作系统1121，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

输入输出接口1140可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1100的通信供应商提供的无线网络。在一个实例中，输入输出接口1140包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1140可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图11所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器1100还可包括比图11中所示更多或者更少的组件，或者具有与图11所示不同的配置。

本发明的实施例还提供了一种存储介质，所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种监控线路的黑屏识别方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的监控线路的黑屏识别方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本发明提供的监控线路的黑屏识别方法、装置、服务器或存储介质的实施例可见，本发明实施例中通过获取监控屏幕图像，确定监控屏幕图像中的屏幕图像，以及将屏幕图像输入黑屏识别模型进行黑屏识别处理，可以得到包含黑屏图像的屏幕图像中的黑屏信息，实现对黑屏现象的监控，最后，基于黑屏信息和包含黑屏图像的屏幕图像的尺寸信息可以准确确定出黑屏图像所对应的监控线路，无需依赖原始的监控视频就实现对监控线路的黑屏识别。利用本说明书实施例提供的技术方案可以在不获取原始监控视频的基础上，直接通过获取监控室画面(监控屏幕图像)，就可以快速准确的识别出存在黑屏现象的监控线路，不仅省去了派专人在监控室检查的人力成本，而且能够及时的反馈出存在黑屏现象的监控线路，以便及时对存在黑屏的监控线路进行故障修复。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种监控线路的黑屏识别方法，其特征在于，所述方法包括：

获取监控屏幕图像，所述监控屏幕图像包括至少一个显示有监控图像的屏幕的屏幕图像；

确定所述监控屏幕图像中的屏幕图像，所述屏幕图像包括至少一个监控线路的监控图像；

将所述屏幕图像输入黑屏识别模型进行黑屏识别处理，得到包含黑屏图像的屏幕图像中的黑屏信息，所述黑屏识别模型包括基于机器学习算法对标注有黑屏信息的屏幕图像进行训练确定的预测模型；

基于所述黑屏信息和所述包含黑屏图像的屏幕图像的尺寸信息确定所述黑屏图像所对应的监控线路。

2.根据权利要求1所述的方法，其特征在于，所述黑屏信息包括黑屏图像的位置信息和尺寸信息；

相应的，所述基于所述黑屏信息和所述包含黑屏图像的屏幕图像的尺寸信息确定所述黑屏图像所对应的监控线路包括：

利用所述黑屏图像的尺寸信息和包含所述黑屏图像的屏幕图像的尺寸信息计算所述黑屏图像与所述屏幕图像的尺寸比例；

根据所述尺寸比例确定所述屏幕图像的分屏信息；

根据所述分屏信息和所述黑屏图像的位置信息确定所述黑屏图像在包含所述黑屏图像的屏幕图像中的位置信息；

基于所述黑屏图像在包含所述黑屏图像的屏幕图像中的位置信息确定所述黑屏图像所对应的监控线路。

3.根据权利要求1所述的方法，其特征在于，所述确定所述监控屏幕图像中的屏幕图像包括：

对所述监控屏幕图像进行灰度化处理，得到灰度监控屏幕图像；

计算所述灰度监控屏幕图像的图像梯度值，利用所述图像梯度值提取所述灰度监控屏幕图像中的矩形边缘，得到包含矩形边缘的梯度图像；

对所述包含矩形边缘的梯度图像进行二值化处理，得到二值图像；

查找所述包含二值图像中的连通区域，计算所述连通区域的最小矩形外界边框；

将所述最小矩形外界边框所对应的图像作为屏幕图像。

4.根据权利要求3所述的方法，其特征在于，在计算所述灰度监控屏幕图像的图像梯度值之前，所述方法还包括：

对所述灰度监控屏幕图像进行图像模糊处理，得到模糊监控屏幕图像；

相应的，所述计算所述灰度监控屏幕图像的图像梯度值包括计算所述模糊监控屏幕图像的图像梯度值。

5.根据权利要求3或4所述的方法，其特征在于，在计算得到最小矩形外界边框之后，所述方法还包括：

判断所述最小矩形外界边框是否满足预设边框条件；

当判断的结果为是时，判断满足预设边框条件的最小矩形外界边框所对应的图像是否存在图像倾斜；

当判断出满足预设边框条件的最小矩形外界边框所对应的图像不存在图像倾斜时，将不存在图像倾斜的最小矩形外界边框所对应的图像作为屏幕图像；

其中，所述预设边框条件包括基于屏幕图像在监控屏幕图像中的排列信息设定的矩形外界边框的位置大小；

相应的，所述将所述最小矩形外界边框所对应的图像作为屏幕图像包括将不存在图像倾斜的最小矩形外界边框所对应的图像作为屏幕图像。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

当判断出满足预设边框条件的最小矩形外界边框所对应的图像存在图像倾斜时，利用坐标变换将存在图像倾斜的图像变换为水平位置的图像，将所述水平位置的图像作为屏幕图像；

相应的，所述将所述最小矩形外界边框所对应的图像作为屏幕图像包括将所述水平位置的图像作为屏幕图像。

7.根据权利要求1所述的方法，其特征在于，所述确定所述监控屏幕图像中的屏幕图像包括：

将所述监控屏幕图像输入屏幕识别模型进行屏幕识别处理，得到所述监控屏幕图像中屏幕图像的位置信息；

提取所述位置信息所对应的图像；

将提取的所述所对应的图像作为屏幕图像；

其中，所述屏幕识别模型包括基于机器学习算法对标注有屏幕图像的位置信息的监控屏幕图像进行屏幕识别训练确定的预测模型。

8.一种监控线路的黑屏识别装置，其特征在于，所述装置包括：

监控屏幕图像获取模块，用于获取监控屏幕图像，所述监控屏幕图像包括至少一个显示有监控图像的屏幕的屏幕图像；

屏幕图像确定模块，用于确定所述监控屏幕图像中的屏幕图像，所述屏幕图像包括至少一个监控线路的监控图像；

黑屏识别处理模块，用于将所述屏幕图像输入黑屏识别模型进行黑屏识别处理，得到包含黑屏图像的屏幕图像中的黑屏信息，所述黑屏识别模型包括基于机器学习算法对标注有黑屏信息的屏幕图像进行训练确定的预测模型；

监控线路的黑屏识别模块，用于基于所述黑屏信息和所述包含黑屏图像的屏幕图像的尺寸信息确定所述黑屏图像所对应的监控线路。

9.根据权利要求8所述的装置，其特征在于，所述黑屏信息包括黑屏图像的位置信息和尺寸信息；

相应的，所述监控线路的黑屏识别模块包括：

尺寸比例确定单元，用于利用所述黑屏图像的尺寸信息和包含所述黑屏图像的屏幕图像的尺寸信息计算所述黑屏图像与所述屏幕图像的尺寸比例；

分屏信息确定单元，用于根据所述尺寸比例确定所述屏幕图像的分屏信息；

位置信息确定单元，用于根据所述分屏信息和所述黑屏图像的位置信息确定所述黑屏图像在包含所述黑屏图像的屏幕图像中的位置信息；

监控线路确定单元，用于基于所述黑屏图像在包含所述黑屏图像的屏幕图像中的位置信息确定所述黑屏图像所对应的监控线路。

10.根据权利要求8所述的装置，其特征在于，所述屏幕图像确定模块包括：

灰度化处理单元，用于对所述监控屏幕图像进行灰度化处理，得到灰度监控屏幕图像；

梯度图像确定单元，用于计算所述灰度监控屏幕图像的图像梯度值，利用所述图像梯度值提取所述灰度监控屏幕图像中的矩形边缘，得到包含矩形边缘的梯度图像；

二值化处理单元，用于对所述包含矩形边缘的梯度图像进行二值化处理，得到二值图像；

外界边框确定单元，用于查找所述包含二值图像中的连通区域，计算所述连通区域的最小矩形外界边框；

第一屏幕图像确定单元，用于将所述最小矩形外界边框所对应的图像作为屏幕图像。

11.根据权利要求10所述的装置，其特征在于，所述屏幕图像确定模块还包括：

图像模糊处理单元，用于在计算所述灰度监控屏幕图像的图像梯度值之前，对所述灰度监控屏幕图像进行图像模糊处理，得到模糊监控屏幕图像；

相应的，所述梯度图像确定单元中计算所述灰度监控屏幕图像的图像梯度值包括计算所述模糊监控屏幕图像的图像梯度值。

12.根据权利要求10或11所述的装置，其特征在于，所述屏幕图像确定模块还包括：

第一判断单元，用于在计算得到最小矩形外界边框之后，判断所述最小矩形外界边框是否满足预设边框条件；

第二判断单元，用于当所述第一判断单元判断的结果为是时，判断满足预设边框条件的最小矩形外界边框所对应的图像是否存在图像倾斜；

第二屏幕图像确定单元，用于当所述第二判断单元判断的结果为否时，将不存在图像倾斜的最小矩形外界边框所对应的图像作为屏幕图像；

其中，所述预设边框条件包括基于屏幕图像在监控屏幕图像中的排列信息设定的矩形外界边框的位置大小；

相应的，所述第一屏幕图像确定单元中将所述最小矩形外界边框所对应的图像作为屏幕图像包括将不存在图像倾斜的最小矩形外界边框所对应的图像作为屏幕图像。

13.根据权利要求12所述的装置，其特征在于，所述屏幕图像确定模块还包括：

图像变换处理单元，用于当所述第二判断单元判断的结果为是时，利用坐标变换将存在图像倾斜的图像变换为水平位置的图像；

第三屏幕图像确定单元，用于将所述水平位置的图像作为屏幕图像；

相应的，所述第一屏幕图像确定单元中将所述最小矩形外界边框所对应的图像作为屏幕图像包括将所述水平位置的图像作为屏幕图像。

14.根据权利要求8所述的装置，其特征在于，所述屏幕图像确定模块包括：

屏幕识别处理单元，用于将所述监控屏幕图像输入屏幕识别模型进行屏幕识别处理，得到所述监控屏幕图像中屏幕图像的位置信息；

图像提取单元，用于提取所述位置信息所对应的图像；

第四屏幕图像确定单元，用于将提取的所述所对应的图像作为屏幕图像；

其中，所述屏幕识别模型包括基于机器学习算法对标注有屏幕图像的位置信息的监控屏幕图像进行屏幕识别训练确定的预测模型。

15.一种监控线路的黑屏识别服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的监控线路的黑屏识别方法。