CN116385931B - 视频监控画面的检测方法、装置、电子设备和存储介质 - Google Patents

视频监控画面的检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN116385931B
CN116385931B CN202310353501.7A CN202310353501A CN116385931B CN 116385931 B CN116385931 B CN 116385931B CN 202310353501 A CN202310353501 A CN 202310353501A CN 116385931 B CN116385931 B CN 116385931B
Authority
CN
China
Prior art keywords
preset
result
target
wall
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310353501.7A
Other languages
English (en)
Other versions
CN116385931A (zh
Inventor
胡敏
李冬冬
李立江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Ruitu Technology Co ltd
Original Assignee
Beijing Zhongke Ruitu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Ruitu Technology Co ltd filed Critical Beijing Zhongke Ruitu Technology Co ltd
Priority to CN202310353501.7A priority Critical patent/CN116385931B/zh
Publication of CN116385931A publication Critical patent/CN116385931A/zh
Application granted granted Critical
Publication of CN116385931B publication Critical patent/CN116385931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种视频监控画面的检测方法、装置、电子设备和存储介质，该方法包括：获取与待检测的监控画面对应的目标图像；基于预设分类模型对所述目标图像进行分类，得到分类结果和与所述分类结果对应的第一置信度；若所述第一置信度不大于预设阈值，将所述目标图像输入预设语义分割模型进行语义分割，得到与目标主体结构对应的语义分割结果，其中，所述目标主体结构为所述目标图像中监控对象的主体结构；根据所述语义分割结果确定对所述监控画面的检测结果，以此通过结合分类与语义分割的处理框架，提高了视频监控画面的检测准确度和效率。

Description

视频监控画面的检测方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机技术领域，更具体地，涉及视频监控画面的检测方法、装置、电子设备和存储介质。
背景技术
随着摄像头安装数量的日益增多，以及智慧城市、智慧工地、智慧教室等需求的日益增长，视频监控成为安防、管理、信息获取的重要手段。随着监控摄像头的日益增多，庞大的摄像头数量和采集的实时视频信息给监控人员带来了巨大的压力，屏幕监控人员工作量繁重，长时间的人工监控与审查也很容易产生漏看、错看等问题，也无法从时空全局角度进行智能的分析与决策。
现有技术中，通常采用基于CNN(Convolutional Neural Network，卷积神经网络)的分类识别模型，首先通过卷积层(卷积+激活函数+池化)提取图像特征后，再通过全连接层将提取到的特征映射到分类目标上，将画面分为正常画面和异常画面。然而，该方式存在以下不足：
样本不平衡：通常异常画面出现频率占比小，如图2所示为是对一段时间内工地监控视频中正常画面(“工地”)、异常画面(“遮挡”、“角度异常”)进行数量统计的结果，可以看出异常画面只占总画面数量的3.47％。在这种样本不平衡的情况下，模型会学习到训练集中样本比例的这种先验性信息，分类边界会偏向“侵占”少数类的区域，预测时侧重于样本数量多的类别，导致多数类精度更好，而少数类比较差。
易混淆的图像：画面中有一些图像会因为摄像头污渍、光线不均、遮挡方向、角度朝向内容等影响，会与另一类有相近的图像特征，易造成误识。例如，如图3所示，画面模糊与过暗的情况被误识别为“异常画面”，局部遮挡但画面中有完整窗户，以及摄像头朝向异常但画面中主体内容与工地相近的情况被误识别为“正常画面”。
因此，如何提高视频监控画面的检测准确度和效率，是目前有待解决的技术问题。
发明内容
本申请实施例提出了一种视频监控画面的检测方法、装置、电子设备和存储介质，用以提高视频监控画面的检测准确度和效率。
第一方面，提供一种视频监控画面的检测方法，所述方法包括：获取与待检测的监控画面对应的目标图像；基于预设分类模型对所述目标图像进行分类，得到分类结果和与所述分类结果对应的第一置信度；若所述第一置信度不大于预设阈值，将所述目标图像输入预设语义分割模型进行语义分割，得到与目标主体结构对应的语义分割结果，其中，所述目标主体结构为所述目标图像中监控对象的主体结构；根据所述语义分割结果确定对所述监控画面的检测结果。
第二方面，提供一种视频监控画面的检测装置，所述装置包括：获取模块，用于获取与待检测的监控画面对应的目标图像；第一分类模块，用于基于预设分类模型对所述目标图像进行分类，得到分类结果和与所述分类结果对应的第一置信度；分割模块，用于若所述第一置信度不大于预设阈值，将所述目标图像输入预设语义分割模型进行语义分割，得到与目标主体结构对应的语义分割结果，其中，所述目标主体结构为所述目标图像中监控对象的主体结构；第二分类模块，用于根据所述语义分割结果确定对所述监控画面的检测结果。
第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行第一方面所述的视频监控画面的检测方法。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的视频监控画面的检测方法。
通过应用以上技术方案，获取与待检测的监控画面对应的目标图像；基于预设分类模型对所述目标图像进行分类，得到分类结果和与所述分类结果对应的第一置信度；若所述第一置信度不大于预设阈值，将所述目标图像输入预设语义分割模型进行语义分割，得到与目标主体结构对应的语义分割结果，其中，所述目标主体结构为所述目标图像中监控对象的主体结构；根据所述语义分割结果确定对所述监控画面的检测结果，以此通过结合分类与语义分割的处理框架，提高了视频监控画面的检测准确度和效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提出的一种视频监控画面的检测方法的流程示意图；
图2示出了现有技术中对工地视频监控样本采集时正常画面和异常画面占比示意图；
图3示出了现有技术中对室内空间视频监控画面的错误检测结果与原因分析的示意图；
图4示出了本发明实施例中室内空间视频监控画面的示意图；
图5示出了本发明实施例中对图4进行语义分割后的主体结构分割结果图；
图6示出了本发明另一实施例提出的一种视频监控画面的检测方法的流程示意图；
图7示出了本发明实施例中对室内空间视频监控画面的检测结果的示意图；
图8示出了本发明实施例提出的一种视频监控画面的检测装置的结构示意图；
图9示出了本发明实施例提出的一种电子设备的结构示意图。
图5中，10、墙面；20、门面；30、窗面；40、地面；50、墙墙线；60、墙地线。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求部分指出。
应当理解的是，本申请并不局限于下面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
本申请可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请实施例提供一种视频监控画面的检测方法，如图1所示，该方法包括以下步骤：
步骤S101，获取与待检测的监控画面对应的目标图像。
本实施例中，通过对监控画面进行检测，可将监控画面识别为正常画面类别或异常画面类别，例如，在摄像头存在遮挡或角度异常时，将监控画面识别为异常画面类别；在不存在遮挡和角度异常时，将监控画面识别为正常画面类别。先获取与待检测的监控画面对应的目标图像，该目标图像可以为对监控视频进行视频抽帧后获取的单帧图像，具体的，先根据待检测的监控画面的编号获取监控视频，实时或按预设采样频率对监控视频进行视频抽帧，得到单帧图像，将单帧图像作为目标图像，后续通过对目标图像进行识别确定相应的检测结果。可选的，还可通过对待检测的监控画面进行截图，得到目标图像。
步骤S102，基于预设分类模型对所述目标图像进行分类，得到分类结果和与所述分类结果对应的第一置信度。
本实施例中，预先根据多个样本目标图像训练出预设分类模型，在获取目标图像后，将目标图像输入预设分类模型进行分类，根据预设分类模型的输出结果得到分类结果和与所述分类结果对应的第一置信度，分类结果可以为正常画面类别或异常画面类别。
可选的，预设分类模型可以为基于CNN或RNN(Recurrent Neural Network，循环神经网络)的分类网络模型，具体的，例如可采用MobileNet V3网络模型。
步骤S103，若所述第一置信度不大于预设阈值，将所述目标图像输入预设语义分割模型进行语义分割，得到与目标主体结构对应的语义分割结果。
在得到第一置信度后，将第一置信度与预设阈值进行比较，若第一置信度不大于预设阈值，说明分类结果的准确性较低，需要对目标图像进行二次识别，具体的，预先根据目标主体结构的样本数据训练出预设语义分割模型，将目标图像输入预设语义分割模型进行语义分割，根据预设语义分割模型的输出结果得到与目标主体结构对应的语义分割结果，该语义分割结果用于将组成目标主体结构的多个结构对象区分出来，其中，目标主体结构为目标图像中监控对象的主体结构，例如，若监控对象为室内空间，目标主体结构为室内空间的主体结构，若监控对象为室外区域，目标主体结构为室外区域的主体结构。
可选的，预设语义分割模型可以为基于FCN(Fully Convolutional Networks，全卷积网络)的语义分割网络模型，具体的，例如可采用HRNet网络模型。
可选的，预设阈值可以为0.7。
步骤S104，根据所述语义分割结果确定对所述监控画面的检测结果。
在获取语义分割结果后，根据语义分割结果确定对所述监控画面的检测结果，例如，该检测结果重新将目标图像识别为正常画面类别或异常画面类别。以此通过结合分类与语义分割的处理框架，对分类结果不大于预设阈值目标图像，按监控对象的主体结构进行语义分割，并根据语义分割结果确定检测结果，从而提高了视频监控画面的检测准确度和效率。
在本申请一些实施例中，所述根据所述语义分割结果确定对所述监控画面的检测结果，包括：
获取与所述语义分割结果对应的分割结果图；
若所述分割结果图中各像素的第二置信度满足第一预设条件，且所述分割结果图中的预设目标结构对象满足第二预设条件，确定所述检测结果为正常画面类别；
若所述第二置信度不满足所述第一预设条件或所述预设目标结构对象不满足所述第二预设条件，确定所述检测结果为异常画面类别；
其中，所述目标主体结构包括多个结构对象，所述预设目标结构对象是从多个所述结构对象中确定的。
本实施例中，先获取与语义分割结果对应的分割结果图，例如，如图4所示为室内空间视频监控画面，即目标图像，如图5所示为对图4进行语义分割后的主体结构分割结果图。分割结果图中各像素的置信度为第二置信度，判断第二置信度是否满足第一预设条件，并判断分割结果图中的预设目标结构对象是否满足第二预设条件，其中，目标主体结构包括多个结构对象，预设目标结构对象是预先从各结构对象中确定的。若第二置信度满足第一预设条件且预设目标结构对象满足第二预设条件，说明目标图像符合目标主体结构，确定检测结果为正常画面类别。若第二置信度不满足第一预设条件或预设目标结构对象不满足第二预设条件，说明目标图像不符合目标主体结构，可能存在遮挡或角度异常的情况，确定检测结果为异常画面类别。
通过基于分割结果图中各像素的第二置信度和预设目标结构对象对目标图像进行判断，从而提高了检测结果的准确性。
在本申请一些实施例中，在确定所述检测结果为异常画面类别之后，所述方法还包括：发出存在异常的提示信息，以提示用户及时处理。另外，在确定目标图像为异常画面类别时，还可将目标图像输入预设异常识别模型进行异常类型的识别，得到目标异常类型，并基于目标异常类型生成提示信息，并发出所述提示信息。例如，目标异常类型为遮挡时，发出存在遮挡的提示信息；目标异常类型为角度异常时，发出存在角度异常的提示信息，从而使用户准确了解具体的异常原因，便于后续进行相应的处理。
在本申请一些实施例中，所述第一预设条件包括：所述像素中第一像素的数量与第二像素的数量的比值不小于预设比值，其中，所述第一像素的第二置信度不小于第一预设数值，所述第二像素的第二置信度不小于第二预设数值，所述第一预设数值大于所述第二预设数值。
本实施例中，分别统计第二置信度不小于第一预设数值的第一像素的数量和第二置信度不小于第二预设数值的第二像素的数量，其中，所述第一预设数值大于所述第二预设数值，所述第一预设条件包括：所述像素中第一像素的数量与第二像素的数量的比值不小于预设比值。
通过确定第一像素的数量与第二像素的数量的比值，若该比值不小于预设比值，说明分割结果图中高置信度的像素的占比较高，确定各像素的第二置信度满足第一预设条件；若该比值小于预设比值，说明分割结果图中高置信度的像素的占比较低，确定各像素的第二置信度不满足第一预设条件，以此通过高置信度的像素的占比确定第一预设条件，进一步提高了检测准确性。
可选的，第一预设数值为0.9，第二预设数值为0.5，预设比值为0.7。
在本申请一些实施例中，所述监控对象为室内空间，所述结构对象包括墙面、门面、窗面、地面、墙墙线和墙地线，所述预设目标结构对象包括墙墙线、墙地线、墙面和地面，所述第二预设条件包括：所述墙墙线的个数和所述墙地线的个数均不小于预设个数，且与所述墙面对应的墙面连通域的个数不小于所述预设个数且与所述地面对应的地面连通域的个数为一。
本实施例中，监控对象为室内空间，例如为室内装修工地，如图5所示，结构对象包括墙面10、门面20、窗面30、地面40、墙墙线50和墙地线60，其中，墙墙线50为墙与墙之间的交线，墙地线60为墙与地之间的交线。另外，分割结果图中不同结构对象为不同的颜色，以区分出各结构对象。例如，墙面10为绿色，门面20为藏青色，窗面30为天蓝色，地面40为黄色，墙墙线50为紫色，墙地线60青色。
选出墙墙线、墙地线、墙面和地面为预设目标结构对象，分别统计墙墙线、墙地线、墙面和地面的个数，第二预设条件包括：墙墙线的个数和墙地线的个数均不小于预设个数，且与墙面对应的墙面连通域的个数不小于预设个数且与地面对应的地面连通域的个数为一。
通过确定墙墙线的个数和墙地线的个数均不小于预设个数，说明分割结果图中墙墙线和墙地线的数量正常，可确定语义分割结果满足数量完整性。通过确定墙面连通域的个数不小于预设个数且与地面连通域的个数为一，说明分割结果图中墙面和地面的形状正常，确定语义分割结果满足形状完整性，在满足数量完整性和形状完整性的情况下确定满足第二预设条件，从而进一步提高了检测准确性。
可选的，预设个数为3。
需要说明的是，以上实施例的方案仅为本申请所提出的一种具体实现方案，监控对象为除室内空间以外的其他类型时，本领域技术人员可根据监控对象的具体主体结构的特点与属性确定相应的结构对象、预设目标结构对象和第二预设条件。
在本申请一些实施例中，在得到分类结果和与所述分类结果对应的第一置信度之后，所述方法还包括：
若所述第一置信度大于所述预设阈值，将所述分类结果作为所述检测结果。
本实施例中，若第一置信度大于预设阈值，说明预设分类模型输出的分类结果是准确的，将分类结果作为检测结果，例如，若分类结果为正常画面类别，则检测结果为正常画面类别；若分类结果为异常画面类别，则检测结果为异常画面类别。
通过应用以上技术方案，获取与待检测的监控画面对应的目标图像；基于预设分类模型对所述目标图像进行分类，得到分类结果和与所述分类结果对应的第一置信度；若所述第一置信度不大于预设阈值，将所述目标图像输入预设语义分割模型进行语义分割，得到与目标主体结构对应的语义分割结果，其中，所述目标主体结构为所述目标图像中监控对象的主体结构；根据所述语义分割结果确定对所述监控画面的检测结果，以此通过结合分类与语义分割的处理框架，提高了视频监控画面的检测准确度和效率。
为了进一步阐述本发明的技术思想，现结合具体的应用场景，对本发明的技术方案进行说明。
本申请实施例提供一种视频监控画面的检测方法，应用于室内装修场景，如图6所示，包括以下步骤：
步骤S601，从监控视频中抽取单帧图像，并将所述单帧图像作为目标图像。
该监控视频为室内装修场景下室内空间的监控视频，对监控视频进行视频抽帧，得到单帧图像，将单帧图像作为目标图像，后续对目标图像进行分类识别。
步骤S602，将目标图像输入CNN二分类网络，得到分类结果和第一置信度。
分类结果为正常画面类别或异常画面类别，CNN二分类网络采用MobileNet V3网络。
步骤S603，第一置信度是否大于预设阈值，若是执行步骤S604，否则执行步骤S605。
预设阈值为0.7。
步骤S604，根据分类结果确定监控画面为正常画面类别或异常画面类别。
步骤S605，将目标图像输入FCN语义分割网络，得到语义分割结果。
FCN全卷积语义分割网络为HRNet网络。
步骤S606，语义分割结果是否满足主体结构完整性判断规则，若是执行步骤S607，否则执行步骤S608。
具体的，将室内空间的主体结构分为四面和两线。四面为：墙面、门面、窗面、地面，两线为：墙墙线、墙地线。与语义分割结果对应的分割结果图如图5所示。
主体结构完整性判断规则为：
a)分割结果图中高置信度占比：
M＝{(x，y)|Prob(Iseg(x，y)≥0，9，(x，y)∈I}
N＝{(x，y)|Prob(Iseg(x，y)≥0.5，(x，y)∈I}
其中，I(x，y)为原始RGB图像，Iseg(x，y)为分割结果图，Prob(·)为分割结果图每类的置信度，M为分割结果图中满足置信度大于0.9的像素的个数，N为分割结果图中满足置信度大于0.5的像素个数。
b)分割结构完整性：
1)、数量完整性
|墙墙线|≥3∩|墙地线|≥3
2)、形状完整性
|墙面连通域|≥3∩|地面连通域|＝1
其中，其中|·|为结构对象的个数。
步骤S607，确定监控画面为正常画面类别。
步骤S608，确定监控画面为异常画面类别。
通过应用以上技术方案，针对室内装修场景下房屋结构自身特点与属性，基于正常与异常画面主体结构完整度的可区分性，通过基于主体结构分割完整性规则，进一步对CNN分类结果中易混淆的误检图像进行矫正，如图7所示为采用本申请实施例中的检测方法后得出的检测结果，可以看出，对易混淆的误检图像进行了准确矫正。
本申请实施例还提出了一种视频监控画面的检测装置，如图8所示，所述装置包括：获取模块801，用于获取与待检测的监控画面对应的目标图像；第一分类模块802，用于基于预设分类模型对所述目标图像进行分类，得到分类结果和与所述分类结果对应的第一置信度；分割模块803，用于若所述第一置信度不大于预设阈值，将所述目标图像输入预设语义分割模型进行语义分割，得到与目标主体结构对应的语义分割结果，其中，所述目标主体结构为所述目标图像中监控对象的主体结构；第二分类模块804，用于根据所述语义分割结果确定对所述监控画面的检测结果。
在具体的应用场景中，第二分类模块804，具体用于：获取与所述语义分割结果对应的分割结果图；若所述分割结果图中各像素的第二置信度满足第一预设条件，且所述分割结果图中的预设目标结构对象满足第二预设条件，确定所述检测结果为正常画面类别；若所述第二置信度不满足所述第一预设条件或所述预设目标结构对象不满足所述第二预设条件，确定所述检测结果为异常画面类别；其中，所述目标主体结构包括多个结构对象，所述预设目标结构对象是从多个所述结构对象中确定的。
在具体的应用场景中，所述装置还包括确定模块，用于：若所述第一置信度大于所述预设阈值，将所述分类结果作为所述检测结果。
本发明实施例还提供了一种电子设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信，
存储器903，用于存储处理器的可执行指令；
处理器901，被配置为经由执行所述可执行指令来执行：
获取与待检测的监控画面对应的目标图像；基于预设分类模型对所述目标图像进行分类，得到分类结果和与所述分类结果对应的第一置信度；若所述第一置信度不大于预设阈值，将所述目标图像输入预设语义分割模型进行语义分割，得到与目标主体结构对应的语义分割结果，其中，所述目标主体结构为所述目标图像中监控对象的主体结构；根据所述语义分割结果确定对所述监控画面的检测结果。
上述通信总线可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(Extended Industry Standard Architecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括非易失性存储器，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field Programmable GateArray，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的视频监控画面的检测方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如上所述的视频监控画面的检测方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘)等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (6)

1.一种视频监控画面的检测方法，其特征在于，所述方法包括：
获取与待检测的监控画面对应的目标图像；
基于预设分类模型对所述目标图像进行分类，得到分类结果和与所述分类结果对应的第一置信度；
若所述第一置信度不大于预设阈值，将所述目标图像输入预设语义分割模型进行语义分割，得到与目标主体结构对应的语义分割结果，其中，所述目标主体结构为所述目标图像中监控对象的主体结构；
根据所述语义分割结果确定对所述监控画面的检测结果；
所述根据所述语义分割结果确定对所述监控画面的检测结果，包括：
获取与所述语义分割结果对应的分割结果图；
若所述分割结果图中各像素的第二置信度满足第一预设条件，且所述分割结果图中的预设目标结构对象满足第二预设条件，确定所述检测结果为正常画面类别；
若所述第二置信度不满足所述第一预设条件或所述预设目标结构对象不满足所述第二预设条件，确定所述检测结果为异常画面类别；
其中，所述目标主体结构包括多个结构对象，所述预设目标结构对象是从多个所述结构对象中确定的；
所述第一预设条件包括：所述像素中第一像素的数量与第二像素的数量的比值不小于预设比值，其中，所述第一像素的第二置信度不小于第一预设数值，所述第二像素的第二置信度不小于第二预设数值，所述第一预设数值大于所述第二预设数值；
所述监控对象为室内空间，所述结构对象包括墙面、门面、窗面、地面、墙墙线和墙地线，所述预设目标结构对象包括墙墙线、墙地线、墙面和地面，所述第二预设条件包括：所述墙墙线的个数和所述墙地线的个数均不小于预设个数，且与所述墙面对应的墙面连通域的个数不小于所述预设个数且与所述地面对应的地面连通域的个数为一。
2.如权利要求1所述的方法，其特征在于，在得到分类结果和与所述分类结果对应的第一置信度之后，所述方法还包括：
若所述第一置信度大于所述预设阈值，将所述分类结果作为所述检测结果。
3.一种视频监控画面的检测装置，其特征在于，所述装置包括：
获取模块，用于获取与待检测的监控画面对应的目标图像；
第一分类模块，用于基于预设分类模型对所述目标图像进行分类，得到分类结果和与所述分类结果对应的第一置信度；
分割模块，用于若所述第一置信度不大于预设阈值，将所述目标图像输入预设语义分割模型进行语义分割，得到与目标主体结构对应的语义分割结果，其中，所述目标主体结构为所述目标图像中监控对象的主体结构；
第二分类模块，用于根据所述语义分割结果确定对所述监控画面的检测结果；
所述第二分类模块，具体用于：
获取与所述语义分割结果对应的分割结果图；
若所述分割结果图中各像素的第二置信度满足第一预设条件，且所述分割结果图中的预设目标结构对象满足第二预设条件，确定所述检测结果为正常画面类别；
若所述第二置信度不满足所述第一预设条件或所述预设目标结构对象不满足所述第二预设条件，确定所述检测结果为异常画面类别；
其中，所述目标主体结构包括多个结构对象，所述预设目标结构对象是从多个所述结构对象中确定的；
所述第一预设条件包括：所述像素中第一像素的数量与第二像素的数量的比值不小于预设比值，其中，所述第一像素的第二置信度不小于第一预设数值，所述第二像素的第二置信度不小于第二预设数值，所述第一预设数值大于所述第二预设数值；
所述监控对象为室内空间，所述结构对象包括墙面、门面、窗面、地面、墙墙线和墙地线，所述预设目标结构对象包括墙墙线、墙地线、墙面和地面，所述第二预设条件包括：所述墙墙线的个数和所述墙地线的个数均不小于预设个数，且与所述墙面对应的墙面连通域的个数不小于所述预设个数且与所述地面对应的地面连通域的个数为一。
4.如权利要求3所述的装置，其特征在于，所述装置还包括确定模块，用于：
若所述第一置信度大于所述预设阈值，将所述分类结果作为所述检测结果。
5.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1或2所述的视频监控画面的检测方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1或2所述的视频监控画面的检测方法。
CN202310353501.7A 2023-04-04 2023-04-04 视频监控画面的检测方法、装置、电子设备和存储介质 Active CN116385931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310353501.7A CN116385931B (zh) 2023-04-04 2023-04-04 视频监控画面的检测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310353501.7A CN116385931B (zh) 2023-04-04 2023-04-04 视频监控画面的检测方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN116385931A CN116385931A (zh) 2023-07-04
CN116385931B true CN116385931B (zh) 2023-08-29

Family

ID=86962988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310353501.7A Active CN116385931B (zh) 2023-04-04 2023-04-04 视频监控画面的检测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116385931B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230346A (zh) * 2017-03-30 2018-06-29 北京市商汤科技开发有限公司 用于分割图像语义特征的方法和装置、电子设备
CN109871730A (zh) * 2017-12-05 2019-06-11 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及监控设备
CN113079371A (zh) * 2021-06-04 2021-07-06 杭州海康威视数字技术股份有限公司 一种视频物联网的恢复与分析方法、装置及设备
CN114863266A (zh) * 2022-03-30 2022-08-05 珠江水利委员会珠江水利科学研究院 一种基于深度时空模式交互网络的土地利用分类方法
WO2022257410A1 (zh) * 2021-06-08 2022-12-15 青岛商汤科技有限公司 图像分割和分类方法及其模型训练方法、相关装置及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230346A (zh) * 2017-03-30 2018-06-29 北京市商汤科技开发有限公司 用于分割图像语义特征的方法和装置、电子设备
CN109871730A (zh) * 2017-12-05 2019-06-11 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及监控设备
CN113079371A (zh) * 2021-06-04 2021-07-06 杭州海康威视数字技术股份有限公司 一种视频物联网的恢复与分析方法、装置及设备
WO2022257410A1 (zh) * 2021-06-08 2022-12-15 青岛商汤科技有限公司 图像分割和分类方法及其模型训练方法、相关装置及介质
CN114863266A (zh) * 2022-03-30 2022-08-05 珠江水利委员会珠江水利科学研究院 一种基于深度时空模式交互网络的土地利用分类方法

Also Published As

Publication number Publication date
CN116385931A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN108897777B (zh) 目标对象追踪方法及装置、电子设备和存储介质
WO2020078229A1 (zh) 目标对象的识别方法和装置、存储介质、电子装置
EP3806064B1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN109241896B (zh) 一种通道安全检测方法、装置及电子设备
CN111654700B (zh) 一种隐私遮蔽处理方法、装置、电子设备及监控系统
CN111210399B (zh) 一种成像质量评价方法、装置及设备
WO2022041830A1 (zh) 行人重识别方法和装置
CN111368615B (zh) 一种违章建筑预警方法、装置及电子设备
CN113642474A (zh) 一种基于yolov5的危险区域人员监控方法
CN110199316A (zh) 相机和相机的图像处理方法
CN111401239B (zh) 一种视频分析方法、装置、系统、设备及存储介质
CA3194599A1 (en) System and method for detecting objects in images
CN110659627A (zh) 一种基于视频分割的智能视频监控方法
CN113158963A (zh) 一种高空抛物的检测方法及装置
CN116385931B (zh) 视频监控画面的检测方法、装置、电子设备和存储介质
CN115984780A (zh) 工业固体废物出入库判别方法、装置、电子设备及介质
CN116468914A (zh) 页面对比方法、装置、存储介质及电子设备
CN116977256A (zh) 缺陷检测模型的训练方法、装置、设备及存储介质
CN114708544A (zh) 一种基于边缘计算的违规行为智能监测头盔及其监测方法
Parameswaran et al. Evaluation schemes for video and image anomaly detection algorithms
CN114387544A (zh) 一种高空抛物检测方法、系统、电子设备及存储介质
Baumer et al. Automatic Image Compositing and Snow Segmentation for Alpine Snow Cover Monitoring
CN111708907A (zh) 一种目标人员的查询方法、装置、设备及存储介质
Danajitha et al. Detection of Cracks in High Rise Buildings using Drones
CN116156149B (zh) 一种用于检测摄像头移动的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant