CN117915071A - 监控画面的质量监测方法、修复方法、设备和存储介质 - Google Patents

监控画面的质量监测方法、修复方法、设备和存储介质 Download PDF

Info

Publication number
CN117915071A
CN117915071A CN202311829057.8A CN202311829057A CN117915071A CN 117915071 A CN117915071 A CN 117915071A CN 202311829057 A CN202311829057 A CN 202311829057A CN 117915071 A CN117915071 A CN 117915071A
Authority
CN
China
Prior art keywords
quality
target
monitoring
attention item
target quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311829057.8A
Other languages
English (en)
Inventor
胡东
熊剑平
毛礼建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202311829057.8A priority Critical patent/CN117915071A/zh
Publication of CN117915071A publication Critical patent/CN117915071A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请公开了一种监控画面的质量监测方法、修复方法、设备和存储介质，该方法包括：为监控画面确定目标质量关注项；将监控画面和目标质量关注项的信息输入至与目标质量关注项匹配的处理模型，以利用处理模型对监控画面进行处理，得到关于目标质量关注项的处理结果；其中，处理模型被训练为对不同的多个质量关注项均能够进行处理，目标质量关注项为多个质量关注项中的至少一个；对关于目标质量关注项的处理结果进行分析，得到监控画面关于目标质量关注项的第一质量分析结果；其中，第一质量分析结果用于表征监控画面是否存在关于目标质量关注项的异常。通过上述方式，本申请能够实现自动对监控画画进行质量监测。

Description

监控画面的质量监测方法、修复方法、设备和存储介质
技术领域
本申请涉及数据处理技术领域，特别是涉及一种监控画面的质量监测方法、修复方法、设备和存储介质。
背景技术
随着社会的快速发展，视频监控成为日常生活和社会管理的重要组成部分。视频监控要求长时间画面正常，但是在相机设备长期运行中会出现大量的人为、自然等故障问题，影响到视频监控的画面质量。为了保证视频监控画面质量，人工逐一排查的方式存在效率低、维护成功大等问题，因此，如何自动实现视频监控画面质量监测具有重要意义。
发明内容
本申请主要解决的技术问题是提供一种监控画面的质量监测方法、修复方法、设备和存储介质，能够实现自动对监控画画进行质量监测。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种监控画面的质量监测方法，该方法包括：为监控画面确定目标质量关注项；将监控画面和目标质量关注项的信息输入至与目标质量关注项匹配的处理模型，以利用处理模型对监控画面进行处理，得到关于目标质量关注项的处理结果；其中，处理模型被训练为对不同的多个质量关注项均能够进行处理，目标质量关注项为多个质量关注项中的至少一个；对关于目标质量关注项的处理结果进行分析，得到监控画面关于目标质量关注项的第一质量分析结果；其中，第一质量分析结果用于表征监控画面是否存在关于目标质量关注项的异常。
其中，目标质量关注项包括与画面遮挡相关的第一目标质量关注项、与画面噪声相关的第二目标质量关注项、与画面属性相关的第三目标质量关注项中的至少一者；第一目标质量关注项匹配的处理模型用于对与画面遮挡相关的各质量关注项进行处理；第二目标质量关注项匹配的处理模型用于对与画面噪声相关的各质量关注项进行处理；第三目标质量关注项匹配的处理模型用于对与画面属性相关的各质量关注项进行处理。
其中，第一目标质量关注项匹配的处理模型为目标检测模型，与画面遮挡相关的各质量关注项分别为不同的遮挡物，第一目标质量关注项为至少一个遮挡物，关于第一目标质量关注项的处理结果为针对至少一个遮挡物对监控画面进行分析得到的遮挡物在监控画面的位置；第二目标质量关注项匹配的处理模型为画面修复模型，与画面噪声相关的各质量关注项分别为不同的噪声类型，第二目标质量关注项为至少一个噪声类型，关于第二目标质量关注项的处理结果为针对至少一个噪声类型对监控画面进行修复得到的修复图像；第三目标质量关注项匹配的处理模型为属性分析模型，与画面属性相关的各质量关注项分别为不同的属性类型，第三目标质量关注项为至少一个属性类型，关于第三目标质量关注项的处理结果为针对至少一个属性类型对监控画面进行分析得到的属性信息。
其中，目标质量关注项包含第三目标质量关注项；对关于目标质量关注项的处理结果进行分析，得到监控画面关于目标质量关注项的第一质量分析结果，包括：对各属性类型的属性信息进行分析，得到监控画面关于各属性类型的第二质量分析结果；其中，第二质量分析结果用于表征监控画面是否存在关于属性类型的异常。
其中，目标质量关注项包含第一目标质量关注项，第一目标质量关注项为目标遮挡物；对关于目标质量关注项的处理结果进行分析，得到监控画面关于目标质量关注项的第一质量分析结果，包括：基于各目标遮挡物在监控画面的位置进行分析，确定各目标遮挡物对监控画面的遮挡比例；对各目标遮挡物的遮挡比例进行分析，得到监控画面关于各目标遮挡物的第二质量分析结果；其中，第二质量分析结果用于表征监控画面是否存在关于目标遮挡物的异常。
其中，目标质量关注项包含第二目标质量关注项；对关于目标质量关注项的处理结果进行分析，得到监控画面关于目标质量关注项的第一质量分析结果，包括：对各噪声类型对应的修复图像进行分析，得到监控画面关于各噪声类型的第二质量分析结果；其中，第二质量分析结果用于表征监控画面是否存在关于噪声类型的异常。
其中，对各噪声类型对应的修复图像进行分析，得到监控画面关于各噪声类型的第二质量分析结果，包括：对于各噪声类型的修复图像，获取各像素点对中第一像素点与第二像素点之间的像素距离；其中，像素点对中的第一像素点来自于监控画面，第二像素点来自于修复图像，第一像素点在监控画面中的位置与对应的第二像素点在修复图像中的位置一致；响应于各像素点对对应的像素距离之和大于第三阈值，确定监控画面是否存在关于噪声类型的异常。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种监控画面的修复方法，该方法包括：获取监控画面的各目标质量关注项的第一质量分析结果；其中，第一质量分析结果用于表征监控画面是否存在关于目标质量关注项的异常，第一质量分析结果是利用上述的监控画面的质量监测方法监测得到的；基于各目标质量关注项的第一质量分析结果，对监控画面进行修复，或者，向用户反馈修复建议。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括存储器和处理器，存储器存储有程序指令，处理器用于执行程序指令以实现上述的方法。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储程序指令，程序指令能够被执行以实现上述的方法。
上述技术方案，为监控画面确定目标质量关注项，利用目标质量关注项对应的处理模型对监控画面进行处理，得到关于目标质量关注项的处理结果，并对关于目标质量关注项的处理结果进行分析得到关于目标质量关注项的第一质量分析结果，以确定监控画面是否存在关于目标质量关注项的异常。故，能够单独对指定/定制的监控画面的质量关注项进行质量监测，可根据需求更有针对性地对监控画面进行质量监测，灵活性更高；而由于对未被指定的监控画面的质量关注项不会进行质量监测，能够减小资源消耗。
附图说明
图1是本申请提供的监控画面的质量监测方法一实施例的流程示意图；
图2是本申请提供的监控画面的修复方法一实施例的流程示意图；
图3是本申请提供的异常修复模型一实施例的结构示意图；
图4是本申请提供的电子设备一实施例的结构示意图；
图5是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1，图1是本申请提供的监控画面的质量监测方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本申请实施例并不以图1所示的流程顺序为限。如图1所示，本申请实施例包括：
步骤S11：为监控画面确定目标质量关注项。
本实施例的方法用于自动对指定的监控画面的质量关注项进行质量监测，即，能够支持对定制质量关注项的质量诊断分析，适用范围更广。需要说明的是，监控画面为监控视频中的一帧图像，对监控画面的质量诊断分析，也就可以理解为对监控视频的质量诊断分析。
本实施方式中，为监控画面确定目标质量关注项。默认地，对监控画面的质量监测为对监控画面的各个质量关注项的质量监测，而通过为监控画面确定目标质量关注项，使得后续仅对监控画面的目标质量关注项进行质量监测，即，支持仅对指定的质量关注项的质量诊断分析，可根据需求调整需要质量监测的监控画面的目标质量关注项，也就是说，可自定义监控画面的目标质量关注项，灵活性更高，适用范围更广。
步骤S12：将监控画面和目标质量关注项的信息输入至与目标质量关注项匹配的处理模型，以利用处理模型对监控画面进行处理，得到关于目标质量关注项的处理结果。
本实施方式中，将监控画面和目标质量关注项的信息输入至与目标质量关注项匹配的处理模型，以利用处理模型对监控画面进行处理，得到关于目标质量关注项的处理结果；其中，处理模型被训练为对不同的多个质量关注项均能够进行处理，目标质量关注项为多个质量关注项中的至少一个。与目标质量关注项匹配的处理模型是被训练为对不同的多个质量关注项进行处理的，默认地，在没有为监控画面确定目标质量关注项时，会对监控画面进行处理而得到关于各质量关注项的处理结果，即，在没有为监控画面确定目标质量关注项时，会对监控画面的各个质量关注项进行质量监测。在有为监控画面确定目标质量关注项时，会利用与目标质量关注项匹配的处理模型仅对监控画面的目标质量关注项进行质量监测，即，在有为监控画面确定目标质量关注项时，仅对指定的监控画面的目标质量关注项进行质量监测，能够根据需求更有针对性地对监控画面进行质量监测；而由于对未被指定的监控画面的质量关注项不会进行质量监测，能够减小资源消耗。
举例来说，假定处理模型为α，处理模型α被训练为对质量关注项a、质量关注项b和质量关注项c均能够进行处理：为监控画面确定目标质量关注项为质量关注项b，那么在将监控画面和目标质量关注项-质量关注项b输入至处理模型α后，处理模型α会对监控画面的目标质量关注项-质量关注项b进行处理而得到关于目标质量关注项-质量关注项b的处理结果；而对于监控画面的质量关注项a和质量关注项c不进行处理。又例如，假定处理模型为α和β，处理模型α被训练为对质量关注项a、质量关注项b和质量关注项c均能够进行处理，处理模型β被训练为对质量关注项d、质量关注项e和质量关注项f均能够进行处理：为监控画面确定目标质量关注项为质量关注项b，那么在将监控画面和目标质量关注项-质量关注项b输入至处理模型α后，处理模型α会对监控画面的目标质量关注项-质量关注项b进行处理而得到关于目标质量关注项-质量关注项b的处理结果；而对于监控画面的质量关注项a和质量关注项c，处理模型α不会进行处理，而对于监控画面的质量关注项d、质量关注项e和质量关注项f，处理模型β也不会进行处理。
在一实施方式中，目标质量关注项包括与画面遮挡相关的第一目标质量关注项、与画面噪声相关的第二目标质量关注项、与画面属性相关的第三目标质量关注项中的至少一者；第一目标质量关注项匹配的处理模型用于对于画面遮挡相关的各质量关注项进行处理，第二目标质量关注项匹配的处理模型用于对与画面噪声相关的各质量关注项进行处理，第三目标质量关注项匹配的处理模型用于对与画面属性相关的各质量关注项进行处理。
在一实施方式中，第三目标质量关注项匹配的处理模型为属性分析模型，与画面属性相关的各质量关注项分别为不同的属性类型，第三目标质量关注项为至少一个属性类型，关于第三目标质量关注项的处理结果为针对至少一个属性类型对监控画面进行分析得到的属性信息。也就是说，属性分析模型被训练为对针对不同的属性类型对监控画面进行分析，得到各属性类型对应的属性信息。即，在没有为监控画面确定目标质量关注项时，属性分析模型针对不同的属性类型对监控画面进行分析，得到各属性类型对应的属性信息；而在为监控画面确定了第三目标质量关注项时，与第三目标质量关注项匹配的属性分析模型针对第三目标质量关注项对应的属性类型对监控画面进行分析，得到关于第三目标质量关注项对应的属性类型的属性信息。
其中，属性分析模型进行监控画面处理的公式具体如下所示：
Aa＝Att(I,T3)
其中，T3表示第三目标质量关注项对应的属性类型；I表示监控画面；Att表示属性分析模型；Aa表示第三目标质量关注项对应的属性类型的属性信息(如，可以是属性程度)，a＝0,1,2,…,n，为第三目标质量关注项对应的n个属性类型的属性信息。需要说明的是，不对第三目标质量关注项对应的属性类型的数量进行限定，如，第三目标质量关注项对应的属性类型为1个、2个、3个或多个等；另外，属性分析模型主要为构建文本与图像之间的模型映射，以实现图像到文本的输出，不对属性分析模型进行限定，如，属性分析模型为CLIP模型等。在一具体实施方式中，属性类型的属性信息为属性类型的属性值，属性值可以理解为属性程度，属性值越大，程度越大。当然，在其他具体实施方式中，属性类型的属性信息也可以为其他信息，在此不做限定。
在一具体实施方式中，属性类型包括画面颜色、画面亮度中的至少一者。如，画面颜色为偏红、偏紫、存在紫边等；画面亮度为低亮、高亮、黑屏等。举例来说，以属性类型的属性信息为属性值、属性类型为画面颜色为例：监控画面的画面颜色为红色，对应的属性值为70(属性值0为正常，越大属性程度越大)，则表明监控画面偏红；监控画面的画面颜色为紫色，对应的属性值为60(属性值0为正常，越大属性程度越大)，则表明监控画面偏紫。又例如，监控画面的画面亮度为低亮，对应的属性值为70(属性值0为正常，越大属性程度越大)，则表明监控画面偏暗。
在一实施方式中，第二目标质量关注项匹配的处理模型为画面修复模型，与画面噪声相关的各质量关注项分别为不同的噪声类型，第二目标质量关注项为至少一个噪声类型，关于第二目标质量关注项的处理结果为针对至少一个噪声类型对监控画面进行修复得到的修复图像。也就是说，画面修复模型被训练为对针对不同的噪声类型对监控画面进行修复，得到各噪声类型的修复图像。即，在没有为监控画面确定目标质量关注项时，画面修复模型针对不同的噪声类型对监控画面进行修复，得到各噪声类型对应的修复图像；而在为监控画面确定了第二目标质量关注项时，与第二目标质量关注项匹配的画面修复模型针对第二目标质量关注项对应的噪声类型对监控画面进行修复，得到关于第二目标质量关注项对应的噪声类型的修复图像。
其中，画面修复模型进行监控画面修复的公式具体如下所示：
Pc＝Inpaint(I,T2)
其中，T2表示第二目标质量关注项对应的噪声类型；I表示监控画面；Inpaint表示画面修复模型；Pc表示第二目标质量关注项对应的噪声类型的修复图像，c＝0,1,2,…,k，为第二目标质量关注项对应的k个修复图像。需要说明的是，不对第二目标质量关注项对应的噪声类型的数量进行限定，如，第二目标质量关注项对应的噪声类型为1个、2个、3个或多个等；另外，画面修复模型主要为首先构建完全对齐的正常-异常数据对，然后使用该数据训练Unet网络构成画面修复模型，以实现图像异常的修复，不对画面修复模型进行限定，如，画面修复模型为pix2pix模型等。
在一具体实施方式中，噪声类型包括雪花噪声、画面条纹、画面抖动中的至少一者。举例来说，以噪声类型包括雪花噪声、画面条纹和画面抖动为例：为监控画面确定第二质量关注项为雪花噪声，利用画面修复模型针对雪花噪声对监控画面进行修复，得到对应雪花噪声的修复图像。
在一实施方式中，第一目标质量关注项匹配的处理模型为目标检测模型，与画面遮挡相关的各质量关注项分别为不同的遮挡物，第一目标质量关注项为至少一个遮挡物，关于第一目标质量关注项的处理结果为针对至少一个遮挡物对监控画面进行分析得到的遮挡物在监控画面的位置。也就是说，目标检测模型被训练为对针对不同的遮挡物对监控画面进行分析，得到各遮挡物在监控画面中的位置。即，在没有为监控画面确定目标质量关注项时，目标检测模型针对不同的遮挡物对监控画面进行分析，得到各遮挡物在监控画面的位置；而在为监控画面确定了第一目标质量关注项时，与第一目标质量关注项匹配的目标检测模型针对第一目标质量关注项对应的遮挡物对监控画面进行分析，得到关于第一目标质量关注项对应的遮挡物在监控画面的位置。
其中，目标检测模型进行监控画面分析的公式具体如下所示：
Ob＝OD(I,T1)
其中，T1表示第一目标质量关注项对应的遮挡物；I表示监控画面；OD表示目标检测模型；Ob表示第一目标质量关注项对应的遮挡物在监控画面的位置，b＝0,1,2,…,m，为第一目标质量关注项对应的m个遮挡物在监控画面中的位置。需要说明的是，不对第一目标质量关注项对应的遮挡物的类别数进行限定，如，第一目标质量关注项对应的遮挡物为1类、2类、3类或多类等。另外，目标检测模型主要为基于transform对场景中的任意目标进行检测，本申请可以采用DETR模型，首先基于CNN网络作为主干提取图像特征，然后通过transform模块对图像特征进行编码，最后通过全连接层得到图像属性分数输出和其对应位置输出；同时本申请还可利用可循环的异常目标指定输入的方式进行一步提升，对网络分别输出指定的异常目标和当前图像，得到其编码后的特征，在当前图像特征中搜寻指定的异常图像特征，进而得到当前图像中的指定目标的位置信息。
上述提及的遮挡物可以是树叶、红旗、电线杆、气球等易遮挡监控设备的目标。
步骤S13：对关于目标质量关注项的处理结果进行分析，得到监控画面关于目标质量关注项的第一质量分析结果。
本实施方式中，对关于目标质量关注项的处理结果进行分析，得到监控画面关于目标质量关注项的第一质量分析结果；其中，第一质量分析结果用于表征监控画面是否存在关于目标质量关注项的异常。也就是说，对关于目标质量关注项的处理结果进行分析，确定监控画面是否存在关于目标质量关注项的异常，以便于后续及时对监控画面进行对应异常的修复，保证监控画面的质量。
在一实施方式中，目标质量关注项包含第三目标质量关注项，对关于目标质量关注项的处理结果进行分析，得到监控画面关于目标质量关注项的第一质量分析结果，具体为：对各属性类型的属性信息进行分析，得到监控画面关于各属性类型的第二质量分析结果，其中，第二质量分析结果用于表征监控画面是否存在关于属性类型的异常。也就是说，对第三目标质量关注项对应的各属性类型的属性信息进行分析，确定监控画面关于第三目标质量关注对应的各属性类型是否存在异常，以便于后续及时对监控画面进行对应异常的修复，保证监控画面的质量。
在一具体实施方式中，属性信息为属性值，对各属性类型的属性信息进行分析，得到监控画面关于各属性类型的第二质量分析结果，具体为：对于各属性类型，响应于属性类型的属性值大于第一阈值，确定监控画面存在关于属性类型的异常。其中，具体公式如下所示：
Aa>thres1
其中，Aa表示一属性类型的属性值，即，一属性类型的属性程度；thres1表示第一阈值，为属性程度阈值，不对第一阈值的大小进行限定，如，thres1为50。举例来说，以属性类型的属性信息为属性值、属性类型为画面颜色和画面亮度为例：对监控画面进行画面颜色和画面亮度的分析，得到<红色70，低亮70>，两个属性类型的属性值均大于50，表明监控画面的画面颜色和画面亮度均存在异常，为偏红且较暗的监控画面。
在一实施方式中，目标质量关注项包含第一目标质量关注项，第一目标质量关注项为目标遮挡物，对关于目标质量关注项的处理结果进行分析，得到监控画面关于目标质量关注项的第一质量分析结果，具体为：基于各目标遮挡物在监控画面的位置进行分析，得到各目标遮挡物对监控画面的遮挡比例；对各目标遮挡物的遮挡比例进行分析，得到监控画面关于各目标遮挡物的第二质量分析结果，其中，第二质量分析结果用于表征监控画面是否存在关于目标遮挡物的异常。也就是说，对第一目标质量关注项对应的各目标遮挡物的遮挡比例进行分析，确定监控画面是否被关于第一目标质量关注对应的各目标遮挡物遮挡，以便于后续及时对监控画面进行对应异常的修复，保证监控画面的质量。
需要说明的是，目标遮挡物的位置可以是目标遮挡物的最小包围框的中心位置，在确定了目标遮挡物的位置后，即可确定目标遮挡物的包围框，从而可基于目标遮挡物的包围框确定目标遮挡物对监控画面的遮挡比例。
在一具体实施方式中，对各目标遮挡物的遮挡比例进行分析，得到监控画面关于各目标遮挡物的第二质量分析结果，具体为：在目标遮挡物为一个的情况下，响应于目标遮挡物对应的遮挡比例大于第二阈值，确定监控画面存在关于目标遮挡物的异常；在目标遮挡物为至少两个的情况下，响应于任一目标遮挡物对应的遮挡比例大于所述第二阈值，确定监控画面存在关于遮挡比例大于第二阈值的目标遮挡物的异常。其中，具体公式如下所示：
Area(Ob)>thres2
其中，Area(Ob)表示一目标遮挡物对应的遮挡比例；I表示监控画面；thres2表示第二阈值，不对第二阈值的大小进行限定，如，thres2为0.5。在目标遮挡物对应的遮挡比例大于第二阈值时，表明目标遮挡物对监控画面的遮挡过大，监控画面存在异常。
在一实施方式中，目标质量关注项包含第二目标质量关注项；对关于目标质量关注项的处理结果进行分析，得到监控画面关于目标质量关注项的第一质量分析结果，具体为：对各噪声类型的修复图像进行分析，得到监控画面关于各噪声类型的第二质量分析结果，其中，第二质量分析结果用于表征监控画面是否存在关于噪声类型的异常。也就是说，对第二目标质量关注项对应的各噪声类型的修复图像进行分析，确定监控画面是否存在关于第二目标质量关注对应的各噪声类型，以便于后续及时对监控画面进行对应异常的修复，保证监控画面的质量。
在一具体实施方式中，对各噪声类型对应的修复图像进行分析，得到监控画面关于各所述噪声类型的第二质量分析结果，具体为：对于各噪声类型的修复图像，获取各像素点对中第一像素点与第二像素点之间的像素距离，其中，像素点对中的第一像素点来自于监控画面，第二像素点来自于修复图像，第一像素点在监控画面中的位置与对应的第二像素点在修复图像中的位置一致；响应于各像素点对对应的像素距离的均值大于第三阈值，确定监控画面是否存在关于噪声类型的异常。其中，具体公式如下所示：
Comp(Pc,I)>thres3
其中，Pc表示一噪声类型对应的修复图像；I表示监控画面；Comp表示图像异常分析函数；thres3表示第三阈值，不对第三阈值的大小进行限定，如，thres3为500。通过比较噪声类型对应的修复图像与监控画面的差异，采用逐像素点对的平均距离计算，在各像素点对对应的像素距离的均值大于第三阈值时，表明监控画面与修复图像差异较大，监控画面存在异常。
上述实施方式中，为监控画面确定目标质量关注项，利用目标质量关注项对应的处理模型对监控画面进行处理，得到关于目标质量关注项的处理结果，并对关于目标质量关注项的处理结果进行分析得到关于目标质量关注项的第一质量分析结果，以确定监控画面是否存在关于目标质量关注项的异常。故，能够单独对指定/定制的监控画面的质量关注项进行质量监测，可根据需求更有针对性地对监控画面进行质量监测，灵活性更高；而由于对未被指定的监控画面的质量关注项不会进行质量监测，能够减小资源消耗。
请参阅图2，图2是本申请提供的监控画面的修复方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本申请实施例并不以图2所示的流程顺序为限。如图2所示，本申请实施例包括：
步骤S21：获取监控画面的各目标质量关注项的第一质量分析结果。
本实施方式中，获取监控画面的各目标质量关注项的第一质量分析结果；其中，第一质量分析结果用于表征监控画面是否存在关于目标质量关注项的异常，第一质量分析结果是利用上述的监控画面的质量监测方法监测得到的。
为监控画面确定目标质量关注项，利用目标质量关注项对应的处理模型对监控画面进行处理，得到关于目标质量关注项的处理结果，并对关于目标质量关注项的处理结果进行分析得到关于目标质量关注项的第一质量分析结果，以确定监控画面是否存在关于目标质量关注项的异常。故，能够单独对指定/定制的监控画面的质量关注项进行质量监测，可根据需求更有针对性地对监控画面进行质量监测，灵活性更高；而由于对未被指定的监控画面的质量关注项不会进行质量监测，能够减小资源消耗。
步骤S22：基于各目标质量关注项的第一质量分析结果，对监控画面进行修复，或者，向用户反馈修复建议。
本实施方式中，基于各目标质量关注项的第一质量分析结果，对监控画面进行修复，或者，向用户反馈修复建议。也就是说，在第一质量分析结果表征监控画面存在关于目标质量关注项的异常时，能够自动基于第一质量分析结果对监控画面异常的目标质量关注项进行修复或者给出修复建议，以能够及时修复监控画面的异常，保证监控画面的质量。
在一实施方式中，利用异常修复模型对监控画面进行修复。可选地，如图3所示，图3是本申请提供的异常修复模型一实施例的结构示意图，异常修复模型是在属性分析模型(CLIP)的基础上增加了一个图像解码器，其用于异常图像的恢复。
在一实施方式中，在基于各目标质量关注项的第一质量分析结果，对监控画面进行修复，或者，向用户反馈修复建议之前，会获取监控画面对应的监控设备的设备类型；此时，对监控画面进行修复，或者，向用户反馈修复建议，具体为：基于各目标质量关注项的第一质量分析结果和设备类型，对监控画面进行修复，或者，向用户反馈修复建议。也就是说，会结合监控画面对应的设备类型对监控画面进行修复或者给出修复建议，以辅助给出更为精确的修复或建议。其中，公式如下所示：
(II,III)＝VQR(Vd,PI)
其中，Vd表示异常的目标质量关注项；PI表示可选的点位信息文本输入，即，监控画面对应的监控设备的设备类型，如，球机、卡口相机等；VQR表示异常修复模型；II表示修复后的监控画面；III表示修复建议。例如，比如出现关于画面噪声相关的异常或者出现关于画面属性相关的异常时，异常修复模型VQR可直接输出修复后的监控画面II，而如果出现关于画面遮挡相关的异常，则输出修复建议III(如，移除遮挡物)。
具体地，如图3所示，分别对输入的点位信息文本描述和异常图像信息进行编码，构建文本图像特征，对文本图像特征通过图像解码器进行图像解码，得到修复后的监控画面，对文本图像特征通过文本解码器进行文本解码，得到其修复建议。
在一实施方式中，响应于监控画面存在关于画面噪声相关的异常或存在关于画面属性相关的异常，对监控画面进行对应异常的修复。也就是说，对于关于画面噪声相关的异常或者关于画面属性相关的异常，能够自动进行修复。
在一实施方式中，响应于监控画面存在关于画面遮挡相关的异常，向用户反馈修复建议。也就是说，对于关于画面遮挡相关的异常，无法直接进行修复，会及时向用户反馈，以及时提示用户监控画面的异常并对其进行修复。
请参阅图4，图4是本申请提供的电子设备一实施例的结构示意图。电子设备40包括相互耦接的存储器41和处理器42，处理器42用于执行存储器41中存储的程序指令，以实现上述任一监控画面的质量监测方法或监控画面的修复方法实施例的步骤。在一个具体的实施场景中，电子设备40可以包括但不限于：微型计算机、服务器，此外，电子设备40还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器42用于控制其自身以及存储器41以实现上述任一监控画面的质量监测方法或监控画面的修复方法实施例的步骤。处理器42还可以称为CPU(CentralProcessing Unit，中央处理单元)。处理器42可能是一种集成电路芯片，具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器42可以由集成电路芯片共同实现。
请参阅图5，图5是本申请提供的计算机可读存储介质一实施例的结构示意图。本申请实施例的计算机可读存储介质50存储有程序指令51，该程序指令51被执行时实现本申请监控画面的质量监测方法或监控画面的修复方法任一实施例以及任意不冲突的组合所提供的方法。其中，该程序指令51可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质50中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质50包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种监控画面的质量监测方法，其特征在于，所述方法包括：
为监控画面确定目标质量关注项；
将所述监控画面和所述目标质量关注项的信息输入至与所述目标质量关注项匹配的处理模型，以利用所述处理模型对所述监控画面进行处理，得到关于所述目标质量关注项的处理结果；其中，所述处理模型被训练为对不同的多个质量关注项均能够进行处理，所述目标质量关注项为所述多个质量关注项中的至少一个；
对所述关于目标质量关注项的处理结果进行分析，得到所述监控画面关于所述目标质量关注项的第一质量分析结果；其中，所述第一质量分析结果用于表征所述监控画面是否存在关于所述目标质量关注项的异常。
2.根据权利要求1所述的方法，其特征在于，
所述目标质量关注项包括与画面遮挡相关的第一目标质量关注项、与画面噪声相关的第二目标质量关注项、与画面属性相关的第三目标质量关注项中的至少一者；所述第一目标质量关注项匹配的处理模型用于对与所述画面遮挡相关的各质量关注项进行处理；所述第二目标质量关注项匹配的处理模型用于对与所述画面噪声相关的各质量关注项进行处理；所述第三目标质量关注项匹配的处理模型用于对与所述画面属性相关的各质量关注项进行处理。
3.根据权利要求2所述的方法，其特征在于，所述第一目标质量关注项匹配的处理模型为目标检测模型，与所述画面遮挡相关的各质量关注项分别为不同的遮挡物，所述第一目标质量关注项为至少一个所述遮挡物，关于所述第一目标质量关注项的处理结果为针对所述至少一个所述遮挡物对所述监控画面进行分析得到的遮挡物在所述监控画面的位置；
所述第二目标质量关注项匹配的处理模型为画面修复模型，与所述画面噪声相关的各质量关注项分别为不同的噪声类型，所述第二目标质量关注项为至少一个所述噪声类型，关于所述第二目标质量关注项的处理结果为针对所述至少一个所述噪声类型对所述监控画面进行修复得到的修复图像；
所述第三目标质量关注项匹配的处理模型为属性分析模型，与所述画面属性相关的各质量关注项分别为不同的属性类型，所述第三目标质量关注项为至少一个所述属性类型，关于所述第三目标质量关注项的处理结果为针对所述至少一个所述属性类型对所述监控画面进行分析得到的属性信息。
4.根据权利要求3所述的方法，其特征在于，所述目标质量关注项包含所述第三目标质量关注项；所述对所述关于目标质量关注项的处理结果进行分析，得到所述监控画面关于所述目标质量关注项的第一质量分析结果，包括：
对各所述属性类型的属性信息进行分析，得到所述监控画面关于各所述属性类型的第二质量分析结果；其中，所述第二质量分析结果用于表征所述监控画面是否存在关于所述属性类型的异常。
5.根据权利要求3所述的方法，其特征在于，所述目标质量关注项包含所述第一目标质量关注项，所述第一目标质量关注项为目标遮挡物；所述对所述关于目标质量关注项的处理结果进行分析，得到所述监控画面关于所述目标质量关注项的第一质量分析结果，包括：
基于各所述目标遮挡物在所述监控画面的位置进行分析，确定各所述目标遮挡物对所述监控画面的遮挡比例；
对各所述目标遮挡物的遮挡比例进行分析，得到所述监控画面关于各目标遮挡物的第二质量分析结果；其中，所述第二质量分析结果用于表征所述监控画面是否存在关于所述目标遮挡物的异常。
6.根据权利要求3所述的方法，其特征在于，所述目标质量关注项包含所述第二目标质量关注项；所述对所述关于目标质量关注项的处理结果进行分析，得到所述监控画面关于所述目标质量关注项的第一质量分析结果，包括：
对各所述噪声类型对应的修复图像进行分析，得到所述监控画面关于各所述噪声类型的第二质量分析结果；其中，所述第二质量分析结果用于表征所述监控画面是否存在关于所述噪声类型的异常。
7.根据权利要求6所述的方法，其特征在于，所述对各所述噪声类型对应的修复图像进行分析，得到所述监控画面关于各所述噪声类型的第二质量分析结果，包括：
对于各所述噪声类型的修复图像，获取各像素点对中第一像素点与第二像素点之间的像素距离；其中，所述像素点对中的第一像素点来自于所述监控画面，所述第二像素点来自于所述修复图像，所述第一像素点在所述监控画面中的位置与对应的第二像素点在所述修复图像中的位置一致；
响应于各所述像素点对对应的像素距离之和大于第三阈值，确定所述监控画面是否存在关于所述噪声类型的异常。
8.一种监控画面的修复方法，其特征在于，所述方法包括：
获取监控画面的各目标质量关注项的第一质量分析结果；其中，所述第一质量分析结果用于表征所述监控画面是否存在关于所述目标质量关注项的异常，所述第一质量分析结果是利用权利要求1-7任一项所述的监控画面的质量监测方法监测得到的；
基于各所述目标质量关注项的第一质量分析结果，对所述监控画面进行修复，或者，向用户反馈修复建议。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有程序指令，所述处理器用于执行所述程序指令以实现如权利要求1-8任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序指令，所述程序指令能够被执行以实现如权利要求1-8任一项所述的方法。
CN202311829057.8A 2023-12-27 2023-12-27 监控画面的质量监测方法、修复方法、设备和存储介质 Pending CN117915071A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311829057.8A CN117915071A (zh) 2023-12-27 2023-12-27 监控画面的质量监测方法、修复方法、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311829057.8A CN117915071A (zh) 2023-12-27 2023-12-27 监控画面的质量监测方法、修复方法、设备和存储介质

Publications (1)

Publication Number Publication Date
CN117915071A true CN117915071A (zh) 2024-04-19

Family

ID=90687100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311829057.8A Pending CN117915071A (zh) 2023-12-27 2023-12-27 监控画面的质量监测方法、修复方法、设备和存储介质

Country Status (1)

Country Link
CN (1) CN117915071A (zh)

Similar Documents

Publication Publication Date Title
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN110705583B (zh) 细胞检测模型训练方法、装置、计算机设备及存储介质
CN110517246B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN108229485B (zh) 用于测试用户界面的方法和装置
CN107330731B (zh) 一种识别广告位点击异常的方法和装置
JP2021532434A (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
CN111833340A (zh) 图像检测方法、装置、电子设备及存储介质
CN110688893A (zh) 佩戴安全帽的检测方法、模型训练方法及相关装置
CN109472193A (zh) 人脸检测方法及装置
US11694331B2 (en) Capture and storage of magnified images
CN113158773B (zh) 一种活体检测模型的训练方法及训练装置
CN110059666A (zh) 一种注意力检测方法及装置
US20210192385A1 (en) Automated machine learning tagging and optimization of review procedures
CN111291778B (zh) 深度分类模型的训练方法、曝光异常检测方法以及装置
Lu et al. AoSRNet: All-in-One Scene Recovery Networks via multi-knowledge integration
CN112884866A (zh) 一种黑白视频的上色方法、装置、设备及存储介质
Zou et al. Statistical analysis of signal-dependent noise: application in blind localization of image splicing forgery
Gao et al. Traffic video-based moving vehicle detection and tracking in the complex environment
Cao et al. A novel image multitasking enhancement model for underwater crack detection
KR101039202B1 (ko) 비디오 내 이동 객체의 친화 색으로의 분류
CN117915071A (zh) 监控画面的质量监测方法、修复方法、设备和存储介质
CN112686851B (zh) 一种图像检测方法、装置及存储介质
CN117291859A (zh) 一种页面异常检测方法、装置、电子设备和存储介质
CN111767829B (zh) 一种活体检测方法、装置、系统及存储介质
CN114445751A (zh) 视频关键帧图像轮廓特征的提取方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination