CN113808107B - 图像推荐方法、装置、电子设备和存储介质 - Google Patents

图像推荐方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113808107B
CN113808107B CN202111094114.3A CN202111094114A CN113808107B CN 113808107 B CN113808107 B CN 113808107B CN 202111094114 A CN202111094114 A CN 202111094114A CN 113808107 B CN113808107 B CN 113808107B
Authority
CN
China
Prior art keywords
image
brightness
video image
calculating
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111094114.3A
Other languages
English (en)
Other versions
CN113808107A (zh
Inventor
江嘉铭
叶万余
阮国恒
钟业荣
阮伟聪
劳文超
田誉
林健敏
丁浩锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Qingyuan Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Qingyuan Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Qingyuan Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202111094114.3A priority Critical patent/CN113808107B/zh
Publication of CN113808107A publication Critical patent/CN113808107A/zh
Application granted granted Critical
Publication of CN113808107B publication Critical patent/CN113808107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像推荐方法、装置、电子设备和存储介质，该方法包括：在对配电设备监控所生成的视频数据中截取预设时长的目标视频数据；确定所述目标视频数据中每帧视频图像的清晰度和亮度；针对每帧视频图像，根据所述清晰度和所述亮度计算所述视频图像的质量分数；将所述质量分数最大的视频图像作为目标图像；将所述目标图像推荐到故障分析系统。无需运维人员从视频数据选择质量合格的视频图像，一方面，降低了人工成本，提高了视频图像选择的效率，另一方面，所推荐的视频图像的质量不受人的主观影响，保证了推荐的视频图像的质量，提高了故障识别的准确性。

Description

图像推荐方法、装置、电子设备和存储介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种图像推荐方法、装置、电子设备和存储介质。
背景技术
随着配网监控自动化的发展，在配电网中通过视频数据对配电设备进行监控得到了广泛应用，比如通过配电设备的视频图像对配电设备进行识别、故障分析等。
目前，采用摄像头对配电设备进行监控时，由于环境以及配电设备工况的原因，摄像头采集到的视频图像的质量不一，例如，采用无人机挂载摄像头对配电设备监控时，由于无人机的抖动，所采集的视频图像的清晰度和亮度不一，需要运维人员从视频图像中挑选出质量合格的视频图像来进行故障识别，一方面，增加了人工成本，降低了效率，另一方面，受人员主观因素影响，挑选出的视频图像的质量得不到保障，无法通过视频图像准确识别出故障。
发明内容
本发明实施例提供了一种图像推荐方法、装置、电子设备和存储介质，以解决人工从视频数据中挑选质量合格的视频图像增加人力成本，效率低，以及图像质量得不到保证，通过图像无法准确识别出故障的问题。
第一方面，本发明实施例提供了一种图像推荐方法，用于从配电设备的视频数据中推荐目标图像，包括：
在对配电设备监控所生成的视频数据中截取预设时长的目标视频数据；
确定所述目标视频数据中每帧视频图像的清晰度和亮度；
针对每帧视频图像，根据所述清晰度和所述亮度计算所述视频图像的质量分数；
将所述质量分数最大的视频图像作为目标图像；
将所述目标图像推荐到故障分析系统。
可选地，所述确定所述目标视频数据中每帧视频图像的清晰度和亮度，包括：
将多帧视频图像输入背景检测模型中得到多帧视频图像的背景区域；
计算所述背景区域的清晰度作为所述视频图像的清晰度；
根据所述视频图像中每个像素的RGB值计算所述像素的亮度；
计算所述视频图像中所有像素的亮度的平均值得到所述视频图像的亮度。
可选地，所述背景检测模型通过以下方式训练：
获取多帧训练图像，所述训练图像标注有标注背景区域；
初始化背景检测模型；
随机提取训练图像输入所述背景检测模型中得到预测背景区域；
计算所述标注背景区域和所述预测背景区域的相似度得到损失率；
判断所述损失率是否小于预设阈值；
若是，停止对所述背景检测模型进行迭代训练；
若否，采用所述损失率来对所述背景检测模块的模型参数进行梯度下降，返回随机提取训练图像输入所述背景检测模型中得到预测背景区域的步骤。
可选地，所述计算所述背景区域的清晰度作为所述视频图像的清晰度，包括：
获取所述背景区域中每个像素的灰度值以及计算所有像素的灰度值的均值得到第一灰度均值；
计算灰度值大于所述灰度均值的所有像素的灰度值的均值得到第二灰度均值；
计算灰度值小于所述灰度均值的所有像素的灰度值的均值得到第三灰度均值；
计算所述第二灰度均值与所述第三灰度均值的差值，以及计算所述第二灰度均值与所述第三灰度均值的和值；
计算所述差值与所述和值的比值作为所述视频图像的清晰度。
可选地，所述根据所述视频图像中每个像素的RGB值计算所述像素的亮度，包括：
分别计算每个像素的R值、B值、G值与255的比值得到第一比值、第二比值以及第三比值；
从所述第一比值、所述第二比值以及所述第三比值中确定出最大值作为所述像素的亮度。
可选地，所述针对每帧视频图像，根据所述清晰度和所述亮度计算所述视频图像的质量分数，包括：
从所述多帧视频图像中确定出清晰度大于预设清晰度阈值，并且亮度在预设亮度范围内的候选视频图像；
针对每帧候选视频图像，计算所述清晰度与预设清晰度权重的乘积得到第一权值，以及计算所述亮度与预设亮度权重的乘积得到第二权值；
计算所述第一权值和所述第二权值的和值得到所述候选视频图像的质量分数。
可选地，所述将所述质量分数最大的视频图像作为目标图像，包括：
将质量分数最大的候选视频图像作为目标图像。
第二方面，本发明实施例提供了一种图像推荐装置，用于从配电设备的视频数据中推荐目标图像，包括：
目标视频数据截取模块，用于在对配电设备监控所生成的视频数据中截取预设时长的目标视频数据；
清晰度和亮度确定模块，用于确定所述目标视频数据中每帧视频图像的清晰度和亮度；
质量分数计算模块，用于针对每帧视频图像，根据所述清晰度和所述亮度计算所述视频图像的质量分数；
目标图像确定模块，用于将所述质量分数最大的视频图像作为目标图像；
推荐模块，用于将所述目标图像推荐到故障分析系统。
可选地，所述清晰度和亮度确定模块包括：
背景区域确定子模块，用于将多帧视频图像输入背景检测模型中得到多帧视频图像的背景区域；
清晰度计算子模块，用于计算所述背景区域的清晰度作为所述视频图像的清晰度；
像素亮度计算子模块，用于根据所述视频图像中每个像素的RGB值计算所述像素的亮度；
图像亮度计算子模块，用于计算所述视频图像中所有像素的亮度的平均值得到所述视频图像的亮度。
可选地，所述背景检测模型通过以下模块训练：
训练图像获取模块，用于获取多帧训练图像，所述训练图像标注有标注背景区域；
模型初始模块，用于初始化背景检测模型；
训练图像输入模块，用于随机提取训练图像输入所述背景检测模型中得到预测背景区域；
损失率计算模块，用于计算所述标注背景区域和所述预测背景区域的相似度得到损失率；
判断模块，用于判断所述损失率是否小于预设阈值；
停止训练模块，用于停止对所述背景检测模型进行迭代训练；
参数更新模块，用于采用所述损失率来对所述背景检测模块的模型参数进行梯度下降，返回训练图像输入模块。
可选地，所述清晰度计算子模块包括：
第一灰度均值计算单元，用于获取所述背景区域中每个像素的灰度值以及计算所有像素的灰度值的均值得到第一灰度均值；
第二灰度均值计算单元，用于计算灰度值大于所述灰度均值的所有像素的灰度值的均值得到第二灰度均值；
第三灰度均值计算单元，用于计算灰度值小于所述灰度均值的所有像素的灰度值的均值得到第三灰度均值；
和值计算单元，用于计算所述第二灰度均值与所述第三灰度均值的差值，以及计算所述第二灰度均值与所述第三灰度均值的和值；
清晰度计算单元，用于计算所述差值与所述和值的比值作为所述视频图像的清晰度。
可选地，所述像素亮度计算子模块包括：
比值计算单元，用于分别计算每个像素的R值、B值、G值与255的比值得到第一比值、第二比值以及第三比值；
像素亮度确定单元，用于从所述第一比值、所述第二比值以及所述第三比值中确定出最大值作为所述像素的亮度。
可选地，所述质量分数计算模块包括：
候选视频图像确定子模块，用于从所述多帧视频图像中确定出清晰度大于预设清晰度阈值，并且亮度在预设亮度范围内的候选视频图像；
权值计算子模块，用于针对每帧候选视频图像，计算所述清晰度与预设清晰度权重的乘积得到第一权值，以及计算所述亮度与预设亮度权重的乘积得到第二权值；
质量分数计算子模块，用于计算所述第一权值和所述第二权值的和值得到所述候选视频图像的质量分数。
可选地，所述目标图像确定模块包括：
目标图像确定子模块，用于将质量分数最大的候选视频图像作为目标图像。
第三方面，本发明实施例提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的图像推荐方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所述的图像推荐方法。
本发明实施例在对配电设备监控所生成的视频数据中截取预设时长的目标视频数据，并确定目标视频数据中每帧视频图像的清晰度和亮度，进一步针对每帧视频图像，根据清晰度和亮度计算视频图像的质量分数，将质量分数最大的视频图像作为目标图像以推荐到故障分析系统，实现了根据清晰度和亮度来从视频数据中确定出质量分数最大的视频图像推荐到故障分析系统，无需运维人员从视频数据选择质量合格的视频图像，一方面，降低了人工成本，提高了视频图像选择的效率，另一方面，所推荐的视频图像的质量不受人的主观影响，保证了推荐的视频图像的质量，提高了故障识别的准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例一提供的一种图像推荐方法的流程图；
图2为本发明实施例二提供的一种图像推荐方法的流程图；
图3为本发明实施例三提供的一种图像推荐装置的结构示意图；
图4为本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种图像推荐方法的流程图，本发明实施例可适用于从配电设备的监控视频数据中向其他系统推荐视频图像的情况。本实施例提供的图像推荐方法可以由本发明实施例提供的图像推荐装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在电子设备中。具体的，参考图1，本发明实施例的图像推荐方法可以包括如下步骤：
S101、在对配电设备监控所生成的视频数据中截取预设时长的目标视频数据。
配电设备可以是配电网中的各种电器设备，例如配电设备可以是变压器、继电器、刀闸、电容器等。在实际应用中，可以在配电设备处安装摄像头，以通过摄像头对配电设备监控以生成视频数据，在一个示例中，可以通过固定安装的摄像头对配电设备采集视频数据，当然也可以通过移动的摄像头对配电设备采集视频数据，例如通过无人机或者机器人挂载摄像头来对配电设备采集视频数据。
对于对配电设备监控所产生的视频数据，可以截取预设时长的视频数据作为目标视频数据，例如截取配电设备指定时间段内的视频数据作为目标视频数据，该目标视频数据可以包括多帧视频图像。
S102、确定所述目标视频数据中每帧视频图像的清晰度和亮度。
图像的清晰度和亮度是衡量图像质量优劣的重要指标，对于每帧视频图像，可以计算背景区域的清晰度来作为视频图像的清晰度，以及计算视频图像中所有像素的亮度的平均值作为视频图像的亮度。
可选地，对于清晰度，在确定视频图像的背景区域之后，可以计算背景区域中所有像素的灰度值的第一平均值，计算灰度值大于第一平均值的所有像素的灰度值的第二平均值，以及计算灰度值小于第一平均值的所有像素的灰度值的第三平均值，最后计算第二平均值与第三平均值的差值与和值的比值作为视频图像的清晰度。
S103、针对每帧视频图像，根据所述清晰度和所述亮度计算所述视频图像的质量分数。
在一个可选实施例中，可以对清晰度和亮度分别设置清晰度权重和亮度权重，通过清晰度、清晰度权重、亮度、亮度权重来计算权值作为视频图像的质量分数。
S104、将所述质量分数最大的视频图像作为目标图像。
在本发明实施例中，质量分数越大说明视频图像的质量越好，对于所有视频图像，可以根据质量分数从大到小进行排序，将排序在第一的视频图像作为目标图像。
S105、将所述目标图像推荐到故障分析系统。
故障分析系统可以是基于图像识别故障的系统，例如，基于图像识别配电设备出现故障的系统，该故障分析系统可以集成在个人计算机、服务器、移动终端等电子设备上，当确定出目标图像之后，可以将目标图像推荐到故障分析系统，以在故障分析系统基于推荐的目标图像对配电设备进行故障识别。
本发明实施例在对配电设备监控所生成的视频数据中截取预设时长的目标视频数据，并确定目标视频数据中每帧视频图像的清晰度和亮度，进一步针对每帧视频图像，根据清晰度和亮度计算视频图像的质量分数，将质量分数最大的视频图像作为目标图像以推荐到故障分析系统，实现了根据清晰度和亮度来从视频数据中确定出质量分数最大的视频图像推荐到故障分析系统，无需运维人员从视频数据选择质量合格的视频图像，一方面，降低了人工成本，提高了视频图像选择的效率，另一方面，所推荐的视频图像的质量不受人的主观影响，保证了推荐的视频图像的质量，提高了故障识别的准确性。
实施例二
图2为本发明实施例二提供的一种图像推荐方法的流程图，本发明实施例在实施例一的基础上进行优化，具体的，参考图2，本发明实施例的图像推荐方法可以包括如下步骤：
S201、在对配电设备监控所生成的视频数据中截取预设时长的目标视频数据。
对于对配电设备监控所产生的视频数据，可以截取预设时长的视频数据作为目标视频数据，例如截取配电设备指定时间段内的视频数据作为目标视频数据，该目标视频数据可以包括多帧视频图像。
S202、将多帧视频图像输入背景检测模型中得到多帧视频图像的背景区域。
对于配电设备而言，配电设备的背景相对固定不变，因此计算视频图像中背景区域的清晰度比较准确。具体地，可以预先训练背景检测模型，该背景检测模型可以在输入一帧图像后可以从图像中识别出背景区域，在一个可选实施例中，背景检测模型可以通过以下方式训练：获取多帧训练图像，该训练图像标注有标注背景区域，在初始化背景检测模型后，随机提取训练图像输入背景检测模型中得到预测背景区域，计算标注背景区域和预测背景区域的相似度得到损失率，判断损失率是否小于预设阈值，若是，停止对背景检测模型进行迭代训练，若否，采用损失率来对背景检测模块的模型参数进行梯度下降，返回随机提取训练图像输入背景检测模型中得到预测背景区域的步骤。
其中，背景检测模型可以是CNN、RNN、DNN等神经网络，在训练好背景检测模型之后，对于每帧视频图像，可以将每帧视频图像输入背景检测模型中以得到视频图像中的背景区域，在一个示例中，背景区域可以是视频图像中除了配电设备所在区域的以外的其他区域。
S203、计算所述背景区域的清晰度作为所述视频图像的清晰度。
在本发明的可选实施例中，可以将背景区域转换为灰度图，并获取背景区域中每个像素的灰度值以及计算所有像素的灰度值的均值得到第一灰度均值，计算灰度值大于灰度均值的所有像素的灰度值的均值得到第二灰度均值，计算灰度值小于灰度均值的所有像素的灰度值的均值得到第三灰度均值，计算第二灰度均值与第三灰度均值的差值，以及计算第二灰度均值与第三灰度均值的和值，计算差值与和值的比值作为视频图像的清晰度，具体地如下公式所示：
M＝(H-L)/(H+L)
上述公式中，M为视频图像的清晰度，H为灰度值大于第一灰度均值的所有像素的灰度均值(第二灰度均值)，L为灰度值小于第一灰度均值的所有像素的灰度均值(第三灰度均值)。
S204、根据所述视频图像中每个像素的RGB值计算所述像素的亮度。
RGB值为RGB颜色空间表示时每个像素的R(红)值、B(蓝)值以及G(绿)值，本发明实施例可以将RGB值转换为HSV值，其中H之为色相，S为饱和度，V为亮度，明亮度V的具体转换过程如下公式所示：
R＇＝R/255
B＇＝B/255
G＇＝G/255
Cmax＝(R＇，B＇，G＇)；
V＝Cmax
即先分别计算每个像素的R值、B值、G值与255的比值得到第一比值R＇、第二比值B＇以及第三比值G＇，然后从第一比值R＇、第二比值B＇以及第三比值G＇中确定出最大值作为像素的亮度V。
S205、计算所述视频图像中所有像素的亮度的平均值得到所述视频图像的亮度。
在计算得到视频图像中每个像素的亮度之后，可以对所有像素的亮度求平均值作为视频图像的亮度。
S206、从所述多帧视频图像中确定出清晰度大于预设清晰度阈值，并且亮度在预设亮度范围内的候选视频图像。
清晰度越大，说明视频图像的清晰度越好，亮度越大，说明图像亮度曝光时间越长，可以设置清晰度阈值，通过该清晰度阈值可以过滤掉清晰度明显不够的视频图像，以及设置亮度范围以过滤掉曝光不足造成过暗和曝光过度造成过亮的视频图像，具体地，对于每一帧视频图像，可以确定清晰度是否大于预设清晰度阈值，并且亮度在预设亮度范围内，若是，则将该视频图像作为候选图像，否则丢弃该视频图像，从而减少了视频图像的数量，降低计算需要计算质量分数的视频图像的数据量。
S207、针对每帧候选视频图像，计算所述清晰度与预设清晰度权重的乘积得到第一权值，以及计算所述亮度与预设亮度权重的乘积得到第二权值。
本发明实施例可以预先设置清晰度权重和亮度权重，清晰度权重和亮度权重可以根据实际情况进行设定，在一个示例中，当配电设备在户外并且光照充足时，清晰度权重可以大于亮度权重，即更注重于清晰度，当摄像头性能更好时，如摄像头的像素更高时，可以设置亮度权重大于清晰度权重，即更注重于环境亮度等因素。
对于每帧候选视频图像，可以记清晰度为M，亮度为V，预设清晰度权重为W1，预设亮度权重为W2，则可以计算M×W1得到第一权值，计算V×W2得到第二权值。
S208、计算所述第一权值和所述第二权值的和值得到所述候选视频图像的质量分数。
如上所述，视频图像的质量分数Q计算如下：
Q＝M×W1+V×W2
S209、将质量分数最大的候选视频图像作为目标图像。
在本发明实施例中，质量分数越大说明视频图像的质量越好，对于所有候选视频图像，可以根据质量分数从大到小进行排序，在排序在第一的候选视频图像作为目标图像。
S210、将所述目标图像推荐到故障分析系统。
故障分析系统可以是基于图像识别故障的系统，例如，基于图像识别配电设备出现故障的系统，该故障分析系统可以集成在个人计算机、服务器、移动终端等电子设备上，当确定出目标图像之后，可以将目标图像推荐到故障分析系统，以在故障分析系统基于推荐的目标图像对配电设备进行故障识别。
本发明实施例在对配电设备监控所生成的视频数据中截取预设时长的目标视频数据，并确定目标视频数据中每帧视频图像的清晰度和亮度，进一步针对每帧视频图像，根据清晰度和亮度计算视频图像的质量分数，将质量分数最大的视频图像作为目标图像以推荐到故障分析系统，实现了根据清晰度和亮度来从视频数据中确定出质量分数最大的视频图像推荐到故障分析系统，无需运维人员从视频数据选择质量合格的视频图像，一方面，降低了人工成本，提高了视频图像选择的效率，另一方面，所推荐的视频图像的质量不受人的主观影响，保证了推荐的视频图像的质量，提高了故障识别的准确性。
实施例三
图3为本发明实施例三提供的一种图像推荐装置的结构示意图，具体的，如图3所示，本发明实施例的图像推荐装置用于从配电设备的视频数据中推荐目标图像，具体可以包括：
目标视频数据截取模块301，用于在对配电设备监控所生成的视频数据中截取预设时长的目标视频数据；
清晰度和亮度确定模块302，用于确定所述目标视频数据中每帧视频图像的清晰度和亮度；
质量分数计算模块303，用于针对每帧视频图像，根据所述清晰度和所述亮度计算所述视频图像的质量分数；
目标图像确定模块304，用于将所述质量分数最大的视频图像作为目标图像；
推荐模块305，用于将所述目标图像推荐到故障分析系统。
可选地，所述清晰度和亮度确定模块302包括：
背景区域确定子模块，用于将多帧视频图像输入背景检测模型中得到多帧视频图像的背景区域；
清晰度计算子模块，用于计算所述背景区域的清晰度作为所述视频图像的清晰度；
像素亮度计算子模块，用于根据所述视频图像中每个像素的RGB值计算所述像素的亮度；
图像亮度计算子模块，用于计算所述视频图像中所有像素的亮度的平均值得到所述视频图像的亮度。
可选地，所述背景检测模型通过以下模块训练：
训练图像获取模块，用于获取多帧训练图像，所述训练图像标注有标注背景区域；
模型初始模块，用于初始化背景检测模型；
训练图像输入模块，用于随机提取训练图像输入所述背景检测模型中得到预测背景区域；
损失率计算模块，用于计算所述标注背景区域和所述预测背景区域的相似度得到损失率；
判断模块，用于判断所述损失率是否小于预设阈值；
停止训练模块，用于停止对所述背景检测模型进行迭代训练；
参数更新模块，用于采用所述损失率来对所述背景检测模块的模型参数进行梯度下降，返回训练图像输入模块。
可选地，所述清晰度计算子模块包括：
第一灰度均值计算单元，用于获取所述背景区域中每个像素的灰度值以及计算所有像素的灰度值的均值得到第一灰度均值；
第二灰度均值计算单元，用于计算灰度值大于所述灰度均值的所有像素的灰度值的均值得到第二灰度均值；
第三灰度均值计算单元，用于计算灰度值小于所述灰度均值的所有像素的灰度值的均值得到第三灰度均值；
和值计算单元，用于计算所述第二灰度均值与所述第三灰度均值的差值，以及计算所述第二灰度均值与所述第三灰度均值的和值；
清晰度计算单元，用于计算所述差值与所述和值的比值作为所述视频图像的清晰度。
可选地，所述像素亮度计算子模块包括：
比值计算单元，用于分别计算每个像素的R值、B值、G值与255的比值得到第一比值、第二比值以及第三比值；
像素亮度确定单元，用于从所述第一比值、所述第二比值以及所述第三比值中确定出最大值作为所述像素的亮度。
可选地，所述质量分数计算模块303包括：
候选视频图像确定子模块，用于从所述多帧视频图像中确定出清晰度大于预设清晰度阈值，并且亮度在预设亮度范围内的候选视频图像；
权值计算子模块，用于针对每帧候选视频图像，计算所述清晰度与预设清晰度权重的乘积得到第一权值，以及计算所述亮度与预设亮度权重的乘积得到第二权值；
质量分数计算子模块，用于计算所述第一权值和所述第二权值的和值得到所述候选视频图像的质量分数。
可选地，所述目标图像确定模块304包括：
目标图像确定子模块，用于将质量分数最大的候选视频图像作为目标图像。
本实施例提供的图像推荐装置可执行本发明任意实施例提供的图像推荐方法，具备相应的功能和有益效果。
实施例四
参照图4，示出了本发明一个示例中的一种电子设备的结构示意图。如图4所示，该电子设备具体可以包括：处理器40、存储器41、具有触摸功能的显示屏42、输入装置43、输出装置44以及通信装置45。该电子设备中处理器40的数量可以是一个或者多个，图4中以一个处理器40为例。该电子设备中存储器41的数量可以是一个或者多个，图4中以一个存储器41为例。该电子设备的处理器40、存储器41、显示屏42、输入装置43、输出装置44以及通信装置45可以通过总线或者其他方式连接，图4中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明任意实施例所述的图像推荐方法对应的程序指令/模块(例如，上述图像推荐装置中的目标视频数据截取模块301、清晰度和亮度确定模块302、质量分数计算模块303、目标图像确定模块304和推荐模块305)，存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
显示屏42为具有触摸功能的显示屏42，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏42用于根据处理器40的指示显示数据，还用于接收作用于显示屏42的触摸操作，并将相应的信号发送至处理器40或其他装置。
通信装置45，用于与其他设备建立通信连接，其可以是有线通信装置和/或无线通信装置。
输入装置43可用于接收输入的数字或者字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置44可以包括扬声器等音频设备。需要说明的是，输入装置43和输出装置44的具体组成可以根据实际情况设定。
处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述图像推荐方法。
具体地，实施例中，处理器40执行存储器41中存储的一个或多个程序时，具体实现本发明实施例提供的图像推荐方法的步骤。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现本发明任意实施例中的图像推荐方法。该方法具体可以包括：
在对配电设备监控所生成的视频数据中截取预设时长的目标视频数据，所述目标视频数据包括多帧视频图像；
确定所述目标视频数据中每帧视频图像的清晰度和亮度；
针对每帧视频图像，根据所述清晰度和所述亮度计算所述视频图像的质量分数；
将所述质量分数最大的视频图像作为目标图像；
将所述目标图像推荐到故障分析系统。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明应用于设备上任意实施例所提供的图像推荐方法中的相关操作。
需要说明的是，对于装置、电子设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的图像推荐的方法。
值得注意的是，上述图像推荐装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种图像推荐方法，其特征在于，用于从用电设备的视频数据中推荐目标图像，包括：
在对用电设备监控所生成的视频数据中截取预设时长的目标视频数据；
确定所述目标视频数据中每帧视频图像的清晰度和亮度；
针对每帧视频图像，根据所述清晰度和所述亮度计算所述视频图像的质量分数；
将所述质量分数最大的视频图像作为目标图像；
将所述目标图像推荐到故障分析系统；
所述确定所述目标视频数据中每帧视频图像的清晰度和亮度，包括：
将多帧视频图像输入背景检测模型中得到多帧视频图像的背景区域；
计算所述背景区域的清晰度作为所述视频图像的清晰度；
根据所述视频图像中每个像素的RGB值计算所述像素的亮度；
计算所述视频图像中所有像素的亮度的平均值得到所述视频图像的亮度；
所述背景检测模型通过以下方式训练：
获取多帧训练图像，所述训练图像标注有标注背景区域；
初始化背景检测模型；
随机提取训练图像输入所述背景检测模型中得到预测背景区域；
计算所述标注背景区域和所述预测背景区域的相似度得到损失率；
判断所述损失率是否小于预设阈值；
若是，停止对所述背景检测模型进行迭代训练；
若否，采用所述损失率来对所述背景检测模型的模型参数进行梯度下降，返回随机提取训练图像输入所述背景检测模型中得到预测背景区域的步骤。
2.根据权利要求1所述的图像推荐方法，其特征在于，所述计算所述背景区域的清晰度作为所述视频图像的清晰度，包括：
获取所述背景区域中每个像素的灰度值以及计算所有像素的灰度值的均值得到第一灰度均值；
计算灰度值大于所述第一灰度均值的所有像素的灰度值的均值得到第二灰度均值；
计算灰度值小于所述第一灰度均值的所有像素的灰度值的均值得到第三灰度均值；
计算所述第二灰度均值与所述第三灰度均值的差值，以及计算所述第二灰度均值与所述第三灰度均值的和值；
计算所述差值与所述和值的比值作为所述视频图像的清晰度。
3.根据权利要求1所述的图像推荐方法，其特征在于，所述根据所述视频图像中每个像素的RGB值计算所述像素的亮度，包括：
分别计算每个像素的R值、B值、G值与255的比值得到第一比值、第二比值以及第三比值；
从所述第一比值、所述第二比值以及所述第三比值中确定出最大值作为所述像素的亮度。
4.根据权利要求1所述的图像推荐方法，其特征在于，所述针对每帧视频图像，根据所述清晰度和所述亮度计算所述视频图像的质量分数，包括：
从所述多帧视频图像中确定出清晰度大于预设清晰度阈值，并且亮度在预设亮度范围内的候选视频图像；
针对每帧候选视频图像，计算所述清晰度与预设清晰度权重的乘积得到第一权值，以及计算所述亮度与预设亮度权重的乘积得到第二权值；
计算所述第一权值和所述第二权值的和值得到所述候选视频图像的质量分数。
5.根据权利要求4所述的图像推荐方法，其特征在于，所述将所述质量分数最大的视频图像作为目标图像，包括：
将质量分数最大的候选视频图像作为目标图像。
6.一种图像推荐装置，其特征在于，用于从用电设备的视频数据中推荐目标图像，包括：
目标视频数据截取模块，用于在对用电设备监控所生成的视频数据中截取预设时长的目标视频数据；
清晰度和亮度确定模块，用于确定所述目标视频数据中每帧视频图像的清晰度和亮度；
质量分数计算模块，用于针对每帧视频图像，根据所述清晰度和所述亮度计算所述视频图像的质量分数；
目标图像确定模块，用于将所述质量分数最大的视频图像作为目标图像；
推荐模块，用于将所述目标图像推荐到故障分析系统；
所述清晰度和亮度确定模块包括：
背景区域确定子模块，用于将多帧视频图像输入背景检测模型中得到多帧视频图像的背景区域；
清晰度计算子模块，用于计算所述背景区域的清晰度作为所述视频图像的清晰度；
像素亮度计算子模块，用于根据所述视频图像中每个像素的RGB值计算所述像素的亮度；
图像亮度计算子模块，用于计算所述视频图像中所有像素的亮度的平均值得到所述视频图像的亮度；
所述背景检测模型通过以下模块训练：
训练图像获取模块，用于获取多帧训练图像，所述训练图像标注有标注背景区域；
模型初始模块，用于初始化背景检测模型；
训练图像输入模块，用于随机提取训练图像输入所述背景检测模型中得到预测背景区域；
损失率计算模块，用于计算所述标注背景区域和所述预测背景区域的相似度得到损失率；
判断模块，用于判断所述损失率是否小于预设阈值；
停止训练模块，用于停止对所述背景检测模型进行迭代训练；
参数更新模块，用于采用所述损失率来对所述背景检测模型的模型参数进行梯度下降，返回训练图像输入模块。
7.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个计算机程序；
所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一项所述的图像推荐方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5中任一项所述的图像推荐方法。
CN202111094114.3A 2021-09-17 2021-09-17 图像推荐方法、装置、电子设备和存储介质 Active CN113808107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111094114.3A CN113808107B (zh) 2021-09-17 2021-09-17 图像推荐方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111094114.3A CN113808107B (zh) 2021-09-17 2021-09-17 图像推荐方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113808107A CN113808107A (zh) 2021-12-17
CN113808107B true CN113808107B (zh) 2024-03-29

Family

ID=78939741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111094114.3A Active CN113808107B (zh) 2021-09-17 2021-09-17 图像推荐方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113808107B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789112A (zh) * 2023-11-20 2024-03-29 联通数字科技有限公司 一种基于监控截图的故障处理方法及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196666A (ja) * 2001-12-28 2003-07-11 Toshiba Corp 画像ベクトル定義による画像処理装置およびその方法
CN110366001A (zh) * 2018-04-09 2019-10-22 腾讯科技（深圳）有限公司 视频清晰度的确定方法和装置、存储介质、电子装置
CN111061895A (zh) * 2019-07-12 2020-04-24 北京达佳互联信息技术有限公司 图像推荐的方法、装置、电子设备及存储介质
WO2020215720A1 (zh) * 2019-04-22 2020-10-29 惠州Tcl移动通信有限公司 拍摄方法、存储介质及电子设备
CN112435244A (zh) * 2020-11-27 2021-03-02 广州华多网络科技有限公司 直播视频的质量评价方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196666A (ja) * 2001-12-28 2003-07-11 Toshiba Corp 画像ベクトル定義による画像処理装置およびその方法
CN110366001A (zh) * 2018-04-09 2019-10-22 腾讯科技（深圳）有限公司 视频清晰度的确定方法和装置、存储介质、电子装置
WO2020215720A1 (zh) * 2019-04-22 2020-10-29 惠州Tcl移动通信有限公司 拍摄方法、存储介质及电子设备
CN111061895A (zh) * 2019-07-12 2020-04-24 北京达佳互联信息技术有限公司 图像推荐的方法、装置、电子设备及存储介质
CN112435244A (zh) * 2020-11-27 2021-03-02 广州华多网络科技有限公司 直播视频的质量评价方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN113808107A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN112767392B (zh) 图像清晰度确定方法、装置、设备及存储介质
CN108304816B (zh) 身份识别方法、装置、存储介质及电子设备
CN111935479B (zh) 一种目标图像确定方法、装置、计算机设备及存储介质
CN112633313B (zh) 一种网络终端的不良信息识别方法及局域网终端设备
CN110889377A (zh) 广告物异常识别方法、装置、服务器设备及存储介质
CN113808107B (zh) 图像推荐方法、装置、电子设备和存储介质
JP2019192082A (ja) 学習用サーバ、不足学習用画像収集支援システム、及び不足学習用画像推定プログラム
CN111401239B (zh) 一种视频分析方法、装置、系统、设备及存储介质
CN113222970A (zh) 一种车辆装载率检测方法、装置、计算机设备和存储介质
CN113688820A (zh) 频闪条带信息识别方法、装置和电子设备
CN113439227A (zh) 放大图像的捕获和存储
CN114066823A (zh) 检测色块的方法及其相关产品
CN106960188B (zh) 天气图像分类方法及装置
CN112528825A (zh) 一种基于图像识别的车站乘客招援服务方法
CN115456984A (zh) 基于二维码高速识别图像识别缺陷检测系统
US9218669B1 (en) Image ghost removal
CN115131686A (zh) 一种基于主动学习和半监督学习的智能电力巡检方法
CN114612897A (zh) 一种智能果蔬称重打票方法、装置、电子设备及存储介质
CN112770080B (zh) 一种抄表方法、抄表装置及电子设备
CN113420686A (zh) 一种输电线路巡检方法、装置及系统
CN111191593A (zh) 图像目标检测方法、装置、存储介质及污水管道检测装置
CN117218162B (zh) 一种基于ai的全景追踪控视系统
CN116894930B (zh) 基于ai+ar的数字作业指导系统
US11620731B2 (en) System and a method for surveying graphical objects on a screen display
CN116013091B (zh) 基于车流量大数据的隧道监控系统与分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant