CN115409715B - 一种基于Hodges-Lehmann的消防危险品图像超分方法及装置 - Google Patents

一种基于Hodges-Lehmann的消防危险品图像超分方法及装置 Download PDF

Info

Publication number
CN115409715B
CN115409715B CN202211352945.0A CN202211352945A CN115409715B CN 115409715 B CN115409715 B CN 115409715B CN 202211352945 A CN202211352945 A CN 202211352945A CN 115409715 B CN115409715 B CN 115409715B
Authority
CN
China
Prior art keywords
image
value
pixel
lehmann
hodges
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211352945.0A
Other languages
English (en)
Other versions
CN115409715A (zh
Inventor
高学鸿
王波
黄国忠
李浩轩
蒋慧灵
周亮
邓青
张磊
李宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202211352945.0A priority Critical patent/CN115409715B/zh
Publication of CN115409715A publication Critical patent/CN115409715A/zh
Application granted granted Critical
Publication of CN115409715B publication Critical patent/CN115409715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于Hodges‑Lehmann的消防危险品图像超分方法及装置，涉及智能数据分析技术领域。包括获取危险品图像多个像点的各颜色通道下的灰度值矩阵；对原始图像进行缩放获得重构图像，将重构图像根据缩放倍数映射到原始图像，选取矩形网格中距离目标像点最近的十六个采样点；根据所示十六个采样点，计算插值核内像素值的Hodges‑Lehmann值，更新目标像点的像素值；根据插值核内像素值的Hodges‑Lehmann值，设定图像超分评估指标，完成基于Hodges‑Lehmann的消防危险品图像超分。本发明提供的方法通过对插值核中16个像素点进行稳健性估计，更新目标像素点灰度值，不会出现权重分布不均等现象，增强图像边缘轮廓，为识别小尺寸目标图像引入更多细节信息，提升识别精度。

Description

一种基于Hodges-Lehmann的消防危险品图像超分方法及装置
技术领域
本发明涉及安全工程技术领域，特别是指一种基于Hodges-Lehmann的消防危险品图像超分方法及装置。
背景技术
图像视频作为一个信息传递的载体时时刻刻在人们的日常生活中发挥着极其重要的作用，人类社会每天都会产生不计其数的图像与视频信息。随着人工智能和计算机视觉技术的发展，图像识别技术逐渐应用于文物古建筑中进行危险品的识别。然而，由于有效距离、设备硬件和存储单元等储存条件的限制，导致采集的图像分辨率质量不高；尤其是拍摄的图像中存在很多小尺寸目标，这些小尺寸目标缺乏足够的细节信息，这导致他们容易被错误分类，影响识别精度。这可能使一些小型点火源等危险品无法精准识别，从而导致十分严重的事故，因此需要提出一种有效且实时性的图像超分技术对采集的图像进行重建。
在数值分析中，双三次插值是二维空间中最常用的插值方法。在这种方法中，插值点(x, y)的像素灰度值f(x, y)通过矩形网格中最近的十六个采样点的加权平均得到，而各采样点的权重由该点到待求插值点的距离确定，此距离包括水平和竖直两个方向上的距离。但4×4大小的区域内的16个像素点均不在区域内的几何中心上，这样计算出插值核中各点的权重可能存在权重数值分布不均，距离中心点越远的点权重越小，外围点对插值点的计算贡献度微乎其微，从而使得图像边缘模糊，双三次插值计算量很大等问题。因此本专利提出一种基于Hodges-Lehmann（HL）的双三次插值算法，旨在消除边缘模糊提升识别图像质量的同时减少算法的计算量。
目前基于学习的图像超分技术能够重建更好的分辨率图像，但是大多数算法无法在移动端部署或实际应用，少有真正基于超分需求建立的网络，多数是通用型架构，而且需要依赖大量的数据集进行训练。传统的基于插值的图像超分技术相对基于学习的方法更为简单有效，但是往往重建结果的边缘和轮廓较为模糊，纹理恢复效果不佳。即是效果最好的双三次插值，由于计算出插值核中各点的权重可能存在权重数值分布不均，距离中心点越远的点权重越小，外围点对插值点的计算贡献度微乎其微，从而使得图像边缘细节损失，而使重建的图像边缘轮廓模糊。
发明内容
针对现有技术中由于图像边缘细节损失，而使重建的图像边缘轮廓模糊的问题，本发明提出了一种基于Hodges-Lehmann的消防危险品图像超分方法及装置。
为解决上述技术问题，本发明提供如下技术方案：
一方面，提供了一种基于Hodges-Lehmann的消防危险品图像超分方法，该方法应用于电子设备，包括以下步骤：
S1：通过危险品的原始图像，获取待检测图像中多个像素点的各颜色通道下的灰度值矩阵；
S2：对原始图像进行缩放获得重构图像，将所述重构图像根据缩放倍数映射到原始图像，构建矩形网格，选取矩形网格中距离目标像点最近的十六个采样点；
S3：根据所述十六个采样点，计算插值核内像素值的Hodges-Lehmann值，更新目标像点的像素值；
S4：根据所述插值核内像素值的Hodges-Lehmann值，设定图像超分评估指标，完成基于Hodges-Lehmann的消防危险品图像超分。
可选地，步骤S1中，通过危险品的原始图像，获取待检测图像中多个像素点的各颜色通道下的灰度值矩阵，包括：
S11：采集原始图像RGB颜色通道的灰度矩阵，记为原始像素矩阵，记第
Figure 548804DEST_PATH_IMAGE001
行、第
Figure 656700DEST_PATH_IMAGE002
列 的像素点为
Figure 24358DEST_PATH_IMAGE003
，彩色值为
Figure DEST_PATH_IMAGE005A
；
S12：对原始像素矩阵进行0值加边填充，获得待检测图像，以及检测图像的灰度值矩阵。
可选地，步骤S2中，对原始图像进行缩放获得重构图像，将所述重构图像根据缩放倍数映射到原始图像，构建矩形网格，选取矩形网格中距离目标像点最近的十六个采样点，包括：
S21：对原始图像进行缩放获得重构图像，将所述重构图像根据缩放倍数映射到原 始图像；其中所述重构图像中待插入像素点的坐标为
Figure 940624DEST_PATH_IMAGE006
，缩放倍数为
Figure 978112DEST_PATH_IMAGE007
，则映射到原始 图像中点坐标的计算公式如下述公式（1）所示：
Figure 963517DEST_PATH_IMAGE008
S22：判定中心点P，构建矩形网格；
S23：根据所述中心点P，通过插值运算法，选取矩形网格中距离目标像点最近的十 六个采样点，得到插值点
Figure 400446DEST_PATH_IMAGE009
的像素灰度值
Figure 341857DEST_PATH_IMAGE010
，其中，采样点与目标像点的距离包 括水平和竖直两个方向上的距离。
可选地，步骤S22中，判定中心点P，构建矩形网格，包括：
设定中心点P落在映射后的图像区域内，则以P为中心，对所述图像区域进行左上、右上、左下、右下四个区域的正方形划分，则对应中心点P的区域四角选取分别为A、B、C、D四点，构建矩形网格。
可选地，步骤S3中，根据所述十六个采样点，计算插值核内像素值的Hodges-Lehmann值，更新目标像点的像素值，包括：
S31：将确定的十六个采样点看成4×4矩阵；
S32：将所有像素值进行展平排列，
Figure 314361DEST_PATH_IMAGE011
，并进行两两配对
Figure 64360DEST_PATH_IMAGE012
， 并将配对结果置于集合
Figure 868761DEST_PATH_IMAGE013
中；其中
Figure 54892DEST_PATH_IMAGE014
表示像素值矩阵
Figure 699762DEST_PATH_IMAGE015
中的像素值；
S33：计算每个配对像素的平均值，并将计算结果保存至新的集合
Figure 705764DEST_PATH_IMAGE016
中，待所有 配对像素的平均值计算完成后，计算新的集合
Figure 953337DEST_PATH_IMAGE016
中所有元素的中位数，根据下述公式（2）
Figure 338182DEST_PATH_IMAGE017
得到插值核内像素灰度值的HL值：
Figure 121330DEST_PATH_IMAGE018
其中，
Figure 240727DEST_PATH_IMAGE019
表示Hodges-Lehmann值；Median函数为中位数计算函数；
Figure 665892DEST_PATH_IMAGE020
表 示缩放后插值所对应的像素值。
可选地，步骤S4，根据所述插值核内像素值的Hodges-Lehmann值，设定图像超分评估指标，完成基于Hodges-Lehmann的消防危险品图像超分，包括：
S41：将原始图像像素值和Hodges-Lehmann值对比，进行峰值信噪比评估；
S42：通过计算协方差作为图像结构相似性程度的度量值，通过计算均值作为图像亮度估计值，通过计算标准差作为图像对比度估计值，进行结构相似度SSIM评估；
S43：综合所述峰值信噪比评估结果以及SSIM评估结果，完成基于Hodges-Lehmann的消防危险品图像超分。
一方面，提供了一种基于Hodges-Lehmann的消防危险品图像超分装置，该装置应用于电子设备，该装置包括：
初始化模块，用于通过危险品的原始图像，获取待检测图像中多个像素点的各颜色通道下的灰度值矩阵；
缩放模块，用于对原始图像进行缩放获得重构图像，将所述重构图像根据缩放倍数映射到原始图像，选取矩形网格中距离目标像点最近的十六个采样点；
HL值计算模块，用于根据所示十六个采样点，计算插值核内像素值的Hodges-Lehmann值，更新目标像点的像素值；
超分评估模块，用于根据所述插值核内像素值的Hodges-Lehmann值，设定图像超分评估指标，完成基于Hodges-Lehmann的消防危险品图像超分。
可选地，初始化模块，用于采集原始图像RGB颜色通道的灰度矩阵，记第
Figure 170823DEST_PATH_IMAGE001
行、第
Figure 891916DEST_PATH_IMAGE002
列的像素点为
Figure 138090DEST_PATH_IMAGE003
，彩色值为
Figure 727465DEST_PATH_IMAGE021
；
对原始像素矩阵进行0值加边填充，获得待检测图像，以及所述检测图像的灰度值矩阵。
可选地，缩放模块，用于对原始图像进行缩放获得重构图像，其中所述重构图像中 待插入像素点的坐标为
Figure 477116DEST_PATH_IMAGE006
，缩放倍数为
Figure 622971DEST_PATH_IMAGE007
，则映射到原始图像中点坐标的计算公式如 下述公式（1）所示：
Figure 356441DEST_PATH_IMAGE008
通过插值运算法判定中心点P；其中，所述距离包括水平和数值两个方向上的距 离；插值点
Figure 998775DEST_PATH_IMAGE009
的像素灰度值
Figure 291347DEST_PATH_IMAGE010
通过矩形网格中最近的十六个采样点得到，而各采 样点由该点到待求插值点的距离确定。
可选地，缩放模块，用于将图像区域进行左上、右上、左下、右下四个区域的正方形划分，则对应中心点P的区域四角选取分别为A、B、C、D四点，则以P点为中心确定周边十六个采样点的位置与坐标。
一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述一种基于Hodges-Lehmann的消防危险品图像超分方法。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述一种基于Hodges-Lehmann的消防危险品图像超分方法。
本发明实施例的上述技术方案至少具有如下有益效果：
上述方案中，本发明提供的基于Hodges-Lehmann统计量的图像超分算法，通过对插值核中16个像素点进行稳健性估计，更新目标像素点灰度值，不会出现权重分布不均等现象，增强图像边缘轮廓，为识别小尺寸目标图像引入更多细节信息，提升识别精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于Hodges-Lehmann的消防危险品图像超分方法的流程图；
图2是本发明实施例提供的一种基于Hodges-Lehmann的消防危险品图像超分方法的流程图；
图3是本发明实施例提供的一种基于Hodges-Lehmann的消防危险品图像超分方法的插值点的简单判定方法图；
图4是本发明实施例提供的一种一种基于Hodges-Lehmann的消防危险品图像超分方法的高清图像与低清图像映射关系图
图5是本发明实施例提供的一种基于Hodges-Lehmann的消防危险品图像超分装置框图；
图6是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提供了一种基于Hodges-Lehmann的消防危险品图像超分方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的基于Hodges-Lehmann的消防危险品图像超分方法流程图，该方法的处理流程可以包括如下的步骤：
S101：通过危险品的原始图像，获取危险品待检测图像中多个像素点的各颜色通道下的灰度值矩阵；
S102：对原始图像进行缩放获得重构图像，将所述重构图像根据缩放倍数映射到原始图像，构建矩形网格，选取矩形网格中距离目标像点最近的十六个采样点；
S103：根据所述十六个采样点，计算插值核内像素值的Hodges-Lehmann值，更新目标像点的像素值；
S104：根据所述插值核内像素值的Hodges-Lehmann值，设定图像超分评估指标，完成基于Hodges-Lehmann的消防危险品图像超分。
可选地，步骤S101中，通过危险品的原始图像，获取危险品待检测图像中多个像素点的各颜色通道下的灰度值矩阵，包括：
S111：采集原始图像RGB颜色通道的灰度矩阵，记为原始像素矩阵，记第
Figure 619822DEST_PATH_IMAGE001
行、第
Figure 450375DEST_PATH_IMAGE002
列的像素点为
Figure 443870DEST_PATH_IMAGE003
，彩色值为
Figure 777899DEST_PATH_IMAGE021
；
S112：对原始像素矩阵进行0值加边填充，获得待检测图像，以及检测图像的灰度值矩阵。
可选地，步骤S102中，对原始图像进行缩放获得重构图像，将所述重构图像根据缩放倍数映射到原始图像，构建矩形网格，选取矩形网格中距离目标像点最近的十六个采样点，包括：
S121：对原始图像进行缩放获得重构图像，将所述重构图像根据缩放倍数映射到 原始图像；其中所述重构图像中待插入像素点的坐标为
Figure 510232DEST_PATH_IMAGE006
，缩放倍数为
Figure 454179DEST_PATH_IMAGE007
，则映射到原 始图像中点坐标的计算公式如下述公式（1）所示：
Figure 687583DEST_PATH_IMAGE008
S122：判定中心点P，构建矩形网格；
S123：根据所述中心点P，通过插值运算法，选取矩形网格中距离目标像点最近的 十六个采样点，得到插值点
Figure 767797DEST_PATH_IMAGE009
的像素灰度值
Figure 546397DEST_PATH_IMAGE010
，其中，采样点与目标像点的距离 包括水平和竖直两个方向上的距离。
可选地，步骤S122中，判定中心点P，构建矩形网格，包括：
设定中心点P落在映射后的图像区域内，则以P为中心，对所述图像区域进行左上、右上、左下、右下四个区域的正方形划分，则对应中心点P的区域四角选取分别为A、B、C、D四点，构建矩形网格。
可选地，步骤S103中，根据所述十六个采样点，计算插值核内像素值的Hodges-Lehmann值，更新目标像点的像素值，包括：
S131：将确定的十六个采样点看成4×4矩阵；
S132：将所有像素值进行展平排列，
Figure 210597DEST_PATH_IMAGE011
，并进行两两配对
Figure 483577DEST_PATH_IMAGE012
， 并将配对结果置于集合
Figure 182412DEST_PATH_IMAGE013
中；其中
Figure 758012DEST_PATH_IMAGE014
表示像素值矩阵
Figure 519295DEST_PATH_IMAGE015
中的像素值；
S133：计算每个配对像素的平均值，并将计算结果保存至新的集合
Figure 969868DEST_PATH_IMAGE016
中，待所有 配对像素的平均值计算完成后，计算新的集合
Figure 895447DEST_PATH_IMAGE016
中所有元素的中位数，根据下述公式（2）
Figure 671642DEST_PATH_IMAGE017
得到插值核内像素灰度值的HL值：
Figure 811899DEST_PATH_IMAGE018
其中，
Figure 675949DEST_PATH_IMAGE019
表示Hodges-Lehmann值；Median函数为中位数计算函数；
Figure 349376DEST_PATH_IMAGE020
表示缩放后插值所对应的像素值。
可选地，步骤S104，根据所述插值核内像素值的Hodges-Lehmann值，设定图像超分评估指标，完成基于Hodges-Lehmann的消防危险品图像超分，包括：
S141：将原始图像像素值和Hodges-Lehmann值对比，进行峰值信噪比评估；
S142：通过计算协方差作为图像结构相似性程度的度量值，通过计算均值作为图像亮度估计值，通过计算标准差作为图像对比度估计值，进行结构相似度SSIM评估；
S143：综合所述峰值信噪比评估结果以及SSIM评估结果，完成基于Hodges-Lehmann的消防危险品图像超分。
本发明实施例中，本发明提供的基于Hodges-Lehmann统计量的图像超分算法，通过对插值核中16个像素点进行稳健性估计，更新目标像素点灰度值，不会出现权重分布不均等现象，增强图像边缘轮廓，为识别小尺寸目标图像引入更多细节信息，提升识别精度。
本发明实施例提供了一种基于Hodges-Lehmann的消防危险品图像超分方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图2所示的基于Hodges-Lehmann的消防危险品图像超分方法流程图，该方法的处理流程可以包括如下的步骤：
S201：采集原始图像RGB颜色通道的灰度矩阵，记为原始像素矩阵，记第
Figure 797937DEST_PATH_IMAGE001
行、第
Figure 455184DEST_PATH_IMAGE002
列的像素点为列的像素点为
Figure 14603DEST_PATH_IMAGE003
，彩色值为
Figure 136012DEST_PATH_IMAGE021
。
一种可行的实施方式中，首先采集目标图像RGB颜色通道的灰度矩阵，记某一第
Figure 755474DEST_PATH_IMAGE001
行、第
Figure 994957DEST_PATH_IMAGE002
列的像素点为
Figure 591023DEST_PATH_IMAGE022
，其色彩值为
Figure 583250DEST_PATH_IMAGE021
，为方便描述，下面统一引用
Figure 108034DEST_PATH_IMAGE023
代表某一色彩通道下像素点
Figure 208715DEST_PATH_IMAGE022
的灰度值。
S202：对原始像素矩阵进行0值加边填充，获得待检测图像，以及待检测图像的灰度值矩阵。
一种可行的实施方式中，对原始像素矩阵四边进行0值加边填充一层，生成一幅新的待检图像。
该新待检图像卷积窗口内的像素值矩阵
Figure 968991DEST_PATH_IMAGE015
表达如下式所示：
Figure 205938DEST_PATH_IMAGE024
其中
Figure 9946DEST_PATH_IMAGE023
为中心像素的灰度值。
S203：对原始图像进行缩放获得重构图像，将所述重构图像根据缩放倍数映射到 原始图像；其中所述重构图像中待插入像素点的坐标为
Figure 87668DEST_PATH_IMAGE006
，缩放倍数为
Figure 884591DEST_PATH_IMAGE007
，则映射到原 始图像中点坐标的计算公式如下述公式（1）所示：
Figure 477509DEST_PATH_IMAGE008
S204：判定中心点P，构建矩形网格；
S205：根据所述中心点P，通过插值运算法，选取矩形网格中距离目标像点最近的 十六个采样点，得到插值点
Figure 842631DEST_PATH_IMAGE009
的像素灰度值
Figure 216106DEST_PATH_IMAGE010
，其中，采样点与目标像点的距离 包括水平和竖直两个方向上的距离。
一种可行的实施方式中，在进行插值运算时，首先需要确定16个点像素值，插值点
Figure 223245DEST_PATH_IMAGE025
的像素灰度值
Figure 670669DEST_PATH_IMAGE026
通过矩形网格中最近的十六个采样点得到，而各采样点由该 点到待求插值点的距离确定，此距离包括水平和竖直两个方向上的距离。
一种可行的实施方式中，假设重构图像中待插入像素点的坐标为
Figure 347638DEST_PATH_IMAGE006
，缩放倍 数为h，其映射到低清图像中点坐标计算公式如式（1）所示，这样的计算方式可以保证对图 像中的点和线段的位置关系对应，缩放相同倍数而不产生偏移，映射关系如图4中的b.放大 图像所示。
一种可行的实施方式中，通过插值运算法判定中心点包括：
将图像区域进行左上、右上、左下、右下四个区域的正方形划分，则对应中心点P的区域四角选取分别为A、B、C、D四点，则以P点为中心确定周边十六个采样点的位置与坐标。
一种可行的实施方式中，本实施例介绍一个简单的判定中心点 的方法，如图3所示，如果P点的坐标落在左上、右上、左下、右下的区域，则对应中心点的选取分别为A、B、C、D点。之后按照图4中以P点为中心的位置关系确定16个点的位置与坐标即可。
在图4中的虚线区域是边界长度为1的正方形，如果根据计算待插入点的坐标映射 至低清图像后位于
Figure 379048DEST_PATH_IMAGE027
的范围内，则根据如图4中的a.原图像所示的位置关系 确定周边16个点的位置和像素值，其中点代表的是每一个像素格子的中心。设定映射至低 清图像点的为P，到y轴距离为u，x轴距离为v，则P点的坐标为
Figure 19239DEST_PATH_IMAGE028
，如果A1点坐标的 小数部分满足|u|<0.5且|v|<0.5，则根据P点为中心点确定周边16个点的位置与像素值。
S206：将确定的十六个采样点看成4×4矩阵；
S207：将所有像素值进行展平排列，
Figure 85284DEST_PATH_IMAGE011
，并进行两两配对
Figure 401996DEST_PATH_IMAGE012
， 并将配对结果置于集合
Figure 140276DEST_PATH_IMAGE013
中；其中
Figure 725103DEST_PATH_IMAGE014
表示像素值矩阵
Figure 645655DEST_PATH_IMAGE015
中的像素值；
S208：计算每个配对像素的平均值，并将计算结果保存至新的集合
Figure 664426DEST_PATH_IMAGE016
中，待所有 配对像素的平均值计算完成后，计算新的集合
Figure 171893DEST_PATH_IMAGE016
中所有元素的中位数，根据下述公式（2）
Figure 652422DEST_PATH_IMAGE017
得到插值核内像素灰度值的HL值：
Figure 940664DEST_PATH_IMAGE018
其中，
Figure 864757DEST_PATH_IMAGE019
表示HL值；
Figure 358056DEST_PATH_IMAGE020
表示缩放后插值所对应的像素值。
一种可行的实施方式中，把上述确定的16点（原始图像中加边处理后图像）看成4 ×4矩阵，然后将所有像素值进行展平排列
Figure 143740DEST_PATH_IMAGE011
，之后进行两两配对
Figure 38884DEST_PATH_IMAGE012
，并将两两配对后的值置于一集合
Figure 759977DEST_PATH_IMAGE013
。
计算其中每个元素的平均值，并将两两配对后的值计算结果保存至新的集合
Figure 615938DEST_PATH_IMAGE016
中，待所有配对像素均值计算完成后，计算其相应集合中所有元素的中位数，得到该插值核 内像素灰度值的HL值。
将计算得到的HL值插值到目标图像的待求像素点，即可得出目标图像像素值
Figure 579215DEST_PATH_IMAGE029
；
上述所有计算仅针对于某单一颜色通道的灰度空间，该中心像素最终色彩修正值 为
Figure 954964DEST_PATH_IMAGE030
。
S209：将原始图像像素值和Hodges-Lehmann值对比，进行峰值信噪比评估；
一种可行的实施方式中，峰值信噪比（Peak Signal Noise Ratio，PSNR）是一种客观评价方法，根据一个定量分析的数学模型来评估实验结果所得图像的得分，得分用以评判图像的优劣，算法的性能。其流程一般先对原始图像做降质处理，随后通过各个图像插值算法对降质图像进行计算得到重构图像，通过对不同算法处理得到的结果进行比较或者与原始图像进行对比从而度量算法的性能。一般算法处理后的结果与原始图像越接近则算法的性能越高，误差越小，则算法的效果越好。具体公式如下所示：
Figure 345494DEST_PATH_IMAGE031
公式（3）中MSE表示均方差，𝑋(𝑖, 𝑗)和𝑌(𝑖, 𝑗)分表示在图像客观评价中需要对比的两幅图像，即原始图像像素值和高清图像映射求得的HL值对比。若均方误差的数值越小，则表明算法处理的效果越好，M和N分别表示以上两幅图像中像素点的个数。PSNR在均方差的基础上进行计算，如公式（4）所示。
Figure 423171DEST_PATH_IMAGE032
MAX表示图像中颜色最大的数值，比如对于8位就是255。峰值信噪比的单位是dB，PSNR值越高则表示插值算法的结果越接近于原始图像，插值算法的性能越高。PSNR算法的原理是计算两幅对比图像各个位置上像素值的误差来衡量与原始图像的差异。
S210：通过计算协方差作为图像结构相似性程度的度量，通过计算均值作为图像亮度估计值，通过计算标准差作为图像对比度估计值，进行结构相似度SSIM评估；
一种可行的实施方式中，结构相似度（Structural Similarity index，SSIMindex）多用于衡量两幅图像之间的相似度。SSIM主要包括图像的结构，亮度和对比度三个要素。计算时SSIM通过计算协方差作为图像结构相似性程度的度量，通过计算均值作为图像亮度估计值，通过计算标准差作为图像对比度估计值，其具体的计算公式如式（5）所示。
Figure 691604DEST_PATH_IMAGE033
其中，公式（5）中，x和y分表示在图像客观评价中需要对比的两幅图像像素值，即 原始图像像素值和高清图像映射求得的HL值。
Figure 561340DEST_PATH_IMAGE034
是x的平均值，
Figure 748870DEST_PATH_IMAGE035
是y的平均值，
Figure 438477DEST_PATH_IMAGE036
是x 的方差，
Figure 353343DEST_PATH_IMAGE037
是y的方差，
Figure 844630DEST_PATH_IMAGE038
是xy的协方差
Figure 701596DEST_PATH_IMAGE039
，
Figure 379964DEST_PATH_IMAGE040
是用来维持稳 定的常数。L是像素值的动态范围。
Figure 98522DEST_PATH_IMAGE041
，
Figure 942850DEST_PATH_IMAGE042
。SSIM的分布单位在
Figure 335830DEST_PATH_IMAGE043
区间 上，其值越小则表明两幅图像的相似程度越低。SSIM值越大表明参与评估的两幅图像结构 相似性很高，差异很小。
S211：综合峰值信噪比评估结果以及SSIM评估结果，完成基于Hodges-Lehmann的消防危险品图像超分。
本发明实施例中，针对于小目标尺寸图像中信息不完整，本发明考虑采用Hodges-Lehmann统计量对插值核内像素灰度值概率分布的均值进行稳健性估计。HL是观测值有可加性误差时未知参数的一种估计，可以避免异常观测值影响，从而提升图像质量。且由于HL值对统计异常值存在失效点，相较于插值方法能够更加合理地估计目标像点的统计学特征，在一定程度上综合考虑了边缘信息对中心像点的影响程度，所以其面对边缘细节的中心像素也具有一定的保留能力，实现在对危险品图像重建的同时保留图像边界信息。传统的插值方法通过加权求和得出目标像素值，其中外围点对插值点的计算贡献度微乎其微，从而使得图像边缘模糊，基于稳健参数HL求得目标值则能更加全面的考虑目标点周围所选取的像点，使得重建的高分辨率图像相对传统方法更加清晰。
图5是根据一示例性实施例示出的一种基于Hodges-Lehmann的消防危险品图像超分装置框图。参照图5，该装置300包括：
初始化模块310，用于通过危险品的原始图像，获取危险品待检测图像中多个像素点的各颜色通道下的灰度值矩阵；
缩放模块320，用于对原始图像进行缩放获得重构图像，将所述重构图像根据缩放倍数映射到原始图像，构建矩形网格，选取矩形网格中距离目标像点最近的十六个采样点；
HL值计算模块330，用于根据所述十六个采样点，计算插值核内像素值的Hodges-Lehmann值，更新目标像点的像素值；
超分评估模块340，用于根据所述插值核内像素值的Hodges-Lehmann值，设定图像超分评估指标，完成基于Hodges-Lehmann的消防危险品图像超分。
可选地，初始化模块，用于采集原始图像RGB颜色通道的灰度矩阵，记第
Figure 390242DEST_PATH_IMAGE001
行、第
Figure 538589DEST_PATH_IMAGE002
列的像素点为
Figure 237424DEST_PATH_IMAGE003
，彩色值为
Figure 186925DEST_PATH_IMAGE021
；
对原始像素矩阵进行0值加边填充，获得待检测图像，以及所述待检测图像的灰度值矩阵。
可选地，缩放模块，用于对原始图像进行缩放获得重构图像，其中所述重构图像中 待插入像素点的坐标为
Figure 105465DEST_PATH_IMAGE009
，缩放倍数为
Figure 556038DEST_PATH_IMAGE007
，则映射到原始图像中点坐标的计算公式如下 述公式（1）所示：
Figure 63374DEST_PATH_IMAGE008
通过插值运算法判定中心点P；其中，所述距离包括水平和数值两个方向上的距 离；插值点
Figure 183776DEST_PATH_IMAGE009
的像素灰度值
Figure 261716DEST_PATH_IMAGE010
通过矩形网格中最近的十六个采样点得到，而各采 样点由该点到待求插值点的距离确定。
可选地，缩放模块，用于将图像区域进行左上、右上、左下、右下四个区域的正方形划分，则对应中心点P的区域四角选取分别为A、B、C、D四点，则以P点为中心确定周边十六个采样点的位置与坐标。
可选地，HL值计算模块330，用于将确定的十六个采样点看成4×4矩阵；
将所有像素值进行展平排列，
Figure 486286DEST_PATH_IMAGE011
，并进行两两配对
Figure 894134DEST_PATH_IMAGE012
，并将 配对结果置于集合
Figure 557676DEST_PATH_IMAGE013
中；其中
Figure 450808DEST_PATH_IMAGE014
表示像素值矩阵
Figure 852971DEST_PATH_IMAGE015
中的像素值；
计算每个配对像素的平均值，并将计算结果保存至新的集合
Figure 115325DEST_PATH_IMAGE016
中，待所有配对 像素的平均值计算完成后，计算新的集合
Figure 859421DEST_PATH_IMAGE016
中所有元素的中位数，根据下述公式（2）
Figure 941646DEST_PATH_IMAGE017
得到插值核内像素灰度值的HL值：
Figure 304757DEST_PATH_IMAGE044
其中，
Figure 296984DEST_PATH_IMAGE019
表示Hodges-Lehmann值；Median函数为中位数计算函数；
Figure 54724DEST_PATH_IMAGE020
表 示缩放后插值所对应的像素值。
可选地，超分评估模块340，用于将原始图像像素值和HL值对比，进行峰值信噪比评估；
通过计算协方差作为图像结构相似性程度的度量，通过计算均值作为图像亮度估计值，通过计算标准差作为图像对比度估计值，进行结构相似度SSIM评估；
综合所述峰值信噪比评估结果以及SSIM评估结果，完成基于Hodges-Lehmann的消防危险品图像超分。
通过上述方式，本发明基于Hodges-Lehmann的消防危险品图像超分方法和装置的有益效果表现为：针对于小目标尺寸图像中信息不完整，本发明考虑采用Hodges-Lehmann统计量对插值核内像素灰度值概率分布的均值进行稳健性估计。HL是观测值有可加性误差时未知参数的一种估计，可以避免异常观测值影响，从而提升图像质量。且由于HL值对统计异常值存在失效点，相较于插值方法能够更加合理地估计目标像点的统计学特征，在一定程度上综合考虑了边缘信息对中心像点的影响程度，所以其面对边缘细节的中心像素也具有一定的保留能力，实现在对危险品图像重建的同时保留图像边界信息。传统的插值方法通过加权求和得出目标像素值，其中外围点对插值点的计算贡献度微乎其微，从而使得图像边缘模糊，基于稳健参数HL求得目标值则能更加全面的考虑目标点周围所选取的像点，使得重建的高分辨率图像相对传统方法更加清晰。
图6是本发明实施例提供的一种电子设备400的结构示意图，该电子设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessing units，CPU）401和一个或一个以上的存储器402，其中，所述存储器402中存储有至少一条指令，所述至少一条指令由所述处理器401加载并执行以实现下述基于Hodges-Lehmann的消防危险品图像超分方法的步骤：
S1：通过危险品的原始图像，获取危险品待检测图像中多个像素点的各颜色通道下的灰度值矩阵；
S2：对原始图像进行缩放获得重构图像，将所述重构图像根据缩放倍数映射到原始图像，构建矩形网格，选取矩形网格中距离目标像点最近的十六个采样点；
S3：根据所述十六个采样点，计算插值核内像素值的Hodges-Lehmann值，更新目标像点的像素值；
S4：根据所述插值核内像素值的Hodges-Lehmann值，设定图像超分评估指标，完成基于Hodges-Lehmann的消防危险品图像超分。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述基于Hodges-Lehmann的消防危险品图像超分方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于Hodges-Lehmann的消防危险品图像超分方法，其特征在于，包括以下步骤：
S1：通过危险品的原始图像，获取待检测图像中多个像素点的各颜色通道下的灰度值矩阵；
S2：对原始图像进行缩放获得重构图像，将所述重构图像根据缩放倍数映射到原始图像，构建矩形网格，选取矩形网格中距离目标像素点最近的十六个采样点；
所述步骤S2中，对原始图像进行缩放获得重构图像，将所述重构图像根据缩放倍数映射到原始图像，构建矩形网格，选取矩形网格中距离目标像素点最近的十六个采样点，包括：
S21：对原始图像进行缩放获得重构图像，将所述重构图像根据缩放倍数映射到原始图像；其中所述重构图像中待插入像素点的坐标为（x,y），缩放倍数为h，则映射到原始图像中点坐标的计算公式如下述公式（1）所示：
Figure 542357DEST_PATH_IMAGE001
（1）；
S22：判定中心点P，构建矩形网格；
S23：根据所述中心点P，通过插值运算法，选取矩形网格中距离目标像素点最近的十六个采样点，得到待插入像素点的坐标(x, y)的像素灰度值f(x, y)，其中，采样点与目标像素点的距离包括水平和竖直两个方向上的距离；
所述步骤S22中，判定中心点P，构建矩形网格，包括：
设定点P落在映射后的图像区域内，则以P为中心，对所述图像区域进行左上、右上、左下、右下四个区域的正方形划分，则对应中心点P的区域四角选取分别为A、B、C、D四点，构建矩形网格；
S3：根据所述十六个采样点，计算插值核内像素值的Hodges-Lehmann值，更新目标像素点的像素值；
所述步骤S3中，根据所述十六个采样点，计算插值核内像素值的Hodges-Lehmann值，更新目标像素点的像素值，包括：
S31：将确定的十六个采样点看成4×4矩阵；
S32：将所有像素值进行展平排列，
Figure 315141DEST_PATH_IMAGE002
，并进行两两配对
Figure 324685DEST_PATH_IMAGE003
，并将配对结果置于集合
Figure 764894DEST_PATH_IMAGE004
中；其中
Figure 834481DEST_PATH_IMAGE005
表示像素值矩阵
Figure 563402DEST_PATH_IMAGE006
中的像素值；
S33：计算每个配对像素的平均值，并将计算结果保存至新的集合
Figure 173375DEST_PATH_IMAGE007
中，待所有配对像素的平均值计算完成后，计算新的集合
Figure 468090DEST_PATH_IMAGE007
中所有元素的中位数，根据下述公式（2）得到插值核内像素值的Hodges-Lehmann值：
Figure 974158DEST_PATH_IMAGE008
其中，
Figure 721534DEST_PATH_IMAGE009
表示Hodges-Lehmann值；Median函数为中位数计算函数；
Figure 604040DEST_PATH_IMAGE010
表示缩放后插值所对应的像素值；
S4：根据所述插值核内像素值的Hodges-Lehmann值，设定图像超分评估指标，完成基于Hodges-Lehmann的消防危险品图像超分。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1中，通过危险品的原始图像，获取待检测图像中多个像素点的各颜色通道下的灰度值矩阵，包括：
S11：采集原始图像RGB颜色通道的灰度矩阵，记为原始像素矩阵，记第i行、第j列的像素点为（i，j），彩色值为
Figure 487682DEST_PATH_IMAGE011
；
S12：对原始像素矩阵进行0值加边填充，获得待检测图像以及所述待检测图像的灰度值矩阵。
3.根据权利要求1所述的方法，其特征在于，所述步骤S4，根据所述插值核内像素值的Hodges-Lehmann值，设定图像超分评估指标，完成基于Hodges-Lehmann的消防危险品图像超分，包括：
S41：将原始图像像素值和Hodges-Lehmann值对比，进行峰值信噪比评估；
S42：通过计算协方差作为图像结构相似性程度的度量值，通过计算均值作为图像亮度估计值，通过计算标准差作为图像对比度估计值，进行结构相似度SSIM评估；
S43：综合所述峰值信噪比评估结果以及SSIM评估结果，完成基于Hodges-Lehmann的消防危险品图像超分。
4.一种基于Hodges-Lehmann的消防危险品图像超分装置，其特征在于，所述装置适用于上述权利要求1-3中任意一项的方法，装置包括：
初始化模块，用于通过危险品的原始图像，获取待检测图像中多个像素点的各颜色通道下的灰度值矩阵；
缩放模块，用于对原始图像进行缩放获得重构图像，将所述重构图像根据缩放倍数映射到原始图像，构建矩形网格，选取矩形网格中距离目标像素点最近的十六个采样点；
HL值计算模块，用于根据所述十六个采样点，计算插值核内像素值的Hodges-Lehmann值，更新目标像素点的像素值；
超分评估模块，用于根据所述插值核内像素值的Hodges-Lehmann值，设定图像超分评估指标，完成基于Hodges-Lehmann的消防危险品图像超分。
5.根据权利要求4所述的装置，其特征在于，所述初始化模块，进一步用于采集原始图像RGB颜色通道的灰度矩阵，记为原始像素矩阵，记第i行、第j列的像素点为（i，j），彩色值为
Figure 164651DEST_PATH_IMAGE011
；
对原始像素矩阵进行0值加边填充，获得待检测图像，以及所述待检测图像的灰度值矩阵。
CN202211352945.0A 2022-11-01 2022-11-01 一种基于Hodges-Lehmann的消防危险品图像超分方法及装置 Active CN115409715B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211352945.0A CN115409715B (zh) 2022-11-01 2022-11-01 一种基于Hodges-Lehmann的消防危险品图像超分方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211352945.0A CN115409715B (zh) 2022-11-01 2022-11-01 一种基于Hodges-Lehmann的消防危险品图像超分方法及装置

Publications (2)

Publication Number Publication Date
CN115409715A CN115409715A (zh) 2022-11-29
CN115409715B true CN115409715B (zh) 2023-03-14

Family

ID=84167183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211352945.0A Active CN115409715B (zh) 2022-11-01 2022-11-01 一种基于Hodges-Lehmann的消防危险品图像超分方法及装置

Country Status (1)

Country Link
CN (1) CN115409715B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544687A (zh) * 2012-07-11 2014-01-29 刘书 图像超分辨率重建高效方法
CN104376550A (zh) * 2014-12-01 2015-02-25 中南大学 基于含积分的平差模型的超分辨率图像重建方法
CN107358575A (zh) * 2017-06-08 2017-11-17 清华大学 一种基于深度残差网络的单幅图像超分辨率重建方法
CN108492249B (zh) * 2018-02-08 2020-05-12 浙江大学 基于小卷积递归神经网络的单帧超分辨重建方法
CN109064405A (zh) * 2018-08-23 2018-12-21 武汉嫦娥医学抗衰机器人股份有限公司 一种基于双路径网络的多尺度图像超分辨率方法
WO2021201908A1 (en) * 2020-04-03 2021-10-07 New York Society For The Relief Of The Ruptured And Crippled, Maintaining The Hospital For Special Surgery Mri-based textural analysis of trabecular bone
CN113436078B (zh) * 2021-08-10 2022-03-15 诺华视创电影科技(江苏)有限公司 一种自适用图像超分辨率重构方法及装置
CN114820394B (zh) * 2022-06-29 2022-09-02 北京科技大学 一种基于稳健参数估计的图像噪点滤波方法及装置

Also Published As

Publication number Publication date
CN115409715A (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN115294409B (zh) 一种用于安防监控的视频处理方法、系统及介质
CN109741356B (zh) 一种亚像素边缘检测方法及系统
CN112241976A (zh) 一种训练模型的方法及装置
CN112703532B (zh) 图像处理方法、装置、设备及存储介质
CN112180375A (zh) 一种基于改进的TrajGRU网络的气象雷达回波外推方法
CN115294145B (zh) 一种输电线路弧垂的测量方法及系统
CN116228780B (zh) 基于计算机视觉的硅片缺陷检测方法及系统
CN116310883B (zh) 基于遥感图像时空融合的农业灾害预测方法及相关设备
CN107944497A (zh) 基于主成分分析的图像块相似性度量方法
CN115797607A (zh) 一种增强vr真实效果的图像优化处理方法
US20130084025A1 (en) Method for Brightness Correction of Defective Pixels of Digital Monochrome Image
CN114155285B (zh) 基于灰度直方图的图像配准方法
WO2021051382A1 (zh) 白平衡处理方法和设备、可移动平台、相机
CN115409715B (zh) 一种基于Hodges-Lehmann的消防危险品图像超分方法及装置
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
Sustika et al. Generative adversarial network with residual dense generator for remote sensing image super resolution
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
CN116095291B (zh) 一种用于媒体流图像传输的图像预处理方法
CN116229419B (zh) 一种行人检测方法及装置
CN114742849B (zh) 一种基于图像增强的水准仪距离测量方法
CN116310832A (zh) 遥感图像处理方法、装置、设备、介质及产品
CN114926524A (zh) 一种用于提高烟幕红外有效遮蔽面积测量精度的方法
CN114693743A (zh) 一种目标跟踪训练数据集的数据清洗方法
WO2021189460A1 (zh) 图像处理方法、装置及可移动平台
CN106033550B (zh) 目标跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant