CN111507968B - 一种图像融合质量检测方法及装置 - Google Patents

一种图像融合质量检测方法及装置 Download PDF

Info

Publication number
CN111507968B
CN111507968B CN202010310934.0A CN202010310934A CN111507968B CN 111507968 B CN111507968 B CN 111507968B CN 202010310934 A CN202010310934 A CN 202010310934A CN 111507968 B CN111507968 B CN 111507968B
Authority
CN
China
Prior art keywords
image
fusion
wavelet
coefficient
fused
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010310934.0A
Other languages
English (en)
Other versions
CN111507968A (zh
Inventor
郑万林
李慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Keyao Technology Co.,Ltd.
Original Assignee
Shenzhen Keyao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Keyao Technology Co ltd filed Critical Shenzhen Keyao Technology Co ltd
Priority to CN202010310934.0A priority Critical patent/CN111507968B/zh
Publication of CN111507968A publication Critical patent/CN111507968A/zh
Application granted granted Critical
Publication of CN111507968B publication Critical patent/CN111507968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种图像融合质量检测方法及装置。所述方法包括从视频图像的每一帧中查找被追踪者图像帧；依据小波变换图像融合方法、轮廓小波融合方法和尺度不变特征变换图像融合方法分别对多张被追踪者图像进行图像融合；根据融合结果分别计算信息熵，根据信息熵判定图像融合质量。采用本申请提供的图像融合质量检测方法，通过计算三种不同的图像融合方式的信息熵来检测图像融合的质量好坏，实现对被追踪者更好的定位。

Description

一种图像融合质量检测方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像融合质量检测方法及装置。
背景技术
在视频安防监控中，人物的追踪定位是最重要的问题。然而在识别人物时很容易出现由于被物体遮挡而不能轻易识别人物定位的情况。
现有技术中一般采用的是从视频中寻找最能够体现人物面容的一张或多张图片来人工推断被拍摄者的面部特征，以此来实现人物追踪。但人工推断在很大程度上不能准确了解被拍摄者情况，由此导致人物追踪失败。现有技术越来越多摒弃人工识别的方式，推出各种图像自动识别方法，但检测图像的质量好坏也是人物追踪的关键性条件，因此亟需一种能够检测图像质量的方法来通知追踪者人物追踪的准确性。
发明内容
本申请提供了一种图像融合质量检测方法，包括：
从视频图像的每一帧中查找被追踪者图像帧；
依据小波变换图像融合方法、轮廓小波融合方法和尺度不变特征变换图像融合方法分别对多张被追踪者图像进行图像融合；
根据融合结果分别计算信息熵，根据信息熵判定图像融合质量。
如上所述的图像融合质量检测方法，其中，从视频图像的每一帧中查找被追踪者图像帧，具体为：
构建深度卷积神经网络模型；
从输入层开始，依次经过第一卷积层、第一深度卷积层、第二卷积层、第二深度卷积层、第三卷积层和第三深度卷积层；
将输出图像输入全局平均池化层和全连接层，达到softmax层，softmax层输出被追踪者出现的概率，若输出概率为1，则该图像帧为被追踪者图像帧。
如上所述的图像融合质量检测方法，其中，依据小波变换图像融合方法对预处理后的多张被追踪者图像进行图像融合，具体包括如下子步骤：
分别用离散小波变换函数分解每张被追踪者图像得到源图像；
基于模极大值融合算法对源图像对应的小波系数进行融合，得到融合图像；
将融合后的图像进行小波反变换，得到基于小波变换的图像融合结果。
如上所述的图像融合质量检测方法，其中，依据轮廓小波融合方法对预处理后的多张被追踪者图像进行图像融合，具体包括如下子步骤：
分别用边缘轮廓变换函数分解每张被追踪者图像得到源图像，对源图像进行分解得到轮廓小波系数；
比较分解得到的轮廓小波系数中高频系数，将高频系数最大值作为融合图像的高频系数；
计算分解得到的轮廓小波系数中低频系数的均值，将低频系数的均值作为融合图像的低频系数；
将融合图像的低频系数和高频系数构成融合图像的系数，对融合图像的系数进行轮廓小波融合反变换，得到基于轮廓小波融合方法的图像融合结果。
如上所述的图像融合质量检测方法，其中，依据尺度不变特征变换图像融合方法对预处理后的多张被追踪者图像进行图像融合，具体包括如下子步骤：
对两张被追踪者图像进行线性滤波，得到其对比度、方向和亮度特征显著图，并对对比度、方向和亮度特征显著图求交集，得到视觉显著区域、独有显著区域和公共显著区域；
根据视觉显著区域、独有显著区域和公共显著区域的低频分量确定融合图像的融合系数；
利用多尺度融合算法对融合系数进行多尺度反变换，重构出融合图像。
本申请还提供一种图像融合质量检测装置，包括：
被追踪者图像查找模块，用于从视频图像的每一帧中查找被追踪者图像帧；
图像融合模块，用于依据小波变换图像融合方法、轮廓小波融合方法和尺度不变特征变换图像融合方法分别对多张被追踪者图像进行图像融合；
基于信息熵的融合图像质量检测模块，用于根据融合结果分别计算信息熵，根据信息熵判定图像融合质量。
如上所述的图像融合质量检测装置，其中，所述被追踪者图像查找模块，具体用于构建深度卷积神经网络模型；从输入层开始，依次经过第一卷积层、第一深度卷积层、第二卷积层、第二深度卷积层、第三卷积层和第三深度卷积层；将输出图像输入全局平均池化层和全连接层，达到softmax层，softmax层输出被追踪者出现的概率，若输出概率为1，则该图像帧为被追踪者图像帧。
如上所述的图像融合质量检测装置，其中，所述图像融合模块中，依据小波变换图像融合方法对多张被追踪者图像进行图像融合，具体用于分别用离散小波变换函数分解每张被追踪者图像得到源图像；基于模极大值融合算法对源图像对应的小波系数进行融合，得到融合图像；将融合后的图像进行小波反变换，得到基于小波变换的图像融合结果。
如上所述的图像融合质量检测装置，其中，所述图像融合模块中，依据轮廓小波融合方法对多张被追踪者图像进行图像融合，具体用于分别用边缘轮廓变换函数分解每张被追踪者图像得到源图像，对源图像进行分解得到轮廓小波系数；比较分解得到的轮廓小波系数中高频系数，将高频系数最大值作为融合图像的高频系数；计算分解得到的轮廓小波系数中低频系数的均值，将低频系数的均值作为融合图像的低频系数；将融合图像的低频系数和高频系数构成融合图像的系数，对融合图像的系数进行轮廓小波融合反变换，得到基于轮廓小波融合方法的图像融合结果。
如上所述的图像融合质量检测装置，其中，所述图像融合模块中，依据尺度不变特征变换图像融合方法对多张被追踪者图像进行图像融合，具体用于对两张被追踪者图像进行线性滤波，得到其对比度、方向和亮度特征显著图，并对对比度、方向和亮度特征显著图求交集，得到视觉显著区域、独有显著区域和公共显著区域；根据视觉显著区域、独有显著区域和公共显著区域的低频分量确定融合图像的融合系数；利用多尺度融合算法对融合系数进行多尺度反变换，重构出融合图像。
本申请实现的有益效果如下：采用本申请提供的图像融合质量检测方法，通过计算三种不同的图像融合方式的信息熵来检测图像融合的质量好坏，实现对被追踪者更好的定位。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的一种图像融合质量检测方法流程图；
图2是依据小波变换图像融合方法对预处理后的多张被追踪者图像进行图像融合方法流程图；
图3是依据轮廓小波融合方法对预处理后的多张被追踪者图像进行图像融合方法流程图；
图4是依据尺度不变特征变换图像融合方法对预处理后的多张被追踪者图像进行图像融合方法流程图；
图5是本申请实施例二提供的一种图像融合质量检测装置示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本申请实施例一提供一种图像融合质量检测方法，如图1所示，包括：
步骤110、从视频图像的每一帧中查找被追踪者图像帧；
由于本申请实施例对于被追踪者的实时性要求较高，故采用计算速度快的深度卷积神经网络模型进行图像判断；
其中，从视频图像的每一帧中查找被追踪者图像帧，具体为：构建深度卷积神经网络模型，从输入层开始，依次经过卷积C1层(输出图像尺寸[256,256,8])、深度卷积层D1(输出图像尺寸[128,128,16])、卷积层C2(输出图像尺寸[64,64,32])、深度卷积层D2(输出图像尺寸[32,32,64])、卷积层C3(输出图像尺寸[16,16,128])、深度卷积层D3(输出图像尺寸[8,8,256])，然后经过全局平均池化层和全连接层，最后达到softmax层，根据softmax层的输出结果判断图像中是否存在被追踪者；
softmax层输出被追踪者出现的概率，若softmax层输出值为1，则说明该帧图像中出现被拍摄者，若softmax层输出值为0，则说明该帧图像中未出现被拍摄者。
步骤120、对被追踪者图像帧进行预处理；
具体地，由于采集条件、光照等因素的影响，导致图像中携带噪声，因此需要对被追踪者图像进行预处理，消除或减少图像中的噪声。
步骤130、依据小波变换图像融合方法、轮廓小波融合方法和尺度不变特征变换图像融合方法分别对预处理后的多张被追踪者图像进行图像融合；
本申请实施例中，基于小波变换图像融合方法、尺度不变特征变换图像融合方法和轮廓小波融合方法分别进行图像融合，得到不同方法下的图像融合结果；
其中，依据小波变换图像融合方法对预处理后的多张被追踪者图像进行图像融合，如图2所示，具体包括如下子步骤：
步骤210、分别用db1离散小波变换函数分解每张被追踪者图像得到源图像；
步骤220、基于模极大值融合算法对源图像对应的小波系数进行融合，得到融合图像；
具体地，通过下式对小波系统进行融合：
i_wave(x,y)＝MAX{w1(x,y),w2(x,y),w3(x,y)……wi(x,y)}
其中，x表示小波系数w1、w2……wi的行数，y表示小波系数w1、w2……wi的列数，wi(x,y)表示小波系统wi在x行y列处的值，i_wave(x,y)表示融合后的小波系数i_wave在x行y列的值，i为源图像总数。
步骤230、将融合后的图像进行小波反变换，得到基于小波变换的图像融合结果。
其中，依据轮廓小波融合方法对预处理后的多张被追踪者图像进行图像融合，如图3所示，具体包括如下子步骤：
步骤310、分别用边缘轮廓变换函数分解每张被追踪者图像得到源图像，对源图像进行分解得到轮廓小波系数；
可选地，对源图像进行三层分解，且最高层分解八个方向、次高层分解四个方向，得到分解后的轮廓小波系数Li＝{低频系数cli，高频系数chi}，i为源图像总数。
步骤320、比较分解得到的轮廓小波系数中高频系数，将高频系数最大值作为融合图像的高频系数；
具体地，通过下式获取高频系数最大值：
freH(x,y)＝MAX{ch1(x,y),ch2(x,y),……,chi(x,y)}；
其中，x表示高频系数chi的行数，y表示高频系数chi的列数，chi(x,y)表示高频系数chi在x行y列处的值，freH(x,y)表示融合后的高频系数freH在x行y列的值，i为源图像总数。
步骤330、计算分解得到的轮廓小波系数中低频系数的均值，将低频系数的均值作为融合图像的低频系数；
具体地，通过下式计算低频系数最小值：
Figure BDA0002457819160000051
其中，x表示低频系数cli的行数，y表示低频系数cli的列数，chi(x,y)表示低频系数cli在x行y列处的值，freL(x,y)表示融合后的低频系数freL在x行y列的值，i为源图像总数。
步骤340、将融合图像的低频系数和高频系数构成融合图像的系数，对融合图像的系数进行轮廓小波融合反变换，得到基于轮廓小波融合方法的图像融合结果。
其中，依据尺度不变特征变换图像融合方法对预处理后的多张被追踪者图像进行图像融合，如图4所示，具体包括如下子步骤：
步骤410、对两张被追踪者图像进行线性滤波，得到其对比度、方向和亮度特征显著图，并对对比度、方向和亮度特征显著图求交集，得到视觉显著区域、独有显著区域和公共显著区域；
其中，对比度特征显著图具体为利用高斯金字塔对源图像进行滤波，然后对滤波结果进行逐层求差法得到对比度特征显著点分布，对特征点显著分布应用熵阈值分割法得到对比度特征显著图；方向特征显著图具体为利用滤波器在多个方向对源图像进行滤波，将滤波结果加和得到源图像的方向特征点分布，然后对方向特征点分布应用熵阈值分割法生成方向特征显著图；亮度特征显著图具体为用均值滤波器对源图像进行平滑，以消除噪声和灰度突变影响，再对平滑后的图像应用熵阈值分割法生成源图像的亮度特征显著图。
步骤420、根据视觉显著区域、独有显著区域和公共显著区域的低频分量确定融合图像的融合系数；
具体地，对两源图像分割后得到的低频分量中每个点，如果该点对应的某一个源图像的独有显著区域为1，则确定融合图像为该张源图像对应的低频系数，如果该点对应的是公共显著区域，则取两张源图像的低频系数均值作为融合图像的低频系数，如果该点不属于任何显著区域，则计算两张图像的领域方差，方差越大则表示源图像在该点所属区域约丰富，将该点对应的源图像的低频系数作为融合图像的低频系数。
步骤430、利用多尺度融合算法对融合系数进行多尺度反变换，重构出融合图像。
返回参见图1，步骤140、根据融合结果分别计算信息熵，根据信息熵判定图像融合质量。
具体地，通过下式分别计算经三种方法融合后的融合图像结果的信息熵：
Figure BDA0002457819160000061
其中，S表示图像的信息熵，n表示图像的总灰度级数，Pi表示灰度值为i的像素值与图像总像素值之比；
通过计算图像结果的信息熵，若信息熵越大则图像信息越丰富，融合质量越高，则对应的将信息熵最大的融合图像作为质量最优的融合图像，也即确定该融合图像所对应的融合方法在此视频图像中人物追踪效果最优。
实施例二
本申请实施例二提供一种图像融合质量检测装置，如图5所示，包括：
被追踪者图像查找模块510，用于从视频图像的每一帧中查找被追踪者图像帧；
图像融合模块520，用于依据小波变换图像融合方法、轮廓小波融合方法和尺度不变特征变换图像融合方法分别对多张被追踪者图像进行图像融合；
基于信息熵的融合图像质量检测模块530，用于根据融合结果分别计算信息熵，根据信息熵判定图像融合质量。
其中，所述被追踪者图像查找模块510，具体用于构建深度卷积神经网络模型；从输入层开始，依次经过第一卷积层、第一深度卷积层、第二卷积层、第二深度卷积层、第三卷积层和第三深度卷积层；将输出图像输入全局平均池化层和全连接层，达到softmax层，softmax层输出被追踪者出现的概率，若输出概率为1，则该图像帧为被追踪者图像帧。
进一步地，所述图像融合模块520包括小波变换图像融合子模块521、轮廓小波融合子模块522和尺度不变特征变换图像融合子模块523；
其中，小波变换图像融合子模块521具体用于分别用离散小波变换函数分解每张被追踪者图像得到源图像；基于模极大值融合算法对源图像对应的小波系数进行融合，得到融合图像；将融合后的图像进行小波反变换，得到基于小波变换的图像融合结果。
其中，轮廓小波融合子模块522具体用于分别用边缘轮廓变换函数分解每张被追踪者图像得到源图像，对源图像进行分解得到轮廓小波系数；比较分解得到的轮廓小波系数中高频系数，将高频系数最大值作为融合图像的高频系数；计算分解得到的轮廓小波系数中低频系数的均值，将低频系数的均值作为融合图像的低频系数；将融合图像的低频系数和高频系数构成融合图像的系数，对融合图像的系数进行轮廓小波融合反变换，得到基于轮廓小波融合方法的图像融合结果。
其中，尺度不变特征变换图像融合子模块523具体用于对两张被追踪者图像进行线性滤波，得到其对比度、方向和亮度特征显著图，并对对比度、方向和亮度特征显著图求交集，得到视觉显著区域、独有显著区域和公共显著区域；根据视觉显著区域、独有显著区域和公共显著区域的低频分量确定融合图像的融合系数；利用多尺度融合算法对融合系数进行多尺度反变换，重构出融合图像。
以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种图像融合质量检测方法，其特征在于，包括：
从视频图像的每一帧中查找被追踪者图像帧；
依据小波变换图像融合方法、轮廓小波融合方法和尺度不变特征变换图像融合方法分别对多张被追踪者图像进行图像融合；
根据融合结果分别计算信息熵，根据信息熵判定图像融合质量；
通过计算图像结果的信息熵，若信息熵越大则图像信息越丰富，融合质量越高，则对应的将信息熵最大的融合图像作为质量最优的融合图像，也即确定该融合图像所对应的融合方法在此视频图像中人物追踪效果最优；
其中，依据尺度不变特征变换图像融合方法对预处理后的多张被追踪者图像进行图像融合，具体包括如下子步骤：
对两张被追踪者图像进行线性滤波，得到其对比度、方向和亮度特征显著图，并对对比度、方向和亮度特征显著图求交集，得到视觉显著区域、独有显著区域和公共显著区域；其中，对比度特征显著图具体为利用高斯金字塔对源图像进行滤波，然后对滤波结果进行逐层求差法得到对比度特征显著点分布，对特征点显著分布应用熵阈值分割法得到对比度特征显著图；方向特征显著图具体为利用滤波器在多个方向对源图像进行滤波，将滤波结果加和得到源图像的方向特征点分布，然后对方向特征点分布应用熵阈值分割法生成方向特征显著图；亮度特征显著图具体为用均值滤波器对源图像进行平滑，以消除噪声和灰度突变影响，再对平滑后的图像应用熵阈值分割法生成源图像的亮度特征显著图；
根据视觉显著区域、独有显著区域和公共显著区域的低频分量确定融合图像的融合系数；具体地，对两源图像分割后得到的低频分量中每个点，如果该点对应的某一个源图像的独有显著区域为1，则确定融合图像为该张源图像对应的低频系数，如果该点对应的是公共显著区域，则取两张源图像的低频系数均值作为融合图像的低频系数，如果该点不属于任何显著区域，则计算两张图像的领域方差，方差越大则表示源图像在该点所属区域约丰富，将该点对应的源图像的低频系数作为融合图像的低频系数；
利用多尺度融合算法对融合系数进行多尺度反变换，重构出融合图像。
2.如权利要求1所述的图像融合质量检测方法，其特征在于，从视频图像的每一帧中查找被追踪者图像帧，具体为：
构建深度卷积神经网络模型；
从输入层开始，依次经过第一卷积层、第一深度卷积层、第二卷积层、第二深度卷积层、第三卷积层和第三深度卷积层；
将输出图像输入全局平均池化层和全连接层，达到softmax层，softmax层输出被追踪者出现的概率，若输出概率为1，则该图像帧为被追踪者图像帧。
3.如权利要求1所述的图像融合质量检测方法，其特征在于，依据小波变换图像融合方法对预处理后的多张被追踪者图像进行图像融合，具体包括如下子步骤：
分别用离散小波变换函数分解每张被追踪者图像得到源图像；
基于模极大值融合算法对源图像对应的小波系数进行融合，得到融合图像；
将融合后的图像进行小波反变换，得到基于小波变换的图像融合结果。
4.如权利要求1所述的图像融合质量检测方法，其特征在于，依据轮廓小波融合方法对预处理后的多张被追踪者图像进行图像融合，具体包括如下子步骤：
分别用边缘轮廓变换函数分解每张被追踪者图像得到源图像，对源图像进行分解得到轮廓小波系数；
比较分解得到的轮廓小波系数中高频系数，将高频系数最大值作为融合图像的高频系数；
计算分解得到的轮廓小波系数中低频系数的均值，将低频系数的均值作为融合图像的低频系数；
将融合图像的低频系数和高频系数构成融合图像的系数，对融合图像的系数进行轮廓小波融合反变换，得到基于轮廓小波融合方法的图像融合结果。
5.一种图像融合质量检测装置，其特征在于，包括：
被追踪者图像查找模块，用于从视频图像的每一帧中查找被追踪者图像帧；
图像融合模块，用于依据小波变换图像融合方法、轮廓小波融合方法和尺度不变特征变换图像融合方法分别对多张被追踪者图像进行图像融合；
基于信息熵的融合图像质量检测模块，用于根据融合结果分别计算信息熵，根据信息熵判定图像融合质量；
通过计算图像结果的信息熵，若信息熵越大则图像信息越丰富，融合质量越高，则对应的将信息熵最大的融合图像作为质量最优的融合图像，也即确定该融合图像所对应的融合方法在此视频图像中人物追踪效果最优；
其中，依据尺度不变特征变换图像融合方法对预处理后的多张被追踪者图像进行图像融合，具体包括如下子步骤：
对两张被追踪者图像进行线性滤波，得到其对比度、方向和亮度特征显著图，并对对比度、方向和亮度特征显著图求交集，得到视觉显著区域、独有显著区域和公共显著区域；其中，对比度特征显著图具体为利用高斯金字塔对源图像进行滤波，然后对滤波结果进行逐层求差法得到对比度特征显著点分布，对特征点显著分布应用熵阈值分割法得到对比度特征显著图；方向特征显著图具体为利用滤波器在多个方向对源图像进行滤波，将滤波结果加和得到源图像的方向特征点分布，然后对方向特征点分布应用熵阈值分割法生成方向特征显著图；亮度特征显著图具体为用均值滤波器对源图像进行平滑，以消除噪声和灰度突变影响，再对平滑后的图像应用熵阈值分割法生成源图像的亮度特征显著图；
根据视觉显著区域、独有显著区域和公共显著区域的低频分量确定融合图像的融合系数；具体地，对两源图像分割后得到的低频分量中每个点，如果该点对应的某一个源图像的独有显著区域为1，则确定融合图像为该张源图像对应的低频系数，如果该点对应的是公共显著区域，则取两张源图像的低频系数均值作为融合图像的低频系数，如果该点不属于任何显著区域，则计算两张图像的领域方差，方差越大则表示源图像在该点所属区域约丰富，将该点对应的源图像的低频系数作为融合图像的低频系数；
利用多尺度融合算法对融合系数进行多尺度反变换，重构出融合图像。
6.如权利要求5所述的图像融合质量检测装置，其特征在于，所述被追踪者图像查找模块，具体用于构建深度卷积神经网络模型；从输入层开始，依次经过第一卷积层、第一深度卷积层、第二卷积层、第二深度卷积层、第三卷积层和第三深度卷积层；将输出图像输入全局平均池化层和全连接层，达到softmax层，softmax层输出被追踪者出现的概率，若输出概率为1，则该图像帧为被追踪者图像帧。
7.如权利要求5所述的图像融合质量检测装置，其特征在于，所述图像融合模块包括小波变换图像融合子模块，所述小波变换图像融合子模块具体用于分别用离散小波变换函数分解每张被追踪者图像得到源图像；基于模极大值融合算法对源图像对应的小波系数进行融合，得到融合图像；将融合后的图像进行小波反变换，得到基于小波变换的图像融合结果。
8.如权利要求5所述的图像融合质量检测装置，其特征在于，所述图像融合模块包括轮廓小波融合子模块，所述轮廓小波融合子模块具体用于分别用边缘轮廓变换函数分解每张被追踪者图像得到源图像，对源图像进行分解得到轮廓小波系数；比较分解得到的轮廓小波系数中高频系数，将高频系数最大值作为融合图像的高频系数；计算分解得到的轮廓小波系数中低频系数的均值，将低频系数的均值作为融合图像的低频系数；将融合图像的低频系数和高频系数构成融合图像的系数，对融合图像的系数进行轮廓小波融合反变换，得到基于轮廓小波融合方法的图像融合结果。
CN202010310934.0A 2020-04-20 2020-04-20 一种图像融合质量检测方法及装置 Active CN111507968B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010310934.0A CN111507968B (zh) 2020-04-20 2020-04-20 一种图像融合质量检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010310934.0A CN111507968B (zh) 2020-04-20 2020-04-20 一种图像融合质量检测方法及装置

Publications (2)

Publication Number Publication Date
CN111507968A CN111507968A (zh) 2020-08-07
CN111507968B true CN111507968B (zh) 2021-12-24

Family

ID=71876218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010310934.0A Active CN111507968B (zh) 2020-04-20 2020-04-20 一种图像融合质量检测方法及装置

Country Status (1)

Country Link
CN (1) CN111507968B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789198B (zh) * 2024-02-28 2024-05-14 上海几何伙伴智能驾驶有限公司 基于4d毫米波成像雷达实现点云退化检测的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208103A (zh) * 2011-04-08 2011-10-05 东南大学 一种用于影像快速融合与评价的方法
CN106897999A (zh) * 2017-02-27 2017-06-27 江南大学 基于尺度不变特征变换的苹果图像融合方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441766B (zh) * 2008-11-28 2010-10-13 西安电子科技大学 基于多尺度几何分析的sar图像融合方法
US9652688B2 (en) * 2014-11-26 2017-05-16 Captricity, Inc. Analyzing content of digital images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208103A (zh) * 2011-04-08 2011-10-05 东南大学 一种用于影像快速融合与评价的方法
CN106897999A (zh) * 2017-02-27 2017-06-27 江南大学 基于尺度不变特征变换的苹果图像融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于图像融合的运动目标检测算法研究;张培恒;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200315;第2020年卷(第3期);摘要，正文第25-34页 *

Also Published As

Publication number Publication date
CN111507968A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN112819772B (zh) 一种高精度快速图形检测识别方法
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
Kim et al. Wavelet-based vehicle tracking for automatic traffic surveillance
CN112842348B (zh) 一种基于特征提取与深度学习的心电信号自动分类方法
CN110929635A (zh) 基于信任机制下面部交并比的假脸视频检测方法及系统
CN111507968B (zh) 一种图像融合质量检测方法及装置
Yousefi et al. A novel motion detection method using 3D discrete wavelet transform
CN116311212B (zh) 基于高速摄像机实现运动状态下的船号识别方法及装置
Choudhary et al. Enhancement in morphological mean filter for image denoising using glcm algorithm
Favorskaya et al. Intelligent inpainting system for texture reconstruction in videos with text removal
Widynski et al. A contrario edge detection with edgelets
CN111507969B (zh) 一种图像融合质量检测方法及装置
CN111507970B (zh) 一种图像融合质量检测方法及装置
Scharfenberger et al. Image saliency detection via multi-scale statistical non-redundancy modeling
Varkonyi-Koczy Fuzzy logic supported corner detection
Wang et al. Self-prior guided pixel adversarial networks for blind image inpainting
CN115035397A (zh) 一种基于水下移动目标识别方法、装置
Sekhar et al. Object based image splicing localization using block artificial grids
Koley et al. Single image visibility restoration using dark channel prior and fuzzy logic
Vijayakumar et al. Moving object segmentation using enhanced laplacian thresholding method for video surveillance
Kumar et al. Computationally Efficient Scaled Clustering for Perceptually Invisible Image Intensity Tuning
CN110992285B (zh) 一种基于分层神经网络的图像去雾方法
Tiwari et al. Blur Classification Using Wavelet Transform and Feed Forward Neural Network
ShabaniNia et al. Robust watershed segmentation of moving shadows using wavelets
Alzakki et al. Contour processing of texture Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211201

Address after: 518000 a4-1103, building a, Kexing Science Park, No. 15, Keyuan Road, Science Park community, Yuehai street, Nanshan District, Shenzhen, Guangdong

Applicant after: Shenzhen Keyao Technology Co.,Ltd.

Address before: 102400 no.18-d11961, Jianshe Road, Kaixuan street, Liangxiang, Fangshan District, Beijing

Applicant before: Beijing yingmaiqi Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant