CN113191424A - 一种基于多模型融合的彩色融合图像质量评价方法 - Google Patents
一种基于多模型融合的彩色融合图像质量评价方法 Download PDFInfo
- Publication number
- CN113191424A CN113191424A CN202110465445.7A CN202110465445A CN113191424A CN 113191424 A CN113191424 A CN 113191424A CN 202110465445 A CN202110465445 A CN 202110465445A CN 113191424 A CN113191424 A CN 113191424A
- Authority
- CN
- China
- Prior art keywords
- color
- image
- small
- fusion
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明设计了一种基于多模型融合的彩色融合图像质量评价方法,涉及图像评价技术领域。该方法包括利用LDA主题模型提取彩色融合图像的颜色整体特征;将彩色融合图像平均分割成小块图像,剔除含有热目标的小块图像;引入记忆色对小块图像的质量进行评价;将小块图像输入卷积神经网络;将颜色整体特征向量连接至卷积层学习到的特征向量后生成新的特征向量代入全连接层进行训练;得到一幅彩色融合图像的所有小块图像的质量分数之后进行平均池化,最终输出此幅彩色融合图像的质量分数。本发明无需大量数据,可以快速准确的评价彩色融合图像质量。
Description
技术领域
本发明涉及图像评价技术领域,尤其涉及一种基于多模型融合的彩色融合图像质量评价方法。
背景技术
可见光(微光)与红外彩色融合技术旨在用一张融合图像尽可能多的去表达多幅可见光图像和红外图像的信息,帮助观察者更快更准确的理解目标,在战场昼夜侦查、车辆夜间驾驶、安全监控等方面发挥着重要作用,然而不同的融合方法产生的融合图像效果是不同的,如何客观的对彩色融合图像质量进行评价成为一个亟待解决的问题。近年来,已经提出了许多方法对彩色融合图像的质量进行评估,这些方法主要分为三类:全参考方法、半参考方法和无参考方法。全参考方法通过对比待评价图像和参考图像的特征信息差异来对图像进行评价,半参考方法也要求有参考信息可以学习,而一般选取真彩色图像作为参考图像,但是在实际中,往往无法获得同一场景的彩色参考图像。无参考方法可以根据彩色融合图像本身的信息对图像质量进行评价,因此得到了广泛的认可和研究。但是由于彩色融合图像的无结构性、数据不足等问题,无参考方法往往难以取得理想的结果。
发明内容
针对现有技术中的不足,本发明的目的是提供一种基于多模型融合的彩色融合图像质量评价方法。
为了达到上述发明目的,本发明采用的技术方案为:
一种基于多模型融合的彩色融合图像质量评价方法,具体步骤如下:
步骤一、将彩色融合图像数据集随机分为训练集和测试集;
步骤二、利用LDA主题模型提取彩色融合图像的颜色整体特征;
步骤三、将彩色融合图像平均分割成小块图像,剔除含有热目标的小块图像;
步骤四、引入记忆色对小块图像的质量进行评价;
步骤五、将小块图像和颜色整体特征分别输入卷积神经网络模型进行训练,输出为小块图像的质量分数;
步骤六、得到彩色融合图像的所有小块图像的质量分数之后进行平均池化,最终输出此幅彩色融合图像的质量分数。
优选地,所述训练集和测试集中的图像数量占图像总数的百分比分别为80%和20%。
优选地,所述利用LDA主题模型提取彩色融合图像的颜色整体特征包括:
将彩色融合图像中的热目标进行标记,仅使用图像背景像素进行计算;
扫描彩色融合图像背景的每个像素点,将每个色标进行量化,生成量化后的颜色词,公式如下:
通过扫描量化后的颜色词生成规范化的颜色词库,通过规范化的颜色词库得到图像-颜色词矩阵和颜色词汇表;
优选地,所述引入记忆色对小块图像的质量进行评价包括:
将小块图像分为3类特定场景:海天、绿色植物和城镇建筑物,对3类特定场景的小块图像分别进行评价;
其中,N为小块图像区域内的像素总数;uk和vk为图像像素k在色度平面中的坐标;uc和vc为记忆色中的坐标;σu和σv为该类记忆色分布在和方向上的方差。对于海天和绿色植物等场景的小块分割图像,分别选择水和天空以及绿色植物的记忆色对应参数(水和天空:记忆色中心uc=0.16,vc=0.40,和方向上的方差σu=0.02,σv=0.06;绿色植物:记忆色中心uc=0.12,vc=0.52,和方向上的方差σu=0.03,σv=0.03)。
C=σab+0.94μc
其中,σa与σb分别为图像背景像素在CIELAB空间分布沿a*轴和b*轴的标准偏差,μc为像素彩度平均值。
其中,N为融合图像i分割出的小块图像数量;Si为融合图像i的主观评价分数。
优选地,所述将小块图像和颜色整体特征分别输入卷积神经网络模型进行训练包括:
对小块图像进行局部归一化处理,公式如下:
其中,i、j分别代表融合图像像素点的位置,μ、σ分别代表小块图像的均值和标准差,C是防止分母为0的常数,N代表小块图像区域内的像素总数。
卷积神经网络包含卷积层、池化层和全连接层,其中首个卷积层用于输入小块图像数据,末尾全连接层用于输出小块图像的质量分数;
将颜色整体特征连接至卷积层学习到的特征向量后生成新的特征向量代入全连接层进行训练。
本发明具有以下有益效果:本发明通过对彩色融合图像进行分割在一定程度上扩充了数据集;采用LDA主题模型提取彩色融合图像的颜色整体特征,表达了分割后小块图像像素之间的关联性;基于典型场景引入记忆色对分割后的小块图像质量进行了评价;利用卷积神经网络的表征学习能力学习小块图像的信息特征,得到彩色融合图像所有的小块图像的质量分数之后进行平均池化后输出彩色融合图像的质量分数;与现有方法相比,本发明无需大量的数据进行训练,而且评价准确率较高。
附图说明
图1为本发明的流程示意图;
图2为使用LDA提取颜色整体特征的流程示意图;
图3为卷积神经网络模型结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
请参照图1,本发明提供一种基于多模型融合的彩色融合图像质量评价方法,包括以下步骤:
1、将彩色融合图像数据集随机分为训练集和测试集;
彩色融合图像数据集分别从海天、绿色植物和城镇建筑物三类场景中采集图像,采用8种不同的可见光和红外彩色融合算法生成数据集,一对红外图像和可见光源图像使用8种融合算法生成的彩色融合图像为一组,每类场景包含50组实验图像,3种典型场景共150组,1200幅评价图像;训练集包含960幅彩色融合图像,测试集包含240幅彩色融合图像。
2、采用LDA提取颜色整体特征;
如图2所示,将彩色融合图像中的热目标进行标记,仅使用背景图像像素进行计算;扫描每张彩色融合图像背景的每个像素点,将每个色标进行量化,生成量化后的颜色词,公式如下:
通过扫描量化后的颜色词生成规范化的颜色词库,通过规范化的颜色词库得到图像-颜色词矩阵和颜色词汇表;设定颜色主题数量为K,对每个颜色主题k(k∈{1,2,…,K})计算一个多项式颜色主题分布其中Dir()代表狄利克雷分布,β代表狄利克雷参数;生成一个颜色主题矩阵其中,矩阵大小为V×K,V代表颜色词数量,矩阵元素表示给定主题k中颜色词v的概率;计算融合图像i的颜色主题分布其中代表狄利克雷参数,代表融合图像i中主题k的概率;采用吉布斯算法利用训练集中被量化的颜色词汇迭代计算出每个主题分布和每张图像的参数θi。
3、引入记忆色进行局部质量评价;
将彩色融合图像平均分割成小块图像,分割尺寸为32×32,剔除含有热目标的小块图像;将小块图像分为3类特定场景:海天、绿色植物和城镇建筑物,对3类特定场景的小块图像分别进行评价;
其中,N为小块图像区域内的像素总数;uk和vk为图像像素k在色度平面中的坐标;uc和vc为记忆色中的坐标;σu和σv为该类记忆色分布在和方向上的方差。对于海天和绿色植物等场景的小块分割图像,分别选择水和天空以及绿色植物的记忆色对应参数(水和天空:记忆色中心uc=0.16,vc=0.40,和方向上的方差σu=0.02,σv=0.06;绿色植物:记忆色中心uc=0.12,vc=0.52,和方向上的方差σu=0.03,σv=0.03)。
C=σab+0.94μc
其中,σa与σb分别为图像背景像素在CIELAB空间分布沿a*轴和b*轴的标准偏差,μc为像素彩度平均值。
4、将小块图像输入至卷积神经网络模型进行训练;
对小块图像进行局部归一化处理,公式如下:
其中,i、j分别代表融合图像像素点的位置,μ、σ分别代表小块图像的均值和标准差,C是防止分母为0的常数,N代表小块图像区域内的像素总数。
如图3所示,卷积神经网络包含卷积层、池化层和全连接层;其中首个卷积层用于输入小块图像,末尾全连接层用于输出小块图像的质量分数,两个卷积核大小均为5×5,深度分别为50和64,步长均为2;将LDA主题模型学习到的融合图像的颜色整体特征向量连接至卷积层学习到的特征向量后生成新的特征向量代入全连接层进行训练。
本发明使用ReLU作为激活函数,公式如下:
采用随机梯度下降调整模型参数,损失函数如下:
其中,N为每批样本的训练数量,f(n)为小块图像n的预测分数,yn是由记忆色得到的小块图像n的质量分数。
得到彩色融合图像的所有小块图像的质量分数之后进行平均池化,最终输出此幅彩色融合图像的质量分数。
综上,本发明在评价彩色融合图像质量时取得了较好的效果。
上述实施例仅用于说明本发明,其中各方法的实施步骤等都是可以有所变化的,凡是在本发明技术方案的基础上进行的等同变换和改进,均不应排除在本发明的保护范围之外。
Claims (10)
1.一种基于多模型融合的彩色融合图像质量评价方法,其特征在于,包含如下步骤:
步骤一、将彩色融合图像数据集随机分为训练集和测试集;
步骤二、利用LDA主题模型提取彩色融合图像的颜色整体特征;
步骤三、将彩色融合图像平均分割成小块图像,剔除含有热目标的小块图像;
步骤四、引入记忆色对小块图像的质量进行评价;
步骤五、将小块图像和颜色整体特征分别输入卷积神经网络模型进行训练,输出为小块图像的质量分数;
步骤六、得到彩色融合图像的所有小块图像的质量分数之后进行平均池化,最终输出彩色融合图像的质量分数。
2.根据权利要求1所述的一种基于多模型融合的彩色融合图像质量评价方法,其特征在于:所述步骤一中训练集和测试集中的图像数量占图像总数的百分比分别为80%和20%。
3.根据权利要求1所述的一种基于多模型融合的彩色融合图像质量评价方法,其特征在于,所述步骤二中利用LDA主题模型提取彩色融合图像的颜色整体特征包括:将彩色融合图像中的热目标进行标记,仅使用图像背景像素进行计算。
4.根据权利要求1所述的一种基于多模型融合的彩色融合图像质量评价方法,其特征在于,所述步骤四中引入记忆色对小块图像的质量进行评价包括:将小块图像分为3类特定场景:海天、绿色植物和城镇建筑物,对3类特定场景的小块图像分别进行评价。
5.根据权利要求4所述的一种基于多模型融合的彩色融合图像质量评价方法,其特征在于,对于海天和绿色植物等场景的彩色融合图像,采用色度平面中的坐标系中坐标偏差的双变量高斯概率密度函数定义融合图像i中小块图像j的质量分数权重公式如下:
9.根据权利要求1所述的一种基于多模型融合的彩色融合图像质量评价方法,其特征在于:所述步骤五中卷积神经网络包含卷积层、池化层和全连接层;其中首个卷积层用于输入小块图像数据,末尾全连接层用于输出小块图像的标签。
10.根据权利要求1所述的一种基于多模型融合的彩色融合图像质量评价方法,其特征在于:所述步骤五中将小块图像和颜色整体特征分别输入卷积神经网络模型进行训练包括将颜色整体特征连接至卷积层学习到的特征向量后生成新的特征向量代入全连接层进行训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110465445.7A CN113191424A (zh) | 2021-04-28 | 2021-04-28 | 一种基于多模型融合的彩色融合图像质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110465445.7A CN113191424A (zh) | 2021-04-28 | 2021-04-28 | 一种基于多模型融合的彩色融合图像质量评价方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113191424A true CN113191424A (zh) | 2021-07-30 |
Family
ID=76979730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110465445.7A Pending CN113191424A (zh) | 2021-04-28 | 2021-04-28 | 一种基于多模型融合的彩色融合图像质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113191424A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663745A (zh) * | 2012-03-23 | 2012-09-12 | 北京理工大学 | 一种基于视觉任务的彩色融合图像质量评价方法 |
CN102800111A (zh) * | 2012-07-19 | 2012-11-28 | 北京理工大学 | 基于颜色协调性的彩色融合图像颜色质量评价方法 |
CN107633513A (zh) * | 2017-09-18 | 2018-01-26 | 天津大学 | 基于深度学习的3d图像质量的度量方法 |
CN108289221A (zh) * | 2018-01-17 | 2018-07-17 | 华中科技大学 | 异常值检测的无参考图像质量评价模型及构建方法 |
CN108510485A (zh) * | 2018-03-27 | 2018-09-07 | 福州大学 | 一种基于卷积神经网络的无参照图像质量评估方法 |
CN110163855A (zh) * | 2019-05-17 | 2019-08-23 | 武汉大学 | 一种基于多路深度卷积神经网络的彩色图像质量评价方法 |
CN110246111A (zh) * | 2018-12-07 | 2019-09-17 | 天津大学青岛海洋技术研究院 | 基于融合图像和强化图像的无参考立体图像质量评价方法 |
CN112164056A (zh) * | 2020-09-30 | 2021-01-01 | 南京信息工程大学 | 基于交互式卷积神经网络的无参考立体图像质量评价方法 |
-
2021
- 2021-04-28 CN CN202110465445.7A patent/CN113191424A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663745A (zh) * | 2012-03-23 | 2012-09-12 | 北京理工大学 | 一种基于视觉任务的彩色融合图像质量评价方法 |
CN102800111A (zh) * | 2012-07-19 | 2012-11-28 | 北京理工大学 | 基于颜色协调性的彩色融合图像颜色质量评价方法 |
CN107633513A (zh) * | 2017-09-18 | 2018-01-26 | 天津大学 | 基于深度学习的3d图像质量的度量方法 |
CN108289221A (zh) * | 2018-01-17 | 2018-07-17 | 华中科技大学 | 异常值检测的无参考图像质量评价模型及构建方法 |
CN108510485A (zh) * | 2018-03-27 | 2018-09-07 | 福州大学 | 一种基于卷积神经网络的无参照图像质量评估方法 |
CN110246111A (zh) * | 2018-12-07 | 2019-09-17 | 天津大学青岛海洋技术研究院 | 基于融合图像和强化图像的无参考立体图像质量评价方法 |
CN110163855A (zh) * | 2019-05-17 | 2019-08-23 | 武汉大学 | 一种基于多路深度卷积神经网络的彩色图像质量评价方法 |
CN112164056A (zh) * | 2020-09-30 | 2021-01-01 | 南京信息工程大学 | 基于交互式卷积神经网络的无参考立体图像质量评价方法 |
Non-Patent Citations (8)
Title |
---|
ANISH MITTAL等: "Blind Image Quality Assessment Without Human Training Using Latent Quality Factors", 《IEEE SIGNAL PROCESSING LETTERS》 * |
LILI GAO等: "Blind Image Quality Assessment Model Based on Deep Convolutional Neural Network", 《2018 IEEE 3RD INTERNATIONAL CONFERENCE ON CLOUD COMPUTING AND INTERNET OF THINGS (CCIOT)》 * |
任波波: "通用型无参考图像质量评价算法的研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
尹渺源: "人脸图像的光照和清晰度质量无参考评价及应用", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
金伟其等: "彩色融合图像的质量主观评价", 《光学 精密工程》 * |
陈慧等: "深度卷积神经网络的立体彩色图像质量评价", 《计算机科学与探索》 * |
高立发: "无参考图像质量评价方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
高绍姝等: "可见光与红外彩色融合图像感知清晰度评价模型", 《光谱学与光谱分析》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108647742B (zh) | 基于轻量级神经网络的快速目标检测方法 | |
CN110837870B (zh) | 基于主动学习的声呐图像目标识别方法 | |
CN108230278B (zh) | 一种基于生成对抗网络的图像去雨滴方法 | |
CN110956187A (zh) | 一种基于集成学习的无人机影像植物冠层信息提取方法 | |
CN114663346A (zh) | 一种基于改进YOLOv5网络的带钢表面缺陷检测方法 | |
CN111161244B (zh) | 基于FCN+FC-WXGBoost的工业产品表面缺陷检测方法 | |
CN110751644B (zh) | 道路表面裂纹检测方法 | |
CN111242026B (zh) | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 | |
CN113269224B (zh) | 一种场景图像分类方法、系统及存储介质 | |
CN110969171A (zh) | 基于改进卷积神经网络的图像分类模型、方法及应用 | |
CN110909657A (zh) | 一种隧道表观病害图像识别的方法 | |
CN111666852A (zh) | 一种基于卷积神经网络的微表情双流网络识别方法 | |
CN111178438A (zh) | 一种基于ResNet101的天气类型识别方法 | |
CN111652273A (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
CN114463843A (zh) | 一种基于深度学习的多特征融合鱼类异常行为检测方法 | |
CN116342536A (zh) | 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备 | |
CN115239672A (zh) | 缺陷检测方法及装置、设备、存储介质 | |
CN114998251A (zh) | 一种基于联邦学习的空中多视觉平台地面异常检测方法 | |
CN111222545A (zh) | 基于线性规划增量学习的图像分类方法 | |
CN113516652A (zh) | 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备 | |
CN109741313B (zh) | 独立成分分析和卷积神经网络的无参考图像质量评价方法 | |
CN117011515A (zh) | 基于注意力机制的交互式图像分割模型及其分割方法 | |
CN113191424A (zh) | 一种基于多模型融合的彩色融合图像质量评价方法 | |
CN111259913A (zh) | 一种基于词袋模型和纹理特征的细胞光谱图像分类方法 | |
CN110796716A (zh) | 一种基于多重残差网络和正则化迁移学习的图像着色方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210730 |