CN116091403A - 一种彩色夜视融合图像质量主客观评价方法 - Google Patents

一种彩色夜视融合图像质量主客观评价方法 Download PDF

Info

Publication number
CN116091403A
CN116091403A CN202211518404.0A CN202211518404A CN116091403A CN 116091403 A CN116091403 A CN 116091403A CN 202211518404 A CN202211518404 A CN 202211518404A CN 116091403 A CN116091403 A CN 116091403A
Authority
CN
China
Prior art keywords
quality
evaluation
night vision
subjective
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211518404.0A
Other languages
English (en)
Other versions
CN116091403B (zh
Inventor
倪潇
孙士明
高绍姝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202211518404.0A priority Critical patent/CN116091403B/zh
Publication of CN116091403A publication Critical patent/CN116091403A/zh
Application granted granted Critical
Publication of CN116091403B publication Critical patent/CN116091403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供了一种彩色夜视融合图像质量主客观评价方法，属于图像评价技术领域，该彩色夜视融合图像质量主客观评价方法提出一种新的动态参考和多刺激比较相结合的主观评价方法，基于评价实验特性的加权灰色关联分析方法用于分析单一指标与综合指标之间的关联度，将得到的训练集输入到GA‑SVM模型进行训练得到融合图像基于“目标探测”、“场景理解”两个综合质量预测模型。该评价方法，属于图像评价技术领域，能够解决现有质量评价方法只能通过区分融合图像的综合感知质量将图像划分，人眼主观评分存在较大的偏差，质量评价的准确率和效率非常低的问题；同时还能够解决现有评价方法中数据库图像缺乏代表性，图像质量分布不均匀的问题。

Description

一种彩色夜视融合图像质量主客观评价方法
技术领域
本发明属于图像评价技术领域，具体而言，涉及一种彩色夜视融合图像质量主客观评价方法。
背景技术
红外与微光相机是两种典型的夜视图像传感器。微光图像具有丰富的细节特征，但容易受到诸如天气之类的外部环境因素干扰。红外相机成像原理是将热能转换成图像显示，具有更好的热对比度，并且几乎不受天气和光照等因素干扰，但是对于场景的细节特征保留较差。为充分利用这两种图像的成像特点，很多学者研究了将红外与微光图像融合的方法，并广泛应用于夜视图像领域。基于人眼能够区分几千种颜色的这一特性，研究人员研究出彩色融合技术，将可见光和红外图像融合为伪彩色图像，该算法可以增强图像的细节信息，并保留不同传感器的独有信息。
但是目前并没有一种统一的彩色夜视融合图像的质量评估方法，大部分使用的质量评价方法只能通过区分融合图像的综合感知质量将图像划分，与人眼主观评分存在较大的偏差，图像质量评价的准确率和效率非常低；同时现有评价方法中数据库图像缺乏代表性，图像质量分布不均匀。
发明内容
有鉴于此，本发明提供一种彩色夜视融合图像质量主客观评价方法，能够解决现有质量评价方法只能通过区分融合图像的综合感知质量将图像划分，与人眼主观评分存在较大的偏差，质量评价的准确率和效率非常低的问题；同时还能够解决现有评价方法中数据库图像缺乏代表性，图像质量分布不均匀的问题。
本发明是这样实现的：
本发明提供一种彩色夜视融合图像质量主客观评价方法，其中，具体步骤包括：
S10：确定彩色夜视融合图像质量评价人员、质量评价实验条件以及质量评价评分标准；
S20：对需要评价的彩色夜视融合图像进行预处理，得到质量分布均匀的彩色夜视融合图像测试序列；
S30：对于选定的彩色夜视融合图像测试序列采用动态参考与多刺激连续质量评价结合的主观评价方法对其进行质量评价，评价人员根据确定的质量评价评分标准分别给出关于“目标清晰度”、“目标背景对比度”、“背景清晰度”、“信息一致性”、“颜色协调性”五个单一指标和“目标可探测性”、“场景可理解性”两个综合指标的质量得分；
S40：将上述彩色夜视融合图像质量评价的测试数据进行预处理，建立带有质量分数的彩色夜视融合图像库；
S50：将上述彩色夜视融合图像的不同指标质量分数进行灰色关联度分析，采用机器学习的方法建立基于“目标探测”、“场景理解”两个视觉任务的图像综合感知质量预测模型。
在上述技术方案的基础上，本发明的一种彩色夜视融合图像质量主客观评价方法还可以做如下改进:
其中，所述步骤S20中采用主客观相结合的方法对需要评价的彩色夜视融合图像进行预处理，其中客观评价是利用信息熵(En)、标准差(SD)、互信息(MI)、融合质量(Qabf)、视觉保真度(VIF)和空间频率(SF)6个客观指标将得到的图像质量分数进行模糊加权并产生质量排序，主观评价则是由专门研究融合图像质量评价的专家经过经验判断并剔除质量相近或质量太差的图像。
其中，所述S30中对彩色夜视融合图像质量主观评价的动态参考法的具体步骤是从融合的彩色图像中等质量间隔的选取图像创建参考序列，参考序列中需包含所有的场景类型，将创建好的参考序列在屏幕上等间隔时间播放，使观察者确定数据集内总体质量变化；
所述S30中对彩色夜视融合图像质量主观评价的多刺激比较法的具体步骤为在评价页面展示红外和可见光两幅源图像及其对应的16种彩色融合图像，观察者首先拖动图像按照质量递减的方式对图像进行排序，随后根据主观评价标准在0-100范围内对图像评分，评价时采用拖动滑动条的方式，减少分数对主观判断的影响。
其中，所述步骤S40中将彩色夜视融合图像质量评价的测试数据进行预处理，建立带有质量分数的彩色夜视融合图像库的具体操作步骤包括：
首先计算所有图像的平均主观得分(MOS)：
Figure BDA0003972674020000031
式中，MOSq表示所有图像的平均主观得分，N代表观察者人数，mpq是第p个受试者在不同指标下对第q幅图像评价的分数；再根据3σ原则识别并剔除异常值，其中σ计算如下：
Figure BDA0003972674020000041
若得分超出MOS的3σ区域，则该得分被消除，然后使用新的数据组再次计算MOS，重复上述过程，直到不涉及异常值。
其中，所述步骤S50是利用灰色关联分析得出单一指标与综合指标之间关联度；在实验过程中发现同一指标的评价过程观察者在前期的集中程度明显高于后期，在前期赋予图像质量较高的权重以增加关联度分析的准确性，根据关联度选取影响“目标探测”、“场景理解”的关键因素，将所述训练集输入所述GA-SVM模型进行训练得到两个综合质量模型。
进一步，所述S50中建立基于“目标探测”、“场景理解”两个视觉任务的图像综合感知质量预测模型的具体操作步骤包括：
第一步：将预处理后的数据利用加权灰色关联分析得出单一指标与综合指标之间关联度，分析影响“目标可探测性”、“场景可识别性”综合指标的关键影响因素；
第二步：根据灰色关联度分析构造综合指标与单一指标关系数据集，并分为训练集与测试集；
第三步：利用遗传算法对SVM进行参数寻优，将最优参数带入SVM中，输入所述指标训练集进行模型求解。
进一步，所述加权灰色关联分析的具体步骤包括：
首先确定综合指标为母序列Y，单一指标为子序列X，分别记为：
y＝[y1，y2，...，ym]T
Figure BDA0003972674020000051
式中，m为参与主观评价的图像数量，n为单一指标个数，对数据进行均值归一化处理：
Figure BDA0003972674020000052
Figure BDA0003972674020000053
式中，yk为第k幅图像综合指标质量分数，xki为第k幅图像在第i个单一指标下的质量分数，计算综合指标与单一指标序列的两级最大差和两级最小差：
两级最大差为：
Figure BDA0003972674020000054
两级最小差为：
Figure BDA0003972674020000055
定义分辨系数和关联度公式：
Figure BDA0003972674020000056
式中，ρ为分辨系数，一般取0.5，根据评价时间“近大远小”原则定义指标j的第k幅图像在不同时间t下的纵向加权为：
wkj(t)＝1-[t-t0」*0.1
式中，t0为初始时刻，t为当前时刻，单位为小时；根据评价时间的推移权重线性递减，计算关联度：
Figure BDA0003972674020000061
进一步，对上述灰色关联分析的分析结果利用GA-SVM建立目标探测和场景理解综合感知质量预测模型。
进一步，所述GA-SVM客观质量评价模型的具体实施步骤如下：
第一步，将标准化处理后的单一指标的质量分数作为输入集，综合指标的质量分数作为输出集，从而构建出质量预测模型：
fu(Y)＝fu(x1，x2，...，xv)
式中u表示第u个综合质量指标，v为影响该综合质量指标的单一指标个数，并划分训练集和测试集；
第二步，编码和种群初始化：采用二进制编码法将支持向量机的核函数参数γ和惩罚因子C表示成具有遗传特性的基因型数据，并随机产生初始种群；
第三步，GA停止优化判断：计算个体适应度，适应度值越大的越容易被保留；并对种群进行选择、交叉、变异，迭代直至100次停止，得到优化参数；
第四步，SVM预测精度判断：将得到的优化参数应用到SVM数据预测器进行实验测试，判断是否符合期望精度，若未达到，则转第三步。
第五步，利用训练好的GA-SVM模型对测试集进行数据预测。
其中，所述步骤S10中针对彩色夜视系统中使用群体的特点，确定的彩色夜视融合图像质量评价人员的年龄范围为20～46，评价人员的数量为30人；为避免环境光影响，整个质量评价实验过程在暗室中进行，利用经过标定和特性化的LCD液晶显示器显示实验图像；评分为百分制，为便于观察者对0～100分图像质量标准有更直观理解，进一步每隔20分划分为优、良、中、差、劣五个等级，针对不同评价指标的评价标准进行具体说明。
与现有技术相比较，本发明提供的一种彩色夜视融合图像质量主客观评价方法的有益效果是：提出一种新的动态参考和多刺激比较相结合的主观评价方法，基于评价实验特性的加权灰色关联分析方法用于分析单一指标与综合指标之间的关联度，将得到的训练集输入到GA-SVM模型进行训练得到融合图像基于“目标探测”、“场景理解”两个综合质量预测模型，充分考虑影响图像综合质量的评价指标，在降低观察者评价疲劳的情况下，选取“目标清晰度”、“目标背景对比度”、“背景清晰度”、“信息一致性”、“颜色协调性”五个关键评价指标构建具体视觉任务的综合质量评价模型，能够解决现有质量评价方法只能通过区分融合图像的综合感知质量将图像划分，与人眼主观评分存在较大的偏差，质量评价的准确率和效率非常低的问题；采用主客观相结合的方法对图像库进行预处理，能够解决现有评价方法中数据库图像缺乏代表性，图像质量分布不均匀的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种彩色夜视融合图像综合质量评价方法的步骤流程图；
图2为本发明提供的动态参考与多刺激比较相结合的图像主观评价方法的整体界面图；
图3为目标探测和场景识别灰色关联度图；
图4为本发明提供的GA-SVM模型流程图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1所示，是本发明提供的一种彩色夜视融合图像质量主客观评价方法的第一实施例，在本实施例中，本发明提供一种彩色夜视融合图像质量主客观评价方法，其中，具体步骤包括：
S10：确定彩色夜视融合图像质量评价人员、质量评价实验条件以及质量评价评分标准；
S20：对需要评价的彩色夜视融合图像进行预处理，得到质量分布均匀的彩色夜视融合图像测试序列；
S30：对于选定的彩色夜视融合图像测试序列采用动态参考与多刺激连续质量评价结合的主观评价方法对其进行质量评价，评价人员根据确定的质量评价评分标准分别给出关于“目标清晰度”、“目标背景对比度”、“背景清晰度”、“信息一致性”、“颜色协调性”五个单一指标和“目标可探测性”、“场景可理解性”两个综合指标的质量得分；
S40：将上述彩色夜视融合图像质量评价的测试数据进行预处理，建立带有质量分数的彩色夜视融合图像库；
S50：将上述彩色夜视融合图像的不同指标质量分数进行灰色关联度分析，采用机器学习的方法建立基于“目标探测”、“场景理解”两个视觉任务的图像综合感知质量预测模型。
其中，在上述技术方案中，步骤S20中采用主客观相结合的方法对需要评价的彩色夜视融合图像进行预处理，其中客观评价是利用信息熵(En)、标准差(SD)、互信息(MI)、融合质量(Qabf)、视觉保真度(VIF)和空间频率(SF)6个客观指标将得到的图像质量分数进行模糊加权并产生质量排序，主观评价则是由专门研究融合图像质量评价的专家经过经验判断并剔除质量相近或质量太差的图像。
其中，EN和MI从信息论的角度评估融合性能，SD从统计学角度反映融合图像的分布和对比度，Qabf利用局部度量估计显著信息在融合图像中表现程度，VIF从人类视觉系统的角度评估融合图像的信息保真度，SF测量融合图像中包含的空间频率信息，由En、SD、MI、Qabf、VIF、SF客观指标对16幅融合图像得到的质量分数并不能完整的反映图像总体质量变化，因此将其模糊处理表示为模糊矩阵R：
Figure BDA0003972674020000101
式中，z为所选融合图像的数量，给En、SD、MI、Qabf、VIF、SF客观指标添加适当的权重向量A：
A＝{0.1,0.1,0.1,0.3,0.2,0.2}
每幅图像最终的质量排序分数为Y：
Y＝R×A
其中，信息熵用来描述信源的不确定度；标准差是总体各单位标准值与其平均数离差平方的算术平均数的平方根；互信息表示两个随机变量的互信息或转移信息是变量间相互依赖性的量度；融合质量评价方法应以简单、合理、准确并符合人类视觉系统(HVS)特性为标准；视觉保真度是一种评估影像品质的方法,为基于自然场景统计和由人类视觉系统提取影像信号的概念的图像质量评估参数；空间频率是指每度视角内图象或刺激图形的亮暗作正弦调制的栅条周数,单位是周/度。
其中，在上述技术方案中，S30中对彩色夜视融合图像质量主观评价的动态参考法的具体步骤是从融合的彩色图像中等质量间隔的选取图像创建参考序列，参考序列中需包含所有的场景类型，将创建好的参考序列在屏幕上等间隔时间播放，使观察者确定数据集内总体质量变化；
S30中对彩色夜视融合图像质量主观评价的多刺激比较法的具体步骤为在评价页面展示红外和可见光两幅源图像及其对应的16种彩色融合图像，观察者首先拖动图像按照质量递减的方式对图像进行排序，随后根据主观评价标准在0-100范围内对图像评分，评价时采用拖动滑动条的方式，减少分数对主观判断的影响。
其中，在上述技术方案中，步骤S40中将彩色夜视融合图像质量评价的测试数据进行预处理，建立带有质量分数的彩色夜视融合图像库的具体操作步骤包括：
首先计算所有图像的平均主观得分(MOS)：
Figure BDA0003972674020000111
式中，MOSq表示所有图像的平均主观得分，N代表观察者人数，mpq是第p个受试者在不同指标下对第q幅图像评价的分数。再根据3σ原则识别并剔除异常值，其中σ计算如下：
Figure BDA0003972674020000121
若得分超出MOS的3σ区域，则该得分被消除，然后使用新的数据组再次计算MOS，重复上述过程，直到不涉及异常值。
其中，在上述技术方案中，步骤S50是利用灰色关联分析得出单一指标与综合指标之间关联度；在实验过程中发现同一指标的评价过程观察者在前期的集中程度明显高于后期，在前期赋予图像质量较高的权重以增加关联度分析的准确性，根据关联度选取影响“目标探测”、“场景理解”的关键因素，将所述训练集输入所述GA-SVM模型进行训练得到两个综合质量模型。
其中，在上述技术方案中，S50中建立基于“目标探测”、“场景理解”两个视觉任务的图像综合感知质量预测模型的具体操作步骤包括：
第一步：将预处理后的数据利用加权灰色关联分析得出单一指标与综合指标之间关联度，分析影响“目标可探测性”、“场景可识别性”综合指标的关键影响因素；
第二步：根据灰色关联度分析构造综合指标与单一指标关系数据集，并分为训练集与测试集；
第三步：利用遗传算法对SVM进行参数寻优，将最优参数带入SVM中，输入所述指标训练集进行模型求解。
进一步，所述加权灰色关联分析的具体步骤包括：
首先确定综合指标为母序列Y，单一指标为子序列X，分别记为：
Y＝[y1，y2，...，ym]T
Figure BDA0003972674020000131
式中，m为参与主观评价的图像数量，n为单一指标个数；对数据进行均值归一化处理：
Figure BDA0003972674020000132
Figure BDA0003972674020000133
式中，yk为第k幅图像综合指标质量分数，xki为第k幅图像在第i个单一指标下的质量分数，计算综合指标与单一指标序列的两级最大差和两级最小差：
两级最大差为：
Figure BDA0003972674020000134
两级最小差为：
Figure BDA0003972674020000135
定义分辨系数和关联度公式：
Figure BDA0003972674020000136
式中，ρ为分辨系数，一般取0.5，根据评价时间“近大远小”原则定义指标j的第k幅图像在不同时间t下的纵向加权为：
wkj(t)＝1-[t-t0]*0.1
式中，t0为初始时刻，t为当前时刻，单位为小时；根据评价时间的推移权重线性递减，计算关联度：
Figure BDA0003972674020000141
其中，归一化处理目的是使得预处理的数据被限定在一定的范围内(比如[0,1]或者[-1,1])，从而消除奇异样本数据导致的不良影响。
其中，在上述技术方案中，对上述灰色关联分析的分析结果利用GA-SVM建立目标探测和场景理解综合感知质量预测模型。
其中，在上述技术方案中，GA-SVM客观质量评价模型的具体实施步骤如下：
第一步，将标准化处理后的单一指标的质量分数作为输入集，综合指标的质量分数作为输出集，从而构建出质量预测模型：
fu(Y)＝fu(x1,x2,…,xv)
式中u表示第u个综合质量指标，v为影响该综合质量指标的单一指标个数，并划分训练集和测试集；
第二步，编码和种群初始化：采用二进制编码法将支持向量机的核函数参数γ和惩罚因子C表示成具有遗传特性的基因型数据，并随机产生初始种群；
第三步，GA停止优化判断：计算个体适应度，适应度值越大的越容易被保留；并对种群进行选择、交叉、变异，迭代直至100次停止，得到优化参数；
第四步，SVM预测精度判断：将得到的优化参数应用到SVM数据预测器进行实验测试，判断是否符合期望精度，若未达到，则转第三步。
第五步，利用训练好的GA-SVM模型对测试集进行数据预测。
其中，在上述技术方案中，步骤S10中针对彩色夜视系统中使用群体的特点，确定的彩色夜视融合图像质量评价人员的年龄范围为20～46，评价人员的数量为30人；为避免环境光影响，整个质量评价实验过程在暗室中进行，利用经过标定和特性化的LCD液晶显示器显示实验图像；评分为百分制，为便于观察者对0～100分图像质量标准有更直观理解，进一步每隔20分划分为优、良、中、差、劣五个等级，针对不同评价指标的评价标准进行具体说明。
其中，针对所述步骤S10中所述的七种质量指标的评价标准具体说明见表1、2、3、4、5、6、7。
表1目标清晰度评价标准
Figure BDA0003972674020000151
表2目标背景对比度评价标准
Figure BDA0003972674020000152
Figure BDA0003972674020000161
表3背景清晰度评价标准
Figure BDA0003972674020000162
表4信息一致性评价标准
Figure BDA0003972674020000163
表5颜色协调性评价标准
Figure BDA0003972674020000164
Figure BDA0003972674020000171
表6目标可探测性评价标准
Figure BDA0003972674020000172
表7场景可理解性评价标准
Figure BDA0003972674020000173
具体的，本发明的原理是：提出一种新的动态参考和多刺激比较相结合的主观评价方法，基于评价实验特性的加权灰色关联分析方法用于分析单一指标与综合指标之间的关联度，将得到的训练集输入到GA-SVM模型进行训练得到融合图像基于“目标探测”、“场景理解”两个综合质量预测模型，充分考虑影响图像综合质量的评价指标，在降低观察者评价疲劳的情况下，选取“目标清晰度”、“目标背景对比度”、“背景清晰度”、“信息一致性”、“颜色协调性”五个关键评价指标构建具体视觉任务的综合质量评价模型。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种彩色夜视融合图像质量主客观评价方法，其特征在于，具体步骤包括：
S10：确定彩色夜视融合图像质量评价人员、质量评价实验条件以及质量评价评分标准；
S20：对需要评价的彩色夜视融合图像进行预处理，得到质量分布均匀的彩色夜视融合图像测试序列；
S30：对于选定的彩色夜视融合图像测试序列采用动态参考与多刺激连续质量评价结合的主观评价方法对其进行质量评价，评价人员根据确定的质量评价评分标准分别给出关于“目标清晰度”、“目标背景对比度”、“背景清晰度”、“信息一致性”、“颜色协调性”五个单一指标和“目标可探测性”、“场景可理解性”两个综合指标的质量得分；
S40：将上述彩色夜视融合图像质量评价的测试数据进行预处理，建立带有质量分数的彩色夜视融合图像库；
S50：将上述彩色夜视融合图像的不同指标质量分数进行灰色关联度分析，采用机器学习的方法建立基于“目标探测”、“场景理解”两个视觉任务的图像综合感知质量预测模型。
2.根据权利要求1所述的一种彩色夜视融合图像质量主客观评价方法，其特征在于，所述步骤S20中采用主客观相结合的方法对需要评价的彩色夜视融合图像进行预处理，其中客观评价是利用信息熵(En)、标准差(SD)、互信息(MI)、融合质量(Qabf)、视觉保真度(VIF)和空间频率(SF)6个客观指标将得到的图像质量分数进行模糊加权并产生质量排序，主观评价则是由专门研究融合图像质量评价的专家经过经验判断并剔除质量相近或质量太差的图像。
3.根据权利要求1所述的一种彩色夜视融合图像质量主客观评价方法，其特征在于，所述S30中对彩色夜视融合图像质量主观评价的动态参考法的具体步骤是从融合的彩色图像中等质量间隔的选取图像创建参考序列，参考序列中需包含所有的场景类型，将创建好的参考序列在屏幕上等间隔时间播放，使观察者确定数据集内总体质量变化；
所述S30中对彩色夜视融合图像质量主观评价的多刺激比较法的具体步骤为在评价页面展示红外和可见光两幅源图像及其对应的16种彩色融合图像，观察者首先拖动图像按照质量递减的方式对图像进行排序，随后根据主观评价标准在0-100范围内对图像评分，评价时采用拖动滑动条的方式，减少分数对主观判断的影响。
4.根据权利要求1所述的一种彩色夜视融合图像质量主客观评价方法，其特征在于，所述步骤S40中将彩色夜视融合图像质量评价的测试数据进行预处理，建立带有质量分数的彩色夜视融合图像库的具体操作步骤包括：
首先计算所有图像的平均主观得分(MOS)：
Figure FDA0003972674010000021
式中，MOSq表示所有图像的平均主观得分，N代表观察者人数，mpq是第p个受试者在不同指标下对第q幅图像评价的分数；再根据3σ原则识别并剔除异常值，其中σ计算如下：
Figure FDA0003972674010000031
若得分超出MOS的3σ区域，则该得分被消除，然后使用新的数据组再次计算MOS，重复上述过程，直到不涉及异常值。
5.根据权利要求1所述的一种彩色夜视融合图像质量主客观评价方法，其特征在于，所述步骤S50是利用灰色关联分析得出单一指标与综合指标之间关联度；在实验过程中发现同一指标的评价过程观察者在前期的集中程度明显高于后期，在前期赋予图像质量较高的权重以增加关联度分析的准确性，根据关联度选取影响“目标探测”、“场景理解”的关键因素，将所述训练集输入所述GA-SVM模型进行训练得到两个综合质量模型。
6.根据权利要求5所述的一种彩色夜视融合图像质量主客观评价方法，其特征在于，所述S50中建立基于“目标探测”、“场景理解”两个视觉任务的图像综合感知质量预测模型的具体操作步骤包括：
第一步：将预处理后的数据利用加权灰色关联分析得出单一指标与综合指标之间关联度，分析影响“目标可探测性”、“场景可识别性”综合指标的关键影响因素；
第二步：根据灰色关联度分析构造综合指标与单一指标关系数据集，并分为训练集与测试集；
第三步：利用遗传算法对SVM进行参数寻优，将最优参数带入SVM中，输入所述指标训练集进行模型求解。
7.根据权利要求6所述的一种彩色夜视融合图像质量主客观评价方法，其特征在于，所述加权灰色关联分析的具体步骤包括：
首先确定综合指标为母序列Y，单一指标为子序列X，分别记为：
Y＝[y1,y2,…,ym]T
Figure FDA0003972674010000041
式中，Y为母序列，X为子序列，m为参与主观评价的图像数量，n为单一指标个数，对数据进行均值归一化处理：
Figure FDA0003972674010000042
Figure FDA0003972674010000043
式中，yk为第k幅图像综合指标质量分数，xki为第k幅图像在第i个单一指标下的质量分数，计算综合指标与单一指标序列的两级最大差和两级最小差：
两级最大差为：
Figure FDA0003972674010000044
两级最小差为：
Figure FDA0003972674010000045
定义分辨系数和关联度公式：
Figure FDA0003972674010000051
式中，ρ为分辨系数，一般取0.5，根据评价时间“近大远小”原则定义指标j的第k幅图像在不同时间t下的纵向加权为：
Figure FDA0003972674010000053
式中，t0为初始时刻，t为当前时刻，单位为小时；根据评价时间的推移权重线性递减，计算关联度：
Figure FDA0003972674010000052
8.根据权利要求7所述的一种彩色夜视融合图像质量主客观评价方法，其特征在于，对上述灰色关联分析的分析结果利用GA-SVM建立目标探测和场景理解综合感知质量预测模型。
9.根据权利要求8所述的一种彩色夜视融合图像质量主客观评价方法，其特征在于，所述GA-SVM客观质量评价模型的具体实施步骤如下：
第一步，将标准化处理后的单一指标的质量分数作为输入集，综合指标的质量分数作为输出集，从而构建出质量预测模型：
fu(Y)＝fu(x1,x2,…,xv)
式中u表示第u个综合质量指标，v为影响该综合质量指标的单一指标个数，并划分训练集和测试集；
第二步，编码和种群初始化：采用二进制编码法将支持向量机的核函数参数γ和惩罚因子C表示成具有遗传特性的基因型数据，并随机产生初始种群；
第三步，GA停止优化判断：计算个体适应度，适应度值越大的越容易被保留；并对种群进行选择、交叉、变异，迭代直至100次停止，得到优化参数；
第四步，SVM预测精度判断：将得到的优化参数应用到SVM数据预测器进行实验测试，判断是否符合期望精度，若未达到，则转第三步；
第五步，利用训练好的GA-SVM模型对测试集进行数据预测。
10.根据权利要求1所述的一种彩色夜视融合图像质量主客观评价方法，其特征在于，所述步骤S10中针对彩色夜视系统中使用群体的特点，确定的彩色夜视融合图像质量评价人员的年龄范围为20～46，评价人员的数量为30人；为避免环境光影响，整个质量评价实验过程在暗室中进行，利用经过标定和特性化的LCD液晶显示器显示实验图像；评分为百分制，为便于观察者对0～100分图像质量标准有更直观理解，进一步每隔20分划分为优、良、中、差、劣五个等级，针对不同评价指标的评价标准进行具体说明。
CN202211518404.0A 2022-11-30 2022-11-30 一种彩色夜视融合图像质量主客观评价方法 Active CN116091403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211518404.0A CN116091403B (zh) 2022-11-30 2022-11-30 一种彩色夜视融合图像质量主客观评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211518404.0A CN116091403B (zh) 2022-11-30 2022-11-30 一种彩色夜视融合图像质量主客观评价方法

Publications (2)

Publication Number Publication Date
CN116091403A true CN116091403A (zh) 2023-05-09
CN116091403B CN116091403B (zh) 2024-04-26

Family

ID=86212701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211518404.0A Active CN116091403B (zh) 2022-11-30 2022-11-30 一种彩色夜视融合图像质量主客观评价方法

Country Status (1)

Country Link
CN (1) CN116091403B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132169A (zh) * 2023-10-20 2023-11-28 国网智能科技股份有限公司 电力人工智能模型调用评价方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150350629A1 (en) * 2014-06-03 2015-12-03 Applied Minds, Llc Color night vision cameras, systems, and methods thereof
CN109166131A (zh) * 2018-09-29 2019-01-08 西安工业大学 红外与可见光融合的汽车夜视抗晕光图像分割及评价方法
CN109523513A (zh) * 2018-10-18 2019-03-26 天津大学 基于稀疏重建彩色融合图像的立体图像质量评价方法
US10582133B1 (en) * 2014-12-09 2020-03-03 Maranon, Inc. Optical assembly for superimposing images from two or more sources
CN113436167A (zh) * 2021-06-25 2021-09-24 湖南工商大学 基于深度学习和视觉感知的无参考彩色图像质量评价方法
CN114862736A (zh) * 2022-05-31 2022-08-05 中国人民解放军陆军工程大学 超大视场红外微光图像自然感彩色融合方法、设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150350629A1 (en) * 2014-06-03 2015-12-03 Applied Minds, Llc Color night vision cameras, systems, and methods thereof
US10582133B1 (en) * 2014-12-09 2020-03-03 Maranon, Inc. Optical assembly for superimposing images from two or more sources
CN109166131A (zh) * 2018-09-29 2019-01-08 西安工业大学 红外与可见光融合的汽车夜视抗晕光图像分割及评价方法
CN109523513A (zh) * 2018-10-18 2019-03-26 天津大学 基于稀疏重建彩色融合图像的立体图像质量评价方法
CN113436167A (zh) * 2021-06-25 2021-09-24 湖南工商大学 基于深度学习和视觉感知的无参考彩色图像质量评价方法
CN114862736A (zh) * 2022-05-31 2022-08-05 中国人民解放军陆军工程大学 超大视场红外微光图像自然感彩色融合方法、设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘志伟等: "用于夜间视频监控的自动多传感器彩色视频融合", 《第十五届全国信号和智能信息处理与应用学术会议论文集》, 30 December 2021 (2021-12-30), pages 450 - 454 *
高绍姝等: "Quality assessment for visible and infrared color fusion images of typical scenes", 《CHINESE OPTICS LETTERS》, vol. 10, no. 8, 10 August 2012 (2012-08-10), pages 22 - 26 *
高绍姝等: "基于场景理解的双波段彩色融合图像质量评价", 《红外与激光工程》, vol. 43, no. 1, 31 January 2014 (2014-01-31), pages 300 - 305 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132169A (zh) * 2023-10-20 2023-11-28 国网智能科技股份有限公司 电力人工智能模型调用评价方法及系统

Also Published As

Publication number Publication date
CN116091403B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN108090902B (zh) 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法
CN102422324B (zh) 年龄估计设备和方法
CN102740114B (zh) 一种视频主观质量的无参评估方法
CN108874959A (zh) 一种基于大数据技术的用户动态兴趣模型建立方法
Cadik et al. Evaluation of two principal approaches to objective image quality assessment
CN116091403B (zh) 一种彩色夜视融合图像质量主客观评价方法
CN108537166A (zh) 确定货架浏览量以及分析浏览量的方法和装置
CN103096122A (zh) 基于感兴趣区域内运动特征的立体视觉舒适度评价方法
CN114066857A (zh) 红外图像质量评价方法、装置、电子设备及可读存储介质
CN109788275A (zh) 自然性、结构和双目不对称无参考立体图像质量评价方法
Zhou et al. Utilizing binocular vision to facilitate completely blind 3D image quality measurement
Lin et al. Large-scale crowdsourced subjective assessment of picturewise just noticeable difference
CN109598681A (zh) 一种对称唐卡修复后图像的无参考质量评价方法
CN109464122A (zh) 基于多模态数据的个体核心特质预测系统及方法
CN109891519A (zh) 信息处理装置、信息处理方法和程序
CN117348831B (zh) 液晶显示屏的画面调校方法及系统
CN109003259B (zh) 基于纹线质量专家视觉认知机器学习的指纹质量评价方法
CN110751170A (zh) 面板质量检测方法、系统、终端设备及计算机可读介质
CN110400307A (zh) 一种基于区域差异的屏幕图像质量评估方法
CN117338234A (zh) 一种屈光度与视力联合检测方法
Weir et al. Determination of the just noticeable difference (JND) in trunk posture perception
CN110251076A (zh) 融合视觉注意力基于对比度的显著性检测方法及装置
Liu et al. Image recognition and extraction of students’ human motion features based on graph neural network
CN115345488A (zh) 一种湿地生态系统服务评估方法、装置、服务器及介质
CN108932532A (zh) 一种针对视频显著性图预测所需的眼动数据数目建议方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant