CN113554597B - 一种基于脑电特征的图像质量评价方法及装置 - Google Patents

一种基于脑电特征的图像质量评价方法及装置 Download PDF

Info

Publication number
CN113554597B
CN113554597B CN202110700519.0A CN202110700519A CN113554597B CN 113554597 B CN113554597 B CN 113554597B CN 202110700519 A CN202110700519 A CN 202110700519A CN 113554597 B CN113554597 B CN 113554597B
Authority
CN
China
Prior art keywords
score
image
label
network
electroencephalogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110700519.0A
Other languages
English (en)
Other versions
CN113554597A (zh
Inventor
段一平
胡舒展
陶晓明
马鑫
陆建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110700519.0A priority Critical patent/CN113554597B/zh
Publication of CN113554597A publication Critical patent/CN113554597A/zh
Application granted granted Critical
Publication of CN113554597B publication Critical patent/CN113554597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychology (AREA)
  • Power Engineering (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请提供了一种基于脑电特征的图像质量评价方法及装置，涉及图像领域、计算机领域和生物神经科学领域，旨在反映用户真实感知的情况下进行图像质量评价。所述方法包括：获取待评价图像；将所述待评价图像输入分数预测网络，获得由所述分数预测网络输出的图像质量分数；其中，所述分数预测网络是以多个第一图像样本为训练样本、并以所述每个第一图像样本的标签质量分数为标签，对预设分数预测网络进行训练得到的；其中，一个图像样本的标签质量分数为训练完成的标签分数网络针对该图像样本所输出的，所述标签分数网络的训练样本为多个携带客观质量等级的第二图像样本以及所述第二图像样本各自对应的脑电信号。

Description

一种基于脑电特征的图像质量评价方法及装置
技术领域
本申请涉及图像领域、计算机领域和生物神经科学领域，特别是涉及一种基于脑电特征的图像质量评价方法及装置。
背景技术
对于图像视频通信系统，图像视频质量评价有重要意义，能够根据评价结果优化通信资源分配，对编解码、传输、终端显示设备适配等方面有指导作用，提升用户体验。
现有的图像质量评价方法可分为客观质量评价和主观质量评价，面向人的图像视频通信需要考虑人的真实感知，因此用户的真实感知是一个非常重要的评价指标。人类的视觉感知对某些失真是不敏感的，对于一些失真图像，人类并不能感知到失真，因此客观质量评价不能很好地反映人的真实感知。相关的主观评价方法，例如平均意见得分(MeanOpinion Score,MOS)，用户的评分操作可能受到外部因素的影响，因此MOS对由人类认知活动引起的偏差非常敏感，具有方差大、耗时长、主观性、精度低等缺点。
发明内容
鉴于上述问题，本发明实施例提供了一种基于脑电特征的图像质量评价方法及装置，以便克服上述问题或者至少部分地解决上述问题。
本发明实施例的第一方面，提供了一种基于脑电特征的图像质量评价方法，所述方法包括：
获取待评价图像；
将所述待评价图像输入分数预测网络，获得由所述分数预测网络输出的图像质量分数；
其中，所述分数预测网络是以多个第一图像样本为训练样本、并以所述每个第一图像样本的标签质量分数为标签，对预设分数预测网络进行训练得到的；
其中，一个图像样本的标签质量分数为训练完成的标签分数网络针对该图像样本所输出的，所述标签分数网络的训练样本为多个携带客观质量等级的第二图像样本以及所述第二图像样本各自对应的脑电信号。
可选地，所述方法还包括：
以所述多个携带客观质量等级的第二图像样本以及所述多个第二图像样本各自对应的脑电信号，对预设标签分数网络进行训练，得到所述标签分数网络；
将所述多个第一图像样本对应的脑电信号输入所述标签分数网络，得到所述多个第一图像样本的标签质量分数；
以所述多个第一图像样本为训练样本、并以每个第一图像样本的标签质量分数为标签，对所述预设分数预测网络进行训练，得到所述分数预测网络。
可选地，以所述多个携带客观质量等级的第二图像样本以及所述多个第二图像样本各自对应的脑电信号，对预设标签分数网络进行训练，得到所述标签分数网络，包括：
获得所述多个携带客观质量等级的第二图像样本以及所述多个第二图像样本各自对应的脑电信号；
将所述多段脑电信号成对输入所述预设标签分数网络的孪生模块，得到所述成对的脑电信号对应的成对的脑电特征向量；
计算所述每对脑电特征向量之间的第一距离；
通过所述第一距离以及所述每对脑电特征向量对应的图像的客观质量等级的异同情况，建立第一损失函数；
以最小化相同客观质量等级的图像对应的脑电特征向量之间的第一距离且最大化不同客观质量等级的图像对应的脑电特征向量之间的第一距离为目标，基于所述第一损失函数对所述预设标签分数网络进行训练，得到所述标签分数网络。
可选地，获得所述多个携带客观质量等级的第二图像样本以及所述多个第二图像样本各自对应的脑电信号，包括：
对多张原始图像进行不同程度的有损压缩，得到每张原始图像对应的多张携带客观质量等级的压缩图像；
将所述多张原始图像和所述多张压缩图像，组成所述携带客观质量等级的第二图像样本；
采集用户观看所述第二图像样本时的脑电信号。
可选地，将所述多段脑电信号成对输入所述预设标签分数网络的孪生模块，得到所述成对的脑电信号对应的成对的脑电特征向量之前，包括：
对所述多段脑电信号进行预处理，包括：
加载脑电信号，定位电极；
采用TP9和TP10电极对所述脑电信号进行重参考；
删除重参考后的脑电信号中的无效信号，得到基础脑电信号；
对所述基础脑电信号进行4-40HZ的带通滤波；
提取有效时间段内的所述滤波后的基础脑电信号，得到时间有效脑电信号；
将所述时间有效脑电信号划分成多段，得到多段脑电信号；
采用独立成分分析，提取所述多段脑电信号中的成分有效脑电信号；
对所述成分有效脑电信号中的其他噪声信号进行去噪，得到预处理后的脑电信号。
可选地，所述第一损失函数采用对比损失函数，通过以下公式得到：
其中，L表示所述第一损失函数，d表示所述每对脑电特征向量的第一距离，m是预先设定好的阈值，N表示同时输入预设特征提取网络的脑电信号数量。
可选地，将所述多个第一图像样本对应的脑电信号输入所述标签分数网络，得到所述多个第一图像样本的标签质量分数，包括：
采集用户观看所述第一图像样本时的各脑电信号；
将所述各脑电信号输入所述标签分数网络，其中，所述标签分数网络中包含预设脑电信号的特征；
计算所述各脑电信号的特征和所述预设脑电信号的特征之间的第二距离；
根据所述第二距离，确定所述各脑电信号对应的多个第一图像样本中的标签质量分数。
可选地，以所述多个第一图像样本为训练样本、并以每个第一图像样本的标签质量分数为标签，对所述预设分数预测网络进行训练，得到所述分数预测网络，包括：
将所述多个第一图像样本输入到所述预设分数预测网络；
通过所述预设分数预测网络的特征提取模块，提取所述各第一图像样本的图像特征；
通过所述预设分数预测网络的全连接层，提取所述各图像特征的图像特征向量；
通过所述预设分数预测网络的分数映射模块，预测所述各图像特征向量对应的各图像的图像质量预测分数；
根据所述各图像的图像质量预测分数与所述各图像的标签质量分数之间的分数差，建立第二损失函数；
以最小化所述分数差为目标，基于所述第二损失函数对所述预设分数预测网络进行训练，得到所述分数预测网络。
可选地，所述第二损失函数采用平方损失函数，通过以下公式得到：
其中，Lscore表示所述第二损失函数，Sp表示所述图像质量预测分数，St表示所述标签质量分数，N表示同时输入所述预设分数预测网络的图像数量，i＝1,2,……n。
本发明实施例的第二方面，提供了一种基于脑电特征的图像质量评价装置，所述装置包括：
图像获取模块，用于获取待评价图像；
分数输出模块，用于将所述待评价图像输入分数预测网络，获得由所述分数预测网络输出的图像质量分数；
其中，所述分数预测网络是以多个第一图像样本为训练样本、并以所述每个第一图像样本的标签质量分数为标签，对预设分数预测网络进行训练得到的；
其中，一个图像样本的标签质量分数为训练完成的标签分数网络针对该图像样本所输出的，所述标签分数网络的训练样本为多个携带客观质量等级的第二图像样本以及所述第二图像样本各自对应的脑电信号。
本发明实施例包括以下优点：
本实施例中，可以获取待评价图像；将所述待评价图像输入分数预测网络，获得由所述分数预测网络输出的图像质量分数；其中，所述分数预测网络是以多个第一图像样本为训练样本、并以所述每个第一图像样本的标签质量分数为标签，对预设分数预测网络进行训练得到的；其中，一个图像样本的标签质量分数为训练完成的标签分数网络针对该图像样本所输出的，所述标签分数网络的训练样本为多个携带客观质量等级的第二图像样本以及所述第二图像样本各自对应的脑电信号。如此，标签分数网络是通过脑电信号训练得到的，通过标签分数网络得到的标签质量分数可以真实反映用户对图像质量的感知，因而可以提高对图像质量判定的准确度；分数预测网络是以标签分数网络得到的标签质量分数为标签进行训练得到的，因此通过分数预测网络得到的图像质量分数，可以综合用户对于图像质量的真实感知，在图像的客观质量情况下，得到图像的图像质量分数。相对于直接通过脑电信号来评价图像质量的方法，能够解决脑电信号获取条件严苛、不便于在实际应用中使用的问题；相对于只根据图像特征来评价图像质量的方法，能够使得到的图像质量分数更加真实反映用户的感知；具有便于使用、准确度量用户的感知的优点。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中一种基于脑电特征的图像质量评价方法的步骤流程图；
图2是本发明实施例中得到分数预测网络的方法步骤流程图；
图3是本发明实施例中预设标签分数网络的示意框图；
图4是本申请实施例中对脑电信号进行预处理的步骤示意图；
图5是本发明实施例中预设分数预测网络的示意框图；
图6是本发明实施例中一种基于脑电特征的图像质量评价装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
脑电图(Electroencephalography,EEG)可以捕捉到大脑底层的早期神经信号，具有耗时短、趋同性、定量化、精度高等特点。通过对脑电信号的挖掘和学习，可以发现与图像质量评价相关的重要区域和重要的反应机制。但脑电信号的使用条件严苛，在一般条件下很难采集到有效的脑电信号。
为解决相关技术中的图像质量评价方法精度不高、不能很好地反映用户的感知等问题，申请人提出：以通过脑电信号得到的标签质量分数为标签，训练分数预测网络，以使分数预测网络在反映图像的客观质量情况下，综合用户的真实感知，从而得到便于使用、准确度量用户的感知的图像质量分数。
参照图1所示，示出了本发明实施例中一种基于脑电特征的图像质量评价方法的步骤流程图，如图1所示，该基于脑电特征的图像质量评价方法具体可以包括以下步骤：
步骤S110：获取待评价图像。
待评价图像可以是视频帧、动画帧、普通图像等各种图像。
步骤S120：将所述待评价图像输入分数预测网络，获得由所述分数预测网络输出的图像质量分数；其中，所述分数预测网络是以多个第一图像样本为训练样本、并以所述每个第一图像样本的标签质量分数为标签，对预设分数预测网络进行训练得到的；其中，一个图像样本的标签质量分数为训练完成的标签分数网络针对该图像样本所输出的，所述标签分数网络的训练样本为多个携带客观质量等级的第二图像样本以及所述第二图像样本各自对应的脑电信号。
分数预测网络包括特征提取模块、全连接层、分数映射模块。将待评价图像输入分数预测网络后，特征提取模块用于提取输入的待评价图像的图像特征，全连接层用于提取图像特征的图像特征向量，分数映射模块用于确定图像特征向量对应的待评价图像的图像质量分数。
采用本申请实施例的技术方案，训练分数预测网络的标签是由通过脑电信号训练得到的标签分数网络得到的，因此通过分数预测网络得到的图像质量分数，是综合了用户对于图像质量的真实感知的，因而可以提高对图像质量判定的准确度；并且使用训练好的分数预测网络时，不需要再采集脑电信号，因此也不需要满足使用脑电信号时的严苛的条件。如此，具有便于使用，且能准确度量用户的真实感知的优点。
参照图2所示，示出了本发明实施例中得到分数预测网络的方法步骤流程图，如图2所示，该方法具体可以包括以下步骤：
步骤S210：以所述多个携带客观质量等级的第二图像样本以及所述多个第二图像样本各自对应的脑电信号，对预设标签分数网络进行训练，得到所述标签分数网络。
标签分数网络是以多个携带客观质量等级的第二图像样本以及多个第二图像样本各自对应的脑电信号对预设标签分数网络训练得到的，脑电信号可以反映用户的真实感知，因此，训练完成的标签分数网络输出的标签质量分数也可以反映用户的真实感知。
步骤S220：将所述多个第一图像样本对应的脑电信号输入所述标签分数网络，得到所述多个第一图像样本的标签质量分数。
多个第一图像样本的标签质量分数是以多个第一图像样本对应的脑电信号为标签分数网络的输入得到的，标签分数网络输出的标签质量分数可以真实反映用户的感知，因此得到的多个第一图像样本的标签质量分数也可以真实反映用户的感知。
步骤S230：以所述多个第一图像样本为训练样本、并以每个第一图像样本的标签质量分数为标签，对所述预设分数预测网络进行训练，得到所述分数预测网络。
多个第一图像样本的标签质量分数可以真实反映用户的感知，因此以每个第一图像样本的标签质量分数为标签对预设分数预测网络进行训练，得到的分数预测网络输出的图像质量评价分数也可以真实反映用户的感知。
采用本申请实施例的技术方案，通过训练完成的分数预测网络得到的图像质量评价分数，可以真实反映用户的感知，因而可以提高对图像质量判定的准确度。
参照图3所示，示出了本发明实施例中预设标签分数网络的示意框图，结合图3，以所述多个携带客观质量等级的第二图像样本以及所述多个第二图像样本各自对应的脑电信号，对预设标签分数网络进行训练，得到所述标签分数网络，可以包括以下步骤：
步骤S310：获得所述多个携带客观质量等级的第二图像样本以及所述多个第二图像样本各自对应的脑电信号。
步骤S310可以包括子步骤S311、子步骤S312。
子步骤S311：对多张原始图像进行不同程度的有损压缩，得到每张原始图像对应的多张携带客观质量等级的压缩图像，以所述多张携带客观质量等级的压缩图像为所述携带客观质量等级的第二图像样本。
多张原始图像可以采用公开的人脸图像数据集中的图像，使用JPEG方法等有损压缩方法，对多张原始图像进行有损压缩，可以得到每张原始图像对应的一组压缩图像，每组压缩图像中包含100张被压缩程度彼此不同的压缩图像。此处采用的有损压缩方式，相当于对图像进行质量退化处理。
每张有损压缩后的图像，都携带一个客观质量等级，该客观质量等级和被压缩程度成反比。设定每张原始图像和被压缩程度为0％的图像的客观质量等级都为100，被压缩程度为100％的图像的客观质量等级为1。因此每组压缩图像的客观质量等级范围从1到100。
选取每组压缩图像中客观质量等级为1、12、20、28、36、52、100的压缩图像，作为携带客观质量等级的第二图像样本。可以理解的是，客观质量等级为1、12、20、28、36、52、100的压缩图像，只是一种优选实施例，也可以采用其他客观质量等级的压缩图像作为第二图像样本。
子步骤S312：采集用户观看所述第二图像样本时的脑电信号。
以第二图像样本为刺激，对用户进行视力测试后，进行一组预采集，使用户熟悉采集过程。
在正式的采集过程中，一个采集包括4个部分：一个灰色屏幕(B1)、原始图像(O)、每组压缩图像(C)和另一个带有问题的灰色屏幕(B2)。灰度屏B1显示500ms，而原始图像O和压缩图像C分别显示1200ms。带有问题B2的灰色屏幕将一直保留，直到用户按下按键。
在采集过程中，用户被要求注视屏幕的中心，每一组(B1、O、C、B2)轮流呈现。每组呈现后，用户通过按下按键，反馈是否观察到压缩图像。在一个采集过程中，有10个试次，在每个试次中，5张原始图像的7个客观质量等级的压缩图像随机向被试者呈现一次。每名用户的采集过程共包含1-4个采集组，即对于一名用户，每个压缩图像共展示10-40次。根据这样的方法，构建了脑电数据集。
在上述采集过程中，用脑电帽采集用户的脑电信号，可以得到多段脑电信号。每段脑电信号与携带客观质量等级的第二图像样本中的图像相对应。
步骤S320：将所述多段脑电信号成对输入所述预设标签分数网络的孪生模块，得到所述成对的脑电信号对应的成对的脑电特征向量。
将多段脑电信号中的每任意两段脑电信号，成对输入预设标签分数网络的孪生模块。通过孪生模块可以提取到成对输入的脑电信号对应的成对的脑电特征向量。如此，可以提取到多对成对的脑电特征向量。
孪生模块之间共享权重，孪生模块的每一支采用脑电信号处理领域中较为有效的EEGNet(基于脑电图的神经网络)，本发明实施例中使用的EEGNet包括卷积层、深度卷积层和可分离卷积层，首先使用了4个尺寸为(1,250)的二维卷积核提取时间维度特征，之后针对每个特征图，使用2个尺寸为(61,1)的深度卷积核提取通道维度特征，之后使用尺寸为(1,16)的深度卷积核和8个尺寸为(1,1)的点卷积核进行特征提取。
可选地，设脑电信号为X(c,t)，其中c表示脑电信号的通道序号，t表示时间，脑电特征F能够通过孪生模块G获得，三者的关系为：
F＝G(X(c，t))
步骤S330：计算所述每对脑电特征向量之间的第一距离。
可以采用余弦相似性来计算每对脑电特征之间的第一距离，公式如下：
其中，Dcos表示通过余弦相似性计算得到的所述每对脑电特征向量之间的第一距离；a为所述每对脑电特征向量中的其中一个n维向量，a＝[a1，a2，...，an]；b为所述每对脑电特征向量中的另一个n维向量，b＝[b1，b2，...，bn]，i＝1,2,……n。。
可选地，还可以采用欧式距离或者其它方法来计算每对脑电特征向量之间的第一距离。
客观质量等级相差大的图像对应的脑电特征向量之间的距离也应该越大，客观质量等级相差小的图像对应的脑电特征向量之间的距离也应该越小。
步骤S340：通过所述第一距离以及所述每对脑电特征向量对应的图像的客观质量等级的异同情况，建立第一损失函数。
异同情况为异，表明两个脑电特征向量对应的图像的客观质量等级不同；异同情况为同，表明两个脑电特征向量对应的图像的客观质量等级相同。根据所述第一距离以及两个脑电特征向量对应的图像的客观质量等级是否相同，建立第一损失函数。
可选地，第一损失函数可以采用对比损失函数，通过以下公式得到：
其中，L表示所述第一损失函数，d表示所述每对脑电特征向量的第一距离，m是预先设定好的阈值，N表示同时输入预设特征提取网络的脑电信号数量。
预设标签分数网络的归一化模块，输入为所述第一距离，输出归一化后的结果，可以作为每对脑电特征向量对应的图像的质量分数之间的分数差。
步骤S350：以最小化相同客观质量等级的图像对应的脑电特征向量之间的第一距离且最大化不同客观质量等级的图像对应的脑电特征向量之间的第一距离为目标，基于所述第一损失函数对所述预设标签分数网络进行训练，得到所述标签分数网络。
客观质量等级相差大的图像对应的脑电特征向量之间的距离也应该越大，客观质量等级相差小的图像对应的脑电特征向量之间的距离也应该越小。以最小化相同客观质量等级的图像对应的脑电特征向量之间的第一距离且最大化不同客观质量等级的图像对应的脑电特征向量之间的第一距离为目标，基于第一损失函数，对预设标签分数网络进行训练，直到满足预设条件，停止训练，得到标签分数网络。预设条件包括训练结果收敛或者满足预设训练次数。
采用本申请实施例的技术方案，构建了多个携带客观质量等级的第二图像样本，采集了第二图像样本各自对应的脑电信号，以多个携带客观质量等级的第二图像样本和第二图像样本各自对应的脑电信号，训练预设标签分数网络，得到了训练完成的标签分数网络。
可选地，作为一个实施例，在将所述多段脑电信号成对输入所述预设标签分数网络的孪生模块，得到所述成对的脑电信号对应的成对的脑电特征向量之前，可以对所述多段脑电信号进行预处理。参照图4所示，示出了本发明实施例中对脑电信号进行预处理的步骤示意图，如图4所示，包括：
步骤S410：加载脑电信号，定位电极。
脑电帽中会在人体多个电极位置进行信号采集，加载脑电信号，导入头皮位置信息，定位电极。
步骤S420：采用TP9和TP10电极对所述脑电信号进行重参考。
TP9和TP10电极为人体左右耳垂的电极，以TP9和TP10电极作为参考电极，以两个电极电位的平均值作为脑电信号的重参考。
步骤S430：删除重参考后的脑电信号中的无效信号，得到基础脑电信号。
脑电信号中具有冗余的脑电信号和坏导采集的无用信号，统称为无效信号。删除重参考后的脑电信号中的无效信号，得到基础脑电信号。
步骤S440：对所述基础脑电信号进行4-40HZ的带通滤波。
使用截止频率为4Hz的高通滤波器和截止频率为40Hz的低通滤波器对信号进行滤波处理。
步骤S450：提取有效时间段内的所述滤波后的基础脑电信号，得到时间有效脑电信号。
在采集过程中，是将原始图像和对应的不同质量分数的压缩图像轮流显示，先显示原始图像再显示一个压缩图像，然后用户需要回答是否观察到了图像失真。有效时间段是指每张压缩图像出现之前的300ms，以及每张压缩图像出现之后的1200ms。
步骤S460：将所述时间有效脑电信号划分成多段，得到多段脑电信号。
将时间有效脑电信号划分成多段，对于每个用户，可以得到350-1400段脑电信号。
步骤S470：采用独立成分分析，提取所述多段脑电信号中的成分有效脑电信号。
采集到的脑电信号可以看做是来自各种独立来源的混合信号，如眼球运动信号、肌肉运动信号和采集的电路噪声等，干扰的信号被认为是线性的。因此，采用独立成分分析，提取多段脑电信号中的成分有效脑电信号。
步骤S480：对所述成分有效脑电信号中的其他噪声信号进行去噪，得到预处理后的脑电信号。
对成分有效脑电信号外的其他噪声信号进行去噪，去除眼电、肌电和其他噪声的干扰，得到预处理后的脑电信号。
上述各预处理步骤，可以根据实际情况，具有不同的选择和顺序。以预处理后的脑电信号进行预设标签分数网络的训练，能够提高训练结果的准确性。相应地，本实施例的对脑电信号进行预处理的方法，不仅适用于对输入预设标签分数网络的脑电信号进行预处理，也适用于对输入标签分数网络的脑电信号进行预处理。
每名用户每个通道的脑电信号实际上是一段跟随时间变化的电位值，设脑电信号为Xi，j，k(c，t)，其中i表示用户的序号，j表示图像的压缩程度序号，k表示每个压缩程度的采集试次序号。c和t分别表示脑电信号的通道序号和时间序号。因此对于压缩程度j的人脸图像，用户i的脑电信号的事件相关电位(Event-related potential,ERP)可由下式计算：
因此，对于压缩等级j的图像，对于所有的用户的脑电信号，平均ERP值为：
ERP能够反映人脑对图像质量退化的响应，Oz、O1、O2和CPz电极覆盖了与人脑视觉感知相关的脑区，因此脑电信号分析过程中，选择这些电极来计算ERP。其中O表示人脑枕叶区域，P表示人脑顶叶区域，数字后缀奇数表示人脑左半球区域，偶数表示人脑右半球区域，z表示人脑中间区域，CPz表示Cz和Pz的中间区域。P300特征，一种出现在目标刺激呈现后300ms之后的典型ERP，被用来计算验证本发明采集的脑电信号的有效性。
为了对预设分数预测网络进行训练得到分数预测网络，需要获取第一图像样本的标签质量分数。第一图像样本的标签质量分数，可以通过训练完成的标签分数网络得到。
可选地，作为一个实施例，将所述多个第一图像样本对应的脑电信号输入所述标签分数网络，得到所述多个第一图像样本的标签质量分数，包括以下步骤：
步骤S510：采集用户观看所述第一图像样本时的各脑电信号。
采集用户观看第一图像样本时的各脑电信号的方法，可以参照采集用户观看第二图像样本时的脑电信号的方法。
步骤S520：将所述各脑电信号输入所述标签分数网络，其中，所述标签分数网络中包含预设脑电信号的特征。
对采集到的各脑电信号进行预处理后，将预处理后的各脑电信号输入标签分数网络中的孪生模块的一支中。
标签分数网络中的孪生模块的另一支，包含的是预设的脑电信号的特征。预设的脑电信号的特征对应的图像的客观质量等级是确定的，一般选择客观质量等级为100的图像的脑电信号的特征。
步骤S530：计算所述各脑电信号的特征和所述预设脑电信号的特征之间的第二距离。
每段脑电信号的特征和预设脑电信号的特征之间都具有一个第二距离。
步骤S540：根据所述第二距离，确定所述各脑电信号对应的多个第一图像样本中的标签质量分数。
根据第二距离，可以得到第一图像样本中各图像的质量分数和预设脑电信号特征对应的图像的质量分数之间的分数差。第二距离越大，分数差越大。因为预设的脑电信号的特征对应的图像的客观质量等级是确定的，因此可以通过所述分数差确定各脑电信号对应的多个第一图像样本中的标签质量分数。
当预设的脑电信号的特征对应的图像的客观质量等级100时，输入的脑电信号的特征与预设的脑电信号的特征之间的距离越远，则输入的脑电信号对应的标签质量分数越低。
采用本申请实施例的技术方案，可以将第一图像样本对应的脑电信号输入标签分数网络，从而得到第一图像样本的标签质量分数，以得到训练预设分数预测网络的标签。
在获得标签质量分数之后，可以对预设分数预测网络进行训练，得到分数预测网络。参照图5所示，示出了本发明实施例中预设分数预测网络的示意框图，结合图5，以所述多个第一图像样本为训练样本、并以每个第一图像样本的标签质量分数为标签，对所述预设分数预测网络进行训练，得到所述分数预测网络，可以包括以下步骤：
步骤S610：将所述多个第一图像样本输入到所述预设分数预测网络。
多个第一图像样本中的图像，可以直接是第二图像样本中的图像，也可以是按照获取第二图像样本的方法，获取的其它多张原始图像对应各自的多张压缩图像。
步骤S620：通过所述预设分数预测网络的特征提取模块，提取所述各第一图像样本的图像特征。
特征提取模块可以采用VGG-19网络进行第一图像样本的特征提取。将VGG-19网络的每个块输出的第一图像样本的图像特征取出，通过1×1卷积和池化等降维操作，变形成一维特征。
步骤S630：通过所述预设分数预测网络的全连接层，提取所述各图像特征的图像特征向量。
将一维特征拼接起来，利用节点数分别为4096,4096,1000和48的四层全连接网络，获得第一图像样本的各图像特征向量。
步骤S640：通过所述预设分数预测网络的分数映射模块，预测所述各图像特征向量对应的各图像的图像质量预测分数。
分数映射模块，可以根据图像特征向量预测对应的各图像的图像质量预测分数。
设输入第一图像样本为I(x，y)，通过VGG-19网络R提取到的图像特征为FImage，M为全连接层，由全连接层从图像特征映射成的图像特征向量为Fe，几者之间的关系可以表示为：
FImage＝R(I(x，y))
Fe＝M(FImage)＝M(R(I(x，y)))
步骤S650：根据所述各图像的图像质量预测分数与所述各图像的标签质量分数之间的分数差，建立第二损失函数。
各图像的标签质量分数是通过标签分数网络得到的分数，根据预测的第一图像样本中的各图像的图像质量预测分数，与标签质量分数之间的分数差，建立第二损失函数。
可选地，第二损失函数可以采用平方损失函数，通过以下公式得到：
其中，Lscore表示第二损失函数，Sp表示图像质量预测分数，St表示标签质量分数，N1表示同时输入预设分数预测网络的图像数量，i＝1,2,……n。
步骤S660：以最小化所述分数差为目标，基于所述第二损失函数对所述预设分数预测网络进行训练，得到所述分数预测网络。
分数差越小时，表示通过预设分数预测网络预测的图像质量预测分数与通过标签分数网络得到的标签质量分数之间的差距越小，因此预测的图像质量预测分数更能真实反映用户的感知。
以最小化分数差为目标，基于第二损失函数对预设分数预测网络进行训练，直到满足预设条件，停止训练，得到所述分数预测网络。预设条件包括训练结果收敛或者满足预设训练次数。
采用本申请实施例的技术方案，以携带质量分数的第一图像样本作为输入，通过特征提取模块提取图像与失真相关的信息，将特征提取模块提取的低层特征和高层特征连接起来作为图像特征，利用全连接层将图像特征映射为图像特征向量，通过分数映射模块预测图像质量预测分数，以训练完成的标签分数网络输出的第一图像样本的标签质量分数为标签，对预设分数预测网络进行训练，通过训练得到的分数预测网络输出的图像质量分数，可以真实反映用户的感知。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
图6是本发明实施例的一种基于脑电特征的图像质量评价装置的结构示意图，如图6所示，一种基于脑电特征的图像质量评价装置，包括图像获取模块和分数输出模块，其中：
图像获取模块，用于获取待评价图像；
分数输出模块，用于将所述待评价图像输入分数预测网络，获得由所述分数预测网络输出的图像质量分数；
其中，所述分数预测网络是以多个第一图像样本为训练样本、并以所述每个第一图像样本的标签质量分数为标签，对预设分数预测网络进行训练得到的；
其中，一个图像样本的标签质量分数为训练完成的标签分数网络针对该图像样本所输出的，所述标签分数网络的训练样本为多个携带客观质量等级的第二图像样本以及所述第二图像样本各自对应的脑电信号。
可选地，作为一个实施例，所述装置还包括：
第一训练模块，用于以所述多个携带客观质量等级的第二图像样本以及所述多个第二图像样本各自对应的脑电信号，对预设标签分数网络进行训练，得到所述标签分数网络；
标签确定模块，用于将所述多个第一图像样本对应的脑电信号输入所述标签分数网络，得到所述多个第一图像样本的标签质量分数；
第二训练模块，用于以所述多个第一图像样本为训练样本、并以每个第一图像样本的标签质量分数为标签，对所述预设分数预测网络进行训练，得到所述分数预测网络。
可选地，作为一个实施例，第一训练模块包括：
第二样本获取子模块，用于获得所述多个携带客观质量等级的第二图像样本以及所述多个第二图像样本各自对应的脑电信号；
脑电特征向量提取子模块，用于将所述多段脑电信号成对输入所述预设标签分数网络的孪生模块，得到所述成对的脑电信号对应的成对的脑电特征向量；
第一距离计算子模块，用于计算所述每对脑电特征向量之间的第一距离；
第一损失函数子模块，用于根据所述第一距离以及所述每对脑电特征向量对应的图像的客观质量等级的异同情况，建立第一损失函数；
第一训练子模块，用于以最小化相同客观质量等级的图像对应的脑电特征向量之间的第一距离且最大化不同客观质量等级的图像对应的脑电特征向量之间的第一距离为目标，基于所述第一损失函数对所述预设标签分数网络进行训练，得到所述标签分数网络。
可选地，作为一个实施例，第二样本获取子模块包括：
图像压缩单元，用于对多张原始图像进行不同程度的有损压缩，得到每张原始图像对应的多张携带客观质量等级的压缩图像；
第二图像样本单元，用于将所述多张原始图像和所述多张压缩图像，组成所述携带客观质量等级的第二图像样本；
第二脑电信号单元，用于采集用户观看所述第二图像样本时的脑电信号。
可选地，作为一个实施例，脑电特征向量提取子模块包括：
预处理单元，用于对所述多段脑电信号进行预处理，包括：加载脑电信号，定位电极；采用TP9和TP10电极对所述脑电信号进行重参考；删除重参考后的脑电信号中的无效信号，得到基础脑电信号；对所述基础脑电信号进行4-40HZ的带通滤波；提取有效时间段内的所述滤波后的基础脑电信号，得到时间有效脑电信号；将所述时间有效脑电信号划分成多段，得到多段脑电信号；采用独立成分分析，提取所述多段脑电信号中的成分有效脑电信号；对所述成分有效脑电信号中的其他噪声信号进行去噪，得到预处理后的脑电信号。
可选地，作为一个实施例，所述第一损失函数采用对比损失函数，通过以下公式得到：
其中，L表示所述第一损失函数，d表示所述每对脑电特征向量的第一距离，m是预先设定好的阈值，N表示同时输入预设特征提取网络的脑电信号数量。
可选地，作为一个实施例，标签确定模块包括：
采集脑电信号子模块，用于采集用户观看所述第一图像样本时的各脑电信号；
第一输入子模块，用于将所述各脑电信号输入所述标签分数网络，其中，所述标签分数网络中包含预设脑电信号的特征；
第二距离计算子模块，用于计算所述各脑电信号的特征和所述预设脑电信号的特征之间的第二距离；
标签质量分数确定子模块，用于根据所述第二距离，确定所述各脑电信号对应的多个第一图像样本中的标签质量分数。
可选地，作为一个实施例，第二训练模块包括：
第二输入子模块，用于将所述多个第一图像样本输入到所述预设分数预测网络；
图像特征提取子模块，用于通过所述预设分数预测网络的特征提取模块，提取所述各第一图像样本的图像特征；
图像特征向量提取子模块，用于通过所述预设分数预测网络的全连接层，提取所述各图像特征的图像特征向量；
分数预测子模块，用于通过所述预设分数预测网络的分数映射模块，预测所述各图像特征向量对应的各图像的图像质量预测分数；
第二损失函数子模块，用于根据所述各图像的图像质量预测分数与所述各图像的标签质量分数之间的分数差，建立第二损失函数；
第二训练子模块，用于以最小化所述分数差为目标，基于所述第二损失函数对所述预设分数预测网络进行训练，得到所述分数预测网络。
可选地，作为一个实施例，所述第二损失函数采用平方损失函数，通过以下公式得到：
其中，Lscore表示所述第二损失函数，Sp表示所述图像质量预测分数，St表示所述标签质量分数，N表示同时输入所述预设分数预测网络的图像数量，i＝1,2,……n。
采用本申请实施例的技术方案，可以得到一种基于脑电特征的图像质量评价装置，该装置中，训练分数预测网络的标签是由通过脑电信号训练得到的标签分数网络得到的，因此通过分数预测网络得到的图像质量分数，是综合了用户对于图像质量的真实感知的，因而可以提高对图像质量判定的准确度；并且使用训练好的分数预测网络时，不需要再采集脑电信号，因此也不需要满足使用脑电信号时的严苛的条件。如此，具有便于使用，且能准确度量用户的真实感知的优点。
需要说明的是，装置实施例与方法实施例相近，故描述的较为简单，相关之处参见方法实施例即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、装置、电子设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种基于脑电特征的图像质量评价方法及装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种基于脑电特征的图像质量评价方法，其特征在于，所述方法包括：
获取待评价图像；
将所述待评价图像输入分数预测网络，获得由所述分数预测网络输出的图像质量分数；
其中，所述分数预测网络是以多个第一图像样本为训练样本、并以每个所述第一图像样本的标签质量分数为标签，对预设分数预测网络进行训练得到的；
其中，一个图像样本的标签质量分数为训练完成的标签分数网络针对该图像样本所输出的，所述标签分数网络的训练样本为多个携带客观质量等级的第二图像样本以及所述第二图像样本各自对应的脑电信号；
所述方法还包括：
以所述多个携带客观质量等级的第二图像样本以及多个所述第二图像样本各自对应的脑电信号，对预设标签分数网络进行训练，得到所述标签分数网络；
将所述多个第一图像样本对应的脑电信号输入所述标签分数网络，得到所述多个第一图像样本的标签质量分数；
以所述多个第一图像样本为训练样本、并以每个第一图像样本的标签质量分数为标签，对所述预设分数预测网络进行训练，得到所述分数预测网络。
2.根据权利要求1所述的方法，以所述多个携带客观质量等级的第二图像样本以及多个所述第二图像样本各自对应的脑电信号，对预设标签分数网络进行训练，得到所述标签分数网络，包括：
获得所述多个携带客观质量等级的第二图像样本以及多个所述第二图像样本各自对应的脑电信号；
将多段所述脑电信号成对输入所述预设标签分数网络的孪生模块，得到成对的所述脑电信号对应的成对的脑电特征向量；
计算每对所述脑电特征向量之间的第一距离；
通过所述第一距离以及每对所述脑电特征向量对应的图像的客观质量等级的异同情况，建立第一损失函数；
以最小化相同客观质量等级的图像对应的脑电特征向量之间的第一距离且最大化不同客观质量等级的图像对应的脑电特征向量之间的第一距离为目标，基于所述第一损失函数对所述预设标签分数网络进行训练，得到所述标签分数网络。
3.根据权利要求2所述的方法，获得所述多个携带客观质量等级的第二图像样本以及多个所述第二图像样本各自对应的脑电信号，包括：
对多张原始图像进行不同程度的有损压缩，得到每张原始图像对应的多张携带客观质量等级的压缩图像；
将所述多张原始图像和多张所述压缩图像，组成所述携带客观质量等级的第二图像样本；
采集用户观看所述第二图像样本时的脑电信号。
4.根据权利要求2所述的方法，将多段所述脑电信号成对输入所述预设标签分数网络的孪生模块，得到成对的所述脑电信号对应的成对的脑电特征向量之前，包括：
对多段所述脑电信号进行预处理，包括：
加载脑电信号，定位电极；
采用TP9和TP10电极对所述脑电信号进行重参考；
删除重参考后的脑电信号中的无效信号，得到基础脑电信号；
对所述基础脑电信号进行4-40HZ的带通滤波；
提取有效时间段内的滤波后的所述基础脑电信号，得到时间有效脑电信号；
将所述时间有效脑电信号划分成多段，得到多段脑电信号；
采用独立成分分析，提取所述多段脑电信号中的成分有效脑电信号；
对所述成分有效脑电信号中的其他噪声信号进行去噪，得到预处理后的脑电信号。
5.根据权利要求2所述的方法，所述第一损失函数采用对比损失函数，
其中，L表示所述第一损失函数，d表示每对所述脑电特征向量的第一距离，m是预先设定好的阈值，N表示同时输入预设标签分数网络的脑电信号数量。
6.根据权利要求1所述的方法，将所述多个第一图像样本对应的脑电信号输入所述标签分数网络，得到所述多个第一图像样本的标签质量分数，包括：
采集用户观看所述第一图像样本时的各脑电信号；
将所述各脑电信号输入所述标签分数网络，其中，所述标签分数网络中包含预设脑电信号的特征；
计算所述各脑电信号的特征和所述预设脑电信号的特征之间的第二距离；
根据所述第二距离，确定所述各脑电信号对应的多个第一图像样本中的标签质量分数。
7.根据权利要求1所述的方法，以所述多个第一图像样本为训练样本、并以每个第一图像样本的标签质量分数为标签，对所述预设分数预测网络进行训练，得到所述分数预测网络，包括：
将所述多个第一图像样本输入到所述预设分数预测网络；
通过所述预设分数预测网络的特征提取模块，提取各所述第一图像样本的图像特征；
通过所述预设分数预测网络的全连接层，提取各所述图像特征的图像特征向量；
通过所述预设分数预测网络的分数映射模块，预测各所述图像特征向量对应的各图像的图像质量预测分数；
根据所述各图像的图像质量预测分数与所述各图像的标签质量分数之间的分数差，建立第二损失函数；
以最小化所述分数差为目标，基于所述第二损失函数对所述预设分数预测网络进行训练，得到所述分数预测网络。
8.根据权利要求7所述的方法，所述第二损失函数采用平方损失函数，通过以下公式得到：
其中，Lscore表示所述第二损失函数，Sp表示所述图像质量预测分数，St表示所述标签质量分数，N表示同时输入所述预设分数预测网络的图像数量，i＝1,2,……n。
9.一种基于脑电特征的图像质量评价装置，其特征在于，所述装置包括：
图像获取模块，用于获取待评价图像；
分数输出模块，用于将所述待评价图像输入分数预测网络，获得由所述分数预测网络输出的图像质量分数；
其中，所述分数预测网络是以多个第一图像样本为训练样本、并以每个所述第一图像样本的标签质量分数为标签，对预设分数预测网络进行训练得到的；
其中，一个图像样本的标签质量分数为训练完成的标签分数网络针对该图像样本所输出的，所述标签分数网络的训练样本为多个携带客观质量等级的第二图像样本以及所述第二图像样本各自对应的脑电信号；
所述装置还包括：
第一训练模块，用于以所述多个携带客观质量等级的第二图像样本以及多个所述第二图像样本各自对应的脑电信号，对预设标签分数网络进行训练，得到所述标签分数网络；
标签确定模块，用于将所述多个第一图像样本对应的脑电信号输入所述标签分数网络，得到所述多个第一图像样本的标签质量分数；
第二训练模块，用于以所述多个第一图像样本为训练样本、并以每个第一图像样本的标签质量分数为标签，对所述预设分数预测网络进行训练，得到所述分数预测网络。
CN202110700519.0A 2021-06-23 2021-06-23 一种基于脑电特征的图像质量评价方法及装置 Active CN113554597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110700519.0A CN113554597B (zh) 2021-06-23 2021-06-23 一种基于脑电特征的图像质量评价方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110700519.0A CN113554597B (zh) 2021-06-23 2021-06-23 一种基于脑电特征的图像质量评价方法及装置

Publications (2)

Publication Number Publication Date
CN113554597A CN113554597A (zh) 2021-10-26
CN113554597B true CN113554597B (zh) 2024-02-02

Family

ID=78130857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110700519.0A Active CN113554597B (zh) 2021-06-23 2021-06-23 一种基于脑电特征的图像质量评价方法及装置

Country Status (1)

Country Link
CN (1) CN113554597B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114358089A (zh) * 2022-01-24 2022-04-15 北京蕴岚科技有限公司 基于脑电的语音评估模型的训练方法、装置及电子设备
CN114998252B (zh) * 2022-05-30 2024-09-24 西安电子科技大学 基于脑电信号和记忆特性的图像质量评价方法
CN115620079A (zh) * 2022-09-19 2023-01-17 虹软科技股份有限公司 样本标签的获取方法和镜头失效检测模型的训练方法
CN116523574A (zh) * 2023-04-20 2023-08-01 上海外国语大学 一种基于用户画像和脑电数据的体验质量测评方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727246A (zh) * 2019-01-26 2019-05-07 福州大学 一种基于孪生网络的对比学习图像质量评估方法
CN109754391A (zh) * 2018-12-18 2019-05-14 北京爱奇艺科技有限公司 一种图像质量评价方法、装置及电子设备
CN110717895A (zh) * 2019-09-24 2020-01-21 南京理工大学 基于置信分数的无参考图像质量评价方法
WO2020037932A1 (zh) * 2018-08-20 2020-02-27 深圳云天励飞技术有限公司 一种图像质量评估方法、装置、电子设备及计算机可读存储介质
CN111568412A (zh) * 2020-04-03 2020-08-25 中山大学 一种利用脑电信号重建视觉图像的方法及装置
WO2020237242A1 (en) * 2019-05-23 2020-11-26 H. Lee Moffitt Cancer Center And Research Institute, Inc. System and method of evaluating neural networks to segment medical images
CN112598643A (zh) * 2020-12-22 2021-04-02 百度在线网络技术（北京）有限公司 深度伪造图像检测及模型训练方法、装置、设备、介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016154298A1 (en) * 2015-03-23 2016-09-29 Temple University-Of The Commonwealth System Of Higher Education System and method for automatic interpretation of eeg signals using a deep learning statistical model
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020037932A1 (zh) * 2018-08-20 2020-02-27 深圳云天励飞技术有限公司 一种图像质量评估方法、装置、电子设备及计算机可读存储介质
CN109754391A (zh) * 2018-12-18 2019-05-14 北京爱奇艺科技有限公司 一种图像质量评价方法、装置及电子设备
CN109727246A (zh) * 2019-01-26 2019-05-07 福州大学 一种基于孪生网络的对比学习图像质量评估方法
WO2020237242A1 (en) * 2019-05-23 2020-11-26 H. Lee Moffitt Cancer Center And Research Institute, Inc. System and method of evaluating neural networks to segment medical images
CN110717895A (zh) * 2019-09-24 2020-01-21 南京理工大学 基于置信分数的无参考图像质量评价方法
CN111568412A (zh) * 2020-04-03 2020-08-25 中山大学 一种利用脑电信号重建视觉图像的方法及装置
CN112598643A (zh) * 2020-12-22 2021-04-02 百度在线网络技术（北京）有限公司 深度伪造图像检测及模型训练方法、装置、设备、介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Novel EEG Based Directed Transfer Function for Investigating Human Perception to Audio Noise;Bingrui Geng等;《2020 International Wireless Communications and Mobile Computing (IWCMC)》;全文 *
基于伪参考图像深层特征相似性的盲图像质量评价;胡晋滨;柴雄力;邵枫;;光电子・激光(第11期);全文 *
面向密集用户区域的无线网络重构体系架构;邓卉;陶晓明;陆建华;;电信科学(第01期);全文 *

Also Published As

Publication number Publication date
CN113554597A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
CN113554597B (zh) 一种基于脑电特征的图像质量评价方法及装置
Aljalal et al. Detection of Parkinson’s disease from EEG signals using discrete wavelet transform, different entropy measures, and machine learning techniques
CN109646022B (zh) 儿童注意力评估系统及其方法
Seshadrinathan et al. Automatic prediction of perceptual quality of multimedia signals—a survey
CN114581823B (zh) 基于时序特征的虚拟现实视频情感识别方法及系统
CN111510710B (zh) 基于脑电信号和时空失真的视频质量评价方法
CN111311070B (zh) 联合脑电和眼动并结合用户相似度的产品设计方案决策方法
JP5733658B2 (ja) 注目度検出システム、注目度判定装置、注目度判定装置用のプログラム、及び画像配信システム
KR101634619B1 (ko) 치매 인지 평가 방법 및 이를 실행하는 장치
US20190254525A1 (en) Information processing device, information processing method, and program
CN111724896B (zh) 一种基于多刺激图片或视频erp的毒瘾评估系统
Niu et al. User experience evaluation in virtual reality based on subjective feelings and physiological signals
Madanu et al. Depth of anesthesia prediction via EEG signals using convolutional neural network and ensemble empirical mode decomposition
Kroupi et al. Predicting subjective sensation of reality during multimedia consumption based on EEG and peripheral physiological signals
CN113764099A (zh) 基于人工智能的心理状态分析方法、装置、设备及介质
CN115171658A (zh) 训练方法、训练装置、训练设备及存储介质
CN110507288A (zh) 基于一维卷积神经网络的视觉诱导晕动症检测方法
CN117137488B (zh) 基于脑电数据与面部表情影像的抑郁症病症辅助识别方法
CN110403604B (zh) 基于注意力集中程度构建环境空间和训练注意力的方法
CN114998252B (zh) 基于脑电信号和记忆特性的图像质量评价方法
CN109009094B (zh) 基于脑电信号kc复杂度的视觉诱导晕动症检测方法
CN113610067B (zh) 情绪状态展示方法、装置及系统
CN113255786B (zh) 基于脑电信号和目标显著特性的视频质量评价方法
KR101808956B1 (ko) 대인 감성 평가 시스템 및 대인 감성 평가 정보를 수집하고 이용하는 방법
US20150317647A1 (en) Method And Apparatus For Correlating Biometric Responses To Analyze Audience Reactions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant