CN116309581B - 一种微光成像单元的成像评价方法、系统及存储介质 - Google Patents

一种微光成像单元的成像评价方法、系统及存储介质 Download PDF

Info

Publication number
CN116309581B
CN116309581B CN202310568340.3A CN202310568340A CN116309581B CN 116309581 B CN116309581 B CN 116309581B CN 202310568340 A CN202310568340 A CN 202310568340A CN 116309581 B CN116309581 B CN 116309581B
Authority
CN
China
Prior art keywords
evaluated
imaging
imaging data
features
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310568340.3A
Other languages
English (en)
Other versions
CN116309581A (zh
Inventor
张勇
王有理
申皓明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yepedestrian Technology Co ltd
Original Assignee
Shenzhen Yepedestrian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yepedestrian Technology Co ltd filed Critical Shenzhen Yepedestrian Technology Co ltd
Priority to CN202310568340.3A priority Critical patent/CN116309581B/zh
Publication of CN116309581A publication Critical patent/CN116309581A/zh
Application granted granted Critical
Publication of CN116309581B publication Critical patent/CN116309581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种微光成像单元的成像评价方法、系统及存储介质，包括获取微光成像单元的待评价成像数据，进行特征提取得到待评价成像数据的显著性特征；获取预设识别目标的目标特征，根据显著性特征及所述目标特征对待评价成像数据进行图像分割，获取感兴趣区域；选取微光成像质量评价指标对待评价成像数据的特征进行提取，获取各微光成像质量评价指标对应的指标特征；基于多层感知机构建成像质量评价模型，根据所述指标特征获取待评价成像数据的评价结果。本发明实现了对微光成像数据的自动化质量评价，提高判读精度的同时降低了人力及时间成本，同时为微光成像单元的调试提供数据基础。

Description

一种微光成像单元的成像评价方法、系统及存储介质
技术领域
本发明涉及图像处理技术领域，更具体的，涉及一种微光成像单元的成像评价方法、系统及存储介质。
背景技术
微光成像技术可在低照度条件下将微弱的光信号转换为可见的图像,提供具有白天分辨率的夜间微光图像,打开了大量新的跨学科研究课题的大门，微光成像技术的发展使得我们能够更好地理解宇宙、生命和自然界中微小的变化和活动。随着微光成像数据应用范围的拓展和应用领域的细分,高分辨率与大动态范围微光图像的需求越来越强烈,因此, 需要对微光成像数据进行准确的质量评价，并根据评价结果自动调用相应的图像增强算法对微光成像数据进行增强，并对增强后的图像进行相应的处理，来提高微光成像数据的利用效果。
微光图像具有的特征是灰度级动态范围集中在一个区间、相邻的像素具有很高的空间相关性、相邻位置的灰度值变化较小等，因此微光图像中的目标、背景、噪声等信息会集中在非常狭小的动态范围内，并且图像经过传送和转换等，图像质量将进一步降低，并夹杂一些噪声，将导致图像质量大幅降低，无法满足夜晚拍摄和实际应用的需求，因此需要对成像数据进行质量评价，又因为成像数据往往数据量偏大，成像数据的评价需要满足准确、快速高效的要求。针对微光成像单元的微光成像数据，如何提供一种高质量高精准度的成像数据评价方法以反应图像特征是亟不可待需要解决的问题。
发明内容
为了解决上述技术问题，本发明提出了一种微光成像单元的成像评价方法、系统及存储介质。
本发明第一方面提供了一种微光成像单元的成像评价方法，包括：
获取微光成像单元的待评价成像数据，将所述待评价成像数据进行特征提取，得到待评价成像数据的显著性特征；
获取预设识别目标的目标特征，根据显著性特征及所述目标特征对待评价成像数据进行图像分割，获取感兴趣区域；
选取微光成像质量评价指标对待评价成像数据的特征进行提取，获取各微光成像质量评价指标对应的指标特征；
基于多层感知机构建成像质量评价模型，根据所述指标特征获取待评价成像数据的评价结果。
本方案中，获取微光成像单元的待评价成像数据，将所述待评价成像数据进行特征提取，得到待评价成像数据的显著性特征，具体为：
获取微光成像单元输出的待评价成像数据，将所述待评价成像数据进行预处理，通过预处理进行滤波去噪；
将预处理后得待评价成像数据通过卷积层进行特征提取，在每个卷积层设置池化层，利用Relu激活函数将各层特征进行连接，获取若干级联特征向量，将所述级联特征向量进行编码；
每个级联特征向量对应待评价成像数据中的视觉特征，引入视觉注意力机制通过连接Softmax分类器获取每个时间步上的注意力权重，将所述注意力权重与编码后的级联特征向量进行加权组合，反应各级联特征向量对于目标识别的贡献程度；
将加权组合后的级联特征向量进行解码，获取待评价成像数据的显著性特征，生成显著性图像。
本方案中，获取预设识别目标的目标特征，根据显著性特征及所述目标特征对待评价成像数据进行图像分割，获取感兴趣区域，具体为：
获取待评价成像数据的应用特征，基于所述应用特征确定预设识别目标，并利用大数据手段获取预设识别目标的目标特征；
将待评价成像数据对应的显著性图像进行二值化处理，获取初始感兴趣区域，利用二值图进行表示后并进行图像分割，获取初始感兴趣区域的轮廓信息，基于所述轮廓信息提取边缘特征；
将边缘特征、显著性特征与目标特征根据预设图像块大小进行相似度计算，判断各图像块的相似度是否大于预设相似度阈值，并统计符合相似度标准的图像块数量；
当所述图像块数据大于预设第二数量阈值时，则根据初始感兴趣区域确定感兴趣区域；
当所述图像块数据大于预设第一数量阈值且小于第二数量阈值时，则获取不符合相似度标准的图像块进行二值化的修正，根据修正结果结合初始感兴趣区域确定感兴趣区域；
所述第二数量阈值大于所述第一数量阈值。
本方案中，选取微光成像质量评价指标对待评价成像数据的特征进行提取，其中全局特征具体为：
根据亮度分布将待评价成像数据划分为不同子区域，并将亮度差异符合预设要求子区域的划分为同一亮度类别区域，获取不同类别区域的亮度特征；
预设亮度阈值，基于所述亮度阈值筛选各类别区域，将亮度大于所述亮度阈值的亮度类别区域进行标记，在标记亮度类别区域中获取区域信息熵；
获取待评价成像数据的RGB三个颜色通道的颜色分量，将所述颜色分量映射到LUV色度空间，得到对应的色度坐标生成颜色特征；
并在标记亮度类别区域中利用CANNY边缘检测算子进行边缘检测，获取边缘特征；
将所述不同类别区域的亮度特征、区域信息熵、颜色特征及边缘特征结合预设权重信息获取待评价成像数据的全局特征。
本方案中，选取微光成像质量评价指标对待评价成像数据的特征进行提取，其中局部特征具体为：
获取感兴趣区域与背景区域的均方误差、局部离散度及差异离散度，通过感兴趣区域与背景区域的信息熵比值获取目标对比度特征；
将所述均方误差、局部离散度及差异离散度、目标对比度特征作为待评价成像数据的局部特征。
本方案中，基于多层感知机构建成像质量评价模型，根据所述指标特征获取待评价成像数据的评价结果，具体为：
通过多层感知机构建成像质量评价模型，根据待评价成像数据的全局特征及局部特征设置两个隐含层，通过全连接层的形式进行连接；
在所述成像质量评价模型中引入自注意力机制，生成全局特征及局部特征的自注意力权重，表征特征的重要程度；
获取图像质量评价相关数据集，提取预设识别目标图像数据的特征矩阵及主观感知分数，生成成像质量评价模型的训练集；
利用训练集在成像质量评价模型中进行前向传播及误差反向传播训练，构建特征与主观感知分数的回归模型，当测试满足预设标准时将模型进行输出；
将待评价成像数据的全局特征及局部特征输入，获取待评价成像数据的评价分数及评价等级。
本发明第二方面还提供了一种微光成像单元的成像评价系统，该系统包括：存储器、处理器，所述存储器中包括微光成像单元的成像评价方法程序，所述微光成像单元的成像评价方法程序被所述处理器执行时实现如下步骤：
获取微光成像单元的待评价成像数据，将所述待评价成像数据进行特征提取，得到待评价成像数据的显著性特征；
获取预设识别目标的目标特征，根据显著性特征及所述目标特征对待评价成像数据进行图像分割，获取感兴趣区域；
选取微光成像质量评价指标对待评价成像数据的特征进行提取，获取各微光成像质量评价指标对应的指标特征；
基于多层感知机构建成像质量评价模型，根据所述指标特征获取待评价成像数据的评价结果。
本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括微光成像单元的成像评价方法程序，所述微光成像单元的成像评价方法程序被处理器执行时，实现如上述任一项所述的微光成像单元的成像评价方法的步骤。
本发明公开了一种微光成像单元的成像评价方法、系统及存储介质，包括获取微光成像单元的待评价成像数据，进行特征提取，并对特征进行特征编码；获取预设识别目标的目标特征，根据编码后的特征及目标特征判断待评价成像数据是否含有预设识别目标；根据预设识别目标的判断结果对待评价成像数据进行图像分割，获取感兴趣区域；选取微光成像质量评价指标对待评价成像数据的特征进行提取，获取各微光成像质量评价指标对应的指标特征，基于多层感知机构建成像质量评价模型，根指标特征获取待评价成像数据的评价结果。本发明实现了对微光成像数据的自动化质量评价，提高判读精度的同时降低了人力及时间成本，同时为微光成像单元的调试提供数据基础。
附图说明
图1示出了本发明一种微光成像单元的成像评价方法的流程图；
图2示出了本发明获取待评价成像数据感兴趣区域的方法流程图；
图3示出了本发明构建成像质量评价模型获取待评价成像数据的评价结果的方法流程图；
图4示出了本发明一种微光成像单元的成像评价系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种微光成像单元的成像评价方法的流程图。
如图1所示，本发明第一方面提供了一种微光成像单元的成像评价方法，包括：
S102，获取微光成像单元的待评价成像数据，将所述待评价成像数据进行特征提取，得到待评价成像数据的显著性特征；
S104，获取预设识别目标的目标特征，根据显著性特征及所述目标特征对待评价成像数据进行图像分割，获取感兴趣区域；
S106，选取微光成像质量评价指标对待评价成像数据的特征进行提取，获取各微光成像质量评价指标对应的指标特征；
S108，基于多层感知机构建成像质量评价模型，根据所述指标特征获取待评价成像数据的评价结果。
需要说明的是，获取微光成像单元输出的待评价成像数据，将所述待评价成像数据进行预处理，通过预处理进行滤波去噪，所述预处理方法包括高斯滤波及直方图均衡等方法，实现微光图像的消噪,在保留了图像的边缘细节的同时,也扩大了微光图像中的预设识别目标特征；将预处理后得待评价成像数据通过卷积层进行特征提取，在每个卷积层设置池化层，利用Relu激活函数将各层特征进行连接，获取若干级联特征向量，将所述级联特征向量进行编码，编码网络可通过LSTM网络进行实现，每个级联特征向量对应待评价成像数据中的视觉特征，引入视觉注意力机制通过连接Softmax分类器获取每个时间步上的注意力权重，将编码后的级联特向量与上一时间戳上LSTM解码器隐状态向量输入全连接网络在经过Softmax函数得到注意力权重，将所述注意力权重与编码后的级联特征向量进行加权组合，反应各级联特征向量对于目标识别的贡献程度；将加权组合后的级联特征向量进行解码，获取待评价成像数据的显著性特征，生成显著性图像。
图2示出了本发明获取待评价成像数据感兴趣区域的方法流程图。
根据本发明实施例，获取预设识别目标的目标特征，根据显著性特征及所述目标特征对待评价成像数据进行图像分割，获取感兴趣区域，具体为：
S202，获取待评价成像数据的应用特征，基于所述应用特征确定预设识别目标，并利用大数据手段获取预设识别目标的目标特征；
S204，将待评价成像数据对应的显著性图像进行二值化处理，获取初始感兴趣区域，利用二值图进行表示后并进行图像分割，获取初始感兴趣区域的轮廓信息，基于所述轮廓信息提取边缘特征；
S206，将边缘特征、显著性特征与目标特征根据预设图像块大小进行相似度计算，判断各图像块的相似度是否大于预设相似度阈值，并统计符合相似度标准的图像块数量；
S208，当所述图像块数据大于预设第二数量阈值时，则根据初始感兴趣区域确定感兴趣区域；
S210，当所述图像块数据大于预设第一数量阈值且小于第二数量阈值时，则获取不符合相似度标准的图像块进行二值化的修正，根据修正结果结合初始感兴趣区域确定感兴趣区域；
需要说明的是，所述第二数量阈值大于所述第一数量阈值；
根据亮度分布将待评价成像数据划分为不同子区域，并将亮度差异符合预设要求子区域的划分为同一亮度类别区域，获取不同类别区域的亮度特征；预设亮度阈值，基于所述亮度阈值筛选各类别区域，将亮度大于所述亮度阈值的亮度类别区域进行标记，在标记亮度类别区域中获取区域信息熵；获取待评价成像数据的RGB三个颜色通道的颜色分量，将所述颜色分量映射到LUV色度空间，得到对应的色度坐标生成颜色特征；并在标记亮度类别区域中利用CANNY边缘检测算子进行边缘检测，获取边缘特征；将所述不同类别区域的亮度特征、区域信息熵、颜色特征及边缘特征结合预设权重信息获取待评价成像数据的全局特征，不同特征的预设权重信息的和值为1。
将待评价成像数据划分为感兴趣区域及背景区域，获取感兴趣区域与背景区域的均方误差、局部离散度及差异离散度，通过感兴趣区域与背景区域的信息熵比值获取目标对比度特征；将所述均方误差、局部离散度及差异离散度、目标对比度特征作为待评价成像数据的局部特征。
所述均方误差表征感兴趣区域与背景区域差异的均值，通过各像素的灰度值进行计算，通过最大差异离散度及最小局部离散度设置投影方向，将感兴趣区域与背景区域在所述投影方法上信息特征投影获取感兴趣区域投影后的特征与背景区域投影后的特征，局部离散度/>的计算公式为：/>，其中，N为特征样本总数，/>为感兴趣区域图像中样本的位置坐标，/>为背景区域图像中样本的位置坐标，t为常数；
差异离散度的计算公式为：/>，其中，b为正数。通过异离散度及局部离散度获取感兴趣区域及背景区域的差异情况，通过感兴趣区域与背景区域的信息熵比值获取目标对比度特征，根据特征丰富度差异衡量感兴趣区域与背景区域的成像质量。
图3示出了本发明构建成像质量评价模型获取待评价成像数据的评价结果的方法流程图。
根据本发明实施例，基于多层感知机构建成像质量评价模型，根据所述指标特征获取待评价成像数据的评价结果，具体为：
S302，通过多层感知机构建成像质量评价模型，根据待评价成像数据的全局特征及局部特征设置两个隐含层，通过全连接层的形式进行连接；
S304，在所述成像质量评价模型中引入自注意力机制，生成全局特征及局部特征的自注意力权重，表征特征的重要程度；
S306，获取图像质量评价相关数据集，提取预设识别目标图像数据的特征矩阵及主观感知分数，生成成像质量评价模型的训练集；
S308，利用训练集在成像质量评价模型中进行前向传播及误差反向传播训练，构建特征与主观感知分数的回归模型，当测试满足预设标准时将模型进行输出；
S310，将待评价成像数据的全局特征及局部特征输入，获取待评价成像数据的评价分数及评价等级。
根据本发明实施例，根据待评价微光成像数据的评价结果对微光成像单元进行参数校正，具体为：
获取待评价微光成像数据的应用特征，根据所述应用特征通过数据检索获取历史微光成像数据及其评价结果，提取历史微光成像数据中预设识别目标的识别结果；
根据所述识别结果为历史微光成像数据设置数据标签，所述数据标签分为识别成功及识别不成功，并基于所述数据标签进行数据分类；
利用K-means聚类算法对所述历史微光成像数据集进行处理，根据聚类结果获取识别成功数据标签下历史微光成像数据的评价结果，根据获取的评价结果进行统计分析获取评价结果阈值与应用特征匹配；
基于获取的评价结果获取对应的微光成像单元的成像参数，将所述成像参数进行均值处理，与应用特征匹配生成应用特征对应的基准成像参数，构建成像参数数据库，将各应用特征与对应的基准成像参数存入所述成像参数数据库；
获取当前待评价微光成像数据的评价结果，判断所述评价结果是否大于当前应用特征对应的评价结果阈值，若小于，则根据当前应用特征在所述成像参数数据库进行数据检索；
获取当前应用特征对应的基准成像参数，根据所述基准成像参数对当前微光成像系统进行参数校正。
图4示出了本发明一种微光成像单元的成像评价系统的框图。
本发明第二方面还提供了一种微光成像单元的成像评价系统4，该系统包括：存储器41、处理器42，所述存储器中包括微光成像单元的成像评价方法程序，所述微光成像单元的成像评价方法程序被所述处理器执行时实现如下步骤：
获取微光成像单元的待评价成像数据，将所述待评价成像数据进行特征提取，得到待评价成像数据的显著性特征；
获取预设识别目标的目标特征，根据显著性特征及所述目标特征对待评价成像数据进行图像分割，获取感兴趣区域；
选取微光成像质量评价指标对待评价成像数据的特征进行提取，获取各微光成像质量评价指标对应的指标特征；
基于多层感知机构建成像质量评价模型，根据所述指标特征获取待评价成像数据的评价结果。
需要说明的是，获取微光成像单元输出的待评价成像数据，将所述待评价成像数据进行预处理，通过预处理进行滤波去噪，所述预处理方法包括高斯滤波及直方图均衡等方法，实现微光图像的消噪,在保留了图像的边缘细节的同时,也扩大了微光图像中的预设识别目标特征；将预处理后得待评价成像数据通过卷积层进行特征提取，在每个卷积层设置池化层，利用Relu激活函数将各层特征进行连接，获取若干级联特征向量，将所述级联特征向量进行编码，编码网络可通过LSTM网络进行实现，每个级联特征向量对应待评价成像数据中的视觉特征，引入视觉注意力机制通过连接Softmax分类器获取每个时间步上的注意力权重，将编码后的级联特向量与上一时间戳上LSTM解码器隐状态向量输入全连接网络在经过Softmax函数得到注意力权重，将所述注意力权重与编码后的级联特征向量进行加权组合，反应各级联特征向量对于目标识别的贡献程度；将加权组合后的级联特征向量进行解码，获取待评价成像数据的显著性特征，生成显著性图像。
根据本发明实施例，获取预设识别目标的目标特征，根据显著性特征及所述目标特征对待评价成像数据进行图像分割，获取感兴趣区域，具体为：
获取待评价成像数据的应用特征，基于所述应用特征确定预设识别目标，并利用大数据手段获取预设识别目标的目标特征；
将待评价成像数据对应的显著性图像进行二值化处理，获取初始感兴趣区域，利用二值图进行表示后并进行图像分割，获取初始感兴趣区域的轮廓信息，基于所述轮廓信息提取边缘特征；
将边缘特征、显著性特征与目标特征根据预设图像块大小进行相似度计算，判断各图像块的相似度是否大于预设相似度阈值，并统计符合相似度标准的图像块数量；
当所述图像块数据大于预设第二数量阈值时，则根据初始感兴趣区域确定感兴趣区域；
当所述图像块数据大于预设第一数量阈值且小于第二数量阈值时，则获取不符合相似度标准的图像块进行二值化的修正，根据修正结果结合初始感兴趣区域确定感兴趣区域；
需要说明的是，所述第二数量阈值大于所述第一数量阈值；
根据亮度分布将待评价成像数据划分为不同子区域，并将亮度差异符合预设要求子区域的划分为同一亮度类别区域，获取不同类别区域的亮度特征；预设亮度阈值，基于所述亮度阈值筛选各类别区域，将亮度大于所述亮度阈值的亮度类别区域进行标记，在标记亮度类别区域中获取区域信息熵；获取待评价成像数据的RGB三个颜色通道的颜色分量，将所述颜色分量映射到LUV色度空间，得到对应的色度坐标生成颜色特征；并在标记亮度类别区域中利用CANNY边缘检测算子进行边缘检测，获取边缘特征；将所述不同类别区域的亮度特征、区域信息熵、颜色特征及边缘特征结合预设权重信息获取待评价成像数据的全局特征，不同特征的预设权重信息的和值为1。
将待评价成像数据划分为感兴趣区域及背景区域，获取感兴趣区域与背景区域的均方误差、局部离散度及差异离散度，通过感兴趣区域与背景区域的信息熵比值获取目标对比度特征；将所述均方误差、局部离散度及差异离散度、目标对比度特征作为待评价成像数据的局部特征。
所述均方误差表征感兴趣区域与背景区域差异的均值，通过各像素的灰度值进行计算，通过最大差异离散度及最小局部离散度设置投影方向，将感兴趣区域与背景区域在所述投影方法上信息特征投影获取感兴趣区域投影后的特征与背景区域投影后的特征，局部离散度/>的计算公式为：/>，其中，N为特征样本总数，/>为感兴趣区域图像中样本的位置坐标，/>为背景区域图像中样本的位置坐标，t为常数；
差异离散度的计算公式为：/>，其中，b为正数。通过异离散度及局部离散度获取感兴趣区域及背景区域的差异情况，通过感兴趣区域与背景区域的信息熵比值获取目标对比度特征，根据特征丰富度差异衡量感兴趣区域与背景区域的成像质量。
根据本发明实施例，基于多层感知机构建成像质量评价模型，根据所述指标特征获取待评价成像数据的评价结果，具体为：
通过多层感知机构建成像质量评价模型，根据待评价成像数据的全局特征及局部特征设置两个隐含层，通过全连接层的形式进行连接；
在所述成像质量评价模型中引入自注意力机制，生成全局特征及局部特征的自注意力权重，表征特征的重要程度；
获取图像质量评价相关数据集，提取预设识别目标图像数据的特征矩阵及主观感知分数，生成成像质量评价模型的训练集；
利用训练集在成像质量评价模型中进行前向传播及误差反向传播训练，构建特征与主观感知分数的回归模型，当测试满足预设标准时将模型进行输出；
将待评价成像数据的全局特征及局部特征输入，获取待评价成像数据的评价分数及评价等级。
本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括微光成像单元的成像评价方法程序，所述微光成像单元的成像评价方法程序被处理器执行时，实现如上述任一项所述的微光成像单元的成像评价方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (4)

1.一种微光成像单元的成像评价方法，其特征在于，包括以下步骤：
获取微光成像单元的待评价成像数据，将所述待评价成像数据进行特征提取，得到待评价成像数据的显著性特征；
获取预设识别目标的目标特征，根据显著性特征及所述目标特征对待评价成像数据进行图像分割，获取感兴趣区域；
选取微光成像质量评价指标对待评价成像数据的特征进行提取，获取各微光成像质量评价指标对应的指标特征；
基于多层感知机构建成像质量评价模型，根据所述指标特征获取待评价成像数据的评价结果；
获取预设识别目标的目标特征，根据显著性特征及所述目标特征对待评价成像数据进行图像分割，获取感兴趣区域，具体为：
获取待评价成像数据的应用特征，基于所述应用特征确定预设识别目标，并利用大数据手段获取预设识别目标的目标特征；
将待评价成像数据对应的显著性图像进行二值化处理，获取初始感兴趣区域，将所述初始感兴趣区域利用二值图进行表示后并进行图像分割，获取初始感兴趣区域的轮廓信息，基于所述轮廓信息提取边缘特征；
将边缘特征、显著性特征与目标特征根据预设图像块大小进行相似度计算，判断各图像块的相似度是否大于预设相似度阈值，并统计符合相似度标准的图像块数量；
当所述图像块数量大于预设第二数量阈值时，则根据初始感兴趣区域确定感兴趣区域；
当所述图像块数量大于预设第一数量阈值且小于预设第二数量阈值时，则获取不符合相似度标准的图像块进行二值化的修正，根据修正结果结合初始感兴趣区域确定感兴趣区域；
所述预设第二数量阈值大于所述预设第一数量阈值；
选取微光成像质量评价指标对待评价成像数据的特征进行提取，具体为：
根据亮度分布将待评价成像数据划分为不同子区域，并将亮度差异符合预设要求的子区域划分为同一亮度类别区域，获取不同类别区域的亮度特征；
预设亮度阈值，基于所述亮度阈值筛选各类别区域，将亮度大于所述亮度阈值的亮度类别区域进行标记，在标记亮度类别区域中获取区域信息熵；
获取待评价成像数据的RGB三个颜色通道的颜色分量，将所述颜色分量映射到LUV色度空间，得到对应的色度坐标生成颜色特征；
并在标记亮度类别区域中利用CANNY边缘检测算子进行边缘检测，获取边缘特征；
将所述不同类别区域的亮度特征、区域信息熵、颜色特征及边缘特征结合预设权重信息获取待评价成像数据的全局特征；
获取感兴趣区域与背景区域的均方误差、局部离散度及差异离散度，通过感兴趣区域与背景区域的信息熵比值获取目标对比度特征；
将所述均方误差、局部离散度及差异离散度、目标对比度特征作为待评价成像数据的局部特征；
基于多层感知机构建成像质量评价模型，根据所述指标特征获取待评价成像数据的评价结果，具体为：
通过多层感知机构建成像质量评价模型，根据待评价成像数据的全局特征及局部特征设置两个隐含层，通过全连接层的形式进行连接；
在所述成像质量评价模型中引入自注意力机制，生成全局特征及局部特征的自注意力权重，表征特征的重要程度；
获取图像质量评价相关数据集，提取预设识别目标图像数据的特征矩阵及主观感知分数，生成成像质量评价模型的训练集；
利用训练集在成像质量评价模型中进行前向传播及误差反向传播训练，构建特征矩阵与主观感知分数的回归模型，当测试满足预设标准时将模型进行输出；
将待评价成像数据的全局特征及局部特征输入，获取待评价成像数据的评价分数及评价等级。
2.根据权利要求1所述的一种微光成像单元的成像评价方法，其特征在于，获取微光成像单元的待评价成像数据，将所述待评价成像数据进行特征提取，得到待评价成像数据的显著性特征，具体为：
获取微光成像单元输出的待评价成像数据，将所述待评价成像数据进行预处理，通过预处理进行滤波去噪；
将预处理后的待评价成像数据通过卷积层进行特征提取，在每个卷积层设置池化层，利用Relu激活函数将各层特征进行连接，获取若干级联特征向量，将所述级联特征向量进行编码；
每个级联特征向量对应待评价成像数据中的视觉特征，引入视觉注意力机制通过连接Softmax分类器获取每个时间步上的注意力权重，将所述注意力权重与编码后的级联特征向量进行加权组合，反应各级联特征向量对于目标识别的贡献程度；
将加权组合后的级联特征向量进行解码，获取待评价成像数据的显著性特征，生成显著性图像。
3.一种微光成像单元的成像评价系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括微光成像单元的成像评价方法程序，所述微光成像单元的成像评价方法程序被所述处理器执行时实现如下步骤：
获取微光成像单元的待评价成像数据，将所述待评价成像数据进行特征提取，得到待评价成像数据的显著性特征；
获取预设识别目标的目标特征，根据显著性特征及所述目标特征对待评价成像数据进行图像分割，获取感兴趣区域；
选取微光成像质量评价指标对待评价成像数据的特征进行提取，获取各微光成像质量评价指标对应的指标特征；
基于多层感知机构建成像质量评价模型，根据所述指标特征获取待评价成像数据的评价结果；
获取预设识别目标的目标特征，根据显著性特征及所述目标特征对待评价成像数据进行图像分割，获取感兴趣区域，具体为：
获取待评价成像数据的应用特征，基于所述应用特征确定预设识别目标，并利用大数据手段获取预设识别目标的目标特征；
将待评价成像数据对应的显著性图像进行二值化处理，获取初始感兴趣区域，将所述初始感兴趣区域利用二值图进行表示后并进行图像分割，获取初始感兴趣区域的轮廓信息，基于所述轮廓信息提取边缘特征；
将边缘特征、显著性特征与目标特征根据预设图像块大小进行相似度计算，判断各图像块的相似度是否大于预设相似度阈值，并统计符合相似度标准的图像块数量；
当所述图像块数量大于预设第二数量阈值时，则根据初始感兴趣区域确定感兴趣区域；
当所述图像块数量大于预设第一数量阈值且小于预设第二数量阈值时，则获取不符合相似度标准的图像块进行二值化的修正，根据修正结果结合初始感兴趣区域确定感兴趣区域；
所述预设第二数量阈值大于所述预设第一数量阈值；
选取微光成像质量评价指标对待评价成像数据的特征进行提取，具体为：
根据亮度分布将待评价成像数据划分为不同子区域，并将亮度差异符合预设要求的子区域划分为同一亮度类别区域，获取不同类别区域的亮度特征；
预设亮度阈值，基于所述亮度阈值筛选各类别区域，将亮度大于所述亮度阈值的亮度类别区域进行标记，在标记亮度类别区域中获取区域信息熵；
获取待评价成像数据的RGB三个颜色通道的颜色分量，将所述颜色分量映射到LUV色度空间，得到对应的色度坐标生成颜色特征；
并在标记亮度类别区域中利用CANNY边缘检测算子进行边缘检测，获取边缘特征；
将所述不同类别区域的亮度特征、区域信息熵、颜色特征及边缘特征结合预设权重信息获取待评价成像数据的全局特征；
获取感兴趣区域与背景区域的均方误差、局部离散度及差异离散度，通过感兴趣区域与背景区域的信息熵比值获取目标对比度特征；
将所述均方误差、局部离散度及差异离散度、目标对比度特征作为待评价成像数据的局部特征；
基于多层感知机构建成像质量评价模型，根据所述指标特征获取待评价成像数据的评价结果，具体为：
通过多层感知机构建成像质量评价模型，根据待评价成像数据的全局特征及局部特征设置两个隐含层，通过全连接层的形式进行连接；
在所述成像质量评价模型中引入自注意力机制，生成全局特征及局部特征的自注意力权重，表征特征的重要程度；
获取图像质量评价相关数据集，提取预设识别目标图像数据的特征矩阵及主观感知分数，生成成像质量评价模型的训练集；
利用训练集在成像质量评价模型中进行前向传播及误差反向传播训练，构建特征矩阵与主观感知分数的回归模型，当测试满足预设标准时将模型进行输出；
将待评价成像数据的全局特征及局部特征输入，获取待评价成像数据的评价分数及评价等级。
4.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中包括微光成像单元的成像评价方法程序，所述微光成像单元的成像评价方法程序被处理器执行时，实现如权利要求1至2中任一项所述的微光成像单元的成像评价方法步骤。
CN202310568340.3A 2023-05-19 2023-05-19 一种微光成像单元的成像评价方法、系统及存储介质 Active CN116309581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310568340.3A CN116309581B (zh) 2023-05-19 2023-05-19 一种微光成像单元的成像评价方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310568340.3A CN116309581B (zh) 2023-05-19 2023-05-19 一种微光成像单元的成像评价方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN116309581A CN116309581A (zh) 2023-06-23
CN116309581B true CN116309581B (zh) 2024-02-27

Family

ID=86781951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310568340.3A Active CN116309581B (zh) 2023-05-19 2023-05-19 一种微光成像单元的成像评价方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN116309581B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
CN108717694A (zh) * 2018-04-24 2018-10-30 天津大学 基于模糊c均值聚类的电阻抗层析成像图像质量评价方法
CN109740592A (zh) * 2018-12-04 2019-05-10 上海大学 基于记忆的图像质量无参评估方法
CN115063449A (zh) * 2022-07-06 2022-09-16 西北工业大学 用于目标跟踪的面向高光谱视频的三通道视频输出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
CN108717694A (zh) * 2018-04-24 2018-10-30 天津大学 基于模糊c均值聚类的电阻抗层析成像图像质量评价方法
CN109740592A (zh) * 2018-12-04 2019-05-10 上海大学 基于记忆的图像质量无参评估方法
CN115063449A (zh) * 2022-07-06 2022-09-16 西北工业大学 用于目标跟踪的面向高光谱视频的三通道视频输出方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NO-REFERENCE QUALITY ASSESSMENT OF NIGHT-TIME IMAGES VIA THE ANALYSIS OF LOCAL AND GLOBAL FEATURES;Chunying Song et al.;2021 IEEE international conference on multimedia & expo workshops(ICMEW);第1-6页 *
Subjective low‑light image enhancement based on a foreground saliency map model;Pengcheng Hao et al.;Multimedia Tools and Applications;第4961-4978页 *

Also Published As

Publication number Publication date
CN116309581A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN109544555B (zh) 基于生成式对抗网络的细小裂缝分割方法
US9940655B2 (en) Image processing
CN109271895B (zh) 基于多尺度特征学习和特征分割的行人重识别方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
US9330336B2 (en) Systems, methods, and media for on-line boosting of a classifier
CN109948566B (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
CN116091883B (zh) 基于多源信息融合的目标检测识别方法、系统及存储介质
CN108829711B (zh) 一种基于多特征融合的图像检索方法
Pan et al. No-reference assessment on haze for remote-sensing images
CN113313149B (zh) 一种基于注意力机制和度量学习的菜品识别方法
CN106372624A (zh) 人脸识别方法及系统
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN110826509A (zh) 一种基于高分遥感影像的草原围栏信息提取系统及方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
JP2006127024A (ja) 領域分割方法及び装置、画像認識処理装置、プログラム、記録媒体
CN114926826A (zh) 场景文本检测系统
CN111967331B (zh) 基于融合特征和字典学习的人脸表示攻击检测方法及系统
CN112818774A (zh) 一种活体检测方法及装置
CN116309581B (zh) 一种微光成像单元的成像评价方法、系统及存储介质
CN113011246A (zh) 票据分类方法、装置、设备及存储介质
CN115761223A (zh) 一种利用数据合成的遥感影像实例分割方法
CN112348011B (zh) 一种车辆定损方法、装置及存储介质
CN114821333A (zh) 一种高分辨率遥感影像道路材质识别方法及装置
Hong et al. Saliency-based feature learning for no-reference image quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant