CN111104943A - 基于决策级融合的彩色图像感兴趣区域提取方法 - Google Patents

基于决策级融合的彩色图像感兴趣区域提取方法 Download PDF

Info

Publication number
CN111104943A
CN111104943A CN201911297934.5A CN201911297934A CN111104943A CN 111104943 A CN111104943 A CN 111104943A CN 201911297934 A CN201911297934 A CN 201911297934A CN 111104943 A CN111104943 A CN 111104943A
Authority
CN
China
Prior art keywords
image
map
rgb image
rgb
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911297934.5A
Other languages
English (en)
Other versions
CN111104943B (zh
Inventor
吴宪云
司鹏辉
李云松
王柯俨
苏丽雪
王康
孙力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yixin Yiyi Information Technology Co Ltd
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201911297934.5A priority Critical patent/CN111104943B/zh
Publication of CN111104943A publication Critical patent/CN111104943A/zh
Application granted granted Critical
Publication of CN111104943B publication Critical patent/CN111104943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于决策级融合的彩色图像感兴趣区域提取方法，主要解决现有技术中感兴趣区域提取方法的适用范围有限，感兴趣区域提取的精度不足的问题。其实现步骤为：获取训练数据集；获取RGB图像I的目标分割图I1；获取RGB图像I的景深分割图I2；获取RGB图像I的热度分割图I3；获取RGB图像I的显著性分割图I4；对I1、I2、I3和I4进行决策级融合。本发明从像素级分类角度、摄像机与感兴趣区域的距离角度、视觉关注角度、频率角度综合分析，融合四个方面的优势，拓宽感兴趣区域提取方法的适用范围，提高感兴趣区域提取的准确性，可用于目标检测、障碍物识别、图像视觉监控、行人检测等领域。

Description

基于决策级融合的彩色图像感兴趣区域提取方法
技术领域
本发明属于图像处理技术领域，涉及一种对彩色图像中感兴趣区域的提取方法，具体涉及一种基于决策级融合的彩色图像感兴趣区域提取方法，可用于目标检测、障碍物识别、图像视觉监控、行人检测等领域。
背景技术
在目标检测、障碍物识别、图像检索等领域，往往只会将注意力集中于少数的目标，但是图像处理算法却是针对整幅图像的。如果在图像处理中把计算资源用于处理感兴趣区域，将会大大降低算法的计算量，有效提高信息处理的效率，节省计算机资源，增加算法的工程实现的可能。
感兴趣区域ROI是图像中可能引起人眼视觉关注的区域。通常，人们总是能迅速地把目光集中在自己想要了解的区域。ROI检测将人类的视觉注意机制引入到图像分析过程中，对于提高现有图像分析系统的工作效率有着积极的作用，同时在视频压缩与编码、图像检索、场景渲染、图像重定向等领域也得到了应用。
现有的感兴趣区域算法都依赖于图像的颜色、形状、纹理、语义特征等。感兴趣区域提取一般从两方面着手解决：一是利用图像分割技术提取感兴趣区域；二是从人眼的视觉特性出发，通过模拟人眼的视觉特点，寻找特定的视觉敏感区域。
基于图像分割理论的感兴趣区域提取方法有大津法OTSU等，在针对简单背景图像进行自动图像分割效果相对较好，且全程自动提取，不需要人机交互，比较适用于大量背景简单图片的处理。
人类视觉系统在面对自然场景时具有快速搜索和定位感兴趣目标的能力，Itti等人基于显著性映射和特征整合理论提出的视觉注意模型最具代表性，该模型已经成为了自下而上视觉注意模型的标准。近年来视觉注意又有了长足的发展，模型包括：基于认知、贝叶斯、决策论、信息论、频域分析、基于模式分类的等。
2015年Jonathan等人提出全卷积网络FCN模型，首次针对语义级分割训练一个端到端的网络，对图像进行像素级分类，基于语义分割的感兴趣提取方式有了飞速的发展，并且语义分割方法近几年又提出了很多模型。
现有技术中，每种技术的适用范围有限，难以适用于不同类型、不同目标的图像，提取的感兴趣区域不够准确，尤其对于复杂背景图像，背景影响过大，提取的感兴趣区域常混有背景信息。
发明内容
本发明的目的在于针对上述现有技术存在的不足，提供一种基于决策级融合的彩色图像感兴趣区域提取方法，旨在拓宽感兴趣区域提取方法的适用范围，并提高感兴趣区域提取的精度，降低复杂背景信息的影响。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)获取训练数据集；
对与待提取感兴趣区域RGB图像I目标特征相同的M幅RGB图像分别添加标签，并将该M幅RGB图像及其各自的标签作为训练数据集，M≥1000；
(2)获取RGB图像I的目标分割图I1：
(2a)将步骤(1)训练数据集中的每幅RGB图像进行直方图均衡化，得到均衡化后的数据集；
(2b)将均衡化后的数据集作为全卷积网络FCN的输入进行迭代训练，并将RGB 图像I作为训练好的全卷积网络FCN的输入进行像素级分类，得到I的像素级分类图；
(2c)对I的像素级分类图进行边缘剔除，得到RGB图像I的目标分割图I1；
(3)获取RGB图像I的景深分割图I2：
(3a)采用暗通道先验算法并通过雾图成像模型对RGB图像I的透射率图t进行估计，并将RGB图像I的灰度图作为引导图，对透射率图t进行引导滤波，得到滤波后的透射率图t'；
(3b)通过滤波后的透射率图t'计算RGB图像I的景深图像d，并采用大津法 OTSU计算景深图像d的阈值；
(3c)根据景深图像d的阈值对d进行前后景分割，得到RGB图像I的景深分割图 I2；
(4)获取RGB图像I的热度分割图I3：
(4a)将步骤(1)中的训练数据集作为自注意力机制网络的输入，进行迭代训练，并将RGB图像I的灰度图作为训练好的自注意力机制网络的输入进行自注意力强度计算，得到I的自注意力热度图；
(4b)采用最大熵阈值法，计算I的自注意力热度图的阈值，并根据该阈值对I的自注意力热度图进行二值化，得到RGB图像I的热度分割图I3；
(5)获取RGB图像I的显著性分割图I4：
(5a)采用FT算法计算RGB图像I的显著值图S，并采用大津法OTSU计算显著值图S的阈值；
(5b)通过显著值图S的阈值对S进行前后景分割，得到RGB图像I的显著性分割图I4；
(6)对I1、I2、I3和I4进行决策级融合：
(6a)把I1、I2、I3和I4按层排列，得到三维图像I5，并采用主成分分析PCA方法对I5进行特征提取，得到特征图；
(6b)采用支持向量机SVM，对特征图进行特征融合，并对特征融合所获取的结果进行形态学闭操作，得到二值图像Id；
(6c)将二值图像Id与RGB图像I进行点乘操作，得到RGB图像I的感兴趣区域。
本发明与现有技术相比，具有如下优点：
第一，本发明所获取的RGB图像I的感兴趣区域，是通过对目标分割图、景深分割图、热度分割图和显著性分割图进行决策级融合的方法实现的，兼顾了通过四种分割图各自提取感兴趣区域的优点，并弥补了各自的缺陷，有效拓宽了感兴趣区域提取方法的适用范围，提高了感兴趣区域提取的精度，并降低了复杂背景的影响。
第二，本发明计算景深分割图时，采用暗通道先验算法并通过雾图成像模型估计大气光透射率，并用透射率估计图像景深图，以景物到相机的距离为依据，提高感兴趣区域提取的精度。
第三，本发明计算四种分割图，四种分割图的计算过程互相独立，可并行计算，一个分割图在计算时出错不会完全影响最终结果，提高了方法的容错性，满足工程使用需求。
附图说明
图1为本发明的实现流程图；
图2为本发明中计算景深图的实现流程图；
图3为本发明中计算显著值图的实现流程图。
具体实施方式
以下结合附图和具体实施例，对本发明作进一步详细描述。
步骤1)获取训练数据集。
对与待提取感兴趣区域RGB图像I目标特征相同的M幅RGB图像分别添加标签，并将该M幅RGB图像及其各自的标签作为训练数据集，M≥1000，本实例M＝1500。
目标特征相同表示在采集图像的时候，感兴趣区域绝大多数在前景部分，后景部分为背景，在添加标签的时候，同一幅图像中的同一目标使用同一种颜色，不同的目标用不同的颜色。
步骤2)获取RGB图像I的目标分割图I1。
(2a)将步骤1)中的训练数据集中的每幅RGB图像进行直方图均衡化，得到均衡化后的数据集。
直方图均衡化对于背景和前景都过亮或者过暗的图像都非常有用，能更好的显示曝光过度或者曝光不足照片中的细节。这种方法的一个主要优势是它是一个相当直观的技术并且是可逆操作，如果已知均衡化函数，那么就可以恢复原始的直方图，并且计算量不大。直方图均衡化通过使用累积函数对灰度值进行映射，亮度可以更好地在直方图上分布，以实现对比度的增强。
(2b)将均衡化后的数据集作为全卷积网络FCN的输入进行迭代训练，并将RGB 图像I作为训练好的全卷积网络FCN的输入进行像素级分类，得到I的像素级分类图。
全卷积网络FCN，包括顺次连接的特征提取网络、区域检测网络和分类器，其中，特征提取网络用于提取RGB彩色图像I的多维图像特征，区域检测网络用于提取多维图像特征的可能性区域，分类器用于对可能性区域进行像素级分类。
全卷积网络FCN种类包括FCN-32s、FCN-16s、FCN-8s，FCN-alexnet等，本实例采用但不限于FCN-8s网络，其中包含5个卷积层进行特征提取，3个反卷积层提取可能性区域，和softmax层实现分类器。
全卷积网络FCN对图像进行像素级的分类，解决了语义级别的图像分割问题。与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类不同，FCN 可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的特征图进行上采样，使它恢复到输入图像的尺寸，从而对每一个像素都产生一个预测，同时保留了原始输入图像的空间信息，最后对上采样的特征图进行像素的分类。FCN是从抽象的特征中恢复出每个像素所属的类别，即从图像级别的分类延伸到像素级别的分类。
(2c)对I的像素级分类图进行边缘剔除，得到RGB图像I的目标分割图I1。
图像中相邻两种地物间灰度值相差较大的线即为不同地物的分界线，即边缘，包含边缘的子块可能包含不同的地物，这样的子块是不均匀的子块，应该舍去。如果检测出热度图像中不同地物的边缘，并将包含边缘的子块进行标记然后去除，就可以减小图像中不均匀子块对感兴趣区域的影响，从而优化FCN网络计算的结果，提高方法的准确性和健壮性。
(2c1)对I的像素级分类图进行高斯滤波，得到降噪图Idnoise；
(2c2)采用Canny算子提取降噪图Idnoise的边缘，得到边缘轮廓图Iedge，并Idnoise的每一个像素与Iedge对应位置像素点进行相加，实现对降噪图Idnoise的边缘增强，得到边缘增强图Idnoise'；
(2c3)采用区域增长算法对边缘增强图Idnoise'进行图像分割，得到分割图Iseg，并对分割图Iseg进行形态学膨胀，然后对膨胀结果进行孔洞填充，得到RGB图像I的目标分割图I1。
步骤3)获取RGB图像I的景深分割图I2。
在图像去雾算法的研究中，根据大气散射模型原理产生的雾成像模型被广泛使用，该模型被总结为：
I(x)＝J(x)t(x)+A(1-t(x)) <1>
其中，J(x)t(x)为衰减项，A(1-t(x))代表大气光项。I指实际得到的有雾图像的像素值，J指目标景物原本反射光线的强度即原始像素值，A代表大气光值，t(x)是媒介透射率，表示大气光能透过大气媒介到达摄像头的比率。
当大气光成分各向同性时，景物透射率大小仅与相机距目标景物的直线距离，即景深，以及大气散射系数相关，如下式所示：
t(x)＝e-βd(x) <2>
其中，β表示大气散射系数，d表示景深，景深d与透射率t呈负指数相关。
根据雾成像模型，对于晴朗天气，β→0，此时透射率t为1，I(x)＝J(x)，相机得到的图像即为原始景物图像；对于有雾天气，雾越浓，大气散射系数β越大，t→0, 大气光就会对得到的景物图像影响越大，拍摄到的物体越模糊。当d＝0，t＝1；d→∞， t→0，即当景深距离越近，大气散射作用越小，透射率t越大，看到的景物越清晰；当景深距离越远，透射率t越小，看到的景物越模糊，也越接近大气光。因此，由雾成像模型得到的景物图模拟了真实观测的情况。由此而得景深计算公式如下：
Figure RE-GDA0002414071950000061
其中β＝0.1。
(3a)采用暗通道先验算法并通过雾图成像模型对RGB图像I的透射率图t进行估计，并将RGB图像I的灰度图作为引导图，对透射率图t进行引导滤波，得到滤波后的透射率图t'。
暗通道先验是何凯明等人通过对户外大量无雾景物图像的统计观察得出的：对绝大多数室外拍摄图像，图像中的某一些像素点总会在至少一个颜色通道具有很低强度值。对于一幅图像J，有:
Jdark(x)＝minc∈{r,g,b}(miny∈Ω(x)(Jc(y))) <4>
Jc代表图像J在某个颜色通道的值，Ω(x)表示以像素点x为中心的一块方形邻域通过大量的统计观察得出，对于大部分的户外景象，除了天空等明亮区域的部分，Jdark的强度总是很低并且趋近于0。本发明把Jdark称为J的暗通道图，上述观察得出的经验性规律即为暗通道先验。
结合雾成像模型以及暗通道先验理论得到初始透射率为：
Figure RE-GDA0002414071950000062
由于雾的存在是人眼感受景物深度的一个基本线索，彻底去雾会影响图像的真实感。因此，在上式中引入一个常数ω，通过引入ω来保留图像的深度感和真实感，ω∈[0,1]，ω取值越大表示去雾越彻底，本实例选取ω＝0.95。即：
Figure RE-GDA0002414071950000063
景物透射率的计算基于假设景物透射率在邻域Ω(x)范围内恒定不变，但在实际应用中，这一假设在很多情况并不成立，在图像中景物的边缘部分尤为明显，因此计算得到的景物透射率图存在大量的块效应。本发明用何凯明在2010年提出的导向滤波算法对景物透射率进行精细化，不仅处理速度快，而且对景物的边缘保持效果很好。
在选取引导图方面，去雾算法研究当中有两种方法：一种是采用RGB三通道分别当成引导图，对透射率做三次引导滤波，得到三个精细化透射率图，然后用三个精细化透射率图分别恢复RGB三通道的图像；另外一种方式是，采用灰度图，对透射率图进行一次引导滤波，用这一个透射率图恢复RGB三通道图。实验证明两种方式结果相似，但是第二种方法计算量小，故本发明采用RGB图像的灰度图作为引导图。
(3a1)计算RGB图像I每个像素所在位置的RGB三通道中的最小值，得到最小值图Imin，并对Imin进行最小值滤波，得到暗通道图Idark。
(3a2)根据暗通道图Idark计算RGB图像I的大气光A。
何凯明提出暗通道去雾算法的时候，曾指出估计大气光值的方法是找到暗通道图像中最亮的前0.1％像素点的位置，并取原始雾图中对应位置的亮度最大的像素值作为大气光值。
在计算暗通道图中最亮的前0.1％像素点的时候，类似的问题是排序问题中的Top-k问题，常用做法是，对图像中所有像素值进行降序排序，然后取前0.1％像素。但是由于图像的特殊性，像素值的范围是0～255，本实例采用直方图对暗通道图进行统计，然后直接从像素值255的数量开始计算，找到最亮的前0.1％像素值的阈值，然后根据该阈值对暗通道图进行二值化，找到相应位置。与排序算法相比直方图统计的方法，提高了找到相应位置的速度。
在计算大气光值的时候，为了降低大气光数据的误差，本发明将原图中相应位置的所有像素值进行平均，得到RGB图像I的大气光A。
RGB图像I的大气光A的计算步骤为：
(3a2a)根据暗通道图Idark的直方图h计算Idark灰度值最大的前0.1％像素点对应的灰度值下界l，并以l为阈值对Idark进行二值化，得到二值图像I'；
(3a2b)将二值图像I'与RGB图像I的三通道图Ir、Ig和Ib分别进行点乘，并通过点乘所得到的RGB三通道的大气光提取图Ir'、Ig'和Ib'，计算RGB图像I的大气光 A＝{Ar,Ag,Ab}，其中，
Figure RE-GDA0002414071950000071
c∈{r,g,b}，w和h分别为I的宽和高，Ar、Ag、Ab分别为RGB三通道的大气光值。
(3a3)根据A和图像I的RGB三通道图Ir、Ig和Ib，计算透射率图t：
Figure RE-GDA0002414071950000081
其中Ir(y)、Ig(y)、Ib(y)分别为Ir、Ig、Ib在坐标y处的像素值，x表示任意像素点的坐标，Ω(x)为以坐标x为中心的正方形邻域，ω为常数，0≤ω≤1，本实例中正方形邻域大小为15×15，ω采用0.95，此处的参数根据实际需求设定。
(3a4)对t和RGB图像I的灰度图Igray分别进行均值滤波，得到均值滤波后的透射率图tmean和灰度图Imean，并根据Imean和tmean计算Igray的方差系数矩阵varIgray，以及Igray与t的协方差系数矩阵covIt；
(3a5)根据varIgray、covIt、tmean和Imean，计算第一线性系数矩阵a和第二线性系数矩阵b：
a＝covIt./(varIgray+ε) <8>
b＝tmean-a.*Imean <9>
其中，ε为修正因子，本发明取ε＝10-5；
(3a6)对第一线性系数矩阵a和第二线性系数矩阵b分别进行均值滤波，并根据 a的滤波结果amean和b的滤波结果bmean，计算透射率图t'，t'＝amean.*Igray+bmean。
(3b)通过滤波后的透射率图t'计算RGB图像I的景深图像d，并采用大津法 OTSU计算景深图像d的阈值；
其中d中每个像素点的景深值的计算公式为：
Figure RE-GDA0002414071950000082
其中，β是大气的散射系数，取β＝0.1，z表示任意像素点的位置，In(·)为对数运算。
常用的阈值分割算法包括：大律法OTSU、最大熵阈值分割算法、自适应阈值分割法、根据经验人工设定等。
大津法OTSU又叫做最大类间方差法，阈值分割出的前景和背景两部分构成了整幅图像，因为方差是灰度分布均匀性的一种度量，方差越大，说明构成图像的两部分差别越大，当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小。本实例景深图背景比较复杂，因此此处使用大津法使得错分概率最小。
(3c)根据景深图像d的阈值对d进行前后景分割，得到RGB图像I的景深分割图 I2。
步骤4)获取RGB图像I的热度分割图I3。
(4a)将步骤1)中的训练数据集作为自注意力机制网络的输入，进行迭代训练，并将RGB图像I的灰度图作为训练好的自注意力机制网络的输入进行自注意力强度计算，得到I的自注意力热度图；
自注意力机制网络，包括顺次连接的关系提取网络、自注意力网络和判决网络，其中，关系提取网络用于提取RGB图像I各像素的关系特征；自注意力网络用于通过计算RGB图像I的注意力权重，计算I的关系特征的权重和；判决网络包含依次连接的 LSTM层、卷积层、全连接层和分类器，用于对权重和进行分类判决，以获取自注意力热度图。
本实例采用但不限于如下网络架构。用两个全连接层提取RGB图像I各像素的关系特征；自注意力网络由用一个全连接层计算RGB图像I与每个计算点的表征相似度，并将结果进行加权求和；判决网络由LSTM层，卷积层，全连接层依次连接，并用softmax进行类别预测输出。本实例中的判决网络采用但不限于LSTM层。
(4b)采用最大熵阈值法，计算I的自注意力热度图的阈值，并根据该阈值对I的自注意力热度图进行二值化，得到RGB图像I的热度分割图I3。
熵是用来衡量一个分布的均匀程度，熵越大，说明分布越均匀。本实例此处阈值分割使用最大熵阈值分割法，目的就是使得前景分布和后景分布都比较均匀。计算所有分割阈值下的图像总熵，找到最大的熵，将使用最大熵计算的的分割阈值作为最终的阈值，以此阈值对自注意力热度图进行前后景分割。
步骤5)获取RGB图像I的显著性分割图I4。
(5a)采用FT算法计算RGB图像I的显著值图S，并采用大津法OTSU计算显著值图S的阈值。
显著值计算的方法包括：LC算法、HC算法、AC算法、FT算法等。FT算法从频率角度分析图像，图像在频率域可以分成低频部分和高频部分。低频部分反映了图像的整体信息，如物体的轮廓，基本的组成区域。高频部分反映了图像的细节信息，如物体的纹理，显著性区域检测用到的更多的是低频部分的信息。本实例从频域角度进行设计，采用了但不限于FT算法。
FT算法计算RGB图像I的显著值图S的实现步骤为：
(5a1)对RGB图像I进行高斯滤波，并将高斯滤波的结果IGaus转换到Lab颜色空间，得到Lab颜色空间下图像ILab；
(5a2)计算ILab三通道图L、A和B的均值Lm、Am和Bm，并采用欧式距离公式计算ILab中每个像素点p的显著值S(p)，得到RGB图像I的显著值图S，其中 S(p)＝(L(p)-Lm)2+(A(p)-Am)2+(B(p)-Bm)2，其中，L(p)、A(p)和B(p)分别为像素点p三通道图L、A和B的像素值。
(5b)通过显著值图S的阈值对S进行前后景分割，得到RGB图像I的显著性分割图I4。
步骤6)对I1、I2、I3和I4进行决策级融合。
(6a)对I1、I2、I3和I4按层排列，得到三维图像I5，并采用主成分分析PCA方法对I5进行特征提取，得到特征图；
(6b)采用支持向量机SVM，对特征图进行特征融合，并对特征融合所获取的结果进行形态学闭操作，得到二值图像Id；
(6c)将二值图像Id与RGB图像I进行点乘操作，得到RGB图像I的感兴趣区域。
本发明采用决策级融合的方法，从像素级分类角度、摄像机与感兴趣区域的距离角度、视觉关注角度、频率角度分析，结合四种感兴趣区域提取方式的优点，四种方法互相弥补各自缺陷，有效拓宽了感兴趣区域提取方法的适用范围，提高了感兴趣区域提取的精度，并降低了复杂背景的影响。

Claims (7)

1.一种基于决策级融合的彩色图像感兴趣区域提取方法，其特征在于，包括如下步骤：
(1)获取训练数据集；
对与待提取感兴趣区域RGB图像I目标特征相同的M幅RGB图像分别添加标签，并将该M幅RGB图像及其各自的标签作为训练数据集，M≥1000；
(2)获取RGB图像I的目标分割图I1：
(2a)将步骤(1)训练数据集中的每幅RGB图像进行直方图均衡化，得到均衡化后的数据集；
(2b)将均衡化后的数据集作为全卷积网络FCN的输入进行迭代训练，并将RGB图像I作为训练好的全卷积网络FCN的输入进行像素级分类，得到I的像素级分类图；
(2c)对I的像素级分类图进行边缘剔除，得到RGB图像I的目标分割图I1；
(3)获取RGB图像I的景深分割图I2：
(3a)采用暗通道先验算法并通过雾图成像模型对RGB图像I的透射率图t进行估计，并将RGB图像I的灰度图作为引导图，对透射率图t进行引导滤波，得到滤波后的透射率图t'；
(3b)通过滤波后的透射率图t'计算RGB图像I的景深图像d，并采用大津法OTSU计算景深图像d的阈值；
(3c)根据景深图像d的阈值对d进行前后景分割，得到RGB图像I的景深分割图I2；
(4)获取RGB图像I的热度分割图I3：
(4a)将步骤(1)中的训练数据集作为自注意力机制网络的输入，进行迭代训练，并将RGB图像I的灰度图作为训练好的自注意力机制网络的输入进行自注意力强度计算，得到I的自注意力热度图；
(4b)采用最大熵阈值法，计算I的自注意力热度图的阈值，并根据该阈值对I的自注意力热度图进行二值化，得到RGB图像I的热度分割图I3；
(5)获取RGB图像I的显著性分割图I4：
(5a)采用FT算法计算RGB图像I的显著值图S，并采用大津法OTSU计算显著值图S的阈值；
(5b)通过显著值图S的阈值对S进行前后景分割，得到RGB图像I的显著性分割图I4；
(6)对I1、I2、I3和I4进行决策级融合：
(6a)把I1、I2、I3和I4按层排列，得到三维图像I5，并采用主成分分析PCA方法对I5进行特征提取，得到特征图；
(6b)采用支持向量机SVM，对特征图进行特征融合，并对特征融合所获取的结果进行形态学闭操作，得到二值图像Id；
(6c)将二值图像Id与RGB图像I进行点乘操作，得到RGB图像I的感兴趣区域。
2.根据权利要求1所述的基于决策级融合的彩色图像感兴趣区域提取方法，其特征在于，步骤(2b)中所述的全卷积网络FCN，包括顺次连接的特征提取网络、区域检测网络和分类器，其中，特征提取网络用于提取RGB图像I的多维图像特征，区域检测网络用于提取多维图像特征的可能性区域，分类器用于对可能性区域进行像素级分类。
3.根据权利要求1所述的基于决策级融合的彩色图像感兴趣区域提取方法，其特征在于，步骤(2c)中所述的对I的像素级分类图进行边缘剔除，实现步骤为：
(2c1)对I的像素级分类图进行高斯滤波，得到降噪图Idnoise；
(2c2)采用Canny算子提取降噪图Idnoise的边缘，得到边缘轮廓图Iedge，并将Idnoise的每一个像素与Iedge对应位置像素点进行相加，实现对降噪图Idnoise的边缘增强，得到边缘增强图Idnoise'；
(2c3)采用区域增长算法对边缘增强图Idnoise'进行图像分割，得到分割图Iseg，并对分割图Iseg进行形态学膨胀，然后对膨胀结果进行孔洞填充，得到RGB图像I的目标分割图I1。
4.根据权利要求1所述的基于决策级融合的彩色图像感兴趣区域提取方法，其特征在于，步骤(3a)所述的得到滤波后的透射率图t'，实现步骤为：
(3a1)计算RGB图像I每个像素所在位置的RGB三通道中的最小值，得到最小值图Imin，并对Imin进行最小值滤波，得到暗通道图Idark；
(3a2)根据暗通道图Idark计算RGB图像I的大气光A：
(3a2a)根据暗通道图Idark的直方图h计算Idark灰度值最大的前0.1％像素点对应的灰度值下界l，并以l为阈值对Idark进行二值化，得到二值图像I'；
(3a2b)将二值图像I'与RGB图像I的三通道图Ir、Ig和Ib分别进行点乘，并通过点乘所得到的RGB三通道的大气光提取图Ir'、Ig'和Ib'，计算RGB图像I的大气光A＝{Ar,Ag,Ab}，其中，
Figure FDA0002321061810000031
c∈{r,g,b}，w和h分别为I的宽和高，Ar、Ag、Ab分别为RGB三通道的大气光值；
(3a3)根据A和图像I的RGB三通道图Ir、Ig和Ib，计算透射率图t：
Figure FDA0002321061810000032
其中Ir(y)、Ig(y)、Ib(y)分别为Ir、Ig、Ib在坐标y处的像素值，x表示任意像素点的坐标，Ω(x)为以坐标x为中心的正方形邻域，ω为常数，0≤ω≤1；
(3a4)对t和RGB图像I的灰度图Igray分别进行均值滤波，得到均值滤波后的透射率图tmean和灰度图Imean，并根据Imean和tmean计算Igray的方差系数矩阵varIgray，以及Igray与t的协方差系数矩阵covIt；
(3a5)根据varIgray、covIt、tmean和Imean，计算第一线性系数矩阵a和第二线性系数矩阵b：
a＝covIt./(varIgray+ε)
b＝tmean-a.*Imean
其中，ε为修正因子；
(3a6)对第一线性系数矩阵a和第二线性系数矩阵b分别进行均值滤波，并根据a的滤波结果amean和b的滤波结果bmean，计算透射率图t'，t'＝amean.*Igray+bmean。
5.根据权利要求1所述的基于决策级融合的彩色图像感兴趣区域提取方法，其特征在于，步骤(3b)中所述的计算RGB图像I的景深图像d，其中d中每个像素点的景深值的计算公式为：
Figure FDA0002321061810000041
其中，β是大气的散射系数，z表示任意像素点的位置，In(·)为对数运算。
6.根据权利要求1所述的基于决策级融合的彩色图像感兴趣区域提取方法，其特征在于，步骤(4a)中所述的自注意力机制网络，包括顺次连接的关系提取网络、自注意力网络和判决网络，其中，关系提取网络用于提取RGB图像I各像素的关系特征；自注意力网络用于通过计算RGB图像I的注意力权重，计算I的关系特征的权重和；判决网络包含依次连接的LSTM层、卷积层、全连接层和分类器，用于对权重和进行分类判决，以获取自注意力热度图。
7.根据权利要求1所述的基于决策级融合的彩色图像感兴趣区域提取方法，其特征在于，步骤(5a)所述的采用FT算法计算RGB图像I的显著值图S，实现步骤为：
(5a1)对RGB图像I进行高斯滤波，并将高斯滤波的结果IGaus转换到Lab颜色空间，得到Lab颜色空间下图像ILab；
(5a2)计算ILab三通道图L、A和B的均值Lm、Am和Bm，并采用欧式距离公式计算ILab中每个像素点p的显著值S(p)，得到RGB图像I的显著值图S，其中S(p)＝(L(p)-Lm)2+(A(p)-Am)2+(B(p)-Bm)2，其中，L(p)、A(p)和B(p)分别为像素点p三通道图L、A和B的像素值。
CN201911297934.5A 2019-12-17 2019-12-17 基于决策级融合的彩色图像感兴趣区域提取方法 Active CN111104943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911297934.5A CN111104943B (zh) 2019-12-17 2019-12-17 基于决策级融合的彩色图像感兴趣区域提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911297934.5A CN111104943B (zh) 2019-12-17 2019-12-17 基于决策级融合的彩色图像感兴趣区域提取方法

Publications (2)

Publication Number Publication Date
CN111104943A true CN111104943A (zh) 2020-05-05
CN111104943B CN111104943B (zh) 2022-05-17

Family

ID=70421686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911297934.5A Active CN111104943B (zh) 2019-12-17 2019-12-17 基于决策级融合的彩色图像感兴趣区域提取方法

Country Status (1)

Country Link
CN (1) CN111104943B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950501A (zh) * 2020-08-21 2020-11-17 东软睿驰汽车技术（沈阳）有限公司 障碍物检测方法、装置以及电子设备
CN112241690A (zh) * 2020-09-25 2021-01-19 天津大学 一种bim驱动的输水渠道航拍图像兴趣区提取方法
CN112541912A (zh) * 2020-12-23 2021-03-23 中国矿业大学 矿井突发灾害场景中显著性目标的快速检测方法及装置
CN112634382A (zh) * 2020-11-27 2021-04-09 国家电网有限公司大数据中心 一种非自然对象的图像识别、替换方法和装置
CN113269786A (zh) * 2021-05-19 2021-08-17 青岛理工大学 基于深度学习和引导滤波的装配体图像分割方法及设备
CN113538379A (zh) * 2021-07-16 2021-10-22 河南科技学院 一种基于rgb与灰度图像的双流编码融合显著性检测方法
CN113743523A (zh) * 2021-09-13 2021-12-03 西安建筑科技大学 一种视觉多特征引导的建筑垃圾精细分类方法
CN116503618A (zh) * 2023-04-25 2023-07-28 东北石油大学三亚海洋油气研究院 一种基于多模态多级特征聚合的显著目标检测方法及装置
CN117314766A (zh) * 2023-08-31 2023-12-29 湖南景为电子科技有限公司 一种手机钢化玻璃膜表面图像增强方法和系统
CN113743523B (zh) * 2021-09-13 2024-05-14 西安建筑科技大学 一种视觉多特征引导的建筑垃圾精细分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984953A (zh) * 2014-04-23 2014-08-13 浙江工商大学 基于多特征融合与Boosting决策森林的街景图像的语义分割方法
CN107886117A (zh) * 2017-10-30 2018-04-06 国家新闻出版广电总局广播科学研究院 基于多特征提取和多任务融合的目标检测算法
CN109829493A (zh) * 2019-01-25 2019-05-31 黑龙江大学 基于特征混合矩阵的指纹与指静脉识别融合方法
CN110363140A (zh) * 2019-07-15 2019-10-22 成都理工大学 一种基于红外图像的人体动作实时识别方法
US20190340756A1 (en) * 2017-08-15 2019-11-07 International Business Machines Corporation Breast cancer detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984953A (zh) * 2014-04-23 2014-08-13 浙江工商大学 基于多特征融合与Boosting决策森林的街景图像的语义分割方法
US20190340756A1 (en) * 2017-08-15 2019-11-07 International Business Machines Corporation Breast cancer detection
CN107886117A (zh) * 2017-10-30 2018-04-06 国家新闻出版广电总局广播科学研究院 基于多特征提取和多任务融合的目标检测算法
CN109829493A (zh) * 2019-01-25 2019-05-31 黑龙江大学 基于特征混合矩阵的指纹与指静脉识别融合方法
CN110363140A (zh) * 2019-07-15 2019-10-22 成都理工大学 一种基于红外图像的人体动作实时识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨源: "无人车越野环境下障碍物检测与识别技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950501A (zh) * 2020-08-21 2020-11-17 东软睿驰汽车技术（沈阳）有限公司 障碍物检测方法、装置以及电子设备
CN111950501B (zh) * 2020-08-21 2024-05-03 东软睿驰汽车技术（沈阳）有限公司 障碍物检测方法、装置以及电子设备
CN112241690A (zh) * 2020-09-25 2021-01-19 天津大学 一种bim驱动的输水渠道航拍图像兴趣区提取方法
CN112241690B (zh) * 2020-09-25 2022-12-27 天津大学 一种bim驱动的输水渠道航拍图像兴趣区提取方法
CN112634382A (zh) * 2020-11-27 2021-04-09 国家电网有限公司大数据中心 一种非自然对象的图像识别、替换方法和装置
CN112634382B (zh) * 2020-11-27 2024-03-19 国家电网有限公司大数据中心 一种非自然对象的图像识别、替换方法和装置
CN112541912A (zh) * 2020-12-23 2021-03-23 中国矿业大学 矿井突发灾害场景中显著性目标的快速检测方法及装置
CN112541912B (zh) * 2020-12-23 2024-03-12 中国矿业大学 矿井突发灾害场景中显著性目标的快速检测方法及装置
CN113269786B (zh) * 2021-05-19 2022-12-27 青岛理工大学 基于深度学习和引导滤波的装配体图像分割方法及设备
CN113269786A (zh) * 2021-05-19 2021-08-17 青岛理工大学 基于深度学习和引导滤波的装配体图像分割方法及设备
CN113538379B (zh) * 2021-07-16 2022-11-22 河南科技学院 一种基于rgb与灰度图像的双流编码融合显著性检测方法
CN113538379A (zh) * 2021-07-16 2021-10-22 河南科技学院 一种基于rgb与灰度图像的双流编码融合显著性检测方法
CN113743523A (zh) * 2021-09-13 2021-12-03 西安建筑科技大学 一种视觉多特征引导的建筑垃圾精细分类方法
CN113743523B (zh) * 2021-09-13 2024-05-14 西安建筑科技大学 一种视觉多特征引导的建筑垃圾精细分类方法
CN116503618A (zh) * 2023-04-25 2023-07-28 东北石油大学三亚海洋油气研究院 一种基于多模态多级特征聚合的显著目标检测方法及装置
CN116503618B (zh) * 2023-04-25 2024-02-02 东北石油大学三亚海洋油气研究院 一种基于多模态多级特征聚合的显著目标检测方法及装置
CN117314766A (zh) * 2023-08-31 2023-12-29 湖南景为电子科技有限公司 一种手机钢化玻璃膜表面图像增强方法和系统
CN117314766B (zh) * 2023-08-31 2024-04-19 湖南景为电子科技有限公司 一种手机钢化玻璃膜表面图像增强方法和系统

Also Published As

Publication number Publication date
CN111104943B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN111104943B (zh) 基于决策级融合的彩色图像感兴趣区域提取方法
CN107680054B (zh) 雾霾环境下多源图像融合方法
Bahnsen et al. Rain removal in traffic surveillance: Does it matter?
Zhu et al. Haze removal method for natural restoration of images with sky
Lalonde et al. Detecting ground shadows in outdoor consumer photographs
Liu et al. Single image dehazing via large sky region segmentation and multiscale opening dark channel model
Zhang et al. Multi-class weather classification on single images
CN107784669A (zh) 一种光斑提取及其质心确定的方法
US11450087B2 (en) System and method for multimedia analytic processing and display
KR101906796B1 (ko) 딥러닝 기반 영상 분석 장치 및 영상 분석 방법
CN108320294B (zh) 一种二代身份证照片的人像背景智能全自动替换方法
CN108921857A (zh) 一种面向监视场景的视频图像焦点区域分割方法
CN111815528A (zh) 基于卷积模型和特征融合的恶劣天气图像分类增强方法
Yuan et al. Image dehazing based on a transmission fusion strategy by automatic image matting
Chen et al. Visual depth guided image rain streaks removal via sparse coding
Peng et al. Markov random field based binarization for hand-held devices captured document images
Fuh et al. Mcpa: A fast single image haze removal method based on the minimum channel and patchless approach
Ansari et al. A novel approach for scene text extraction from synthesized hazy natural images
Kim et al. Single image dehazing of road scenes using spatially adaptive atmospheric point spread function
Ju et al. VRHI: Visibility restoration for hazy images using a haze density model
CN112287831A (zh) 基于编码热红外标志的跟随机器人多目标识别系统及方法
Riaz et al. Visibility restoration using generalized haze-lines
Zhu et al. A novel rain detection and removal approach using guided filtering and formation modeling
Brehar et al. A deep learning approach for pedestrian segmentation in infrared images
Trana et al. Single Image Dehazing via Regional Saturation-Value Translation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211130

Address after: 710071 Taibai South Road, Yanta District, Xi'an, Shaanxi Province, No. 2

Applicant after: XIDIAN University

Applicant after: Nanjing Yixin Yiyi Information Technology Co., Ltd

Address before: 710071 No. 2 Taibai South Road, Shaanxi, Xi'an

Applicant before: XIDIAN University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant