CN106096605B - 一种基于深度学习的图像模糊区域检测方法及装置 - Google Patents

一种基于深度学习的图像模糊区域检测方法及装置 Download PDF

Info

Publication number
CN106096605B
CN106096605B CN201610390374.8A CN201610390374A CN106096605B CN 106096605 B CN106096605 B CN 106096605B CN 201610390374 A CN201610390374 A CN 201610390374A CN 106096605 B CN106096605 B CN 106096605B
Authority
CN
China
Prior art keywords
image
hsv
layer
size
picture
Prior art date
Application number
CN201610390374.8A
Other languages
English (en)
Other versions
CN106096605A (zh
Inventor
史方
乔宝华
王标
Original Assignee
史方
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 史方 filed Critical 史方
Priority to CN201610390374.8A priority Critical patent/CN106096605B/zh
Publication of CN106096605A publication Critical patent/CN106096605A/zh
Application granted granted Critical
Publication of CN106096605B publication Critical patent/CN106096605B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/20Image acquisition
    • G06K9/32Aligning or centering of the image pick-up or image-field
    • G06K9/3233Determination of region of interest
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/4604Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes, intersections
    • G06K9/4638Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes, intersections by analysing connectivity relationships of elements of the pattern, e.g. by edge linking, by connected component or neighbouring slice analysis, by Markov Random Field [MRF] analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/4652Extraction of features or characteristics of the image related to colour

Abstract

本发明涉及图像识别领域,尤其是一种基于深度学习的图像模糊区域检测方法及装置。本发明针对现有技术存在的问题,提供一种基于深度学习的图像模糊区域检测方法及装置;本发明主要包括以下步骤:样本图片集的创建;gabor滤波及根据多尺度信息创建4通道图像;构建深度卷积网络学习图像的特征,将得到的样本四通道图像作为深度卷积网络的输入进行训练,产生深度学习网络的最优模型;对需要识别的图像进行区域小块提取并建立四通道图像,将建立的四通道图像输入深度学习网络的最优模型,获得分类结果;通过对分类结果进行分析获得待识别图像的模糊属性及清晰区域。

Description

一种基于深度学习的图像模糊区域检测方法及装置

技术领域

本发明涉及图像识别领域,尤其是一种基于深度学习的图像模糊区域检测方法及装置。

背景技术

随着科技的发展和时代的不断进步,视频和图像数据处理技术已经逐渐成熟起来,对人们的生活和工作起着重要的作用。未来,视频监控与我们生活的联系将日益密切。毫无疑问,视频图像处理技术的研发是时下最大的安防热点之一,也是众多安防企业值得关注的一个领域。

在安防领域,大多情况设备需要安装在室外,设备需要经受常年的风吹日晒。要经历常年温度、湿度、盐度、辐射等自然条件的影响。电子设备自身的老化的速度会比其他领域要相对快一些。摄像机镜头、电子设备、传输线路等设施的老化会导致拍出来的图像有模糊现象发生。当我们需要获取清晰的图片的时候,首先碰到的问题就是如何判断图片是否清晰,这就需要从海量的图片中去提取清晰的图片,因为图片数目较大,人为地选择不现实,需要考虑计算机方法,运用一定的算法来检测图片清晰与否。

当前检测图像模糊的办法主要是基于对边界清晰度的分析或对不同方向梯度信息的统计实现模糊程度检测,但是这些方法只能检测运动模糊区域,并且不能对整幅图像进行评价。深度学习是一类新兴的多层神经网络学习算法,因其缓解了传统训练算法的局部最小性,引起机器学习领域的广泛关注。自2006年以来,深度学习在学术界持续升温。斯坦福大学、纽约大学、加拿大蒙特利尔大学等成为研究深度学习的重镇。2010年,美国国防部DARPA计划首次资助深度学习项目,参与方有斯坦福大学、纽约大学和NEC美国研究院。支持深度学习的一个重要依据,就是脑神经系统的确具有丰富的层次结构。一个最著名的例子就是Hubel-Wiesel模型,由于揭示了视觉神经的机理而曾获得诺贝尔医学与生理学奖。除了仿生学的角度,目前深度学习的理论研究还基本处于起步阶段,但在应用领域已显现出巨大能量。

模糊图像识别过程中,由于模糊的程度多样性,一种或者几种单一的特征不足以解决模糊图像的识别问题。无法对模糊图像进行快速有效的识别。

发明内容

本发明所要解决的技术问题是:针对现有技术存在的问题,提供一种基于深度学习的图像模糊区域检测方法及装置;本发明公开了一种基于深度学习的图像模糊区域检测方法及装置。主要包括以下步骤:(1)样本图片集的创建;(2)样本图像与gabor滤波器进行卷积及根据多尺度信息创建4通道图像;(3)通过设计多层卷积神经网络模型学习图像的特征,产生分类模型;(4)对需要识别的图像进行感兴趣区域提取,同时将待识别的图像分割成多个图像小块,对感兴趣区域及这些图像小块分别建立四通道图像;(5)将这些四通道图像输入深度学习网络的最优模型,获得感兴趣区域区域及这些图像小块的分类结果;(6)最后根据感兴趣区域的分类结果及这些图像小块的分类结果确定待识别图像的模糊属性,及找到待识别图像的清晰区域。

本发明采用的技术方案如下:

一种基于深度学习的图像模糊区域检测方法包括:

步骤1:根据qq张清晰图片集DIor={DIor1,DIor2...,DIorqq}建立对应清晰图片块集合DI={DI1,DI2...,DIqq},根据pp张模糊图片集BLor={BLor1,BLor2...,BLorpp}建立模糊图片块集合BL={BL1,BL2...,BLpp};清晰图片块DIi是从第i张清晰图片DIori的清晰部分裁剪得到的清晰图像块,模糊样本图块BLi是从第i张模糊图片BLori的模糊部分裁剪得到的模糊图像块;所述清晰图片集DIor及模糊图片集BLor中的图片尺寸大小为mor*nor;模糊图像块以及清晰图像块的尺寸大小为m*n;其中pp=qq,pp大于等于10000;mor>=m>150,nor>=n>150,0<i<=pp,i为整数,执行步骤2;

步骤2:对于样本SAii,需要获取另外两幅相应的子图像Pii1与Pii2,并通过将两幅子图像Pii1与Pii2进行缩放得到图像Qii1与Qii2,对于样本SAii,获取图像集合Sii={SAii,Qii1,Qii2};然后将图片集合Sii的每个元素的V通道均与gabor滤波器进行卷积运算,得到卷积图像S’ii={Rii0,Rii1,Rii2},然后根据图像集合S’ii及SAii的H、S、V三个通道,对应得到样本四通道图像,所有的pp+qq个样本都执行相同的运算得到pp+qq个样本四通道图像;执行步骤3;其中ii=1,2,3,...,pp+qq;SAii为模糊图像块集合BL或清晰图像块集合DI中的任一图像块;Pii1为大小为(m*r1)*(n*r1)的子图像块,Pii2为大小为(m*r2)*(n*r2)的子图像块;其中r2<r1;图像集合Sii的每个元素的V通道均与gabor滤波器进行卷积,获取三幅卷积后的图像:Rii0,Rii1,Rii2,其中Rii0为SAii的V通道与gabor滤波器卷积后的图像,Rii1为Qii1的V通道与gabor滤波器卷积后的图像,Rii2为Qii2的V通道与gabor滤波器卷积后的图像,执行步骤3;

步骤3:构建深度卷积网络,将步骤2得到的pp+qq个样本四通道图像作为深度卷积网络结构的输入图像进行训练,并用验证集VD检测已经学习到的模型的准确率,最后得到深度学习网络的最优模型;执行步骤4;其中验证集VD包括pp/5张模糊图片块及qq/5张清晰图片块,执行步骤4;

步骤4:从待识别HSV图片中提取k1/2*k2/2大小的图像块,即获得区域A’hsv,同时将待识别的HSV图片分割成多个图像小块,并根据区域A’hsv及这些图像小块分别构建待识别四通道图像,即集合ROI’={B’hsv,B’1,B’2,...,B’num};num>0;执行步骤5;

步骤5:将步骤4中获得的集合ROI’中的每个四通道图像元素作为步骤3获得的网络最优模型的输入进行分类,ROI’中的每个四通道图像元素依次经过前向传播过程即依次经过卷积层c1->池化层P1->归一化层n1->卷积层c2->池化层P2->归一化层n2->卷积层c3->卷积层c4->池化层P3->全连接层f1->dropout层d1->全连接层f2->输出层;最后的输出层采用SoftMax函数给出ROI’中的每个四通道图像元素的分类结果,组成结果集合RES={RE’hsv,RE’1,RE’2,...,RE’num},其中RE’hsv表示B’hsv的分类结果,RE’1表示根据B’1的分类结果,RE’2表示根据B’2的分类结果,RE’3表示根据B’3的分类结果,...,RE’num表示B’num的分类结果;执行步骤6;

步骤6:根据RE’hsv确定整幅待识别图像的模糊属性,如果RE’hsv为模糊,则待识别图像为模糊;如果RE’hsv为清晰,numdi初始化为1,之后遍历E’1,RE’2,...,RE’num,遇见值为清晰的,执行numdi=numdi+1操作,最终若numdi/(num+1)>Ra,则待识别图像为清晰图像;否则,待识别图像为模糊图像,其中,Ra为浮点数类型的阈值且Ra>=0.2;numdi<=num+1;当待识别图像为清晰图像,则集合RES中元素值为清晰的元素对应的区域为待识别图像中的清晰区域。

进一步的,所述步骤2具体过程是:

步骤21:与SAii对应的两幅子图像Pii1与Pii2是这样获取的:假如SAii来源于图像BLori或DIori,那么子图像Pii1与Pii2取自BLori或DIori;同时子图像Pii1中心、Pii2中心与样本SAii的中心重合;SAii的尺寸与Pii1和Pii2的尺寸关系为三种情况:Pii1和Pii2的尺寸都大于SAii的尺寸;Pii1和Pii2的尺寸都小于SAii的尺寸;Pii1的尺寸大于SAii的尺寸,Pii2的尺寸小于SAii的尺寸;然后将两幅子图像Pii1与Pii2进行缩放,得到缩放后的子图像Qii1与Qii2,对于样本SAii,获取图像集Sii={SAii,Qii1,Qii2},执行步骤22;

步骤22:图片集合Sii的每个图片只选择其V通道数据与gabor滤波器进行卷积运算,即在0度到180度之内角度间隔均匀的xx个方向进行卷积,得到xx个卷积后的图像;从xx个卷积后的图像中选择能量最强的卷积后的图像作为最终的gabor滤波器卷积处理后的图像;即得到卷积图像集合S’ii={Rii0,Rii1,Rii2},执行步骤23;xx范围是1到8;

步骤23:根据卷积图像集合S’ii得到CHii4(x,y):

CHii4(x,y)=α*Rii0(x,y)+β*(|Rii0(x,y)-Rii1(x',y')|+|Rii1(x',y')-Rii2(x”,y”)|)

其中CHii4(x,y)为与样本SAii对应的第四通道图像在位置(x,y)处的像素值,α,β为权重系数,(x’,y’)为Rii1对应于Rii0的(x,y)位置处的位置,(x”,y”)为Rii2对应于Rii0的(x,y)位置处的位置;当x>(m-m'),x'=(x+m'-m)*m/m';否则,x'=null;同时当y>(n-n'),y'=(y+n'-n)*n/n';否则,y'=null;同时当x>(m-m”),x”=(x+m”-m)*m/m”;否则,x”=null;同时当y>(n-n”),y”=(y+n”-n)*n/n”;否则,y”=null;如果x‘或者y’至少有一个为null,那么Rii1(x’,y’)则为0;如果x“或者y”至少有一个为null,那么Rii2(x”,y”)则为0;(x,y)表示图像的任意位置;

与样本SAii对应的四通道图像的另外三个通道图像在位置为(x,y)处的像素值分别为

CHii1(x,y)、CHii2(x,y)、CHii3(x,y):

CHii1(x,y)=Hii(x,y)

CHii2(x,y)=Sii(x,y);

CHii3(x,y)=Vii(x,y)

即得到样本四通道图像。

进一步的,所述步骤3具体包括:

步骤31:深度卷积网络包括1个输入层,4个卷积层c1、c2、c3、c4,3个池化层P1、P2、P3,2个归一化层n1、n2,一个dropout层d1,2个全连接层f1、f2和1个输出层;输入层采用大小为m*n的pp+qq个样本四通道图像作为输入样本;卷积层c1采用96个大小为11*11个高斯核函数提取图像的特征;池化层P1采用3*3大小的Stochastic池化办法;归一化层n1采用的局部区域尺寸为5;卷积层c2采用256个大小为5*5个高斯核函数提取图像的特征;池化层P2采用3*3大小的Stochastic池化方法;归一化层n2采用的局部区域尺寸为5;卷积层c3采用384个大小为3*3个高斯核函数提取图像的特征;卷积层c4采用256个大小为3*3个高斯核函数提取图像的特征;池化层P3采用空间金字塔池化层的办法产生固定大小的输出,这样网络输入端的图片就可以有不同的尺寸,样本图像块集合DI和BL中的元素分别是从DIor和BLor的元素中截取的清晰图像块及模糊图像块,由于DI和BL中的元素的清晰及模糊部分的大小是不一样的,这就会导致DI和BL中的元素大小不可能都是一个尺寸,如果在样本处理中将它们的大小都归一化为相同的尺寸,那么它们就会由于缩放而导致其清晰度发生改变,P3层采用空间金字塔池化层的办法可以使得深度学习网络的输入图片大小不一样,这就避免了认为去改变样本的清晰度;全连接层f1的输出节点为4096个;dropout层d1的作用可以防止过拟合;全连接层f2的输出节点个数与分类的个数相同,这里为2类;输出层采用SoftMax函数,计算每一个输入样本属于不同类别的概率;

步骤32:网络结构可分为输入层、隐含层和输出层三个部分;前向传播阶段样本图像依次通过卷积层c1->池化层P1->归一化层n1->卷积层c2->池化层P2->归一化层n2->卷积层c3->卷积层c4->池化层P3->全连接层f1->dropout层d1->全连接层f2->输出层;卷积层用于提取图像的特征,池化层用来对特征进行降维,归一化层对特征进行归一化,dropout可以用来防止过拟合,全连接层的当前层神经元与前一层神经元全部连接,最后输出层给出分类结果;后向传播阶段会根据误差函数及采用梯度下降法反向调整深度学习网络中各层的权重和偏置;不断重复前向传播与后向传播过程获取基于样本集的网络模型;然后在周期T内,用验证集VD检测已经学习到的模型的准确率,当准确率达到上限RP时,停止训练,此时的网络模型为最优网络模型;该最优网络模型用来对图片的模糊属性进行分类;0.85<RP<=1.0,T大于等于200次。

进一步的,所述步骤4具体过程是:

步骤41:将需要识别的HSV图片的V通道数据Vrecong与模板图像进行卷积运算之后获取的卷积图像CO,CO=Vrecong*MO;模板图像M0即为Sz行Sz列,大小为Sz*Sz,Sz=3或5。

当M0形式为3*3模板时,

当M0形式为5*5模板时,

其中,其中va为大于0的数字,其范围为0.5~1.0;

步骤42:对卷积图像CO进行二值化,获取的二值化图像BI,二值化的过程为:遍历卷积图像CO中的每一个像素,如果该处像素值小于阈值threshold,则图像BI中对应的像素值为0,如果该处像素值大于等于阈值threshold,则图像BI中对应的像素值为255;threshold为卷积图像CO中的最大像素值的t倍,t=0.6到0.8;

步骤43:遍历二值化图像BI中的每一个像素值BI(x,y),若BI(x,y)为0,则标识para(x,y)=0;否则,para(x,y)初始化为1;继续遍历BI(x,y)的4邻域像素,当遍历BI(x,y)的4邻域像素有不为0的像素点,则执行para(x,y)=para(x,y)+1,其中para(x,y)的最大值为5,最小值为0;

步骤44:计算获取整幅图像BI的形心位置坐标(xcenter,ycenter):

其中w为图像BI的宽,h为图像BI的高;

步骤45:在需要识别的HSV图像中以(xcenter,ycenter)为中心,提取大小为k1*k2的区域块Ahsv;将Ahsv平均分成4等份,取4等份中梯度和最大的那一份作为最终的区域A’hsv;A’hsv大小为k1/2*k2/2;假设待识别的HSV图像的尺寸是K1or*K2or,那么K1or>=k1,K2or>=k2

步骤46:将待识别的HSV图像分割成多个图像小块,图像小块之间没有重叠区域,并且这些小块的大小均为kk1*kk2,假设待识别的HSV图像的尺寸是K1or*K2or,则kk1<=K1or,kk2<=K2or,当KK1=K1or的时候,kk2<=K2or/2,当KK2=K2or的时候,kk1<=K1or/2。这些图像小块及A’hsv构建成集合ROI={A’hsv,A’1,A’2,...,A’num},其中num表示待识别的图像最终被分割成的图像小块的数目,A’1,A’2,...,A’num依次表示第一个图像小块,第二个图像小块,...,第num个图像小块;根据集合ROI中的每个元素分别构建待识别四通道图像,共获得num+1个四通道图像,组成集合ROI’={B’hsv,B’1,B’2,...,B’num};其中B’hsv表示根据A’hsv获得的四通道图像,B’1表示根据A’1获得的四通道图像,B’2表示根据A’2获得的四通道图像,...,B’num表示根据A’num获得的四通道图像;执行步骤5。

进一步的,所述步骤46中根据集合ROI中的每个元素分别构建待识别四通道图像;以ROI中的第一个元素A’hsv来说明构建待识别的四通道图像的具体过程,其它元素构建待识别的四通道图像的过程与A’hsv类似,根据A’hsv构建四通道图像的过程如下:

CHrecong1(x,y)=Hrecong(x,y)

CHrecong2(x,y)=Srecong(x,y)

CHrecong3(x,y)=Vrecong(x,y)

CHrecong4(x,y)=α*Rrecong0(x,y)+β*(|Rrecong0(x,y)-Rrecong1(x',y')|+|Rrecong1(x',y')-Rrecong2(x”,y”)|)

其中CHrecong4(x,y)为与区域A’hsv对应的第四通道图像在位置(x,y)处的像素值,Rrecong0,Rrecong1,Rrecong2分别表示待分类的区域A’hsv图片的V通道、与待分类区域A’hsv图片对应的两个子图像的V通道与gabor滤波器卷积之后获取的图像,CHrecong1,CHrecong2,CHrecong3,CHrecong4分别表示获取的四个通道;(x’,y’)为Rrecong1对应于Rrecong0的(x,y)位置处的位置,(x”,y”)为Rrecong2对应于Rrecong0的(x,y)位置处的位置;如果x‘或者y’至少有一个为null,那么Rrecong1(x’,y’)则为0;如果x“或者y”至少有一个为null,那么Rrecong2(x”,y”)则为0;待分类区域A’hsv两个子图像的获取过程与获取Sii的过程相似;Hrecong(x,y)、Srecong(x,y)定义、Vrecong(x,y)为待分类区域A’hsv里的H通道,S通道及V通道的数据;其中当x>(m-m'),x'=(x+m'-m)*m/m';否则,x'=null;同时当y>(n-n'),y'=(y+n'-n)*n/n';否则,y'=null;同时当x>(m-m”),x”=(x+m”-m)*m/m”;否则,x”=null;同时当y>(n-n”),y”=(y+n”-n)*n/n”;否则,y”=null。

根据集合ROI中的每个元素分别构建待识别四通道图像,共获得num+1个四通道图像,组成集合ROI’={B’hsv,B’1,B’2,...,B’num};其中B’hsv表示根据A’hsv获得的四通道图像,B’1表示根据A’1获得的四通道图像,B’2表示根据A’2获得的四通道图像,...,B’num表示根据A’num获得的四通道图像。

一种基于深度学习的图像模糊区域检测装置包括:

样本四通道图像建立模块,用于根据qq张清晰图片集DIor={DIor1,DIor2...,DIorqq}建立对应清晰图片块集合DI={DI1,DI2...,DIqq},根据pp张模糊图片集BLor={BLor1,BLor2...,BLorpp}建立模糊图片块集合BL={BL1,BL2...,BLpp};清晰图片块DIi是从第i张清晰图片DIori的清晰部分裁剪得到的清晰图像块,模糊样本图块BLi是从第i张模糊图片BLori的模糊部分裁剪得到的模糊图像块;所述清晰图片集DIor及模糊图片集BLor中的图片尺寸大小为mor*nor;模糊图像块以及清晰图像块的尺寸大小为m*n;其中pp=qq,pp大于等于10000;mor>=m>150,nor>=n>150,0<i<=pp,i为整数;对于样本SAii,需要获取另外两幅相应的子图像Pii1与Pii2,并通过将两幅子图像Pii1与Pii2进行缩放得到图像Qii1与Qii2,对于样本SAii,获取图像集合Sii={SAii,Qii1,Qii2};然后将图片集合Sii的每个元素的V通道均与gabor滤波器进行卷积运算,得到卷积图像S’ii={Rii0,Rii1,Rii2},然后根据图像集合S’ii及SAii的H、S、V三个通道,对应得到样本四通道图像,所有的pp+qq个样本都执行相同的运算得到pp+qq个样本四通道图像四通道图像;其中ii=1,2,3,...,pp+qq;SAii为模糊图像块集合BL或清晰图像块集合DI中的任一图像块;Pii1为大小为(m*r1)*(n*r1)的子图像块,Pii2为大小为(m*r2)*(n*r2)的子图像块;其中r2<r1;图像集合Sii的每个元素的V通道均与gabor滤波器进行卷积,获取三幅卷积后的图像:Rii0,Rii1,Rii2,其中Rii0为SAii的V通道与gabor滤波器卷积后的图像,Rii1为Qii1的V通道与gabor滤波器卷积后的图像,Rii2为Qii2的V通道与gabor滤波器卷积后的图像;

深度卷积网络模块,用于构建深度卷积网络,将样本四通道图像建立模块中得到的样本四通道图像作为深度卷积网络结构的输入进行训练,并用验证集VD检测已经学习到的模型的准确率,最后得到深度学习网络的最优模型;其中验证集VD包括pp/5张模糊图片块及qq/5张清晰图片块;

待识别HSV图片识别模块,用于从待识别HSV图片中提取k1/2*k2/2大小的图像块,即获得区域A’hsv,同时将待识别的HSV图片分割成多个图像小块,并根据区域A’hsv及这些图像小块分别构建待识别四通道图像,即集合ROI’={B’hsv,B’1,B’2,...,B’num};

图片识别模块,用于根据将ROI’中的元素作为网络最优模型的输入进行分类,之后ROI’中的元素经过前向传播过程即依次经过卷积层c1->池化层P1->归一化层n1->卷积层c2->池化层P2->归一化层n2->卷积层c3->卷积层c4->池化层P3->全连接层f1->dropout层d1->全连接层f2->输出层;最后的输出层采用SoftMax函数给出ROI’中的元素的分类结果,这些结果构成集合RES={RE’hsv,RE’1,RE’2,...,RE’num};根据RE’hsv确定整幅待识别图像的模糊属性,如果RE’hsv为模糊,则待识别图像为模糊;如果RE’hsv为清晰,numdi初始化为1,之后遍历RE’1,RE’2,...,RE’num,遇见值为清晰的,执行numdi=numdi+1操作,最终若numdi/(num+1)>Ra,则待识别图像为清晰图像;否则,待识别图像为模糊图像;其中,Ra为浮点数类型的阈值且Ra>=0.2,numdi<=num+1;当待识别图像为清晰图像,则集合RES中元素值为清晰的元素对应的区域为待识别图像中的清晰区域。

进一步的,所述样本四通道图像建立模块中对于样本SAii,需要获取另外两幅相应的子图像Pii1与Pii2,并通过将两幅子图像Pii1与Pii2进行缩放得到图像Qii1与Qii2,对于样本SAii,获取图像集合Sii={SAii,Qii1,Qii2};然后将图片集合Sii的每个元素的V通道均与gabor滤波器进行卷积运算,得到卷积图像S’ii={Rii0,Rii1,Rii2},然后根据图像集合S’ii及SAii的H、S、V三个通道,对应得到样本四通道图像,所有的pp+qq个样本都执行相同的运算得到pp+qq个四通道图像具体过程是:

步骤21:与SAii对应的两幅子图像Pii1与Pii2是这样获取的:假如SAii来源于图像BLori或DIori,那么子图像Pii1与Pii2取自BLori或DIori;同时子图像Pii1中心、Pii2中心与样本SAii的中心重合;SAii的尺寸与Pii1和Pii2的尺寸关系为三种情况:Pii1和Pii2的尺寸都大于SAii的尺寸;Pii1和Pii2的尺寸都小于SAii的尺寸;Pii1的尺寸大于SAii的尺寸,Pii2的尺寸小于SAii的尺寸;然后将两幅子图像Pii1与Pii2进行缩放,得到缩放后的子图像Qii1与Qii2,对于样本SAii,获取图像集Sii={SAii,Qii1,Qii2},执行步骤22;

步骤22:图片集合Sii的每个图片只选择其V通道数据与gabor滤波器进行卷积运算,即在0度到180度之内角度间隔均匀的xx个方向进行卷积,得到xx个卷积后的图像;从xx个卷积后的图像中选择能量最强的卷积后的图像作为最终的gabor滤波器卷积处理后的图像;即得到卷积图像集合S’ii={Rii0,Rii1,Rii2},执行步骤23;xx范围是1到8;

步骤23:根据卷积图像集合S’ii得到CHii4(x,y):

CHii4(x,y)=α*Rii0(x,y)+β*(|Rii0(x,y)-Rii1(x',y')|+|Rii1(x',y')-Rii2(x”,y”)|)

其中CHii4(x,y)为与样本SAii对应的第四通道图像在位置(x,y)处的像素值,α,β为权重系数,(x’,y’)为Rii1对应于Rii0的(x,y)位置处的位置,(x”,y”)为Rii2对应于Rii0的(x,y)位置处的位置;当x>(m-m'),x'=(x+m'-m)*m/m';否则,x'=null;同时当y>(n-n'),y'=(y+n'-n)*n/n';否则,y'=null;同时当x>(m-m”),x”=(x+m”-m)*m/m”;否则,x”=null;同时当y>(n-n”),y”=(y+n”-n)*n/n”;否则,y”=null;如果x‘或者y’至少有一个为null,那么Rii1(x’,y’)则为0;如果x“或者y”至少有一个为null,那么Rii2(x”,y”)则为0;(x,y)表示图像任意位置;

与样本SAii对应的四通道图像的另外三个通道图像在位置为(x,y)处的像素值分别为

CHii1(x,y)、CHii2(x,y)、CHii3(x,y):

CHii1(x,y)=Hii(x,y)

CHii2(x,y)=Sii(x,y);

CHii3(x,y)=Vii(x,y)

即得到样本四通道图像。

进一步的,所述样本四通道图像建立模块中构建深度卷积网络,将步骤3得到的样本四通道图像作为深度卷积网络结构的输入进行训练,并验证集VD检测已经学习到的模型的准确率,最后得到深度学习网络的最优模型具体过程是:

步骤31:深度卷积网络包括1个输入层,4个卷积层c1、c2、c3、c4,3个池化层P1、P2、P3,2个归一化层n1、n2,一个dropout层d1,2个全连接层f1、f2和1个输出层;输入层采用大小为m*n的四通道图像作为输入样本;卷积层c1采用96个大小为11*11个高斯核函数提取图像的特征;池化层P1采用3*3大小的Stochastic池化办法;归一化层n1采用的局部区域尺寸为5;卷积层c2采用256个大小为5*5个高斯核函数提取图像的特征;池化层P2采用3*3大小的Stochastic池化方法;归一化层n2采用的局部区域尺寸为5;卷积层c3采用384个大小为3*3个高斯核函数提取图像的特征;卷积层c4采用256个大小为3*3个高斯核函数提取图像的特征;池化层P3采用空间金字塔池化层的办法产生固定大小的输出,这样网络输入端的图片就可以有不同的尺寸,样本图像块集合DI和BL中的元素分别是从DIor和BLor的元素中截取的清晰图像块及模糊图像块,由于DI和BL中的元素的清晰及模糊部分的大小是不一样的,这就会导致DI和BL中的元素大小不可能都是一个尺寸,如果在样本处理中将它们的大小都归一化为相同的尺寸,那么它们就会由于缩放而导致其清晰度发生改变,P3层采用空间金字塔池化层的办法可以使得深度学习网络的输入图片大小不一样,这就避免了认为去改变样本的清晰度;全连接层f1的输出节点为4096个;dropout层d1的作用可以防止过拟合;全连接层f2的输出节点个数与分类的个数相同,这里为2类;输出层采用SoftMax函数,计算每一个输入样本属于不同类别的概率;

步骤32:网络结构可分为输入层、隐含层和输出层三个部分;前向传播阶段样本图像依次通过卷积层c1->池化层P1->归一化层n1->卷积层c2->池化层P2->归一化层n2->卷积层c3->卷积层c4->池化层P3->全连接层f1->dropout层d1->全连接层f2->输出层;卷积层用于提取图像的特征,池化层用来对特征进行降维,归一化层对特征进行归一化,dropout可以用来防止过拟合,全连接层的当前层神经元与前一层神经元全部连接,最后输出层给出分类结果;后向传播阶段会根据误差函数及采用梯度下降法反向调整深度学习网络中各层的权重和偏置;不断重复前向传播与后向传播过程获取基于样本集的网络模型;然后在周期T内,用验证集VD检测已经学习到的模型的准确率,当准确率达到上限RP时,停止训练,此时的网络模型为最优网络模型;该最优网络模型用来对图片的模糊属性进行分类;0.85<RP<=1.0,T大于等于200次。

进一步的,所述待识别HSV图片识别模块中从待识别HSV图片中提取k1/2*k2/2大小的图像块,即获得区域A’hsv,同时将待识别的HSV图像分割成多个图像小块,具体过程是:步骤41:将需要识别的HSV图片的V通道数据Vrecong与模板图像进行卷积运算之后获取的卷积图像CO,CO=Vrecong*MO;模板图像M0即为Sz行Sz列,大小为Sz*Sz,Sz=3或5;

当M0形式为3*3模板时,

当M0形式为5*5模板时,

其中,其中va为大于0的数字,其范围为0.5~1.0;

步骤42:对卷积图像CO进行二值化,获取的二值化图像BI,二值化的过程为:遍历卷积图像CO中的每一个像素,如果该处像素值小于阈值threshold,则图像BI中对应的像素值为0,如果该处像素值大于等于阈值threshold,则图像BI中对应的像素值为255;threshold为卷积图像CO中的最大像素值的t倍,t=0.6到0.8;

步骤43:遍历二值化图像BI中的每一个像素值BI(x,y),若BI(x,y)为0,则标识para(x,y)=0;否则,para(x,y)初始化为1;继续遍历BI(x,y)的4邻域像素,当遍历BI(x,y)的4邻域像素有不为0的像素点,则执行para(x,y)=para(x,y)+1,其中para(x,y)的最大值为5,最小值为0;

步骤44:计算获取整幅图像BI的形心位置坐标(xcenter,ycenter):

其中w为图像BI的宽,h为图像BI的高;

步骤45:在需要识别的HSV图像中以(xcenter,ycenter)为中心,提取大小为k1*k2的区域块Ahsv;将Ahsv平均分成4等份,取4等份中梯度和最大的那一份作为最终的区域A’hsv;A’hsv即为用于判定整幅图像模糊属性的图片块;A’hsv大小为k1/2*k2/2;假设待识别的HSV图像的尺寸是K1or*K2or,那么K1or>=k1,K2or>=k2

步骤46:将待识别的HSV图像分割成多个图像小块,图像小块之间没有重叠区域,并且这些小块的大小均为kk1*kk2,假设待识别的HSV图像的尺寸是K1or*K2or,则kk1<=K1or,kk2<=K2or,当KK1=K1or的时候,kk2<=K2or/2,当KK2=K2or的时候,kk1<=K1or/2。这些图像小块及A’hsv构建成集合ROI={A’hsv,A’1,A’2,...,A’num},其中num表示待识别的图像最终被分割成的图像小块的数目,A’1,A’2,...,A’num依次表示第一个图像小块,第二个图像小块,...,第num个图像小块;根据集合ROI中的每个元素分别构建待识别四通道图像,共获得num+1个四通道图像,组成集合ROI’={B’hsv,B’1,B’2,...,B’num};其中B’hsv表示根据A’hsv获得的四通道图像,B’1表示根据A’1获得的四通道图像,B’2表示根据A’2获得的四通道图像,...,B’num表示根据A’num获得的四通道图像;

进一步的,所述待识别HSV图片识别模块中根据集合ROI中的每个元素分别构建待识别四通道图像。以ROI中的第一个元素A’hsv来说明构建待识别的四通道图像的具体过程,其它元素构建待识别的四通道图像的过程与A’hsv类似,根据A’hsv构建四通道图像的过程如下:

CHrecong1(x,y)=Hrecong(x,y)

CHrecong2(x,y)=Srecong(x,y)

CHrecong3(x,y)=Vrecong(x,y)

CHrecong4(x,y)=α*Rrecong0(x,y)+β*(|Rrecong0(x,y)-Rrecong1(x',y')|+|Rrecong1(x',y')-Rrecong2(x”,y”)|)其中CHrecong4(x,y)为与区域A’hsv对应的第四通道图像在位置(x,y)处的像素值,Rrecong0,Rrecong1,Rrecong2分别表示待分类的区域A’hsv的V通道、与待分类区域A’hsv对应的两个子图像的V通道与gabor滤波器卷积之后获取的图像,CHrecong1,CHrecong2,CHrecong3,CHrecong4分别表示获取的四个通道;(x’,y’)为Rrecong1对应于Rrecong0的(x,y)位置处的位置,(x”,y”)为Rrecong2对应于Rrecong0的(x,y)位置处的位置;如果x‘或者y’至少有一个为null,那么Rrecong1(x’,y’)则为0;如果x“或者y”至少有一个为null,那么Rrecong2(x”,y”)则为0;待分类区域图片A’hsv的两个子图像的获取过程与获取Sii的过程相似;Hrecong(x,y)、Srecong(x,y)、Vrecong(x,y)定义为待分类的区域图片A’hsv的H通道,S通道及V通道的数据;其中当x>(m-m'),x'=(x+m'-m)*m/m';否则,x'=null;同时当y>(n-n'),y'=(y+n'-n)*n/n';否则,y'=null;同时当x>(m-m”),x”=(x+m”-m)*m/m”;否则,x”=null;同时当y>(n-n”),y”=(y+n”-n)*n/n”;否则,y”=null。

根据集合ROI中的每个元素分别构建待识别四通道图像,共获得num+1个四通道图像,组成集合ROI’={B’hsv,B’1,B’2,...,B’num};其中B’hsv表示根据A’hsv获得的四通道图像,B’1表示根据A’1获得的四通道图像,B’2表示根据A’2获得的四通道图像,...,B’num表示根据A’num获得的四通道图像。

综上所述,由于采用了上述技术方案,本发明的有益效果是:

训练阶段,针对清晰块与模糊块进行训练,这避免了对整幅图像训练带来的特征提取的不准确:整幅图像总有清晰部分与模糊部分,若将整幅图像作为训练对象,不能很好地提取图像的特征。同时利用gabor滤波及多尺度信息来创建第四通道,将与图像清晰度密切相关的边缘信息作为图像的一维,提高算法分类的性能。在识别阶段,首先将能代表图像清晰度的细节丰富的部分提取出来,而后将待识别图像分成多个小块,对提取的细节丰富的部分及这些小块分别进行判定,识别出它们的模糊属性,根据模糊部分占整幅图像的占比来确定最终的整幅图像的模糊属性,这避免了整幅图像作为输入时带来的误差,同时根据提取的细节丰富的部分及这些小块的判定结果给出整幅图像的清晰区域。

附图说明

本发明将通过例子并参照附图的方式说明,其中:

图1本发明人流程图。

具体实施方式

本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。

本说明书中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。

本专利相关说明:

1、DI1...BL1...SAii,Qii1,Qii2,Rii0,Rii1,Rii2,CHii1,CHii2,CHii3,CHii的大小都是m*n;

2、Garbor滤波器有两个重要的参数:卷积模板的大小及方向。这里卷积模板的大小取为z*z(z=5,7,9,11,13,15,17,19),计算8(当xx=8时)个方向上(0度,25度,50度,75度,100度,125度,150度,175度)的gabor响应。每幅图像在这8个方向上的响应是不一样的,最终选取在空间上能量响应最强的作为最终的与gabor滤波器卷积后的图像。

3、在利用训练获取到的模型进行分类的时候,提取的感兴趣区域图片及待识别图像的图像小块也需要获取四通道图像,即集合ROI中的每个元素分别构建待识别四通道图像,这时候只是将训练阶段的四通道数据获取过程中的SAii换成集合ROI中的元素,以ROI中的第一个元素A’hsv来说明构建待识别的四通道图像的具体过程,其它元素构建待识别的四通道图像的过程与A’hsv类似,根据A’hsv构建四通道图像的过程如下:

CHrecong1(x,y)=Hrecong(x,y)

CHrecong2(x,y)=Srecong(x,y)

CHrecong3(x,y)=Vrecong(x,y)

CHrecong4(x,y)=α*Rrecong0(x,y)+β*(|Rrecong0(x,y)-Rrecong1(x',y')|+|Rrecong1(x',y')-Rrecong2(x”,y”)|)

其中CHrecong4(x,y)为与细节丰富的区域A’hsv对应的第四通道图像在位置(x,y)处的像素值,Rrecong0,Rrecong1,Rrecong2分别表示待分类的细节丰富的区域A’hsv图片的V通道、待分类细节丰富的区域A’hsv图片的两个子图像的V通道与gabor滤波器卷积之后获取的图像,CHrecong1,CHrecong2,CHrecong3,CHrecong4分别表示获取的四个通道;(x’,y’)为Rrecong1对应于Rrecong0的(x,y)位置处的位置,(x”,y”)为Rrecong2对应于Rrecong0的(x,y)位置处的位置,与上面的S’ii集合中的三幅图像类似。

根据集合ROI中的每个元素分别构建待识别四通道图像,共获得num+1个四通道图像,组成集合ROI’={B’hsv,B’1,B’2,...,B’num};其中B’hsv表示根据A’hsv获得的四通道图像,B’1表示根据A’1获得的四通道图像,B’2表示根据A’2获得的四通道图像,...,B’num表示根据A’num获得的四通道图像。

4、步骤3具体步骤是:

步骤31:深度卷积网络由1个输入层,4个卷积层(用c1、c2、c3、c4、表示),3个池化层(用P1、P2、P3表示),2个归一化层(用n1、n2表示),一个dropout层(用d1表示),2个全连接层(用f1、f2表示)和1个输出层组成;输入层采用大小为m*n的四通道图像作为输入样本;卷积层c1采用96个大小为11*11个高斯核函数提取图像的特征;池化层P1采用3*3大小的Stochastic池化办法;归一化层n1采用的局部区域尺寸为5;卷积层c2采用256个大小为5*5个高斯核函数提取图像的特征;池化层P2采用3*3大小的Stochastic池化办法。归一化层n2采用的局部区域尺寸为5。卷积层c3采用384个大小为3*3个高斯核函数提取图像的特征;卷积层c4采用256个大小为3*3个高斯核函数提取图像的特征。池化层P3采用空间金字塔池化层的办法产生固定大小的输出,这样网络输入端的图片就可以有不同的尺寸,样本图像块集合DI和BL中的元素分别是从DIor和BLor的元素中截取的清晰图像块及模糊图像块,由于DI和BL中的元素的清晰及模糊部分的大小是不一样的,这就会导致DI和BL中的元素大小不可能都是一个尺寸,如果在样本处理中将它们的大小都归一化为相同的尺寸,那么它们就会由于缩放而导致其清晰度发生改变,P3层采用空间金字塔池化层的办法可以使得深度学习网络的输入图片大小不一样,这就避免了认为去改变样本的清晰度;全连接层f1的输出节点为4096个。dropout层d1的作用可以防止过拟合。全连接层f2的输出节点个数与分类的个数相同,这里为2类。输出层采用SoftMax函数,计算每一个输入样本属于不同类别的概率。

步骤32:网络结构可分为输入层、隐含层和输出层三个部分。前向传播阶段样本图像依次通过卷积层c1->池化层P1->归一化层n1->卷积层c2->池化层P2->归一化层n2->卷积层c3->卷积层c4->池化层P3->全连接层f1->dropout层d1->全连接层f2->输出层。卷积层用于提取图像的特征,池化层用来对特征进行降维,归一化层对特征进行归一化,dropout可以用来防止过拟合,全连接层的当前层神经元与前一层神经元全部连接,最后输出层给出分类结果。后向传播阶段会根据误差函数及采用梯度下降法反向调整深度学习网络中各层的权重和偏置。不断重复前向传播与后向传播过程直至获取一个基于样本集的最优网络模型。该最优网络模型可以用来对图片的模糊属性进行分类。

5、HSV图片指的是HSV颜色空间的图片。

6、本发明采用HSV颜色空间来检测图像的模糊程度,深度学习网络的输入及类别判定的输入图像均采用四通道图像,HSV颜色空间的H,S,V为三个通道,第四通道是亮度通道V与gabor滤波器卷积而得。

图像的模糊程度最直观的体现是在边缘上,清晰的图片较模糊的图片有更为清晰的边缘,因此边缘是判定图片清晰或者模糊的一个重要参考量。Gabor滤波器可以很好地表示图像的纹理特征,已经有研究确认Gabor滤波器对于频率和方向表示接近人类视觉系统对于频率和方向的表示,是一个很有效的检测边缘的线性滤波器。在空域上来说,一个2维的Gabor滤波器是一个正弦平面波和高斯核函数的乘积,可以同时提供时域和频域局部化的信息。

二维gabor滤波器复数形式的函数如下:

G(x,y)=R(x,y)+jI(x,y)

R(x,y)=g(x,y)cos[2πf(xcosθ+ysinθ)]

I(x,y)=g(x,y)sin[2πf(xcosθ+ysinθ)]

其中g(x,y)的定义如下:

式中(x,y)表示像素的位置,j表示虚部单位,f代表了滤波的中心频率,θ代表了滤波的方位。

Gabor函数的实部对图像起到的是平滑的效果,而虚部是一个有效的边缘检测算子,这里用虚部与图像进行卷积。图像与二维gabor滤波器的卷积如下:R(x,y)=I(x,y)*F(x,y)

其中的F(x,y)为原始图像,R(x,y)为与滤波器进行卷积后的图像,I(x,y)为gabor滤波器的虚部。

7、所述清晰图片集DIor及模糊图片集BLor中的图片大小不要求一样,可以有不同的尺寸,其尺寸大小用mor*nor表示。模糊图像块以及清晰图像块的大小也不要求一样,可以有不同的尺寸,其尺寸大小用m*n表示。pp=qq,pp大于等于10000;mor>=m>150,nor>=n>150,0<i<=pp,i为整数。

本发明设计过程:

一、样本图片集的创建:

根据qq张清晰图片集DIor={DIor1,DIor2...,DIorqq}建立对应清晰图片块集合DI={DI1,DI2...,DIqq},根据pp张模糊图片集BLor={BLor1,BLor2...,BLorpp}建立模糊图片块集合BL={BL1,BL2...,BLpp};清晰图片块DIi是从第i张清晰图片DIori的清晰部分裁剪得到的清晰图像块,模糊样本图块BLi是从第i张模糊图片BLori的模糊部分裁剪得到的模糊图像块;所述清晰图片集DIor及模糊图片集BLor中的图片尺寸大小为mor*nor;模糊图像块以及清晰图像块的尺寸大小为m*n;其中pp=qq,pp大于等于10000;mor>=m>150,nor>=n>150,0<i<=pp,i为整数。在建立清晰图片集DIor和模糊图片集BLor时,模糊图像和清晰图像的划分是通过奇数个人投票决定其清晰与模糊归属的。

二、gabor滤波及根据多尺度信息创建4通道图像:

本发明采用HSV颜色空间来检测图像的模糊程度,深度学习网络的输入及类别判定的输入图像均采用四通道图像,HSV颜色空间的H,S,V为三个通道,第四通道是亮度通道V与gabor滤波器卷积而得。

图像的模糊程度最直观的体现是在边缘上,清晰的图片较模糊的图片有更为清晰的边缘,因此边缘是判定图片清晰或者模糊的一个重要参考量。Gabor滤波器可以很好地表示图像的纹理特征,已经有研究确认Gabor滤波器对于频率和方向表示接近人类视觉系统对于频率和方向的表示,是一个很有效的检测边缘的线性滤波器。在空域上来说,一个2维的Gabor滤波器是一个正弦平面波和高斯核函数的乘积,可以同时提供时域和频域局部化的信息。

二维gabor滤波器复数形式的函数如下:

G(x,y)=R(x,y)+jI(x,y)

R(x,y)=g(x,y)cos[2πf(xcosθ+ysinθ)]

I(x,y)=g(x,y)sin[2πf(xcosθ+ysinθ)]

其中g(x,y)的定义如下:

式中(x,y)表示像素的位置,j表示虚部单位,f代表了滤波的中心频率,θ代表了滤波的方位。

Gabor函数的实部对图像起到的是平滑的效果,而虚部是一个有效的边缘检测算子,这里用虚部与图像进行卷积。图像与二维gabor滤波器的卷积如下:

R(x,y)=I(x,y)*F(x,y)

其中的F(x,y)为原始图像,R(x,y)为滤波后的图像,I(x,y)为gabor滤波器的虚部。

Garbor滤波器有两个重要的参数:卷积模板的大小及方向。这里卷积模板的大小取为z*z(z=5,7,9,11,13,15,17,19),计算4个方向上(0,45,90,135)的gabor响应。每幅图像在这4个方向上的响应是不一样的,最终选取在空间上能量响应最强的作为最终的gabor滤波后的图像。

1)对于样本SAii,需要获取另外两幅相应的子图像Pii1与Pii2,并通过将两幅子图像Pii1与Pii2进行缩放得到图像Qii1与Qii2,对于样本SAii,获取图像集合Sii={SAii,Qii1,Qii2};然后将图片集合Sii的每个元素的V通道均与gabor滤波器进行卷积运算,得到卷积图像S’ii={Rii0,Rii1,Rii2},然后根据图像集合S’ii及SAii的H、S、V三个通道,对应得到样本四通道图像,所有的pp+qq个样本都执行相同的运算得到pp+qq个四通道图像;其中ii=1,2,3,...,pp+qq;SAii为模糊图像块集合BL或清晰图像块集合DI中的任一图像块;Pii1为大小为(m*r1)*(n*r1)的子图像块,Pii2为大小为(m*r2)*(n*r2)的子图像块;其中r2<r1;图像集合Sii的每个元素的V通道均与gabor滤波器进行卷积,获取三幅卷积后的图像:Rii0,Rii1,Rii2,其中Rii0为SAii与gabor滤波器卷积后的图像,Rii1为Qii1与gabor滤波器卷积后的图像,Rii2为Qii2与gabor滤波器卷积后的图像。

图片集合Sii的每个图片只选择其V通道数据与gabor滤波器进行卷积运算,即在0度到180度之内角度间隔均匀的xx个方向进行卷积,得到xx个卷积后的图像;从xx个卷积后的图像中选择能量最强的卷积后的图像作为最终的gabor滤波器卷积处理后的图像;即得到卷积图像集合S’ii={Rii0,Rii1,Rii2},执行步骤23;xx范围是1到8;

步骤23:根据卷积图像集合S’ii得到CHii4(x,y):

CHii4(x,y)=α*Rii0(x,y)+β*(|Rii0(x,y)-Rii1(x',y')|+|Rii1(x',y')-Rii2(x”,y”)|)

其中CHii4(x,y)为与样本SAii对应的第四通道图像在位置(x,y)处的像素值,α,β为权重系数,(x’,y’)为Rii1对应于Rii0的(x,y)位置处的位置,(x”,y”)为Rii2对应于Rii0的(x,y)位置处的位置;当x>(m-m'),x'=(x+m'-m)*m/m';否则,x'=null;同时当y>(n-n'),y'=(y+n'-n)*n/n';否则,y'=null;同时当x>(m-m”),x”=(x+m”-m)*m/m”;否则,x”=null;同时当y>(n-n”),y”=(y+n”-n)*n/n”;否则,y”=null;如果x‘或者y’至少有一个为null,那么Rii1(x’,y’)则为0;如果x“或者y”至少有一个为null,那么Rii2(x”,y”)则为0;(x,y)图像任意位置;

与样本SAii对应的四通道图像的另外三个通道图像在位置为(x,y)处的像素值分别为

CHii1(x,y)、CHii2(x,y)、CHii3(x,y):

CHii1(x,y)=Hii(x,y)

CHii2(x,y)=Sii(x,y);

CHii3(x,y)=Vii(x,y)

即得到样本四通道图像。

2)在利用训练获取到的模型进行分类的时候,集合ROI中的每个元素也需要执行相同的操作获取四通道图像,我们以ROI中的第一个元素A’hsv来说明构建待识别的四通道图像的具体过程,其它元素构建待识别的四通道图像的过程与A’hsv类似,根据A’hsv构建四通道图像的过程如下:

CHrecong1(x,y)=Hrecong(x,y)

CHrecong2(x,y)=Srecong(x,y)

CHrecong3(x,y)=Vrecong(x,y)

CHrecong4(x,y)=α*Rrecong0(x,y)+β*(|Rrecong0(x,y)-Rrecong1(x',y')|+|Rrecong1(x',y')-Rrecong2(x”,y”)|)

其中CHrecong4(x,y)为与区域A’hsv对应的第四通道图像在位置(x,y)处的像素值,Rrecong0,Rrecong1,Rrecong2分别表示区域A’hsv图片的V通道、与区域A’hsv图片对应的两个子图像的V通道与gabor滤波器卷积之后获取的图像,CHrecong1,CHrecong2,CHrecong3,CHrecong4分别表示获取的四个通道;(x’,y’)为Rrecong1对应于Rrecong0的(x,y)位置处的位置,(x”,y”)为Rrecong2对应于Rrecong0的(x,y)位置处的位置;如果x‘或者y’至少有一个为null,那么Rrecong1(x’,y’)则为0;如果x“或者y”至少有一个为null,那么Rrecong2(x”,y”)则为0;区域A’hsv的两个子图像的获取过程与获取Sii的过程相似;Hrecong(x,y)、Srecong(x,y)、Vrecong(x,y)定义为待分类细节丰富的区域里的H通道,S通道及V通道的数据;其中当x>(m-m'),x'=(x+m'-m)*m/m';否则,x'=null;同时当y>(n-n'),y'=(y+n'-n)*n/n';否则,y'=null;同时当x>(m-m”),x”=(x+m”-m)*m/m”;否则,x”=null;同时当y>(n-n”),y”=(y+n”-n)*n/n”;否则,y”=null。

根据集合ROI中的每个元素分别构建待识别四通道图像,共获得num+1个四通道图像,组成集合ROI’={B’hsv,B’1,B’2,...,B’num};其中B’hsv表示根据A’hsv获得的四通道图像,B’1表示根据A’1获得的四通道图像,B’2表示根据A’2获得的四通道图像,...,B’num表示根据A’num获得的四通道图像。

三、样本四通道图像作为深度卷积网络结构的输入图像进行训练,最后得到深度学习网络的最优模型。

本发明采用的深度卷积网络由1个输入层,4个卷积层(用c1、c2、c3、c4、表示),3个池化层(用P1、P2、P3表示),2个归一化层(用n1、n2表示),一个dropout层(用d1表示),2个全连接层(用f1、f2表示)和1个输出层组成。

本发明采用的网络模型的结构为:输入层采用大小为m*n的四通道图像作为输入样本;卷积层c1采用96个大小为11*11个高斯核函数提取图像的特征。池化层P1采用3*3大小的Stochastic池化办法,这样池化办法的泛化能力更强。

归一化层n1采用的局部区域尺寸为5。卷积层c2采用256个大小为5*5个高斯核函数提取图像的特征。池化层P2采用3*3大小的Stochastic池化办法。归一化层n2采用的局部区域尺寸为5。卷积层c3采用384个大小为3*3个高斯核函数提取图像的特征。

卷积层c4采用256个大小为3*3个高斯核函数提取图像的特征。池化层P3采用空间金字塔池化层的办法产生固定大小的输出,这样网络输入端的图片就可以有不同的尺寸,样本图像块集合DI和BL中的元素分别是从DIor和BLor的元素中截取的清晰图像块及模糊图像块,由于DI和BL中的元素的清晰及模糊部分的大小是不一样的,这就会导致DI和BL中的元素大小不可能都是一个尺寸,如果在样本处理中将它们的大小都归一化为相同的尺寸,那么它们就会由于缩放而导致其清晰度发生改变,P3层采用空间金字塔池化层的办法可以使得深度学习网络的输入图片大小不一样,这就避免了认为去改变样本的清晰度。

全连接层f1的输出节点为4096个。dropout层d1的作用可以防止过拟合。全连接层f2的输出节点个数与分类的个数相同,这里为2类。输出层采用SoftMax函数,计算每一个输入样本属于不同类别的概率。

网络构建完成之后,接着就可以对训练集中的样本实施训练,以获取各网络层的最优参数。网络结构可分为输入层、隐含层和输出层三个部分。前向传播阶段样本图像依次通过卷积层c1->池化层P1->归一化层n1->卷积层c2->池化层P2->归一化层n2->卷积层c3->卷积层c4->池化层P3->全连接层f1->dropout层d1->全连接层f2->输出层。卷积层用于提取图像的特征,池化层用来对特征进行降维,归一化层对特征进行归一化,dropout可以用来防止过拟合,全连接层的当前层神经元与前一层神经元全部连接,最后输出层给出分类结果。后向传播阶段会根据误差函数及采用梯度下降法反向调整深度学习网络中各层的权重和偏置。不断重复前向传播与后向传播过程获取网络模型;然后在周期T内,用验证集VD检测已经学习到的模型的准确率,当准确率达到上限RP时,停止训练,此时的网络模型为最优网络模型;该最优网络模型用来对图片的模糊属性进行分类;0.85<RP<=1.0,T大于等于200次。

四、识别的图像进行感兴趣区域A’hsv提取,同时将待识别的HSV图像分割成多个图像小块,并且建立四通道图像

步骤41:将需要识别的HSV图片的V通道数据Vrecong与模板图像进行卷积运算之后获取的卷积图像CO,CO=Vrecong*MO;模板图像M0即为Sz行Sz列,大小为Sz*Sz,Sz=3或5;

当M0形式为3*3模板时,

当M0形式为5*5模板时,

其中,其中va为大于0的数字,其范围为0.5~1.0;

步骤42:对卷积图像CO进行二值化,获取的二值化图像BI,二值化的过程为:遍历卷积图像CO中的每一个像素,如果该处像素值小于阈值threshold,则图像BI中对应的像素值为0,如果该处像素值大于等于阈值threshold,则图像BI中对应的像素值为255;threshold为卷积图像CO中的最大像素值的t倍,t=0.6到0.8;

步骤43:遍历二值化图像BI中的每一个像素值BI(x,y),若BI(x,y)为0,则标识para(x,y)=0;否则,para(x,y)初始化为1;继续遍历BI(x,y)的4邻域像素,当遍历BI(x,y)的4邻域像素有不为0的像素点,则执行para(x,y)=para(x,y)+1,其中para(x,y)的最大值为5,最小值为0;

步骤44:计算获取整幅图像BI的形心位置坐标(xcenter,ycenter):

其中w为图像BI的宽,h为图像BI的高;

步骤45:在需要识别的HSV图像中以(xcenter,ycenter)为中心,提取大小为k1*k2的区域块Ahsv;将Ahsv平均分成4等份,取4等份中梯度和最大的那一份作为最终的区域A’hsv;A’hsv大小为k1/2*k2/2;假设待识别的HSV图像的尺寸是K1or*K2or,那么K1or>=k1,K2or>=k2

步骤46:将待识别的HSV图像分割成多个图像小块,图像小块之间没有重叠区域,并且这些小块的大小均为kk1*kk2,假设待识别的HSV图像的尺寸是K1or*K2or,则kk1<=K1or,kk2<=K2or,当KK1=K1or的时候,kk2<=K2or/2,当KK2=K2or的时候,kk1<=K1or/2。这些图像小块及A’hsv构建成集合ROI={A’hsv,A’1,A’2,...,A’num},其中num表示待识别的图像最终被分割成的图像小块的数目,A’1,A’2,...,A’num依次表示第一个图像小块,第二个图像小块,...,第num个图像小块。

根据集合ROI中的每个元素分别构建待识别四通道图像,共获得num+1个四通道图像,组成集合ROI’={B’hsv,B’1,B’2,...,B’num};其中B’hsv表示根据A’hsv获得的四通道图像,B’1表示根据A’1获得的四通道图像,B’2表示根据A’2获得的四通道图像,...,B’num表示根据A’num获得的四通道图像。

五、将四通道图像输入深度学习网络

将步骤四中的ROI’中的元素作为步骤3获得的网络最优模型的输入进行分类,ROI’中的元素依次经过前向传播过程即依次经过卷积层c1->池化层P1->归一化层n1->卷积层c2->池化层P2->归一化层n2->卷积层c3->卷积层c4->池化层P3->全连接层f1->dropout层d1->全连接层f2->输出层;最后的输出层采用SoftMax函数给出ROI’中的元素的分类结果;

六:确定待识别图像的模糊属性及给出待识别图像的清晰区域

根据RE’hsv确定整幅待识别图像的模糊属性,如果RE’hsv为模糊,则待识别图像为模糊;如果RE’hsv为清晰,numdi初始化为1,之后遍历RE’1,RE’2,...,RE’num,遇见值为清晰的,执行numdi=numdi+1操作,最终若numdi/(num+1)>Ra,则待识别图像为清晰,其中,Ra为浮点数类型的阈值且Ra>=0.2;若待识别图像为清晰,则集合RES中元素值为清晰的元素对应的区域为待识别图像中的清晰区域。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种基于深度学习的图像模糊区域检测方法,其特征在于:
步骤1:根据qq张清晰图片集DIor={DIor1,DIor2...,DIorqq}建立对应清晰图片块集合DI={DI1,DI2...,DIqq},根据pp张模糊图片集BLor={BLor1,BLor2...,BLorpp}建立模糊图片块集合BL={BL1,BL2...,BLpp};清晰图片块DIi是从第i张清晰图片DIori的清晰部分裁剪得到的清晰图像块,模糊样本图块BLi是从第i张模糊图片BLori的模糊部分裁剪得到的模糊图像块;所述清晰图片集DIor及模糊图片集BLor中的图片尺寸大小为mor*nor;模糊图像块以及清晰图像块的尺寸大小为m*n;其中pp=qq,pp大于等于10000;mor>=m>150,nor>=n>150,0<i<=pp,i为整数,执行步骤2;
步骤2:对于样本SAii,需要获取另外两幅相应的子图像Pii1与Pii2,并通过将两幅子图像Pii1与Pii2进行缩放得到图像Qii1与Qii2,对于样本SAii,获取图像集合Sii={SAii,Qii1,Qii2};然后将图片集合Sii的每个元素的V通道均与gabor滤波器进行卷积运算,得到卷积图像S’ii={Rii0,Rii1,Rii2},然后根据图像集合S’ii及SAii的H、S、V三个通道,对应得到样本四通道图像,所有的pp+qq个样本都执行相同的运算得到pp+qq个样本四通道图像;执行步骤3;其中ii=1,2,3,...,pp+qq;SAii为模糊图像块集合BL或清晰图像块集合DI中的任一图像块;Pii1为大小为(m*r1)*(n*r1)的子图像块,Pii2为大小为(m*r2)*(n*r2)的子图像块;其中r2<r1;图像集合Sii的每个元素的V通道均与gabor滤波器进行卷积,获取三幅卷积后的图像:Rii0,Rii1,Rii2,其中Rii0为SAii的V通道与gabor滤波器卷积后的图像,Rii1为Qii1的V通道与gabor滤波器卷积后的图像,Rii2为Qii2的V通道与gabor滤波器卷积后的图像,执行步骤3;
步骤3:构建深度卷积网络,将步骤2得到的pp+qq个样本四通道图像作为深度卷积网络结构的输入图像进行训练,并用验证集VD检测已经学习到的模型的准确率,最后得到深度学习网络的最优模型;执行步骤4;其中验证集VD包括pp/5张模糊图片块及qq/5张清晰图片块,执行步骤4;
步骤4:从待识别HSV图片中提取k1/2*k2/2大小的图像块,即获得区域A’hsv,同时将待识别的HSV图片分割成多个图像小块,并根据区域A’hsv及这些图像小块分别构建待识别四通道图像,即集合ROI’={B’hsv,B’1,B’2,...,B’num};num>0;执行步骤5;
步骤5:将步骤4中获得的集合ROI’中的每个四通道图像元素作为步骤3获得的网络最优模型的输入进行分类,ROI’中的每个四通道图像元素依次经过前向传播过程即依次经过卷积层c1->池化层P1->归一化层n1->卷积层c2->池化层P2->归一化层n2->卷积层c3->卷积层c4->池化层P3->全连接层f1->dropout层d1->全连接层f2->输出层;最后的输出层采用SoftMax函数给出ROI’中的每个四通道图像元素的分类结果,组成结果集合RES={RE’hsv,RE’1,RE’2,...,RE’num},其中RE’hsv表示B’hsv的分类结果,RE’1表示根据B’1的分类结果,RE’2表示根据B’2的分类结果,RE’3表示根据B’3的分类结果,...,RE’num表示B’num的分类结果;执行步骤6;
步骤6:根据RE’hsv确定整幅待识别图像的模糊属性,如果RE’hsv为模糊,则待识别图像为模糊;如果RE’hsv为清晰,numdi初始化为1,之后遍历E’1,RE’2,...,RE’num,遇见值为清晰的,执行numdi=numdi+1操作,最终若numdi/(num+1)>Ra,则待识别图像为清晰图像;否则,待识别图像为模糊图像,其中,Ra为浮点数类型的阈值且Ra>=0.2;numdi<=num+1;当待识别图像为清晰图像,则集合RES中元素值为清晰的元素对应的区域为待识别图像中的清晰区域。
2.根据权利要求1所述的一种基于深度学习的图像模糊区域检测方法,其特征在于步骤2具体过程是:
步骤21:与SAii对应的两幅子图像Pii1与Pii2是这样获取的:假如SAii来源于图像BLori或DIori,那么子图像Pii1与Pii2取自BLori或DIori;同时子图像Pii1中心、Pii2中心与样本SAii的中心重合;SAii的尺寸与P ii1和Pii2的尺寸关系为三种情况:Pii1和Pii2的尺寸都大于SAii的尺寸;Pii1和Pii2的尺寸都小于SAii的尺寸;Pii1的尺寸大于SAii的尺寸,Pii2的尺寸小于SAii的尺寸;然后将两幅子图像Pii1与Pii2进行缩放,得到缩放后的子图像Qii1与Qii2,对于样本SAii,获取图像集Sii={SAii,Qii1,Qii2},执行步骤22;
步骤22:图片集合Sii的每个图片只选择其V通道数据与gabor滤波器进行卷积运算,即在0度到180度之内角度间隔均匀的xx个方向进行卷积,得到xx个卷积后的图像;从xx个卷积后的图像中选择能量最强的卷积后的图像作为最终的gabor滤波器卷积处理后的图像;即得到卷积图像集合S’ii={Rii0,Rii1,Rii2},执行步骤23;xx范围是1到8;
步骤23:根据卷积图像集合S’ii得到CHii4(x,y):
CHii4(x,y)=α*Rii0(x,y)+β*(|Rii0(x,y)-Rii1(x',y')|+|Rii1(x',y')-Rii2(x”,y”)|)
其中CHii4(x,y)为与样本SAii对应的第四通道图像在位置(x,y)处的像素值,α,β为权重系数,(x’,y’)为Rii1对应于Rii0的(x,y)位置处的位置,(x”,y”)为Rii2对应于Rii0的(x,y)位置处的位置;当x>(m-m'),x'=(x+m'-m)*m/m';否则,x'=null;同时当y>(n-n'),y'=(y+n'-n)*n/n';否则,y'=null;同时当x>(m-m”),x”=(x+m”-m)*m/m”;否则,x”=null;同时当y>(n-n”),y”=(y+n”-n)*n/n”;否则,y”=null;如果x‘或者y’至少有一个为null,那么Rii1(x’,y’)则为0;如果x“或者y”至少有一个为null,那么Rii2(x”,y”)则为0;(x,y)表示图像的任意位置;
与样本SAii对应的四通道图像的另外三个通道图像在位置为(x,y)处的像素值分别为
CHii1(x,y)、CHii2(x,y)、CHii3(x,y):
即得到样本四通道图像。
3.根据权利要求1所述的一种基于深度学习的图像模糊区域检测方法,其特征在于步骤3具体包括:
步骤31:深度卷积网络包括1个输入层,4个卷积层c1、c2、c3、c4,3个池化层P1、P2、P3,2个归一化层n1、n2,一个dropout层d1,2个全连接层f1、f2和1个输出层;输入层采用大小为m*n的pp+qq个样本四通道图像作为输入;卷积层c1采用96个大小为11*11个高斯核函数提取图像的特征;池化层P1采用3*3大小的Stochastic池化办法;归一化层n1采用的局部区域尺寸为5;卷积层c2采用256个大小为5*5个高斯核函数提取图像的特征;池化层P2采用3*3大小的Stochastic池化方法;归一化层n2采用的局部区域尺寸为5;卷积层c3采用384个大小为3*3个高斯核函数提取图像的特征;卷积层c4采用256个大小为3*3个高斯核函数提取图像的特征;池化层P3采用空间金字塔池化层的办法产生固定大小的输出,这样网络输入端的图片就可以有不同的尺寸,样本图像块集合DI和BL中的元素分别是从DIor和BLor的元素中截取的清晰图像块及模糊图像块,由于DI和BL中的元素的清晰及模糊部分的大小是不一样的,这就会导致DI和BL中的元素大小不可能都是一个尺寸,如果在样本处理中将它们的大小都归一化为相同的尺寸,那么它们就会由于缩放而导致其清晰度发生改变,P3层采用空间金字塔池化层的办法可以使得深度学习网络的输入图片大小不一样,这就避免了人为去改变样本的清晰度;全连接层f1的输出节点为4096个;dropout层d1的作用可以防止过拟合;全连接层f2的输出节点个数与分类的个数相同,这里为2类;输出层采用SoftMax函数,计算每一个输入样本属于不同类别的概率;
步骤32:网络结构可分为输入层、隐含层和输出层三个部分;前向传播阶段样本图像依次通过卷积层c1->池化层P1->归一化层n1->卷积层c2->池化层P2->归一化层n2->卷积层c3->卷积层c4->池化层P3->全连接层f1->dropout层d1->全连接层f2->输出层;卷积层用于提取图像的特征,池化层用来对特征进行降维,归一化层对特征进行归一化,dropout可以用来防止过拟合,全连接层的当前层神经元与前一层神经元全部连接,最后输出层给出分类结果;后向传播阶段会根据误差函数及采用梯度下降法反向调整深度学习网络中各层的权重和偏置;不断重复前向传播与后向传播过程获取一个基于样本集的网络模型;然后再周期T内,用验证集VD检测已经学习到的模型的准确率,当准确率达到上限RP时,停止训练,此时的网络模型为最优网络模型;该最优网络模型用来对图片的模糊属性进行分类;0.85<RP<=1.0,T大于等于200次。
4.根据权利要求1所述的一种基于深度学习的图像模糊区域检测方法,其特征在于步骤4,具体过程是:
步骤41:将需要识别的HSV图片的V通道数据Vrecong与模板图像进行卷积运算之后获取的卷积图像CO,CO=Vrecong*MO;模板图像M0即为Sz行Sz列,大小为Sz*Sz,Sz=3或5;
当M0形式为3*3模板时,
当M0形式为5*5模板时,
其中,其中va为大于0的数字,其范围为0.5~1.0;
步骤42:对卷积图像CO进行二值化,获取的二值化图像BI,二值化的过程为:遍历卷积图像CO中的每一个像素,如果该处像素值小于阈值threshold,则图像BI中对应的像素值为0,如果该处像素值大于等于阈值threshold,则图像BI中对应的像素值为255;threshold为卷积图像CO中的最大像素值的t倍,t=0.6到0.8;
步骤43:遍历二值化图像BI中的每一个像素值BI(x,y),若BI(x,y)为0,则标识para(x,y)=0;否则,para(x,y)初始化为1;继续遍历BI(x,y)的4邻域像素,当遍历BI(x,y)的4邻域像素有不为0的像素点,则执行para(x,y)=para(x,y)+1,其中para(x,y)的最大值为5,最小值为0;
步骤44:计算获取整幅图像BI的形心位置坐标(xcenter,ycenter):
其中w为图像BI的宽,h为图像BI的高;
步骤45:在需要识别的HSV图像中以(xcenter,ycenter)为中心,提取大小为k1*k2的区域块Ahsv;将Ahsv平均分成4等份,取4等份中梯度和最大的那一份作为最终的区域A’hsv;A’hsv大小为k1/2*k2/2;假设待识别的HSV图像的尺寸是K1or*K2or,那么K1or>=k1,K2or>=k2
步骤46:将待识别的HSV图像分割成多个图像小块,图像小块之间没有重叠区域,并且这些小块的大小均为kk1*kk2,假设待识别的HSV图像的尺寸是K1or*K2or,则kk1<=K1or,kk2<=K2or,当KK1=K1or的时候,kk2<=K2or/2,当KK2=K2or的时候,kk1<=K1or/2;这些图像小块及A’hsv构建成集合ROI={A’hsv,A’1,A’2,...,A’num},其中num表示待识别的图像最终被分割成的图像小块的数目,A’1,A’2,...,A’num依次表示第一个图像小块,第二个图像小块,...,第num个图像小块;根据集合ROI中的每个元素分别构建待识别四通道图像,共获得num+1个四通道图像,组成集合ROI’={B’hsv,B’1,B’2,...,B’num};其中B’hsv表示根据A’hsv获得的四通道图像,B’1表示根据A’1获得的四通道图像,B’2表示根据A’2获得的四通道图像,...,B’num表示根据A’num获得的四通道图像;执行步骤5。
5.根据权利要求4所述的一种基于深度学习的图像模糊区域检测方法,其特征在于步骤46中根据集合ROI中的每个元素分别构建待识别四通道图像;以ROI中的第一个元素A’hsv来说明构建待识别的四通道图像的具体过程,其它元素构建待识别的四通道图像的过程与A’hsv类似,根据A’hsv构建四通道图像的过程如下:
CHrecong1(x,y)=Hrecong(x,y)
CHrecong2(x,y)=Srecong(x,y)
CHrecong3(x,y)=Vrecong(x,y)
CHrecong4(x,y)=α*Rrecong0(x,y)+β*(|Rrecong0(x,y)-Rrecong1(x',y')|+|Rrecong1(x',y')-Rrecong2(x”,y”)|)
其中CHrecong4(x,y)为与区域A’hsv对应的第四通道图像在位置(x,y)处的像素值,Rrecong0,Rrecong1,Rrecong2分别表示待分类的区域A’hsv图片的V通道、与待分类区域A’hsv图片对应的两个子图像的V通道与gabor滤波器卷积之后获取的图像,CHrecong1,CHrecong2,CHrecong3,CHrecong4分别表示获取的四个通道;(x’,y’)为Rrecong1对应于Rrecong0的(x,y)位置处的位置,(x”,y”)为Rrecong2对应于Rrecong0的(x,y)位置处的位置;如果x‘或者y’至少有一个为null,那么Rrecong1(x’,y’)则为0;如果x“或者y”至少有一个为null,那么Rrecong2(x”,y”)则为0;待分类区域A’hsv两个子图像的获取过程与获取Sii的过程相似;Hrecong(x,y)、Srecong(x,y)定义、Vrecong(x,y)为待分类区域A’hsv里的H通道,S通道及V通道的数据;其中当x>(m-m'),x'=(x+m'-m)*m/m';否则,x'=null;同时当y>(n-n'),y'=(y+n'-n)*n/n';否则,y'=null;同时当x>(m-m”),x”=(x+m”-m)*m/m”;否则,x”=null;同时当y>(n-n”),y”=(y+n”-n)*n/n”;否则,y”=null;
根据集合ROI中的每个元素分别构建待识别四通道图像,共获得num+1个四通道图像,组成集合ROI’={B’hsv,B’1,B’2,...,B’num};其中B’hsv表示根据A’hsv获得的四通道图像,B’1表示根据A’1获得的四通道图像,B’2表示根据A’2获得的四通道图像,...,B’num表示根据A’num获得的四通道图像。
6.一种基于深度学习的图像模糊区域检测装置,其特征在于包括:
样本四通道图像建立模块,用于根据qq张清晰图片集DIor={DIor1,DIor2...,DIorqq}建立对应清晰图片块集合DI={DI1,DI2...,DIqq},根据pp张模糊图片集BLor={BLor1,BLor2...,BLorpp}建立模糊图片块集合BL={BL1,BL2...,BLpp};清晰图片块DIi是从第i张清晰图片DIori的清晰部分裁剪得到的清晰图像块,模糊样本图块BLi是从第i张模糊图片BLori的模糊部分裁剪得到的模糊图像块;所述清晰图片集DIor及模糊图片集BLor中的图片尺寸大小为mor*nor;模糊图像块以及清晰图像块的尺寸大小为m*n;其中pp=qq,pp大于等于10000;mor>=m>150,nor>=n>150,0<i<=pp,i为整数;对于样本SAii,需要获取另外两幅相应的子图像Pii1与Pii2,并通过将两幅子图像Pii1与Pii2进行缩放得到图像Qii1与Qii2,对于样本SAii,获取图像集合Sii={SAii,Qii1,Qii2};然后将图片集合Sii的每个元素的V通道均与gabor滤波器进行卷积运算,得到卷积图像S’ii={Rii0,Rii1,Rii2},然后根据图像集合S’ii及SAii的H、S、V三个通道,对应得到样本四通道图像,所有的pp+qq个样本都执行相同的运算得到pp+qq个样本四通道图像;其中ii=1,2,3,...,pp+qq;SAii为模糊图像块集合BL或清晰图像块集合DI中的任一幅图像块;Pii1为大小为(m*r1)*(n*r1)的子图像块,Pii2为大小为(m*r2)*(n*r2)的子图像块;其中r2<r1;图像集合Sii的每个元素的V通道均与gabor滤波器进行卷积,获取三幅卷积后的图像:Rii0,Rii1,Rii2,其中Rii0为SAii的V通道与gabor滤波器卷积后的图像,Rii1为Qii1的V通道与gabor滤波器卷积后的图像,Rii2为Qii2的V通道与gabor滤波器卷积后的图像;
深度卷积网络模块,用于构建深度卷积网络,将样本四通道图像建立模块中得到的样本四通道图像作为深度卷积网络结构的输入图像进行训练,并用验证集VD检测已经学习到的模型的准确率,最后得到深度学习网络的最优模型;其中验证集VD包括pp/5张模糊图片块及qq/5张清晰图片块;
待识别HSV图片识别模块,用于从待识别HSV图片中提取k1/2*k2/2大小的图像块,即获得区域A’hsv,同时将待识别的HSV图片分割成多个图像小块,并根据区域A’hsv及这些图像小块分别构建待识别四通道图像,即集合ROI’={B’hsv,B’1,B’2,...,B’num};
图片识别模块,用于根据将ROI’中的元素作为网络最优模型的输入进行分类,之后ROI’中的元素经过前向传播过程即依次经过卷积层c1->池化层P1->归一化层n1->卷积层c2->池化层P2->归一化层n2->卷积层c3->卷积层c4->池化层P3->全连接层f1->dropout层d1->全连接层f2->输出层;最后的输出层采用SoftMax函数给出ROI’中的元素的分类结果,这些结果构成集合RES={RE’hsv,RE’1,RE’2,...,RE’num};根据RE’hsv确定整幅待识别图像的模糊属性,如果RE’hsv为模糊,则待识别图像为模糊;如果RE’hsv为清晰,numdi初始化为1,之后遍历RE’1,RE’2,...,RE’num,遇见值为清晰的,执行numdi=numdi+1操作,最终若numdi/(num+1)>Ra,则待识别图像为清晰图像;否则,待识别图像为模糊图像;其中,Ra为浮点数类型的阈值且Ra>=0.2,numdi<=num+1;当待识别图像为清晰图像,则集合RES中元素值为清晰的元素对应的区域为待识别图像中的清晰区域。
7.根据权利要求6所述的一种基于深度学习的图像模糊区域检测装置,其特征在于所述样本四通道图像建立模块中对于样本SAii,需要获取另外两幅相应的子图像Pii1与Pii2,并通过将两幅子图像Pii1与Pii2进行缩放得到图像Qii1与Qii2,对于样本SAii,获取图像集合Sii={SAii,Qii1,Qii2};然后将图片集合Sii的每个元素的V通道均与gabor滤波器进行卷积运算,得到卷积图像S’ii={Rii0,Rii1,Rii2},然后根据图像集合S’ii及SAii的H、S、V三个通道,对应得到样本四通道图像,所有的pp+qq个样本都执行相同的运算得到pp+qq个四通道图像具体过程是:
步骤21:与SAii对应的两幅子图像Pii1与Pii2是这样获取的:假如SAii来源于图像BLori或DIori,那么子图像Pii1与Pii2取自BLori或DIori;同时子图像Pii1中心、Pii2中心与样本SAii的中心重合;SAii的尺寸与Pii1和Pii2的尺寸关系为三种情况:Pii1和Pii2的尺寸都大于SAii的尺寸;Pii1和Pii2的尺寸都小于SAii的尺寸;Pii1的尺寸大于SAii的尺寸,Pii2的尺寸小于SAii的尺寸;然后将两幅子图像Pii1与Pii2进行缩放,得到缩放后的子图像Qii1与Qii2,对于样本SAii,获取图像集Sii={SAii,Qii1,Qii2},执行步骤22;
步骤22:图片集合Sii的每个图片只选择其V通道数据与gabor滤波器进行卷积运算,即在0度到180度之内角度间隔均匀的xx个方向进行卷积,得到xx个卷积后的图像;从xx个卷积后的图像中选择能量最强的卷积后的图像作为最终的gabor滤波器卷积处理后的图像;即得到卷积图像集合S’ii={Rii0,Rii1,Rii2},执行步骤23;xx范围是1到8;
步骤23:根据卷积图像集合S’ii得到CHii4(x,y):
CHii4(x,y)=α*Rii0(x,y)+β*(|Rii0(x,y)-Rii1(x',y')|+|Rii1(x',y')-Rii2(x”,y”)|)
其中CHii4(x,y)为与样本SAii对应的第四通道图像在位置(x,y)处的像素值,α,β为权重系数,(x’,y’)为Rii1对应于Rii0的(x,y)位置处的位置,(x”,y”)为Rii2对应于Rii0的(x,y)位置处的位置;当x>(m-m'),x'=(x+m'-m)*m/m';否则,x'=null;同时当y>(n-n'),y'=(y+n'-n)*n/n';否则,y'=null;同时当x>(m-m”),x”=(x+m”-m)*m/m”;否则,x”=null;同时当y>(n-n”),y”=(y+n”-n)*n/n”;否则,y”=null;如果x‘或者y’至少有一个为null,那么Rii1(x’,y’)则为0;如果x“或者y”至少有一个为null,那么Rii2(x”,y”)则为0;(x,y)表示图像任意位置;
与样本SAii对应的四通道图像的另外三个通道图像在位置为(x,y)处的像素值分别为
CHii1(x,y)、CHii2(x,y)、CHii3(x,y):
即得到样本四通道图像。
8.根据权利要求6所述的一种基于深度学习的图像模糊区域检测装置,其特征在于所述样本四通道图像建立模块中构建深度卷积网络,将步骤3得到的样本四通道图像作为深度卷积网络结构的输入进行训练,并用验证集VD检测已经学习到的模型的准确率,最后得到深度学习网络的最优模型具体过程是:
步骤31:深度卷积网络包括1个输入层,4个卷积层c1、c2、c3、c4,3个池化层P1、P2、P3,2个归一化层n1、n2,一个dropout层d1,2个全连接层f1、f2和1个输出层;输入层采用大小为m*n的四通道图像作为输入样本;卷积层c1采用96个大小为11*11个高斯核函数提取图像的特征;池化层P1采用3*3大小的Stochastic池化办法;归一化层n1采用的局部区域尺寸为5;卷积层c2采用256个大小为5*5个高斯核函数提取图像的特征;池化层P2采用3*3大小的Stochastic池化方法;归一化层n2采用的局部区域尺寸为5;卷积层c3采用384个大小为3*3个高斯核函数提取图像的特征;卷积层c4采用256个大小为3*3个高斯核函数提取图像的特征;池化层P3采用空间金字塔池化层的办法产生固定大小的输出,这样网络输入端的图片就可以有不同的尺寸,样本图像块集合DI和BL中的元素分别是从DIor和BLor的元素中截取的清晰图像块及模糊图像块,由于DI和BL中的元素的清晰及模糊部分的大小是不一样的,这就会导致DI和BL中的元素大小不可能都是一个尺寸,如果在样本处理中将它们的大小都归一化为相同的尺寸,那么它们就会由于缩放而导致其清晰度发生改变,P3层采用空间金字塔池化层的办法可以使得深度学习网络的输入图片大小不一样,这就避免了认为去改变样本的清晰度;全连接层f1的输出节点为4096个;dropout层d1的作用可以防止过拟合;全连接层f2的输出节点个数与分类的个数相同,这里为2类;输出层采用SoftMax函数,计算每一个输入样本属于不同类别的概率;
步骤32:网络结构可分为输入层、隐含层和输出层三个部分;前向传播阶段样本图像依次通过卷积层c1->池化层P1->归一化层n1->卷积层c2->池化层P2->归一化层n2->卷积层c3->卷积层c4->池化层P3->全连接层f1->dropout层d1->全连接层f2->输出层;卷积层用于提取图像的特征,池化层用来对特征进行降维,归一化层对特征进行归一化,dropout可以用来防止过拟合,全连接层的当前层神经元与前一层神经元全部连接,最后输出层给出分类结果;后向传播阶段会根据误差函数及采用梯度下降法反向调整深度学习网络中各层的权重和偏置;不断重复前向传播与后向传播过程获取基于样本集的网络模型;然后在周期T内,用验证集VD检测已经学习到的模型的准确率,当准确率达到上限RP时,停止训练,此时的网络模型为最优网络模型;该最优网络模型用来对图片的模糊属性进行分类;0.85<RP<=1.0,T大于等于200次。
9.根据权利要求6所述的一种基于深度学习的图像模糊区域检测装置,其特征在于所述待识别HSV图片识别模块中从待识别HSV图片中提取k1/2*k2/2大小的图像块,即获得区域A’hsv,同时将待识别的HSV图像分割成多个图像小块,具体过程是:步骤41:将需要识别的HSV图片的V通道数据Vrecong与模板图像进行卷积运算之后获取的卷积图像CO,CO=Vrecong*MO;模板图像M0即为Sz行Sz列,大小为Sz*Sz,Sz=3或5;
当M0形式为3*3模板时,
当M0形式为5*5模板时,
其中,其中va为大于0的数字,其范围为0.5~1.0;
步骤42:对卷积图像CO进行二值化,获取的二值化图像BI,二值化的过程为:遍历卷积图像CO中的每一个像素,如果该处像素值小于阈值threshold,则图像BI中对应的像素值为0,如果该处像素值大于等于阈值threshold,则图像BI中对应的像素值为255;threshold为卷积图像CO中的最大像素值的t倍,t=0.6到0.8;
步骤43:遍历二值化图像BI中的每一个像素值BI(x,y),若BI(x,y)为0,则标识para(x,y)=0;否则,para(x,y)初始化为1;继续遍历BI(x,y)的4邻域像素,当遍历BI(x,y)的4邻域像素有不为0的像素点,则执行para(x,y)=para(x,y)+1,其中para(x,y)的最大值为5,最小值为0;
步骤44:计算获取整幅图像BI的形心位置坐标(xcenter,ycenter):
其中w为图像BI的宽,h为图像BI的高;
步骤45:在需要识别的HSV图像中以(xcenter,ycenter)为中心,提取大小为k1*k2的区域块Ahsv;将Ahsv平均分成4等份,取4等份中梯度和最大的那一份作为最终的区域A’hsv;A’hsv大小为k1/2*k2/2;假设待识别的HSV图像的尺寸是K1or*K2or,那么K1or>=k1,K2or>=k2
步骤46:将待识别的HSV图像分割成多个图像小块,图像小块之间没有重叠区域,并且这些小块的大小均为kk1*kk2,假设待识别的HSV图像的尺寸是K1or*K2or,则kk1<=K1or,kk2<=K2or,当KK1=K1or的时候,kk2<=K2or/2,当KK2=K2or的时候,kk1<=K1or/2;这些图像小块及A’hsv构建成集合ROI={A’hsv,A’1,A’2,...,A’num},其中num表示待识别的图像最终被分割成的图像小块的数目,A’1,A’2,...,A’num依次表示第一个图像小块,第二个图像小块,...,第num个图像小块;根据集合ROI中的每个元素分别构建待识别四通道图像,共获得num+1个四通道图像,组成集合ROI’={B’hsv,B’1,B’2,...,B’num};其中B’hsv表示根据A’hsv获得的四通道图像,B’1表示根据A’1获得的四通道图像,B’2表示根据A’2获得的四通道图像,...,B’num表示根据A’num获得的四通道图像。
10.根据权利要求9所述的一种基于深度学习的图像模糊区域检测装置,其特征在于所述待识别HSV图片识别模块中根据集合ROI中的每个元素分别构建待识别四通道图像;以ROI中的第一个元素A’hsv来说明构建待识别的四通道图像的具体过程,其它元素构建待识别的四通道图像的过程与A’hsv类似,根据A’hsv构建四通道图像的过程如下:
CHrecong1(x,y)=Hrecong(x,y)
CHrecong2(x,y)=Srecong(x,y)
CHrecong3(x,y)=Vrecong(x,y)
CHrecong4(x,y)=α*Rrecong0(x,y)+β*(|Rrecong0(x,y)-Rrecong1(x',y')|+|Rrecong1(x',y')-Rrecong2(x”,y”)|)
其中CHrecong4(x,y)为与区域A’hsv对应的第四通道图像在位置(x,y)处的像素值,Rrecong0,Rrecong1,Rrecong2分别表示待分类的区域A’hsv的V通道、与待分类区域A’hsv对应的两个子图像的V通道与gabor滤波器卷积之后获取的图像,CHrecong1,CHrecong2,CHrecong3,CHrecong4分别表示获取的四个通道;(x’,y’)为Rrecong1对应于Rrecong0的(x,y)位置处的位置,(x”,y”)为Rrecong2对应于Rrecong0的(x,y)位置处的位置;如果x‘或者y’至少有一个为null,那么Rrecong1(x’,y’)则为0;如果x“或者y”至少有一个为null,那么Rrecong2(x”,y”)则为0;待分类区域图片A’hsv的两个子图像的获取过程与获取Sii的过程相似;
Hrecong(x,y)、Srecong(x,y)、Vrecong(x,y)定义为待分类的区域图片A’hsv的H通道,S通道及V通道的数据;其中当x>(m-m'),x'=(x+m'-m)*m/m';否则,x'=null;同时当y>(n-n'),y'=(y+n'-n)*n/n';否则,y'=null;同时当x>(m-m”),x”=(x+m”-m)*m/m”;否则,x”=null;同时当y>(n-n”),y”=(y+n”-n)*n/n”;否则,y”=null;
根据集合ROI中的每个元素分别构建待识别四通道图像,共获得num+1个四通道图像,组成集合ROI’={B’hsv,B’1,B’2,...,B’num};其中B’hsv表示根据A’hsv获得的四通道图像,B’1表示根据A’1获得的四通道图像,B’2表示根据A’2获得的四通道图像,...,B’num表示根据A’num获得的四通道图像。
CN201610390374.8A 2016-06-02 2016-06-02 一种基于深度学习的图像模糊区域检测方法及装置 CN106096605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610390374.8A CN106096605B (zh) 2016-06-02 2016-06-02 一种基于深度学习的图像模糊区域检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610390374.8A CN106096605B (zh) 2016-06-02 2016-06-02 一种基于深度学习的图像模糊区域检测方法及装置

Publications (2)

Publication Number Publication Date
CN106096605A CN106096605A (zh) 2016-11-09
CN106096605B true CN106096605B (zh) 2019-03-19

Family

ID=57448173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610390374.8A CN106096605B (zh) 2016-06-02 2016-06-02 一种基于深度学习的图像模糊区域检测方法及装置

Country Status (1)

Country Link
CN (1) CN106096605B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778773B (zh) * 2016-11-23 2020-06-02 北京小米移动软件有限公司 图片中目标物的定位方法及装置
CN106780546B (zh) * 2016-12-06 2019-08-16 南京航空航天大学 基于卷积神经网络的运动模糊编码点的身份识别方法
CN106530261B (zh) * 2016-12-28 2019-03-19 同观科技(深圳)有限公司 一种双动态模糊图像复原方法
CN106845528A (zh) * 2016-12-30 2017-06-13 湖北工业大学 一种基于K‑means与深度学习的图像分类算法
CN106780479A (zh) * 2016-12-31 2017-05-31 天津大学 一种基于深度学习的高精度图像模糊检测方法
CN106920229A (zh) * 2017-01-22 2017-07-04 北京奇艺世纪科技有限公司 图像模糊区域自动检测方法及系统
CN107194404A (zh) * 2017-04-13 2017-09-22 哈尔滨工程大学 基于卷积神经网络的水下目标特征提取方法
CN107392857A (zh) * 2017-04-14 2017-11-24 杭州当虹科技有限公司 一种基于深度学习的图像增强方法
CN107203780A (zh) * 2017-05-11 2017-09-26 南京瑞麒凰电子科技有限公司 基于深度学习的玻璃清洁度的检测方法及装置
CN109255439A (zh) * 2017-07-12 2019-01-22 北京图森未来科技有限公司 一种多个gpu并行的dnn模型训练方法和装置
CN107463892A (zh) * 2017-07-27 2017-12-12 北京大学深圳研究生院 一种结合上下文信息和多级特征的图像中行人检测方法
CN107463960A (zh) * 2017-08-07 2017-12-12 石林星 一种图像识别方法及装置
CN107506736A (zh) * 2017-08-29 2017-12-22 北京大生在线科技有限公司 基于深度学习的在线教育视频精美图片截取方法
CN107861938A (zh) * 2017-09-21 2018-03-30 北京三快在线科技有限公司 一种poi文案生成方法及装置,电子设备
DE102017219307B4 (de) * 2017-10-27 2019-07-11 Siemens Healthcare Gmbh Verfahren und System zur Kompensation von Bewegungsartefakten mittels maschinellen Lernens
CN107819790A (zh) * 2017-12-08 2018-03-20 中盈优创资讯科技有限公司 攻击报文的识别方法及装置
CN108921792A (zh) * 2018-07-03 2018-11-30 北京字节跳动网络技术有限公司 用于处理图片的方法和装置
CN109508650A (zh) * 2018-10-23 2019-03-22 浙江农林大学 一种基于迁移学习的树种识别方法
CN109946389A (zh) * 2019-01-31 2019-06-28 青岛理工大学 基于总体经验模态分解与卷积神经网络的结构损伤识别法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101625721A (zh) * 2009-08-06 2010-01-13 安霸半导体技术(上海)有限公司 基于统计数据的人脸检测和跟踪方法
CN104408469A (zh) * 2014-11-28 2015-03-11 武汉大学 基于图像深度学习的烟火识别方法及系统
CN104794504A (zh) * 2015-04-28 2015-07-22 浙江大学 基于深度学习的图形图案文字检测方法
CN105184271A (zh) * 2015-09-18 2015-12-23 苏州派瑞雷尔智能科技有限公司 一种基于深度学习的车辆自动检测方法
CN105335716A (zh) * 2015-10-29 2016-02-17 北京工业大学 一种基于改进udn提取联合特征的行人检测方法
CN105631439A (zh) * 2016-02-18 2016-06-01 北京旷视科技有限公司 人脸图像处理方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101625721A (zh) * 2009-08-06 2010-01-13 安霸半导体技术(上海)有限公司 基于统计数据的人脸检测和跟踪方法
CN104408469A (zh) * 2014-11-28 2015-03-11 武汉大学 基于图像深度学习的烟火识别方法及系统
CN104794504A (zh) * 2015-04-28 2015-07-22 浙江大学 基于深度学习的图形图案文字检测方法
CN105184271A (zh) * 2015-09-18 2015-12-23 苏州派瑞雷尔智能科技有限公司 一种基于深度学习的车辆自动检测方法
CN105335716A (zh) * 2015-10-29 2016-02-17 北京工业大学 一种基于改进udn提取联合特征的行人检测方法
CN105631439A (zh) * 2016-02-18 2016-06-01 北京旷视科技有限公司 人脸图像处理方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Image partial blur detection and classification;Liu R 等;《Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition》;20081231;第1-8页
卷积神经网络分类模型在模式识别中的新进展;胡正平 等;《燕山大学学报》;20150731;第39卷(第4期);第283-291页
深度学习研究综述;尹宝才 等;《北京工业大学学报》;20150131;第41卷(第1期);第48-59页

Also Published As

Publication number Publication date
CN106096605A (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
Li et al. Crowded scene analysis: A survey
CN104077613B (zh) 一种基于级联多级卷积神经网络的人群密度估计方法
Zhao et al. Object-based convolutional neural network for high-resolution imagery classification
Xia et al. AID: A benchmark data set for performance evaluation of aerial scene classification
Yu et al. Deep learning in remote sensing scene classification: a data augmentation enhanced convolutional neural network framework
CN106650913B (zh) 一种基于深度卷积神经网络的车流密度估计方法
CN107204010B (zh) 一种单目图像深度估计方法与系统
CN105956532B (zh) 一种基于多尺度卷积神经网络的交通场景分类方法
CN105354548B (zh) 一种基于ImageNet检索的监控视频行人重识别方法
CN104573669B (zh) 图像物体检测方法
Fong et al. Net2vec: Quantifying and explaining how concepts are encoded by filters in deep neural networks
Wang et al. Learning from synthetic data for crowd counting in the wild
CN107016665A (zh) 一种基于深度卷积神经网络的ct肺结节检测方法
Văduva et al. Latent Dirichlet allocation for spatial analysis of satellite images
Yang et al. Asymmetric 3d convolutional neural networks for action recognition
CN105976400A (zh) 基于神经网络模型的目标跟踪方法及装置
CN104143079B (zh) 人脸属性识别的方法和系统
CN105512680B (zh) 一种基于深度神经网络的多视sar图像目标识别方法
CN104992142A (zh) 一种基于深度学习和属性学习相结合的行人识别方法
CN104881662B (zh) 一种单幅图像行人检测方法
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
CN105740758A (zh) 基于深度学习的互联网视频人脸识别方法
CN105718878A (zh) 基于级联卷积神经网络的第一视角空中手写和空中交互方法
Fridman et al. Towards a cognitive model of crowd behavior based on social comparison theory
Höferlin et al. Inter-active learning of ad-hoc classifiers for video visual analytics

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant