CN107424155A - 一种面向光场重聚焦图像的聚焦分割方法 - Google Patents

一种面向光场重聚焦图像的聚焦分割方法 Download PDF

Info

Publication number
CN107424155A
CN107424155A CN201710248385.7A CN201710248385A CN107424155A CN 107424155 A CN107424155 A CN 107424155A CN 201710248385 A CN201710248385 A CN 201710248385A CN 107424155 A CN107424155 A CN 107424155A
Authority
CN
China
Prior art keywords
matrix
pixel
igniting
light field
neighborhood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710248385.7A
Other languages
English (en)
Other versions
CN107424155B (zh
Inventor
王慧斌
王鑫
韩磊
沈洁
石爱业
严锡君
张振
徐立中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201710248385.7A priority Critical patent/CN107424155B/zh
Publication of CN107424155A publication Critical patent/CN107424155A/zh
Application granted granted Critical
Publication of CN107424155B publication Critical patent/CN107424155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种面向光场重聚焦图像的聚焦分割方法,包括:使用PCNN计算模型将输入图像变换到神经元点火序列空间,生成二维点火序列矩阵;在点火序列矩阵中,分析各点火序号的连通区域和连通度,得到每个像素的连通度属性;根据像素连通度属性和像素邻域点火序列模型,建立像素分类准则;)对每个像素,根据像素分类准则,标记其分类属性,形成分类标记矩阵;在分类标记矩阵上,使用滑窗技术查找“清晰标记”密度最大的区域,在原始重聚焦图像中分割出对应区域作为聚焦区域输出。本发明可以在不失分割准确性的情况下,显著降低聚焦分割时间;方法配置简单、可扩展性好,非常适合用于计算密集型的光场图像处理领域。

Description

一种面向光场重聚焦图像的聚焦分割方法
技术领域
本发明涉及一种面向光场重聚焦图像的聚焦分割方法,属于图像聚焦分割领域。
背景技术
早在1936年,A.Gershun就提出了光场的概念,用以描述光在三维空间中的辐射特性,然而,光场图像获取技术远远滞后于概念的发展。直到2005年,R.Ng等设计出手持式光场相机,才使这一局面大为改观。这一创造推动了光场相机快速进入民用市场,同时也在学术界掀起了光场图像应用研究的热潮。
光场相机可以实现“先拍照,后聚焦”,因为光场成像不仅记录光辐射的传播位置,还记录传播方向。光场相机采集到光场数据后,可以通过重积分技术得到聚焦于任意像面的重聚焦图像。重聚焦图像中蕴含着丰富的场景深度信息,目前已经应用于深度估计、三维重建、目标检测、目标识别等问题。
从单幅光场重聚焦图像中分割出聚焦区域,可以为后期深度估计等应用奠定基础并改善性能。目前,采用的方法多是借鉴其他类型图像的聚焦分割方法,比如针对低景深图像的方法,文献[Ahn,S.And J.Chong,Segmenting a Noisy Low-Depth-of-Field ImageUsing Adaptive Second-Order Statistics.Vol.22.2015.270-273]提出一种针对低景深图像的目标分割方法,该算法对噪声具有一定鲁棒性,但运算时间较长,不适合光场重聚焦图像的聚焦分割。具体针对光场图像聚焦分割的学术论文目前未见相关报道。关于光场图像分割的专利也较少,中国专利CN 104867129 A,公布日2015.08.26,申请号201510178753.6,一种光场图像分割方法。该发明通过对光场中一部分视图(图像)标注,学习其特征来构造分类器,来对光场中所有视图(图像)进行分割。从技术方案上看,该发明是对光场中所有图像的分割,不是针对单幅重聚焦图像进行分割,而且对训练样本图像的标注需要人工参与,不是一个全自动分割方案。
中国专利CN 105184808 A,公布日2015.12.23,申请号201510670734.5,一种光场图像前后景自动分割方法。该发明致力于分割光场描述的场景的前景和背景,本质上是融合处理光场产生的多幅图像,以达到准确高效的目的。
单幅光场重聚焦图像的聚焦分割是多幅融合聚焦分割的基础步骤,可以改善多幅图像融合分割的效果,但要求是时间节约的轻量级计算方法,针对低景深图像的目标分割方法不满足这一条件。因此,提出适合于光场重聚焦图像聚焦分割的方法具有现实意义。
发明内容
本发明所要解决的技术问题是提供一种面向光场重聚焦图像的聚焦分割方法,可以在不失分割准确性的情况下,显著降低聚焦分割时间;方法配置简单、可扩展性好,非常适合用于计算密集型的光场图像处理领域。
本发明为解决上述技术问题采用以下技术方案:
本发明提供一种面向光场重聚焦图像的聚焦分割方法,具体步骤如下:
步骤1,使用简化的脉冲耦合神经网络PCNN计算模型将原始光场重聚焦图像变换到神经元点火序列空间,生成二维点火序列矩阵;
步骤2,在步骤1生成的点火序列矩阵中,分析各点火序号的连通区域和连通度,得到每个像素的连通度属性;
步骤3,根据像素连通度属性和像素邻域点火序列模型,建立像素分类准则;
步骤4,对每个像素,根据像素分类准则,标记其分类属性,形成分类标记矩阵;
步骤5,在分类标记矩阵上,使用滑窗技术查找“清晰标记”密度最大的区域,在原始重聚焦图像中分割出对应区域作为聚焦区域输出。
作为本发明的进一步优化方案,步骤1中将原始光场重聚焦图像变换到神经元点火序列空间的变换过程具体实现方式为:仅允许每个神经元有效点火一次且仅一次;当一个神经元有效点火一次后,提升门限值为无穷大,使其在迭代周期内不会再次点火;同时,设置门限值衰减下限,当动态门限值衰减到下限值后,所有未点火神经元点火。
作为本发明的进一步优化方案,分析各点火序号的连通区域和连通度,具体为:
分析各点火序号的连通区域和连通度,具体为:
(201)对于点火序号n,在点火序列矩阵B中,随机选择一个点火序号为mi,j的元素,mi,j=n,将其坐标(i,j)记入点火序号n的连通区域集合Cn
(202)对于集合Cn的每一个元素,若该元素所在位置的上、下、左、右、左上、左下、右上、右下八个邻居中有点火序号为n的,则将其位置添加到集合Cn,直至集合Cn不能再扩展新元素,由此得到点火序号n的一个连通区域集合;
(203)创建与点火序列矩阵B相同大小的零矩阵Z;统计Cn中元素个数Nn,将Cn中每个元素在矩阵Z的对应位置赋值为Nn
(204)重复步骤(201)至步骤(203),直到矩阵Z的每个元素均大于0,即得到了每个像素的联通度属性。
作为本发明的进一步优化方案,步骤3中根据像素连通度属性和像素邻域点火序列模型,建立像素分类准则,具体为:
对于坐标(i,j)处的像素,其点火序号和连通度属性分别为bi,j∈B、zi,j∈Z;以bi,j、zi,j为中心,分别在点火序列矩阵B和连通度矩阵Z上取nr×nr的窗口,记为邻域点火序列窗口矩阵M=(ms,t)nr×nr、邻域连通度窗口矩阵N=(ns,t)nr×nr,定义(i,j)处像素的nr×nr邻域点火序列中心距矩阵为MC=(mcs,t)nr×nr,其中,nr为大于1的奇数,s、t为取值范围为1到nr的自然数,ms,t、ns,t、mcs,t分别表示矩阵M、N、MC中(s,t)处的元素值;
矩阵MC由矩阵M和N按照如下规则生成:
其中,α为像素连通度门限值;
建立像素分类准则为:
平坦判定准则:若MC为0矩阵,则(i,j)处像素划入平坦区域;
清晰判定准则:M中不重复元素连续,若dmax小于dclear,或者fn大于fnclear,则(i,j)处像素划入清晰区域,其中,dmax为矩阵MC中最大、最小元素之差的绝对值,dclear为最大间距即像素被判定为清晰区域的点火间隔门限值,fn为矩阵M中的不重复元素个数即邻域点火次数,fnclear为像素被判定为清晰区域的邻域点火次数门限值;
边缘判定准则:若fn不大于fnedge且dmax大于dedge,则(i,j)处像素划入边缘区域,其中,fnedge为像素被判定为边缘区域的邻域点火次数门限值,dedge为像素被判定为边缘区域的点火间隔门限值;
其他区域判定准则:不符合以上任一准则的像素归入其他区域。
作为本发明的进一步优化方案,nr×nr、α、dclear、fnclear、dedge、fnedge的值根据原始光场重聚焦图像的尺寸信息选取。
作为本发明的进一步优化方案,步骤4中对每个像素,根据像素分类准则,标记其分类属性,具体为:
(401)创建与点火序列矩阵B相同大小的零矩阵P;
(402)对坐标(i,j)处像素,建立其邻域点火序列窗口矩阵M、邻域连通度窗口矩阵N,计算邻域点火序列中心距矩阵为MC;
(403)根据步骤3建立的准则,对(i,j)处像素进行分类:若该像素被划入清晰区域,则将矩阵P(i,j)处的元素赋值为1;若被划入边缘区域,则矩阵P(i,j)处的元素赋值为2;若被划入平坦区域,则矩阵P(i,j)处的元素赋值为3;若被划入其他区域,则矩阵P(i,j)处的元素赋值为4,从而得到像素分类标记矩阵P。
作为本发明的进一步优化方案,若位置(i,j)的像素处于点火序列矩阵B的边界位置,则其nr×nr邻域中在点火序列矩阵B中找不到点火序号的邻居在邻域点火序列矩阵M中的对应位置置0;若该位置(i,j)的像素的nr×nr邻域中的邻居的连通度属性小于α,则将该邻居在邻域点火序列矩阵M中的对应位置置0。
作为本发明的进一步优化方案,步骤5中在原始重聚焦图像中分割出对应区域作为聚焦区域,具体为:
(501)以stp为步长,以nw×nw的窗口模板在分类标记矩阵P上选取子矩阵块,统计各个子矩阵块中值为1的元素个数,作为该块的清晰标记密度,
(502)选取清晰标记密度最大的子矩阵块,并记为Pb
(503)在矩阵P中识别值为1的元素的连通区域,记为P8
(504)从原始光场重聚焦图像中分割出Pb和P8共同覆盖的区域,即为重聚焦图像的最聚焦区域。
作为本发明的进一步优化方案,nw的取值为nr和原始光场重聚焦图像宽度之间的整数,stp的取值为小于nw的正整数。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
(1)本发明针对光场的单幅重聚焦图像提出了一种轻量级聚焦分割方法,该聚焦分割方法耗时非常小,更适合于运算密集型的光场图像处理领域;
(2)本发明的聚焦分割过程虽在变换域中进行,但方法涉及的所有参数都具有空域意义,易于使用者理解,配置简单;
(3)本发明的聚焦分割方法具有可扩展性,可以方便地融合到其他光场处理应用中。
附图说明
图1为本发明的面向光场重聚焦图像的聚焦分割方法的方法流程图;
图2为本发明中的PCNN网络模型结构示意图;
图3为本发明分析点火序号连通区域和连通度的流程图;
图4为本发明像素3×3邻域同时点火序列示例;
图5为本发明像素3×3邻域连续点火序列示例;
图6为本发明像素3×3邻域断续点火序列示例;
图7为本发明标记每个像素分类属性的流程图;
图8为本发明分割聚焦区域的流程图;
图9为本发明与现有方法的聚焦分割结果对比示例;
图10为本发明与现有方法的聚焦分割时间对比结果。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明:
如图1所示,本发明提出的面向光场重聚焦图像的聚焦分割方法的方法流程图,主要包括如下步骤:
(100)使用简化的脉冲耦合神经网络(PCNN)计算模型将原始光场重聚焦图像变换到神经元点火序列空间,生成二维点火序列矩阵;
(200)在点火序列矩阵中,分析各点火序号的连通区域和连通度,得到每个像素的连通度属性;
(300)根据像素连通度属性和像素邻域点火序列模型,建立像素分类准则;
(400)对每个像素,根据像素分类准则,标记其分类属性,形成分类标记矩阵;
(500)在分类标记矩阵上,使用滑窗技术查找“清晰标记”密度最大的区域,在原始重聚焦图像中分割出对应区域作为聚焦区域输出。
如步骤(100)所述,本发明使用简化的脉冲耦合神经网络(PCNN)将图像变换到另一个空间进行分析。PCNN模型是由脉冲耦合神经元构成的2维单层神经元阵列模型。如图2所示,单个神经元模型可以分成五个离散子系统:耦合连接子系统、反馈输入子系统、调制子系统、动态门限子系统和点火子系统。耦合连接子系统将邻域神经元的耦合输入加权处理后,送入调制子系统,而反馈子系统直接将像素灰度值提交调制子系统;调制子系统将两者合成并激励点火子系统,点火子系统的输出即是神经元的状态(点火或者抑制)。
建模时,PCNN神经元与图像的像素一一对应,以上五个子系统的数学模型依次由式(1)至式(5)描述:
Fij(n)=Iij (1)
Lij(n)=∑WijklYkl(n-1) (2)
Uij(n)=Fij(n)(1+βLij(n)) (3)
其中,Fij(n)、Lij(n)、Uij(n)、Eij(n)、Yij(n)分别表示第n次迭代时,坐标(i,j)处的反馈输入、链接输入、内部活动项、动态门限值、脉冲信号输出;Iij表示坐标为(i,j)的像素的灰度值;β为调制子系统的内部活动项连接系数;aE和VE分别表示动态门限子系统的迭代衰减时间常数和连接权放大系数;Eij(n-1)、Yij(n-1)分别表示第n-1次迭代时,坐标(i,j)处的动态门限值、脉冲信号输出;ε(·)表示单位阶跃函数;THmin表示衰减下限;Wijkl表示位置(i,j)与其邻域(k,l)处的连接权重系数;Ykl(n-1)表示第n-1次迭代时,(k,l)位置的脉冲输出。
在上述模型的迭代中,神经元或自然点火或受邻域激励而捕获点火,形成激活区域,这是该模型用于一般图像分割的基础。本发明将其引入聚焦区域分割问题,仅允许每个神经元有效点火一次且仅一次。当一个神经元有效点火一次后,提升门限值为无穷大,使其在迭代周期内不会再次点火。同时,为了保证所有神经元均有一次有效点火机会,设置了门限值衰减下限,如式(5)所示,当动态门限值衰减到下限值后,所有未点火神经元点火。
根据像素个数建立同样个数的神经元,构成PCNN网络。再根据公式(1)~(5)迭代计算。将每个像素对应神经元的点火序号(即迭代序号)记录在与原始重聚焦图像大小相同的矩阵B中,完成原始图像到点火序列空间的变换。
步骤(200)在点火序列矩阵B中,识别各点火序号的连通区域及连通度。所谓连通区域是指相同的点火序号相互邻接合并而成的区域,简单地说,矩阵中某元素的上、下、左、右、左上、左下、右上、右下八个邻居中与该元素点火序号相同的元素,应与该元素合并为同一连通区域。步骤(200)所述的连通度是指某点火序号对应的连通区域中包含的元素的个数。连通区域中每个元素的连通度都等于连通区域的连通度。
如图3所示,分析每个点火序列号的连通区域和连通度的具体步骤为:
(201)对于点火序号n,在点火序列矩阵B中,随机选择一个点火序号为mi,j(mi,j=n)的元素,将其位置(i,j)记入点火序号n的连通区域集合Cn
(202)对于集合Cn的每一个元素,若该元素所在位置的上、下、左、右、左上、左下、右上、右下八个邻居中有点火序号为n的,则将其位置添加到集合Cn,直至不能再扩展新元素,由此得到点火序号n的一个连通区域集合;
(203)创建与矩阵B相同大小的零矩阵Z;统计Cn中元素个数Nn,将Cn中每个元素在矩阵Z的对应位置赋值为Nn
(204)重复(201)~(203)步,直到矩阵Z的每个元素均大于0,即得到了每个像素的连通度属性。
步骤(300)主要是根据一些先验知识,建立像素的分类准则。根据步骤(100)所述的计算模型,在多轮迭代中,各像素对应神经元在不同的迭代时刻点火一次且仅一次。这样,每个像素都可以关联一个迭代序号(或点火序号),整幅图像的点火序号形成一个序列,称为图像的点火序列。在同一次迭代中点火的神经元对应的像素形成若干个连通区域,每个连通区域包含的像素个数,称为该区域的连通度。像素的连通度属性定义为其所在连通区域的连通度。
一个神经元点火后,通过连接子系统、反馈子系统作用到邻域神经元,同时,随着邻近神经元动态门限值的衰减,可能导致邻域神经元在下一次迭代时点火;如果该神经元的邻域神经元点火,则说明它们对应的像素灰度值近似。因此,神经元点火的先后次序,某种程度上反映了像素灰度的变化程度。而图像中某一区域内像素灰度的变化程度恰恰反映了该区域图像清晰程度。正是根据这一先验知识,本发明建立点火序列模型分析光场重聚焦图像的区域特性。
这里将光场重聚焦图像大致划分为清晰(聚焦)区域、边缘区域、平坦区域、其他区域。其中,其他区域主要指不具备上述三种区域特征的区域。与现行的低景深图像目标分割算法不同,光场图像的聚焦分割只关心图像的最清晰区域,而不需要提取整个目标。
单个像素不足以确定清晰或者模糊,故本实施例综合考虑3×3邻域像素连通度属性以及点火序序列分布属性,进而判定像素的区域归属。图4、图5、图6分别是三种典型像素的3×3邻域点火序列,其中,图4为像素3×3邻域同时点火序列示例,图5为像素3×3邻域连续点火序列示例,图6为像素3×3邻域断续点火序列示例,图中方格中数字表示对应像素的点火序号,数字越小点火越早。图4对应9像素的点火次序相同,说明中心像素与其邻域像素灰度值变化非常微小,在同一个点火量级;图5包含了多个点火序号,且基本属于连续自然数,说明中心像素与其邻域存在空间耦合,灰度值有明显变化;图6包含了多个点火序号,且某两个序号间存在巨大差异,说明该区域像素灰度值有剧烈变化。值得注意的是,如果非中心像素的连通度小于门限值α(通常取值为5),可能由噪声引起,那么该像素点火属性不作为分析中心像素归属的依据。
对于坐标(i,j)处的像素,其点火序号和连通度属性分别为bi,j∈B、zi,j∈Z;以bi,j、zi,j为中心,分别在点火序列矩阵B和连通度矩阵Z上取nr×nr的窗口,记为邻域点火序列窗口矩阵M=(ms,t)nr×nr、邻域连通度窗口矩阵N=(ns,t)nr×nr,定义(i,j)处像素的nr×nr邻域点火序列中心距矩阵为MC=(mcs,t)nr×nr,其中,nr为大于1的奇数,s、t为取值范围为1到nr的自然数,ms,t、ns,t、mcs,t分别表示矩阵M、N、MC中(s,t)处的元素值。如果M超越了B边界,则M中越界位置对应的元素置0;如果N超越了Z边界,则N中越界位置对应的元素置0。
矩阵MC由矩阵M和N按照如下规则生成:
矩阵M中的不重复元素个数,称为邻域点火次数,记为fn。矩阵MC中最大、最小元素分别称为最大、最小中心距,分别记为mcmax、mcmin,两者之差的绝对值称为最大间距,记为dmax
由以上数据结构,提出以下像素归属初步判定准则:
平坦判定准则:若MC为0矩阵,则(i,j)处像素初步划入平坦区域;
清晰判定准则:M中不重复元素连续,若dmax小于dclear,或者fn大于fnclear,则(i,j)处像素划入清晰区域;
边缘判定准则:若fn不大于fnedge且dmax大于dedge,则(i,j)处像素划入边缘区域;
其他区域判定准则:不符合以上任一准则的像素归入其他区域。
其中,nr×nr是准则所选取的像素邻域大小;α为像素连通度门限值;dclear、fnclear分别是像素被判定为清晰区域的点火间隔门限值和邻域点火次数门限值;同样地,dedge、fnedge则分别像素被判定为边缘区域的点火间隔门限值和邻域点火次数门限值。这些值可以根据原始光场重聚焦图像的尺寸信息选取。
图7所示,步骤(400)所述的根据像素的分类准则标记每个像素的分类属性的具体步骤为:
(401)创建与矩阵B相同大小的零矩阵P;
(402)对坐标(i,j)处像素,建立其邻域点火序列窗口矩阵M、邻域连通度窗口矩阵N,计算邻域点火序列中心距矩阵为MC。邻域点火序列矩阵M生成过程中,可能出现两种特殊情况:一、(i,j)处于矩阵边界位置,其部分邻居在矩阵B中找不到点火序号,则在邻域点火序列矩阵M对应位置置0;二、(i,j)某些邻居的连通度属性小于α,认为有可能是噪声引起,不作为参考数据,故也将其在邻域点火序列矩阵M对应位置置0;
(403)根据步骤3建立的准则,对(i,j)处像素进行分类:若该像素被划入清晰区域,则将矩阵P(i,j)处的元素赋值为1;若被划入边缘区域,则矩阵P(i,j)处的元素赋值为2;若被划入平坦区域,则矩阵P(i,j)处的元素赋值为3;若被划入其他区域,则矩阵P(i,j)处的元素赋值为4,从而得到像素分类标记矩阵P。
步骤(500)使用nw×nw的窗口模板、以步长stp在标记矩阵上滑动,选取子矩阵作为分析对象,本实施例选取110×110的窗口模板,滑动步长为10像素。如图8所示,步骤(500)所述的在原始重聚焦图像中分割出对应区域作为聚焦区域的具体步骤为:
(501)以10像素为步长、以110×110像素的窗口模板在标记矩阵P上选取子矩阵块,统计各个子矩阵块中值为1的元素个数,作为该块的清晰标记密度;
(502)选取清晰标记密度最大的子矩阵块,并记为Pb
(503)在矩阵P中识别值为1的元素的连通区域,记为P8
(504)从原始光场重聚焦图像中分割出Pb和P8共同覆盖的区域,即是重聚焦图像的最聚焦区域。
本实施例中两种典型低景深图像聚焦分割方法与本发明进行对比分析,一种是BD方法:由Levente Kovacs于2007年提出的一种自动聚焦区域检测方法;一种是ASFO方法:Zhi Liu于2010年针对低景深图像自动提取聚焦目标的方法。
本实施例构建了由50幅光场重聚焦图片构成的测试库。如图9所示,典型的3幅图像聚焦分割结果示例,第一列列出原始重聚焦图像,第二、三列是分割结果。每一幅原始图像的右侧列出4幅分割结果:左上角对应手工分割结果,左下角对应BD方法分割结果,右上角对应ASFO方法分割结果,右下角对应本发明的聚焦分割结果。计算每幅图像分别使用BD、ASFO、以及本发明三种方法所得分割结果相对于手工分割结果的错误率,然后统计出每种算法分割50幅图像的最小、最大以及平均错误率,如表1所示。
表1 本发明与现有方法的聚焦分割结果错误率统计
统计各方法,在相同硬件平台上分割每一幅图像所花费的时间,最后计算各算法处理50幅测试图像的最大、最小以及平均时间,如图10所示。
从本实施例的分析可以明显看出,本发明在不失分割准确率的情况下,显著降低了聚焦分割时间。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种面向光场重聚焦图像的聚焦分割方法,其特征在于,具体步骤如下:
步骤1,使用简化的脉冲耦合神经网络PCNN计算模型将原始光场重聚焦图像变换到神经元点火序列空间,生成二维点火序列矩阵;
步骤2,在步骤1生成的点火序列矩阵中,分析各点火序号的连通区域和连通度,得到每个像素的连通度属性;
步骤3,根据像素连通度属性和像素邻域点火序列模型,建立像素分类准则;
步骤4,对每个像素,根据像素分类准则,标记其分类属性,形成分类标记矩阵;
步骤5,在分类标记矩阵上,使用滑窗技术查找“清晰标记”密度最大的区域,在原始重聚焦图像中分割出对应区域作为聚焦区域输出。
2.根据权利要求1所述的一种面向光场重聚焦图像的聚焦分割方法,其特征在于,步骤1中将原始光场重聚焦图像变换到神经元点火序列空间的变换过程具体实现方式为:仅允许每个神经元有效点火一次且仅一次;当一个神经元有效点火一次后,提升门限值为无穷大,使其在迭代周期内不会再次点火;同时,设置门限值衰减下限,当动态门限值衰减到下限值后,所有未点火神经元点火。
3.根据权利要求1所述的一种面向光场重聚焦图像的聚焦分割方法,其特征在于,分析各点火序号的连通区域和连通度,具体为:
(201)对于点火序号n,在点火序列矩阵B中,随机选择一个点火序号为mi,j的元素,mi,j=n,将其坐标(i,j)记入点火序号n的连通区域集合Cn
(202)对于集合Cn的每一个元素,若该元素所在位置的上、下、左、右、左上、左下、右上、右下八个邻居中有点火序号为n的,则将其位置添加到集合Cn,直至集合Cn不能再扩展新元素,由此得到点火序号n的一个连通区域集合;
(203)创建与点火序列矩阵B相同大小的零矩阵Z;统计Cn中元素个数Nn,将Cn中每个元素在矩阵Z的对应位置赋值为Nn
(204)重复步骤(201)至步骤(203),直到矩阵Z的每个元素均大于0,即得到了每个像素的联通度属性。
4.根据权利要求1所述的一种面向光场重聚焦图像的聚焦分割方法,其特征在于,步骤3中根据像素连通度属性和像素邻域点火序列模型,建立像素分类准则,具体为:
对于坐标(i,j)处的像素,其点火序号和连通度属性分别为bi,j∈B、zi,j∈Z;以bi,j、zi,j为中心,分别在点火序列矩阵B和连通度矩阵Z上取nr×nr的窗口,记为邻域点火序列窗口矩阵M=(ms,t)nr×nr、邻域连通度窗口矩阵N=(ns,t)nr×nr,定义(i,j)处像素的nr×nr邻域点火序列中心距矩阵为MC=(mcs,t)nr×nr,其中,nr为大于1的奇数,s、t为取值范围为1到nr的自然数,ms,t、ns,t、mcs,t分别表示矩阵M、N、MC中(s,t)处的元素值;
矩阵MC由矩阵M和N按照如下规则生成:
<mrow> <msub> <mi>mc</mi> <mrow> <mi>s</mi> <mo>,</mo> <mi>t</mi> </mrow> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>m</mi> <mrow> <mi>s</mi> <mo>,</mo> <mi>t</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>b</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>n</mi> <mrow> <mi>s</mi> <mo>,</mo> <mi>t</mi> </mrow> </msub> <mo>&amp;GreaterEqual;</mo> <mi>&amp;alpha;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <msub> <mi>n</mi> <mrow> <mi>s</mi> <mo>,</mo> <mi>t</mi> </mrow> </msub> <mo>&lt;</mo> <mi>&amp;alpha;</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>.</mo> </mrow>
其中,α为像素连通度门限值;
建立像素分类准则为:
平坦判定准则:若MC为0矩阵,则(i,j)处像素划入平坦区域;
清晰判定准则:M中不重复元素连续,若dmax小于dclear,或者fn大于fnclear,则(i,j)处像素划入清晰区域,其中,dmax为矩阵MC中最大、最小元素之差的绝对值,dclear为最大间距即像素被判定为清晰区域的点火间隔门限值,fn为矩阵M中的不重复元素个数即邻域点火次数,fnclear为像素被判定为清晰区域的邻域点火次数门限值;
边缘判定准则:若fn不大于fnedge且dmax大于dedge,则(i,j)处像素划入边缘区域,其中,fnedge为像素被判定为边缘区域的邻域点火次数门限值,dedge为像素被判定为边缘区域的点火间隔门限值;
其他区域判定准则:不符合以上任一准则的像素归入其他区域。
5.根据权利要求4所述的一种面向光场重聚焦图像的聚焦分割方法,其特征在于,nr×nr、α、dclear、fnclear、dedge、fnedge的值根据原始光场重聚焦图像的尺寸信息选取。
6.根据权利要求4所述的一种面向光场重聚焦图像的聚焦分割方法,其特征在于,如果矩阵M超越了矩阵B的边界,则矩阵M中越界位置对应的元素置0;如果矩阵N超越了矩阵Z边界,则矩阵N中越界位置对应的元素置0。
7.根据权利要求4所述的一种面向光场重聚焦图像的聚焦分割方法,其特征在于,步骤4中对每个像素,根据像素分类准则,标记其分类属性,具体为:
(401)创建与点火序列矩阵B相同大小的零矩阵P;
(402)对坐标(i,j)处像素,建立其邻域点火序列窗口矩阵M、邻域连通度窗口矩阵N,计算邻域点火序列中心距矩阵为MC;
(403)根据步骤3建立的准则,对(i,j)处像素进行分类:若该像素被划入清晰区域,则将矩阵P(i,j)处的元素赋值为1;若被划入边缘区域,则矩阵P(i,j)处的元素赋值为2;若被划入平坦区域,则矩阵P(i,j)处的元素赋值为3;若被划入其他区域,则矩阵P(i,j)处的元素赋值为4,从而得到像素分类标记矩阵P。
8.根据权利要求7所述的一种面向光场重聚焦图像的聚焦分割方法,其特征在于,若位置(i,j)的像素处于点火序列矩阵B的边界位置,则其nr×nr邻域中在点火序列矩阵B中找不到点火序号的邻居在邻域点火序列矩阵M中的对应位置置0;若该位置(i,j)的像素的nr×nr邻域中的邻居的连通度属性小于α,则将该邻居在邻域点火序列矩阵M中的对应位置置0。
9.根据权利要求7所述的一种面向光场重聚焦图像的聚焦分割方法,其特征在于,步骤5中在原始重聚焦图像中分割出对应区域作为聚焦区域,具体为:
(501)以stp为步长,以nw×nw的窗口模板在分类标记矩阵P上选取子矩阵块,统计各个子矩阵块中值为1的元素个数,作为该块的清晰标记密度,
(502)选取清晰标记密度最大的子矩阵块,并记为Pb
(503)在矩阵P中识别值为1的元素的连通区域,记为P8
(504)从原始光场重聚焦图像中分割出Pb和P8共同覆盖的区域,即为重聚焦图像的最聚焦区域。
10.根据权利要求9所述的一种面向光场重聚焦图像的聚焦分割方法,其特征在于,nw的取值为nr和原始光场重聚焦图像宽度之间的整数,stp的取值为小于nw的正整数。
CN201710248385.7A 2017-04-17 2017-04-17 一种面向光场重聚焦图像的聚焦分割方法 Active CN107424155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710248385.7A CN107424155B (zh) 2017-04-17 2017-04-17 一种面向光场重聚焦图像的聚焦分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710248385.7A CN107424155B (zh) 2017-04-17 2017-04-17 一种面向光场重聚焦图像的聚焦分割方法

Publications (2)

Publication Number Publication Date
CN107424155A true CN107424155A (zh) 2017-12-01
CN107424155B CN107424155B (zh) 2020-04-21

Family

ID=60424200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710248385.7A Active CN107424155B (zh) 2017-04-17 2017-04-17 一种面向光场重聚焦图像的聚焦分割方法

Country Status (1)

Country Link
CN (1) CN107424155B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255784A (zh) * 2018-09-13 2019-01-22 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN109873948A (zh) * 2019-01-30 2019-06-11 中国地质大学(武汉) 一种光学显微镜智能自动聚焦方法、设备及存储设备
CN112132771A (zh) * 2020-11-02 2020-12-25 西北工业大学 一种基于光场成像的多聚焦图像融合方法
CN117615253A (zh) * 2024-01-22 2024-02-27 中国科学院合肥物质科学研究院 一种目标矩直接探测快速对焦的方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246554A (zh) * 2008-03-11 2008-08-20 中国科学院光电技术研究所 基于像素标记的多目标图像分割方法
CN101546430A (zh) * 2009-04-30 2009-09-30 上海大学 基于简化型脉冲耦合神经网络的边缘提取方法
CN104867129A (zh) * 2015-04-16 2015-08-26 东南大学 一种光场图像分割方法
CN105184808A (zh) * 2015-10-13 2015-12-23 中国科学院计算技术研究所 一种光场图像前后景自动分割方法
CN106023224A (zh) * 2016-05-30 2016-10-12 天水师范学院 一种中药材显微图像的pcnn自动分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246554A (zh) * 2008-03-11 2008-08-20 中国科学院光电技术研究所 基于像素标记的多目标图像分割方法
CN101546430A (zh) * 2009-04-30 2009-09-30 上海大学 基于简化型脉冲耦合神经网络的边缘提取方法
CN104867129A (zh) * 2015-04-16 2015-08-26 东南大学 一种光场图像分割方法
CN105184808A (zh) * 2015-10-13 2015-12-23 中国科学院计算技术研究所 一种光场图像前后景自动分割方法
CN106023224A (zh) * 2016-05-30 2016-10-12 天水师范学院 一种中药材显微图像的pcnn自动分割方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
H. HARIHARAN ET AL.: "MULTIFOCUS IMAGE FUSION BY ESTABLISHING FOCAL CONNECTIVITY", 《IMAGE PROCESSING, 2007. ICIP 2007. IEEE INTERNATIONAL CONFERENCE ON》 *
SANGWOO AHN ET AL.: "Segmenting a Noisy Low-Depth-of-Field Image Using Adaptive Second-Order Statistics", 《IEEE SIGNAL PROCESSING LETTERS》 *
ZHAOBIN WANG ET AL.: "Review of pulse-coupled neural networks", 《IMAGE AND VISION COMPUTING》 *
张永新: "多聚焦图像像素级融合算法研究", 《中国博士学位论文数据库 信息科技辑》 *
石学萍: "基于NSCT与PCNN相结合的图像融合方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255784A (zh) * 2018-09-13 2019-01-22 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN109873948A (zh) * 2019-01-30 2019-06-11 中国地质大学(武汉) 一种光学显微镜智能自动聚焦方法、设备及存储设备
CN109873948B (zh) * 2019-01-30 2020-06-26 中国地质大学(武汉) 一种光学显微镜智能自动聚焦方法、设备及存储设备
CN112132771A (zh) * 2020-11-02 2020-12-25 西北工业大学 一种基于光场成像的多聚焦图像融合方法
CN112132771B (zh) * 2020-11-02 2022-05-27 西北工业大学 一种基于光场成像的多聚焦图像融合方法
CN117615253A (zh) * 2024-01-22 2024-02-27 中国科学院合肥物质科学研究院 一种目标矩直接探测快速对焦的方法及设备
CN117615253B (zh) * 2024-01-22 2024-04-02 中国科学院合肥物质科学研究院 一种目标矩直接探测快速对焦的方法及设备

Also Published As

Publication number Publication date
CN107424155B (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN108921051B (zh) 基于循环神经网络注意力模型的行人属性识别网络及技术
Rachmadi et al. Vehicle color recognition using convolutional neural network
CN109859171A (zh) 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法
CN108288027A (zh) 一种图像质量的检测方法、装置及设备
CN107424155A (zh) 一种面向光场重聚焦图像的聚焦分割方法
CN110210276A (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN111209892A (zh) 一种基于卷积神经网络的人群密度及数量估计方法
CN111723693A (zh) 一种基于小样本学习的人群计数方法
CN104143185A (zh) 一种污点区域检测方法
CN115205264A (zh) 一种基于改进YOLOv4的高分辨率遥感船舶检测方法
TWI441096B (zh) 適用複雜場景的移動偵測方法
CN114092697B (zh) 注意力融合全局和局部深度特征的建筑立面语义分割方法
CN113076816B (zh) 基于红外与可见光图像的太阳能光伏组件热斑识别方法
CN108647691A (zh) 一种基于点击特征预测的图像分类方法
CN110390308B (zh) 一种基于时空对抗生成网络的视频行为识别方法
CN106815323A (zh) 一种基于显著性检测的跨域视觉检索方法
CN108960404A (zh) 一种基于图像的人群计数方法及设备
CN112818849B (zh) 基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法
CN111368660A (zh) 一种单阶段半监督图像人体目标检测方法
CN115984543A (zh) 一种基于红外与可见光图像的目标检测算法
CN112529025A (zh) 一种数据处理方法及装置
CN111178275A (zh) 一种基于卷积神经网络的火灾检测方法
CN116486231A (zh) 一种基于改进YOLOv5的混凝土裂缝检测方法
CN110705394A (zh) 一种基于卷积神经网络的景区人群行为分析方法
Wang et al. ABC-NET: Avoiding Blocking Effect & Color Shift Network for Single Image Dehazing Via Restraining Transmission Bias

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant