CN105930815A - 一种水下生物检测方法和系统 - Google Patents

一种水下生物检测方法和系统 Download PDF

Info

Publication number
CN105930815A
CN105930815A CN201610289792.8A CN201610289792A CN105930815A CN 105930815 A CN105930815 A CN 105930815A CN 201610289792 A CN201610289792 A CN 201610289792A CN 105930815 A CN105930815 A CN 105930815A
Authority
CN
China
Prior art keywords
super
pixel
color
pixel region
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610289792.8A
Other languages
English (en)
Other versions
CN105930815B (zh
Inventor
李振波
郭传鑫
李晨
岳峻
段作栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201610289792.8A priority Critical patent/CN105930815B/zh
Publication of CN105930815A publication Critical patent/CN105930815A/zh
Application granted granted Critical
Publication of CN105930815B publication Critical patent/CN105930815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/05Underwater scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种水下生物检测方法和系统,包括:采集水下生物的样本图像,对样本图像进行超像素分割,形成多个超像素区域;提取每个超像素区域的第一颜色特征向量和第一纹理特征向量;将第一颜色特征向量和第一纹理特征向量输入到支持向量机SVM中进行学习,构建颜色特征分类器和纹理特征分类器;采集水下生物的待测图像的超像素区域的第二颜色特征向量和第二纹理特征向量;将第二颜色特征向量输入颜色特征分类器,将第二纹理特征向量输入纹理特征分类器,判断待测图像的超像素区域是否为水下生物区域。本发明提供的技术方案,实现了水下生物的检测,解决了现有因为水下环境复杂,检测难度大的问题,以及人工捕捞困难的问题。

Description

一种水下生物检测方法和系统
技术领域
本发明涉及图像处理技术领域,尤其涉及一种水下生物检测方法和系统。
背景技术
海参属海参纲,水下生物的一种,距今已有六亿多年的历史,海参以海底藻类和浮游生物为食。海参全身长满肉刺,广布于世界各海洋中。海参生长环境在海底,由于海底存在许多的礁石,所以无法像捕鱼一样用网捞,目前的捕捞方式主要靠人工。由于海参生长环境特殊,导致捕捞作业非常复杂,需要作业人员带上氧气罩,潜到海底去捕捞,且长久作业对人体有一定的害处,所以为了实现海参捕捞自动化迫在眉睫。面向近浅海海参捕捞机器人的需求,迫切需要解决海参目标的检测问题。
由于水下环境的影响,之前曾提出过半自动的海参图像分割工作,首先使用了单尺度Retinex进行了水下预处理。然而,在处理后的图像中自动检测海参对象,但是该检测工作仍然是具有挑战性的工作,如图1a、图1b、图1c、图1d所示。由于在水下环境中光的散射和吸收造成的照度不均,以及水中不确定性的悬浮物的存在,使得不同图像中海参和背景有很大的差异。还有暗阴影隐藏了图像细节,使得分析海参表面特征十分困难。海水中还有大量的水草、纤维袋、砂石以及小贝壳等各种杂质,生成多种噪点,对海参检测造成干扰。部分图像中,海参会被水草等遮挡,在此情况下,提取海参的特征具有挑战性。
目前,因为计算机视觉技术处理图像的自动化和高效,使得它在各个领域的应用越来越普及。然而,目前还没有研究海参检测的方法 的研究者。计算机视觉检测方法用于人脸检测、行人检测、农产品检测和显著性检测等多种领域。其中将人脸检测方法分为四类:基于特征的检测方法、基于外观的检测方法、基于知识的检测方法以及模板匹配方法。但与人脸有区别的是,海参严重的非刚性,没有固定的形状和姿态,由于光照和个体差异的影响,每个海参在图像中成像也不同。自2005年Dalal等人提出基于HOG特征的行人检测方法后,行人检测领域发展十分迅速。然而行人检测方法也有很多缺陷,不能处理前景与背景颜色相近,而海参的皮肤颜色与海底沙地颜色相近。现有技术中也提出了一种基于固定阈值的茄子采摘机器人快速目标识别方法,通过实验和统计,发现了茄子果实在生长环境中和周围的颜色特征。G-B颜色模式是茄子图像分割最适合的,然后通过固定的双边阈值完成图像分割。农产品分级检测中利用农作物在颜色空间中的显著性,例如以绿叶为背景的茄子、番茄和草莓在一些颜色空间具有显著性,而海参生长的环境复杂,光照也不均匀,大部分海参图像在颜色空间中没有显著性,所以不适合海参检测。综上所述,由于海参所生长环境的复杂性和海参个体的差异性,导致上述方法并不适合于海参检测。
发明内容
本发明所要解决的技术问题是如何克服水下环境的复杂性和水下生物个体的差异性,以实现水下生物的准确检测。
为此目的,本发明提出了一种水下生物检测方法,所述方法包括:分类器训练阶段和水下生物检测阶段;
所述分类器训练阶段包括:
采集水下生物的样本图像,对所述样本图像进行超像素分割,形成多个超像素区域;
提取每个超像素区域的第一颜色特征向量和第一纹理特征向量;
将所述第一颜色特征向量和第一纹理特征向量输入到支持向量 机SVM中进行学习,构建颜色特征分类器和纹理特征分类器;
所述水下生物检测阶段包括:
采集水下生物的待测图像,对所述待测图像进行超像素分割,形成多个超像素区域;
提取每个超像素区域的第二颜色特征向量和第二纹理特征向量;
将所述第二颜色特征向量输入所述颜色特征分类器,将所述第二纹理特征向量输入所述纹理特征分类器,判断所述超像素区域是否为水下生物区域。
优选的,所述对所述样本图像进行超像素分割具体采用简单线性迭代聚类SLIC方法对样本图像进行超像素分割。
优选的,所述采用简单线性迭代聚类SLIC方法对样本图像进行超像素分割包括:
将所述样本图像从RGB颜色空间转换到CIELAB颜色空间,将K个聚类中心Ck均匀的分布在所述样本图像中,每个聚类中心对应一个超像素质心的初始位置,并引入加权距离度量DS来测量颜色距离与空间距离;
根据加权距离度量DS将图像中每个像素和最近的聚类中心Ck关联起来,形成一个集群;
将一个集群中的所有像素的数组的平均值作为新的初始位置,如此反复迭代直到所有的聚类中心点收敛到稳定位置。
优选的,所述引入加权距离度量Ds来测量颜色距离与空间距离,采用以下公式:
其中,由所述CIELAB颜色空间的[lab]颜色数组和图像像素的坐 标[x,y]组成一个5维空间,DS为加权距离度量,dxy为空间距离,dxy由S来归一化处理,S为两个聚类中心之间的距离,dlab为颜色距离,k代表对应的K个可能的聚类中心的索引,i为给定超像素中心k区域内的像素,m为用来修正空间距离和颜色距离项的贡献。
优选的,所述提取每个超像素区域的第一颜色特征向量和第一纹理特征向量,具体包括:
提取每个超像素区域的颜色直方图特征,其中,每个超像素区域形成48维的RGB颜色特征向量;
提取每个超像素区域的纹理直方图特征,其中,每个超像素区域形成59维的LBP纹理特征向量。
优选的,所述提取每个超像素区域的颜色直方图特征,其中,每个超像素区域形成48维的RGB颜色特征向量,具体包括:
将每个超像素区域中的所有像素的R、G、B三个通道分别分为16个灰度级数;
分别计算每个通道的直方图特征;
将R、G、B三个通道的所述直方图特征合并为所述超像素区域的具有48个灰度级数的颜色直方图。
优选的,提取每个超像素区域的纹理直方图特征,其中,每个超像素区域形成59维的LBP纹理特征向量,具体包括:
计算所述样本图像的均匀LBP值;其中,均匀LBP值被分为58类;
根据所述每个超像素区域的位置信息,统计每个均匀LBP值出现的概率,得到每个维度的纹理直方图;
将每个维度的纹理直方图进行连接成为一个59维的纹理特征向量。
优选的,所述将所述第二颜色特征向量输入所述颜色特征分类器,将所述第二纹理特征向量输入所述纹理特征分类器,判断所述超 像素区域是否为水下生物区域,还包括:
将所述颜色特征分类器的分类结果和所述纹理特征分类器的分类结果进行或运算,若运算结果为1,则表示所述超像素区域为水下生物区域,若运算结果为0,则表示所述超像素区域不是水下生物区域。
优选的,所述将所述第二颜色特征向量输入所述颜色特征分类器,将所述第二纹理特征向量输入所述纹理特征分类器,判断所述超像素区域是否为水下生物区域,还包括:
去除代表水下生物区域的单个超像素区域;其中,所述单个超像素区域的周围均为非水下生物区域;
对检测结果的二值图像进行闭运算,以填充水下生物区域内的细小空洞,连接最为临近的超像素区域,以平滑水下生物的边界。
另一方面,本发明还提供了一种水下生物检测系统,所述系统包括:
超像素分割单元,用于采集水下生物的样本图像,对所述样本图像进行超像素分割,形成多个超像素区域;
特征提取单元,用于提取每个超像素区域的第一颜色特征向量和第一纹理特征向量;
训练单元,用于将所述第一颜色特征向量和第一纹理特征向量输入到支持向量机SVM中进行学习,构建颜色特征分类器和纹理特征分类器;
所述超像素分割单元,还用于采集水下生物的待测图像,对所述待测图像进行超像素分割,形成多个超像素区域;
所述特征提取单元,还用于提取每个超像素区域的第二颜色特征向量和第二纹理特征向量;
检测单元,用于将所述第二颜色特征向量输入所述颜色特征分类器,将所述第二纹理特征向量输入所述纹理特征分类器,判断所述超 像素区域是否为水下生物区域。
本发明实施例提供的水下生物检测方法和系统,通过获取样本的图像,对图像进行超像素分割和特征提取,建立颜色特征模型和纹理特征模型,在后续使用时,只需将待测图像的颜色特征和纹理特征输入颜色特征模型和纹理特征模型中,就可以确定待测图像的水下生物的区域,从而实现了水下生物的检测,解决了现有因为水下环境复杂,检测难度大的问题,以及人工捕捞困难的问题。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1a、图1b、图1c、图1d为现有水下复杂的环境对海参检测的干扰的示意图;
图2为本发明实施例提供的一种水下生物检测方法的流程示意图;
图3a为水下海参图像的示意图;图3b为图3a中的图像经过SLIC超像素过分割后示意图;
图4为一种LBP编码模式的示意图;
图5为采用本发明进行海参检测的效果示意图;
图6为现有技术进行海参检测的效果示意图;
图7本发明实施例提供的海参检测方法的详细流程示意图。
具体实施方式
下面将结合附图对本发明的实施例进行详细描述。
如图2所示,本发明实施例提供了一种水下生物检测方法,所述方法包括:分类器训练阶段和水下生物检测阶段;
所述分类器训练阶段包括:
S1:采集水下生物的样本图像,对所述样本图像进行超像素分割,形成多个超像素区域;
需要解释的是,过分割是将具有相似性质的像素组成紧凑和相邻的区域的预处理技术。超像素主要针对子区域而不是孤立像素的处理,这能明显减少图像的复杂性。定义的超像素遵循一个原则,那就是超像素的面积应该不大于图像中的有关联的图像的子区域。例如,图3a为912像素×608像素水下图像中的海参,图3b为经过超像素分割后的图像。海参表面的像素聚集在一起,形成几个超像素区域。然而,并没有获得子区域是属于哪部分的,只是代表有相同颜色的像素簇。这个原则可以避免像素分组过程中的欠分割错误。过分割就是由于一些大的超像素包含了过多结果,没有注意图像中的细节。
为了对图像进行适当的过分割,必须注意在分裂的过程中保留对象的内部边界及对象的边界。因此,超像素的大小至关重要,应该根据图像分辨率及图像细节适当选择。在图3b中,一个超像素区域平均包含大约1600个像素。这种选择提供了一个轮廓图,并能准确的吻合海参的轮廓、阴影、肉刺、皮肤等。这个超像素大小对这种分辨率图像来说,能够很好的捕捉海参的细节。通过引入尺寸约束,保证避免了超像素区域超过海参大小和过分割错误的产生。
其中,在对样本图像进行超像素分割之前还可以将样本图像进行单尺度Retinex算法增强,对增强后的图像再进行超像素分割。
优选的,所述对所述样本图像进行超像素分割具体采用简单线性迭代聚类SLIC(Simple Linear Iterative Clustering)方法对样本图像进行超像素分割。其中,所述采用简单线性迭代聚类SLIC方法对样本图像进行超像素分割包括以下步骤:
S101:将所述样本图像从RGB颜色空间转换到CIELAB颜色空间,将K个聚类中心Ck均匀的分布在所述样本图像中,每个聚类中心对应一个超像素质心的初始位置,并引入加权距离度量DS来测量颜色距离与空间距离;
S102:根据加权距离度量DS将图像中每个像素和最近的聚类中 心Ck关联起来,形成一个集群;
S103:将一个集群中的所有像素的数组的平均值作为新的初始位置,如此反复迭代直到所有的聚类中心点收敛到稳定位置。
需要说明的是,SLIC是基于k-means的一种超像素提取方法。SLIC超像素方法计算成本低,具有高质量的分割,并且使用感性的CIELAB颜色空间,并保证所有超像素的紧致性。SLIC方法基于颜色相似和图像平面的距离需要对像素进行聚类,运行的时候只需要提供超像素个数K。假设图像中像素的总数为N,则一个超像素区域的大小则近似为S2=N/K。SLIC的超像素提取方法描述如下:首先将图像从RGB颜色空间转换到CIELAB颜色空间,然后将K个聚类中心Ck均匀的分布在图像中,每个中心对应一个超像素质心的初始位置。由于所有的超像素的空间范围大约是S2,所以假设与这个聚类中心关联的像素在2S×2S区域内。SLIC方法的关键在于像素如何分别被分配给K个聚类中心。
为了实现这个目标,优选的,引入加权距离度量DS来测量颜色距离与空间距离:
其中,由所述CIELAB颜色空间的[lab]颜色数组和图像像素的坐标[x,y]组成一个5维空间,DS为加权距离度量,dxy为空间距离,dxy由S来归一化处理,S为两个聚类中心之间的距离,dlab为颜色距离,k代表对应的K个可能的聚类中心的索引,i为给定超像素中心k区域内的像素,m为用来修正空间距离和颜色距离项的贡献。
需要解释的是,由CIELAB颜色空间的[lab]颜色数组和图像像素的坐标[x,y]组成一个5维空间,空间距离dxy由S来归一化处理,S表 两个聚类中心之间的距离,由S来归一化处理的目的是引入一个上界来限制dxy的最大值并减少dxy的量级来和颜色距离dlab匹配。这里的k代表对应的K个可能的聚类中心的索引,i指的是给定超像素中心k区域内的像素。在求距离DS的公式中m值是用来修正空间距离和颜色距离项的贡献。在聚类期间,m值越小,则颜色距离所占比例越大。之后根据加权测量距离DS将图像中每个像素和最近的聚类中心Ck关联起来。然后,将一个集群中的所有像素的[labxy]数组的平均值作为新的中心点。可以认为是中心点移到图像平面中新的xy位置。这个分配过程被反复迭代进行直到所有的聚类中心点收敛到稳定位置。
S2:提取每个超像素区域的第一颜色特征向量和第一纹理特征向量;
需要说明的是,对所有计算机视觉系统来说,特征表示直观重要,通过特征提取可以将超像素分割的局部区域分类为水下生物区域和背景区域,如海参区域和背景区域。海参在水下图像中对人眼来说,显著的特征包括颜色和纹理。给定一幅图像I,包含了一组超像素SPK={SP1,SP2,...,SPK},分别提取它们的RGB颜色直方图特征HCK={HC1,HC2,...,HCK}和LBP纹理直方图特征HLK={HL1,HL2,...,HLK}。
优选的,提取每个超像素区域的第一颜色特征向量和第一纹理特征向量,具体包括:提取每个超像素区域的颜色直方图特征,其中,每个超像素区域形成48维的RGB颜色特征向量;提取每个超像素区域的纹理直方图特征,其中,每个超像素区域形成59维的LBP纹理特征向量。下面分别对两种特征表示进行简单描述:
(1)RGB颜色直方图
优选的,所述提取每个超像素区域的颜色直方图特征,其中,每个超像素区域形成48维的RGB颜色特征向量,具体包括:
将每个超像素区域中的所有像素的R、G、B三个通道分别分为16个灰度级数;
分别计算每个通道的直方图特征;
将R、G、B三个通道的所述直方图特征合并为所述超像素区域的具有48个灰度级数的颜色直方图。
举例来说,针对某个超像素区域SPm∈SPK,将超像素区域中的所有像素的RGB颜色通道进行统计形成RGB颜色直方图。将R、G、B三个通道分别分为16个bin(灰度级数),然后分别计算每个通道的直方图。例如,针对R通道,这里的hR(i)是指所有在i区间的像素总数,|hm|指的是超像素区间像素总数。最后将三个通道合并为超像素区域的具有48个bin的颜色直方图:HCm=[HCR(1);...;HCR(16);HCG(1);...;HCG(16);HCB(1);...;HCB(16);]。因此一副图像中的一个超像素区域的颜色特征具有48维。
(2)Uniform LBP((Uniform Local Binary Patterns,均匀局部二值模式)纹理直方图
LBP(Local Binary Pattern)是通过分析评估灰度图像像素值分布的一种统计纹理特征。LBP被编码为一种模式,用于描述中心像素点c和其周围邻域内像素点p的关系。中心像素点c的灰度值为gc,周围像素点p灰度值为gp,R代表它们之间的距离,则该中心像素点c的LBP值为:
x=gp-gc (6)
在中心像素c的邻域,P个像素排列为顺时针的链表。遍历链表上的像素,计算各自的阈值函数S(x),得到结果。将此结果每个数乘 以2p。最后得到该中心像素点c的LBP值,遍历整个图像的像素点,重复此过程,得到整幅图像的LBP纹理特征值图。如图4所示为一个计算LBP值的例子,最后得到该中心像素点的LBP值为48。如果只考虑区别的符号,无论灰度尺度如何单调变换,LBP模式都能保持不变。此外,通过与中心像素点c距离为R的P个像素点可以生成有2p种不同的模式。
当图像旋转时,中心像素点c的邻域像素随着参数R发生变化。因此,根据新的像素位置产生了新的LBP值,然而模式却是保持不变的。为了解决旋转产生的影响,保证每个模式有且只有一个标识符,引入一种旋转不变LBP(Rotation Invariant Local Binary Pattern),定义如下:
其中,ROR(LBPP,R,i)是对LBPP,R值进行i次的顺时针移位,通过这种方法,找到它们之中的最小值,从而实现LBP旋转不变性。例如,假设R=1,P=8,由于圆对称,总共有36种独特的旋转不变的二进制模式。通过对比试验证明,在一幅图像中分布出现的频率差异较大,不能提供很好的纹理识别。
因此,本发明使用Uniform LBP模式,Uniform指的是均匀环形结构内包含非常少的空间变换。优选的,所述提取每个超像素区域的纹理直方图特征,其中,每个超像素区域形成59维的LBP纹理特征向量,具体包括:
计算所述样本图像的Uniform LBP值;其中,Uniform LBP值被分为58类;
根据所述每个超像素区域的位置信息,统计每个Uniform LBP值出现的概率,得到每个维度的纹理直方图;
将每个维度的纹理直方图进行连接成为一个59维的纹理特征向量。
具体的,将的改进版本定义如下:
该Uniform LBP的个数是P(P-1)+2,P为邻域像素点个数。对于8个采样点,uniform LBP形式有58种输出。我们定义U(LBPP,R)来记录空间转换的数量,即0-1变化的次数。0-1变化少于等于两次的二进制码形成的LBP看成是一种uniform LBP,比如说11000011,01变化次数是两次,就是一种uniform LBP。研究者发现他们计算出来的大部分值都在这58种之中,可达到90%以上,所以他们把值分为59类,58个uniform pattern为一类,其它的所有值为第59类。这样直方图从原来的256维变成59维,起到了降维的作用,并且可以减少高频噪声带来的影响。
本发明提取纹理特征的过程中,首先计算整幅图像的Uniform LBP值。然后根据每个超像素区域的位置信息,统计每个数字出现的概率,同统计RGB颜色直放图一样,对该纹理直方图进行归一化处理。最后将得到的每个类别的统计直方图进行连接成为一个特征向量,也就是该超像素区域的LBP纹理特征向量,共59维。
S3:将所述第一颜色特征向量和第一纹理特征向量输入到支持向量机SVM中进行学习,构建颜色特征分类器和纹理特征分类器;
支持向量机的基本思想是:首先将输入向量通过非线性变换映射到一个高维空间中,通过选取适当的内积函数在这个高维空间中建立最优线分类面。将向量映射到高维空间中只是改变了内积运算,而算法复杂性并未随着维数的增加而增加。
SVM(Support Vector Machines)是一种监督学习方法,来解决分类 问题。该算法解决一个优化问题,包括确定高维特征空间内的一组超平面,来区分一组特征数据为两种或多种类别。该方法的关键是它不仅寻找分类的超平面,而且提供最大可能的边界。在预测阶段,这赋予了SVM的高泛化能力,并具有一定的灵活性。
首先,SVM训练需要一组有代表性的特征数据,即含标签的学习样本,例如分类问题标签一般为+1和-1,回归问题一般使用真实值。对一组k对训练集A={(x1,y1),...,(xk,yk)},其中且yi∈{+1,-1},为了确定最优超平面(w,b),将数据分为两类,算法使用一个线性函数 将xi数组映射到子空间H中。然后,定义样本x的新的类y,y=sign(w*φ(x)+b)。如果使得最相近的样本之间的距离最大,则超平面为最优的。
例如,将海参区域的超像素标记为+1,非海参区域的超像素标记为-1,使用SVM来分别训练图像超像素区域的纹理特征向量和颜色特征向量。通过径向基核函数(RBF),利用特征向量xi和xj之间的欧式距离,将这些特征映射到能够分开的特征空间。径向基核函数(RBF)定义为:
ψ(xi,xj)=φt(xi)φ(xj)=exp(-γ||xi-xj||2) (10)
其中γ是核参数。相应的对偶问题可以表示为决策函数:
这里高斯核被定义为ψ(xi,xj)=φ(xi)Tφ(xj),{αi}和b对应对偶问题的最优解。由于软边界模型,SVM允许在训练阶段存在误分类的样本。因此,对偶问题转换为一个约束条件:
受到约束:yi(wtφ(xi)+b)≥1-ξi (12)
其中ξi>0是松弛变量,来衡量错误分类的程度,C>0是分类错误惩罚参数,W是支持向量的超平面,b是超平面到远点的偏离。这些超平面参数ξi和C是依赖数据的并且必须通过在训练集上交叉验证 方法来确定。
通过上述方式构建了基于超像素颜色特征分类器和基于超像素纹理分类器两种分类器。
所述水下生物检测阶段包括:
S4:采集水下生物的待测图像,对所述待测图像进行超像素分割,形成多个超像素区域;
S5:提取每个超像素区域的第二颜色特征向量和第二纹理特征向量;
其中,步骤S4和步骤S5可以参照步骤S1和步骤S2进行超像素分割和特征表示。
S6:将所述第二颜色特征向量输入所述颜色特征分类器,将所述第二纹理特征向量输入所述纹理特征分类器,判断所述超像素区域是否为水下生物区域。
具体的,通过使用上述训练后的两种分类器对每个超像素区域进行分类,就可以得出哪些区域为水下生物区域。优选的,步骤S6还包括:将所述颜色特征分类器的分类结果和所述纹理特征分类器的分类结果进行或运算,若运算结果为1,则表示所述超像素区域为水下生物区域,若运算结果为0,则表示所述超像素区域不是水下生物区域。
举例来说,设置颜色、纹理特征分类结果分别为RC和RL,结果值为1则代表判断为正类,0则代表判断为负类。
优选的,步骤S6还包括:S601:去除代表水下生物区域的单个超像素区域;其中,所述单个超像素区域的周围均为非水下生物区域;
S602:对检测结果的二值图像进行闭运算,以填充水下生物区域内的细小空洞,连接最为临近的超像素区域,以平滑水下生物的边界。
举例来说,海参目标一般会由多个超像素区域构成。而通过实验 发现,会存在误分类,如代表海参区域的单个超像素区域的周围都是非海参区域,而海参目标面积都大于1.5S2,通过该规则可以过滤这样的误分类。然后对检测结果的二值图像进行闭运算,以填充海参区域内的细小空洞,连接较为邻近的超像素区域,平滑海参边界。将最后连接起来的分类区域上画最小外接矩形,则为最终检测结果。如图5所示,为海参检测结果效果图,其中,(a)列为经过单尺度Retinex增强后的图像,其中前三行为来自测试集中的912像素×608像素图像,第四行为测试集中的1280像素×720像素视频帧,最后一行为来自网络图库的912像素×608像素图像;(b)列为通过SLIC过分割算法得到的分割图像;(c)列为超像素区域分类结果;(d)为海参检测结果。
以上对超像素级的特征分类的结果进行了分析,下面对海参图像整体检测做分析。在此需要注意,基于超像素特征的海参检测方法,更能标记出真实海参的形态与位置,如图6所示,与滑动窗口方式检测物体的方法相比,本发明能够得到更加精确的海参形态和位置信息,能更好的服务未来海参捕捞机器人的研发。如图5所示,本发明对水草、沙地、纤维袋及部分小贝壳背景都能很好的区分,并能够解决海参多姿态、多目标检测以及光照不均的问题。
概括来说,本发明对采集的图像,使用基于超像素的方法来获取其特征,预先设定超像素区域的大约的面积为S2,这最好地能够描述图像的局部特征。超像素非常有利于解决本发明的问题,因为它通过使用图像颜色和位置对像素分组,简洁和高效地表示图片局部外观。超像素萃取后,有许多类型的特征来表示一个局部区域。我们专注于用颜色纹理和纹理特征来代表超像素区域,区分前景和背景。颜色特征对解决本发明的问题是很重要的,举例来说,它是海参皮肤的重要区分指标。海参颜色与绿色的海草、白色的纤维袋、亮色的砂石及与部分沙土等的背景能够通过颜色区分,因此颜色特征对区分这些种类的区域非常有用,进一步对超像素区域的分类有重要的贡献。相似的, 纹理特征在上述的区域中也表现出不同的模式,它能够很好的表现海参皮肤表面的模式。比颜色特征好的一点是,可以将海参区域和一些与海参皮肤相近的沙土区分开来,达到更好的区分度。所以在本发明中使用颜色和纹理两种特征来区分海参前景和环境背景。
如图7所示,为以海参为例提出的基于超像素特征海参检测方法的流程图。与其他基于学习的计算机视觉系统一样,本发明也包含训练和测试阶段。在训练阶段,给定一幅图像,首先利用超像素提取技术,划分为多个区域,然后分别提取各个超像素的纹理和颜色特征直方图特征。然后将直方图的每个像素分别连接为48维颜色特征向量和59维的纹理特征向量。对海参区域和非海参的背景区域的两种特征分别训练分类器,生成两种分类模型。在测试阶段,首先将提取图像的超像素区域,然后提取各个超像素区域的纹理和颜色特征,分别将这两种特征作为对应的分类器的输入,得到分类结果,接着对两个分类器的分类结果进行简单的决策,并且去掉明显的错误分类信息,得到最终的检测结果。最后对两个分类器的性能进行评估,得到两种模型的性能指标。
另一方面,采用上述的水下生物检测方法,本发明还提供了一种水下生物检测系统,所述系统包括:
超像素分割单元,用于采集水下生物的样本图像,对所述样本图像进行超像素分割,形成多个超像素区域;
特征提取单元,用于提取每个超像素区域的第一颜色特征向量和第一纹理特征向量;
训练单元,用于将所述第一颜色特征向量和第一纹理特征向量输入到支持向量机SVM中进行学习,构建颜色特征分类器和纹理特征分类器;
所述超像素分割单元,还用于采集水下生物的待测图像,对所述待测图像进行超像素分割,形成多个超像素区域;
所述特征提取单元,还用于提取每个超像素区域的第二颜色特征向量和第二纹理特征向量;
检测单元,用于将所述第二颜色特征向量输入所述颜色特征分类器,将所述第二纹理特征向量输入所述纹理特征分类器,判断所述超像素区域是否为水下生物区域。
本发明实施例提供的水下生物检测方法和系统,通过获取样本的图像,对图像进行超像素分割和特征提取,建立颜色特征模型和纹理特征模型,在后续使用时,只需将待测图像的颜色特征和纹理特征输入颜色特征模型和纹理特征模型中,就可以确定待测图像的水下生物的区域,从而实现了水下生物的检测,解决了现有因为水下环境复杂,检测难度大的问题,以及人工捕捞困难的问题。
虽然结合附图描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种水下生物检测方法,其特征在于,所述方法包括:分类器训练阶段和水下生物检测阶段;
所述分类器训练阶段包括:
采集水下生物的样本图像,对所述样本图像进行超像素分割,形成多个超像素区域;
提取每个超像素区域的第一颜色特征向量和第一纹理特征向量;
将所述第一颜色特征向量和第一纹理特征向量输入到支持向量机SVM中进行学习,构建颜色特征分类器和纹理特征分类器;
所述水下生物检测阶段包括:
采集水下生物的待测图像,对所述待测图像进行超像素分割,形成多个超像素区域;
提取每个超像素区域的第二颜色特征向量和第二纹理特征向量;
将所述第二颜色特征向量输入所述颜色特征分类器,将所述第二纹理特征向量输入所述纹理特征分类器,判断所述超像素区域是否为水下生物区域。
2.根据权利要求1所述的一种水下生物检测方法,其特征在于,所述对所述样本图像进行超像素分割具体采用简单线性迭代聚类SLIC方法对样本图像进行超像素分割。
3.根据权利要求2所述的一种水下生物检测方法,其特征在于,所述采用简单线性迭代聚类SLIC方法对样本图像进行超像素分割包括:
将所述样本图像从RGB颜色空间转换到CIELAB颜色空间,将K个聚类中心Ck均匀的分布在所述样本图像中,每个聚类中心对应一个超像素质心的初始位置,并引入加权距离度量DS来测量颜色距离与空间距离;
根据加权距离度量DS将图像中每个像素和最近的聚类中心Ck关联起来,形成一个集群;
将一个集群中的所有像素的数组的平均值作为新的初始位置,如此反复迭代直到所有的聚类中心点收敛到稳定位置。
4.根据权利要求3所述的一种水下生物检测方法,其特征在于,所述引入加权距离度量DS来测量颜色距离与空间距离,采用以下公式:
d l a b = ( l k - l i ) 2 + ( a k - a i ) 2 + ( b k - b i ) 2
d x y = ( x k - x i ) 2 + ( y k - y i ) 2
D S = d l a b + m d x y S
其中,由所述CIELAB颜色空间的[lab]颜色数组和图像像素的坐标[x,y]组成一个5维空间,DS为加权距离度量,dxy为空间距离,dxy由S来归一化处理,S为两个聚类中心之间的距离,dlab为颜色距离,k代表对应的K个可能的聚类中心的索引,i为给定超像素中心k区域内的像素,m为用来修正空间距离和颜色距离项的贡献。
5.根据权利要求1所述的一种水下生物检测方法,其特征在于,所述提取每个超像素区域的第一颜色特征向量和第一纹理特征向量,具体包括:
提取每个超像素区域的颜色直方图特征,其中,每个超像素区域形成48维的RGB颜色特征向量;
提取每个超像素区域的纹理直方图特征,其中,每个超像素区域形成59维的LBP纹理特征向量。
6.根据权利要求5所述的一种水下生物检测方法,其特征在于,所述提取每个超像素区域的颜色直方图特征,其中,每个超像素区域形成48维的RGB颜色特征向量,具体包括:
将每个超像素区域中的所有像素的R、G、B三个通道分别分为16个灰度级数;
分别计算每个通道的直方图特征;
将R、G、B三个通道的所述直方图特征合并为所述超像素区域的具有48个灰度级数的颜色直方图。
7.根据权利要求5所述的一种水下生物检测方法,其特征在于,提取每个超像素区域的纹理直方图特征,其中,每个超像素区域形成59维的LBP纹理特征向量,具体包括:
计算所述样本图像的均匀LBP值;其中,均匀LBP值被分为58类;
根据所述每个超像素区域的位置信息,统计每个均匀LBP值出现的概率,得到每个维度的纹理直方图;
将每个维度的纹理直方图进行连接成为一个59维的纹理特征向量。
8.根据权利要求1所述的一种水下生物检测方法,其特征在于,
所述将所述第二颜色特征向量输入所述颜色特征分类器,将所述第二纹理特征向量输入所述纹理特征分类器,判断所述超像素区域是否为水下生物区域,还包括:
将所述颜色特征分类器的分类结果和所述纹理特征分类器的分类结果进行或运算,若运算结果为1,则表示所述超像素区域为水下生物区域,若运算结果为0,则表示所述超像素区域不是水下生物区域。
9.根据权利要求8所述的一种水下生物检测方法,其特征在于,所述将所述第二颜色特征向量输入所述颜色特征分类器,将所述第二纹理特征向量输入所述纹理特征分类器,判断所述超像素区域是否为水下生物区域,还包括:
去除代表水下生物区域的单个超像素区域;其中,所述单个超像素区域的周围均为非水下生物区域;
对检测结果的二值图像进行闭运算,以填充水下生物区域内的细小空洞,连接最为临近的超像素区域,以平滑水下生物的边界。
10.一种水下生物检测系统,其特征在于,所述系统包括:
超像素分割单元,用于采集水下生物的样本图像,对所述样本图像进行超像素分割,形成多个超像素区域;
特征提取单元,用于提取每个超像素区域的第一颜色特征向量和第一纹理特征向量;
训练单元,用于将所述第一颜色特征向量和第一纹理特征向量输入到支持向量机SVM中进行学习,构建颜色特征分类器和纹理特征分类器;
所述超像素分割单元,还用于采集水下生物的待测图像,对所述待测图像进行超像素分割,形成多个超像素区域;
所述特征提取单元,还用于提取每个超像素区域的第二颜色特征向量和第二纹理特征向量;
检测单元,用于将所述第二颜色特征向量输入所述颜色特征分类器,将所述第二纹理特征向量输入所述纹理特征分类器,判断所述超像素区域是否为水下生物区域。
CN201610289792.8A 2016-05-04 2016-05-04 一种水下生物检测方法和系统 Active CN105930815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610289792.8A CN105930815B (zh) 2016-05-04 2016-05-04 一种水下生物检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610289792.8A CN105930815B (zh) 2016-05-04 2016-05-04 一种水下生物检测方法和系统

Publications (2)

Publication Number Publication Date
CN105930815A true CN105930815A (zh) 2016-09-07
CN105930815B CN105930815B (zh) 2022-10-04

Family

ID=56835012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610289792.8A Active CN105930815B (zh) 2016-05-04 2016-05-04 一种水下生物检测方法和系统

Country Status (1)

Country Link
CN (1) CN105930815B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808161A (zh) * 2017-10-26 2018-03-16 江苏科技大学 一种基于光视觉的水下目标识别方法
CN108038459A (zh) * 2017-12-20 2018-05-15 深圳先进技术研究院 一种水下生物的检测识别方法、终端设备及存储介质
CN108520261A (zh) * 2018-03-01 2018-09-11 中国农业大学 一种花生果仁数量的识别方法和装置
CN108765440A (zh) * 2018-05-31 2018-11-06 大连海事大学 一种单极化sar图像的线引导超像素海岸线提取方法
CN108782312A (zh) * 2018-03-22 2018-11-13 杨明 基于图像处理的污水处理系统
CN109461158A (zh) * 2018-11-19 2019-03-12 第四范式(北京)技术有限公司 彩色图像分割方法及系统
CN109584301A (zh) * 2018-11-28 2019-04-05 常州大学 一种非均一颜色果实区域的获取方法
CN110570352A (zh) * 2019-08-26 2019-12-13 腾讯科技(深圳)有限公司 图像标注方法、装置、系统及细胞标注方法
WO2020029915A1 (zh) * 2018-08-06 2020-02-13 深圳市前海安测信息技术有限公司 基于人工智能的中医舌像分割装置、方法及存储介质
CN111161246A (zh) * 2019-12-30 2020-05-15 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN111487245A (zh) * 2020-04-03 2020-08-04 中国地质大学(武汉) 一种类珊瑚礁水域生物质量演化评估系统
CN111597973A (zh) * 2020-05-14 2020-08-28 大连工业大学 利用机器视觉检测盐渍海参合格品掺假情况的方法
CN112037230A (zh) * 2019-06-04 2020-12-04 北京林业大学 一种基于超像素和超度量轮廓图的林区图像分割算法
CN112116006A (zh) * 2020-09-18 2020-12-22 青海师范大学 一种基于对偶空间最优的水声目标分类方法
CN112241692A (zh) * 2020-09-25 2021-01-19 天津大学 基于航拍图超像素纹理的渠道异物智能检测与分类方法
CN113763491A (zh) * 2021-08-26 2021-12-07 浙江中烟工业有限责任公司 一种烟丝桶残余物的视觉检测方法
CN116616045A (zh) * 2023-06-07 2023-08-22 山东农业工程学院 一种基于植物生长的采摘方法及采摘系统
CN117173175A (zh) * 2023-11-02 2023-12-05 湖南格尔智慧科技有限公司 一种基于超像素的图像相似度检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886619A (zh) * 2014-03-18 2014-06-25 电子科技大学 一种融合多尺度超像素的目标跟踪方法
CN104182976A (zh) * 2014-08-12 2014-12-03 中国科学院上海微系统与信息技术研究所 一种野外运动目标精细化提取方法
CN104573719A (zh) * 2014-12-31 2015-04-29 国家电网公司 基于图像智能分析的山火检测方法
WO2016034059A1 (zh) * 2014-09-04 2016-03-10 成都理想境界科技有限公司 基于颜色-结构特征的目标对象跟踪方法
CN105528794A (zh) * 2016-01-15 2016-04-27 上海应用技术学院 基于混合高斯模型与超像素分割的运动目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886619A (zh) * 2014-03-18 2014-06-25 电子科技大学 一种融合多尺度超像素的目标跟踪方法
CN104182976A (zh) * 2014-08-12 2014-12-03 中国科学院上海微系统与信息技术研究所 一种野外运动目标精细化提取方法
WO2016034059A1 (zh) * 2014-09-04 2016-03-10 成都理想境界科技有限公司 基于颜色-结构特征的目标对象跟踪方法
CN104573719A (zh) * 2014-12-31 2015-04-29 国家电网公司 基于图像智能分析的山火检测方法
CN105528794A (zh) * 2016-01-15 2016-04-27 上海应用技术学院 基于混合高斯模型与超像素分割的运动目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王海罗等: "基于超像素融合算法的显著区域检测", 《北京理工大学学报》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808161A (zh) * 2017-10-26 2018-03-16 江苏科技大学 一种基于光视觉的水下目标识别方法
CN108038459A (zh) * 2017-12-20 2018-05-15 深圳先进技术研究院 一种水下生物的检测识别方法、终端设备及存储介质
CN108520261A (zh) * 2018-03-01 2018-09-11 中国农业大学 一种花生果仁数量的识别方法和装置
CN108520261B (zh) * 2018-03-01 2021-06-18 中国农业大学 一种花生果仁数量的识别方法和装置
CN108782312B (zh) * 2018-03-22 2020-10-16 诸暨易阳环保科技有限公司 基于图像处理的污水处理系统
CN108782312A (zh) * 2018-03-22 2018-11-13 杨明 基于图像处理的污水处理系统
CN108765440B (zh) * 2018-05-31 2022-04-15 大连海事大学 一种单极化sar图像的线引导超像素海岸线提取方法
CN108765440A (zh) * 2018-05-31 2018-11-06 大连海事大学 一种单极化sar图像的线引导超像素海岸线提取方法
WO2020029915A1 (zh) * 2018-08-06 2020-02-13 深圳市前海安测信息技术有限公司 基于人工智能的中医舌像分割装置、方法及存储介质
CN109461158A (zh) * 2018-11-19 2019-03-12 第四范式(北京)技术有限公司 彩色图像分割方法及系统
CN109584301A (zh) * 2018-11-28 2019-04-05 常州大学 一种非均一颜色果实区域的获取方法
CN112037230A (zh) * 2019-06-04 2020-12-04 北京林业大学 一种基于超像素和超度量轮廓图的林区图像分割算法
CN112037230B (zh) * 2019-06-04 2023-07-18 北京林业大学 一种基于超像素和超度量轮廓图的林区图像分割方法
CN110570352A (zh) * 2019-08-26 2019-12-13 腾讯科技(深圳)有限公司 图像标注方法、装置、系统及细胞标注方法
US11741593B2 (en) 2019-12-30 2023-08-29 Goertek Inc. Product defect detection method, device and system
CN111161246A (zh) * 2019-12-30 2020-05-15 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN111161246B (zh) * 2019-12-30 2024-05-14 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN111487245A (zh) * 2020-04-03 2020-08-04 中国地质大学(武汉) 一种类珊瑚礁水域生物质量演化评估系统
CN111597973A (zh) * 2020-05-14 2020-08-28 大连工业大学 利用机器视觉检测盐渍海参合格品掺假情况的方法
CN112116006A (zh) * 2020-09-18 2020-12-22 青海师范大学 一种基于对偶空间最优的水声目标分类方法
CN112241692A (zh) * 2020-09-25 2021-01-19 天津大学 基于航拍图超像素纹理的渠道异物智能检测与分类方法
CN113763491A (zh) * 2021-08-26 2021-12-07 浙江中烟工业有限责任公司 一种烟丝桶残余物的视觉检测方法
CN113763491B (zh) * 2021-08-26 2024-03-12 浙江中烟工业有限责任公司 一种烟丝桶残余物的视觉检测方法
CN116616045B (zh) * 2023-06-07 2023-11-24 山东农业工程学院 一种基于植物生长的采摘方法及采摘系统
CN116616045A (zh) * 2023-06-07 2023-08-22 山东农业工程学院 一种基于植物生长的采摘方法及采摘系统
CN117173175A (zh) * 2023-11-02 2023-12-05 湖南格尔智慧科技有限公司 一种基于超像素的图像相似度检测方法
CN117173175B (zh) * 2023-11-02 2024-02-09 湖南格尔智慧科技有限公司 一种基于超像素的图像相似度检测方法

Also Published As

Publication number Publication date
CN105930815B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN105930815A (zh) 一种水下生物检测方法和系统
Bi et al. Step-wise integration of deep class-specific learning for dermoscopic image segmentation
Wang et al. Superpixel segmentation: A benchmark
Wazarkar et al. A survey on image data analysis through clustering techniques for real world applications
Zhao et al. Detail-preserving smoothing classifier based on conditional random fields for high spatial resolution remote sensing imagery
CN109583425A (zh) 一种基于深度学习的遥感图像船只集成识别方法
CN108537102B (zh) 基于稀疏特征与条件随机场的高分辨sar图像分类方法
Zheng et al. Semantic segmentation of remote sensing imagery using object-based Markov random field model with regional penalties
CN106611423B (zh) 基于脊波滤波器和反卷积结构模型的sar图像分割方法
CN108596195B (zh) 一种基于稀疏编码特征提取的场景识别方法
Guo et al. Cascaded classification of high resolution remote sensing images using multiple contexts
Bhimavarapu et al. Analysis and characterization of plant diseases using transfer learning
Usmani et al. Enhanced reinforcement learning model for extraction of objects in complex imaging
CN107464247B (zh) 一种基于g0分布的随机梯度变分贝叶斯sar图像分割方法
Phonsa et al. A survey: image segmentation techniques
Wang et al. Classification of high spatial resolution remote sensing images based on decision fusion
Saikumar et al. Colour based image segmentation using fuzzy c-means clustering
CN107292268A (zh) 快速脊波反卷积结构学习模型的sar图像语义分割方法
Jenicka et al. A textural approach for land cover classification of remotely sensed image
Marpu Geographic object-based image analysis
Derivaux et al. Watershed segmentation of remotely sensed images based on a supervised fuzzy pixel classification
Lopez et al. Line-based image segmentation method: a new approach to segment VHSR remote sensing images automatically
PS et al. Deep Learning Model to Enhance Precision Agriculture using Superpixel
Kurmi et al. An algorithm for various crop diseases detection and classification using leaves images
CN109409375B (zh) 一种基于轮廓结构学习模型的sar图像语义分割方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant