CN109214428B - 图像分割方法、装置、计算机设备及计算机存储介质 - Google Patents
图像分割方法、装置、计算机设备及计算机存储介质 Download PDFInfo
- Publication number
- CN109214428B CN109214428B CN201810918520.9A CN201810918520A CN109214428B CN 109214428 B CN109214428 B CN 109214428B CN 201810918520 A CN201810918520 A CN 201810918520A CN 109214428 B CN109214428 B CN 109214428B
- Authority
- CN
- China
- Prior art keywords
- image
- matrix
- graph model
- similarity
- segmented
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000003709 image segmentation Methods 0.000 title claims abstract description 50
- 239000011159 matrix material Substances 0.000 claims abstract description 179
- 239000013598 vector Substances 0.000 claims abstract description 100
- 230000011218 segmentation Effects 0.000 claims abstract description 53
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 230000003595 spectral effect Effects 0.000 claims abstract description 18
- 238000010276 construction Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 14
- 238000004891 communication Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004884 grey matter Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像分割方法、装置、计算机设备及计算机存储介质，涉及图像处理技术领域，该图像分割方法考虑到全局依赖性，提高图像分割精度。所述方法包括：获取待分割图像，并根据所述待分割图像的像素数据构建相似矩阵，所述相似矩阵用于表示所述待分割图像中各个像素数据之间的相似度；基于谱聚类算法对所述相似矩阵对应的特征向量矩阵进行聚类，得到多维的分割向量；根据所述多维的分割向量确定预设图像划分准则，按照所述预设图像划分准则将所述待分割图像分割为多个类别的子图像。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及到图像分割方法、装置、计算机设备及计算机存储介质。
背景技术
图像分割是一种基本的视觉分析技术，并且在机器学习、人工智能、医学影像处理等方面具有重要作用。它能够将图像分割为各具特性的区域并提取出待识别的目标，进而对图像中的待识别目标进行标记、定位等，然后将待识别的目标从背景中分离出来。
图像分割技术在实际中已得到广泛的应用，如在医学应用中，将脑部图像分割成灰质、白质、脑脊髓等脑组织区域；在交通图像分析中，将车辆目标从背景中分割出来等。经典的图像分割算法有很多，如基于点的图像分割、基于边缘和线的图像分割等，随着各科理论和方法的提出，新的图像分割算法也在不断涌现，如基于神经网络的图像分割算法等。然而，现有的图像分割算算法由于图像采集装置镜头物理特性的原因，使得在获取图像或者影像的过程中，普遍存在图像边缘有变形或者噪声的情况，导致图像分割精度不高。
发明内容
本发明实施例提供了图像分割方法、装置、计算机设备及计算机存储介质，解决了相关技术中图像分割精度不高的问题。
根据本发明实施例的第一方面，提供一种图像分割方法，所述方法包括：
获取待分割图像，并根据所述待分割图像的像素数据构建相似矩阵，所述相似矩阵用于表示所述待分割图像中各个像素数据之间的相似度；
基于谱聚类算法对所述相似矩阵对应的特征向量矩阵进行聚类，得到多维的分割向量；
根据所述多维的分割向量确定预设图像划分准则，按照所述预设图像划分准则将所述待分割图像分割为多个类别的子图像。
进一步地，所述像素数据由像素点构成，所述根据所述待分割图像的像素数据构建相似矩阵包括：
以所述待分割图像的像素点为节点构造图模型；
根据所述图模型中各个像素点之间边的权重生成所述图模型的相邻矩阵；
根据所述图模型中各个像素点与相邻像素点之间边的权重之和生成所述图模型的对角矩阵；
根据所述相邻矩阵以及所述对角矩阵构建像素数据之间的相似矩阵。
进一步地，所述根据所述图模型中各个像素点之间边的权重生成所述图模型的相邻矩阵包括：
获取所述图模型中任意两个像素点之间的连接关系；
根据所述连接关系确定所述任意两个像素点之间边的权重值；
根据所述任意两个像素点之间边的权重值，生成所述图模型的相邻矩阵。
进一步地，所述根据所述图模型中各个像素点与相邻像素点之间边的权重之和生成所述图模型的对角矩阵包括：
获取所述图模型中任意像素点与相邻像素点之间边的权重值；
根据所述任意像素点与相邻像素点之间边的权重值之和，生成所述图模型的对角矩阵。
进一步地，所述基于谱聚类算法对所述相似矩阵对应的特征向量矩阵进行聚类，得到多维的分割向量包括：
计算所述相似矩阵的特征值以及特征值对应的特征向量；
按照由小到大的顺序排列所述特征值，并选取排名靠前的N个特征值对应的特征向量组成N维特征向量矩阵；
对所述N维特征向量矩阵的行向量进行聚类，得到N维分割向量。
进一步地，在计算所述相似矩阵的特征值以及特征值对应的特征向量之前，所述方法还包括：
采用近似计算策略对所述相似矩阵进行归一化处理。
进一步地，所述分割向量中每一行所属的类别为所述图模型中各个像素点所属的类别，所述根据所述多维的分割向量确定预设图像划分准则，按照所述预设图像划分准则将所述待分割图像分割为多个类别的子图像包括：
根据所述分割向量确定所述图模型中各个像素点所属的类别；
以所述图模型中各个像素点所属的类别作为待分割图像的映射条件，将所述待分割图像分割为多个类别的子图像。
根据本发明实施例的第二方面，提供一种图像分割装置，所述装置包括：
构建单元，用于获取待分割图像，并根据所述待分割图像的像素数据构建相似矩阵，所述相似矩阵用于表示所述待分割图像中各个像素数据之间的相似度；
聚类单元，用于基于谱聚类算法对所述相似矩阵对应的特征向量矩阵进行聚类，得到多维的分割向量；
分割单元，用于根据所述多维的分割向量确定预设图像划分准则，按照所述预设图像划分准则将所述待分割图像分割为多个类别的子图像。
进一步地，所述构建单元包括：
构造模块，用于以所述待分割图像的像素点为节点构造图模型；
第一生成模块，用于根据所述图模型中各个像素点之间边的权重生成所述图模型的相邻矩阵；
第二生成模块，用于根据所述图模型中各个像素点与相邻像素点之间边的权重之和生成所述图模型的对角矩阵；
构建模块，用于根据所述相邻矩阵以及所述对角矩阵构建像素数据之间的相似矩阵。
进一步地，所述第一生成模块，具体用于获取所述图模型中任意两个像素点之间的连接关系；
所述第一生成模块，具体还用于根据所述连接关系确定所述任意两个像素点之间边的权重值；
所述第一生成模块，具体还用于根据所述任意两个像素点之间边的权重值，生成所述图模型的相邻矩阵。
进一步地，所述第二生成模块，具体用于获取所述图模型中任意像素点与相邻像素点之间边的权重值；
所述第二生成模块，具体还用于根据所述任意像素点与相邻像素点之间边的权重值之和，生成所述图模型的对角矩阵。
进一步地，所述聚类单元包括：
计算模块，用于计算所述相似矩阵的特征值以及特征值对应的特征向量；
组成模块，用于按照由小到大的顺序排列所述特征值，并选取排名靠前的N个特征值对应的特征向量组成N维特征向量矩阵；
聚类模块，用于对所述N维特征向量矩阵的行向量进行聚类，得到N维分割向量。
进一步地，所述聚类单元还包括：
归一化模块，用于在计算所述相似矩阵的特征值以及特征值对应的特征向量之前，采用近似计算策略对所述相似矩阵进行归一化处理。
进一步地，所述分割向量中每一行所属的类别为所述图模型中各个像素点所属的类别，所述分割单元包括：
确定模块，用于根据所述分割向量确定所述图模型中各个像素点所属的类别；
分割模块，用于以所述图模型中各个像素点所属的类别作为待分割图像的映射条件，将所述待分割图像分割为多个类别的子图像。
根据本发明实施例的第三方面，提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述图像分割方法的步骤。
根据本发明实施例的第四方面，提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像分割方法的步骤。
通过本发明，获取待分割图像，并根据待分割图像的像素数据构建相似矩阵，由于该相似矩阵相当于描述像素点之间相似度的矩阵，基于谱聚类算法对相似矩阵对应的特征向量进行聚类，将相似度较高的像素点进行聚类，得到多维的分割向量，将多维的分割向量作为预设图像划分准则，按照预设图像划分准则将待分割图像分割为多个类别的子图像。与现有技术的图像分割方法相比，本发明实施例对相似矩阵对应的特征向量进行聚类，使得求解得到的多维分割向量考虑广义特征值问题，进而给出更好的光谱分类效果，提高图像分割的准确度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种图像分割方法的流程图；
图2是根据本发明实施例的另一种图像分割方法的流程图；
图3是根据本发明实施例的一种图像分割装置的结构框图；
图4是根据本发明实施例的另一种图像分割装置的结构框图；
图5是根据本发明实施例的图像分割装置400的框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在本实施例中提供了一种图像分割方法，图1是根据本发明实施例的流程图一，如图1所示，该流程包括如下步骤：
步骤S101，获取待分割图像，并根据所述待分割图像的像素数据构建相似矩阵；
其中，相似矩阵用于表示待分割图像中各个像素数据之间的相似度，相似矩阵中每个数据为各个像素数据之间的相似度，具体在构建像素数据之间的相似度过程中，相似矩阵由权值矩阵得到，实践中一般用高斯核函数计算相似度，距离越大，代表其相似度越小。
需要说明的是，由于在构建相似矩阵的过程中，对像素数据之间的相似度定义算法有所不同，例如，给出每个像素数据的空间坐标，可以利用像素数据之间的欧氏距离来判断，距离越近，像素数据之间认为越相似，当然可以用其他的相似度定义算法，这里不进行限定。
对于本发明实施例，将待分割图像构建为像素数据之间的相似矩阵，通过相似矩阵作为谱聚类算法的基础对图像进行分割，谱聚类算法能在任意形状的样本空间上进行聚类，且收敛于全局最优解，从而提高图像分割效果。
步骤S102，基于谱聚类算法对相似矩阵对应的特征向量矩阵进行聚类，得到多维的分割向量；
由于图像分割的目的是使得划分成的两个子图内部相似度最大，子图之间的相似度最小，不同的图像划分准则直接影响到图像分割精度，所以图像分割的本质是一个NP完全难题，会随着像素数据量的增加，复杂度增加很快。对于本发明实施例，通过考虑问题的连续放松形式，可以将问题转换成求解相似矩阵的谱分解，基于谱聚类算法对相似矩阵对应的特征向量矩阵进行聚类，得到更接近于图像划分准则的多维的分割向量。
对于本发明实施例，谱聚类算法的目的是为了要让被分割掉各边的权值和最小，因为被分割掉各边的权值和越小，表明它们连接的子图之间的相似度越小，隔得越远，从而将相似度低的子图分割。
例如，如果用一张图片中的所有像素来组成一个图，并把(比如，颜色和位置)相似的节点连接起来，边上的权值表示相似度，现要将图片分割为若干区域，使得被分割边的权值和最小，而权重和比较大的边没有被分割。
本发明实施例基于谱聚类算法对相似矩阵对应的特征向量矩阵进行聚类，将图像划分准转换为特征向量求解方法，计算相似矩阵对应的特征向量，该特征向量相当于划分像素数据类别的指示向量，通常为0到1之间的实数值，但该指示向量无法决定像素数据的归属，进一步对相似矩阵对应的特征向量进行聚类，得到多维的分割向量，该多维的分割向量可以决定像素数据的归属。
步骤S103，根据多维的分割向量确定预设图像划分准则，按照预设图像划分准则将待分割图像分割为多个类别的子图像。
对于本发明实施例，多维的分割向量来源于相似矩阵不同的特征值，由于相似矩阵是一个正定义矩阵，最小特征值为0，相应的特征向量为1，所以实际想要得到结果来自第二小的特征值，考虑到特征向量相互垂直，第三小的特征值相应的特征向量能给出基于第二小的特征值更好的光谱分类效果，通常情况，将第三小的特征值相应的特征向量作为预设图像划分准则，当然也可以根据实际情况调整特征向量的选取，这里不进行限定。
通过本发明，获取待分割图像，并根据待分割图像的像素数据构建相似矩阵，由于该相似矩阵相当于描述像素点之间相似度的矩阵，基于谱聚类算法对相似矩阵对应的特征向量进行聚类，将相似度较高的像素点进行聚类，得到多维的分割向量，将多维的分割向量作为预设图像划分准则，按照预设图像划分准则将待分割图像分割为多个类别的子图像。与现有技术的图像分割方法相比，本发明实施例对相似矩阵对应的特征向量进行聚类，使得求解得到的多维分割向量考虑广义特征值问题，进而给出更好的光谱分类效果，提高图像分割的准确度。
图2是根据本发明优选实施例的图像分割方法的流程图，如图2所示，该方法包括以下步骤：
步骤S201，获取待分割图像，以所述待分割图像的像素点为节点构造图模型。
其中，图模型由一系列节点和边缘组成，节点和边缘可以携带属性，一个图形可以是有方向的或者没有方向的，这里的节点为待分割图像的像素数据，也就是待分割图像中各个像素点，边缘为连接各个像素点的连线。
例如，该图模型具体可以表示为G＝(V，E)，V表示待分割图像中所有像素点的集合(υ1，υ2，...，υn)，E表示边缘的集合，对于V中任意两个像素点，可以有边连接，也可以没有边连接，定义权重ωij为像素点υi和像素点υj之间边的权重。对于无向图，则像素点υi和像素点υj之间边的权重相同，即ωij＝ωji，对于有边连接的像素点υi和像素点υj，ωij＞0，对于没有边连接的像素点υi和像素点υj，ωij＝0。
需要说明的是，待分割图像作为一种无方向的图模型，边将基于像素数据之间相似性而加以权重，根据相似性颜色Hue值计算多种不同的相似性测量可以在一起考虑，如边的权重可以结合相似性距离、相似性颜色等。
对于相似性距离对应边的权重有：
其中，wd(p,q)相似性距离对应边的权重，dpq为像素点p与像素点q之间的距离，dmax为设置的像素点p与像素点q之间的预设最大距离，如果像素点q与像素点q之间的距离超过预设最大距离，则将像素点p与像素点q之间边的权重设置为0。
对于相似性颜色Hue对应边的权重有：
其中，wh(p,q)相似性颜色Hue对应边的权重，hp为像素点p对应的Hue值，hq为像素点q对应的Hue值。
将相似性距离对应边的权重与相似性颜色Hue对应边的权重相结合计算像素点p与像素点q之间边的权重有：
w(p,q)＝wd(p,q)wh(p,q)
步骤S202，根据图模型中各个像素点之间边的权重生成图模型的相邻矩阵。
其中，相邻矩阵是由图模型中任意两个像素点之间边的权重值组成的矩阵，距离较远的两个像素点之间边的权重值较低，而距离较近的两个点之间边的权重值较高，具体可以通过像素点距离来度量相似矩阵，从而生成图模型的相邻矩阵。图模型的相邻矩阵能够很方便的表示待分割图像的很多信息，具有描述简单、直观的特点。
对于本发明实施例，具体在生成图模型的相邻矩阵过程中，首先获取图模型中任意两个像素点之间的连接关系，例如相连或者不连接，然后根据连接关系确定任意两个像素点之间边的权重值，这里可以通过像素点距离来度量任意两个像素点之间边的权重值，最后根据任意两个像素点之间边的权重值生成图模型的相邻矩阵。
例如，矩阵元素ωij为像素点υi和像素点υj之间边的权重，则待分割图像的相邻矩阵W为：
其中，W->1，表示两个像素之间具有较高的相似度
W->0，表示两个像素之间具有较低的相似度
W＝0，表示两个像素之间没有相似度
需要说明的是，由于通过像素点距离来度量相似矩阵的方式有所不同，不同的度量方式生成图模型的相邻矩阵有所不同，度量相似矩阵的方式可以为ε邻近法、K邻近法或者全连接法中的一种，这里不进行限定，在实际应用中，通常采用全连接法的度量方式生成图模型的相邻矩阵。
步骤S203，根据图模型中各个像素点与相邻像素点之间边的权重之和生成图模型的对角矩阵。
其中，对角矩阵是由图模型中各个像素点与相邻像素点之间边的权重之和组成的矩阵，具体在生成图模型的相邻矩阵过程中，首先获取图模型中任意像素点与相邻像素点之间边的权重值，任意像素点不同相邻像素点之间边的权重值不同，然后根据任意像素点与相邻像素点之间边的权重值之和，生成图模型的对角矩阵。
例如，dp＝∑q∈Vωpq为某一像素点p与相邻像素点之间边的权重值之和，多个像素点形成对角矩阵D，则待分割图像的对角矩阵D为：
步骤S204，根据相邻矩阵以及对角矩阵构建像素数据之间的相似矩阵。
对于本发明实施例，邻接矩阵中包含了谱聚类所需要的所有信息，但是邻接矩阵是图模型中各个像素点之间边的权重，为了方便后续对图模型中将相似度的像素点进行聚类，加强到局部的连通性，通过计算对角矩阵与相邻矩阵的差值，可以得到拉普拉斯矩阵，由于图像分割是离散求解的NP问题，拉普拉斯矩阵为利用像素数据之间的相似性所求得的矩阵，该矩阵对应的特征值可以使得分割的图像类别具有合理的大小，所以本发明实施例中将该拉普拉斯矩阵作为像素数据之间的相似矩阵。
例如，邻接矩阵W为：
将邻接矩阵W中每列数据求和，将得到的数据放在对角线，组成对角矩阵D，得到对角矩阵D为：
根据拉普拉斯矩阵定义L＝D-W，得到拉普拉斯矩阵L为：
步骤S205，采用近似计算策略对相似矩阵进行归一化处理。
需要说明的是，拉普拉斯矩阵有两种形式，规范化的拉普拉斯矩阵L＝D-W和非规范化的拉普拉斯矩阵L＝D-1/2(D-W)D1/2，对于不同形式的拉普拉斯矩阵在实际的聚类效果中略有差别。
对于本发明实施例，为了获得更好的聚类效果，通过采用近似计算策略对相似矩阵进行归一化处理，考虑广义特征值问题，得到规范化的拉普拉斯矩阵，从而将图像分类算法转换为非NP完全问题，提高图像分割效率。
步骤S206，计算相似矩阵的特征值以及特征值对应的特征向量。
对于本发明实施例，具体求取相似矩阵的特征值以及特征值对应的特征向量可以直接使用高等数学计算公式，在此不进行赘述。
步骤S207，按照由小到大的顺序排列特征值，并选取排名靠前的N个特征值对应的特征向量组成N维特征向量矩阵。
由于拉普拉斯矩阵是一个正半定义矩阵，拉普拉斯矩阵最小的特征值等于0，其相应的特征向量为1，可知，其不满足向量相互垂直的条件，考虑到广义特征值问题，本发明实施例将图像分割问题转换为求取拉普拉斯矩阵的前N个特征向量，在计算相似矩阵的特征值后，按照由小到大的顺序排列特征值，选取前N个特征值对应的特征向量组成N维特征向量矩阵，这里的N小于特征值个数。
需要说明的是，在根据多维的分割向量确定预设图像划分准则的过程中，为了优化图像切分效果，暂时考虑待分割图像中的物体只有两类，把某一个类当作一类，其余的所有类当作第二大类，循环如此，相当于不断地求解二类问题，从而解决多类问题。
步骤S208，对N维特征向量矩阵的行向量进行聚类，得到N维分割向量。
对于本发明实施例，对N维特征向量矩阵的行向量进行聚类的方法可以有多种，如K-means聚类算法，当然可以选择其他经典聚类算法，这里不进行限定。
步骤S209，根据多维的分割向量确定预设图像划分准则，按照预设图像划分准则将待分割图像分割为多个类别的子图像。
对于本发明实施例，分割向量中每一行所属的类别为所述图模型中各个像素点所属的类别，具体对待分割图像进行分割的过程可以包括但不局限于下述实现方式，首先根据分割向量所属的类别确定图模型中各个像素点所属的类别，然后以图模型中各个像素点所属的类别作为待分割图像的映射条件，逐个判断待分割图像中每个像素点所属的类别，进而将待分割图像分割为多个类别的子图像。
通过本发明实施例，获取待分割图像，并根据待分割图像的像素数据构建相似矩阵，由于该相似矩阵相当于描述像素点之间相似度的矩阵，基于谱聚类算法对相似矩阵对应的特征向量进行聚类，将相似度较高的像素点进行聚类，得到多维的分割向量，将多维的分割向量作为预设图像划分准则，按照预设图像划分准则将待分割图像分割为多个类别的子图像。与现有技术的图像分割方法相比，本发明实施例对相似矩阵对应的特征向量进行聚类，使得求解得到的多维分割向量考虑广义特征值问题，进而给出更好的光谱分类效果，提高图像分割的准确度。
图3是根据本发明实施例的一种图像分割装置的结构框图。参照图3，该装置包括构建单元31，聚类单元32和分割单元33。
构建单元31，可以用于获取待分割图像，并根据所述待分割图像的像素数据构建相似矩阵，所述相似矩阵用于表示所述待分割图像中各个像素数据之间的相似度；
聚类单元32，可以用于基于谱聚类算法对所述相似矩阵对应的特征向量矩阵进行聚类，得到多维的分割向量；
分割单元33，可以用于根据所述多维的分割向量确定预设图像划分准则，按照所述预设图像划分准则将所述待分割图像分割为多个类别的子图像。
通过本发明实施例，获取待分割图像，并根据待分割图像的像素数据构建相似矩阵，由于该相似矩阵相当于描述像素点之间相似度的矩阵，基于谱聚类算法对相似矩阵对应的特征向量进行聚类，将相似度较高的像素点进行聚类，得到多维的分割向量，将多维的分割向量作为预设图像划分准则，按照预设图像划分准则将待分割图像分割为多个类别的子图像。与现有技术的图像分割方法相比，本发明实施例对相似矩阵对应的特征向量进行聚类，使得求解得到的多维分割向量考虑广义特征值问题，进而给出更好的光谱分类效果，提高图像分割的准确度。
作为图3中所示图像分割装置的进一步说明，图4是根据本发明实施例另一种图像分割装置的结构示意图，如图4所示，所述构建单元31包括：
构造模块311，可以用于以所述待分割图像的像素点为节点构造图模型；
第一生成模块312，可以用于根据所述图模型中各个像素点之间边的权重生成所述图模型的相邻矩阵；
第二生成模块313，可以用于根据所述图模型中各个像素点与相邻像素点之间边的权重之和生成所述图模型的对角矩阵；
构建模块314，可以用于根据所述相邻矩阵以及所述对角矩阵构建像素数据之间的相似矩阵。
进一步地，所述第一生成模块312，具体用于获取所述图模型中任意两个像素点之间的连接关系；
所述第一生成模块312，具体还可以用于根据所述连接关系确定所述任意两个像素点之间边的权重值；
所述第一生成模块312，具体还可以用于根据所述任意两个像素点之间边的权重值，生成所述图模型的相邻矩阵。
进一步地，所述第二生成模块313，具体可以用于获取所述图模型中任意像素点与相邻像素点之间边的权重值；
所述第二生成模块313，具体还可以用于根据所述任意像素点与相邻像素点之间边的权重值之和，生成所述图模型的对角矩阵。
进一步地，所述聚类单元32包括：
计算模块321，可以用于计算所述相似矩阵的特征值以及特征值对应的特征向量；
组成模块322，可以用于按照由小到大的顺序排列所述特征值，并选取排名靠前的N个特征值对应的特征向量组成N维特征向量矩阵；
聚类模块323，可以用于对所述N维特征向量矩阵的行向量进行聚类，得到N维分割向量。
进一步地，所述聚类单元32还包括：
归一化模块324，可以用于在计算所述相似矩阵的特征值以及特征值对应的特征向量之前，采用近似计算策略对所述相似矩阵进行归一化处理。
进一步地，所述分割向量中每一行所属的类别为所述图模型中各个像素点所属的类别，所述分割单元33包括：
确定模块331，可以用于根据所述分割向量确定所述图模型中各个像素点所属的类别；
分割模块332，可以用于以所述图模型中各个像素点所属的类别作为待分割图像的映射条件，将所述待分割图像分割为多个类别的子图像。
图5是根据本发明实施例的图像分割装置400的框图。例如，装置400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图5，装置400可以包括以下一个或多个组件：处理组件402，存储器404，电源组件406，多媒体组件408，音频组件410，I/O(Input/Output，输入/输出)的接口412，传感器组件414，以及通信组件416。
处理组件402通常控制装置400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置为存储各种类型的数据以支持在装置400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如SRAM(Static Random Access Memory,静态随机存取存储器)，EEPROM(Electrically-Erasable Programmable Read-Only Memory,电可擦除可编程只读存储器)，EPROM(Erasable Programmable Read Only Memory,可擦除可编程只读存储器)，PROM(Programmable Read-Only Memory,可编程只读存储器)，ROM(Read-OnlyMemory,只读存储器)，磁存储器，快闪存储器，磁盘或光盘。
电源组件406为装置400的各种组件提供电力。电源组件406可以包括电源管理系统，一个或多个电源，及其他与为装置400生成、管理和分配电力相关联的组件。
多媒体组件408包括在所述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括LCD(Liquid Crystal Display，液晶显示器)和TP(TouchPanel，触摸面板)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当装置400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个MIC(Microphone,麦克风)，当装置400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。
I/O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器，用于为装置400提供各个方面的状态评估。例如，传感器组件414可以检测到设备400的打开/关闭状态，组件的相对定位，例如组件为装置400的显示器和小键盘，传感器组件414还可以检测装置400或装置400一个组件的位置改变，用户与装置400接触的存在或不存在，装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物)或CCD(Charge-coupled Device，电荷耦合元件)图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件416还包括NFC(NearField Communication,近场通信)模块，以促进短程通信。例如，在NFC模块可基于RFID(Radio FrequencyIdentification,射频识别)技术，IrDA(Infra-red DataAssociation,红外数据协会)技术，UWB(UltraWideband,超宽带)技术，BT(Bluetooth,蓝牙)技术和其他技术来实现。
在示例性实施例中，装置400可以被一个或多个ASIC(Application SpecificIntegrated Circuit,应用专用集成电路)、DSP(Digital signal Processor,数字信号处理器)、DSPD(Digital signalProcessorDevice，数字信号处理设备)、PLD(ProgrammableLogic Device,可编程逻辑器件)、FPGA)(FieldProgrammable GateArray,现场可编程门阵列)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图像分割方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由装置400的处理器420执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、RAM(Random Access Memory,随机存取存储器)、CD-ROM(Compact Disc Read-OnlyMemory,光盘只读存储器)、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由图像分割装置的处理器执行时，使得图像分割装置能够执行上述图像分割方法。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (9)
1.一种图像分割方法，其特征在于，所述方法包括：
获取待分割图像，并根据所述待分割图像的像素数据构建相似矩阵，所述相似矩阵用于表示所述待分割图像中各个像素数据之间的相似度；
基于谱聚类算法对所述相似矩阵对应的特征向量矩阵进行聚类，得到多维的分割向量；
根据所述多维的分割向量确定预设图像划分准则，按照所述预设图像划分准则将所述待分割图像分割为多个类别的子图像；
所述像素数据由像素点构成，所述根据所述待分割图像的像素数据构建相似矩阵包括：
以所述待分割图像的像素点为节点构造图模型；
根据所述图模型中各个像素点之间边的权重生成所述图模型的相邻矩阵；其中，所述各个像素点之间边的权重是结合相似性距离对应边的权重与相似性颜色Hue对应边的权重得到的；
根据所述图模型中各个像素点与相邻像素点之间边的权重之和生成所述图模型的对角矩阵；
根据所述相邻矩阵以及所述对角矩阵构建像素数据之间的相似矩阵。
2.根据权利要求1所述的方法，其特征在于，所述根据所述图模型中各个像素点之间边的权重生成所述图模型的相邻矩阵包括：
获取所述图模型中任意两个像素点之间的连接关系；
根据所述连接关系确定所述任意两个像素点之间边的权重值；
根据所述任意两个像素点之间边的权重值，生成所述图模型的相邻矩阵。
3.根据权利要求1所述的方法，其特征在于，所述根据所述图模型中各个像素点与相邻像素点之间边的权重之和生成所述图模型的对角矩阵包括：
获取所述图模型中任意像素点与相邻像素点之间边的权重值；
根据所述任意像素点与相邻像素点之间边的权重值之和，生成所述图模型的对角矩阵。
4.根据权利要求1所述的方法，其特征在于，所述基于谱聚类算法对所述相似矩阵对应的特征向量矩阵进行聚类，得到多维的分割向量包括：
计算所述相似矩阵的特征值以及特征值对应的特征向量；
按照由小到大的顺序排列所述特征值，并选取排名靠前的N个特征值对应的特征向量组成N维特征向量矩阵；
对所述N维特征向量矩阵的行向量进行聚类，得到N维分割向量。
5.根据权利要求4所述的方法，其特征在于，在计算所述相似矩阵的特征值以及特征值对应的特征向量之前，所述方法还包括：
采用近似计算策略对所述相似矩阵进行归一化处理。
6.根据权利要求1所述的方法，其特征在于，所述分割向量中每一行所属的类别为所述图模型中各个像素点所属的类别，所述根据所述多维的分割向量确定预设图像划分准则，按照所述预设图像划分准则将所述待分割图像分割为多个类别的子图像包括：
根据所述分割向量确定所述图模型中各个像素点所属的类别；
以所述图模型中各个像素点所属的类别作为待分割图像的映射条件，将所述待分割图像分割为多个类别的子图像。
7.一种图像分割装置，其特征在于，所述装置包括：
构建单元，用于获取待分割图像，并根据所述待分割图像的像素数据构建相似矩阵，所述相似矩阵用于表示所述待分割图像中各个像素数据之间的相似度；
聚类单元，用于基于谱聚类算法对所述相似矩阵对应的特征向量矩阵进行聚类，得到多维的分割向量；
分割单元，用于根据所述多维的分割向量确定预设图像划分准则，按照所述预设图像划分准则将所述待分割图像分割为多个类别的子图像；
所述构建单元包括：
构造模块，可以用于以所述待分割图像的像素点为节点构造图模型；
第一生成模块，可以用于根据所述图模型中各个像素点之间边的权重生成所述图模型的相邻矩阵；其中，所述各个像素点之间边的权重是结合相似性距离对应边的权重与相似性颜色Hue对应边的权重得到的；
第二生成模块，可以用于根据所述图模型中各个像素点与相邻像素点之间边的权重之和生成所述图模型的对角矩阵；
构建模块，可以用于根据所述相邻矩阵以及所述对角矩阵构建像素数据之间的相似矩阵。
8.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述图像分割方法的步骤。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述图像分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810918520.9A CN109214428B (zh) | 2018-08-13 | 2018-08-13 | 图像分割方法、装置、计算机设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810918520.9A CN109214428B (zh) | 2018-08-13 | 2018-08-13 | 图像分割方法、装置、计算机设备及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109214428A CN109214428A (zh) | 2019-01-15 |
| CN109214428B true CN109214428B (zh) | 2023-12-26 |
Family
ID=64987796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810918520.9A Active CN109214428B (zh) | 2018-08-13 | 2018-08-13 | 图像分割方法、装置、计算机设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109214428B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110853047B (zh) * | 2019-10-12 | 2023-09-15 | 平安科技（深圳）有限公司 | 智能图像分割及分类方法、装置及计算机可读存储介质 |
| CN111091572B (zh) * | 2019-12-18 | 2023-06-30 | 上海众源网络有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN112084988B (zh) * | 2020-06-08 | 2024-01-05 | 武汉佑驾创新科技有限公司 | 车道线实例聚类方法、装置、电子设备和存储介质 |
| CN111860502B (zh) * | 2020-07-15 | 2024-07-16 | 北京思图场景数据科技服务有限公司 | 图片表格的识别方法、装置、电子设备及存储介质 |
| CN111986089A (zh) * | 2020-08-28 | 2020-11-24 | 计易数据科技(上海)有限公司 | 特征值整数化的图像存储与比对方法、装置、设备和介质 |
| CN112118551B (zh) * | 2020-10-16 | 2022-09-09 | 同盾控股有限公司 | 设备风险识别方法及相关设备 |
| CN112991361B (zh) * | 2021-03-11 | 2023-06-13 | 温州大学激光与光电智能制造研究院 | 一种基于局部图结构相似度的图像分割方法 |
| CN113077464A (zh) * | 2021-05-06 | 2021-07-06 | 吴国军 | 一种医学图像处理方法、医学图像识别方法及装置 |
| CN113569933A (zh) * | 2021-07-19 | 2021-10-29 | 广州华多网络科技有限公司 | 商标图样匹配方法及其相应的装置、设备、介质 |
| CN116433990B (zh) * | 2023-06-12 | 2023-08-15 | 恒超源洗净科技(深圳)有限公司 | 基于视觉检测的超声波清洗机反馈调节系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101339615A (zh) * | 2008-08-11 | 2009-01-07 | 北京交通大学 | 一种基于相似矩阵逼近的图像分割方法 |
| CN101853491A (zh) * | 2010-04-30 | 2010-10-06 | 西安电子科技大学 | 基于并行稀疏谱聚类的sar图像分割方法 |
| CN102110173A (zh) * | 2011-04-08 | 2011-06-29 | 华北电力大学（保定） | 一种改进亲和矩阵的多路谱聚类方法 |
| CN102982544A (zh) * | 2012-11-21 | 2013-03-20 | 清华大学 | 多前景目标图像交互式分割方法 |
| CN103606154A (zh) * | 2013-11-22 | 2014-02-26 | 河海大学 | 基于jseg和谱聚类的多尺度海面溢油sar图像分割方法 |
| CN103942774A (zh) * | 2014-01-20 | 2014-07-23 | 天津大学 | 一种基于相似性传播的多目标协同显著区域检测方法 |
| CN107316308A (zh) * | 2017-06-27 | 2017-11-03 | 苏州大学 | 一种基于改进的多路谱聚类算法的清洁机器人地图分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7920745B2 (en) * | 2006-03-31 | 2011-04-05 | Fujifilm Corporation | Method and apparatus for performing constrained spectral clustering of digital image data |
-
2018
- 2018-08-13 CN CN201810918520.9A patent/CN109214428B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101339615A (zh) * | 2008-08-11 | 2009-01-07 | 北京交通大学 | 一种基于相似矩阵逼近的图像分割方法 |
| CN101853491A (zh) * | 2010-04-30 | 2010-10-06 | 西安电子科技大学 | 基于并行稀疏谱聚类的sar图像分割方法 |
| CN102110173A (zh) * | 2011-04-08 | 2011-06-29 | 华北电力大学（保定） | 一种改进亲和矩阵的多路谱聚类方法 |
| CN102982544A (zh) * | 2012-11-21 | 2013-03-20 | 清华大学 | 多前景目标图像交互式分割方法 |
| CN103606154A (zh) * | 2013-11-22 | 2014-02-26 | 河海大学 | 基于jseg和谱聚类的多尺度海面溢油sar图像分割方法 |
| CN103942774A (zh) * | 2014-01-20 | 2014-07-23 | 天津大学 | 一种基于相似性传播的多目标协同显著区域检测方法 |
| CN107316308A (zh) * | 2017-06-27 | 2017-11-03 | 苏州大学 | 一种基于改进的多路谱聚类算法的清洁机器人地图分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| 一种基于自适应相似矩阵的谱聚类算法;王贝贝等;《河北工业科技》(第02期);全文 * |
| 一种改进的谱聚类彩色图像分割方法;钱素静;彭宏京;刘越;;小型微型计算机系统(06);全文 * |
| 一种用于谱聚类图像分割的像素相似度计算方法;纳跃跃;于剑;;南京大学学报(自然科学版)(02);全文 * |
| 密度自适应的半监督谱聚类算法;周海松等;《计算机科学》(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109214428A (zh) | 2019-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109214428B (zh) | 图像分割方法、装置、计算机设备及计算机存储介质 | |
| CN109829433B (zh) | 人脸图像识别方法、装置、电子设备及存储介质 | |
| US20210326708A1 (en) | Neural network training method and apparatus, and image processing method and apparatus | |
| CN109670397B (zh) | 人体骨骼关键点的检测方法、装置、电子设备及存储介质 | |
| CN108121952B (zh) | 人脸关键点定位方法、装置、设备及存储介质 | |
| CN109299315B (zh) | 多媒体资源分类方法、装置、计算机设备及存储介质 | |
| CN109522910B (zh) | 关键点检测方法及装置、电子设备和存储介质 | |
| EP2942753B1 (en) | Method and device for image segmentation | |
| WO2021056808A1 (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| WO2020135529A1 (zh) | 位姿估计方法及装置、电子设备和存储介质 | |
| CN111310616A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| WO2021017358A1 (zh) | 位姿确定方法及装置、电子设备和存储介质 | |
| CN108010060B (zh) | 目标检测方法及装置 | |
| CN109635920B (zh) | 神经网络优化方法及装置、电子设备和存储介质 | |
| CN110533105B (zh) | 一种目标检测方法及装置、电子设备和存储介质 | |
| TWI778313B (zh) | 圖像處理方法、電子設備和儲存介質 | |
| CN109145970B (zh) | 基于图像的问答处理方法和装置、电子设备及存储介质 | |
| CN107220614B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| US9633444B2 (en) | Method and device for image segmentation | |
| CN107025441B (zh) | 肤色检测方法及装置 | |
| CN109145150A (zh) | 目标匹配方法及装置、电子设备和存储介质 | |
| CN104408404A (zh) | 人脸识别方法及装置 | |
| WO2019128564A1 (zh) | 对焦方法、装置、存储介质及电子设备 | |
| CN105354793A (zh) | 人脸图像处理方法及装置 | |
| CN104077597A (zh) | 图像分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |