CN114783010A - 一种掌纹图像感兴趣区域提取方法 - Google Patents
一种掌纹图像感兴趣区域提取方法 Download PDFInfo
- Publication number
- CN114783010A CN114783010A CN202210707974.8A CN202210707974A CN114783010A CN 114783010 A CN114783010 A CN 114783010A CN 202210707974 A CN202210707974 A CN 202210707974A CN 114783010 A CN114783010 A CN 114783010A
- Authority
- CN
- China
- Prior art keywords
- finger
- region
- palm
- points
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 16
- 210000001145 finger joint Anatomy 0.000 claims abstract description 64
- 238000004891 communication Methods 0.000 claims abstract description 48
- 238000012937 correction Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Landscapes
- Collating Specific Patterns (AREA)
Abstract
一种掌纹图像感兴趣区域提取方法，包括：对掌纹图像进行反向二值化处理，得到掌纹二值化图像；采用连通区域标记算法，获取所述掌纹二值化图像中所有的连通区域并计算所述连通区域的面积，获取面积最大的连通区域为手掌连通区域；采用垂线进行划线操作检测所述手掌连通区域的8个指缝特征点，根据所述8个指缝特征点采用连通区域标记算法获取所述手掌连通区域的3个指缝特征区域，分别获取每一所述指缝特征区域内的一个指缝点；基于所述指缝点对所述手掌连通区域进行旋转矫正，并对旋转矫正后的手掌连通区域进行感兴趣区域提取。本发明提供的掌纹图像感兴趣区域提取方案，具有极强的一致性和稳定性。
Description
技术领域
本发明涉及生物特征识别技术领域，尤其涉及一种掌纹图像感兴趣区域提取方法。
背景技术
掌纹采集时，因不对手掌放置位置进行限位，因此每个人手掌的位置和方向各不相同，即使是同一个人，每次放置的位置和方向也难以保持一致，所以采集到的掌纹图像的位置和方向会产生差异，而这些差异将会对后续的识别产生较大的影响。因此在对掌纹图像进行特征提取和识别之前，需要对掌纹图像的感兴趣区域进行提取，保留稳定性、一致性均较高掌纹区域，从而提高掌纹识别率。目前掌纹感兴趣区域提取方法一般为基于内切圆的定位提取方法和基于正方形的定位提取方法。其中前者因为需要反复搜索圆心并调整半径，预处理时间长，复杂性高，不能用于实时系统；后者的主要难点是分割定位点不易确定，尤其在复杂环境背景下，难以确认分割定位点，导致手掌区域提取一致性和稳定性不高从而影响手掌特征识别成功率。
发明内容
本发明针对现有问题的缺陷，提出一种掌纹图像感兴趣区域提取方法，可以有效提取出掌纹图像感兴趣区域，提高掌纹识别效率。
为了解决上述技术问题，本发明提供了一种掌纹图像感兴趣区域提取方法，其特征在于,包括以下步骤：对掌纹图像进行反向二值化处理，得到掌纹二值化图像；采用连通区域标记算法，获取所述掌纹二值化图像中所有的连通区域并计算所述连通区域的面积，获取面积最大的连通区域为手掌连通区域；采用垂线进行划线操作检测所述手掌连通区域的8个指缝特征点，根据所述8个指缝特征点采用连通区域标记算法获取所述手掌连通区域的3个指缝特征区域，分别获取每一所述指缝特征区域内的一个指缝点；基于所述指缝点对所述手掌连通区域进行旋转矫正，并对所述旋转矫正后的手掌连通区域进行感兴趣区域提取。
优选地，在所述对掌纹图像进行反向二值化处理前还包括：在所述掌纹图像四周填充黑色像素。
优选地，所述采用垂线进行划线操作检测所述手掌连通区域的8个指缝特征点包括，采用垂线在划线区域内对所述手掌连通区域从左至右进行等间距划线操作，并在每次划线后计算所述垂线与所述手掌连通区域的交点个数，若交点的个数为8，则停止划线，所述交点为指缝特征点。
优选地，所述划线区域为所述手掌连通区域左侧边缘1/4处到所述手掌连通区域右侧边缘1/5处。
优选地，若所述划线区域内所述垂线与所述手掌连通区域不存在8个交点，则旋转所述手掌连通区域，然后采用垂线对所述旋转后的手掌连通区域进行划线操作。
优选地，所述指缝特征区域为所述指缝特征点连线与手指轮廓形成的闭合区域，所述指缝点为所述指缝特征区域内距离所述指缝特征点连线的距离最大的点，所述3个指缝特征区域分别为食指-中指指缝特征区域、中指-无名指指缝特征区域、无名指-小拇指指缝特征区域，所述指缝点分别为食指-中指指缝点、中指-无名指指缝点、无名指-小拇指指缝点。
优选地，若所述指缝特征区域内距离所述指缝特征点连线的距离最大的点有多个，则取其坐标的平均值所在的点作为该指缝特征区域内的指缝点。
优选地，所述基于所述指缝点对所述手掌连通区域进行旋转矫正为基于所述食指-中指指缝点和无名指-小拇指指缝点的连线与垂直轴的夹角对所述手掌连通区域进行旋转矫正。
优选地，在所述基于所述指缝点对所述手掌连通区域进行旋转矫正前，还包括判断所述指缝点是否正确，若正确则基于所述指缝点对所述手掌连通区域进行旋转矫正；若不正确，则旋转所述手掌连通区域后重新采用垂线进行划线操作检测所述手掌连通区域的8个指缝特征点、3个指缝特征区域和指缝点。
优选地，所述判断所述指缝点是否正确包括，分别计算食指-中指指缝点到中指-无名指指缝点的距离和无名指-小拇指指缝点到中指-无名指指缝点的距离，判断两者的距离是否在1.5倍范围内，若在1.5倍范围内则所述指缝点正确，反之所述指缝点错误。
本发明提供的掌纹图像感兴趣区域提取方法采用连通区域算法获取面积最大的连通区域作为手掌连通区域实现对掌纹图像感兴趣区域的初步筛选，无论是简单背景还是复杂背景，均可通过此方式筛除掉不必要的噪声；然后采用垂线进行划线操作获取指缝特征点、指缝特征区域和指缝点，进而基于此完成感兴趣区域的提取，具有极强的实用性。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的掌纹图像感兴趣区域提取方法的流程图；
图2为本发明实施例提供的手掌连通区域中8个指缝特征点、3个指缝特征区域、3个指缝点示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
参照附图1所示，本发明涉及一种掌纹图像感兴趣区域提取方法，包括以下步骤：
1）对获取的掌纹图像进行灰度变换和均值滤波的预处理。首先获取掌纹图像每一个像素点的灰度值，计算得到掌纹图像的平均灰度值，若掌纹图像的平均灰度值低于130，则按比例降低或提高各像素点的灰度值使之平均灰度为70，若掌纹图像的平均灰度值高于130，则按比例降低各像素点的灰度值使之平均灰度为90；然后对灰度变换后的图像进行均值滤波处理。需要说明的是，按比例降低掌纹图像各像素点的灰度，有利于后续反向二值化处理中获得完整的手掌连通区域，此外可以有效降低掌纹图像噪声，利于后续特征点定位。
2）在预处理后的掌纹图像四周填充黑色像素；因为采集的掌纹图像存在部分图像手掌与外边界相交、手掌超过采集图像区域，在掌纹图像四周填充黑色像素便于后续确认指缝特征点，提高感兴趣区域提取的速度。
3）对获取的掌纹图像进行反向二值化处理，得到掌纹二值化图像；需要说明的是，手掌区域相对于四周较亮，在二值化处理过程中，手掌区域应该为白色，背景区域为黑色，为便于后续的划线操作，本发明采用反向二值化处理，即手掌区域为黑色，背景部分为白色。
4）采用连通区域标记算法，获取掌纹二值化图像中所有的连通区域并计算连通区域的面积，获取面积最大的连通区域为手掌连通区域；需要说明的是，采集的掌纹图像中可以认为手掌为主要部分，因此手掌部分面积最大。
5）采用垂线进行划线操作检测所述手掌连通区域的8个指缝特征点，根据所述8个指缝特征点采用连通区域标记算法获取所述手掌连通区域的3个指缝特征区域，分别获取每一所述指缝特征区域内的一个指缝点，具体步骤为：
5.1）采用垂线在划线区域内对手掌连通区域从左至右进行等间距划线操作，并在每次划线后计算垂线与手掌连通区域的交点个数，若交点的个数为8，则停止划线，交点为指缝特征点，如附图2提供的示意图中所示，8个指缝特征点从上至下依次为C1、C2、C3、C4、C5、C6、C7、C8。若划线区域内垂线与手掌连通区域不存在8个交点，则旋转手掌连通区域，然后采用垂线对旋转后的手掌连通区域进行划线操作，本发明中，将手掌连通区域依次进行左、右旋转30度后用垂线进行划线操作；需要说明是，因为若手掌正常摆放，根据手掌本身的轮廓特点，垂线与手掌连通区域一定存在8个交点，若不存在8个交点，则是因为手掌摆放发生了旋转，因此在旋转后重新采用垂线进行划线操作。另外，划线区域为手掌连通区域左侧边缘1/4处到手掌连通区域右侧边缘1/5处，而非对整个手掌连通区域进行划线操作，可以有效提高运行效率。
5.2）根据8个指缝特征点采用连通区域标记算法获取手掌连通区域的3个指缝特征区域，指缝特征区域为指缝特征点连线与手指轮廓形成的闭合区域，如附图2提供的示意图中所示，分别将指缝特征点C2和C3连线、C4和C5连线、C6和C7连线，然后采用连通区域标记算法获取手掌连通区域的所有连通区域，此时可以获得4个连通区域，除面积最大的手掌连通区域外，剩余3个连通区域分别为C2和C3的连线与手指轮廓构成无名指-小拇指指缝特征区域，C4和C5的连线与手指轮廓构成中指-无名指指缝特征区域，C6和C7的连线与手指轮廓构成食指-中指指缝特征区域。
5.3）分别计算指缝特征区域内每个点到对应指缝特征区域内指缝特征点连线的距离，选取距离最大的点为指缝点，需要说明的是，若指缝特征区域内距离指缝特征点连线的距离最大的点有多个，则取其坐标的平均值所在的点作为该指缝特征区域内的指缝点，如附图2提供的示意图中所示，无名指-小拇指指缝特征区域内获得无名指-小拇指指缝点D1、中指-无名指指缝特征区域获得中指-无名指指缝点D2、食指-中指指缝特征区域内获得食指-中指指缝点D3。
6）判断指缝点是否正确，包括：分别计算食指-中指指缝点D3到中指-无名指指缝点D2的距离和无名指-小拇指指缝点D1到中指-无名指指缝点D2的距离，判断两者的距离是否在1.5倍范围内，即D1D2*1.5>=D2D3且D1D2<=1.5*D2D3，若在1.5倍范围内则指缝点正确，反之指缝点错误。若指缝点错误，则旋转手掌连通区域后重新采用垂线进行划线操作检测手掌连通区域的8个指缝特征点、3个指缝特征区域和指缝点。需要说明的是，根据手掌本身的特性，无名指-小拇指指缝点D1到中指-无名指指缝点D2的距离和食指-中指指缝点D3到中指-无名指指缝点D2的距离理论上应该大致相等，本发明中设置的条件为两者的距离为1.5倍，若不满足该条件，则说明检测的3个指缝点包括了大拇指-食指指缝点，因此将手掌连通区域旋转后重新采用垂线进行划线操作，本发明中，将手掌连通区域依次进行左、右旋转45度后用垂线进行划线操作。
7）基于食指-中指指缝点和无名指-小拇指指缝点的连线与垂直轴的夹角对手掌连通区域进行旋转矫正，使得食指-中指指缝点和无名指-小拇指指缝点的连线与水平轴垂直，然后对旋转矫正后的手掌连通区域进行感兴趣区域提取。
以上结合实施例对本发明进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所做的均等变化与改进等，均应仍属于本发明的专利涵盖范围之内。
Claims (10)
1.一种掌纹图像感兴趣区域提取方法，其特征在于，包括以下步骤：对掌纹图像进行反向二值化处理，得到掌纹二值化图像；采用连通区域标记算法，获取所述掌纹二值化图像中所有的连通区域并计算所述连通区域的面积，获取面积最大的连通区域为手掌连通区域；采用垂线进行划线操作检测所述手掌连通区域的8个指缝特征点，根据所述8个指缝特征点采用连通区域标记算法获取所述手掌连通区域的3个指缝特征区域，分别获取每一所述指缝特征区域内的一个指缝点；基于所述指缝点对所述手掌连通区域进行旋转矫正，并对旋转矫正后的手掌连通区域进行感兴趣区域提取。
2.根据权利要求1所述的掌纹图像感兴趣区域提取方法，其特征在于，在所述对掌纹图像进行反向二值化处理前还包括：在所述掌纹图像四周填充黑色像素。
3.根据权利要求1所述的掌纹图像感兴趣区域提取方法，其特征在于，所述采用垂线进行划线操作检测所述手掌连通区域的8个指缝特征点包括，采用垂线在划线区域内对所述手掌连通区域从左至右进行等间距划线操作，并在每次划线后计算所述垂线与所述手掌连通区域的交点个数，若交点的个数为8，则停止划线，所述交点为指缝特征点。
4.根据权利要求3所述的掌纹图像感兴趣区域提取方法，其特征在于，所述划线区域为所述手掌连通区域左侧边缘1/4处到所述手掌连通区域右侧边缘1/5处。
5.根据权利要求4所述的掌纹图像感兴趣区域提取方法，其特征在于，若所述划线区域内所述垂线与所述手掌连通区域不存在8个交点，则旋转所述手掌连通区域，然后采用垂线对旋转后的手掌连通区域进行划线操作。
6.根据权利要求1所述的掌纹图像感兴趣区域提取方法，其特征在于，所述指缝特征区域为所述指缝特征点连线与手指轮廓形成的闭合区域，所述指缝点为所述指缝特征区域内距离所述指缝特征点连线距离最大的点，所述3个指缝特征区域分别为食指-中指指缝特征区域、中指-无名指指缝特征区域、无名指-小拇指指缝特征区域，所述指缝点分别为食指-中指指缝点、中指-无名指指缝点、无名指-小拇指指缝点。
7.根据权利要求6所述的掌纹图像感兴趣区域提取方法，其特征在于，若所述指缝特征区域内距离所述指缝特征点连线距离最大的点有多个，则取其坐标的平均值所在的点作为该指缝特征区域内的指缝点。
8.根据权利要求6所述的掌纹图像感兴趣区域提取方法，其特征在于，所述基于所述指缝点对所述手掌连通区域进行旋转矫正为基于所述食指-中指指缝点和无名指-小拇指指缝点的连线与垂直轴的夹角对所述手掌连通区域进行旋转矫正。
9.根据权利要求8所述的掌纹图像感兴趣区域提取方法，其特征在于，在所述基于所述指缝点对所述手掌连通区域进行旋转矫正前，还包括判断所述指缝点是否正确，若正确则基于所述指缝点对所述手掌连通区域进行旋转矫正；若不正确，则旋转所述手掌连通区域后重新采用垂线进行划线操作检测所述手掌连通区域的8个指缝特征点、3个指缝特征区域和指缝点。
10.根据权利要求9所述的掌纹图像感兴趣区域提取方法，其特征在于，所述判断所述指缝点是否正确包括，分别计算食指-中指指缝点到中指-无名指指缝点的距离和无名指-小拇指指缝点到中指-无名指指缝点的距离，判断两者的距离是否在1.5倍范围内，若在1.5倍范围内则所述指缝点正确，反之所述指缝点错误。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210707974.8A CN114783010B (zh) | 2022-06-22 | 2022-06-22 | 一种掌纹图像感兴趣区域提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210707974.8A CN114783010B (zh) | 2022-06-22 | 2022-06-22 | 一种掌纹图像感兴趣区域提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114783010A true CN114783010A (zh) | 2022-07-22 |
| CN114783010B CN114783010B (zh) | 2022-09-30 |
Family
ID=82422037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210707974.8A Active CN114783010B (zh) | 2022-06-22 | 2022-06-22 | 一种掌纹图像感兴趣区域提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114783010B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115359249A (zh) * | 2022-10-21 | 2022-11-18 | 山东圣点世纪科技有限公司 | 一种手掌图像roi区域提取方法及系统 |
| CN115641615A (zh) * | 2022-11-25 | 2023-01-24 | 湖南工商大学 | 复杂背景下闭合手掌感兴趣区域提取方法 |
| CN116665258A (zh) * | 2023-07-31 | 2023-08-29 | 江苏圣点世纪科技有限公司 | 一种手掌图像指缝分割方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004348522A (ja) * | 2003-05-23 | 2004-12-09 | Nippon Telegr & Teleph Corp <Ntt> | 掌形認証用基準点検出方法、掌形認証用基準点検出装置、プログラムおよび記録媒体 |
| CN103870812A (zh) * | 2014-03-13 | 2014-06-18 | 上海云享科技有限公司 | 一种获取掌纹图像的方法及系统 |
| CN104580143A (zh) * | 2014-11-09 | 2015-04-29 | 李若斌 | 一种基于手势识别的安全认证方法、终端、服务器和系统 |
| WO2020168759A1 (zh) * | 2019-02-20 | 2020-08-27 | 平安科技（深圳）有限公司 | 掌纹识别方法、装置、计算机设备和存储介质 |
-
2022
- 2022-06-22 CN CN202210707974.8A patent/CN114783010B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004348522A (ja) * | 2003-05-23 | 2004-12-09 | Nippon Telegr & Teleph Corp <Ntt> | 掌形認証用基準点検出方法、掌形認証用基準点検出装置、プログラムおよび記録媒体 |
| CN103870812A (zh) * | 2014-03-13 | 2014-06-18 | 上海云享科技有限公司 | 一种获取掌纹图像的方法及系统 |
| CN104580143A (zh) * | 2014-11-09 | 2015-04-29 | 李若斌 | 一种基于手势识别的安全认证方法、终端、服务器和系统 |
| WO2020168759A1 (zh) * | 2019-02-20 | 2020-08-27 | 平安科技（深圳）有限公司 | 掌纹识别方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 张秀峰 等: "掌纹ROI分割算法的研究与实现", 《计算机科学》 * |
| 王天华 等: "双点辅助定位的移动终端掌纹识别系统", 《计算机与现代化》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115359249A (zh) * | 2022-10-21 | 2022-11-18 | 山东圣点世纪科技有限公司 | 一种手掌图像roi区域提取方法及系统 |
| CN115641615A (zh) * | 2022-11-25 | 2023-01-24 | 湖南工商大学 | 复杂背景下闭合手掌感兴趣区域提取方法 |
| CN116665258A (zh) * | 2023-07-31 | 2023-08-29 | 江苏圣点世纪科技有限公司 | 一种手掌图像指缝分割方法 |
| CN116665258B (zh) * | 2023-07-31 | 2023-10-20 | 江苏圣点世纪科技有限公司 | 一种手掌图像指缝分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114783010B (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114783010B (zh) | 一种掌纹图像感兴趣区域提取方法 | |
| CN108776140B (zh) | 一种基于机器视觉的印刷品瑕疵检测方法及系统 | |
| CN109191459B (zh) | 连铸坯低倍组织中心偏析缺陷的自动识别与评级方法 | |
| CN114418957A (zh) | 基于机器人视觉的全局和局部二值模式图像裂缝分割方法 | |
| CN101887586B (zh) | 基于图像轮廓尖锐度的自适应角点检测方法 | |
| CN102704215B (zh) | 基于dst文件解析与机器视觉结合的绣布自动切割方法 | |
| US10846549B2 (en) | Marker for occluding foreign matter in acquired image, method for recognizing foreign matter marker in image and book scanning method | |
| CN111310760B (zh) | 结合局部先验特征和深度卷积特征的甲骨刻辞文字检测方法 | |
| CN105488492B (zh) | 一种彩色图像预处理方法、道路识别方法及相关装置 | |
| CN108389179A (zh) | 一种基于机器视觉的罐盖表面缺陷检测方法 | |
| CN106951905A (zh) | 一种基于tof相机的树上苹果识别与定位方法 | |
| CN101727666A (zh) | 图像分割方法及装置、图像倒置判断及胸片前后区分方法 | |
| CN104657728B (zh) | 基于计算机视觉的条码识别系统 | |
| CN108171695A (zh) | 一种基于图像处理的高速公路路面检测方法 | |
| CN109658391B (zh) | 一种基于轮廓归并和凸包拟合的圆半径测量方法 | |
| CN111476246B (zh) | 应用于复杂环境下指针仪表鲁棒高效智读方法 | |
| CN108038838A (zh) | 一种棉麻纤维种类自动检测方法和系统 | |
| CN103177257A (zh) | 一种鸡腿菇图像识别方法与分级方法 | |
| CN112884746B (zh) | 一种基于边缘形状匹配的字符缺陷智能检测算法 | |
| CN115861274A (zh) | 一种融合三维点云与二维图像的裂缝检测方法 | |
| CN109389033A (zh) | 一种新型的瞳孔快速定位方法 | |
| CN107679479A (zh) | 一种基于图像形态学处理的客观填涂识别方法 | |
| CN110503096A (zh) | 水平双标志点的棒材端面标记方案及字符图像矫正方法 | |
| CN109544513A (zh) | 一种钢管端面缺陷提取识别的方法 | |
| CN112288372B (zh) | 一种可同时识别一维条码和三段码字符的快递单识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |