CN110414308B - 一种针对输电线路上动态异物的目标识别方法 - Google Patents

一种针对输电线路上动态异物的目标识别方法 Download PDF

Info

Publication number
CN110414308B
CN110414308B CN201910407706.2A CN201910407706A CN110414308B CN 110414308 B CN110414308 B CN 110414308B CN 201910407706 A CN201910407706 A CN 201910407706A CN 110414308 B CN110414308 B CN 110414308B
Authority
CN
China
Prior art keywords
image
foreign matters
power transmission
transmission line
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910407706.2A
Other languages
English (en)
Other versions
CN110414308A (zh
Inventor
樊卫华
郭健
方林峰
王捷飞
徐川
宋腾
刘清宇
孔维一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201910407706.2A priority Critical patent/CN110414308B/zh
Publication of CN110414308A publication Critical patent/CN110414308A/zh
Application granted granted Critical
Publication of CN110414308B publication Critical patent/CN110414308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种针对输电线路上动态异物的目标识别方法。针对线缆缠绕异物的特征，对摄像机搜集到的图像进行预处理、边缘检测，通过最大类间方差阈值分割方法对图像进行降噪处理，采用改进的Hough直线检测对挂载异物线路进行筛选，对线缆与异物的连接点进行识别，识别速率快，效率高。对于随线路摆动的异物通过光流法确定其位姿，实现对异物及缠绕点的定位。本发明以线缆与异物结合点为目标，切实提高了对目标的识别率。在目标晃动时也能准确识别与定位，提高了计算效率与实时性。

Description

一种针对输电线路上动态异物的目标识别方法
技术领域
本发明涉及目标识别技术，具体涉及一种输电线路上动态异物的识别方法。
背景技术
日常生活中，因为风力因素或人为因素，高压线缆难免会缠绕上类似塑料袋、风筝、广告布、遮阳网等漂浮性异物，这些异物缠绕是电力线路故障的主要原因，占人为因素导致跳闸总数的55％，给电力部门带来极大的经济损失，对社会生活造成诸多不便。因此清除输电线路上缠绕的异物是一项重要课题。输电线路上缠绕的各类异物形态、材质各异，现有的技术通常直接识别异物，但是由于异物样本繁杂，识别效率和准确率都较低。此外，现有方法多针对静止异物进行识别，在有风异物随线缆摆动的情况下，识别效果更差。
发明内容
本发明的目的在于提供一种输电线路上动态异物的识别方法。
实现本发明目的的技术解决方案为：一种输电线路上动态异物的识别方法，包括以下步骤：
步骤1、采集包含异物目标的当前帧图像；
步骤2、对于采集的图像进行预处理；
步骤3、对预处理的图像进行边缘检测；
步骤4、对检测的边缘进行降噪；
步骤5、对降噪的图像进行直线检测，筛选出挂载缠绕物的线路；
步骤6、跟踪匹配异物，计算异物在全局图像中的位姿，确定异物的实际位姿。
本发明与现有技术相比，其显著优点在于：1)不直接识别异物，而是通过识别异物和线路的缠绕点来筛选挂载异物的线路，提高了识别的效率和准确度；2)通过目标跟踪匹配异物，在目标晃动时也能准确识别与定位异物。
附图说明
图1是本发明输电线路上动态异物识别方法的流程图。
图2是图像预处理后的效果图。
图3是边缘检测后的效果图。
图4是最大类间方差阈值分割后的效果图。
图5是Hough直线检测后的效果图。
图6是缠绕异物的筛选结果图。
具体实施方式
下面结合附图和实施例，进一步说明本发明方案。
如图1所示，输电线路上动态异物的识别方法，包括以下步骤：
步骤1、采集包含异物目标的当前帧图像；
步骤2、对于采集的图像进行预处理；
步骤2.1、进行摄像机透镜畸变校正，以不影响后期图像分析；
透镜畸变校正模型用下式表示：
Figure RE-GDA0002210343710000021
其中，(x,y)是畸变点在成像平面的实际坐标，r为畸变点与成像中心的距离，(xcorrected,ycorrected)是校正后的新坐标，k1、k2、k3表示径向畸变参数，P1、P2表示切向畸变参数。通过对相机内参进行标定，本发明采用的摄像机的畸变系数为k1＝- 0.062349，k2＝-0.124321，径向畸变参数k3导致的影响很小，因此可不予考虑。
步骤2.2、采用加权平均法对相机捕捉的图像进行灰度化处理，兼顾灰度保真和处理的实时性；
加权平均法的表达式：
f＝0.3r+0.59g+0.11b
其中，f表示灰度化后图像的灰度值，r表示原图的红色分量值，g表示原图的绿色分量值，b表示原图的蓝色分量值，经过图像预处理后的结果图如图2所示。
步骤2.3、将图像转化成byte数组的形式，得到图像矩阵，其中每一个元素Aij对应该像素点的灰度值。
Figure RE-GDA0002210343710000022
步骤3、对预处理的图像进行边缘检测；
步骤3.1、使用高斯滤波器滤除噪声；
综合考虑实时性和滤波效果，可以选择5×5的高斯核；
1 4 7 4 1
4 16 26 16 1
7 26 41 26 7
4 16 26 16 4
1 4 7 4 1
高斯滤波在两个方向上没有偏向性，两个方向的σ均定义为0.8；
步骤3.2、通过一阶微分算子计算图像中每个像素点的梯度强度和方向；
可以采用3×3的Sobel算子计算梯度强度和方向，水平和垂直方向的Sobel算子分别为：
Figure RE-GDA0002210343710000031
Figure RE-GDA0002210343710000032
其中，Sx、Sy分别是x和y方向上的Sobel算子，因为边缘方向垂直于梯度方向，所以Sx检测的是y方向的边缘，Sy检测的是x方向的。
假设A为3×3的Sobel算子窗口，e为要计算的像素点，则通过和Sobel算子得到像素点e在x和y方向的梯度值Gx与Gy，可表示为：
Figure RE-GDA0002210343710000033
Figure RE-GDA0002210343710000034
Figure RE-GDA0002210343710000035
θ＝arctan(Gx/Gy)
其中，*为卷积符号，G为梯度强度，θ表示梯度方向，可得到该像素点的梯度和方向。其中梯度方向的角度θ范围从-π到π。
步骤3.3、采用非极大值抑制，消除杂散的响应；
采用非极大值抑制可以将局部最大值之外的所有梯度值都抑制为0，即比较像素e与梯度方向上两个相邻像素的梯度强度，e的梯度强度最大时将其作为边缘点保留，否则抑制为零。
步骤3.4、采用双阈值检测确定真实的和潜在的边缘；
采用双阈值检测选择高低两个阈值，若边缘像素梯度超过高阈值，则保留为确定边缘；若小于低阈值，则直接过滤。边缘检测后的结果图如图3所示。
步骤4、采用最大类间方差阈值分割方法，对检测的边缘进行降噪；
步骤4.1、计算前景类C1与背景类C2的平均灰度值以及整个图像全局灰度值；
假设图像具有L个灰度级，由“最大类间方差法”得到的阈值为k，根据k可以将图像分割成前景类C1与背景类C2，其中C1＝[0,k],C2＝[k+1,L-1]；
定义前景类C1的概率是P1(k)，定义灰度值为i的像素点属于C1类的概率是P(i/C1)，则C1类的平均灰度值m1(k)为：
Figure RE-GDA0002210343710000041
定义pi表示灰度级为i的像素个数占整个图像像素总数的比例，pi满足以下公式：
Figure RE-GDA0002210343710000042
定义所有像素点中属于C1类的概率是p(C1)，则由贝叶斯公式可得：
Figure RE-GDA0002210343710000043
其中，p(C1/i)的含义是已知像素点灰度值为i，则该像素点是C1类的概率，因为统计的整体是整个C1类，所以p(C1/i)的值为1，m1(k)可以重新整理为以下形式：
Figure RE-GDA0002210343710000044
同理，定义背景类C2的概率是P2(k)，C2类的平均灰度值m2(k)为：
Figure RE-GDA0002210343710000045
定义整个图像的全局灰度值为mG，则：
Figure RE-GDA0002210343710000046
步骤4.2：计算最大类间方差，选择最优分割阈值进行图像分割；
背景与前景之间的方差越大，背景与前景之间区分度越大，选取的阈值越为合理，令类间的方差为σB(k)2，则：
σB(k)2＝P1(k)(m1(k)-mG(k))2十P2(k)(m2(k)-mG(k))2
为了表达方便，将表达式中的k忽略，进行进一步简化
Figure RE-GDA0002210343710000051
通过遍历k的值(k的取值范围是[0,L-1])，按照上式计算σk 2，求得使类间方差最大的k值就是最优的分割阈值。通过最大类间方差阈值分割方法对图像进行降噪处理，结果图如图4所示。
步骤5、对降噪的图像进行直线检测，筛选出挂载缠绕物的线路；
对边缘检测的结果进行自上而下逐列筛选(异物大部分面积缠绕在线缆下方)。
对每一列的像素，保留第一个边缘检测出的边缘点作为识别点，标记出来。这样每一列都将得到一个识别点。对这些识别点进行霍夫检测，可提高直线检测的成功率，得到一条确定的直线。Hough检测的示意图如图5所示。
对该直线每一列检测是否有连接的边缘点，保留这些连接的边缘点，以确定缠绕点的位置，若检测出有因异物缠绕导致线路直线特征变化的形变点，则保留直线，否则删除。
自上而下的对每一列其他边缘点进行相同操作，筛选出有异物缠绕的直线，确定异物在直线上的缠绕位置。如图6所示。
步骤6、跟踪匹配异物，计算异物在全局图像中的位姿，确定异物的实际位姿。
步骤6.1、相对位移获取：拍摄当前图像与上一图像帧比较，通过光流法获得异物距离和方向的相对位移，用图像水平光流的平均值近似异物的水平像素位移，用图像垂直光流的平均值近似异物的垂直像素位移；
可以使用opencv的cvCalcOpticalFlowLK函数实现光流计算，其算法使用的是Lucas&Kanade算法。通过求平均水平光流和垂直光流得到水平像素位移和垂直像素位移后，即可求得位移的距离和方向角。
步骤6.2、当前图像位姿估算：根据相对位移与上一时刻的图像位姿，估算当前时刻的图像位姿；
将上一时刻位置与估算位移矢量相加，估算当前位置，同时将上一时刻方向角与估算方向角相加，估算当前方向角。
步骤6.3、当前图像位姿确定：以估算的图像姿态角为中心，在误差角度内，按分辨精度划分，得到一组姿态角。对于每个姿态角，将当前图像帧旋转该角度，将旋转后的图像分别在中心截取相同大小的图像，截取的图像尺寸取原始图像的[1/50,1/30]，并与估算位置附近的图像进行匹配，将匹配度最高的图像位姿作为当前图像位姿。
为保证计算效率，方向角误差范围不宜太大，精度也不宜太高，可以取误差范围±3°，精度1°，图像旋转时绕图像中心旋转。
由于旋转时通常需要更大的容器图像，故选用足够大的容器图像，如边长为原图对角线长的正方形，对图像进行旋转。为了确保截取的图像为有意义的图像，即不包含空白，匹配时可以选择位于中心的较小一块图像进行匹配。综合考量速度和效果，采用相关匹配法进行匹配，锁定数值越大表示匹配程度越高。
步骤6.4、当前实际位姿确定：根据坐标换算关系，将当前图像位姿转换成当前实际位姿。

Claims (9)

1.输电线路上动态异物的识别方法，其特征在于，包括以下步骤：
步骤1、采集包含异物目标的当前帧图像；
步骤2、对于采集的图像进行预处理；
步骤3、对预处理的图像进行边缘检测；
步骤4、对检测的边缘进行降噪；
步骤5、对降噪的图像进行直线检测，筛选出挂载缠绕物的线路；
步骤6、跟踪匹配异物，计算异物在全局图像中的位姿，确定异物的实际位姿；
步骤6中的具体方法为：
步骤6.1、拍摄当前图像与上一图像帧比较，通过光流法获得异物距离和方向的相对位移，用图像水平光流的平均值近似异物的水平像素位移，用图像垂直光流的平均值近似异物的垂直像素位移；
步骤6.2、根据相对位移与上一时刻的图像位姿，估算当前时刻的图像位姿；
步骤6.3、以估算的图像姿态角为中心，在误差角度内，按分辨精度划分，得到一组姿态角，对于每个姿态角，将当前图像帧旋转该角度，将旋转后的图像分别在中心截取相同大小的图像，并与估算位置附近的图像进行匹配，将匹配度最高的图像位姿作为当前图像位姿；
步骤6.4、根据坐标换算关系，将当前图像位姿转换成当前实际位姿。
2.根据权利要求1所述的输电线路上动态异物的识别方法，其特征在于，步骤2中，预处理包括摄像机透镜畸变校正和灰度化处理。
3.根据权利要求2所述的输电线路上动态异物的识别方法，其特征在于，步骤2中，采用加权平均法进行灰度化处理。
4.根据权利要求1所述的输电线路上动态异物的识别方法，其特征在于，步骤3的具体方法为：
步骤3.1、使用高斯滤波器滤除噪声；
步骤3.2、通过Sobel算子计算图像中每个像素点的梯度强度和方向；
步骤3.3、采用非极大值抑制消除杂散的响应；
步骤3.4、采用双阈值检测确定真实的和潜在的边缘。
5.根据权利要求4所述的输电线路上动态异物的识别方法，其特征在于，选择5×5的高斯核进行噪声滤波，高斯核为：
1 4 7 4 1 4 16 26 16 1 7 26 41 26 7 4 16 26 16 4 1 4 7 4 1
。
6.根据权利要求1所述的输电线路上动态异物的识别方法，其特征在于，步骤4中，采用最大类间方差阈值分割方法进行降噪处理。
7.根据权利要求1所述的输电线路上动态异物的识别方法，其特征在于，步骤5具体为：首先对每一列的像素，从上往下保留第一个边缘检测出的边缘点作为识别点，对这些识别点进行霍夫检测，得到一条确定的直线；然后对该直线每一列检测是否有连接的边缘点，若检测出有缠绕点，则保留直线，否则删除，筛选出有异物缠绕的直线，以确定异物在直线上的缠绕位置。
8.根据权利要求1所述的输电线路上动态异物的识别方法，其特征在于，步骤6.3中，截取的图像尺寸取原始图像的[1/50,1/30]。
9.根据权利要求1所述的输电线路上动态异物的识别方法，其特征在于，使用opencv的cvCalcOpticalFlowLK函数实现光流计算。
CN201910407706.2A 2019-05-16 2019-05-16 一种针对输电线路上动态异物的目标识别方法 Active CN110414308B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910407706.2A CN110414308B (zh) 2019-05-16 2019-05-16 一种针对输电线路上动态异物的目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910407706.2A CN110414308B (zh) 2019-05-16 2019-05-16 一种针对输电线路上动态异物的目标识别方法

Publications (2)

Publication Number Publication Date
CN110414308A CN110414308A (zh) 2019-11-05
CN110414308B true CN110414308B (zh) 2023-05-05

Family

ID=68357834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910407706.2A Active CN110414308B (zh) 2019-05-16 2019-05-16 一种针对输电线路上动态异物的目标识别方法

Country Status (1)

Country Link
CN (1) CN110414308B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814686A (zh) * 2020-07-09 2020-10-23 国网山西省电力公司吕梁供电公司 一种基于视觉的输电线路识别及异物入侵在线检测方法
CN112016641A (zh) * 2020-08-17 2020-12-01 国网山东省电力公司潍坊供电公司 一种异物导致线路短路故障告警方法及装置
CN112597857B (zh) * 2020-12-16 2022-06-14 武汉科技大学 一种基于kinect的室内机器人楼梯攀爬位姿快速估计方法
CN113096075B (zh) * 2021-03-25 2022-09-27 南京理工大学 输电线路缠绕异物清除器的入侵物检测方法及系统
CN113327269A (zh) * 2021-05-21 2021-08-31 哈尔滨理工大学 一种无标记颈椎运动检测方法
CN114723952A (zh) * 2022-02-25 2022-07-08 长光卫星技术股份有限公司 一种高速tdi ccd相机图像暗弱条纹噪声识别的模型构建方法与系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957077B (zh) * 2015-04-29 2019-01-15 国网河南省电力公司电力科学研究院 基于视觉显著性分析的输电线路异物检测方法
CN107680095A (zh) * 2017-10-25 2018-02-09 哈尔滨理工大学 基于模板匹配与光流法的无人机图像的输电线路异物检测

Also Published As

Publication number Publication date
CN110414308A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110414308B (zh) 一种针对输电线路上动态异物的目标识别方法
CN112819772B (zh) 一种高精度快速图形检测识别方法
CN108564814B (zh) 一种基于图像的停车场车位检测方法及装置
CN111814686A (zh) 一种基于视觉的输电线路识别及异物入侵在线检测方法
CN110807355A (zh) 一种基于移动机器人的指针仪表检测与读数识别方法
US8712114B2 (en) Elegant solutions for fingerprint image enhancement
CN110189375B (zh) 一种基于单目视觉测量的图像目标识别方法
CN106709500B (zh) 一种图像特征匹配的方法
KR20130030220A (ko) 고속 장애물 검출
CN112861654B (zh) 一种基于机器视觉的名优茶采摘点位置信息获取方法
CN106530281A (zh) 基于边缘特征的无人机图像模糊判断方法及系统
CN109583435A (zh) 一种自适应投票车道线检测方法
CN113706566B (zh) 一种基于边缘检测的加香喷雾性能检测方法
CN113537211B (zh) 一种基于非对称iou的深度学习车牌框定位方法
CN112766046B (zh) 一种目标检测方法及相关装置
WO2023231262A1 (zh) 基于视觉振频识别的提升钢丝绳张力检测方法
CN111340833B (zh) 最小二乘去干扰随机Hough变换的输电线提取方法
CN102663385A (zh) 一种星上点目标检测方法
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
CN108961155B (zh) 一种高保真的鱼眼镜头畸变校正方法
CN114359149B (zh) 基于实时图像边缘增强的坝岸险情视频检测方法及系统
CN110288619B (zh) 基于视觉的太阳花模组表面螺钉孔位置检测方法
CN114119437B (zh) 一种基于gms的用于改善运动物体畸变的图像拼接方法
CN117197700B (zh) 智能化无人巡检接触网缺陷识别系统
CN112418210B (zh) 一种杆塔巡检信息智能分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Fan Weihua

Inventor after: Guo Jian

Inventor after: Fang Linfeng

Inventor after: Wang Jiefei

Inventor after: Xu Chuan

Inventor after: Song Teng

Inventor after: Liu Qingyu

Inventor after: Kong Weiyi

Inventor before: Fang Linfeng

Inventor before: Wang Jiefei

Inventor before: Xu Chuan

Inventor before: Fan Weihua

Inventor before: Guo Jian

Inventor before: Song Teng

Inventor before: Liu Qingyu

Inventor before: Kong Weiyi

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant