CN111652854B - 一种基于图像高频信息的无参考图像质量评价方法 - Google Patents

一种基于图像高频信息的无参考图像质量评价方法 Download PDF

Info

Publication number
CN111652854B
CN111652854B CN202010403827.2A CN202010403827A CN111652854B CN 111652854 B CN111652854 B CN 111652854B CN 202010403827 A CN202010403827 A CN 202010403827A CN 111652854 B CN111652854 B CN 111652854B
Authority
CN
China
Prior art keywords
image
grad
block
result
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010403827.2A
Other languages
English (en)
Other versions
CN111652854A (zh
Inventor
王嘉辉
李子健
魏杨燊
张佰君
蔡志岗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202010403827.2A priority Critical patent/CN111652854B/zh
Publication of CN111652854A publication Critical patent/CN111652854A/zh
Application granted granted Critical
Publication of CN111652854B publication Critical patent/CN111652854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开一种基于图像高频信息的无参考图像质量评价方法，包括以下步骤：对待评价图像I使用低通滤波，得到二次退化图像Ideg；对原始待评价图像I和退化图像Ideg进行计算，分别得到图像的梯度图Igrad和退化图像的梯度图Igrad，deg；对梯度图Igrad中所有的像素值求平均值，得到第一结果；对梯度图Igrad进行分块操作，建立分块集合{B}；计算分块集合{B}中所有分块的像素值之和Sk；对集合C按照S的大小进行倒序排列，得到新的集合D；寻找集合D中的前L个元素和它们对应的分块B，找到在梯度图Ideg，grad中相同位置的分块Bdeg；对L个分块对B，Bdeg求结构相似度，求均值后取倒数，得到第二结果；别对第一结果和第二结果乘上合适的系数α和β后相加，得到代表图像质量的结果Quality(I)。

Description

一种基于图像高频信息的无参考图像质量评价方法
技术领域
本发明涉及图像质量领域，更具体地，涉及一种基于图像高频信息的无参考图像质量评价方法。
背景技术
图像作为视觉信息的来源，蕴含了大量的有价值信息，图像质量的好坏影响到人们的主观感受和信息获取。但是，在图像的获取、存储、传输、显示等过程中，不可避免地会受到其他因素的干扰，譬如噪声，模糊，数据丢失等，这些都会对图像质量造成影响。因此，图像质量评价(Image quality assessment,IQA)的研究在近几十年受到广泛的重视。图像质量评价(IQA)，即确定图像质量的过程，一般来说，图像质量评价方法包括基于人的感知的主观方法，和基于计算模型的客观方法。主观评价方法由观察者对图像质量进行主观评分，一般采用平均主观得分(Mean Opinion Score，MOS)来表示。从感知的角度出发，主观评价方法更符合我们的需求，但是主观评价方法具有以下内在的缺陷：感知尺度的非线性，不同观察者评价标准的偏差。虽然以上内在的缺陷可以通过增加评价者的数量来弥补，但又同时会带来耗时长和工作量大的问题，使用起来很不方便；客观评价方法是通过一系列规定的算法计算得到图像质量，根据评价时是否需要参考图像，又可以分为以下三类：全参考(Full-reference,FR)评价方法、半参考(Reduced-reference，RR)评价方法和无参考(No-reference,NR)评价方法。全参考评价方法同时需要参考图像(无失真图像)和失真图像，通过对比两幅图像内部的信息或者特征的相似度来确定失真图像的质量，这也是图像质量评价方法中研究比较成熟的领域。但是在实际应用中，参考图像往往难以得到。不需要参考图像的无参考评价方法在实际工作中应用相当广泛。因此，提出对无参考图像的图像进行评价的方法更具实用意义。
图像的清晰程度主要受图像空间频率域中的高频信息和噪声所影响。如果图像清晰则边沿锐利，此时高频信息成分相对丰富，且相对集中在一定的频率区域；反之，如果图像不清晰，通常会产生图像边沿模糊，此时高频信息成分相对少。另外，图像噪声多时，噪声由于尺寸小，所以频率通常较高，但是它在图像空间频谱的分布更宽，更平缓。综上所述，通过图像空间频谱中高频信息的分布状态就可以对图像的清晰程度(即图像质量)进行评价。
发明内容
为克服上述现有技术与方法的不足，本发明提出了一种基于图像高频信息的无参考图像质量评价方法。本发明能够从信息光学和视光学原理出发构建评价函数综合分析图像质量，其结果与视觉感知具有更高的一致性和图片鲁邦性。
为解决上述技术问题，本发明的技术方案如下：
一种基于图像高频信息的无参考图像质量评价方法，包括以下步骤：
S1：定义I为待评价的失真图像；定义I(i,j)表示I的中心坐标(i,j)的像素值；其中1≤i≤M，1≤j≤N，所述的M为I的宽度，N为I的高度；
S2：对I进行低通滤波，得到二次退化图像Ideg；
S3：对I使用梯度算子进行滤波，得到关于I的梯度信息图Igrad，定义Igrad(i,j)表示Igrad的中心坐标(i,j)处的像素值；对Ideg使用梯度算子进行滤波，得到二次退化图像的梯度信息图Igrad,deg，定义Ideg,grad(i,j)表示Ideg,grad的中心坐标(i,j)处的像素值；
S4：定义G(i,j)为Igrad中所有像素值的平均值，得到代表图像全局结构信息质量的第一结果；
S5：对Igrad进行分块操作，分块操作采取滑动窗口的方式，窗口从左上角开始，按行、按列的优先级顺序进行滑动，对应的分块记做Bx,y，所述的x代表在行方向上为第x个分块，所述的y代表在列方向上为第y个分块，定义左上角的分块为B1,1，定义{B}为所有分块的集合；
S6：定义Sk为{B}中所有分块的像素值之和，其中1≤k≤P，P为分块的数量；定义集合C＝{(Bk,Sk)}，即每个分块与对应的像素值之和；
S7：对集合{(B,S)}按照S的大小进行倒序排列，得到集合D；
S8：选择集合D中的前L个元素，得到L个元素中对应每个元素中的分块B，寻找L个元素中对应每个元素在Ideg,grad中相同位置的分块Bdeg，得到L个分块对B,Bdeg；
S9：对分块对B,Bdeg求结构相似度，得到结构相似度的求均值，再取倒数，所述的倒数定义为第二结果；是预设值
S10：分别对第一结果和第二结果乘上系数α和β后相加，得到代表图像质量的结果Quality(I)，所述的α是预设值；所述的β是预设值；
S11：接合专家设定的判断规则，根据Quality(I)得到对图像质量的评价结果。
传统图像质量评价方法(如峰信噪比PSNR、结构相似度函数SSIM等)，侧重全局的指标分析，不够注重局部差异的缺陷，本发明能够从信息光学和视光学原理出发构建评价函数综合分析图像质量，从而能在无参考图像的情况下对失真图像进行评价，其结果与视觉感知具有更高的一致性，和图片鲁邦性。
在一种优选的方案中，所述的Quality(I)通过下式进行表达：
Figure BDA0002490506180000031
式中，所述的SSIM表示结构相似度函数，所述的
Figure BDA0002490506180000032
表示k区域的梯度信息图；所述的
Figure BDA0002490506180000033
表示k区域的二次退化图像的梯度信息图。
在一种优选的方案中，所述的S3中的梯度算子是Sobel算子。
在一种优选的方案中，所述的Sobel算子的大小是3*3，所述的G(i,j)通过下式进行表达：
Figure BDA0002490506180000034
在一种优选的方案中，所述的S2中的低通滤波是通过高斯低通滤波器实现的，所述的高斯低通滤波器的大小是3*3，标准差取0。
在一种优选的方案中，所述的S5中的滑动窗口包括以下内容：
条件1：若Igrad在某方向上的像素数量小于5，则分块尺寸E设置为与上述方向上像素数量相等；
条件2：若Igrad在某方向上的像素数量小于128，则上述方向上的分块尺寸E设置为5，滑动步长F设置为3；
若都不满足条件1和条件2，则分块尺寸为E＝M/128且向下取整，如果为偶数则加一；滑动步长F＝(E+1)/2。
在一种优选的方案中，所述的L＝分块数量/2。
与现有技术相比，本发明技术方案的有益效果是：
传统图像质量评价方法(如峰信噪比PSNR、结构相似度函数SSIM等)，侧重全局的指标分析，不够注重局部差异的缺陷，本发明能够从信息光学和视光学原理出发构建评价函数综合分析图像质量，从而能在无参考图像的情况下对失真图像进行评价，其结果与视觉感知具有更高的一致性，和图片鲁邦性。
附图说明
图1为实施例的流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例
如图1所示，一种基于图像高频信息的无参考图像质量评价方法，包括以下步骤：
S1：定义I为待评价的失真图像；定义I(i,j)表示I的中心坐标(i,j)的像素值；其中1≤i≤M，1≤j≤N，所述的M为I的宽度，N为I的高度；
S2：对I进行低通滤波，得到二次退化图像Ideg；
S3：对I使用梯度算子进行滤波，得到关于I的梯度信息图Igrad，定义Igrad(i,j)表示Igrad的中心坐标(i,j)处的像素值；对Ideg使用梯度算子进行滤波，得到二次退化图像的梯度信息图Igrad,deg，定义Ideg,grad(i,j)表示Ideg,grad的中心坐标(i,j)处的像素值；
S4：定义G(i,j)为Igrad中所有像素值的平均值，得到代表图像全局结构信息质量的第一结果；
S5：对Igrad进行分块操作，分块操作采取滑动窗口的方式，窗口从左上角开始，按行、按列的优先级顺序进行滑动，对应的分块记做Bx,y，所述的x代表在行方向上为第x个分块，所述的y代表在列方向上为第y个分块，定义左上角的分块为B1,1，定义{B}为所有分块的集合；
S6：定义Sk为{B}中所有分块的像素值之和，其中1≤k≤P，P为分块的数量；定义集合C＝{(Bk,Sk)}，即每个分块与对应的像素值之和；
S7：对集合{(B,S)}按照S的大小进行倒序排列，得到集合D；
S8：选择集合D中的前L个元素，得到L个元素中对应每个元素中的分块B，寻找L个元素中对应每个元素在Ideg,grad中相同位置的分块Bdeg，得到L个分块对B,Bdeg；
S9：对分块对B,Bdeg求结构相似度，得到结构相似度的求均值，再取倒数，所述的倒数定义为第二结果；是预设值
S10：分别对第一结果和第二结果乘上系数α和β后相加，得到代表图像质量的结果Quality(I)，所述的α是预设值；所述的β是预设值；
S11：接合专家设定的判断规则，根据Quality(I)得到对图像质量的评价结果。
传统图像质量评价方法(如峰信噪比PSNR、结构相似度函数SSIM等)，侧重全局的指标分析，不够注重局部差异的缺陷，本实施例能够从信息光学和视光学原理出发构建评价函数综合分析图像质量，从而能在无参考图像的情况下对失真图像进行评价，其结果与视觉感知具有更高的一致性，和图片鲁邦性。
在实施例中，还可以进行以下扩展：Quality(I)通过下式进行表达：
Figure BDA0002490506180000051
式中，所述的SSIM表示结构相似度函数，所述的
Figure BDA0002490506180000052
表示k区域的梯度信息图；所述的
Figure BDA0002490506180000053
表示k区域的二次退化图像的梯度信息图。
在实施例及上述改进实施例中，还可以进行以下扩展：S3中的梯度算子是Sobel算子。
在实施例及上述改进实施例中，还可以进行以下扩展：Sobel算子的大小是3*3，所述的G(i,j)通过下式进行表达：
Figure BDA0002490506180000054
在实施例及上述改进实施例中，还可以进行以下扩展：S2中的低通滤波是通过高斯低通滤波器实现的，所述的高斯低通滤波器的大小是3*3，标准差取0。
在实施例及上述改进实施例中，还可以进行以下扩展：S5中的滑动窗口包括以下内容：
条件1：若Igrad在某方向上的像素数量小于5，则分块尺寸E设置为与上述方向上像素数量相等；
条件2：若Igrad在某方向上的像素数量小于128，则上述方向上的分块尺寸E设置为5，滑动步长F设置为3；
若都不满足条件1和条件2，则分块尺寸为E＝M/128且向下取整，如果为偶数则加一；滑动步长F＝(E+1)/2。
在实施例及上述改进实施例中，还可以进行以下扩展：L＝分块数量/2。
在上述具体实施方式的具体内容中，各技术特征可以进行任意不矛盾的组合，为使描述简洁，未对上述各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；例如实施例中离子电导率的计算公式并不仅限于实施例中举例的公式，不同的种类的离子电导率的计算公式各不相同。上述的是实施例的限定并不能理解为对本专利的限制。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种基于图像高频信息的无参考图像质量评价方法，其特征在于，包括以下步骤：
S1：定义I为待评价的失真图像；定义I(i，j)表示I的中心坐标(i，j)的像素值；其中1≤i≤M，1≤j≤N，所述的M为I的宽度，N为I的高度；
S2：对I进行低通滤波，得到二次退化图像Ideg；
S3：对I使用梯度算子进行滤波，得到关于I的梯度信息图Igrad，定义Igrad(i，j)表示Igrad的中心坐标(i，j)处的像素值；对Ideg使用梯度算子进行滤波，得到二次退化图像的梯度信息图Igrad，deg，定义Ideg，grad(i，j)表示Ideg，grad的中心坐标(i，j)处的像素值；
S4：定义G(i，j)为Igrad中所有像素值的平均值，得到代表图像全局结构信息质量的第一结果；
S5：对Igrad进行分块操作，分块操作采取滑动窗口的方式，窗口从左上角开始，按行、按列的优先级顺序进行滑动，对应的分块记做Bx，y，所述的x代表在行方向上为第x个分块，所述的y代表在列方向上为第y个分块，定义左上角的分块为B1，1，定义{B}为所有分块的集合；
S6：定义Sk为{B}中所有分块的像素值之和，其中1≤k≤P，P为分块的数量；定义集合C＝{(Bk，Sk)}，即每个分块与对应的像素值之和；
S7：对集合{(B，S)}按照S的大小进行倒序排列，得到集合D；
S8：选择集合D中的前L个元素，得到L个元素中对应每个元素中的分块B，寻找L个元素中对应每个元素在Ideg，grad中相同位置的分块Bdeg，得到L个分块对B，Bdeg；
S9：对分块对B，Bdeg求结构相似度，得到结构相似度的求均值，再取倒数，所述的倒数定义为第二结果；是预设值
S10：分别对第一结果和第二结果乘上系数α和β后相加，得到代表图像质量的结果Quality(I)，所述的α是预设值；所述的β是预设值；
S11：结合专家设定的判断规则，根据Quality(I)得到对图像质量的评价结果。
2.根据权利要求1所述的无参考图像质量评价方法，其特征在于，所述的Quality(I)通过下式进行表达：
Figure FDA0003637445320000021
式中，所述的SSIM表示结构相似度函数，所述的
Figure FDA0003637445320000022
表示k区域的梯度信息图；所述的
Figure FDA0003637445320000023
表示k区域的二次退化图像的梯度信息图。
3.根据权利要求1或2所述的无参考图像质量评价方法，其特征在于，所述的S3中的梯度算子是Sobel算子。
4.根据权利要求3所述的无参考图像质量评价方法，其特征在于，所述的Sobel算子的大小是3*3，所述的G(i，j)通过下式进行表达：
Figure FDA0003637445320000024
5.根据权利要求1、2或4所述的无参考图像质量评价方法，其特征在于，所述的S2中的低通滤波是通过高斯低通滤波器实现的，所述的高斯低通滤波器的大小是3*3，标准差取0。
6.根据权利要求3所述的无参考图像质量评价方法，其特征在于，所述的S2中的低通滤波是通过高斯低通滤波器实现的，所述的高斯低通滤波器的大小是3*3，标准差取0。
7.根据权利要求1、2、4或6所述的无参考图像质量评价方法，其特征在于，所述的S5中的滑动窗口包括以下内容：
条件1：若Igrad在某方向上的像素数量小于5，则分块尺寸E设置为与上述方向上像素数量相等；
条件2：若Igrad在某方向上的像素数量小于128，则上述方向上的分块尺寸E设置为5，滑动步长F设置为3；
若都不满足条件1和条件2，则分块尺寸为E＝M/128且向下取整，如果为偶数则加一；滑动步长F＝(E+1)/2。
8.根据权利要求3所述的无参考图像质量评价方法，其特征在于，所述的L＝分块数量/2。
CN202010403827.2A 2020-05-13 2020-05-13 一种基于图像高频信息的无参考图像质量评价方法 Active CN111652854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010403827.2A CN111652854B (zh) 2020-05-13 2020-05-13 一种基于图像高频信息的无参考图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010403827.2A CN111652854B (zh) 2020-05-13 2020-05-13 一种基于图像高频信息的无参考图像质量评价方法

Publications (2)

Publication Number Publication Date
CN111652854A CN111652854A (zh) 2020-09-11
CN111652854B true CN111652854B (zh) 2022-08-26

Family

ID=72342807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010403827.2A Active CN111652854B (zh) 2020-05-13 2020-05-13 一种基于图像高频信息的无参考图像质量评价方法

Country Status (1)

Country Link
CN (1) CN111652854B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658085B (zh) * 2021-10-20 2022-02-01 北京优幕科技有限责任公司 图像处理方法及装置
CN114742779A (zh) * 2022-04-01 2022-07-12 中国科学院光电技术研究所 基于深度学习的高分辨力自适应光学图像质量评价方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2396768B1 (en) * 2009-02-12 2013-04-17 Dolby Laboratories Licensing Corporation Quality evaluation of sequences of images
CN101996406A (zh) * 2010-11-03 2011-03-30 中国科学院光电技术研究所 无参考结构清晰度图像质量评价方法
US8494283B2 (en) * 2010-12-21 2013-07-23 Microsoft Corporation Image quality assessment
CN104350746A (zh) * 2012-05-31 2015-02-11 汤姆逊许可公司 基于局部幅度和相位谱的图像质量测量
US9706111B2 (en) * 2015-07-08 2017-07-11 Santa Clara No-reference image and video quality evaluation
CN107689039B (zh) * 2016-08-05 2021-01-26 同方威视技术股份有限公司 估计图像模糊度的方法和装置
WO2018058090A1 (en) * 2016-09-26 2018-03-29 University Of Florida Research Foundation Incorporated Method for no-reference image quality assessment
CN109685757B (zh) * 2017-10-18 2021-04-02 航天信息股份有限公司 一种基于灰度差分统计的无参考图像质量评价方法及系统
CN108681684B (zh) * 2018-04-16 2021-02-02 佛山市顺德区中山大学研究院 一种二维条码图像无参考质量评价方法及其装置、系统
US10789696B2 (en) * 2018-05-24 2020-09-29 Tfi Digital Media Limited Patch selection for neural network based no-reference image quality assessment
CN110570420B (zh) * 2019-09-16 2023-04-07 中山大学 一种无参考对比度失真图像质量评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
利用激光干涉测量流体的二维温度场分布;黄和 等;《物理实验》;20190531;第39卷(第5期);37-41,46 *

Also Published As

Publication number Publication date
CN111652854A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
Li et al. No-reference quality assessment of deblocked images
Song et al. Color to gray: Visual cue preservation
Vu et al. ${\bf S} _ {3} $: a spectral and spatial measure of local perceived sharpness in natural images
CN108109147B (zh) 一种模糊图像的无参考质量评价方法
Ndajah et al. An investigation on the quality of denoised images
CN111652854B (zh) 一种基于图像高频信息的无参考图像质量评价方法
Attar et al. Image quality assessment using edge based features
DE102011113546A1 (de) Korrektur fehlerhafter pixel in digitalen farbbildern
CN103810702B (zh) 一种基于分块噪声方差估计的图像累积信噪比计算方法
Mousavi et al. A new edge and pixel-based image quality assessment metric for colour and depth images
Vora et al. Analysis of compressed image quality assessments, m
CN108682005A (zh) 基于协方差矩阵特征的半参考3d合成图像质量评价方法
Gao et al. A content-based image quality metric
Hu et al. Jpeg ringing artifact visibility evaluation
CN111445435A (zh) 一种基于多区块小波变换的无参考图像质量评价方法
Barai et al. Human visual system inspired saliency guided edge preserving tone-mapping for high dynamic range imaging
Pedersen et al. A total variation based color image quality metric with perceptual contrast filtering
Liu et al. Quality assessment for out-of-focus blurred images
Fang et al. A spatial-temporal weighted method for asymmetrically distorted stereo video quality assessment
Sun et al. No-reference image quality assessment based on gradient histogram response
CN112581461A (zh) 基于生成网络的无参考图像质量评价方法及装置
Ajagamelle et al. Analysis of the difference of gaussians model in image difference metrics
Li et al. No-Reference Underwater Image Quality Assessment Based on Quality-Aware Features
Bondzulic et al. Gradient-based image quality assessment
Attar et al. Ebiqa: An edge based image quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant