CN106296669A - 一种图像质量评价方法和装置 - Google Patents

一种图像质量评价方法和装置 Download PDF

Info

Publication number
CN106296669A
CN106296669A CN201610622635.4A CN201610622635A CN106296669A CN 106296669 A CN106296669 A CN 106296669A CN 201610622635 A CN201610622635 A CN 201610622635A CN 106296669 A CN106296669 A CN 106296669A
Authority
CN
China
Prior art keywords
image
evaluation
quality
result
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610622635.4A
Other languages
English (en)
Other versions
CN106296669B (zh
Inventor
杜康华
王崇
任文越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weimeng Chuangke Network Technology China Co Ltd
Original Assignee
Weimeng Chuangke Network Technology China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weimeng Chuangke Network Technology China Co Ltd filed Critical Weimeng Chuangke Network Technology China Co Ltd
Priority to CN201610622635.4A priority Critical patent/CN106296669B/zh
Publication of CN106296669A publication Critical patent/CN106296669A/zh
Application granted granted Critical
Publication of CN106296669B publication Critical patent/CN106296669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像质量评价方法,用于提高图像的质量评价效率。该方法包括:确定待评价图像;确定所述待评价图像的指定评价指标的值,所述指定评价指标,是与图像质量相关联的图像属性;根据所述指定评价指标的值以及所述指定评价指标的权重,确定所述待评价图像的质量预测结果,其中,所述指定评价指标的权重,预先根据样本图像的质量评价结果、以及所述样本图像的指定评价指标的值计算得到。本申请还公开了一种图像质量评价装置。

Description

一种图像质量评价方法和装置
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像质量评价方法和装置。
背景技术
随着图像技术的发展,用户获得图像视觉信息的途径不断增多,用户对于图像质量的要求也不断提高。为了满足用户对日益增长的图像质量的需求,有必要对图像质量进行评价,以便根据评价结果,对输出较差质量图像的设备(如图像采集设备或图像压缩设备等)进行改进,从而从根本上提升所述设备输出的图像的质量。可见,对于图像质量进行评价具有广泛的现实意义。
现有的图像质量评价方法,包括用户直接观察图像,并根据图像的质量给出评价。例如,用户通过观察图像的清晰度给出诸如“非常好”、“好”、“一般”、“差”、“非常差”等评价结果;又例如,用户根据图像的质量尺度对图像进行打分,其中,图像的质量尺度可以诸如“非常严重的妨碍观看”、“对观看有妨碍”、“能看出图像质量变坏但不妨碍观看”等。
这种图像主观质量评价方法虽然能实现对图像质量进行评价,但通常评价效率较低,不能用于实时性的图像评价处理。例如,当需要对实时接收的视频中的每一帧图像进行质量评价时,采用上述的人工的用户主观的评价方法显然很难满足需求。
发明内容
本申请实施例提供一种图像质量评价方法和装置,用于提高图像的质量评价效率。
为实现上述目的,本申请实施例提供一种图像质量评价方法,包括:确定待评价图像;确定所述待评价图像的指定评价指标的值,所述指定评价指标,是与图像质量相关联的图像属性;根据所述指定评价指标的值以及所述指定评价指标的权重,确定所述待评价图像的质量预测结果,其中,所述指定评价指标的权重,预先根据样本图像的质量评价结果、以及所述样本图像的指定评价指标的值计算得到。
优选地,所述样本图像的质量评价结果,根据用户对样本图像做出的评价结果求得。
优选地,所述指定评价指标的权重,采用下述方式计算得到:确定所述样本图像的所述指定评价指标的值;在预定约束条件的约束下,根据评价函数、所述样本图像的质量评价结果,以及所述样本图像的所述指定评价指标的值,计算所述指定评价指标的权重;所述预定约束条件,包括:使得所述样本图像的质量预测结果趋近于或等于所述样本图像的质量评价结果;所述评价函数,是以图像的所述指定评价指标为自变量、以图像的质量预测结果为因变量的函数。
优选地,所述指定评价指标,包括下述至少一种:边缘强度、清晰度或信息熵。
优选地,当所述指定评价指标包括边缘强度、清晰度和信息熵时,所述评价函数为:
Ppre(i)=αE(i)+βQ(i)+λH(i)
其中,Ppre(i)为图像的质量预测结果,E(i)为图像的边缘强度,Q(i)为图像的清晰度,H(i)为图像的信息熵,α为图像的边缘强度的权重,β为图像的清晰度的权重,λ为图像的信息熵的权重。
优选地,在预定约束条件的约束下,根据评价函数、所述样本图像的质量评价结果,以及所述样本图像的所述指定评价指标的值,计算所述指定评价指标的权重,包括:在预定约束条件的约束下,根据评价函数、所述样本图像的质量评价结果,以及所述样本图像的所述指定评价指标的值,按照遗传算法,计算所述指定评价指标的权重。
优选地,在预定约束条件的约束下,根据评价函数、所述样本图像的质量评价结果,以及所述样本图像的所述指定评价指标的值,按照遗传算法,计算所述指定评价指标的权重,具体包括:确定预定数量的参数组,所述参数组包括有参数值,所述参数值与所述指定评价指标相对应;根据所述评价函数、以及所述样本图像的质量评价结果,确定所述遗传算法的适应度函数,所述适应度函数反映利用所述参数组的参数值、以及所述样本图像的所述指定评价指标的值代入到所述评价函数中,计算到的样本图像的质量预测结果与样本图像的质量评价结果的趋近程度;将所述参数组中的参数值、所述样本图像的所述指定评价指标的值,以及所述样本图像的质量评价结果代入到所述适应度函数中,计算所述适应度函数的值,并根据计算出的所述适应度函数的值,调整所述预定数量的参数组内的参数值,得到满足预设条件的参数组,将满足预设条件的参数组内的参数值确定为所述指定评价指标的权重。
优选地,所述方法还包括:利用确定出的待评价图像的质量预测结果,修正所述指定评价指标的权重。
为实现上述目的,本申请实施例还提供一种图像质量评价装置,包括:图像确定单元、评价指标确定单元、预测结果确定单元和权重确定单元,其中,所述图像确定单元,用于确定待评价图像;所述评价指标确定单元,用于确定所述待评价图像的指定评价指标的值,所述指定评价指标,是与图像质量相关联的图像属性;所述预测结果确定单元,用于根据所述指定评价指标的值以及所述指定评价指标的权重,确定所述待评价图像的质量预测结果;所述权重确定单元,用于预先根据样本图像的质量评价结果,以及所述样本图像的指定评价指标的值计算所述指定评价指标的权重。
优选地,所述权重确定单元具体包括指定评价指标值确定模块和计算模块,其中,所述指定评价指标值确定模块,用于确定所述样本图像的所述指定评价指标的值;所述计算模块,用于在预定约束条件的约束下,根据评价函数、所述样本图像的质量评价结果,以及所述样本图像的所述指定评价指标的值,计算所述指定评价指标的权重;所述预定约束条件,包括:使得所述样本图像的质量预测结果趋近于或等于所述样本图像的质量评价结果;所述评价函数,是以图像的所述指定评价指标为自变量、以图像的质量预测结果为因变量的函数。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:该方法可以通过计算设备快速地计算出待评价图像的质量预测结果,相对于人工的图像质量的评价方法,提高了图像质量的评价效率。另外,该方法还能够避免人工对图像质量的评价的主观性,得到的图像的质量预测结果能够更加真实地反映图像质量。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的图像质量评价方法的实现流程示意图;
图2为本申请实施例提供的指定评价指标权重的确定方法的实现流程示意图;
图3为本申请实施例中的编码组示意图;
图4为本申请实施例提供的图像质量评价装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如前所述,为了满足用户对日益增长的图像质量的需求,通常需要对图像质量进行评价,而现有技术中依靠人工对图像的质量评价效率较低。为解决这一技术问题,本申请实施例提供一种图像质量评价方法,用于提高图像的质量评价效率。本方法的执行主体,可以是某种实体设备,也可以是某种虚拟设备。在一种实施方式中,本方法的执行主体可以是客户端,也可以是服务器。此外,本方法各步骤的执行主体可以是同一设备,也可以是不同设备。
具体地,该方法的具体实现流程如图1所示,包括以下几个步骤:
步骤S11:确定待评价图像;
该步骤中的待评价图像,可以是由其他终端实时发送过来的图像,例如接收监控系统实时拍摄的每一帧图像,将接收到的每一帧图像确定为待评价图像;
当然,该步骤中待评价图像,也可以为预先储存在本地的图像。可以按照一定的图像选取规则,从本地保存的大量图像内选取图像,将选取出的图像确定为待评价图像。
步骤S12:确定所述待评价图像的指定评价指标的值;
所述指定评价指标,是与图像质量相关联的图像属性。
与图像质量相关联的图像属性通常较多,例如图像的模糊程度、图像的失真程度、图像的边缘强度、图像的统一亮度分布、图像的清晰度、图像的信息熵等等。
步骤S12中,可以首先从上述众多的图像属性中选取出预先设定好的指定评价指标。例如从图像的众多图像属性中选取出下述三个指定评价指标中的至少一个。这三个指定评价指标,分别为图像的边缘强度、图像的清晰度和图像的信息熵:
图像的边缘强度能够反映图像的清晰程度,边缘强度的数值越大,则图像越清晰,因此图像的质量也就越高;
图像的清晰度的数值越大,则图像的细节越明显,图像的质量越高;
图像的信息熵的数值越大,则图像的信息越丰富,图像的质量越高。
确定出待评价图像的指定评价指标之后,即可根据待评价图像的图像数据,结合上述指定评价指标的计算公式计算每个指定评价指标的具体值,即计算指定评价指标的值。
本申请实施例中,如何根据待评价图像的图像数据,结合所述计算公式计算指定评价指标的值,具体可以参见后文的实例。
步骤S13:根据所述指定评价指标的值以及所述指定评价指标的权重,确定所述待评价图像的质量预测结果。
其中,所述指定评价指标的权重,预先根据样本图像的质量评价结果、以及所述样本图像的指定评价指标的值计算得到。
本申请实施例中,在确定出待评价图像的质量预测结果后,可以对质量预测结果进行输出或者保存。比如,可以将质量预测结果,发送给期望获取该质量预测结果的设备;或者,可以将质量预测结果,显示在显示屏上从而实现对质量预测结果的展示。
根据步骤S12中计算得到的待评价图像的指定评价指标的值,结合每个指定评价指标的权重,即可计算出待评价图像的质量预测结果。其中,图像的质量预测结果可以直接以数值的方式体现。当图像的质量与图像的质量预测结果的值正相关时,图像的质量预测结果的值越大,则图像的质量越高;当图像的质量与图像的质量预测结果的值负相关时,图像的质量预测结果的值越小,则图像的质量越高。
针对所述指定评价指标的权重的计算时机而言,本申请实施例中,可以在执行步骤S12前,就预先根据样本图像的质量评价结果,以及所述样本图像的指定评价指标的值,计算得到所述指定评价指标的权重,并对所述权重进行保存,以便在执行步骤S13时,可以获取保存的所述权重,并根据所述待评价图像的指定评价指标的值以及获取到的所述权重,确定所述待评价图像的质量预测结果。
具体而言,根据样本图像的质量评价结果,以及所述样本图像的指定评价指标的值计算所述指定评价指标的权重,可以包括下述步骤:
确定所述样本图像的所述指定评价指标的值;
在预定约束条件的约束下,根据评价函数、所述样本图像的质量评价结果,以及所述样本图像的所述指定评价指标的值,计算所述指定评价指标的权重;
其中,所述预定约束条件,包括:使得所述样本图像的质量预测结果趋近于或者是等于所述样本图像的质量评价结果;
所述评价函数,是以图像的所述指定评价指标为自变量、以图像的质量预测结果为因变量的函数。
以上提到图像的质量预测结果和图像的质量评价结果,其中,质量评价结果通常是根据用户对样本图像做出的评价结果(一般是指进行量化的评价)而得到;质量预测结果通常是利用评价函数,对待评价图像、又或者是样本图像进行计算而得到。
需要说明的是,上述样本图像的质量评价结果,可以根据用户对样本图像做出的评价结果求得,比如,可以是用户对样本图像做出的、量化的主观评价结果。
通过该实施例提供的方法,首先确定出图像的指定评价指标,以及每个指定评价指标的权重,这样确定出待评价图像后,只需计算出待评价图像的指定评价指标的值,结合指定评价指标的权重即可计算出待评价图像的质量预测结果,该方法可以通过计算设备快速地计算出待评价图像的质量预测结果,相对于人工的图像质量的评价方法,提高了图像质量的评价效率。另外,该方法还能够避免人工对图像质量的评价的主观性,得到的图像的质量预测结果能够更加真实地反映图像质量。
现有技术中虽然有一些通过模型训练对图像质量进行评价的方法,这些图像评价方法首先建立统计学模型,通过学习训练的方法来预测待评价图像质量分数,这种模型训练的方法由于模型学习、训练过程中的计算量较大,得到的模型的数据量也较大,很难应用于要求实时性的场合。
而本申请实施例提供的图像质量评价方法,由于直接确定出与图像的质量相关联的指定评价指标,简化了模型学习训练过程中的特征提取的过程(相当于确定指定评价指标的过程),并且计算量较小,通常可以将本申请实施例提供的图像质量评价方法,应用在一些视频传输系统、视频监控系统内,进而实现实时评价图像质量的目的。而上述通过模型学习训练的方法得到的模型一般数据量较大,如果将其集成在视频传输系统、视频监控系统中实时评价图像,则会造成系统臃肿,消耗较多的资源。因此,本申请实施例提供的图像质量的评价方法相对于通过模型学习训练后评价图像质量的方法,不仅简化了模型学习训练过程中的特征提取的过程,而且计算数据量小,适应性更广。
上述实施例介绍了图像质量的评价方法,其中提到图像的指定评价指标,以及指定评价指标的权重,以下将结合一实施实例介绍图像的指定评价指标的权重确定方法,如图2所示,该方法包括以下几个步骤:
步骤S21:采集样本图像,同时获取所述样本图像的质量评价结果;
对于该步骤中采集的样本图像的数量,通常是样本图像的数量越多,在后续的计算权重时得到的权重的值越精确,但考虑到采集成本,可以将采集的样本图像的数量限定在一定范围内,如500到1000等,本申请实施例对采集的样本图像的数量不做限定。
该步骤中样本图像的质量评价结果,可以是根据用户对样本图像做出的评价结果求得。例如在确定一样本图像的质量评价结果时,首先随机选取大量的用户分别对该样本图像的质量进行打分,然后取所有用户所打的分数的平均值,作为该样本图像的质量评价结果。
另外,对于上述样本图像的质量评价结果,可以依次记为Pactual(i),i∈(1,2,…,k)。其中,k为采集的样本图像的总数,用i指代样本图像的编号,用以区分不同的样本图像。本申请实施例中,假设Pactual(i)的值与样本图像的质量的关系为:Pactual(i)越大,代表样本图像的质量越高。
步骤S22:确定样本图像的指定评价指标的值,并构建以图像的指定评价指标为自变量、以图像的预测结果为因变量的评价函数;
由于图像的边缘越明显,则图像的细节保持的越完整;图像越清晰,则图像的观感越好;图像包含的信息越丰富,则图像的质量越好。
根据上述结论,无论是样本图像还是待评价图像,本申请实施例中,均可以确定图像的边缘强度,图像的清晰度以及图像的信息熵作为图像的指定评价指标,具体而言,可以确定样本图像的边缘强度、清晰度和信息熵作为样本图像的指定评价指标;确定待评价图像的边缘强度、清晰度和信息熵作为待评价图像的指定评价指标。
确定出图像的指定评价指标之后,即可根据上述指定评价指标的计算公式确定出样本图像的指定评价指标的值,具体计算公式如下:
图像的边缘强度:
E ( i ) = 1 M × N Σ x = 0 M Σ y = 0 N ( ∫ ∫ Ω I i ( x , y ) W ( x , y ) ) 2 + ( ∫ ∫ Ω I i ( x , y ) W ′ ( x , y ) ) 2 - - - ( 1 )
图像的清晰度:
Q ( i ) = 1 M × N Σ x = 0 M Σ y = 0 N ( | I i ( x , y ) - I i ( x , y - 1 ) | + | I i ( x , y ) - I i ( x - 1 , y ) | ) - - - ( 2 )
在公式(1)和公式(2)中,i∈(1,2,…,k),i为样本图像的编号,E(i)代表图像的边缘强度;Q(i)代表图像的清晰度;M,N分别为图像宽度和高度的值,其中宽度和高度可以以像素为单位;I(x,y)为第x列,第y行的像素点的像素值,W(x,y)为sobel算子矩阵;W'(x,y)为sobel算子的转置矩阵;Ω为3×3矩阵。需要说明的是,上述公式中的像素值I(x,y)一般为灰度值,彩色图像一般包含R、G、B三个通道的值,可以预先将R、G、B三个通道的值转换成灰度值。
图像的信息熵:
H ( i ) = - Σ z = 0 255 p ( z ) l o g ( p ( z ) ) - - - ( 3 )
在公式(3)中,H(i)代表图像的信息熵;p(z)为图像中像素值为z的像素点出现的概率,其中,z的取值范围为0-255。另外,由于公式(3)中p(z)的值一般是小于1,log(p(z))为负数,因此在计算H(i)时在整个公式前面加一负号,其中,公式(3)中的对数可以取2为底数。
根据上述公式(1)、公式(2)和公式(3)即可计算出k幅样本图像中,每一幅样本图像的边缘强度的值,清晰度的值和信息熵的值,然后即可根据构建的,以图像的上述指定评价指标为自变量、以图像的质量预测结果为因变量的评价函数,将样本图像的指定评价指标的值的值带入评价函数中,结合样本图像的质量评价结果Pactual(i),以此来计算出指定评价指标的权重,其中:
评价函数的计算公式如下:
Ppre(i)=αE(i)+βQ(i)+λH(i) (4)
在公式(4)中,α,β,λ分别为图像的边缘强度的权重,清晰度的权重和信息熵的权重。α,β,λ的取值范围通常为(0,10),即0<(α,β,λ)<10。
Ppre(i)为根据上述评价函数计算出的图像评价结果的值。
在计算α,β,λ的值时,可以使Ppre(i)无限趋近于或者是等于Pactual(i),进而根据样本图像的质量评价结果Pactual(i)、样本图像的边缘强度的值E(i)、样本图像的清晰度的值Q(i)和样本图像的信息熵的值H(i),进而反向计算α,β,λ的值。
由公式(4)可知,公式中有三个未知数α,β,λ,由此根据三个样本图像的质量评价结果、边缘强度的值、清晰度的值和信息熵的值即可计算出具体的α,β,λ的值。但由于步骤S21中样本图像的质量评价结果通常是根据统计的随机用户对样本图像的评价结果求得,用户的主观评价值有很多不确定因素影响,会引入一部分的非线性因子,因此为了精确计算α,β,λ的值,可以利用遗传算法计算α,β,λ的值,进而使利用评价函数得出的图像的质量预测结果与评价结果之间的误差尽可能的缩小。
具体计算α,β,λ的值如步骤S23所示。
步骤S23:根据样本图像的质量评价结果,利用遗传算法确定评价函数中的自变量的权重。
利用遗传算法确定评价函数中的自变量的权重,即确定公式(4)中α,β,λ的值,具体确定步骤如下:
1)首先选取预定数量的参数组,参数组内的参数值是随机选取的,分别与α,β,λ对应,而α,β,λ分别与上述指定评价指标对应,因此称参数组内的参数值与所述指定评价指标相对应,进而用参数组内的参数值来代替α,β,λ的值。
在本实施例中,可以利用随机选取的二进制编码组成编码组的形式来表达参数组内的参数值。例如利用三个分别与α,β,λ对应的10位二进制数组成编码,进而组成一条带有30位二进制数的染色体。由于10位二进制数能够代表十进制数中从0到1024之间的任意一个整数,步骤S22中α,β,λ为不大于10的实数,因此将上述编码组内的编码代表的十进制数除以100,得到的商保留两位有效数字,则得到的参数组内各个参数值,实际上的到的参数组内的参数值的取值范围是0.00到10.24,与实际的α,β,λ的取值范围0到10相差不大,此误差可以忽略不计。
例如染色体为(0100101100 0110010000 0111110100)的编码组内的编码代表十进制数中的300,400和500,将编码组内的编码代表的十进制数除以100,得到的商保留两位有效数字,则代表的参数组内的参数值则为(3.00,4.00,5.00)其中,3.00与α对应;4.00与β对应;5.00与λ对应,具体的编码组示意图如图3所示。
上述提到参数组,编码组和染色体,其中:将编码组内的三个十位的二进制数分别代表的十进制数除以100,得到的商保留两位有效数字即得到参数组内的参数值;一个由30位二进制数组成的编码组称为一条染色体。
2)选取预定数量的参数组之后,确定遗传算法的适应度函数,所述适应度函数可以根据所述评价函数、以及所述样本图像的质量评价结果确定,本实施例中确定的适应度函数如下:
F i t ( j ) = Σ i = 1 k ( P p r e j ( i ) - P a c t u a l ( i ) ) 2 - - - ( 5 )
其中,为利用选取出的参数组内的参数值作为α,β,λ的值计算出的样本图像的质量预测结果,j∈(1,2,…,L),其中,预定数量的参数组的数量用L表示,Pactual(i)为步骤S21中获取到的样本图像的质量评价结果。
3)对于选取的预定数量的参数组,分别将参数组内的与α,β,λ对应的参数值、以及样本图像的边缘强度的值E(i)、清晰度的值Q(i)和信息熵的值H(i)代入到公式(4)中,进而得到步骤S21中获取到的样本图像的质量预测结果再根据样本图像的质量评价结果Pactual(i),结合公式(5)得到:利用每一个参数组内的参数值计算到的适应度函数的值Fit(j),j∈(1,2,…,L)。
由公式(5)可知,适应度函数的值越小,表明利用该参数组内的参数计算出的样本图像的质量预测结果与样本图像的质量评价结果越接近。得到的适应度函数的值越小的参数组,则是期望得到的参数组。
然后将计算出的L个适应度函数的值分别代入到以下公式中:
p ( j ) = 1 / F i t ( j ) Σ j = 1 L 1 / F i t ( j ) - - - ( 6 )
通过公式(6)进而得到L个分别与每个参数组对应的概率值。结合公式(5)和公式(6)可知,对于一个参数组,其适应度函数的值越小,则公式(6)得到的概率值越大。根据公式(6)计算出的L个概率值的分布规律,结合采用轮盘赌和精英选择法计算L组参数组内每组参数组的选择概率,根据计算出的选则概率,从L组参数组内选取出一定数量的参数组作为精英,直接选入子代种群。
例如选取的参数组的数量L=200,选出的作为精英的参数组的数量为5个,进而将这5个参数组对应的编码组内的编码保持不变,改变剩余的195个参数组对应的编码组内的编码,具体的改变编码的方式可以通过交叉操作或者是变异的方式。
对编码组进行交叉操作时,可以结合多点交叉和均匀交叉,多点交叉时,可以从两个编码组内随机选取一段二进制编码进而交换位置;均匀交叉则固定交换编码组内的某一段的二进制编码;同时,对于编码组的二进制编码可以利用倒位操作来产生随机性的新的编码组。在具体操作时,可以通过设置遗传算法的交叉率和变异率:通过设置交叉率进而控制参加交叉操作的染色体的数量;通过设置变异率进而控制发生变异的染色体条数。在该实施例中,可以设置交叉率的值为0.85,变异率的值为0.01。
最后选出的作为精英的参数组,以及改变过编码的参数组则构成子代种群,子代种群也包括L组参数组,返回步骤2)和步骤3)继续进行遗传迭代,当满足设定的收敛判断条件时,遗传算法终止。最后从算法终止时的那一子代种群中选取出一组最优的编码组,将该编码组的编码代表的十进制数除以100,得到的商保留两位有效数字,得到的参数值作为α,β,λ的权重值。
在该实施例中,上述设定的收敛判断条件可以设定为:达到最大允许迭代次数;或者收敛容许误差小于给定阈值。例如设定的迭代次数是500次,则遗传算法迭代够500次时不再继续迭代,进而从迭代第500次得到的编码组内选取出一组最优的编码组。又例如,迭代过程中得到的某一个参数组,将其包含的参数值代入到公式(5)内得到的适应度函数的值小于预设阀值,表明该参数组内的参数值计算出的样本图像的质量预测结果与样本图像的质量评价结果已经十分接近,则可以终止遗传算法,将该参数组内的参数值作为α,β,λ的权重值。
通过该实施例提供的方法即可确定出样本图像的指定评价指标的权重,权重即公式(4)内的α,β,λ的值,根据公式(4)所示的评价函数,对待评价图像的质量进行评价时,首先计算出待评价图像的边缘强度的值、清晰度的值和信息熵的值,代入到评价函数中即可得到待评价图像的质量预测结果。
计算出待评价图像的质量预测结果之后,还可以上述“待评价图像”(实际上已经得到预测结果的值,为保持名称的前后统一,此处还称“待评价图像”)作为步骤S21采集的样本图像,“待评价图像”的质量预测结果作为样本图像的质量评价结果。相当于增加采集的样本图像的数量,进而还可以利用该实施例步骤S21、步骤S22和步骤S23提供的指定评价指标权重的确定方法,重新确定指定评价指标的权重,相当于对指定评价指标的权重不断进行修正,最终提高图像质量评价的准确性。。
本申请实施例提供的方法,通过利用图像的边缘强度,图像的清晰度以及图像的信息熵来量化人眼对于图像的主观感受,得到的待评价图像的质量预测结果贴近真实图像质量评估值。同时,本申请实施例提供的评价函数结合遗传算法,对评价函数中自变量的权重的值进行不断的修正,提高了图像质量评价的准确性。
与上述方法实施例对应,本申请还提供一种图像质量评价装置实施例,如图4所示,该装置包括:图像确定单元31、评价指标确定单元32、预测结果确定单元33和权重确定单元34,其中,
所述图像确定单元31,可以用于确定待评价图像;
所述评价指标确定单元32,可以用于确定所述待评价图像的指定评价指标的值,所述指定评价指标,是与图像质量相关联的图像属性;
所述预测结果确定单元33,可以用于根据所述指定评价指标的值以及所述指定评价指标的权重,确定所述待评价图像的质量预测结果
所述权重确定单元34,可以预先根据样本图像的质量评价结果、以及所述样本图像的指定评价指标的值计算所述指定评价指标的权重。
另外,上述权重确定单元34可以具体包括指定评价指标值确定模块341和计算模块342,其中,所述指定评价指标值确定模块341,可以用于确定所述样本图像的所述指定评价指标的值;所述计算模块342,可以用于在预定约束条件的约束下,根据评价函数、所述样本图像的质量评价结果,以及所述样本图像的所述指定评价指标的值,计算所述指定评价指标的权重;所述预定约束条件,包括:使得所述样本图像的质量预测结果趋近于或等于所述样本图像的质量评价结果;所述评价函数,是以图像的所述指定评价指标为自变量、以图像的质量预测结果为因变量的函数。
评价指标确定单元32和预测结果确定单元33中的指定评价指标,包括下述至少一种:边缘强度、清晰度或信息熵。当指定评价指标包括边缘强度、清晰度和信息熵时,所述评价函数为:
Ppre(i)=αE(i)+βQ(i)+λH(i)
其中,Ppre(i)为图像的质量预测结果,E(i)为图像的边缘强度,Q(i)为图像的清晰度,H(i)为图像的信息熵,α为图像的边缘强度的权重,β为图像的清晰度的权重,λ为图像的信息熵的权重。
在预定约束条件的约束下,根据评价函数、所述样本图像的质量评价结果,以及所述样本图像的所述指定评价指标的值,计算所述指定评价指标的权重时,具体可以采用遗传算法计算权重,可以包括以下步骤:确定预定数量的参数组,所述参数组包括有参数值,所述参数值与所述指定评价指标相对应;根据所述评价函数、以及所述样本图像的质量评价结果,确定所述遗传算法的适应度函数,所述适应度函数反映利用所述参数组的参数值、以及所述样本图像的所述指定评价指标的值代入到所述评价函数中计算到的样本图像的质量预测结果与样本图像的质量评价结果的趋近程度;
将所述参数组中的参数值、所述样本图像的所述指定评价指标的值,以及所述样本图像的质量评价结果代入到所述适应度函数中,计算所述适应度函数的值,并根据计算出的所述适应度函数的值,调整所述预定数量的参数组内的参数值,得到满足预设条件的参数组,将满足预设条件的参数组内的参数值确定为所述指定评价指标的权重。
最终预测结果确定单元33中确定出的待评价图像的质量预测结果,还可以利用上述遗传算法不断修正所述指定评价指标的权重。
本申请实施例提供的图像质量评价装置,可以通过计算设备快速地计算出待评价图像的质量预测结果,相对于人工的图像质量的评价方法,提高了图像质量的评价效率。另外,该装置还能够避免人工对图像质量的评价的主观性,得到的图像的质量预测结果能够更加真实地反映图像质量。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种图像质量评价方法,其特征在于,包括:
确定待评价图像;
确定所述待评价图像的指定评价指标的值,所述指定评价指标,是与图像质量相关联的图像属性;
根据所述指定评价指标的值以及所述指定评价指标的权重,确定所述待评价图像的质量预测结果,其中,所述指定评价指标的权重,预先根据样本图像的质量评价结果、以及所述样本图像的指定评价指标的值计算得到。
2.根据权利要求1所述的方法,其特征在于,所述样本图像的质量评价结果,根据用户对样本图像做出的评价结果求得。
3.根据权利要求1所述的方法,其特征在于,所述指定评价指标的权重,采用下述方式计算得到:
确定所述样本图像的所述指定评价指标的值;
在预定约束条件的约束下,根据评价函数、所述样本图像的质量评价结果,以及所述样本图像的所述指定评价指标的值,计算所述指定评价指标的权重;
所述预定约束条件,包括:使得所述样本图像的质量预测结果趋近于或等于所述样本图像的质量评价结果;
所述评价函数,是以图像的所述指定评价指标为自变量、以图像的质量预测结果为因变量的函数。
4.根据权利要求3所述的方法,其特征在于,所述指定评价指标,包括下述至少一种:边缘强度、清晰度或信息熵。
5.根据权利要求4所述的方法,其特征在于,当所述指定评价指标包括边缘强度、清晰度和信息熵时,所述评价函数为:
Ppre(i)=αE(i)+βQ(i)+λH(i)
其中,Ppre(i)为图像的质量预测结果,E(i)为图像的边缘强度,Q(i)为图像的清晰度,H(i)为图像的信息熵,α为图像的边缘强度的权重,β为图像的清晰度的权重,λ为图像的信息熵的权重。
6.根据权利要求3所述的方法,其特征在于,在预定约束条件的约束下,根据评价函数、所述样本图像的质量评价结果,以及所述样本图像的所述指定评价指标的值,计算所述指定评价指标的权重,包括:
在预定约束条件的约束下,根据评价函数、所述样本图像的质量评价结果,以及所述样本图像的所述指定评价指标的值,按照遗传算法,计算所述指定评价指标的权重。
7.根据权利要求6所述的方法,其特征在于,在预定约束条件的约束下,根据评价函数、所述样本图像的质量评价结果,以及所述样本图像的所述指定评价指标的值,按照遗传算法,计算所述指定评价指标的权重,具体包括:
确定预定数量的参数组,所述参数组包括有参数值,所述参数值与所述指定评价指标相对应;
根据所述评价函数、以及所述样本图像的质量评价结果,确定所述遗传算法的适应度函数,所述适应度函数反映利用所述参数组的参数值、以及所述样本图像的所述指定评价指标的值代入到所述评价函数中,计算到的样本图像的质量预测结果与样本图像的质量评价结果的趋近程度;
将所述参数组中的参数值、所述样本图像的所述指定评价指标的值,以及所述样本图像的质量评价结果代入到所述适应度函数中,计算所述适应度函数的值,并根据计算出的所述适应度函数的值,调整所述预定数量的参数组内的参数值,得到满足预设条件的参数组,将满足预设条件的参数组内的参数值确定为所述指定评价指标的权重。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述方法还包括:
利用确定出的待评价图像的质量预测结果,修正所述指定评价指标的权重。
9.一种图像质量评价装置,其特征在于,包括:图像确定单元、评价指标确定单元、预测结果确定单元和权重确定单元,其中,
所述图像确定单元,用于确定待评价图像;
所述评价指标确定单元,用于确定所述待评价图像的指定评价指标的值,所述指定评价指标,是与图像质量相关联的图像属性;
所述预测结果确定单元,用于根据所述指定评价指标的值以及所述指定评价指标的权重,确定所述待评价图像的质量预测结果;
所述权重确定单元,用于预先根据样本图像的质量评价结果、以及所述样本图像的指定评价指标的值计算所述指定评价指标的权重。
10.根据权利要求9所述的装置,其特征在于,所述权重确定单元具体包括指定评价指标值确定模块和计算模块,其中,
所述指定评价指标值确定模块,用于确定所述样本图像的所述指定评价指标的值;
所述计算模块,用于在预定约束条件的约束下,根据评价函数、所述样本图像的质量评价结果,以及所述样本图像的所述指定评价指标的值,计算所述指定评价指标的权重;
所述预定约束条件,包括:使得所述样本图像的质量预测结果趋近于或等于所述样本图像的质量评价结果;
所述评价函数,是以图像的所述指定评价指标为自变量、以图像的质量预测结果为因变量的函数。
CN201610622635.4A 2016-08-01 2016-08-01 一种图像质量评价方法和装置 Active CN106296669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610622635.4A CN106296669B (zh) 2016-08-01 2016-08-01 一种图像质量评价方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610622635.4A CN106296669B (zh) 2016-08-01 2016-08-01 一种图像质量评价方法和装置

Publications (2)

Publication Number Publication Date
CN106296669A true CN106296669A (zh) 2017-01-04
CN106296669B CN106296669B (zh) 2019-11-19

Family

ID=57664168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610622635.4A Active CN106296669B (zh) 2016-08-01 2016-08-01 一种图像质量评价方法和装置

Country Status (1)

Country Link
CN (1) CN106296669B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107370997A (zh) * 2017-08-18 2017-11-21 无锡北斗星通信息科技有限公司 一种监控车厢内部环境的方法
CN107578412A (zh) * 2017-09-28 2018-01-12 微梦创科网络科技(中国)有限公司 图像质量综合评价方法及系统
CN107578626A (zh) * 2017-08-30 2018-01-12 无锡北斗星通信息科技有限公司 一种夜间摩托车警示方法
CN107820065A (zh) * 2017-08-18 2018-03-20 魏芳 内部图像监控平台
CN108492289A (zh) * 2018-03-19 2018-09-04 上海宝谊图片有限公司 一种数码影像质量评价系统
CN108986075A (zh) * 2018-06-13 2018-12-11 浙江大华技术股份有限公司 一种优选图像的判断方法及装置
CN109544503A (zh) * 2018-10-15 2019-03-29 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN109801266A (zh) * 2018-12-27 2019-05-24 西南技术物理研究所 一种无线图像数据链的图像质量评估系统
CN109859180A (zh) * 2019-01-25 2019-06-07 东华大学 融合多种度量准则的图像集质量增强评价方法
CN110335237A (zh) * 2019-05-06 2019-10-15 北京字节跳动网络技术有限公司 用于生成模型的方法、装置和用于识别图像的方法、装置
CN110428368A (zh) * 2019-07-31 2019-11-08 北京金山云网络技术有限公司 一种算法评价方法、装置、电子设备及可读存储介质
CN110766078A (zh) * 2019-10-24 2020-02-07 广东工业大学 一种车联网环境下基于区块链的图片校验方法
CN110807759A (zh) * 2019-09-16 2020-02-18 幻想动力(上海)文化传播有限公司 照片质量的评价方法及装置、电子设备、可读存储介质
WO2021037257A1 (zh) * 2019-08-30 2021-03-04 中兴通讯股份有限公司 场景重建系统及方法
CN112561878A (zh) * 2020-12-15 2021-03-26 黑龙江大学 基于加权融合的手指静脉图像质量评价方法
CN114071233A (zh) * 2021-11-04 2022-02-18 广州华多网络科技有限公司 音视频质量评价方法及其装置、设备、介质、产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334893A (zh) * 2008-08-01 2008-12-31 天津大学 基于模糊神经网络的融合图像质量综合评价方法
CN101448174A (zh) * 2008-12-26 2009-06-03 深圳华为通信技术有限公司 一种图像质量评价装置和方法
CN101650833A (zh) * 2009-09-10 2010-02-17 重庆医科大学 彩色图像质量评价方法
CN102567996A (zh) * 2012-01-05 2012-07-11 中国地质大学(武汉) 一种遥感卫星图像质量评价的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334893A (zh) * 2008-08-01 2008-12-31 天津大学 基于模糊神经网络的融合图像质量综合评价方法
CN101448174A (zh) * 2008-12-26 2009-06-03 深圳华为通信技术有限公司 一种图像质量评价装置和方法
CN101650833A (zh) * 2009-09-10 2010-02-17 重庆医科大学 彩色图像质量评价方法
CN102567996A (zh) * 2012-01-05 2012-07-11 中国地质大学(武汉) 一种遥感卫星图像质量评价的方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107820065A (zh) * 2017-08-18 2018-03-20 魏芳 内部图像监控平台
CN107370997B (zh) * 2017-08-18 2018-05-01 胡海明 一种监控车厢内部环境的方法
CN107370997A (zh) * 2017-08-18 2017-11-21 无锡北斗星通信息科技有限公司 一种监控车厢内部环境的方法
CN107578626B (zh) * 2017-08-30 2020-12-04 青田县元元科技有限公司 一种夜间摩托车警示方法
CN107578626A (zh) * 2017-08-30 2018-01-12 无锡北斗星通信息科技有限公司 一种夜间摩托车警示方法
CN107578412A (zh) * 2017-09-28 2018-01-12 微梦创科网络科技(中国)有限公司 图像质量综合评价方法及系统
CN107578412B (zh) * 2017-09-28 2021-03-02 微梦创科网络科技(中国)有限公司 图像质量综合评价方法及系统
CN108492289A (zh) * 2018-03-19 2018-09-04 上海宝谊图片有限公司 一种数码影像质量评价系统
CN108492289B (zh) * 2018-03-19 2021-09-10 上海宝谊图片有限公司 一种数码影像质量评价系统
CN108986075A (zh) * 2018-06-13 2018-12-11 浙江大华技术股份有限公司 一种优选图像的判断方法及装置
CN109544503A (zh) * 2018-10-15 2019-03-29 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN109544503B (zh) * 2018-10-15 2020-12-01 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN109801266A (zh) * 2018-12-27 2019-05-24 西南技术物理研究所 一种无线图像数据链的图像质量评估系统
CN109859180A (zh) * 2019-01-25 2019-06-07 东华大学 融合多种度量准则的图像集质量增强评价方法
CN110335237A (zh) * 2019-05-06 2019-10-15 北京字节跳动网络技术有限公司 用于生成模型的方法、装置和用于识别图像的方法、装置
CN110428368A (zh) * 2019-07-31 2019-11-08 北京金山云网络技术有限公司 一种算法评价方法、装置、电子设备及可读存储介质
WO2021037257A1 (zh) * 2019-08-30 2021-03-04 中兴通讯股份有限公司 场景重建系统及方法
CN110807759A (zh) * 2019-09-16 2020-02-18 幻想动力(上海)文化传播有限公司 照片质量的评价方法及装置、电子设备、可读存储介质
CN110807759B (zh) * 2019-09-16 2022-09-06 上海甜里智能科技有限公司 照片质量的评价方法及装置、电子设备、可读存储介质
CN110766078A (zh) * 2019-10-24 2020-02-07 广东工业大学 一种车联网环境下基于区块链的图片校验方法
CN112561878A (zh) * 2020-12-15 2021-03-26 黑龙江大学 基于加权融合的手指静脉图像质量评价方法
CN114071233A (zh) * 2021-11-04 2022-02-18 广州华多网络科技有限公司 音视频质量评价方法及其装置、设备、介质、产品
CN114071233B (zh) * 2021-11-04 2023-04-25 广州华多网络科技有限公司 音视频质量评价方法及其装置、设备、介质、产品

Also Published As

Publication number Publication date
CN106296669B (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN106296669A (zh) 一种图像质量评价方法和装置
CN109165664B (zh) 一种基于生成对抗网络的属性缺失数据集补全与预测方法
Verbraken et al. Development and application of consumer credit scoring models using profit-based classification measures
CN107169573A (zh) 利用复合机器学习模型来执行预测的方法及系统
CN103853786B (zh) 数据库参数的优化方法与系统
Geweke et al. Bayesian forecasting
KR101396109B1 (ko) 마케팅 모델 결정 시스템
CN103514259B (zh) 一种基于数值关联性模型的异常数据探测及修正方法
CA2436352A1 (en) Process and system for developing a predictive model
CN110390561B (zh) 基于动量加速随机梯度下降的用户-金融产品选用倾向高速预测方法和装置
Guthrie Real options analysis of climate-change adaptation: investment flexibility and extreme weather events
CN107545301B (zh) 页面展示方法及装置
CN110415036B (zh) 用户等级的确定方法、装置、计算机设备和存储介质
CN114493052B (zh) 多模型融合自适应新能源功率预测方法和系统
CN107273979A (zh) 基于服务级别来执行机器学习预测的方法及系统
CN107545038A (zh) 一种文本分类方法与设备
CN110766201A (zh) 收入预测方法、系统、电子设备、计算机可读存储介质
CN114154672A (zh) 一种用于客户流失预测的数据挖掘方法
TWI781461B (zh) 資訊處理裝置、資訊處理方法及程式
CN111951954A (zh) 身体健康状态检测方法、装置、可读存储介质及终端设备
CN106776479A (zh) 一种面向多属性评分系统的评分预测方法
CN113656692B (zh) 基于知识迁移算法的产品推荐方法、装置、设备及介质
ur Rehman et al. LTE downlink throughput modeling using neural networks
CN112581250B (zh) 模型生成方法、装置、计算机设备和存储介质
CN107016564A (zh) 一种进行指标预测的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant