CN117078233B - 一种基于路网养护综合评价指标的养护决策方法 - Google Patents

一种基于路网养护综合评价指标的养护决策方法 Download PDF

Info

Publication number
CN117078233B
CN117078233B CN202311336730.4A CN202311336730A CN117078233B CN 117078233 B CN117078233 B CN 117078233B CN 202311336730 A CN202311336730 A CN 202311336730A CN 117078233 B CN117078233 B CN 117078233B
Authority
CN
China
Prior art keywords
image
crack
road
change rate
energy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311336730.4A
Other languages
English (en)
Other versions
CN117078233A (zh
Inventor
贾磊
孟安鑫
吴国华
安茹
吴成龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Urban Transport Planning Center Co Ltd
Original Assignee
Shenzhen Urban Transport Planning Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Urban Transport Planning Center Co Ltd filed Critical Shenzhen Urban Transport Planning Center Co Ltd
Priority to CN202311336730.4A priority Critical patent/CN117078233B/zh
Publication of CN117078233A publication Critical patent/CN117078233A/zh
Application granted granted Critical
Publication of CN117078233B publication Critical patent/CN117078233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Educational Administration (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Road Repair (AREA)

Abstract

本发明提出一种基于路网养护综合评价指标的养护决策方法，属于养护决策技术领域。包括：S1.采集路面图像，对裂缝图像进行识别和提取，得到二值化图像；S2.将二值化图像转换为坐标系，拆分为若干正弦函数和余弦函数的组合，获得裂缝图像的能量分布，对路面裂缝能量进行分析；S3.确定裂缝的路面裂缝状态评价指标；S4.遍历路面裂缝状态评价指标中的最大值，建立综合评价指标；S5.为道路和道路图像进行编码，计算路面裂缝状态评价指标；S6.遍历aa条道路中Ri道路中路面裂缝状态评价指标中的最大值，计算Ri道路对应的综合评价指标。解决人工依据裂缝长度、宽度等信息或者直接采用历史决策，难以保证决策效果最优化问题。

Description

一种基于路网养护综合评价指标的养护决策方法
技术领域
本申请涉及养护决策方法，尤其涉及一种基于路网养护综合评价指标的养护决策方法，属于养护决策技术领域。
背景技术
道路网中道路的服役性能状态维护，是道路养护的重点任务。路面病害中，裂缝出现最早、数量最多，伴随着道路的整个使用期，并随着路龄的增长而加重。道路裂缝的危害不仅仅是影响路容美观和行车舒适度，如果不及时对裂缝进行密封修补，更容易进一步扩展，使雨水和其它杂物沿裂缝进入面层结构与路基，对道路造成结构性的破坏，导致路面承载能力下降，加速路面局部或成片损坏，从而缩短道路的使用寿命。
而目前，面向路网的裂缝养护决策过程中，通常是人工依据裂缝长度、宽度等信息，或者直接采用历史决策方案，进行养护决策。此类方法主观性强，难以保证决策效果的最优化。
道路服役环境相对复杂，对于非专业技术人员而言，难以准确客观评价和比较路网中各道路病害分布情况。因此，亟需提出一种简便且科学的裂缝分布状况评价方法，提高道路养护决策科学性。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
鉴于此，为解决现有技术中存在的技术问题，本发明提供一种基于路网养护综合评价指标的养护决策方法。
方案一、一种基于路网养护综合评价指标的养护决策方法，包括以下步骤：
S1.采集路面图像，对裂缝图像进行识别和提取，得到二值化图像；
S2.将二值化图像转换为坐标系，拆分为若干正弦函数和余弦函数的组合，获得裂缝图像的能量分布，对路面裂缝能量进行分析；
S3.确定裂缝的路面裂缝状态评价指标；
S4.遍历路面裂缝状态评价指标中的最大值，进行归一化操作，建立综合评价指标；
S5.为道路和道路图像进行编码，计算路面裂缝状态评价指标；
S6.遍历aa条道路中Ri道路中路面裂缝状态评价指标中的最大值，进行归一化操作，计算Ri道路对应的综合评价指标，基于综合评价指标确定养护决策。
优选的，采集路面图像，对裂缝图像进行识别和提取的方法包括以下步骤：
S11.采用道路检测车搭载工业相机的方式，采集路面图像；
S12.利用神经网络识别包含裂缝的图像，将图像依次编码为A1-An，n为含裂缝图像的总数量；
S13.将RGB图像转变为灰度图像；将RGB图像转变为灰度图像的方法是：提取RGB图像在R、G、B三个通道的数值，依次记为a、b、c，结合由心理学公式确定的彩色图像与灰度图像间的关系，采用下式计算图像灰度值d：
；
S14.对灰度图像进行线性裂缝区域和背景区域的区分，得到新的二值化图像，将二值化图像依次编码为F1-Fn，n为含线性裂缝图像的总数量，方法包括以下步骤：
S141.统计全部图像像素值，确定像素值的分布范围，最小值记为dmin，最大值记为dmax，像素分布范围即为（dmin，dmax）；
S142.设灰度值阈值dt，以灰度值阈值dt为初始临界点，将像素分布范围划分为两个区间：C区间（dmin，dt）和D区间（dt，dmax），统计C区间和D区间范围内像素的数量n1和n2，并计算C、D两个区间像素数量在整个图像中的权重e1和e2，计算两个区间的平均像素值dc1和dd2，计算C、D区间图像像素方差E：
；
式中，灰度值阈值dt取值范围为[dmin,dmax]，且像素增加步长为1个像素；
S143.遍历全部灰度值阈值dt，依次得到C、D区间图像像素方差，记录方差中最大值Emax，方差对应的灰度值阈值dt为线性裂缝图像背景与线性裂缝区域的临界像素值，将线性裂缝图像背景与线性裂缝区域的临界像素值对应的灰度值阈值记为最终灰度值阈值dtm；
S144.以最终灰度值阈值dtm为最终分界点，将图像划分为由像素值0和1组成的二值化图像，其中，灰度值小于dtm的像素点，全部变为0；灰度值大于等于dtm的像素点，像素值变为1，从而得到新的二值化图像，将二值化图像依次编码为F1-Fn，n为含裂缝图像的总数量。
优选的，将二值化图像转换为坐标系，拆分为若干正弦函数和余弦函数的组合，获得裂缝图像的能量分布，对路面裂缝能量进行分析，包括以下步骤：
S21.将二值化图像转换为坐标系：以图像左上角点为坐标原点建立坐标系，以水平向右为x轴正方向，以竖直向下为y轴正方向，由二值化图像形成的图像矩阵记为g(x,y)；
S22.将二值化图像拆分为若干正弦函数和余弦函数的组合，将二值化图像拆分成若干频率、振幅已知的正、余弦函数的和；
S23.获得裂缝图像的能量分布，分析不同频率函数对应的能量大小。
优选的，将二值化图像拆分成若干频率、振幅已知的正、余弦函数的和，求解方法是：
；
式中，j为虚数单位，e=0,1,2,…,J-1; f=0,1,2,…,K-1；J为图像矩阵沿x轴方向的像素数量，K为图像矩阵/>沿y轴方向的像素数量；JS为x方向的角频率，KS为y方向的角频率。
优选的，获得裂缝图像的能量分布，分析不同频率函数对应的能量大小方法是：图像在一个周期信号的能量分布计算如下：
；
式中，L为x方向图像信号周期，M为y方向图像信号周期；
各个频率对应的能量值为裂缝图像的能量分布，将第i个频率记为Pi，其对应的能量记为Hi，图像中频率数量记为h；提出裂缝平均能量指标Ha：
；
裂缝平均能量指标表征图像中，路面裂缝的能量大小，能量越大，表明严重程度越大，裂缝进一步扩展的潜力越大。
优选的，确定裂缝的路面裂缝状态评价指标的方法是：
路面裂缝状态评价指标包括裂缝长度S、宽度T和裂缝平均能量Ha、长度变化速率Sv、宽度变化速率Tv和平均能量变化速率Hav；
长度变化速率Sv、宽度变化速率Tv和平均能量变化速率Hav根据裂缝长度S、宽度T和裂缝平均能量Ha确定；
计算时间t1和t2之间对应的长度变化速率Sv、宽度变化速率Tv和平均能量变化速率Hav的方法如下：
；
；
；
式中，St2和St1分别为t2和t1时刻对应的裂缝长度；Tt2和Tt1分别为t2和t1时刻对应的裂缝宽度；Hat2和Hat1分别为t2和t1时刻对应的裂缝平均能量。
优选的，遍历路面裂缝状态评价指标中的最大值，进行归一化操作，建立综合评价指标的方法是：
遍历裂缝长度、宽度、裂缝平均能量、长度变化速率、宽度变化速率、平均能量变化速率中的最大值，依次记为Sm、Tm、Haam、Svm、Tvm、Havm，进行归一化操作，归一化后的值依次记为So、To、Haao、Svo、Tvo、Havo，即：
；
；
；
；
；
；
基于归一化指标，建立综合评价指标U：
；
式中，z1-z6依次为裂缝长度、宽度、裂缝平均能量、长度变化速率、宽度变化速率、平均能量变化速率6个指标对应的权重系数；r1-r6依据养护人员对指标的关注程度进行确定和调整。
优选的，为道路和道路图像进行编码，计算路面裂缝状态评价指标的方法是：
S51.为道路进行编码：将道路依次编码为R1-Raa，其中，aa为路网中道路的总数量；
S52.为Ri道路图像进行编码：将Ri的道路图像依次编码为，其中，i=1,2，3，…aa；Ri为道路编码，ab为编码为Ri道路的裂缝图像总数量；
S53.计算Ri道路中路面裂缝状态评价指标，计算全部裂缝图像的指标平均值：计算Ri道路中全部裂缝图像的长度、宽度、平均能量、长度变化速率、宽度变化速率和平均能量变化速率，并计算全部裂缝图像的指标平均值，作为道路的特征指标值，依次记为：、、/>、/>、/>、/>；
遍历aa条道路中Ri道路中路面裂缝状态评价指标中的最大值，进行归一化操作，计算Ri道路对应的综合评价指标，基于综合评价指标确定养护决策的方法是：
S61.遍历aa条道路中Ri道路中路面裂缝状态评价指标中的最大值，进行归一化操作：遍历aa条道路中路面裂缝状态评价指标中的最大值依次记为、/>、/>、/>、/>、，对Ri道路中路面裂缝状态评价指标中的最大值进行归一化操作，归一化后的值依次记为/>、/>、/>、/>、/>、/>；
S62.计算Ri道路对应的综合评价指标：
；
式中，为编码为Ri的道路对应的综合评价指标；r1-r6分别为裂缝长度、宽度、裂缝平均能量、长度变化速率、宽度变化速率、平均能量变化速率6个指标对应的权重系数；r1-r6依据养护人员对指标的关注程度进行确定和调整；
S63.将全部道路对应的综合评价指标进行从大到小的顺序排序，排名第一为裂缝严重程度最大的道路。
方案二、一种电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现方案一所述的一种基于路网养护综合评价指标的养护决策方法的步骤。
方案三、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现方案一所述的一种基于路网养护综合评价指标的养护决策方法。
本发明的有益效果如下：本发明实现了面向道路裂缝的路网养护决策。可以通过对道路裂缝病害的调查、分析和评估，确定不同道路段的养护优先顺序，合理配置养护资源，提高养护效率和质量，科学化决策，避免人为主观因素的干扰，提高决策的准确性、合理性，达到节约养护成本、延长道路使用寿命的目的。本发明可用于简单环境、小规模路网等的道路裂缝分布状态的量化分析，提高养护决策的科学性、准确性，本发明采用简单加权方式，为缺少专业知识的决策者提供决策方法。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为一种基于路网养护综合评价指标的养护决策方法流程示意图；
图2为S2流程示意图。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1、参照图1-图2说明本实施方式，一种基于路网养护综合评价指标的养护决策方法，包括以下步骤：
S1.采集路面图像，对裂缝图像进行识别和提取，得到二值化图像，方法包括以下步骤：
S11.采用道路检测车搭载工业相机的方式，采集路面图像；
S12.利用神经网络识别包含裂缝的图像，将图像依次编码为A1-An，n为含裂缝图像的总数量；
具体的，算法选用常规的卷积神经网络，首先选择路面裂缝数据集对模型进行训练，确定模型中全部参数，包含网络层数、各层神经元节点数量、学习率、权重、偏置、激活函数、损失函数、卷积核等。采用训练好的卷积神经网络模型，进行图像的智能识别，提取出全部包含裂缝的图像，图像依次编码为A1-An，n为含裂缝图像的总数量；
S13.将RGB图像转变为灰度图像；RGB图像类型在图像处理过程中，难度较大，因此，将RGB图像转变为灰度图像进行处理：提取RGB图像在R、G、B三个通道的数值，依次记为a、b、c，结合由心理学公式确定的彩色图像与灰度图像间的关系，采用下式计算图像灰度值d：
；
S14.为了消除背景的干扰，将裂缝区域和背景区域进行区分，通过确定裂缝区域和背景区域的像素灰度值阈值dt，对两部分区域进行划分；
具体的，对灰度图像进行线性裂缝区域和背景区域的区分，得到新的二值化图像，将二值化图像依次编码为F1-Fn，n为含线性裂缝图像的总数量，方法包括以下步骤：
S141.统计全部图像像素值，确定像素值的分布范围，最小值记为dmin，最大值记为dmax，像素分布范围即为（dmin，dmax）；
S142.设灰度值阈值dt，以灰度值阈值dt为初始临界点，将像素分布范围划分为两个区间：C区间（dmin，dt）和D区间（dt，dmax），统计C区间和D区间范围内像素的数量n1和n2，并计算C、D两个区间像素数量在整个图像中的权重e1和e2，计算两个区间的平均像素值dc1和dd2，计算C、D区间图像像素方差E：
；
式中，灰度值阈值dt取值范围为[dmin,dmax]，且像素增加步长为1个像素；
S143.遍历全部灰度值阈值dt，依次得到C、D区间图像像素方差，记录方差中最大值Emax，方差对应的灰度值阈值dt为线性裂缝图像背景与线性裂缝区域的临界像素值，将线性裂缝图像背景与线性裂缝区域的临界像素值对应的灰度值阈值记为最终灰度值阈值dtm；
S144.以最终灰度值阈值dtm为最终分界点，将图像划分为由像素值0和1组成的二值化图像，其中，灰度值小于dtm的像素点，全部变为0；灰度值大于等于dtm的像素点，像素值变为1，从而得到新的二值化图像，将二值化图像依次编码为F1-Fn，n为含裂缝图像的总数量。
S2.将二维图像拆分为若干正弦函数和余弦函数的组合，为了方便表达，基于欧拉公式，将正弦函数和余弦函数转变为复指数函数进行表达。对于正弦函数和余弦函数而言，最重要的是确定函数的频率、振幅；
具体的，将二值化图像转换为坐标系，拆分为若干正弦函数和余弦函数的组合，获得裂缝图像的能量分布，对路面裂缝能量进行分析，包括以下步骤：
S21.将二值化图像转换为坐标系：以图像左上角点为坐标原点建立坐标系，以水平向右为x轴正方向，以竖直向下为y轴正方向，由二值化图像形成的图像矩阵记为g(x,y)；
S22.将二值化图像拆分为若干正弦函数和余弦函数的组合，将二值化图像拆分成若干频率、振幅已知的正、余弦函数的和，求解方法是：
；
式中，j为虚数单位，e=0,1,2,…,J-1; f=0,1,2,…,K-1；J为图像矩阵沿x轴方向的像素数量，K为图像矩阵/>沿y轴方向的像素数量；JS为x方向的角频率，KS为y方向的角频率。
S23.裂缝的二值图像由多个频率和振幅的正弦函数和余弦函数构成，因此，接下来，将分析不同频率函数对应的能量大小。分析过程中，为了保证图像信号能量计算有解，选取函数的一个周期进行分析；
具体的，获得裂缝图像的能量分布，分析不同频率函数对应的能量大小，方法是：图像在一个周期信号的能量分布计算如下：
；
式中，L为x方向图像信号周期，M为y方向图像信号周期；
各个频率对应的能量值为裂缝图像的能量分布，将第i个频率记为Pi，其对应的能量记为Hi，图像中频率数量记为h；提出裂缝平均能量指标Ha：
；
裂缝平均能量指标表征图像中，路面裂缝的能量大小，能量越大，表明严重程度越大，裂缝进一步扩展的潜力越大，养护维修时需要重点关注。同时，道路养护决策过程中，可结合路面裂缝的能量，优化养护方案，合理规划养护成本，提高养护质量。
S3.面向道路裂缝的养护决策方案中，不能仅考虑裂缝的长度、宽度、图像平均能量等静态信息，需要同时考虑上述信息随时间的变化情况，因此，确定裂缝的路面裂缝状态评价指标，方法是：
裂缝的路面裂缝状态评价指标包括裂缝长度S、宽度T和裂缝平均能量Ha、长度变化速率Sv、宽度变化速率Tv和平均能量变化速率Hav；
长度变化速率Sv、宽度变化速率Tv和平均能量变化速率Hav根据裂缝长度S、宽度T和裂缝平均能量Ha确定；
计算时间t1和t2之间对应的长度变化速率Sv、宽度变化速率Tv和平均能量变化速率Hav的方法如下：
；
；
；
式中，St2和St1分别为t2和t1时刻对应的裂缝长度；Tt2和Tt1分别为t2和t1时刻对应的裂缝宽度；Hat2和Hat1分别为t2和t1时刻对应的裂缝平均能量。
具体的，裂缝的长度和裂缝宽度的计算方法可以是：
1）采用道路检测车搭载工业相机的方式，采集路面图像；
2）采用卷积神经网络智能识别算法识别路面裂缝。然后采用图像二值化方法，提取裂缝区域。
3）针对提取出的裂缝区域，找到裂缝的四个角点坐标，通过坐标间的距离，确定裂缝的长度S和宽度T。
S4.裂缝长度、宽度、裂缝平均能量、长度变化速率、宽度变化速率、平均能量变化速率的量纲不同，为了消除量纲对决策的影响，因此，遍历路面裂缝状态评价指标中的最大值，进行归一化操作，建立综合评价指标，的方法是：
遍历裂缝长度、宽度、裂缝平均能量、长度变化速率、宽度变化速率、平均能量变化速率中的最大值，依次记为Sm、Tm、Haam、Svm、Tvm、Havm，进行归一化操作，归一化后的值依次记为So、To、Haao、Svo、Tvo、Havo，即：
；
；
；
；
；
；
基于归一化指标，建立综合评价指标U：
；
式中，z1-z6依次为裂缝长度、宽度、裂缝平均能量、长度变化速率、宽度变化速率、平均能量变化速率6个指标对应的权重系数；r1-r6依据养护人员对指标的关注程度进行确定和调整。
S5.为道路和道路图像进行编码，计算路面裂缝状态评价指标，方法是：
S51.为道路进行编码：将道路依次编码为R1-Raa，其中，aa为路网中道路的总数量；
S52.为Ri道路图像进行编码：将Ri的道路图像依次编码为，其中，i=1,2，3，…aa；Ri为道路编码，ab为编码为Ri道路的裂缝图像总数量；
S53.计算Ri道路中路面裂缝状态评价指标，计算全部裂缝图像的指标平均值：计算Ri道路中全部裂缝图像的长度、宽度、平均能量、长度变化速率、宽度变化速率和平均能量变化速率，并计算全部裂缝图像的指标平均值，作为道路的特征指标值，依次记为：、、/>、/>、/>、/>；
S6.遍历aa条道路中Ri道路中路面裂缝状态评价指标中的最大值，进行归一化操作，计算Ri道路对应的综合评价指标，基于综合评价指标确定养护决策，方法是：
S61.遍历aa条道路中Ri道路中路面裂缝状态评价指标中的最大值，进行归一化操作：遍历aa条道路中路面裂缝状态评价指标中的最大值依次记为、/>、/>、/>、/>、，对Ri道路中路面裂缝状态评价指标中的最大值进行归一化操作，归一化后的值依次记为/>、/>、/>、/>、/>、/>；
S62.计算Ri道路对应的综合评价指标：
；
式中，为编码为Ri的道路对应的综合评价指标；r1-r6分别为裂缝长度、宽度、裂缝平均能量、长度变化速率、宽度变化速率、平均能量变化速率6个指标对应的权重系数；r1-r6依据养护人员对指标的关注程度进行确定和调整；
S63.将全部道路对应的综合评价指标进行从大到小的顺序排序，排名第一为裂缝严重程度最大的道路。养护人员在进行养护决策时，根据排序考虑有限执行养护措施。
实施例2、本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的一种基于路网养护综合评价指标的养护决策方法的步骤。
所称处理器可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
实施例3、计算机可读存储介质实施例
本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的一种基于路网养护综合评价指标的养护决策方法的步骤。
所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (7)

1.一种基于路网养护综合评价指标的养护决策方法，其特征在于，包括以下步骤：
S1.采集路面图像，对裂缝图像进行识别和提取，得到二值化图像；
S2.将二值化图像转换为坐标系，拆分为若干正弦函数和余弦函数的组合，获得裂缝图像的能量分布，对路面裂缝能量进行分析，包括以下步骤：
S21.将二值化图像转换为坐标系：以图像左上角点为坐标原点建立坐标系，以水平向右为x轴正方向，以竖直向下为y轴正方向，由二值化图像形成的图像矩阵记为g(x,y)；
S22.将二值化图像拆分为若干正弦函数和余弦函数的组合，具体为将二值化图像拆分成若干频率、振幅已知的正、余弦函数的和，求解方法是：
式中，j为虚数单位；J为图像矩阵g(x,y)沿x轴方向的像素数量，K为图像矩阵g(x,y)沿y轴方向的像素数量；u为水平方向的角频率，v为垂直方向的角频率；x为沿图像x轴方向的变量，x＝0,1,2,…,J-1；y为沿图像y轴方向的变量，y＝0,1,2,…,K-1；e为常数；
S23.获得裂缝图像的能量分布，分析不同频率函数对应的能量大小，方法是：图像在一个周期信号的能量分布计算如下：
式中，L为x方向图像信号周期，M为y方向图像信号周期；
各个频率对应的能量值为裂缝图像的能量分布，将第w个频率记为Pw，其对应的能量记为Hw，图像中频率数量记为h；提出裂缝平均能量指标Ha：
裂缝平均能量指标表征图像中，路面裂缝的能量大小，能量越大，表明严重程度越大，裂缝进一步扩展的潜力越大；
S3.确定裂缝的路面裂缝状态评价指标；
S4.遍历路面裂缝状态评价指标中的最大值，进行归一化操作，建立综合评价指标；
S5.为道路和道路图像进行编码，计算路面裂缝状态评价指标；
S6.遍历aa条道路中Ri道路中路面裂缝状态评价指标中的最大值，进行归一化操作，计算Ri道路对应的综合评价指标，基于综合评价指标确定养护决策，其中，i＝1,2，3，…，aa；Ri为道路编码。
2.根据权利要求1所述一种基于路网养护综合评价指标的养护决策方法，其特征在于，采集路面图像，对裂缝图像进行识别和提取的方法包括以下步骤：
S11.采用道路检测车搭载工业相机的方式，采集路面图像；
S12.利用神经网络识别包含裂缝的图像，将图像依次编码为A1-An，n为含裂缝图像的总数量；
S13.将RGB图像转变为灰度图像；将RGB图像转变为灰度图像的方法是：提取RGB图像在R、G、B三个通道的数值，依次记为a、b、c，结合由心理学公式确定的彩色图像与灰度图像间的关系，采用下式计算图像灰度值d：
d＝0.299×a+0.587×b+0.114×c
S14.对灰度图像进行线性裂缝区域和背景区域的区分，得到新的二值化图像，将二值化图像依次编码为F1-Fn，n为含线性裂缝图像的总数量，方法包括以下步骤：
S141.统计全部图像像素值，确定像素值的分布范围，最小值记为dmin，最大值记为dmax，像素分布范围即为(dmin，dmax)；
S142.设灰度值阈值dt，以灰度值阈值dt为初始临界点，将像素分布范围划分为两个区间：C区间(dmin，dt)和D区间(dt，dmax),统计C区间和D区间范围内像素的数量n1和n2，并计算C、D两个区间像素数量在整个图像中的权重e1和e2，计算两个区间的平均像素值dc1和dc2，计算C、D区间图像像素方差E：
E＝e1×e2×(dc1-dc2)2
其中，灰度值阈值dt取值范围为[dmin,dmax]，且像素增加步长为1个像素；
S143.遍历全部灰度值阈值dt，依次得到C、D区间图像像素方差，记录方差中最大值Emax，方差对应的灰度值阈值dt为线性裂缝图像背景与线性裂缝区域的临界像素值，将线性裂缝图像背景与线性裂缝区域的临界像素值对应的灰度值阈值记为最终灰度值阈值dtm；
S144.以最终灰度值阈值dtm为最终分界点，将图像划分为由像素值0和1组成的二值化图像，其中，灰度值小于dtm的像素点，像素值全部变为0；灰度值大于等于dtm的像素点，像素值变为1，从而得到新的二值化图像，将二值化图像依次编码为F1-Fn，n为含裂缝图像的总数量。
3.根据权利要求2所述一种基于路网养护综合评价指标的养护决策方法，其特征在于，确定裂缝的路面裂缝状态评价指标的方法是：
路面裂缝状态评价指标包括裂缝长度S、宽度T和裂缝平均能量Ha、长度变化速率Sv、宽度变化速率Tv和平均能量变化速率Hav；
长度变化速率Sv、宽度变化速率Tv和平均能量变化速率Hav根据裂缝长度S、宽度T和裂缝平均能量Ha确定；
计算时间t1和t2之间对应的长度变化速率Sv、宽度变化速率Tv和平均能量变化速率Hav的方法如下：
式中，St2和St1分别为t2和t1时刻对应的裂缝长度；Tt2和Tt1分别为t2和t1时刻对应的裂缝宽度；Hat2和Hat1分别为t2和t1时刻对应的裂缝平均能量。
4.根据权利要求3所述一种基于路网养护综合评价指标的养护决策方法，其特征在于，遍历路面裂缝状态评价指标中的最大值，进行归一化操作，建立综合评价指标的方法是：
遍历裂缝长度、宽度、裂缝平均能量、长度变化速率、宽度变化速率、平均能量变化速率中的最大值，依次记为Sm、Tm、Ham、Svm、Tvm、Havm，进行归一化操作，归一化后的值依次记为So、To、Hao、Svo、Tvo、Havo，即：
基于归一化指标，建立综合评价指标U：
U＝z1·So+z2·To+z3·Hao+z4·Svo+z5·Tvo+z6·Havo
式中，z1-z6依次为裂缝长度、宽度、裂缝平均能量、长度变化速率、宽度变化速率、平均能量变化速率6个指标对应的权重系数；z1-z6依据养护人员对指标的关注程度进行确定和调整。
5.根据权利要求4所述一种基于路网养护综合评价指标的养护决策方法，其特征在于，为道路和道路图像进行编码，计算路面裂缝状态评价指标的方法是：
S51.为道路进行编码：将道路依次编码为R1-Raa，其中，aa为路网中道路的总数量；
S52.为Ri道路图像进行编码：将Ri的道路图像依次编码为其中，i＝1,2，3，…，aa；Ri为道路编码，ab为编码为Ri道路的裂缝图像总数量；
S53.计算Ri道路中路面裂缝状态评价指标，计算全部裂缝图像的指标平均值：计算Ri道路中全部裂缝图像的长度、宽度、平均能量、长度变化速率、宽度变化速率和平均能量变化速率，并计算全部裂缝图像的指标平均值，作为道路的特征指标值，依次记为：SRi、TRi、HaRi、SvRi、TvRi、HavRi；
遍历aa条道路中Ri道路中路面裂缝状态评价指标中的最大值，进行归一化操作，计算Ri道路对应的综合评价指标，基于综合评价指标确定养护决策的方法是：
S61.遍历aa条道路中Ri道路中路面裂缝状态评价指标中的最大值，进行归一化操作：遍历aa条道路中路面裂缝状态评价指标中的最大值依次记为 对Ri道路中路面裂缝状态评价指标进行归一化操作，归一化后的值依次记为/>
S62.计算Ri道路对应的综合评价指标URi：
式中，URi为编码为Ri的道路对应的综合评价指标；z1-z6分别为裂缝长度、宽度、裂缝平均能量、长度变化速率、宽度变化速率、平均能量变化速率6个指标对应的权重系数；z1-z6依据养护人员对指标的关注程度进行确定和调整；
S63.将全部道路对应的综合评价指标进行从大到小的顺序排序，排名第一为裂缝严重程度最大的道路。
6.一种电子设备，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1-5任一项所述的一种基于路网养护综合评价指标的养护决策方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一项所述的一种基于路网养护综合评价指标的养护决策方法。
CN202311336730.4A 2023-10-17 2023-10-17 一种基于路网养护综合评价指标的养护决策方法 Active CN117078233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311336730.4A CN117078233B (zh) 2023-10-17 2023-10-17 一种基于路网养护综合评价指标的养护决策方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311336730.4A CN117078233B (zh) 2023-10-17 2023-10-17 一种基于路网养护综合评价指标的养护决策方法

Publications (2)

Publication Number Publication Date
CN117078233A CN117078233A (zh) 2023-11-17
CN117078233B true CN117078233B (zh) 2024-03-26

Family

ID=88719874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311336730.4A Active CN117078233B (zh) 2023-10-17 2023-10-17 一种基于路网养护综合评价指标的养护决策方法

Country Status (1)

Country Link
CN (1) CN117078233B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179706A (ja) * 1994-07-25 2003-06-27 Seiko Epson Corp 画像処理方法および画像処理装置
JP2018128309A (ja) * 2017-02-07 2018-08-16 大成建設株式会社 ひび割れ検出方法
CN110298802A (zh) * 2019-06-28 2019-10-01 广东诚泰交通科技发展有限公司 路面裂缝检测方法及装置
CN112419250A (zh) * 2020-11-13 2021-02-26 湖北工业大学 路面裂缝数字图像提取、裂缝修补及裂缝参数计算方法
CN113689453A (zh) * 2021-08-24 2021-11-23 中石化石油工程技术服务有限公司 一种测井图像裂缝自动识别方法、装置、设备及存储介质
CN114878796A (zh) * 2022-07-12 2022-08-09 唐山陆达公路养护有限公司 基于道路养护的评估监测平台
CN115393727A (zh) * 2022-10-31 2022-11-25 深圳市城市交通规划设计研究中心股份有限公司 一种路面线性裂缝识别方法、电子设备及存储介质
CN115512224A (zh) * 2022-09-28 2022-12-23 三峡大学 一种曲线拟合对比度增强的道路裂缝检测方法
GB202301204D0 (en) * 2022-01-28 2023-03-15 Univ Hohai Multifractal quantitative characterization method for concrete multiple crack evolution
WO2023078285A1 (zh) * 2021-11-05 2023-05-11 瞬联软件科技（北京）有限公司 一种文字图像的摩尔纹祛除方法、装置及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179706A (ja) * 1994-07-25 2003-06-27 Seiko Epson Corp 画像処理方法および画像処理装置
JP2018128309A (ja) * 2017-02-07 2018-08-16 大成建設株式会社 ひび割れ検出方法
CN110298802A (zh) * 2019-06-28 2019-10-01 广东诚泰交通科技发展有限公司 路面裂缝检测方法及装置
CN112419250A (zh) * 2020-11-13 2021-02-26 湖北工业大学 路面裂缝数字图像提取、裂缝修补及裂缝参数计算方法
CN113689453A (zh) * 2021-08-24 2021-11-23 中石化石油工程技术服务有限公司 一种测井图像裂缝自动识别方法、装置、设备及存储介质
WO2023078285A1 (zh) * 2021-11-05 2023-05-11 瞬联软件科技（北京）有限公司 一种文字图像的摩尔纹祛除方法、装置及电子设备
GB202301204D0 (en) * 2022-01-28 2023-03-15 Univ Hohai Multifractal quantitative characterization method for concrete multiple crack evolution
CN114878796A (zh) * 2022-07-12 2022-08-09 唐山陆达公路养护有限公司 基于道路养护的评估监测平台
CN115512224A (zh) * 2022-09-28 2022-12-23 三峡大学 一种曲线拟合对比度增强的道路裂缝检测方法
CN115393727A (zh) * 2022-10-31 2022-11-25 深圳市城市交通规划设计研究中心股份有限公司 一种路面线性裂缝识别方法、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于数字图像处理的路面裂缝自动识别与评价系统;张娟 等;《长安大学学报（自然科学版）》;第24卷(第2期);第18-22页 *

Also Published As

Publication number Publication date
CN117078233A (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN115393727B (zh) 一种路面线性裂缝识别方法、电子设备及存储介质
Zhou et al. Deep learning-based crack segmentation for civil infrastructure: Data types, architectures, and benchmarked performance
Doycheva et al. Implementing textural features on GPUs for improved real-time pavement distress detection
CN112749653A (zh) 行人检测方法、装置、电子设备及存储介质
CN116168356B (zh) 一种基于计算机视觉的车辆损伤判别方法
CN111784665B (zh) 基于傅里叶变换的oct图像质量评估方法、系统及装置
Peraka et al. Development of a multi-distress detection system for asphalt pavements: Transfer learning-based approach
CN116680643A (zh) 一种深度对比学习与密度聚类结合的异常检测方法
CN115100739A (zh) 人机行为检测方法、系统、终端设备及存储介质
CN117078738B (zh) 一种线性裂缝宽度计算方法
CN114283383A (zh) 一种智慧城市公路养护方法、计算机设备及介质
CN117078233B (zh) 一种基于路网养护综合评价指标的养护决策方法
CN111199228B (zh) 一种车牌定位的方法及装置
CN117291428A (zh) 一种基于企业管理app的数据后台管理系统
CN110349119B (zh) 基于边缘检测神经网络的路面病害检测方法和装置
CN117094703B (zh) 一种面向道路裂缝的路网养护维修顺序确定方法
CN115512315B (zh) 一种非机动车儿童搭乘检测方法、电子设备及存储介质
CN115512098B (zh) 一种桥梁电子化巡检系统及巡检方法
CN117115576B (zh) 一种基于图像的路面裂缝能量分析方法
CN117115665B (zh) 一种基于路面裂缝分析方法的静态影响参数分析方法
CN113158084B (zh) 移动轨迹数据处理的方法、装置、计算机设备及存储介质
CN117079062B (zh) 一种基于路面裂缝分析方法的动静态影响参数分析方法
CN115690431A (zh) 条码图像二值化方法、装置、存储介质及计算机设备
CN117078737B (zh) 一种线性裂缝长度计算方法
CN117079144B (zh) 一种非均匀光照下沥青路面检测图像线性裂缝提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant