CN113780196B - 异常数据实时上报系统 - Google Patents
异常数据实时上报系统 Download PDFInfo
- Publication number
- CN113780196B CN113780196B CN202111080179.2A CN202111080179A CN113780196B CN 113780196 B CN113780196 B CN 113780196B CN 202111080179 A CN202111080179 A CN 202111080179A CN 113780196 B CN113780196 B CN 113780196B
- Authority
- CN
- China
- Prior art keywords
- picture
- pixel
- strip
- speed reduction
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及一种异常数据实时上报系统,包括:数据检测机构,用于提供降速长条所在位置的卫星定位数据,所述降速长条的出厂涂漆颜色为白色;画面选择机构,用于从接收到的各个录像画面中选择不存在构成车体目标的像素点且画质最优的录像画面作为待处理画面输出;异常上报器件,用于在接收到带体更换信号时,将所述带体更换信号与所述降速长条所在位置的卫星定位数据一并打包并无线发送给远端的道路养护中心处的服务器。通过本发明,能够利用降速长条的涂漆亮度特征从现场图像中判断降速长条是否过于陈旧或者缺失,同时引入了基于画质选择以及车体像素点识别的画面选择机制,从而完成对同一道路的所有降速长条状态的电子化检测操作。
Description
技术领域
本发明涉及无线通信领域,尤其涉及一种异常数据实时上报系统。
背景技术
无线通信(英语:Wireless communication)是指多个节点间不经由导体或缆线传播进行的远距离传输通讯,利用收音机、无线电等都可以进行无线通讯。无线通讯包括各种固定式、移动式和便携式应用,例如双向无线电、手机、个人数码助理及无线网络。其他无线电无线通讯的例子还有GPS、车库门遥控器、无线鼠标等。
大部分无线通讯技术会用到无线电,包括距离只到数米的Wi-fi,也包括和航海家1号通讯、距离超过数百万公里的深空网络。但有些无线通讯的技术不使用无线电,而是使用其他的电磁波无线技术,例如光、磁场、电场等。目前,现场铺设的降速长条由于使用时长过久或者因为过度使用,例如,通行的重型卡车数量过多过于频繁,导致降速长条无法达到应有的降速效果,需要道路养护方进行及时维修甚至更换,然而,由于一条道路上铺设的降速长条数量过多,道路养护方难以同时对所有降速长条状态进行监控。
发明内容
为了解决现有技术中的技术问题,本发明提供了一种异常数据实时上报系统,能够利用降速长条的涂漆亮度特征从现场图像中判断降速长条是否过于陈旧或者缺失,尤为重要的是,引入了基于画质选择以及车体像素点识别的画面选择机制,从而保证了待分析画面的信号的干净程度。
为此,本发明至少需要具有以下两个重要发明点:
(1)对现场铺设的降速长条是否过于陈旧或者缺失进行智能化的检测操作,以在确认过于陈旧或者缺失时,向后方养护中心及时发送提醒更换降速长条的维护信息;
(2)采用录像操作机构对现场铺设的降速长条进行多帧画面采集,并从所述多帧画面中挑选出不存在车体像素点且画质最优的画面,以保证后续降速长条状态的分析效果。
根据本发明的一方面,提供了一种异常数据实时上报系统,所述系统包括:
数据检测机构,设置在降速长条的附近,用于提供所述降速长条所在位置的卫星定位数据,所述降速长条的出厂涂漆颜色为白色;
录像操作机构,设置在所述降速长条的上方,用于采用俯视视角对所述降速长条执行均匀时间间隔的录像操作,以获得均匀时间间隔的各个时间点分别对应的各个录像画面;
画面选择机构,与所述录像操作机构连接,用于从所述各个录像画面中选择不存在构成车体目标的像素点且画质最优的录像画面作为待处理画面输出;
形状检测器件,与所述画面选择机构连接,用于基于降速长带的标准几何形状在所述待处理画面中搜索与降速长带的标准几何形状最匹配的成像区域以作为目标检测区域输出;
内容解析器件,与所述形状检测器件连接,用于在所述待处理画面中对所述目标检测区域进行边缘外扩处理以获得边缘形状与降速长带的标准几何形状完全一致的边缘外扩区域;
亮度提取器件,与所述内容解析器件连接,用于获取构成所述边缘外扩区域的每一个像素点的亮度值;
信号分拣器件,与所述亮度提取器件连接,用于将所述边缘外扩区域中亮度值接近所述降速长条的出厂涂漆颜色对应的亮度值的像素点作为可靠像素点,将所述边缘外扩区域中亮度值远离所述降速长条的出厂涂漆颜色对应的亮度值的像素点作为失效像素点;
比例识别器件,与所述信号分拣器件连接,用于在所述边缘外扩区域中失效像素点占据所述边缘外扩区域所有像素点的数量比例大于预设比例数值时,发出带体更换信号;
异常上报器件,分别与所述比例识别器件和所述数据检测机构连接,用于在接收到带体更换信号时,将所述带体更换信号与所述降速长条所在位置的卫星定位数据一并打包并无线发送给远端的道路养护中心处的服务器;
其中,将所述边缘外扩区域中亮度值接近所述降速长条的出厂涂漆颜色对应的亮度值的像素点作为可靠像素点,将所述边缘外扩区域中亮度值远离所述降速长条的出厂涂漆颜色对应的亮度值的像素点作为失效像素点包括:当所述边缘外扩区域中某一像素点的亮度值与所述降速长条的出厂涂漆颜色对应的亮度值之差的绝对值低于等于设定差值阈值时,确定所述像素点为可靠像素点。
具体实施方式
下面将对本发明的异常数据实时上报系统的实施方案进行详细说明。
画质就是画面质量。包括清晰度、锐度、镜头畸变、色散度、解析度、色域范围、色彩纯度(色彩艳度)、色彩平衡等几方面指标。清晰度指影像上各细部影纹及其边界的清晰程度。
清晰度,一般是从录像机角度出发,通过看重放图像的清晰程度来比较图像质量,所以常用清晰度一词。 而摄像机一般使用分解力一词来衡量它“分解被摄景物细节”的能力。意思是从水平方向上看,相当于将每行扫描线竖立起来,然后乘上4/3(宽高比),构成水平方向的总线,称水平分解力。它会随CCD象素数的多少、和视频带宽而变化,像素愈多、带宽愈宽,分解力就愈高。PAL制电视机625行是标称垂直分解力,除去逆程的50行外,实际的有效垂直分解力为575线。目前,现场铺设的降速长条由于使用时长过久或者因为过度使用,例如,通行的重型卡车数量过多过于频繁,导致降速长条无法达到应有的降速效果,需要道路养护方进行及时维修甚至更换,然而,由于一条道路上铺设的降速长条数量过多,道路养护方难以同时对所有降速长条状态进行监控。
为了克服上述不足,本发明搭建了一种异常数据实时上报系统,能够有效解决相应的技术问题。
根据本发明实施方案示出的异常数据实时上报系统包括:
数据检测机构,设置在降速长条的附近,用于提供所述降速长条所在位置的卫星定位数据,所述降速长条的出厂涂漆颜色为白色;
录像操作机构,设置在所述降速长条的上方,用于采用俯视视角对所述降速长条执行均匀时间间隔的录像操作,以获得均匀时间间隔的各个时间点分别对应的各个录像画面;
画面选择机构,与所述录像操作机构连接,用于从所述各个录像画面中选择不存在构成车体目标的像素点且画质最优的录像画面作为待处理画面输出;
形状检测器件,与所述画面选择机构连接,用于基于降速长带的标准几何形状在所述待处理画面中搜索与降速长带的标准几何形状最匹配的成像区域以作为目标检测区域输出;
内容解析器件,与所述形状检测器件连接,用于在所述待处理画面中对所述目标检测区域进行边缘外扩处理以获得边缘形状与降速长带的标准几何形状完全一致的边缘外扩区域;
亮度提取器件,与所述内容解析器件连接,用于获取构成所述边缘外扩区域的每一个像素点的亮度值;
信号分拣器件,与所述亮度提取器件连接,用于将所述边缘外扩区域中亮度值接近所述降速长条的出厂涂漆颜色对应的亮度值的像素点作为可靠像素点,将所述边缘外扩区域中亮度值远离所述降速长条的出厂涂漆颜色对应的亮度值的像素点作为失效像素点;
比例识别器件,与所述信号分拣器件连接,用于在所述边缘外扩区域中失效像素点占据所述边缘外扩区域所有像素点的数量比例大于预设比例数值时,发出带体更换信号;
异常上报器件,分别与所述比例识别器件和所述数据检测机构连接,用于在接收到带体更换信号时,将所述带体更换信号与所述降速长条所在位置的卫星定位数据一并打包并无线发送给远端的道路养护中心处的服务器;
其中,将所述边缘外扩区域中亮度值接近所述降速长条的出厂涂漆颜色对应的亮度值的像素点作为可靠像素点,将所述边缘外扩区域中亮度值远离所述降速长条的出厂涂漆颜色对应的亮度值的像素点作为失效像素点包括:当所述边缘外扩区域中某一像素点的亮度值与所述降速长条的出厂涂漆颜色对应的亮度值之差的绝对值低于等于设定差值阈值时,确定所述像素点为可靠像素点。
接着,继续对本发明的异常数据实时上报系统的具体结构进行进一步的说明。
在所述异常数据实时上报系统中:
所述比例识别器件还用于在所述边缘外扩区域中失效像素点占据所述边缘外扩区域所有像素点的数量比例小于等于所述预设比例数值时,发出带体有效信号。
在所述异常数据实时上报系统中:
所述画面选择机构包括画面接收设备、车体检测设备、画质分析设备、画面解析设备和画面输出设备。
在所述异常数据实时上报系统中:
所述画面接收设备与所述录像操作机构连接,用于获得均匀时间间隔的各个时间点分别对应的各个录像画面。
在所述异常数据实时上报系统中:
所述车体检测设备与所述画面接收设备连接,用于检测每一个录像画面中的构成车体目标的像素点;
其中,所述画质分析设备与所述画面接收设备连接,用于检测每一个录像画面的画质。
在所述异常数据实时上报系统中:
所述画面解析设备分别与所述画质分析设备和所述车体检测设备连接,用于从所述各个录像画面中选择不存在构成车体目标的像素点且画质最优的录像画面作为待处理画面。
在所述异常数据实时上报系统中:
所述画面输出设备与所述画面解析设备连接,用于将所述待处理画面输出;
其中,所述画质分析设备与所述画面接收设备连接,用于检测每一个录像画面的画质包括:信噪比最高的录像画面,画质最优。
在所述异常数据实时上报系统中:
检测每一个录像画面中的构成车体目标的像素点包括:基于车体亮度数值范围识别每一个录像画面中的构成车体目标的像素点。
在所述异常数据实时上报系统中:
采用俯视视角对所述降速长条执行均匀时间间隔的录像操作,以获得均匀时间间隔的各个时间点分别对应的各个录像画面包括:所述均匀时间间隔的各个时间点在时间轴上占据的时长等于设定时间长度。
在所述异常数据实时上报系统中:
所述均匀时间间隔的各个时间点在时间轴上占据的时长等于设定时间长度包括:所述设定时间长度小于等于预设时长阈值。
另外,在所述异常数据实时上报系统中,将所述边缘外扩区域中亮度值接近所述降速长条的出厂涂漆颜色对应的亮度值的像素点作为可靠像素点,将所述边缘外扩区域中亮度值远离所述降速长条的出厂涂漆颜色对应的亮度值的像素点作为失效像素点包括:当所述边缘外扩区域中某一像素点的亮度值与所述降速长条的出厂涂漆颜色对应的亮度值之差的绝对值高于所述设定差值阈值时,确定所述像素点为失效像素点。
采用本发明的异常数据实时上报系统,针对现有技术中道路养护方无法同时对道路上各处降速长条执行状态高精度辨别的技术问题,通过利用降速长条的涂漆亮度特征从现场图像中判断降速长条是否过于陈旧或者缺失,同时引入了基于画质选择以及车体像素点识别的画面选择机制,从而完成对同一道路的所有降速长条状态的电子化检测操作。
尽管已参考示例性的实施方案对本发明进行了详尽的说明和描述,但本领域技术人员应当理解,可以在形式和细节上作出各种变化,而这些变化并不偏离如权利要求所定义的本发明的精神和范围。
Claims (8)
1.一种异常数据实时上报系统,其特征在于,所述系统包括:
数据检测机构,设置在降速长条的附近,用于提供所述降速长条所在位置的卫星定位数据,所述降速长条的出厂涂漆颜色为白色;
录像操作机构,设置在所述降速长条的上方,用于采用俯视视角对所述降速长条执行均匀时间间隔的录像操作,以获得均匀时间间隔的各个时间点分别对应的各个录像画面;
画面选择机构,与所述录像操作机构连接,用于从所述各个录像画面中选择不存在构成车体目标的像素点且画质最优的录像画面作为待处理画面输出;
形状检测器件,与所述画面选择机构连接,用于基于降速长带的标准几何形状在所述待处理画面中搜索与降速长带的标准几何形状最匹配的成像区域以作为目标检测区域输出;
内容解析器件,与所述形状检测器件连接,用于在所述待处理画面中对所述目标检测区域进行边缘外扩处理以获得边缘形状与降速长带的标准几何形状完全一致的边缘外扩区域;
亮度提取器件,与所述内容解析器件连接,用于获取构成所述边缘外扩区域的每一个像素点的亮度值;
信号分拣器件,与所述亮度提取器件连接,用于将所述边缘外扩区域中亮度值接近所述降速长条的出厂涂漆颜色对应的亮度值的像素点作为可靠像素点,将所述边缘外扩区域中亮度值远离所述降速长条的出厂涂漆颜色对应的亮度值的像素点作为失效像素点;
比例识别器件,与所述信号分拣器件连接,用于在所述边缘外扩区域中失效像素点占据所述边缘外扩区域所有像素点的数量比例大于预设比例数值时,发出带体更换信号;
异常上报器件,分别与所述比例识别器件和所述数据检测机构连接,用于在接收到带体更换信号时,将所述带体更换信号与所述降速长条所在位置的卫星定位数据一并打包并无线发送给远端的道路养护中心处的服务器;
其中,将所述边缘外扩区域中亮度值接近所述降速长条的出厂涂漆颜色对应的亮度值的像素点作为可靠像素点,将所述边缘外扩区域中亮度值远离所述降速长条的出厂涂漆颜色对应的亮度值的像素点作为失效像素点包括:当所述边缘外扩区域中某一像素点的亮度值与所述降速长条的出厂涂漆颜色对应的亮度值之差的绝对值低于等于设定差值阈值时,确定所述像素点为可靠像素点;
其中,将所述边缘外扩区域中亮度值接近所述降速长条的出厂涂漆颜色对应的亮度值的像素点作为可靠像素点,将所述边缘外扩区域中亮度值远离所述降速长条的出厂涂漆颜色对应的亮度值的像素点作为失效像素点包括:当所述边缘外扩区域中某一像素点的亮度值与所述降速长条的出厂涂漆颜色对应的亮度值之差的绝对值高于所述设定差值阈值时,确定所述像素点为失效像素点;
所述比例识别器件还用于在所述边缘外扩区域中失效像素点占据所述边缘外扩区域所有像素点的数量比例小于等于所述预设比例数值时,发出带体有效信号;
所述画面选择机构包括画面接收设备、车体检测设备、画质分析设备、画面解析设备和画面输出设备。
2.如权利要求1所述的异常数据实时上报系统,其特征在于:
所述画面接收设备与所述录像操作机构连接,用于获得均匀时间间隔的各个时间点分别对应的各个录像画面。
3.如权利要求2所述的异常数据实时上报系统,其特征在于:
所述车体检测设备与所述画面接收设备连接,用于检测每一个录像画面中的构成车体目标的像素点;
其中,所述画质分析设备与所述画面接收设备连接,用于检测每一个录像画面的画质。
4.如权利要求3所述的异常数据实时上报系统,其特征在于:
所述画面解析设备分别与所述画质分析设备和所述车体检测设备连接,用于从所述各个录像画面中选择不存在构成车体目标的像素点且画质最优的录像画面作为待处理画面。
5.如权利要求4所述的异常数据实时上报系统,其特征在于:
所述画面输出设备与所述画面解析设备连接,用于将所述待处理画面输出;
其中,所述画质分析设备与所述画面接收设备连接,用于检测每一个录像画面的画质包括:信噪比最高的录像画面,画质最优。
6.如权利要求1所述的异常数据实时上报系统,其特征在于:
检测每一个录像画面中的构成车体目标的像素点包括:基于车体亮度数值范围识别每一个录像画面中的构成车体目标的像素点。
7.如权利要求1所述的异常数据实时上报系统,其特征在于:
采用俯视视角对所述降速长条执行均匀时间间隔的录像操作,以获得均匀时间间隔的各个时间点分别对应的各个录像画面包括:所述均匀时间间隔的各个时间点在时间轴上占据的时长等于设定时间长度。
8.如权利要求7所述的异常数据实时上报系统,其特征在于:
所述均匀时间间隔的各个时间点在时间轴上占据的时长等于设定时间长度包括:所述设定时间长度小于等于预设时长阈值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111080179.2A CN113780196B (zh) | 2021-09-15 | 2021-09-15 | 异常数据实时上报系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111080179.2A CN113780196B (zh) | 2021-09-15 | 2021-09-15 | 异常数据实时上报系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113780196A CN113780196A (zh) | 2021-12-10 |
CN113780196B true CN113780196B (zh) | 2022-05-31 |
Family
ID=78843951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111080179.2A Active CN113780196B (zh) | 2021-09-15 | 2021-09-15 | 异常数据实时上报系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113780196B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113902714B (zh) * | 2021-10-12 | 2022-05-31 | 江阴仟亿日化包装有限公司 | 利用漆色分辨的信息收发平台 |
CN114170197B (zh) * | 2021-12-12 | 2022-07-29 | 江阴市源达电工材料有限公司 | 电线伸展状态识别系统 |
CN115016976B (zh) * | 2022-08-08 | 2022-11-25 | 深圳壹师城科技有限公司 | 一种根因定位方法、装置、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106758715A (zh) * | 2017-01-23 | 2017-05-31 | 中公高科养护科技股份有限公司 | 一种基于图像识别结果的路面小修工程量的测算方法 |
CN113389115A (zh) * | 2021-05-19 | 2021-09-14 | 哈尔滨工业大学(深圳) | 车辆特性和路面平整度检测方法、装置、设备及存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104008377A (zh) * | 2014-06-07 | 2014-08-27 | 北京联合大学 | 基于时空关联的地面交通标志实时检测识别方法 |
CN105891220B (zh) * | 2016-06-02 | 2019-04-30 | 昆山市交通工程试验检测中心有限公司 | 一种路面标志线缺陷检测装置及其检测方法 |
CN107463927A (zh) * | 2017-09-21 | 2017-12-12 | 广东工业大学 | 一种基于卷积神经网络的道路减速带检测方法及装置 |
CN108108703A (zh) * | 2017-12-27 | 2018-06-01 | 天津英创汇智汽车技术有限公司 | 减速带缺失检测方法、装置及电子设备 |
CN108918532B (zh) * | 2018-06-15 | 2021-06-11 | 长安大学 | 一种快速道路交通标志破损检测系统及其检测方法 |
CN109509190A (zh) * | 2018-12-19 | 2019-03-22 | 中国科学院重庆绿色智能技术研究院 | 视频监控图像筛选方法、装置、系统及存储介质 |
CN111401341B (zh) * | 2020-06-02 | 2020-09-08 | 弗徕威智能机器人科技(上海)有限公司 | 一种基于视觉的减速带检测方法、装置及其存储介质 |
-
2021
- 2021-09-15 CN CN202111080179.2A patent/CN113780196B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106758715A (zh) * | 2017-01-23 | 2017-05-31 | 中公高科养护科技股份有限公司 | 一种基于图像识别结果的路面小修工程量的测算方法 |
CN113389115A (zh) * | 2021-05-19 | 2021-09-14 | 哈尔滨工业大学(深圳) | 车辆特性和路面平整度检测方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
基于阈值ACF算法的减速带检测;周攀等;《工业控制计算机》;20180225(第02期);第93-94、96页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113780196A (zh) | 2021-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113780196B (zh) | 异常数据实时上报系统 | |
US8922619B2 (en) | Unmanned monitoring system and monitoring method using omni-directional camera | |
CN102450019B (zh) | 图像处理装置、图像生成系统、方法及程序 | |
CN100433830C (zh) | 使用全景图像的监视装置与监视方法 | |
WO2018056545A2 (ko) | 시정상태의 변화에 강인한 복합 필터링 방식의 감시카메라 및 그것이 적용된 영상감시시스템 | |
CN105554447A (zh) | 一种基于图像处理技术的采煤工作面实时视频拼接系统 | |
CN110008771B (zh) | 一种扫码系统及扫码方法 | |
JP3486229B2 (ja) | 画像変化検出装置 | |
CN104702906A (zh) | 高清监控视频系统及其控制方法 | |
US20170084032A1 (en) | Image processing method for unmanned aerial vehicle | |
WO2018159896A1 (ko) | 시정상태의 변화에 강인한 복합 필터링 기반의 오토포커싱 기능을 갖는 감시카메라 및 그것이 적용된 영상감시시스템 | |
CN106507079B (zh) | 一种色彩还原方法和装置 | |
CN113487559A (zh) | 一种变电站隔离开关开合状态实时检测方法 | |
CN115953726B (zh) | 机器视觉的集装箱箱面破损检测方法和系统 | |
KR20030021777A (ko) | 영상검지기를 이용한 교통정보시스템 및 그 방법 | |
US10726691B2 (en) | Communication module and wireless security camera system using same | |
CN113709218A (zh) | 一种煤装车自动装车控制方法 | |
Soeno et al. | Development of 8K-UHDTV system with wide-colour gamut and 120-Hz frame frequency | |
KR102579511B1 (ko) | 영상감시장치 및 그 장치의 구동방법, 영상감시시스템 및 컴퓨터 판독가능 기록매체 | |
CN113902714B (zh) | 利用漆色分辨的信息收发平台 | |
KR102336433B1 (ko) | 카메라를 이용한 수율 관리 시스템 및 방법 | |
US10554986B2 (en) | Encoding method and encoding device | |
US10902574B2 (en) | Information processing apparatus, image capture system, control method and storage medium | |
US20050134743A1 (en) | [method of inter-frame y/c seperation of ntsc] | |
CN112702526A (zh) | 一种基于pal制式的多视角视频处理装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |