CN106940789B - 一种基于视频识别的数量统计的方法、系统及装置 - Google Patents
一种基于视频识别的数量统计的方法、系统及装置 Download PDFInfo
- Publication number
- CN106940789B CN106940789B CN201710139798.1A CN201710139798A CN106940789B CN 106940789 B CN106940789 B CN 106940789B CN 201710139798 A CN201710139798 A CN 201710139798A CN 106940789 B CN106940789 B CN 106940789B
- Authority
- CN
- China
- Prior art keywords
- module
- camera
- counting
- video
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于视频识别的数量统计的方法、系统及装置,该方法包括以下步骤:S1:对各个摄像头获取到的视频图像进行区域分割,并建立相对应的识别区域;S2:对识别区域内的目标物进行特征识别,并对识别出来的目标物进行数量统计;S3:将该数量统计传输至一数据管理服务器。本发明的基于视频识别的数量统计系统通过图像识别技术实现对养殖家禽、牛羊数量的每日定时清点,并且实际清点数量的准确率和效率比人工效果好。
Description
技术领域
本发明属于图像识别技术领域,尤其涉及一种基于视频识别的数量统计的方法、系统及装置。
背景技术
随着国家对农业的扶持力度加大,农村养殖信贷业发展初具规模。现阶段,贷款审批放款后,由于家禽、牛、羊等养殖周期长,养殖过程中可能出现的病、害风险难以把控,需要派信贷审核员每月甚至每周定期下乡跟踪养殖情况,清点家禽、牛、羊等的数量;由于贷款发放的各个养殖场地处农村都比较偏远,分散在各地,路途都不算近、也并不集中,故而农业养殖信贷行业长期面临耗费较大人力物力用于跟进把控贷款风险的情况。同时,由于养殖的家禽、牛、羊数量一般都比较大,并且这些家禽、牛、羊放养于养殖场各处,且不停行走移动位置、数量清点工作进行也有较大难度。
发明内容
为了克服现有技术的不足,本发明的目的之一在于提供一种基于视频识别的数量统计的方法,其能通过视频实时了解养殖场内家禽的数量。
本发明的目的之二在于提供一种基于视频识别的数量统计的系统,其能通过视频实时了解养殖场内家禽的数量。
本发明的目的之三在于提供一种基于视频识别的数量统计的装置,其能通过视频实时了解养殖场内家禽的数量。
本发明的目的之一采用以下技术方案实现:
一种基于视频识别的数量统计的方法,包括以下步骤:
S1:对各个摄像头获取到的视频图像进行区域分割,并建立相对应的识别区域;
S2:对识别区域内的目标物进行特征识别,并对识别出来的目标物进行数量统计;
S3:将该数量统计传输至一数据管理服务器。
优选的,该步骤S1具体包括以下子步骤:
S11:获取各个摄像头同一时间点拍摄到的视频图像;
S12:根据摄像头拍摄到的标志物对视频图像进行区域分割;
S13:将分割后的视频图像作为相应摄像头的识别区域。
优选的,该步骤S2具体包括以下子步骤:
S21:获取识别区域内的目标物的特征向量;
S22:判断目标物的特征向量与目标物样本的特征向量之间的相似度是否超过预设值,如果是,则执行S23,如果否,则返回S21;
S23:对识别出来的目标物进行数量统计。
优选的,所述预设值为80%。
本发明的目的之二采用以下技术方案实现:
一种基于视频识别的数量统计的系统,包括摄像头、标志物和数据处理服务器;所述摄像头和标志物的数量均有多个;
所述摄像头用于获取拍摄区域的视频图像;
所述标志物用于为视频图像的区域分割提供参考点;
所述数据处理服务器用于执行如上所描述的基于视频识别的数量统计方法。
本发明的目的之三采用以下技术方案实现:
一种基于视频识别的数量统计的装置,包括以下模块:
第一区域分割模块:用于对各个摄像头获取到的视频图像进行区域分割,并建立相对应的识别区域;
特征比对模块:用于对识别区域内的目标物进行特征识别,并对识别出来的目标物进行数量统计;
信息传输模块:将该数量统计传输至一数据管理服务器。
优选的,所述第一区域分割模块具体包括以下子模块:
视频获取模块:用于获取各个摄像头同一时间点拍摄到的视频图像;
第二区域分割模块:用于根据摄像头拍摄到的标志物对视频图像进行区域分割;
识别区域划分模块:用于将分割后的视频图像作为相应摄像头的识别区域。
优选的,所述特征比对模块具体包括以下子模块:
特征获取模块:用于获取识别区域内的目标物的特征向量;
判断模块:用于判断目标物的特征向量与目标物样本的特征向量之间的相似度是否超过预设值,如果是,则执行数量统计模块,如果否,则返回特征获取模块;
数量统计模块:用于对识别出来的目标物进行数量统计。
优选的,所述预设值为80%。
相比现有技术,本发明的有益效果在于:
本发明的基于视频识别的数量统计系统通过图像识别技术实现对养殖家禽、牛羊数量的每日定时清点,并且实际清点数量的准确率和效率比人工效果好。
附图说明
图1为本发明的基于视频识别的数量统计系统的摄像头及标志物的布置示意图;
图2为本发明的基于视频识别的数量统计的方法的流程图;
图3为本发明的基于视频识别的数量统计的装置的结构图。
具体实施方式
下面,结合附图以及具体实施方式,对本发明做进一步描述:
如图2所示,本发明提供了一种基于视频识别的数量统计的方法,包括以下步骤:
S1:对各个摄像头获取到的视频图像进行区域分割,并建立相对应的识别区域;该步骤S1具体包括以下子步骤:
S11:获取各个摄像头同一时间点拍摄到的视频图像;
S12:根据摄像头拍摄到的标志物对视频图像进行区域分割;本发明的摄像头设置在养殖场的四周,使得摄像头能够捕捉到整个养殖场内的图像信息;标志物为设置于养殖场中的标志物,用于在对视频图像进行区域分割的时候,作为建立参考线的连线点;
S13:将分割后的视频图像作为相应摄像头的识别区域;建立识别区域的目的是由于各个摄像头拍摄到的图像由于覆盖区域是有重叠的,在进行目标物数量统计时需要对各个摄像头拍摄的图像进行区域分割,避免出现对重叠区域的重复统计,区域分割时,根据标志物绘制各个摄像头拍摄图像的对应识别区域参考线,识别时,仅对各个对应的参考线内的识别区域的目标物进行处理和识别统计,这样可以避免对图像中的重叠区域内的目标物重复统计;
S2:对识别区域内的目标物进行特征识别,并对识别出来的目标物进行数量统计;该步骤S2具体包括以下子步骤:
S21:获取识别区域内的目标物的特征向量;在本实施例中以鸡作为描述对象进行阐述;在进行目标物寻找时,先寻找构成目标物头部具有显著特点的各个部位的轮廓形状、大小、位置和距离等属性,然后再计算它们的几何特征量,通过这些特征量形成描述该目标物头部的特征向量;
S22:判断目标物的特征向量与目标物样本的特征向量之间的相似度是否超过预设值,如果是,则执行S23,如果否,则返回S21;所述预设值为80%;在进行比对的时候是与系统内的目标物头部样本集协方差矩阵的特征向量进行比对,只有当相似度超过80%的时候,才认为是一个目标物;
S23:对识别出来的目标物进行数量统计;分别统计各个视频图像中识别区域内的目标物头部数量,并累计汇总,得到目标物头部的总数,即为养殖场内目标物的总数;
S3:将该数量统计传输至一数据管理服务器。为了得到更精准的统计数据,从早上9点开始,每隔两个小时进行一次识别统计,在白天光线充足时段进行5次识别统计,然后将当天的5次统计数据取平均值,得到当日的目标物平均统计结果,数据处理服务器识别统计并保存分时段统计的数据和每日的平均数据,同时将该数据传输至数据管理服务器。该数据管理服务器将数据处理服务器的统计数据对应各个养殖场名称编号来进行保存,管理人员可以通过网络访问数据管理服务器查看统计数据和养殖场的实时监控视频信息;从而使得风控管理人员不需要频繁下乡到各个养殖场进行清点工作,仅仅通过视频就可以远程了解养殖情况,大量节约农村养殖信贷业的风控环节人力物力成本。
本实施例的工作原理:
如图1所示,其中1、2、3、4为布置在养殖场四周的1-4号摄像头;a1、a2、b1、b2、O为养殖场内设置的标志物;A1-O-A2,B1-O-B2为以标志物为参考点画的各个识别区域的分割参考线;
1号摄像头拍摄的区域进入识别流程时,数据处理服务器根据1号摄像头所在位置点1和A1-O-B1参考点绘制分割参考线,建立识别区域;2号摄像头拍摄的区域的识别区域为2号摄像头所在位置2点与A1-O-B2的连线内区域。在识别统计时只统计识别区域内的目标物。依照图所示,重叠区域则被分割线分割成2块后,在建立识别区域时分别分配给了1、2号摄像头对应拍摄的图片的识别区域,从而避免了重复统计。
相应的,3、4号摄像头拍摄的图片,也对应建立各个图像的识别区域即:3号摄像头的识别区域为3号摄像头所在位置点3与B2-O-A2的连线内区域,4号摄像头的识别区域为4号摄像头所在位置点4与B1-O-A2的连线内区域。
在本实施例中,统计目标物为鸡,检测的原理为:先分别寻找鸡的眼瞬膜、嘴、头顶肉冠、喉部两侧肉垂等头部的各部位轮廓的形状、大小、位置、距离等属性,然后再计算出它们的几何特征量,通过这些特征量形成描述该鸡头的特征向量,与系统的鸡头样本集协方差矩阵的特征向量进行对比,当相似性超过80%的认为是一个鸡头,即可以统计为一只鸡。因为鸡还分为公鸡、母鸡等不同品种,需要分别对应不同公鸡、母鸡等的鸡头特征进行识别判断和建立样本集,然后开始统计识别。除了鸡之外,还可以采集鸭、牛、羊和猪等家禽的数量。
由于视频图像的采集可以是同时对四个摄像头来进行采集,使得采集到的数据更为的准确,如果是风控人员去进行统计数据的时候,有时候数量比较多并且家禽都处于移动中,难免计算会存在偏差,导致统计的数据不够准确;当风控人员觉得哪家的养殖场中的数据出现异常的时候,可以先通过调取视频来进行观察,观察如果确实存在问题即可到现场进行实地勘测,大量节约了人力成本,也使得数据的收集更为的便利,能够更有效的为以后的工作提供相应的支持。
如图3所示,本发明提供了一种基于视频识别的数量统计的装置,包括以下模块:
第一区域分割模块:用于对各个摄像头获取到的视频图像进行区域分割,并建立相对应的识别区域;所述第一区域分割模块具体包括以下子模块:
视频获取模块:用于同时获取各个摄像头拍摄到的视频图像;
第二区域分割模块:用于根据摄像头拍摄到的标志物对视频图像进行区域分割;
识别区域划分模块:用于将分割后的视频图像作为相应摄像头的识别区域;
特征比对模块:用于对识别区域内的目标物进行特征识别,并对识别出来的目标物进行数量统计;所述特征比对模块具体包括以下子模块:
特征获取模块:用于获取识别区域内的目标物的特征向量;
判断模块:用于判断目标物的特征向量与目标物样本的特征向量之间的相似度是否超过预设值,如果是,则执行数量统计模块,如果否,则返回特征获取模块;
数量统计模块:用于对识别出来的目标物进行数量统计;
信息传输模块:将该数量统计传输至一数据管理服务器。
对本领域的技术人员来说,可根据以上描述的技术方案以及构思,做出其它各种相应的改变以及形变,而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。
Claims (5)
1.一种基于视频识别的数量统计的方法,其特征在于,应用于对养殖家禽数量的清点,包括以下步骤:
S1:对各个摄像头获取到的视频图像进行区域分割,并建立相对应的识别区域;所述摄像头设置在养殖场的四周;
S2:对识别区域内的目标物进行特征识别,并对识别出来的目标物进行数量统计;
S3:将该数量统计传输至一数据管理服务器;
步骤S1具体包括以下子步骤:
S11:获取各个摄像头同一时间点拍摄到的视频图像;
S12:根据摄像头拍摄到的标志物对视频图像进行区域分割;
S13:将分割后的视频图像作为相应摄像头的识别区域;
步骤S2具体包括以下子步骤:
S21:获取识别区域内的目标物的特征向量;所述特征向量包括目标头部具有特点的轮廓形状、大小、位置和距离属性;
S22:判断目标物的特征向量与目标物样本的特征向量之间的相似度是否超过预设值,如果是,则执行S23,如果否,则返回S21;
S23:对识别出来的目标物进行数量统计。
2.如权利要求1所述的基于视频识别的数量统计的方法,其特征在于,所述预设值为80%。
3.一种基于视频识别的数量统计的系统,其特征在于,包括摄像头、标志物和数据处理服务器;所述摄像头和标志物的数量均有多个;
所述摄像头用于获取拍摄区域的视频图像;
所述标志物用于为视频图像的区域分割提供参考点;
所述数据处理服务器用于执行如权利要求1-2中任意一项所述的基于视频识别的数量统计方法。
4.一种基于视频识别的数量统计的装置,其特征在于,应用于对养殖家禽数量的清点,包括以下模块:
第一区域分割模块:用于对各个摄像头获取到的视频图像进行区域分割,并建立相对应的识别区域;所述摄像头设置在养殖场的四周;
特征比对模块:用于对识别区域内的目标物进行特征识别,并对识别出来的目标物进行数量统计;
信息传输模块:将该数量统计传输至一数据管理服务器;
所述第一区域分割模块具体包括以下子模块:
视频获取模块:用于获取各个摄像头同一时间点拍摄到的视频图像;
第二区域分割模块:用于根据摄像头拍摄到的标志物对视频图像进行区域分割;
识别区域划分模块:用于将分割后的视频图像作为相应摄像头的识别区域;
所述特征比对模块具体包括以下子模块:
特征获取模块:用于获取识别区域内的目标物的特征向量;
判断模块:用于判断目标物的特征向量与目标物样本的特征向量之间的相似度是否超过预设值,如果是,则执行数量统计模块,如果否,则返回特征获取模块;
数量统计模块:用于对识别出来的目标物进行数量统计。
5.如权利要求4所述的基于视频识别的数量统计的装置,其特征在于,所述预设值为80%。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710139798.1A CN106940789B (zh) | 2017-03-10 | 2017-03-10 | 一种基于视频识别的数量统计的方法、系统及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710139798.1A CN106940789B (zh) | 2017-03-10 | 2017-03-10 | 一种基于视频识别的数量统计的方法、系统及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106940789A CN106940789A (zh) | 2017-07-11 |
CN106940789B true CN106940789B (zh) | 2021-08-31 |
Family
ID=59468674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710139798.1A Active CN106940789B (zh) | 2017-03-10 | 2017-03-10 | 一种基于视频识别的数量统计的方法、系统及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106940789B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109948395A (zh) * | 2017-12-20 | 2019-06-28 | 翔升(上海)电子技术有限公司 | 基于无人机的动物识别及数量统计方法与无人机 |
CN108230320A (zh) * | 2018-01-18 | 2018-06-29 | 上海爱优威软件开发有限公司 | 楼梯数量统计方法及系统 |
CN108874343B (zh) * | 2018-06-15 | 2022-04-29 | Oppo广东移动通信有限公司 | 预览视窗共享方法及装置 |
CN109522811A (zh) * | 2018-10-23 | 2019-03-26 | 中国人民解放军海军航空大学 | 一种物品搜寻系统及方法 |
CN109784239A (zh) * | 2018-12-29 | 2019-05-21 | 上海媒智科技有限公司 | 飞虫数量识别方法和装置 |
CN110503028B (zh) * | 2019-08-21 | 2023-12-15 | 腾讯科技(深圳)有限公司 | 确定区域中对象的分布的传感器、系统、方法和介质 |
CN110766654A (zh) * | 2019-09-09 | 2020-02-07 | 深圳市德孚力奥科技有限公司 | 基于机器学习的活禽检测方法、装置、设备及可读介质 |
CN111339912B (zh) * | 2020-02-24 | 2023-04-18 | 中国科学院植物研究所 | 一种基于遥感影像识别牛羊的方法和系统 |
CN111369378A (zh) * | 2020-02-25 | 2020-07-03 | 成都睿畜电子科技有限公司 | 一种基于计算机视觉识别的生猪监管方法及系统 |
US11263454B2 (en) * | 2020-05-25 | 2022-03-01 | Jingdong Digits Technology Holding Co., Ltd. | System and method for video-based pig counting in the crowd |
CN112738458A (zh) * | 2020-12-21 | 2021-04-30 | 山东产研信息与人工智能融合研究院有限公司 | 一种基于视频识别的棉包数量检测装置和方法 |
CN114219767B (zh) * | 2021-11-24 | 2022-08-19 | 慧之安信息技术股份有限公司 | 一种基于物联网边缘盒子的羊群计数管理方法 |
CN115187636B (zh) * | 2022-07-26 | 2023-09-19 | 金华市水产技术推广站(金华市水生动物疫病防控中心) | 一种基于多窗口的鱼苗识别计数方法及系统 |
CN115641458B (zh) * | 2022-10-14 | 2023-06-20 | 吉林鑫兰软件科技有限公司 | 用于待统计目标养殖的ai识别系统及银行风控应用方法 |
CN116453061B (zh) * | 2023-06-08 | 2023-10-03 | 厦门农芯数字科技有限公司 | 一种基于图像识别的远程卖猪监管方法、装置以及设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102354378A (zh) * | 2011-05-20 | 2012-02-15 | 北京理工大学 | 基于图像识别和网络的教室管理系统 |
CN103824114A (zh) * | 2014-01-26 | 2014-05-28 | 中山大学 | 一种基于截面流量统计的行人流量计数方法和系统 |
CN104123776A (zh) * | 2014-07-31 | 2014-10-29 | 上海汇纳信息科技股份有限公司 | 一种基于图像的对象统计方法及系统 |
CN104217206A (zh) * | 2013-05-31 | 2014-12-17 | 上海亚视信息科技有限公司 | 基于高清视频的实时上座率统计方法 |
CN105635696A (zh) * | 2016-03-22 | 2016-06-01 | 南阳理工学院 | 一种统计方法及装置 |
CN105898216A (zh) * | 2016-04-14 | 2016-08-24 | 武汉科技大学 | 一种利用无人机进行的人数计数方法 |
CN106303447A (zh) * | 2016-08-29 | 2017-01-04 | 深圳泰首智能技术有限公司 | 一种监控方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100568262C (zh) * | 2007-12-29 | 2009-12-09 | 浙江工业大学 | 基于多摄像机信息融合的人脸识别检测装置 |
CN106096567B (zh) * | 2016-06-20 | 2019-04-16 | 深圳市深网视界科技有限公司 | 基于图像识别技术的人群安全指数计算方法及装置 |
-
2017
- 2017-03-10 CN CN201710139798.1A patent/CN106940789B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102354378A (zh) * | 2011-05-20 | 2012-02-15 | 北京理工大学 | 基于图像识别和网络的教室管理系统 |
CN104217206A (zh) * | 2013-05-31 | 2014-12-17 | 上海亚视信息科技有限公司 | 基于高清视频的实时上座率统计方法 |
CN103824114A (zh) * | 2014-01-26 | 2014-05-28 | 中山大学 | 一种基于截面流量统计的行人流量计数方法和系统 |
CN104123776A (zh) * | 2014-07-31 | 2014-10-29 | 上海汇纳信息科技股份有限公司 | 一种基于图像的对象统计方法及系统 |
CN105635696A (zh) * | 2016-03-22 | 2016-06-01 | 南阳理工学院 | 一种统计方法及装置 |
CN105898216A (zh) * | 2016-04-14 | 2016-08-24 | 武汉科技大学 | 一种利用无人机进行的人数计数方法 |
CN106303447A (zh) * | 2016-08-29 | 2017-01-04 | 深圳泰首智能技术有限公司 | 一种监控方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106940789A (zh) | 2017-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106940789B (zh) | 一种基于视频识别的数量统计的方法、系统及装置 | |
CN108875647B (zh) | 一种基于牲畜身份的移动轨迹监测方法和系统 | |
CN108990831B (zh) | 一种牲畜健康监控方法和系统 | |
CN108921105B (zh) | 识别目标数量的方法、装置及计算机可读存储介质 | |
CN104764533A (zh) | 基于无人机图像采集和红外热像仪的智能农业系统 | |
CN110991222B (zh) | 一种物体状态监测、母猪发情监测方法、装置及系统 | |
CN108874910B (zh) | 基于视觉的小目标识别系统 | |
Rong et al. | Pest Identification and Counting of Yellow Plate in Field Based on Improved Mask R‐CNN | |
CN108829762A (zh) | 基于视觉的小目标识别方法和装置 | |
KR102584357B1 (ko) | 반문 이미지를 기반으로 한 축산 동물의 개체 식별 장치 및 영상을 기반으로 한 가축 행동 패턴 분류 시스템 및 가축 행동 패턴 분류 방법 | |
CN111274975A (zh) | 猪只采食行为预测方法及装置 | |
CN116824626A (zh) | 一种动物异常状态人工智能识别的方法 | |
CN112116206A (zh) | 一种基于大数据的智慧农业系统 | |
CN104007733A (zh) | 一种对农业集约化生产进行监控的系统及方法 | |
CN116300608A (zh) | 一种基于大数据的智慧农业远程监控系统 | |
CN112883915B (zh) | 一种基于迁移学习的麦穗自动识别方法和系统 | |
CN117218534A (zh) | 一种农作物叶部病害识别方法 | |
KR102172347B1 (ko) | 농장 가축 상태 평가 방법 및 시스템 | |
CN117197595A (zh) | 基于边缘计算的果树生育期识别方法、装置及管理平台 | |
CN111985472A (zh) | 基于人工智能和主动球机的食槽干草温度图像处理方法 | |
CN109684960B (zh) | 落叶剂的喷洒时间的确定方法及系统 | |
CN114821658B (zh) | 牛脸识别方法、运行控制装置、电子设备及存储介质 | |
CN115100683A (zh) | 估重方法、装置、设备及存储介质 | |
CN112070791A (zh) | 一种提升畜牧个体点数精度和效率的方法和系统 | |
CN112291510A (zh) | 一种基于自动识别的农事监控系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |