CN111260635B - 一种全自动眼底照片获取、眼病预警及个性化管理系统 - Google Patents

一种全自动眼底照片获取、眼病预警及个性化管理系统 Download PDF

Info

Publication number
CN111260635B
CN111260635B CN202010052971.6A CN202010052971A CN111260635B CN 111260635 B CN111260635 B CN 111260635B CN 202010052971 A CN202010052971 A CN 202010052971A CN 111260635 B CN111260635 B CN 111260635B
Authority
CN
China
Prior art keywords
module
fundus
neural network
unit
artificial neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010052971.6A
Other languages
English (en)
Other versions
CN111260635A (zh
Inventor
孟巍
施丹莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huishi Medical Technology Co ltd
Original Assignee
Guangzhou Huishi Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huishi Medical Technology Co ltd filed Critical Guangzhou Huishi Medical Technology Co ltd
Priority to CN202010052971.6A priority Critical patent/CN111260635B/zh
Publication of CN111260635A publication Critical patent/CN111260635A/zh
Application granted granted Critical
Publication of CN111260635B publication Critical patent/CN111260635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种轻量化人工神经网络嵌入的全自动眼底照片获取、眼病识别、个性化管理系统,包括视觉信息采集传感器、交互式语音引导装置、多光谱眼底照相机、轻量化人工神经网络嵌入的智能硬件、云平台。该系统可提供方便快捷、操作性强、覆盖面广、敏感性高的眼病筛查和健康管理服务。

Description

一种全自动眼底照片获取、眼病预警及个性化管理系统
技术领域
本发明涉及一种眼病的筛查设备,具体涉及一种全自动眼底照片获取、眼病识别及健康管理系统。
背景技术
眼睛是人获取信息最重要的器官之一,眼部发生不可逆的致盲性疾病,将严重影响患者的生存质量。故眼部疾病的早期筛查,个性化宣传健康的用眼护眼知识,加强高危人群的健康管理意识,防患于未然很重要。同时对于眼部出现异常的患者进行及时转诊、使其能够得到及时的、规范的治疗很有必要。
由于我国人口基数大、地区分布不均、卫生诊疗技术和基础设施差异大,使得在真实情况下的眼部筛查难以覆盖足够多的人群。三级医院人满为患,大部分的分级和筛查工作占用了优质的医疗资源,加重了眼科医生的负担,同时可能使得真正需要及时进行治疗的患者受到延误。
发明内容
本发明的目的是克服现有技术中的不足,提供一种在真实环境中全自动的眼底照片获取、眼病识别及个性化管理系统。
为实现上述目的,本发明所采用的技术方案是:
一种轻量化人工神经网络的全自动眼底照片获取、眼病识别、个性化管理系统,包括视觉信息采集传感器、交互式语音引导装置、多光谱眼底照相机、轻量化人工神经网络的智能硬件、云平台。所述轻量化人工神经网络包括:
1)行为识别单元,该单元包括:
(1)距离识别模块:用以在视觉信息采集传感器传送过来的信息中,通过仿射变换探测目标距离;
(2)关键点识别模块:用以在定位后的目标中检测目标运动的轴心和轴心运动轨迹;(3)动作识别模块:用检测到的距离和关键点判断目标动作;
2)交互式引导单元,该单元包括:
(1)受检者引导模块:用以接收动作识别模块的输出,产生决策,输入语音引导装置,指引受检者完成检查流程;
(2)环境配置模块:用以接收动作识别模块的输出,产生决策,输入多光谱眼底照相机模块,自动开启照相机,关闭环境灯光,调整照相机位置;
3)眼底照片拍摄质量判定单元,该单元包括:
(1)亮度检测模块:用以判断拍摄亮度是否达标,是否有反光,伪影;
(2)清晰度检测模块:用以判断拍摄清晰度是否达标;
(3)完整度检测模块:用以判断所拍摄眼底是否完整,是否有遮挡,黄斑和视盘区域是否被采集;
4)眼底疾病识别单元,该单元包括:
(1)异常识别模块:判断眼底照片是否有异常;
(2)异常分类模块:将异常眼底照片根据疾病进行分类,明确疾病类别,对于网络判定不能识别的分类不予分类;
5)个性化管理单元,该单元包括:
(1)云平台数据管理模块:将数据进行交互式展示;
(2)健康管理模块:根据眼底疾病识别单元给出的诊断,个性化宣传护眼、爱眼知识,给出随访意见;
(3)转诊模块:根据眼底是否异常,判断疾病严重程度,提出预警,给出转诊和随访意见;
6)数据储存单元,该单元包括:
(1)信息匹配模块:根据采集到的眼底图片和诊断信息与受检者既往的检查记录进行匹配,调取受检者既往信息与本次检查进行比较;
(2)信息储存模块:将采集到的眼底图片和诊断信息与受检者既往的检查记录进行匹配,上传和归档。
进一步地,所述轻量化人工神经网络还包括自适应结构调整单元,根据不同来源的输入信息:
(1)调整人工神经网络的连接方式、特征提取结构、人工神经网络的宽度和深度,在不降低性能的前提下将网络参数量控制在最小,运行速度最快。方法如下:判断输入层的维度大小,如果为一维,选择循环神经网络作为特征提取结构与输入相连,如果为三维,选择卷积神经网络作为特征提取结构与输入相连;根据目标输入图片的形状和分辨率大小设计最佳的特征提取结构的并联、串联、不同数量的组合,在不降低人工神经网络预测准确性的前提下,选择网络参数最少,运行最快的结构组合。
(2)调整输出方式,将处理结果输送到不同的处理单元,完成不同的功能。方法如下:如果输入来自视觉信息采集传感器,人工神经网络的输出连接至行为识别单元;如果输入来自行为识别单元,人工神经网络的输出分别连接至语音引导装置和眼底照相机设备;如果输入来自眼底照相机,人工神经网络的输出连接至拍摄质量判定单元;如果输入来自拍摄质量判定单元,判定为未通过则人工神经网络的输出连接至眼底照相机和语音引导单元,判定为通过则人工神经网络的输出连接至眼底疾病识别单元;如果输入来自眼底疾病识别单元,人工神经网络的输出连接至个性化管理单元;如果输入来自个性化管理单元,人工神经网络的输出连接至信息储存单元。
本发明的有益效果:提供一种全自动眼底照片获取、眼病识别及健康管理系统,在真实环境中可实时探测和跟踪目标位置、判断目标行为并确认信息,交互式指引受检者知悉检测流程,采集眼底照片后,对采集的照片成像质量进行判定,对通过判定的照片快速做出判断,并为受检者提供个性化护眼、爱眼知识,提高其健康管理意识,同时对于异常的眼底照片给出预警信息和就诊建议,最后将采集到的眼底图片和诊断信息上传至云平台以供随访。该系统可提供方便快捷、操作性强、覆盖面广、敏感性高的眼病筛查和健康管理服务。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细说明。
图1为本发明的结构示意框图。
图2为人工神经网络各单元的结构框图及连接图。
图3为人工神经网络的自适应结构调整流程图。
具体实施方式
如图1所示,一种轻量化人工神经网络嵌入的全自动眼底照片获取、眼病识别、个性化管理系统,包括视觉信息采集传感器、语音引导装置、多光谱眼底照相机、轻量化人工神经网络嵌入的智能硬件、云平台。
如图2所示,所述人工神经网络各单元包括:
1)行为识别单元,该单元包括:
(1)距离识别模块:用以在视觉信息采集传感器传送过来的信息中,通过仿射变换探测目标距离;
(2)关键点识别模块:用以在定位后的目标中检测目标运动的轴心和轴心运动轨迹;(3)动作识别模块:用检测到的距离和关键点判断目标动作;
2)交互式引导单元,该单元包括:
(1)受检者引导模块:用以接收动作识别模块的输出,产生决策,输入语音引导装置,指引受检者完成检查流程;
(2)环境配置模块:用以接收动作识别模块的输出,产生决策,输入多光谱眼底照相机模块,自动开启照相机,关闭环境灯光,调整照相机位置;
3)眼底照片拍摄质量判定单元,该单元包括:
(1)亮度检测模块:用以判断拍摄亮度是否达标,是否有反光,伪影;
(2)清晰度检测模块:用以判断拍摄清晰度是否达标;
(3)完整度检测模块:用以判断所拍摄眼底是否完整,是否有遮挡,黄斑和视盘区域是否被采集;
4)眼底疾病识别单元,该单元包括:
(1)异常识别模块:判断眼底照片是否有异常;
(2)异常分类模块:将异常眼底照片根据疾病进行分类,明确疾病类别,对于人工神经网络判定不能识别的分类不予分类;
5)个性化管理单元,该单元包括:
(1)云平台数据管理模块:将数据进行交互式展示;
(2)健康管理模块:根据眼底疾病识别单元给出的诊断,个性化宣传护眼、爱眼知识,给出随访意见;
(3)转诊模块:根据眼底是否异常,判断疾病严重程度,提出预警,给出转诊和随访意见。
6)数据储存单元,该单元包括:
(1)信息匹配模块:根据采集到的眼底图片和诊断信息与受检者既往的检查记录进行匹配,调取受检者既往信息与本次检查进行比较;
(2)信息储存模块:将采集到的眼底图片和诊断信息与受检者既往的检查记录进行匹配,上传和归档。
如图3所示,所述自适应结构调整流程如下:
(1)调整人工神经网络的连接方式、特征提取结构、网络的宽度和深度,在不降低性能的前提下将人工神经网络参数量控制在最小,运行速度最快。方法如下:判断输入层的维度大小,如果为一维,选择循环神经网络作为特征提取结构与输入相连,如果为三维,选择卷积神经网络作为特征提取结构与输入相连;根据目标输入图片的形状和分辨率大小设计最佳的特征提取结构的并联、串联、不同数量的组合,在不降低人工神经网络预测准确性的前提下,选择人工神经网络参数最少,运行最快的结构组合。
(2)调整输出方式,将处理结果输送到不同的处理单元,完成不同的功能。方法如下:如果输入来自视觉信息采集传感器,人工神经网络的输出连接至行为识别单元;如果输入来自行为识别单元,人工神经网络的输出分别连接至语音引导装置和眼底照相机设备;如果输入来自眼底照相机,人工神经网络的输出连接至拍摄质量判定单元;如果输入来自拍摄质量判定单元,判定为未通过则人工神经网络的输出连接至眼底照相机和语音引导单元,判定为通过则人工神经网络的输出连接至眼底疾病识别单元;如果输入来自眼底疾病识别单元,人工神经网络的输出连接至个性化管理单元;如果输入来自个性化管理单元,人工神经网络的输出连接至信息储存单元。输出的连接方式见图2。
以上所述是本发明的优选实施方式而已,当然不能以此来限定本发明之权利范围,应当指出,对于本技术领域的普通技术人员来说,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的保护范围。

Claims (1)

1.一种全自动眼底照片获取、眼病预警及个性化管理系统,包括视觉信息采集传感器、交互式语音引导装置、多光谱眼底照相机、轻量化人工神经网络嵌入的智能硬件、云平台;
所述轻量化人工神经网络包括:行为识别单元、交互式引导单元、眼底照片拍摄质量判定单元、数据储存单元;
其中行为识别单元包括:
距离识别模块:用以在视觉信息采集传感器传送过来的信息中,通过仿射变换探测目标距离;
关键点识别模块:用以在定位后的目标中检测目标运动的轴心和轴心运动轨迹;
动作识别模块:用检测到的距离和关键点判断目标动作;
其中交互式引导单元包括:受检者引导模块:用以接收动作识别模块的输出,产生决策,输入语音引导装置,指引受检者完成检查流程;
环境配置模块:用以接收动作识别模块的输出,产生决策,输入多光谱眼底照相机模块,自动开启照相机,关闭环境灯光,调整照相机位置;
其中眼底照片拍摄质量判定单元包括:
亮度检测模块:用以判断拍摄亮度是否达标,是否有反光,伪影;
清晰度检测模块:用以判断拍摄清晰度是否达标;
完整度检测模块:用以判断所拍摄眼底是否完整,是否有遮挡,黄斑和视盘区域是否被采集;
其中眼底疾病识别单元包括:
异常识别模块:判断眼底照片是否有异常;
异常分类模块:将异常眼底照片根据疾病进行分类,明确疾病类别,对于人工神经网络判定不能识别的分类不予分类;
其中个性化管理单元包括:
云平台数据管理模块:将数据进行交互式展示;
健康管理模块:根据眼底疾病识别单元给出的诊断,个性化宣传护眼、爱眼知识,给出随访意见;
转诊模块:根据眼底是否异常,判断疾病严重程度,提出预警,给出转诊和随访意见;
其中数据储存单元包括:
信息匹配模块:根据采集到的眼底图片和诊断信息与受检者既往的检查记录进行匹配,调取受检者既往信息与本次检查进行比较;
信息储存模块:将采集到的眼底图片和诊断信息与受检者既往的检查记录进行匹配,上传和归档;
所述轻量化人工神经网络还包括自适应结构调整单元,所述的自适应结构调整单元根据不同来源的输入信息调整人工神经网络的连接方式、特征提取结构、人工神经网络的宽度和深度,具体步骤如下:
S1:判断输入层的维度大小,如果为一维,选择循环神经网络作为特征提取结构与输入相连,如果为三维,选择卷积神经网络作为特征提取结构与输入相连;
S2:根据目标输入图片的形状和分辨率大小设计最佳的特征提取结构的并联、串联、不同数量的组合;
S3:调整输出方式,将处理结果输送到不同的处理单元,完成不同的功能,方法如下:如果输入来自视觉信息采集传感器,人工神经网络的输出连接至行为识别单元;如果输入来自行为识别单元,人工神经网络的输出分别连接至语音引导装置和眼底照相机设备;如果输入来自眼底照相机,人工神经网络的输出连接至拍摄质量判定单元;如果输入来自拍摄质量判定单元,判定为未通过则人工神经网络的输出连接至眼底照相机和语音引导单元,判定为通过则人工神经网络的输出连接至眼底疾病识别单元;如果输入来自眼底疾病识别单元,人工神经网络的输出连接至个性化管理单元;如果输入来自个性化管理单元,人工神经网络的输出连接至信息储存单元。
CN202010052971.6A 2020-01-17 2020-01-17 一种全自动眼底照片获取、眼病预警及个性化管理系统 Active CN111260635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010052971.6A CN111260635B (zh) 2020-01-17 2020-01-17 一种全自动眼底照片获取、眼病预警及个性化管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010052971.6A CN111260635B (zh) 2020-01-17 2020-01-17 一种全自动眼底照片获取、眼病预警及个性化管理系统

Publications (2)

Publication Number Publication Date
CN111260635A CN111260635A (zh) 2020-06-09
CN111260635B true CN111260635B (zh) 2023-05-05

Family

ID=70945339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010052971.6A Active CN111260635B (zh) 2020-01-17 2020-01-17 一种全自动眼底照片获取、眼病预警及个性化管理系统

Country Status (1)

Country Link
CN (1) CN111260635B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744254A (zh) * 2021-09-08 2021-12-03 中山大学中山眼科中心 一种眼底图像分析方法、系统、存储介质和计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013198587A (ja) * 2012-03-23 2013-10-03 Lion Power Kk 眼底撮影システム、眼底撮影装置、及び眼底画像管理システム
CN107045720A (zh) * 2017-05-04 2017-08-15 深圳硅基智能科技有限公司 用于识别眼底图像病变的人工神经网络及系统
CN110334575A (zh) * 2019-04-29 2019-10-15 上海交通大学 眼底照片识别方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013198587A (ja) * 2012-03-23 2013-10-03 Lion Power Kk 眼底撮影システム、眼底撮影装置、及び眼底画像管理システム
CN107045720A (zh) * 2017-05-04 2017-08-15 深圳硅基智能科技有限公司 用于识别眼底图像病变的人工神经网络及系统
CN110334575A (zh) * 2019-04-29 2019-10-15 上海交通大学 眼底照片识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111260635A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN104123536B (zh) 用于图像分析的系统和方法
US20090115966A1 (en) System for analyzing eye responses to automatically determine impairment of a subject
CN111128382B (zh) 一种人工智能多模成像分析装置
KR20020073116A (ko) 안면화상 촬영장치 및 안면화상 촬영방법
US11974808B2 (en) Anterior eye disease diagnostic system and diagnostic method using same
CN110766656B (zh) 筛查眼底黄斑区异常的方法、装置、设备和存储介质
CN111539313A (zh) 考试作弊行为检测方法及系统
CN106821324A (zh) 一种基于舌面和舌下综合分析的舌诊辅助医疗系统
US20220133215A1 (en) Method for evaluating skin lesions using artificial intelligence
CN211862821U (zh) 一种基于深度学习的孤独症辅助评估系统
CN112890815A (zh) 一种基于深度学习的孤独症辅助评估系统和方法
CN111260635B (zh) 一种全自动眼底照片获取、眼病预警及个性化管理系统
Yadav et al. Computer‐aided diagnosis of cataract severity using retinal fundus images and deep learning
CN113096819A (zh) 一种基于神经卷积网络的疫情防控筛查预警系统
CN112837828A (zh) 用于自动化健康护理服务的系统、装置和方法
US20210390692A1 (en) Detecting and tracking macular degeneration
CN116665281B (zh) 一种基于医患交互的关键情绪提取方法
CN112634221A (zh) 基于图像和深度的角膜层次识别及病变定位方法和系统
CN111161257A (zh) 一种广域眼底图像质量控制的方法及人工智能系统
CN110960194B (zh) 一种耳相采集装置及采集方法
CN113139935A (zh) 裂隙灯图片质量监控系统
KR102418399B1 (ko) 인공지능 기반 치매 조기 진단 플랫폼
Caya et al. Development of Pupil Diameter Determination using Tiny-YOLO Algorithm
US20230233120A1 (en) Automated impairment detection system and method
KR102248251B1 (ko) 체열정보를 이용한 의료진단 보조장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 601, 6th floor, No. 100-67 Xianlie Middle Road, Yuexiu District, Guangzhou City, Guangdong Province, 510070

Applicant after: Guangzhou Huishi Medical Technology Co.,Ltd.

Address before: Room 701, 2 Stairs, No. 89, Zhanxi Road, Yuexiu District, Guangzhou, Guangdong 510010

Applicant before: Guangzhou Huishi Medical Technology Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 601, 6th floor, No. 100-67 Xianlie Middle Road, Yuexiu District, Guangzhou City, Guangdong Province, 510070

Applicant after: Guangzhou Huishi Medical Technology Co.,Ltd.

Address before: Room 701, 2 Stairs, No. 89, Zhanxi Road, Yuexiu District, Guangzhou, Guangdong 510010

Applicant before: Guangzhou Huishi Medical Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant