CN108648182A - 一种基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法 - Google Patents

一种基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法 Download PDF

Info

Publication number
CN108648182A
CN108648182A CN201810393335.2A CN201810393335A CN108648182A CN 108648182 A CN108648182 A CN 108648182A CN 201810393335 A CN201810393335 A CN 201810393335A CN 108648182 A CN108648182 A CN 108648182A
Authority
CN
China
Prior art keywords
magnetic resonance
breast cancer
nuclear magnetic
tumor region
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810393335.2A
Other languages
English (en)
Other versions
CN108648182B (zh
Inventor
徐军
马伟
孙明建
徐海俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201810393335.2A priority Critical patent/CN108648182B/zh
Publication of CN108648182A publication Critical patent/CN108648182A/zh
Application granted granted Critical
Publication of CN108648182B publication Critical patent/CN108648182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明涉及一种基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法，属于图像信息处理技术领域。动态选择乳腺癌核磁共振图像1％‑99％范围的CT值进行归一化预处理后输入YOLO_v2检测模型，验证集的损失及分类准确率、获得深度检测网络模型，并将图片送入该模型得到检测框；然后采用k‑mean算法聚类出乳腺癌核磁共振图片医生标记区域中心点取出144*144像素点的块，送入SegNet分割模型进行训练，得出肿瘤区域分割模型，根据之前获得的检测框选择144*144像素块送入该区域分割模型得到分割概率图，再将该图根据之前获得的置信度最大框中心点映射到原图，即得最终肿瘤分割图。具有分割效率、准确率高等优点。

Description

一种基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法
技术领域
本发明公开一种基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法，属于图像信息处理技术领域。
背景技术
乳腺癌是危害妇女健康的主要恶性肿瘤之一，也是我国近几年发病率增长较快的恶性肿瘤之一。乳腺癌主要分为四种分子亚型：Luminal-A、Luminal-B、HER2、3-negative，分子亚型与乳腺癌的患者预后、治疗方式以及治疗反应密切相关。不同分子亚型的乳腺癌在总生存期和是否复发等问题存在明显差异。分割乳腺癌肿瘤区域主要是依靠影像学医生进行手动标记，耗时耗力。由于近年来计算机的存储性能和计算性能的大幅度提高，借助计算机进行诊断已经慢慢流行开来。但是在我国图像处理的技术研究仍然很少，所以研究一套针对影像学图像的分析工具十分重要。
研究计算机辅助系统(CAD)的目标不是为了完全代替医生，而是为了向医生提供更加准确的客观建议从而提高医生的工作效率，得到更加准确的诊断结果。虽然计算机辅助诊断具有诸多优势，但由于影像学图像呈现出高度的复杂性使得影像学图像的自动分析仍然是一个极具有挑战性的研究领域。
一个高效准确的乳腺癌分割方法能够提供精确的肿瘤区域，并且得到的结果可以延伸到将来影像学分析系统之中，为医生提供定量化的诊断信息，减小依靠经验观测图像所带来的主观误差；同时高效的分析系统将缩短病情分析的等待过程，为病人提供宝贵的治疗时间。
发明内容
本发明所要解决的技术问题是针对传统依靠人工手动标记乳腺癌肿瘤区域耗时耗力的不足，提出一种乳腺癌核磁共振图像分割方法，利用深度学习自动分割乳腺癌核磁共振图像中肿瘤区域，减小图像观测的主观误差，提高标记分割效率。
为解决上述技术问题，本发明提供一种基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法，具体步骤是：
(1)预处理核磁共振图像：动态选择乳腺癌核磁共振图整张图像1％-99％范围的CT值，对其进行归一化预处理，解决核磁共振技术本身原因而导致每张图像肿瘤区域的CT值不固定问题；
(2)粗检测肿瘤区域：采用YOLO_v2检测模型，将经步骤(1)处理得到的图片作为检测模型的输入，反复验证集的损失及分类准确率、调整神经网络的权值，获得网络权值系数准确率较高、损失值较小的深度检测网络模型，再将图片送入该深度检测模型得到检测框；由于乳腺癌肿瘤区域本身较小，所以先进行肿瘤区域的粗检测；
(3)精分割肿瘤区域：采用k-mean算法聚类出乳腺癌核磁共振图片医生标记区域中心点取出144*144像素点的块，送入SegNet图像分割模型进行训练，得出肿瘤区域分割模型，再根据步骤(2)得到的检测框选择144*144像素块送入该肿瘤区域分割模型，得到分割概率图；
(4)获取肿瘤分割图：从步骤(3)得到的分割概率图，根据步骤(2)获得的置信度最大框中心点映射到原图，得到最终的肿瘤分割图。
所述步骤(1)中，经归一化预处理的图像，再通过翻转、镜像、调整对比度等，进行图像数据增强处理，以获得更好的鲁棒性。
所述步骤(2)中，深度检测网络模型的网络权值系数损失值一般小于0.01，可以根据实际需要具体确定。
本发明方法采用现有影像学图像分析计算机辅助系统和设备配合实施。
本发明将深度学习领域的方法应用到乳腺癌核磁共振图像分割中，从而可以有效提高影像判断乳腺癌的准确率，减少人工分割图像的工作量和图像观测的主观误差，具有可提高标记分割的效率和准确率，防止由于医生的误诊和过度的治疗对病人造成的伤害，降低对人工判断经验的要求等优点，可针对不同分子亚型进行很好的分割。
附图说明
图1是本发明分子亚型的腺癌肿瘤区域的分割方法流程图；
图2是本发明基于深度学习的乳腺癌区域检测分割方法流程图；
图3是本发明实施例Luminal-A分子亚型腺癌肿瘤区域分割示例图；
图4是本发明实施例Luminal-B分子亚型腺癌肿瘤区域分割示例图；
图5是本发明实施例HER2分子亚型腺癌肿瘤区域分割示例图；
图6是本发明实施例3-negative分子亚型腺癌肿瘤区域分割示例图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步详尽描述，实施例中未注明的技术或产品，均为现有技术或可以通过购买获得的常规产品。
实施例1：如图1-2所示，本基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法，用于Luminal-A分子亚型腺癌肿瘤区域分割，具体步骤是：
(1)预处理核磁共振图像：动态选择乳腺癌核磁共振图整张图像1％-99％范围的CT值，对其进行归一化预处理，解决核磁共振技术本身原因而导致每张图像肿瘤区域的CT值不固定问题，再通过翻转、镜像、调整对比度，进行图像数据增强处理，以获得更好的鲁棒性；
(2)粗检测肿瘤区域：采用YOLO_v2检测模型，将经步骤(1)处理得到的图片作为检测模型的输入，反复验证集的损失及分类准确率、调整神经网络的权值，获得网络权值系数准确率较高、损失值较小的深度检测网络模型(网络权值系数损失值小于0.01)，再将图片送入该深度检测模型得到检测框；
(3)精分割肿瘤区域：采用k-mean算法聚类出乳腺癌核磁共振图片医生标记区域中心点取出144*144像素点的块，送入SegNet图像分割模型进行训练，得出肿瘤区域分割模型，再根据步骤(2)得到的检测框选择144*144像素块送入该肿瘤区域分割模型，得到分割概率图；
(4)获取肿瘤分割图：从步骤(3)得到的分割概率图，根据步骤(2)获得的置信度最大框中心点映射到原图，得到最终的肿瘤分割图。
本发明方法采用现有影像学图像分析计算机辅助系统和设备配合实施，图3是本方法获得的Luminal-A分子亚型腺癌肿瘤区域分割图。
实施例2：如图1-2所示，本基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法，用于Luminal-A分子亚型腺癌肿瘤区域分割，具体步骤与实施例1相同。
本发明方法采用现有影像学图像分析计算机辅助系统和设备配合实施，步骤(2)中深度检测网络模型的网络权值系数损失值小于0.01。图4是本方法获得的Luminal-B分子亚型腺癌肿瘤区域分割图。
实施例3：如图1-2所示，本基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法，用于Luminal-A分子亚型腺癌肿瘤区域分割，具体步骤与实施例1相同。
本发明方法采用现有影像学图像分析计算机辅助系统和设备配合实施，步骤(2)中深度检测网络模型的网络权值系数损失值小于0.008。图5是本方法获得的HER2分子亚型腺癌肿瘤区域分割图。
实施例4：如图1-2所示，本基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法，用于Luminal-A分子亚型腺癌肿瘤区域分割，具体步骤与实施例1相同。
本发明方法采用现有影像学图像分析计算机辅助系统和设备配合实施，步骤(2)中深度检测网络模型的网络权值系数损失值小于0.01。图6是本方法获得的3-negative分子亚型腺癌肿瘤区域分割图。
上面结合附图对本发明的技术内容作了说明，但本发明的保护范围并不限于所述内容，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下对本发明的技术内容做出各种变化，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法，其特征在于：具体步骤是：
(1)预处理核磁共振图像：动态选择乳腺癌核磁共振图整张图像1％-99％范围的CT值，对其进行归一化预处理，解决核磁共振技术本身原因而导致每张图像肿瘤区域的CT值不固定问题；
(2)粗检测肿瘤区域：采用YOLO_v2检测模型，将经步骤(1)处理得到的图片作为检测模型的输入，反复验证集的损失及分类准确率、调整神经网络的权值，获得网络权值系数准确率较高、损失值较小的深度检测网络模型，再将图片送入该深度检测模型得到检测框；由于乳腺癌肿瘤区域本身较小，所以先进行肿瘤区域的粗检测；
(3)精分割肿瘤区域：采用k-mean算法聚类出乳腺癌核磁共振图片医生标记区域中心点取出144*144像素点的块，送入SegNet图像分割模型进行训练，得出肿瘤区域分割模型，再根据步骤(2)得到的检测框选择144*144像素块送入该肿瘤区域分割模型，得到分割概率图；
(4)获取肿瘤分割图：从步骤(3)得到的分割概率图，根据步骤(2)获得的置信度最大框中心点映射到原图，得到最终的肿瘤分割图。
2.根据权利要求1所述的基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法，其特征在于：所述步骤(1)中，经归一化预处理的图像，再通过翻转、镜像、调整对比度等，进行图像数据增强处理。
3.根据权利要求1所述的基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法，其特征在于：所述步骤(2)中，深度检测网络模型的网络权值系数损失值小于0.01。
CN201810393335.2A 2018-04-27 2018-04-27 一种基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法 Active CN108648182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810393335.2A CN108648182B (zh) 2018-04-27 2018-04-27 一种基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810393335.2A CN108648182B (zh) 2018-04-27 2018-04-27 一种基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法

Publications (2)

Publication Number Publication Date
CN108648182A true CN108648182A (zh) 2018-10-12
CN108648182B CN108648182B (zh) 2022-02-11

Family

ID=63747893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810393335.2A Active CN108648182B (zh) 2018-04-27 2018-04-27 一种基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法

Country Status (1)

Country Link
CN (1) CN108648182B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615610A (zh) * 2018-11-13 2019-04-12 浙江师范大学 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法
CN109859168A (zh) * 2018-12-28 2019-06-07 上海联影智能医疗科技有限公司 一种x射线胸片图像质量确定方法及装置
CN110210520A (zh) * 2019-05-10 2019-09-06 南京理工大学 基于单类别的乳腺癌数据分类方法
CN110619641A (zh) * 2019-09-02 2019-12-27 南京信息工程大学 一种基于深度学习的三维乳腺癌核磁共振图像肿瘤区域的自动分割方法
CN111062909A (zh) * 2019-11-08 2020-04-24 哈尔滨工业大学（深圳） 乳腺肿块良恶性判断方法及设备
CN111462067A (zh) * 2020-03-30 2020-07-28 北京推想科技有限公司 图像分割方法及装置
CN112053325A (zh) * 2020-08-12 2020-12-08 华东交通大学 一种乳腺肿块图像处理和分类系统
CN113925487A (zh) * 2020-07-14 2022-01-14 和人人工知能科技有限公司 利用磁共振成像的脑微出血检测装置及方法
US11436720B2 (en) 2018-12-28 2022-09-06 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for generating image metric

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016681A (zh) * 2017-03-29 2017-08-04 浙江师范大学 基于全卷积网络的脑部mri肿瘤分割方法
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016681A (zh) * 2017-03-29 2017-08-04 浙江师范大学 基于全卷积网络的脑部mri肿瘤分割方法
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张承杰 等: "基于空间FCM与MRF方法的乳腺MRI序列三维病灶分割研究", 《中国生物医学工程学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615610A (zh) * 2018-11-13 2019-04-12 浙江师范大学 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法
CN109859168A (zh) * 2018-12-28 2019-06-07 上海联影智能医疗科技有限公司 一种x射线胸片图像质量确定方法及装置
US11436720B2 (en) 2018-12-28 2022-09-06 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for generating image metric
CN110210520A (zh) * 2019-05-10 2019-09-06 南京理工大学 基于单类别的乳腺癌数据分类方法
CN110619641A (zh) * 2019-09-02 2019-12-27 南京信息工程大学 一种基于深度学习的三维乳腺癌核磁共振图像肿瘤区域的自动分割方法
CN111062909A (zh) * 2019-11-08 2020-04-24 哈尔滨工业大学（深圳） 乳腺肿块良恶性判断方法及设备
CN111462067A (zh) * 2020-03-30 2020-07-28 北京推想科技有限公司 图像分割方法及装置
CN111462067B (zh) * 2020-03-30 2021-06-29 推想医疗科技股份有限公司 图像分割方法及装置
CN113925487A (zh) * 2020-07-14 2022-01-14 和人人工知能科技有限公司 利用磁共振成像的脑微出血检测装置及方法
CN113925487B (zh) * 2020-07-14 2022-10-14 和人人工知能科技有限公司 利用磁共振成像的脑微出血检测装置及方法
CN112053325A (zh) * 2020-08-12 2020-12-08 华东交通大学 一种乳腺肿块图像处理和分类系统

Also Published As

Publication number Publication date
CN108648182B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN108648182A (zh) 一种基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法
CN108052977B (zh) 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法
Joshi et al. Classification of brain cancer using artificial neural network
CN107067402B (zh) 医疗图像处理装置及其乳房图像处理方法
Hua et al. Segmenting brain tumor using cascaded V-Nets in multimodal MR images
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
CN108664976B (zh) 一种基于超像素的模糊谱聚类脑肿瘤图像自动分割方法
CN110047082A (zh) 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统
CN104268873A (zh) 基于核磁共振图像的乳腺肿瘤分割方法
JP7216145B2 (ja) 医用画像による腫瘍検出及び診断装置
CN109902682A (zh) 一种基于残差卷积神经网络的乳腺x线图像检测方法
CN106651875B (zh) 基于多模态mri纵向数据的脑瘤时空协同分割方法
CN109191422B (zh) 基于常规ct图像的缺血性脑卒中早期检测系统和方法
Aswathy et al. Performance analysis of segmentation algorithms for the detection of breast cancer
EP3631806A1 (en) Quantified aspects of lesions in medical images
Tseng et al. An adaptive thresholding method for automatic lung segmentation in CT images
Bu et al. Lung nodule detection based on YOLOv3 deep learning with limited datasets
Pawełczyk et al. Towards detecting high-uptake lesions from lung CT scans using deep learning
Xu et al. Improved cascade R-CNN for medical images of pulmonary nodules detection combining dilated HRNet
Kavitha et al. Volumetric analysis framework for accurate segmentation and classification (VAF-ASC) of lung tumor from CT images
CN116228767A (zh) 基于计算机视觉的x光肺部肿块图像处理方法
Iqbal et al. Brain tumor segmentation in multimodal MRI using U-Net layered structure
Sharma et al. Review Paper on Brain Tumor Detection Using Pattern Recognition Techniques.
Walczak et al. Segmenting lungs from whole-body CT scans
Kumar et al. Multilevel Thresholding-based Medical Image Segmentation using Hybrid Particle Cuckoo Swarm Optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant