CN116797597B - 一种基于三阶段全网络的脊柱退行性疾病全检测方法及系统 - Google Patents
一种基于三阶段全网络的脊柱退行性疾病全检测方法及系统 Download PDFInfo
- Publication number
- CN116797597B CN116797597B CN202311048201.4A CN202311048201A CN116797597B CN 116797597 B CN116797597 B CN 116797597B CN 202311048201 A CN202311048201 A CN 202311048201A CN 116797597 B CN116797597 B CN 116797597B
- Authority
- CN
- China
- Prior art keywords
- intervertebral disc
- data
- detection
- disc
- lumbar vertebra
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 129
- 208000020307 Spinal disease Diseases 0.000 title claims description 6
- 230000003412 degenerative effect Effects 0.000 title claims description 6
- 238000002372 labelling Methods 0.000 claims abstract description 47
- 230000000877 morphologic effect Effects 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 24
- 208000015122 neurodegenerative disease Diseases 0.000 claims abstract description 17
- 230000006378 damage Effects 0.000 claims abstract description 14
- 230000007850 degeneration Effects 0.000 claims abstract description 13
- 206010061246 Intervertebral disc degeneration Diseases 0.000 claims abstract description 11
- 238000005259 measurement Methods 0.000 claims abstract description 8
- 208000003618 Intervertebral Disc Displacement Diseases 0.000 claims description 16
- 208000007103 Spondylolisthesis Diseases 0.000 claims description 8
- 208000018180 degenerative disc disease Diseases 0.000 claims description 7
- 208000021600 intervertebral disc degenerative disease Diseases 0.000 claims description 7
- 230000003416 augmentation Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 210000000115 thoracic cavity Anatomy 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 abstract description 2
- 206010050296 Intervertebral disc protrusion Diseases 0.000 description 14
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004445 quantitative analysis Methods 0.000 description 5
- 208000024891 symptom Diseases 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 210000000278 spinal cord Anatomy 0.000 description 3
- 208000001132 Osteoporosis Diseases 0.000 description 2
- 208000002193 Pain Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000004044 Hypesthesia Diseases 0.000 description 1
- 206010029174 Nerve compression Diseases 0.000 description 1
- 208000031264 Nerve root compression Diseases 0.000 description 1
- 206010060860 Neurological symptom Diseases 0.000 description 1
- 208000012287 Prolapse Diseases 0.000 description 1
- 206010037779 Radiculopathy Diseases 0.000 description 1
- 208000008765 Sciatica Diseases 0.000 description 1
- 206010041549 Spinal cord compression Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005786 degenerative changes Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000003090 exacerbative effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 208000034783 hypoesthesia Diseases 0.000 description 1
- 238000003704 image resize Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 231100000862 numbness Toxicity 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本申请提供一种基于三阶段全网络的脊柱退行性疾病全检测方法及系统，属于图像处理领域，该方法包括：对腰椎矢状位MRI图像的标注；对标注数据处理，依次获得椎间盘的目标检测数据、关键点测数据、目标形态数据；根据椎间盘的目标形态数据进行椎间盘退变分级，包括：根据预设的受损定义判断是否结构受损，若结构受损则标注6级，否则根据椎间盘的目标形态数据标注为1级~5级；根据退变分级结果确定椎间盘检测结果。本申请通过三个阶段检测的全连接神经网络，支持全脊椎和所有种类的医疗影像，提高病灶辨识度，使得人工智能检测准确。同时通过各个级别边界明确的评价指标，为放射科医生提供更好的参考指标，也为深度学习技术的应用提供更好的基础。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种基于三阶段全网络的脊柱退行性疾病全检测方法，还涉及一种基于三阶段全网络的脊柱退行性疾病全检测系统。
背景技术
目前人工智能技术在MR、MRI和Xray图像的检测和分割方面已有一定的应用，但对于脊柱退行性疾病的指导作用仍有限。
现有技术存在的主要问题是检测手段限制、无法给出准确的位置和缺乏合理的分级设置。近年来，随着深度学习技术的发展，一些研究将椎间盘退变分类视为一项分类任务，但仍需要人工输入或复杂的检测算法，并且难以反映退变过程的渐进性。
发明内容
本申请的目的在于克服现有技术中检测结果不理想或者需要人工配合进行病灶检测的缺陷，提供一种基于三阶段全网络的脊柱退行性疾病全检测方法及系统。
本申请提供一种基于三阶段全网络的脊柱退行性疾病全检测方法，包括：
S1对腰椎矢状位MRI图像的标注，获得标注数据；
S2通过YOLOV7目标检测模型对所述标注数据处理，获得椎间盘的目标检测数据；
S3通过YOLOV7关键点检测模型对所述椎间盘的目标检测数据处理，获得椎间盘的关键点测数据；
S4通过形态学检测模型对所述椎间盘的关键点测数据处理，获得椎间盘的目标形态数据；
S5根据所述椎间盘的目标形态数据进行椎间盘退变分级，包括：根据预设的受损定义判断是否结构受损，若结构受损则标注6级，否则根据所述椎间盘的目标形态数据标注为1级~5级；
S6根据所述椎间盘退变分级结果确定椎间盘检测结果。
可选地，所述根据所述椎间盘的目标形态数据标注为1级~5级，包括：
1级，或者髓核亮度/>；
2级，；
3级，；
4级，；
5级，；
其中，所述N是髓核亮度/椎骨亮度的比值。
可选地，所述预设的受损定义，包括：
脊椎滑脱、椎间盘前突出、椎间盘后突出、椎间盘变形和锥体楔形变中的一个或者多个。
可选地，所述标注数据，包括：
对每一张腰椎矢状位的6个椎间盘标注：包括T12-L1、L1-2、L2-3、L3-4、L4-5、L5-S1椎体间隙做目标检测框的标注；
所述标注包括：上椎体下缘、下锥体的上缘，椎间盘的前后缘；其中，
T12-L1表示位于第12胸椎和第1腰椎之间的椎体间隙；
L1-2表示位于第1腰椎和第2腰椎之间的椎体间隙；
L2-3表示位于第2腰椎和第3腰椎之间的椎体间隙；
L3-4表示位于第3腰椎和第4腰椎之间的椎体间隙；
L4-5表示位于第4腰椎和第5腰椎之间的椎体间隙；
L5-S1表示位于第5腰椎和骶骨一级之间的椎体间隙。
可选地，所述YOLOV7关键点检测模型，包括：
Backbone模块和PANet feature fusion模块。
可选地，所述PANet feature fusion模块，用于包括：
使用FPN进行自顶向下的上采样，将高层的特征信息通过上采样的方式进行传递融合；
使用Bottom-up Path Augmentation进行自底向上的上采样。
本申请还提供一种基于三阶段全网络的脊柱退行性疾病全检测系统，其特征在于，包括：
标注模块，用于对腰椎矢状位MRI图像的标注，获得标注数据；
第一检测模块，用于通过YOLOV7目标检测模型对所述标注数据处理，获得椎间盘的目标检测数据；
第二检测模块，用于通过YOLOV7关键点检测模型对所述椎间盘的目标检测数据处理，获得椎间盘的关键点测数据；
第三检测模块，用于通过形态学检测模型对所述椎间盘的关键点测数据处理，获得椎间盘的目标形态数据；
分级模块，用于根据所述椎间盘的目标形态数据进行椎间盘退变分级，包括：根据预设的受损定义判断是否结构受损，若结构受损则标注6级，否则根据所述椎间盘的目标形态数据标注为1级~5级；
结果模块，用于根据所述椎间盘退变分级结果确定椎间盘检测结果。
可选地，所述根据所述椎间盘的目标形态数据标注为1级~5级，包括：
1级，或者髓核亮度/>；
2级，；
3级，；
4级，；
5级，；
其中，所述N是髓核亮度/椎骨亮度的比值。
可选地，所述预设的受损定义，包括：
脊椎滑脱、椎间盘前突出、椎间盘后突出、椎间盘变形和锥体楔形变中的一个或者多个。
可选地，所述标注数据，包括：
对每一张腰椎矢状位的6个椎间盘标注：包括T12-L1、L1-2、L2-3、L3-4、L4-5、L5-S1椎体间隙做目标检测框的标注；
所述标注包括：上椎体下缘、下锥体的上缘，椎间盘的前后缘；其中，
T12-L1表示位于第12胸椎和第1腰椎之间的椎体间隙；
L1-2表示位于第1腰椎和第2腰椎之间的椎体间隙；
L2-3表示位于第2腰椎和第3腰椎之间的椎体间隙；
L3-4表示位于第3腰椎和第4腰椎之间的椎体间隙；
L4-5表示位于第4腰椎和第5腰椎之间的椎体间隙；
L5-S1表示位于第5腰椎和骶骨一级之间的椎体间隙。
本申请的优点和有益效果：
本申请提供一种基于三阶段全网络的脊柱退行性疾病全检测方法，包括：对腰椎矢状位MRI图像的标注，获得标注数据；通过YOLOV7目标检测模型对所述标注数据处理，获得椎间盘的目标检测数据；通过YOLOV7关键点检测模型对所述椎间盘的目标检测数据处理，获得椎间盘的关键点测数据；通过形态学检测模型对所述椎间盘的关键点测数据处理，获得椎间盘的目标形态数据；根据所述椎间盘的目标形态数据进行椎间盘退变分级，包括：根据预设的受损定义判断是否结构受损，若结构受损则标注6级，否则根据所述椎间盘的目标形态数据标注为1级~5级；根据所述椎间盘退变分级结果确定椎间盘检测结果。本申请通过三个阶段检测的全连接神经网络，支持全脊椎和所有种类的医疗影像，提高病灶辨识度，使得人工智能检测准确，减少了误判。
通过提供了更适合人工智能量化的，各个级别边界明确的评价指标，这能更好地反映椎间盘的退变情况，为放射科医生提供更好的参考指标，也为深度学习技术的应用提供更好的基础。
附图说明
图1是本申请中基于三阶段全网络的脊柱退行性疾病全检测方法流程示意图。
图2是本申请中数据训练模型结构示意图。
图3是本申请中目标检测示意图。
图4是本申请中关键点检测结果第一示意图。
图5是本申请中关键点检测结果第二示意图。
图6是本申请中椎骨亮度计算区域示意图。
图7是本申请中髓核亮度计算区域示意图。
具体实施方式
下面结合附图1~3对具体实施例作详细说明，以使本领域的技术人员可以更好地理解本申请并能予以实施。
本申请提供的是一种基于三阶段全网络的脊柱退行性疾病全检测方法和系统，属于图像处理领域。该方法解决了检测结果不理想或者需要人工配合进行病灶检测的问题，通过提高病灶辨识度，使得人工智能检测准确，减少了误判。
本申请还引入了一种新颖的分级标准，明确了腰椎检测的各个级别的界限，提高了对腰椎分级的准确信息，进而可以实现对腰椎检测结果的准确描述，给出可靠的检测建议。
具体的，所述的基于三阶段全网络的脊柱退行性疾病全检测方法包括三个阶段的检测。首先，在第一阶段利用YOLOV7目标检测模型检测椎间盘区域；其次，在第二阶段使用基于YOLOV7关键点检测模型对每个椎间盘的MRI图像进行关键点检测；再次，在第三阶段通过形态学检测模型对所述椎间盘的关键点测数据处理，获得椎间盘的目标形态数据。
最后，根据所述椎间盘的目标形态数据和预先准备的分级标注进行椎间盘退变分级，根据所述分级进行检测结果判定。
图1是本申请中基于三阶段全网络的脊柱退行性疾病全检测方法流程示意图。
如图1所示，所述基于三阶段全网络的脊柱退行性疾病全检测方法的步骤包括：
S1对腰椎矢状位MRI图像的标注，获得标注数据；
S2通过YOLOV7目标检测模型对所述标注数据处理，获得椎间盘的目标检测数据；
S3通过YOLOV7关键点检测模型对所述椎间盘的目标检测数据处理，获得椎间盘的关键点测数据；
S4通过形态学检测模型对所述椎间盘的关键点测数据处理，获得椎间盘的目标形态数据；
S5根据所述椎间盘的目标形态数据进行椎间盘退变分级，包括：根据预设的受损定义判断是否结构受损，若结构受损则标注6级，否则根据所述椎间盘的目标形态数据标注为1级~5级；
S6根据所述椎间盘退变分级结果确定椎间盘检测结果。
在步骤S1中，所有的腰椎矢状位MRI图像都由专业医生团队使用LabelMe进行标注。标注包括对每个腰椎矢状位的6个椎间盘进行标注。
这6个椎间盘包括：
T12-L1：表示第12胸椎和第1腰椎之间的椎体间隙。
L1-2：表示第1腰椎和第2腰椎之间的椎体间隙。
L2-3：表示第2腰椎和第3腰椎之间的椎体间隙。
L3-4：表示第3腰椎和第4腰椎之间的椎体间隙。
L4-5：表示第4腰椎和第5腰椎之间的椎体间隙。
L5-S1：表示第5腰椎和骶骨一级之间的椎体间隙。
具体的，对T12-L1、L1-2、L2-3、L3-4、L4-5、L5-S1椎体间隙做了目标检测框的标注，涵盖上椎体下缘、下锥体的上缘，椎间盘的前后缘。而对于每个椎间盘包括1个椎间盘检测框和28个关键点。
以骶骨（S1）和腰椎（L1）之间的椎间盘为例，其中第1关键点为椎间盘前缘的前界限，第2-10关键点为腰椎（L1）的下沿。第11-13关键点为椎间盘后突出范围的上界限，后界限，下界限，第14-22关键点为骶骨（S1）的下沿，第23-25关键点为髓核的下沿，第26-28关键点为髓核的上沿。
对每个椎体间隙的标注包括以下目标检测和关键点检测结果：
关键点1：椎间盘前突出判定点。
关键点2-关键点10：上锥体下缘形态点，用于检测锥体下缘的形态是否发生变异。
关键点11和关键点13：椎间盘后突出的上下缘。
关键点12：椎间盘后突出判定点。
关键点14-关键点22：椎间盘下缘形态检测点，用于检测锥体上缘的形态是否发生形态学变异。
关键点23-关键点28：髓核区域的形态学关键点，用于计算髓核亮度。
在步骤S2中，YOLOV7在检测领域展现了卓越的能力，因此选择采用YOLOV7的backbone作为YOLOV7目标检测模型进行目标检测数据的获取。
具体的，将腰椎矢状位/轴位MR图像resize为1024×1024大小，然后输入到backbone中生成不同尺度的特征图。这些特征图包括P1（96×96×512）、P2（48×48×1024）、P3（24×24×1024）和P4（12×12×1024）。
接下来，经过PANet层，得到了4层不同尺度的特征图F1（96×96×128）、F2（48×48×256）、F3（24×24×512）和F4（12×12×512）。
最后，通过Detection Head，能够实现对Box（目标检测数据，即检测框）和关键点的预测输出结果。
所述Box的预测结果为（C_x, C_y, W, H, BOX_conf, CLASS_conf），其中C_x和C_y是检测物体的中心点坐标，W和H是检测物体的宽度和高度，BOX_conf表示预测框的置信度，CLASS_conf表示物体类别的概率。
所述Keypoint的预测结果为（X, Y, KP_conf），其中X和Y表示关键点的坐标，KP_conf表示关键点位置的置信度。由于每个椎间盘有28个关键点，所以每个椎间盘的锚点与28个关键点相关联，共有90个元素。
在步骤S3中，YOLOV7目标检测的关键点检测模型包括Backbone模块和PANetfeature fusion模块。
所述Backbone模块：
YOLOV7-KP model的backbone共有50层，由CBS层、ELAN层和MP层构成。
resize后的图像数据首先经过4层CBS层，每层由Conv、BN和SiLU构成。
经过CBS层后，特征图会经过ELAN层，ELAN由多个CBS层组成，输入输出特征大小保持不变，通道数会通过CBS层调整为所需数量。
经过ELAN模块后，特征图像将进入MP层，其中MP层由Maxpool和CBS组成，将特征图分割成不重叠的子区域，每个子区域取最大值作为输出，实现下采样操作。
PANet feature fusion模块：
传统的关键点检测算法使用热力图进行关键点检测，但热力图检测需要高质量的图像和复杂的后处理。
本申请自上而下的算法采用FPN和Bottom-up Path Augmentation。
首先，FPN进行自顶向下的上采样，将高层特征信息通过上采样融合。
然后，使用Bottom-up Path Augmentation进行自底向上的上采样，结构中使用了3个PAN结构。
PAN通过将一个更浅层的与更深层的/>行特征融合，得到下一层/>。这样的结构能够促使底层信息更容易传递到高层顶部。
FPN和Bottom-up Path Augmentation的结合，FPN层自顶向下传递强语义特征，而Bottom-up Path Augmentation自底向上传递强定位特征，两种网络从不同主干层融合参数，进一步提高特征提取的能力。
在本申请中，使用OKS来衡量检测结果与真实边界框之间的相似性的指标。使用OKS的目标是最小化检测结果与真实边界框之间的差异，并通过考虑关键点之间的距离来加权损失。
上述的加权方式能够更好地反映关键点检测过程中的准确度，其表达式为：
其中，表示groudtruth中每个关键点和预测的关键点的欧氏距离，S表示当前椎间盘的尺度因子，该值等于此椎间盘在groundtruth中所占面积的平方根，即，/>表示椎间盘的第n个关键点的归一化因子。
将一个真实的边界框与位于位置(i,j)和尺度S的第k个anchor匹配，相对于anchor中心预测关键点。对于每个关键点分别计算OKS，然后将其相加以给出最终的OKS损失，公式如下：
对于每一个关键点，计算一个置信度参数，这个置信度表示该关键点是否存在，公式如下：
其中，BCE是二元交叉熵损失函数，用于衡量模型预测结果与真实标签之间的差异，表示第n个关键点的预测置信度。
最后，总损失是对所有尺度、锚点和位置进行求和，公式如下：
根据模型在本申请中的表现和结果分析，设定目标分类损失的系数λ_cls为0.5，将正样本和负样本设置为相等的值，使得模型更加注重寻找正类样本，并降低误判负类样本的风险。
边界框回归损失系数为0.05。这是因为边界框回归通常只涉及到较小的值，需要一个较小的系数来保持与其他损失项的平衡。
关键点回归损失的系数为0.1。关键点的数量比起边界框更多，所以需要相对较大的系数来保持这个损失项对训练的影响与其他损失项相当。
关键点置信度损失的系数为0.8。将系数设置得较高是因为模型的主要目的是拟合关键点，特别是对于较小的MR图像而言。一旦关键点的置信度较低，模型对于关键点的拟合能力将大大降低。
在步骤S4中， 通过对关键点数据进行处理，可以提取椎间盘的形态信息。包括计算椎间盘的大小、形状、变形程度等。
从处理后的数据中提取目标形态数据。包括椎间盘的高度、直径、体积、曲率等形态特征。通过计算、统计或其他分析方法，从关键点数据中提取这些形态信息。
步骤S5中，根据椎间盘和锥体的形态学和特征对比，将椎间盘分为6个分级。具体分级如下表所示：
分类级别 N（髓核亮度/椎骨亮度）
1 N≥3 or 髓核亮度≥200
2 3>N≥1
3 1>N≥0.5
4 0.5>N≥0.3
5 N<0.3
6 结构明显受损
对于第6个分类级别，需要说明的是结构明显受损的定义，即如果发生了脊椎滑脱、椎间盘前突出、椎间盘后突出、椎间盘变形或锥体楔形变中的任何一种情况，则表明椎间盘已经变形并且失去了功能。因此，在本申请中，将其定义为一个新的等级。
如图6所示，椎骨亮度的计算方式是（以L2-3和L1-2之间的椎骨L2为例）：
选择椎间盘L2-3关键点4和L1-2的关键点20的连线长度为，选择在连线上距离关键点20长度为/>的点为ZG1，距离关键点4的长度为/>的点为ZG4。选择椎间盘L2-3关键点8和L1-2的关键点16的连线长度为/>，选择在连线上距离关键点16长度为/>的点为ZG2，距离关键点8的长度为/>的点为ZG3。椎骨亮度的值为点ZG1，ZG2，ZG3，ZG4围成的不规则矩形的所有像素点的亮度均值。椎骨亮度像素均值是将围成矩形内所有像素点的大小按照从大到小排列，然后排除前30%和最后10%的像素点。最后使用剩下的60%的像素点取平均值作为椎骨亮度。
如图7所示，髓核亮度的计算方式是：计算每个椎间盘中关键点23，24，25，26，27，28所围成的不规则矩形的所有像素点的亮度均值。
在步骤S5中，根据新的分类级别计算椎间盘检测结果，包括：
矢状位腰椎椎间盘定量分析：
医学影像学技术的腰椎椎间盘定量分析可以通过定量分析椎间盘的形态、大小、信号强度等参数来客观评估椎间盘的退变程度、突出程度及其对周围组织的影响，为临床诊断和治疗提供重要参考。所以关键点检测模型能够提供更准确的腰椎椎间盘定量分析计算结果。
椎体楔变系数：
椎体楔变系数是用来评估脊柱骨质疏松及脊柱结构稳定性的重要指标。正常情况下，椎体各个方向的高度差异较小，楔形程度也较低。当椎体出现骨质疏松等病理变化时，椎体的形态会变得不规则或呈现楔形，这些变化会影响椎体的稳定性和脊柱的生物力学特性。椎体楔变系数的计算公式为：
其中，表示第i个椎体的第n个关键点的横坐标，/>表示第i个椎体的第n个关键点的纵坐标。/>表示第/>个椎体的第/>个关键点的横坐标，/>表示第/>个椎体的第/>个关键点的纵坐标。
滑脱程度：
滑脱程度是评估脊柱滑脱症状严重程度的指标之一。脊柱滑脱症状指由于脊椎骨骼异常移位导致的神经受压和功能障碍所引起的临床表现。滑脱程度表示椎体在椎弓根上滑移的距离。本申请中的滑脱程度用百分比表示，计算公式为：
其中，表示第i个椎间盘的第14个关键点和第22个关键点连线的斜率；表示第i个椎间盘的第10个关键点到第22个关键点连线垂线的垂点坐标。表示第i个椎间盘的椎体滑脱方向；AD表示椎体相对于下一个椎体向前移动的程度，AS表示椎体相对于下一个椎体向后移动的程度，UC表示椎体相对于下一个椎体没有移动。/>表示第i个椎间盘的上位椎体对下位椎体滑移的程度。
突出判定：
腰椎间盘突出是评估突出椎间盘对神经根或脊髓的影响和压迫程度。它对确定治疗方案、预测病情发展和指导康复措施具有重要意义。腰椎间盘位于脊柱的腰椎部位，由外周的纤维环和内部的软髓核组成。当椎间盘的纤维环受损或破裂时，软髓核可能会向后或向前突出。腰椎间盘后突出（Posterior Disc Herniation），即软髓核向后突出，朝向脊柱后方。这种突出常见于椎管内，可能导致神经根受压或脊髓受压的症状。腰椎间盘前突出（Anterior Disc Herniation），即软髓核向前突出，朝向腹部方向。这种突出通常较为罕见，可能会对神经根或脊髓产生影响。在评估腰椎间盘突出的程度时，通常并没有具体的阈值或范围来判断突出的距离是否严重。这是因为突出的距离仅仅是判断突出程度的一个指标，医生还需要综合考虑其他因素，如症状、体格检查和影像学图像中的压迫情况等。突出的距离越大可能表示突出程度越严重，但具体的判断则需要个别化评估。所以，在此次的申请中并不对突出程度做出判定，仅依靠椎间盘在临床和形态学上的表现制定了其是否突出的判定。在临床研究中发现，其突出判定与锥体前后缘连线长度有关。对于腰椎间盘前突出，当椎间盘前突出最远点到上下椎体前缘连线的垂线长度高于上下椎体前缘连线长度一半以上时认为其发生了腰椎间盘前突出。而对于腰椎间盘后突出认为当椎间盘后突出最远点到上下椎体后缘连线的垂线长度高于上下椎体后缘连线长度时认为其发生了腰椎间盘后突出。判定的公式为：
其中表示第/>个椎间盘的第1个关键点到第2个关键点和第22个关键点连线的垂线的斜率；/>表示第/>个椎间盘的第12个关键点到第10个关键点和第14个关键点连线的垂线的斜率；/>表示/>个椎间盘的第1个关键点到第2个关键点和第22个关键点连线垂线的垂点坐标。/>表示/>个椎间盘的第12个关键点到第10个关键点和第14个关键点连线垂线的垂点坐标。/>表示第/>个椎间盘的腰椎间盘前高度。/>表示第/>个椎间盘的腰椎间盘后高度。/>表示第i个椎间盘的腰椎间盘前突出的距离。/>表示第i个椎间盘的腰椎间盘后突出的距离。/>表示第/>个椎间盘的腰椎间盘前突出情况。/>表示第/>个椎间盘的腰椎间盘后突出情况。/>用于表示腰椎间盘发生突出，而/>则用于表示腰椎间盘没有发生突出。
异常判定：
椎间盘的异常形态可能导致压迫周围的神经结构，如神经根或脊髓。这会导致疼痛、麻木、刺痛等神经症状，如坐骨神经痛或颈椎神经根痛。椎间盘的异常形态也可能导致脊椎的不稳定性增加。这可能使患者更容易在运动或受力时出现脊椎错位或损伤，进一步加重症状并引发其他脊柱相关问题。此外，椎间盘异常还可能导致脊柱其他部分的退变和不平衡，引发姿势异常或骨骼畸形。椎间盘形态异常也可能引起慢性炎症反应和退行性变化进一步加重。这可能导致椎间盘的质量和功能下降，从而加速退行性脊椎疾病的发展。基于此，使用基于形态学异常的检测方法对椎间盘的形态进行检测，选择下锥体上缘的关键点14和关键点22的连线作为下锥体上缘平面，选择上锥体下缘的关键点2和关键点10的连线作为上锥体的下缘平面。计算每个上锥体下缘的关键点到下锥体上缘平面的距离和每个下锥体上缘的关键点到上锥体下缘平面的距离/>。通过计算所有关键点到平面的距离获得平均高度/>，最后通过计算椎间盘最大距离和最小距离/>与/>的比例用于判定椎间盘形态是否异常。计算方式如下： />
其中表示第/>个椎体的第/>个关键点的横坐标，/>表示第/>个椎体的第/>个关键点的纵坐标，/>表示每个上锥体下缘的关键点到下锥体上缘平面的距离，每个下锥体上缘的关键点到上锥体下缘平面的距离，/>表示所有关键点到平面的距离获得平均高度，/>表示最大距离，/>表示最小距离，/>表示椎间盘内最长距离的异常比例，/>表示椎间盘内最短距离的异常比例。
本申请还提供一种基于三阶段全网络的脊柱退行性疾病全检测系统，包括：
标注模块201，用于对腰椎矢状位MRI图像的标注，获得标注数据；
第一检测模块202，用于通过YOLOV7目标检测模型对所述标注数据处理，获得椎间盘的目标检测数据；
第二检测模块203，用于通过YOLOV7关键点检测模型对所述椎间盘的目标检测数据处理，获得椎间盘的关键点测数据；
第三检测模块204，用于通过形态学检测模型对所述椎间盘的关键点测数据处理，获得椎间盘的目标形态数据；
分级模块205，用于根据所述椎间盘的目标形态数据进行椎间盘退变分级，包括：根据预设的受损定义判断是否结构受损，若结构受损则标注6级，否则根据所述椎间盘的目标形态数据标注为1级~5级；
结果模块206，用于根据所述椎间盘退变分级结果确定椎间盘检测结果。
进一步的，所述根据所述椎间盘的目标形态数据标注为1级~5级，包括：
1级，或者髓核亮度/>；
2级，；
3级，；
4级，；
5级，；
其中，所述N是髓核亮度/椎骨亮度的比值。
进一步的，所述预设的受损定义，包括：
脊椎滑脱、椎间盘前突出、椎间盘后突出、椎间盘变形和锥体楔形变中的一个或者多个。
进一步的，所述标注数据，包括：
对每一张腰椎矢状位的6个椎间盘标注：包括T12-L1、L1-2、L2-3、L3-4、L4-5、L5-S1椎体间隙做目标检测框的标注；
所述标注包括：上椎体下缘、下锥体的上缘，椎间盘的前后缘；其中，
T12-L1表示位于第12胸椎和第1腰椎之间的椎体间隙；
L1-2表示位于第1腰椎和第2腰椎之间的椎体间隙；
L2-3表示位于第2腰椎和第3腰椎之间的椎体间隙；
L3-4表示位于第3腰椎和第4腰椎之间的椎体间隙；
L4-5表示位于第4腰椎和第5腰椎之间的椎体间隙；
L5-S1表示位于第5腰椎和骶骨一级之间的椎体间隙。
本申请腰椎椎间盘的定量分析，包括椎体楔变系数和滑脱程度等指标。其中，使用YOLOv7-KP模型标注关键点，使用形态学和定量分析可以更加客观地评估椎间盘的退变程度和周围组织的影响，为临床诊断和治疗提供重要参考。
最后应说明的是：以上的方法适用于全脊柱的椎间盘。以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (6)
1.一种基于三阶段全网络的脊柱退行性疾病全检测方法，其特征在于，包括：
S1对腰椎矢状位MRI图像的标注，获得标注数据；
S2通过YOLOV7目标检测模型对所述标注数据处理，获得椎间盘的目标检测数据；
S3通过YOLOV7关键点检测模型对所述椎间盘的目标检测数据处理，获得椎间盘的关键点测数据；
S4通过形态学检测模型对所述椎间盘的关键点测数据处理，获得椎间盘的目标形态数据；
S5根据所述椎间盘的目标形态数据进行椎间盘退变分级，包括：根据预设的受损定义判断是否结构受损，若结构受损则标注6级，否则根据所述椎间盘的目标形态数据标注为1级～5级；
S6根据所述椎间盘退变分级结果确定椎间盘检测结果；
其中，所述根据所述椎间盘的目标形态数据标注为1级～5级，包括：1级，N≥3或者髓核亮度≥200；2级，3>N≥1；3级，1>N≥0.5；4级，0.5>N≥0.3；5级，N<0.3；所述N是髓核亮度/椎骨亮度的比值；
其中，所述预设的受损定义，包括：脊椎滑脱、椎间盘前突出、椎间盘后突出、椎间盘变形和锥体楔形变中的一个或者多个。
2.根据权利要求1所述基于三阶段全网络的脊柱退行性疾病全检测方法，其特征在于，所述标注数据，包括：
对每一张腰椎矢状位的6个椎间盘标注：包括T12-L1、L1-2、L2-3、L3-4、L4-5、L5-S1椎体间隙做目标检测框的标注；
所述标注包括：上椎体下缘、下锥体的上缘，椎间盘的前后缘；其中，
T12-L1表示位于第12胸椎和第1腰椎之间的椎体间隙；
L1-2表示位于第1腰椎和第2腰椎之间的椎体间隙；
L2-3表示位于第2腰椎和第3腰椎之间的椎体间隙；
L3-4表示位于第3腰椎和第4腰椎之间的椎体间隙；
L4-5表示位于第4腰椎和第5腰椎之间的椎体间隙；
L5-S1表示位于第5腰椎和骶骨一级之间的椎体间隙。
3.根据权利要求1所述基于三阶段全网络的脊柱退行性疾病全检测方法，其特征在于，所述YOLOV7关键点检测模型，包括：
Backbone模块和PANet feature fusion模块。
4.根据权利要求3所述基于三阶段全网络的脊柱退行性疾病全检测方法，其特征在于，所述PANet feature fusion模块，用于包括：
使用FPN进行自顶向下的上采样，将高层的特征信息通过上采样的方式进行传递融合；
使用Bottom-up Path Augmentation进行自底向上的上采样。
5.一种基于三阶段全网络的脊柱退行性疾病全检测系统，其特征在于，包括：
标注模块，用于对腰椎矢状位MRI图像的标注，获得标注数据；
第一检测模块，用于通过YOLOV7目标检测模型对所述标注数据处理，获得椎间盘的目标检测数据；
第二检测模块，用于通过YOLOV7关键点检测模型对所述椎间盘的目标检测数据处理，获得椎间盘的关键点测数据；
第三检测模块，用于通过形态学检测模型对所述椎间盘的关键点测数据处理，获得椎间盘的目标形态数据；
分级模块，用于根据所述椎间盘的目标形态数据进行椎间盘退变分级，包括：根据预设的受损定义判断是否结构受损，若结构受损则标注6级，否则根据所述椎间盘的目标形态数据标注为1级～5级；
结果模块，用于根据所述椎间盘退变分级结果确定椎间盘检测结果；
其中，所述根据所述椎间盘的目标形态数据标注为1级～5级，包括：1级，N≥3或者髓核亮度≥200；2级，3>N≥1；3级，1>N≥0.5；4级，0.5>N≥0.3；5级，N<0.3；所述N是髓核亮度/椎骨亮度的比值；
其中，所述预设的受损定义，包括：脊椎滑脱、椎间盘前突出、椎间盘后突出、椎间盘变形和锥体楔形变中的一个或者多个。
6.根据权利要求5所述基于三阶段全网络的脊柱退行性疾病全检测系统，其特征在于，所述标注数据，包括：
对每一张腰椎矢状位的6个椎间盘标注：包括T12-L1、L1-2、L2-3、L3-4、L4-5、L5-S1椎体间隙做目标检测框的标注；
所述标注包括：上椎体下缘、下锥体的上缘，椎间盘的前后缘；其中，
T12-L1表示位于第12胸椎和第1腰椎之间的椎体间隙；
L1-2表示位于第1腰椎和第2腰椎之间的椎体间隙；
L2-3表示位于第2腰椎和第3腰椎之间的椎体间隙；
L3-4表示位于第3腰椎和第4腰椎之间的椎体间隙；
L4-5表示位于第4腰椎和第5腰椎之间的椎体间隙；
L5-S1表示位于第5腰椎和骶骨一级之间的椎体间隙。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311048201.4A CN116797597B (zh) | 2023-08-21 | 2023-08-21 | 一种基于三阶段全网络的脊柱退行性疾病全检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311048201.4A CN116797597B (zh) | 2023-08-21 | 2023-08-21 | 一种基于三阶段全网络的脊柱退行性疾病全检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116797597A CN116797597A (zh) | 2023-09-22 |
| CN116797597B true CN116797597B (zh) | 2023-11-17 |
Family
ID=88050031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311048201.4A Active CN116797597B (zh) | 2023-08-21 | 2023-08-21 | 一种基于三阶段全网络的脊柱退行性疾病全检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116797597B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101150983A (zh) * | 2005-01-28 | 2008-03-26 | 加州大学董事会 | 利用核磁共振（nmr）谱评估组织疼痛和退化特征的系统及方法 |
| CN112184617A (zh) * | 2020-08-17 | 2021-01-05 | 浙江大学 | 一种基于深度学习的脊椎mri影像关键点检测方法 |
| CN115948544A (zh) * | 2023-03-08 | 2023-04-11 | 中国中医科学院望京医院(中国中医科学院骨伤科研究所) | Cited4和/或metrn在椎间盘退变程度的鉴别诊断中的应用 |
| CN116188441A (zh) * | 2023-03-01 | 2023-05-30 | 山东大学 | 一种基于矢状位医学影像的椎间盘突出退变评估系统 |
| CN116188443A (zh) * | 2023-03-01 | 2023-05-30 | 山东大学 | 一种基于轴状位医学影像的腰椎间盘突出分型系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014152257A1 (en) * | 2013-03-15 | 2014-09-25 | BATTIE, Michele, Crites | Measure of disc degeneration and pathology |
| EP3963545A4 (en) * | 2019-06-03 | 2022-06-22 | Merunova Pty Ltd. | SYSTEMS AND METHODS FOR MRI POST-PROCESSING |
-
2023
- 2023-08-21 CN CN202311048201.4A patent/CN116797597B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101150983A (zh) * | 2005-01-28 | 2008-03-26 | 加州大学董事会 | 利用核磁共振（nmr）谱评估组织疼痛和退化特征的系统及方法 |
| CN112184617A (zh) * | 2020-08-17 | 2021-01-05 | 浙江大学 | 一种基于深度学习的脊椎mri影像关键点检测方法 |
| CN116188441A (zh) * | 2023-03-01 | 2023-05-30 | 山东大学 | 一种基于矢状位医学影像的椎间盘突出退变评估系统 |
| CN116188443A (zh) * | 2023-03-01 | 2023-05-30 | 山东大学 | 一种基于轴状位医学影像的腰椎间盘突出分型系统 |
| CN115948544A (zh) * | 2023-03-08 | 2023-04-11 | 中国中医科学院望京医院(中国中医科学院骨伤科研究所) | Cited4和/或metrn在椎间盘退变程度的鉴别诊断中的应用 |
Non-Patent Citations (3)
| Title |
|---|
| Classification of Intervertebral Disk Degeneration with Axial T2 Mapping;Atsuya Watanabe等;《American Journal of Roentgenology》;第189卷(第4期);936-942 * |
| Modified Pfirrmann grading system for lumbar intervertebral disc degeneration;James F. Griffith等;《Spine》;E708–E712 * |
| Quantitative Pfirrmann Disc Degeneration Grading System to Overcome the Limitation of Pfirrmann Disc Degeneration Grade;Dae Cheol Rim;《Korean J Spine》;第13卷(第1期);1-8 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116797597A (zh) | 2023-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101740464B1 (ko) | 뇌졸중 진단 및 예후 예측 방법 및 시스템 | |
| CN102096917B (zh) | 胶囊内窥镜冗余图像数据的自动剔除方法 | |
| CN112184617B (zh) | 一种基于深度学习的脊椎mri影像关键点检测方法 | |
| CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| JP2021504816A (ja) | 骨年齢評価と身長予測モデル、そのシステム及びその予測方法 | |
| CN105069304A (zh) | 一种基于机器学习的评估预测asd的方法 | |
| CN103249358A (zh) | 医用图像处理装置 | |
| CN104363815A (zh) | 图像处理装置、图像处理方法以及图像处理程序 | |
| CN112734757A (zh) | 一种脊柱X光图像cobb角测量方法 | |
| CN107567631B (zh) | 组织样品分析技术 | |
| CN110276763A (zh) | 一种基于可信度和深度学习的视网膜血管分割图生成方法 | |
| CN115880281B (zh) | 一种脊柱椎体关键点检测及脊柱侧弯识别装置及方法 | |
| CN110974306A (zh) | 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统 | |
| CN109035227A (zh) | 对ct图像进行肺部肿瘤检测与诊断的系统 | |
| CN111784704A (zh) | Mri髋关节炎症分割与分类自动定量分级序贯方法 | |
| CN112862749A (zh) | 一种骨龄图像数字化处理后自动识别方法 | |
| Galdran et al. | Retinal image quality assessment by mean-subtracted contrast-normalized coefficients | |
| CN114098779A (zh) | 尘肺病等级智能判别方法 | |
| CN116797597B (zh) | 一种基于三阶段全网络的脊柱退行性疾病全检测方法及系统 | |
| Nirmala et al. | HoG based Naive Bayes classifier for glaucoma detection | |
| CN110415246B (zh) | 一种腹部脂肪成分的分析方法 | |
| KR102605501B1 (ko) | 인공신경망 기반의 척추 전방위증 진단 장치 및 그 정보 제공 방법 | |
| CN111210404B (zh) | 晶状体分割难度分类方法及装置 | |
| KR102384083B1 (ko) | 자기공명영상을 이용한 천장관절염 진단 및 염증 정도를 평가하기 위한 장치 및 방법 | |
| CN115511814A (zh) | 一种基于兴趣区域多纹理特征融合的图像质量评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |