CN111476777A - 胸片图像处理方法、系统、可读存储介质和设备 - Google Patents
胸片图像处理方法、系统、可读存储介质和设备 Download PDFInfo
- Publication number
- CN111476777A CN111476777A CN202010264187.1A CN202010264187A CN111476777A CN 111476777 A CN111476777 A CN 111476777A CN 202010264187 A CN202010264187 A CN 202010264187A CN 111476777 A CN111476777 A CN 111476777A
- Authority
- CN
- China
- Prior art keywords
- chest
- segmentation
- rib
- image
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002601 radiography Methods 0.000 title claims abstract description 151
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 210000004072 lung Anatomy 0.000 claims abstract description 97
- 238000012545 processing Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims description 259
- 230000006870 function Effects 0.000 claims description 54
- 230000015654 memory Effects 0.000 claims description 35
- 238000012552 review Methods 0.000 claims description 18
- 238000013441 quality evaluation Methods 0.000 claims description 9
- 206010006322 Breath holding Diseases 0.000 abstract description 16
- 230000000694 effects Effects 0.000 abstract description 8
- 210000000038 chest Anatomy 0.000 description 261
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 238000003908 quality control method Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002285 radioactive effect Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 238000011976 chest X-ray Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 210000004224 pleura Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及一种胸片图像处理方法、系统、可读存储介质和设备,属于医疗影像技术领域,医学设备工作时可以拍摄胸片,可以获取医学设备拍摄的胸片图像,将胸片图像分别输入至肋骨分割模型和肺野分割模型,分别获得肋骨分割结果和肺野分割结果,肋骨分割结果可包括识别的肋骨顺序,结合这两种分割结果可以对比判断预设的特定肋骨与肺野是否有重叠,重叠与否决定了胸片的拍摄质量。通过对拍摄的胸片图像的分析处理,可以判断胸片图像中预设的特定肋骨与肺野是否相重叠,以此确定胸片拍摄的质量,无需医生或技师对胸片拍摄过程中检查者是否处于屏气状态进行评估,通过胸片拍摄质量即可直接确定,减少待检查人员的等待时间,提高胸片的拍摄效果和速度。
Description
技术领域
本发明涉及医疗影像技术领域,特别是涉及一种胸片图像处理方法、系统、可读存储介质和设备。
背景技术
胸部X光检查是一种医学上常见的检查项目。基于胸部X光可以有效地对胸廓、胸膜、气管、支气管、肺、心血管等部位进行检查诊断。有效控制胸片(CXR,Chest X Ray)拍摄质量有利于医生诊断的准确性。
胸片拍摄规范中要求检查者深吸气后处于屏气状态进行拍摄。当检查者吸满气处于屏气状态时,在胸片上显示的肺野更加清晰,可以更好的显示肺组织和病变。在实际操作过程中,评估对应胸片是否符合标准的方式是计算胸片中与肺野重叠的肋骨数量。对于吸气不充分的检查者会建议他们重新拍摄。
目前针对相关技术中,对胸片拍摄过程中检查者是否处于屏气状态的评估主要是通过技师或者医生来完成。而医院每天需要接待大量的检查者,拍摄大量的胸片,但对于每张胸片中肺野覆盖的肋骨数量进行计数是非常耗时的,因此很难根据胸片拍摄规范来评估拍摄质量,胸片拍摄的效果和速度较差,对此尚未提出有效的解决方案。
发明内容
基于此,有必要针对传统的胸片拍摄方式效果和速度较差的问题,提供一种胸片图像处理方法、系统、可读存储介质和设备。
第一方面,本申请提供了一种胸片图像处理方法,包括以下步骤:
获取医学设备拍摄的胸片图像;
将胸片图像输入至预设的肋骨分割模型,获得肋骨分割模型输出的肋骨分割结果,肋骨分割结果包括识别的肋骨顺序;
将胸片图像输入至预设的肺野分割模型,获得肺野分割模型输出的肺野分割结果;
根据肋骨分割结果和肺野分割结果判断预设的特定肋骨是否与肺野相重叠,根据判断结果确定胸片拍摄质量。
在其中一个实施例中,根据判断结果确定胸片拍摄质量的步骤包括以下步骤:
若判断结果表示特定肋骨与肺野有重叠,提示胸片为合格片;若判断结果表示特定肋骨与肺野无重叠,提示胸片为二级片,其中二级片的拍摄质量低于合格片。
在其中一个实施例中,根据判断结果确定胸片拍摄质量的步骤包括以下步骤:
若判断结果表示特定肋骨与肺野有重叠,对与肺野有重叠的特定肋骨数量进行计数,若计数数量与预设数量范围相符,提示胸片为合格片。
在其中一个实施例中,将胸片图像输入至预设的肋骨分割模型,获得肋骨分割模型输出的肋骨分割结果的步骤包括以下步骤:
通过肋骨分割模型识别胸片图像中的所有肋骨,将所有肋骨所在区域作为标签区域进行一次分割;
对标签区域中的所有肋骨进行二次分割,得到若干类的肋骨集合区域;
对各肋骨集合区域进行三次分割,得到单独肋骨的肋骨区域,并根据肋骨区域的位置和所属的肋骨集合区域对各肋骨区域进行顺序编排,其中,肋骨分割结果包括各肋骨区域以及对应顺序。
在其中一个实施例中,胸片图像处理方法还包括以下步骤:
获取初始化的多标签分割模型,以及多张胸片样本图像;
将各胸片样本图像分别输入至多标签分割模型,针对任一胸片样本图像,通过多标签分割模型根据预设的分割标准对该胸片样本图像进行肋骨分割;
获取肋骨分割的损失函数,对损失函数进行优化,直至损失函数收敛,根据收敛后的损失函数值对多标签分割模型进行参数配置,将配置后的多标签分割模型作为预设的肋骨分割模型。
在其中一个实施例中,通过多标签分割模型根据预设的分割标准对该胸片样本图像进行肋骨分割的步骤包括以下步骤:
通过多标签分割模型根据预设的三种不同的分割标准对该胸片样本图像分别进行一次分割、二次分割和三次分割;
对损失函数进行优化,直至损失函数收敛的步骤包括以下步骤:
将一次分割的损失函数优化至收敛,将二次分割的损失函数优化至收敛,将三次分割的损失函数优化至收敛,再将整体分割过程的损失函数优化至收敛。
在其中一个实施例中,获取医学设备拍摄的胸片图像的步骤包括以下步骤:
在医学设备工作时,实时获取胸片图像;
在根据判断结果确定胸片拍摄质量的步骤之后,还包括以下步骤:
将胸片图像和对应的胸片质量信息保存至数据库;
接收回顾指令,根据回顾指令获取预设条件,根据预设条件从数据库中获取目标胸片图像的质量。
在其中一个实施例中,获取医学设备拍摄的胸片图像的步骤包括以下步骤:
每隔预设时间,检测医学设备的影像归档和通信系统上是否存在未处理的胸片图像;
若是,获取未处理的胸片图像;
在根据判断结果确定胸片拍摄质量的步骤之后,还包括以下步骤:
将胸片图像和对应的胸片质量信息保存至数据库;
接收回顾指令,根据回顾指令预设条件,根据预设条件从数据库中获取目标胸片图像的质量。
第二方面,本申请提供了一种胸片图像处理系统,包括:
图像获取单元,用于获取医学设备拍摄的胸片图像;
肋骨分割单元,用于将胸片图像输入至预设的肋骨分割模型,获得肋骨分割模型输出的肋骨分割结果,肋骨分割结果包括识别的肋骨顺序;
肺野分割单元,用于将胸片图像输入至预设的肺野分割模型,获得肺野分割模型输出的肺野分割结果;
质量评估单元,用于根据肋骨分割结果和肺野分割结果判断预设的特定肋骨是否与肺野相重叠,根据判断结果确定胸片拍摄质量。
在其中一个实施例中,质量评估单元用于在判断结果表示特定肋骨与肺野有重叠时,提示胸片为合格片;在判断结果表示特定肋骨与肺野无重叠时,提示胸片为二级片,其中二级片的拍摄质量低于合格片。
在其中一个实施例中,质量评估单元用于在判断结果表示特定肋骨与肺野有重叠时,对于肺野有重叠的特定肋骨数量进行计数,在计数数量与预设数量范围相符时,提示胸片为合格片。
在其中一个实施例中,肋骨分割单元用于通过肋骨分割模型识别胸片图像中的所有肋骨,将所有肋骨所在区域作为标签区域进行一次分割;对标签区域中的所有肋骨进行二次分割,得到若干类的肋骨集合区域;对各肋骨集合区域进行三次分割,得到单独肋骨的肋骨区域,并根据肋骨区域的位置和所属的肋骨集合区域对各肋骨区域进行顺序编排,其中,肋骨分割结果包括各肋骨区域以及对应顺序。
在其中一个实施例中,胸片图像处理系统还包括模型配置单元,用于获取初始化的多标签分割模型,以及多张胸片样本图像;将各胸片样本图像分别输入至多标签分割模型,针对任一胸片样本图像,通过多标签分割模型根据预设的分割标准对该胸片样本图像进行肋骨分割;获取肋骨分割的损失函数,对损失函数进行优化,直至损失函数收敛,根据收敛后的损失函数值对多标签分割模型进行参数配置,将配置后的多标签分割模型作为预设的肋骨分割模型。
在其中一个实施例中,模型配置单元用于通过多标签分割模型根据预设的三种不同的分割标准对该胸片样本图像分别进行一次分割、二次分割和三次分割;将一次分割的损失函数优化至收敛,将二次分割的损失函数优化至收敛,将三次分割的损失函数优化至收敛,再将整体分割过程的损失函数优化至收敛。
在其中一个实施例中,图像获取单元用于在医学设备工作时,实时获取胸片图像;
胸片图像处理系统还包括信息保存单元和图像回顾单元;
信息保存单元用于将胸片图像和对应的胸片质量信息保存至数据库;
图像回顾单元用于接收回顾指令,根据回顾指令获取预设条件,根据预设条件从数据库中获取目标胸片图像的质量。
在其中一个实施例中,图像获取单元用于每隔预设时间,检测医学设备的影像归档和通信系统上是否存在未处理的胸片图像;若是,获取未处理的胸片图像;
胸片图像处理系统还包括信息保存单元和图像回顾单元;
信息保存单元用于将胸片图像和对应的胸片质量信息保存至数据库;
图像回顾单元用于接收回顾指令,根据回顾指令获取预设条件,根据预设条件从数据库中获取目标胸片图像的质量。
第三方面,本申请提供了一种可读存储介质,其上存储有可执行程序,可执行程序被处理器执行时实现上述任一胸片图像处理方法的步骤。
第四方面,本申请提供了一种胸片图像处理设备,包括存储器和处理器,存储器存储有可执行程序,处理器执行可执行程序时实现上述任一胸片图像处理方法的步骤。
相比于相关技术,本申请提供的胸片图像处理方法、系统、可读存储介质和设备,医学设备工作时可以拍摄胸片,可以获取医学设备拍摄的胸片图像,将胸片图像分别输入至肋骨分割模型和肺野分割模型,分别获得肋骨分割结果和肺野分割结果,其中肋骨分割结果可以包括识别的肋骨顺序,结合这两种分割结果可以对比判断预设的特定肋骨与肺野是否有重叠,重叠与否决定了胸片的拍摄质量。本方案通过对拍摄的胸片图像的分析处理,可以判断胸片图像中预设的特定肋骨与肺野是否相重叠,以此确定胸片拍摄的质量,无需医生或技师对胸片拍摄过程中检查者是否处于屏气状态进行评估,通过胸片拍摄质量即可直接确定,减少待检查人员的等待时间,提高胸片的拍摄效果和速度。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为一个实施例中的示例性医学设备100的示意图;
图2为一个实施例中的在其上实现处理引擎140的示例性计算设备200的示例性硬件和/或软件组件的示意图;
图3为一个实施例中的可以在其上实现终端130的示例性移动设备300的示例性硬件和/或软件组件的示意图;
图4为一个实施例中的胸片图像处理方法的流程示意图;
图5为一个实施例中的屏气相关胸片实时质控的工作流程示意图;
图6为一个实施例中的屏气相关胸片回顾式质控的工作流程示意图;
图7为一个实施例中的肋骨分割模型结构示意图;
图8为一个实施例中的胸片图像处理系统的结构示意图;
图9为另一个实施例中的胸片图像处理系统的结构示意图;
图10为又一个实施例中的胸片图像处理系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在成像系统和/或处理器上。模块仅是说明性的,并且系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各种步骤。同时,或将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是一个实施例的示例性用于胸片拍摄的医学设备100的示意图。参考图1所示,医学设备100可包括扫描仪110、网络120、一个或多个终端130、处理引擎140、以及存储器150。医学设备100中的所有组件都可以通过网络120互相连接。
扫描仪110可扫描对象并且生成与该扫描对象相关的胸片数据。在一些实施例中,扫描仪110可以是医学成像设备,在本申请中,该医学成像设备优选地为胸片成像设备。
本发明中提到的“图像”可以指2D图像、3D图像、4D图像和/或任何相关数据,这并不是为了限制本发明的范围。对于本领域的技术人员来说,在本发明的指导下可以进行各种修正和改变。
扫描仪110可包括机架111、探测器112、检测区域113和工作台114。在一些实施例中,扫描仪110还可包括放射性扫描源115。机架111可支承探测器112和放射性扫描源115。扫描对象可被置于工作台114上以用于扫描。放射性扫描源115可向该扫描对象发射放射性射线。探测器112可以检测从检测区域113发射的辐射事件(例如,X射线)。在一些实施例中,扫描仪110可以是X射线扫描设备,并且探测器112可以包括用于检测和接收信号的电路。
网络120可包括任意合适的网络,该网络能协助医学设备100交换信息和/或数据。在一些实施例中,医学设备100的一个或多个组件(例如,扫描仪110、终端130、处理引擎140、存储器150等)可通过网络120与医学设备100的一个或多个其他组件传递信息和/或数据。例如,处理引擎140可通过网络120从扫描仪110获得图像数据。作为另一示例,处理引擎140可通过网络120从终端130获得用户指令。网络120可以包括公共网络(例如,因特网)、专用网络(例如,局域网(LAN)、广域网(WAN)等)、有线网络(例如,以太网)、无线网络(例如,802.11网络、Wi-Fi网络等)、蜂窝网络(例如,长期演进(LTE)网络)、帧中继网络、虚拟专用网(“VPN”)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其任意组合。仅作为示例,网络120可包括电缆网络、有线网络、光纤网络、电信网络、内联网、无线局域网(WLAN)、城域网(MAN)、公共电话交换网(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络等或者其任意组合。在一些实施例中,网络120可包括一个或多个网络接入点。例如,网络120可包括有线和/或无线网络接入点,诸如基站和/或因特网交换点,医学设备100的一个或多个组件可通过这些接入点来连接到网络120以交换数据和/或信息。
一个或多个终端130包括移动设备131、平板电脑132、笔记本电脑133等或其任意组合。在一些实施例中,移动设备131可包括智能家用设备、可穿戴设备、移动设备、虚拟现实设备、增强现实设备等或其任意组合。在一些实施例中,智能家用设备可包括智能照明设备、智能电器的控制设备、智能监视设备、智能电视、智能摄像机、互联电话等或其任意组合。在一些实施例中,可穿戴设备可包括手环、鞋袜、眼镜、头盔、手表、衣物、背包、智能饰物等或其任意组合。在一些实施例中,移动设备131可包括移动电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、笔记本电脑、平板电脑、台式机等或者其任意组合。在一些实施例中,虚拟现实设备和/或增强现实设备可包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等或其任意组合。例如,虚拟现实设备和/或增强现实设备可包括Google Glass、Oculus Rift、Hololens、Gear VR等。在一些实施例中,终端130可以是处理引擎140的一部分。
处理引擎140可以处理从扫描仪110、终端130和/或存储器150获得的数据和/或信息。在一些实施例中,处理引擎140可以是单个服务器或服务器组。服务器组可以是集中式的或者分布式的。在一些实施例中,处理引擎140可以是本地的或远程的。例如,处理引擎140可通过网络120来访问存储在扫描仪110、终端130和/或存储器150中的信息和/或数据。作为另一示例,处理引擎140可以直接连接到扫描仪110、终端130和/或存储器150以访问所存储的信息和/或数据。在一些实施例中,处理引擎140可在云平台上实现。仅作为示例,云平台可包括私有云、公共云、混合云、社区云、分布式云、互联云、多重云等或者其任意组合。在一些实施例中,处理引擎140可由图2中所示的具有一个或多个组件的计算设备200来实现。
存储器150可存储数据、指令、和/或任何其他信息。在一些实施例中,存储器150可以存储从终端130和/或处理引擎140获得的数据。在一些实施例中,存储器150可存储数据和/或指令,处理引擎140可以执行或使用该数据和/或指令以执行本发明中所描述的示例性方法。在一些实施例中,存储器150可包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性的大容量存储设备可包括磁盘、光盘、固态驱动器等。示例性的可移动存储器可包括闪存驱动器、软盘、光盘、存储器卡、压缩盘、磁带等。示例性的易失性读写存储器可包括随机存取存储器(RAM)。示例性的RAM可包括动态RAM(DRAM)、双倍数据率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容器RAM(Z-RAM)等。示例性的ROM可包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)、以及数字多用磁盘ROM等。在一些实施例中,存储器150可在云平台上实现。仅作为示例,云平台可包括私有云、公共云、混合云、社区云、分布式云、互联云、多重云等或者其任意组合。
在一些实施例中,存储器150可连接到网络120,以便与医学设备100中的一个或多个其他组件(例如,处理引擎140、终端130等)通信。医学设备100中的一个或多个组件可通过网络120来访问存储在存储器150中的数据或指令。在一些实施例中,存储器150可直接连接到医学设备100中的一个或多个其他组件(例如,处理引擎140、终端130等)或与这些组件通信。在一些实施例中,存储器150可以是处理引擎140的一部分。
图2是一个实施例的可以在其上实现处理引擎140的示例性计算设备200的示例性硬件和/或软件组件的示意图。如图2所示,计算设备200可以包括内部通信总线210、处理器(processor)220、只读存储器(ROM)230、随机存取存储器(RAM)240、通信端口250、输入/输出组件260、硬盘270以及用户界面280。
内部通信总线210可以实现计算设备200组件间的数据通信。
处理器220可根据本文所描述的技术来执行计算机指令(例如,程序代码)并执行处理引擎140的各功能。计算机指令可包括例如执行本文所描述的特定功能的例程、程序、扫描对象、组件、数据结构、过程、模块以及函数。例如,处理器220可以处理从扫描仪110、终端130、存储器150、和/或医学设备100的任何其他组件获得的图像数据。在一些实施例中,处理器220可包括一个或多个硬件处理器,诸如微控制器、微处理器、精简指令集计算机(RISC)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机(ARM)、可编程逻辑器件(PLD)、能够执行一个或多个功能的任意电路或处理器等或其任意组合。
仅为了说明,在计算设备200中仅描述了一个处理器220。然而,应当注意,本发明中的计算设备200也可包括多个处理器,因此本发明中所描述的由一个处理器执行的操作和/或方法步骤也可由多个处理器联合地或分别地执行。
只读存储器(ROM)230和随机存取存储器(RAM)240可存储从扫描仪110、终端130、存储器150、和/或医学设备100的任何其他组件获得的数据/信息。只读存储器(ROM)230可包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)、以及数字多用磁盘ROM等。随机存取存储器(RAM)240可包括动态RAM(DRAM)、双倍数据率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容器RAM(Z-RAM)等。在一些实施例中,只读存储器(ROM)230和随机存取存储器(RAM)240可存储用于执行本发明中所描述的示例性方法的一个或多个程序和/或指令。
通信端口250可连接到网络(例如,网络120)以协助数据通信。通信端口250可在处理引擎140和扫描仪110、终端130和/或存储器150之间建立连接。该连接可以是有线连接、无线连接、能够实现数据传送和/或接收的任意其他通信连接、和/或这些连接的任意组合。有线连接可包括例如电缆、光缆、电话线等或者其任意组合。无线连接可包括例如蓝牙链路、Wi-Fi链路、WiMax链路、WLAN链路、ZigBee链路、移动网络链路(例如,3G,4G,5G等)等或其组合。在一些实施例中,通信端口250可以是包括标准化通信端口,诸如RS232、RS485等。在一些实施例中,通信端口250可以是专门设计的通信端口。例如,通信端口250可根据医学数字成像和通信(DICOM)协议来设计。
输入/输出组件260支持计算设备200与其他部件之间的输入/输出数据流。在一些实施例中,输入/输出组件260可包括输入设备和输出设备。输入设备的示例可包括键盘、鼠标、触摸屏、话筒等或其组合。输出设备的示例可包括显示设备、扬声器、打印机、投影仪等或其组合。显示设备的示例可包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(CRT)、触摸屏等或其组合。
计算设备200还可以包括不同形式的程序储存单元以及数据储存单元,例如硬盘270,能够存储计算机处理和/或通信使用的各种数据文件,以及处理器220所执行的可能的程序指令。
用户界面280可以实现计算设备200和用户之间的交互和信息交换。
图3是一个实施例的可以在其上实现终端130的示例性移动设备300的示例性硬件和/或软件组件的示意图。如图3所示,移动设备300可包括天线310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、输入输出单元(I/O)350、内存360以及存储器390。在一些实施例中,移动设备300中还可包括任何其他合适的组件,包括但不限于系统总线或控制器(未示出)。在一些实施例中,移动操作系统370(例如,iOS、Android、Windows Phone等)和一个或多个应用380可从存储器390被加载到内存360中以便由CPU340执行。应用380可包括浏览器或任意其它合适的移动应用以用于接收和绘制与图像处理相关的信息或来自处理引擎140的其它信息。用户与信息流的交互可通过I/O350来实现并通过网络120提供给处理引擎140和/或医学设备100的其他组件。
为了实现本发明中所描述的各种模块、单元及其功能,计算机硬件平台可被用作本文所描述的一个或多个元件的(诸)硬件平台。具有用户界面元件的计算机可被用于当作个人计算机(PC)或任何其他类型的工作站或终端设备。如果进行适当的编程,计算机也可以充当服务器。在医学设备100中可以实现胸片图像处理方法、系统等。
参见图4所示,为本发明一个实施例的胸片图像处理方法的流程示意图。该实施例中的胸片图像处理方法包括以下步骤:
步骤S410:获取医学设备拍摄的胸片图像;
在本步骤中,待扫描对象可以置于医学设备扫描仪110的工作台114上,进入扫描仪110的扫描检测范围,进行胸片图像的扫描拍摄,胸片图像可以存储在存储器150中;
步骤S420:将胸片图像输入至预设的肋骨分割模型,获得肋骨分割模型输出的肋骨分割结果,肋骨分割结果包括识别的肋骨顺序;
在本步骤中,肋骨分割模型是预先训练好并存储在处理引擎140中的,通过将胸片图像输入至肋骨分割模型,可以直接得到较为准确的肋骨分割结果,而且该肋骨分割模型可以识别肋骨顺序,在拍摄到多根肋骨的情况下可以进行更细致的区分和识别;
步骤S430:将胸片图像输入至预设的肺野分割模型,获得肺野分割模型输出的肺野分割结果;
在本步骤中,肺野分割模型是预先训练好并存储在处理引擎140中的,通过将胸片图像输入至肺野分割模型,可以直接得到较为准确的肺野分割结果;
步骤S440:根据肋骨分割结果和肺野分割结果判断预设的特定肋骨是否与肺野相重叠,根据判断结果确定胸片拍摄质量。
在本步骤中,肋骨分割结果包括肋骨的分布位置、肋骨顺序等,肺野分割结果包括肺野的分布区域,根据肋骨的分布位置和肺野的分布区域可以判断肋骨与肺野是否相重叠,根据肋骨顺序可以对预设的特定肋骨进行识别判断,确定特定肋骨与肺野是否相重叠,以此快速而准确地确定胸片拍摄质量,预设的特定肋骨可以是预先指定的肋骨顺序中的一个或多根肋骨。
在本实施例中,医学设备工作时可以拍摄胸片,可以获取医学设备拍摄的胸片图像,将胸片图像分别输入至肋骨分割模型和肺野分割模型,分别获得肋骨分割结果和肺野分割结果,其中肋骨分割结果可以包括识别的肋骨顺序,结合这两种分割结果可以对比判断预设的特定肋骨与肺野是否有重叠,重叠与否决定了胸片的拍摄质量。本方案通过对拍摄的胸片图像的分析处理,可以判断胸片图像中预设的特定肋骨与肺野是否相重叠,以此确定胸片拍摄的质量,无需医生或技师对胸片拍摄过程中检查者是否处于屏气状态进行评估,通过胸片拍摄质量即可直接确定,减少待检查人员的等待时间,提高胸片的拍摄效果和速度。
需要说明的是,上述胸片图像处理方法可以在医学设备的控制台上执行,也可以在医学设备的后处理工作站上执行,或在能与医学设备通信的终端130上实现处理引擎的示例性计算设备200上执行,且不局限于此,可以根据实际应用的需要进行变化调整。
另外,肋骨分割模型和肺野分割模型均可以采用encoder-decoder模型结构(编码-解码模型结构),也可以采用轻量的LinkNet结构作为基础结构。
进一步的,在根据肋骨分割结果和肺野分割结果判断肋骨是否与肺野相重叠之前,可以接收选择指令,根据选择指令确定目标肋骨,判断目标肋骨是否与肺野相重叠,人的胸部一般都有12根肋骨,有时需要对病灶部位进行特定检查,可以事先确定需要检查的肋骨,如第10根肋骨的位置是目标位置,可以将第10根肋骨确定为目标肋骨,进而进行更加精细的判断。
在一个实施例中,根据判断结果确定胸片拍摄质量的步骤包括以下步骤:
若判断结果表示特定肋骨与肺野有重叠,提示胸片为合格片;若判断结果表示特定肋骨与肺野无重叠,提示胸片为二级片,其中二级片的拍摄质量低于合格片。
在本实施例中,待扫描对象处于屏气状态时,肺部扩张,胸片中的特定肋骨和肺野应当有重叠,因此可以用特定肋骨与肺野是否重叠来检测胸片质量,在特定肋骨与肺野有重叠时,表明此时待扫描对象处于屏气状态,得到的胸片是符合要求的,胸片为合格片;在特定肋骨与肺野无重叠时,表明此时待扫描对象未处于屏气状态或屏气不足,得到的胸片是不符合要求的,拍摄质量低于合格片,胸片为二级片;通过特定肋骨与肺野的重叠判断,可以检测出胸片的质量,在胸片为二级片时,通过提示的信息,医生或技师可以及时要求待扫描对象重新扫描拍摄,减少重复排队等不必要的等待时间,使医生或技师更有效率地获得待扫描对象的生理数据。
在一个实施例中,根据判断结果确定胸片拍摄质量的步骤包括以下步骤:
若判断结果表示特定肋骨与肺野有重叠,对与肺野有重叠的特定肋骨数量进行计数,若计数数量与预设数量范围相符,提示胸片为合格片。
在本实施例中,待扫描对象处于屏气状态时,肺部扩张,胸片中的特定肋骨和肺野应当有重叠,而且应是相当数量的特定肋骨与肺野重叠,因此可以对特定肋骨数量进行计数,将计数数量与预设数量范围相比较,若在预设数量范围内,表明此时待扫描对象处于屏气状态,得到的胸片是符合要求的,胸片为合格片;预设数量范围可以根据实际需要进行调整。
进一步的,若计数数量与预设数量范围不符,提示胸片为二级片。
在一个实施例中,将胸片图像输入至预设的肋骨分割模型,获得肋骨分割模型输出的肋骨分割结果的步骤包括以下步骤:
通过肋骨分割模型识别胸片图像中的所有肋骨,将所有肋骨所在区域作为标签区域进行一次分割;
对标签区域中的所有肋骨进行二次分割,得到若干类的肋骨集合区域;
对各肋骨集合区域进行三次分割,得到单独肋骨的肋骨区域,并根据肋骨区域的位置和所属的肋骨集合区域对各肋骨区域进行顺序编排,其中,肋骨分割结果包括各肋骨区域以及对应顺序。
在本实施例中,通过肋骨分割模型可以对胸片图像进行多次分割,先识别胸片图像中的所有肋骨,确定其所在的区域位置,将该区域作为标签区域进行一次分割,接着对标签区域中的肋骨进行分类,二次分割后得到若干类的肋骨集合区域,再对各个肋骨集合区域进行三次分割,得到其中单独肋骨的肋骨区域,并根据肋骨区域的位置和所属的肋骨集合区域对其进行顺序编排,使各个肋骨区域可以相互区分,由于各根肋骨之间相似性很高,通过多次分割,每次分割的难度适当减少,可以使分割结果更加准确。
进一步的,在对标签区域中的所有肋骨进行二次分割时,可以根据实际需要对肋骨的类别进行调整设置,如人的胸部有12根肋骨,可以将第1-6根设置为第一类,将第7-10根设置为第二类,将第11-12根设置为第三类等,也可以选择其他的分类方式。
在一个实施例中,胸片图像处理方法还包括以下步骤:
获取初始化的多标签分割模型,以及多张胸片样本图像;
将各胸片样本图像分别输入至多标签分割模型,针对任一胸片样本图像,通过多标签分割模型根据预设的分割标准对该胸片样本图像进行肋骨分割;
获取肋骨分割的损失函数,对损失函数进行优化,直至损失函数收敛,根据收敛后的损失函数值对多标签分割模型进行参数配置,将配置后的多标签分割模型作为预设的肋骨分割模型。
在本实施例中,可以用多张胸片样本图像对初始化的多标签分割模型进行训练,从而得到肋骨分割模型;多标签分割模型可以预先设置分割标准,以此对胸片样本图像进行肋骨分割,在分割时可以采用多标签分割模型的损失函数,通过对损失函数的优化,使之收敛,让分割结果尽可能符合分割标准,然后利用收敛后的损失函数值对多标签分割模型进行参数配置,使多标签分割模型成为肋骨分割模型,适应分割胸片图像的需要。
需要说明的是,胸片样本图像可以是已经确定肋骨位置的历史胸片图像,或模拟样本图像等等。
在一个实施例中,通过多标签分割模型根据预设的分割标准对该胸片样本图像进行肋骨分割的步骤包括以下步骤:
通过多标签分割模型根据预设的三种不同的分割标准对该胸片样本图像分别进行一次分割、二次分割和三次分割;
对损失函数进行优化,直至损失函数收敛的步骤包括以下步骤:
将一次分割的损失函数优化至收敛,将二次分割的损失函数优化至收敛,将三次分割的损失函数优化至收敛,再将整体分割过程的损失函数优化至收敛。
在本实施例中,可以设置四种不同的损失函数,前三种分别对应一次分割、二次分割和三次分割,第四种对应整体分割过程,通过设置三种不同的分割标准,可以完成对多标签分割模型不同层次的分类优化,采用层次聚类的策略,将单一的分割任务转化为从易到难的三种不同层次的分割任务,使分类更加容易实现,而且可以提高分类的准确性。
进一步的,三次分割标准可以包括对各个肋骨的顺序编排要求。
在一个实施例中,获取医学设备拍摄的胸片图像的步骤包括以下步骤:
在医学设备工作时,实时获取胸片图像;
在根据判断结果确定胸片拍摄质量的步骤之后,还包括以下步骤:
将胸片图像和对应的胸片质量信息保存至数据库;
接收回顾指令,根据回顾指令获取预设条件,根据预设条件从数据库中获取目标胸片图像的质量。
在本实施例中,可以在医学设备正常工作时实时获取其产生的胸片图像,保证可以在扫描拍摄时可以及时得到胸片拍摄质量反馈给医生或技师,而且可以将胸片图像和对应的胸片质量信息保存至数据库,并在医生或技师需要时,通过回顾指令,对在预设条件下扫描拍摄的目标胸片图像进行查验和统计,以便对扫描拍摄过程进行规范管理。
进一步的,预设条件可以是目标医学设备和/或目标时间段,根据预设条件从数据库中获取目标胸片图像的质量,可以是对目标医学设备在目标时间段内扫描拍摄的目标胸片图像进行查验和统计,确定批量的胸片的拍摄质量;本申请中的预设条件可以根据实际需要增加或删减任意条件,并不局限于目标医学设备和/或目标时间段,如执行拍摄的医生或技师等。
在一个实施例中,获取医学设备拍摄的胸片图像的步骤包括以下步骤:
每隔预设时间,检测医学设备的影像归档和通信系统上是否存在未处理的胸片图像;
若是,获取未处理的胸片图像;
在根据判断结果确定胸片拍摄质量的步骤之后,还包括以下步骤:
将胸片图像和对应的胸片质量信息保存至数据库;
接收回顾指令,根据回顾指令获取预设条件,根据预设条件从数据库中获取目标胸片图像的质量。
在本实施例中,由于医学设备的偶然故障,其影像归档和通信系统上可能存在已扫描拍摄,但未处理的胸片图像,因此可以每隔预设时间,对未处理的胸片图像进行质量检测,以免遗漏重要的胸片图像,之后可以将胸片图像和对应的胸片质量信息保存至数据库,并在医生或技师需要时,通过回顾指令,对在预设条件下扫描拍摄的目标胸片图像进行查验和统计,以便对扫描拍摄过程进行规范管理。
需要说明的是,实时获取胸片图像以及每隔预设时间获取未处理的胸片图像的过程可以在同一医学设备上实现。
具体的,胸片图像处理方法可以应用在医学设备的屏气相关胸片的实时质控和回顾式质控过程中,屏气相关胸片实时质控的工作流如图5所示:
1、检查者进行拍摄;
2、设备生成胸片图像;
3、将实时获取到的图像输入肋骨分割模型及肺野分割模型;
4、根据指定肋骨(如第10根肋骨)与肺野是否有重叠进行判断,若有重叠,则提示该胸片符合规范,若无重叠,则提示该胸片不符合规范;
5、将算法评估结果展示给技师,由技师决定是否需要重新拍片。
屏气相关胸片回顾式质控的工作流如图6所示:
1、设备产生胸片图像;
2、系统判断是否已经经过实时质控系统评估,若是,则直接存入数据库;
3、若否,则每隔一段时间,将PACS(影像归档和通信系统)上未经过评估的图像输入肋骨分割模型和肺野分割模型进行评估,将评估结果存入数据库;
4、用户可以选择特定时间段、特定技师、特定设备,从数据库中得到回顾式质控的评估结果。
在网络前向传播的过程中,由于各根肋骨之间相似性很高,模型实质上起到了一个聚类的作用。由于一张胸片上有12根左右的肋骨,类别数量较多,直接分割难度较大,因此采取了层次聚类的策略,将单一的分割任务转化为从易到难的三个任务。将容易任务的输出和原始图像结合,作为复杂任务的输入。这三个任务分别是:
1、将所有肋骨作为一个标签进行分割;
2、将12根肋骨分为三大类(第1-6根,第7-10根,第11-12根)进行分割;
3、将12根肋骨作为12个标签进行分割。
肋骨分割模型结构如图7所示。目前,肋骨分割模型采用的都是encoder-decoder结构,使用轻量的LinkNet结构作为基础结构。在此基础上,在decoder上接入了综合全局信息的Non-local模块。图7中所示的B(C,3C)指代BottleNeck结构。实际上聚类的操作是经过这个结构完成的。
在实际训练过程中,
1、将胸片图像Image作为模型的输入;
2、基于三个任务,将金标准转化成不同的形式label1,label2,label3;
3、每个任务都有一个输出output1,output2,output3;
4、对每个任务都可以计算一个损失函数loss1(output1,label1),loss2(output2,label2),loss3(output3,label3)。根据从易到难的顺序,先优化loss1至收敛,再优化loss2至收敛,再优化loss3,最后联合在一起进行优化;
实际推断过程中,output3是网络输出的每根肋骨的分割结果和对应顺序。
根据上述胸片图像处理方法,本发明实施例还提供一种胸片图像处理系统,以下就胸片图像处理系统的实施例进行详细说明。
参见图8所示,为一个实施例的胸片图像处理系统的结构示意图。该实施例中的胸片图像处理系统包括:
图像获取单元510,用于获取医学设备拍摄的胸片图像;
肋骨分割单元520,用于将胸片图像输入至预设的肋骨分割模型,获得肋骨分割模型输出的肋骨分割结果,肋骨分割结果包括识别的肋骨顺序;
肺野分割单元530,用于将胸片图像输入至预设的肺野分割模型,获得肺野分割模型输出的识别肋骨顺序的肺野分割结果;
质量评估单元540,用于根据肋骨分割结果和肺野分割结果判断预设的特定肋骨是否与肺野相重叠,根据判断结果确定胸片拍摄质量。
在本实施例中,胸片图像处理系统包括图像获取单元510、肋骨分割单元520、肺野分割单元530和质量评估单元540;在医学设备工作时可以拍摄胸片,图像获取单元510可以获取医学设备拍摄的胸片图像,将胸片图像分别输入至肋骨分割模型520和肺野分割模型530,分别获得肋骨分割结果和肺野分割结果,其中肋骨分割结果可以包括识别的肋骨顺序,质量评估单元540结合这两种分割结果可以对比判断预设的特定肋骨与肺野是否有重叠,重叠与否决定了胸片的拍摄质量。本方案通过对拍摄的胸片图像的分析处理,可以判断胸片图像中预设的特定肋骨与肺野是否相重叠,以此确定胸片拍摄的质量,无需医生或技师对胸片拍摄过程中检查者是否处于屏气状态进行评估,通过胸片拍摄质量即可直接确定,减少待检查人员的等待时间,提高胸片的拍摄效果和速度。
在一个实施例中,质量评估单元540用于在判断结果表示特定肋骨与肺野有重叠时,提示胸片为合格片;在判断结果表示特定肋骨与肺野无重叠时,提示胸片为二级片,其中二级片的拍摄质量低于合格片。
在一个实施例中,质量评估单元540用于在判断结果表示特定肋骨与肺野有重叠时,对于肺野有重叠的特定肋骨数量进行计数,在计数数量与预设数量范围相符时,提示胸片为合格片。
在一个实施例中,肋骨分割单元520用于通过肋骨分割模型识别胸片图像中的所有肋骨,将所有肋骨所在区域作为标签区域进行一次分割;对标签区域中的所有肋骨进行二次分割,得到若干类的肋骨集合区域;对各肋骨集合区域进行三次分割,得到单独肋骨的肋骨区域,并根据肋骨区域的位置和所属的肋骨集合区域对各肋骨区域进行顺序编排,其中,肋骨分割结果包括各肋骨区域以及对应顺序。
在一个实施例中,如图9所示,胸片图像处理系统还包括模型配置单元550,用于获取初始化的多标签分割模型,以及多张胸片样本图像;将各胸片样本图像分别输入至多标签分割模型,针对任一胸片样本图像,通过多标签分割模型根据预设的分割标准对该胸片样本图像进行肋骨分割;获取肋骨分割的损失函数,对损失函数进行优化,直至损失函数收敛,根据收敛后的损失函数值对多标签分割模型进行参数配置,将配置后的多标签分割模型作为预设的肋骨分割模型。
在一个实施例中,模型配置单元550用于通过多标签分割模型根据预设的三种不同的分割标准对该胸片样本图像分别进行一次分割、二次分割和三次分割;将一次分割的损失函数优化至收敛,将二次分割的损失函数优化至收敛,将三次分割的损失函数优化至收敛,再将整体分割过程的损失函数优化至收敛。
在一个实施例中,如图10所示,图像获取单元510用于在医学设备工作时,实时获取胸片图像;
胸片图像处理系统还包括信息保存单元560和图像回顾单元570;
信息保存单元560用于将胸片图像和对应的胸片质量信息保存至数据库;
图像回顾单元570用于接收回顾指令,根据回顾指令获取预设条件,根据预设条件从数据库中获取目标胸片图像的质量。
在一个实施例中,图像获取单元510用于每隔预设时间,检测医学设备的影像归档和通信系统上是否存在未处理的胸片图像;若是,获取未处理的胸片图像;
胸片图像处理系统还包括信息保存单元560和图像回顾单元570;
信息保存单元560用于将胸片图像和对应的胸片质量信息保存至数据库;
图像回顾单元570用于接收回顾指令,根据回顾指令获取预设条件,根据预设条件从数据库中获取目标胸片图像的质量。
本发明实施例的胸片图像处理系统与上述胸片图像处理方法一一对应,在上述胸片图像处理方法的实施例阐述的技术特征及其有益效果均适用于胸片图像处理系统的实施例中。
一种可读存储介质,其上存储有可执行程序,可执行程序被处理器执行时实现上述的胸片图像处理方法的步骤。
上述可读存储介质,通过其存储的可执行程序,可以实现通过对拍摄的胸片图像的分析处理,可以判断胸片图像中肋骨与肺野是否相重叠,以此确定胸片拍摄的质量,无需医生或技师对胸片拍摄过程中检查者是否处于屏气状态进行评估,通过胸片拍摄质量即可直接确定,减少待检查人员的等待时间,提高胸片的拍摄效果和速度。
一种胸片图像处理设备,包括存储器和处理器,存储器存储有可执行程序,处理器执行可执行程序时实现上述的胸片图像处理方法的步骤。
上述胸片图像处理设备,通过在处理器上运行可执行程序,可以实现通过对拍摄的胸片图像的分析处理,可以判断胸片图像中肋骨与肺野是否相重叠,以此确定胸片拍摄的质量,无需医生或技师对胸片拍摄过程中检查者是否处于屏气状态进行评估,通过胸片拍摄质量即可直接确定,减少待检查人员的等待时间,提高胸片的拍摄效果和速度。
胸片图像处理设备可以设置在医学设备100中,也可以设置在终端130或处理引擎140中。
本领域普通技术人员可以理解实现上述实施例用于胸片图像处理方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,程序可存储于一非易失性的计算机可读取存储介质中,如实施例中,该程序可存储于计算机系统的存储介质中,并被该计算机系统中的至少一个处理器执行,以实现包括如上述胸片图像处理方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成。所述的程序可以存储于可读取存储介质中。该程序在执行时,包括上述方法所述的步骤。所述的存储介质,包括:ROM/RAM、磁碟、光盘等。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种胸片图像处理方法,其特征在于,包括以下步骤:
获取医学设备拍摄的胸片图像;
将所述胸片图像输入至预设的肋骨分割模型,获得所述肋骨分割模型输出的肋骨分割结果,所述肋骨分割结果包括识别的肋骨顺序;
将所述胸片图像输入至预设的肺野分割模型,获得所述肺野分割模型输出的肺野分割结果;
根据所述肋骨分割结果和所述肺野分割结果判断预设的特定肋骨是否与肺野相重叠,根据判断结果确定胸片拍摄质量。
2.根据权利要求1的胸片图像处理方法,其特征在于,所述根据判断结果确定胸片拍摄质量的步骤包括以下步骤:
若所述判断结果表示所述特定肋骨与肺野有重叠,提示所述胸片为合格片;若所述判断结果表示所述特定肋骨与肺野无重叠,提示所述胸片为二级片,其中所述二级片的拍摄质量低于所述合格片。
3.根据权利要求1的胸片图像处理方法,其特征在于,所述根据判断结果确定胸片拍摄质量的步骤包括以下步骤:
若所述判断结果表示所述特定肋骨与肺野有重叠,对与肺野有重叠的特定肋骨数量进行计数,若计数数量与预设数量范围相符,提示所述胸片为合格片。
4.根据权利要求1的胸片图像处理方法,其特征在于,所述将所述胸片图像输入至预设的肋骨分割模型,获得所述肋骨分割模型输出的肋骨分割结果的步骤包括以下步骤:
通过所述肋骨分割模型识别所述胸片图像中的所有肋骨,将所有肋骨所在区域作为标签区域进行一次分割;
对所述标签区域中的所有肋骨进行二次分割,得到若干类的肋骨集合区域;
对各所述肋骨集合区域进行三次分割,得到单独肋骨的肋骨区域,并根据所述肋骨区域的位置和所属的肋骨集合区域对各所述肋骨区域进行顺序编排,其中,所述肋骨分割结果包括各所述肋骨区域以及对应顺序。
5.根据权利要求1的胸片图像处理方法,其特征在于,还包括以下步骤:
获取初始化的多标签分割模型,以及多张胸片样本图像;
将各所述胸片样本图像分别输入至所述多标签分割模型,针对任一胸片样本图像,通过所述多标签分割模型根据预设的分割标准对该胸片样本图像进行肋骨分割;
获取所述肋骨分割的损失函数,对所述损失函数进行优化,直至所述损失函数收敛,根据收敛后的损失函数值对所述多标签分割模型进行参数配置,将配置后的多标签分割模型作为所述预设的肋骨分割模型。
6.根据权利要求5的胸片图像处理方法,其特征在于,所述通过所述多标签分割模型根据预设的分割标准对该胸片样本图像进行肋骨分割的步骤包括以下步骤:
通过所述多标签分割模型根据预设的三种不同的分割标准对该胸片样本图像分别进行一次分割、二次分割和三次分割;
所述对所述损失函数进行优化,直至所述损失函数收敛的步骤包括以下步骤:
将所述一次分割的损失函数优化至收敛,将所述二次分割的损失函数优化至收敛,将所述三次分割的损失函数优化至收敛,再将整体分割过程的损失函数优化至收敛。
7.根据权利要求2或3的胸片图像处理方法,其特征在于,所述获取医学设备拍摄的胸片图像的步骤包括以下步骤:
在所述医学设备工作时,实时获取所述胸片图像;
在所述根据判断结果确定胸片拍摄质量的步骤之后,还包括以下步骤:
将所述胸片图像和对应的胸片质量信息保存至数据库;
接收回顾指令,根据所述回顾指令获取预设条件,根据所述预设条件从所述数据库中获取目标胸片图像的质量。
8.一种胸片图像处理系统,其特征在于,包括:
图像获取单元,用于获取医学设备拍摄的胸片图像;
肋骨分割单元,用于将所述胸片图像输入至预设的肋骨分割模型,获得所述肋骨分割模型输出的肋骨分割结果,所述肋骨分割结果包括识别的肋骨顺序;
肺野分割单元,用于将所述胸片图像输入至预设的肺野分割模型,获得所述肺野分割模型输出的肺野分割结果;
质量评估单元,用于根据所述肋骨分割结果和所述肺野分割结果判断预设的特定肋骨是否与肺野相重叠,根据判断结果确定胸片拍摄质量。
9.一种可读存储介质,其上存储有可执行程序,其特征在于,所述可执行程序被处理器执行时实现权利要求1至7中任意一项所述的胸片图像处理方法的步骤。
10.一种胸片图像处理设备,包括存储器和处理器,所述存储器存储有可执行程序,其特征在于,所述处理器执行所述可执行程序时实现权利要求1至7中任意一项所述的胸片图像处理方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010264187.1A CN111476777B (zh) | 2020-04-07 | 2020-04-07 | 胸片图像处理方法、系统、可读存储介质和设备 |
US17/221,160 US20210312629A1 (en) | 2020-04-07 | 2021-04-02 | Methods, systems and apparatus for processing medical chest images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010264187.1A CN111476777B (zh) | 2020-04-07 | 2020-04-07 | 胸片图像处理方法、系统、可读存储介质和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111476777A true CN111476777A (zh) | 2020-07-31 |
CN111476777B CN111476777B (zh) | 2023-08-22 |
Family
ID=71750064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010264187.1A Active CN111476777B (zh) | 2020-04-07 | 2020-04-07 | 胸片图像处理方法、系统、可读存储介质和设备 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210312629A1 (zh) |
CN (1) | CN111476777B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113555089A (zh) * | 2021-07-14 | 2021-10-26 | 江苏宏创信息科技有限公司 | 一种应用于临床影像的人工智能医学影像质控方法 |
CN113689425A (zh) * | 2021-09-15 | 2021-11-23 | 心医国际数字医疗系统(大连)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN115100179A (zh) * | 2022-07-15 | 2022-09-23 | 北京医准智能科技有限公司 | 一种图像处理方法、装置、设备及存储介质 |
EP4184433A3 (en) * | 2021-06-11 | 2023-09-13 | GE Precision Healthcare LLC | System and methods for medical image quality assessment using deep neural networks |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11727559B2 (en) * | 2020-07-01 | 2023-08-15 | Merative Us L.P. | Pneumothorax detection |
US20230125090A1 (en) * | 2021-10-21 | 2023-04-27 | Optellum Limited | Method and system for the analysis of medical images |
CN114049358A (zh) * | 2021-11-17 | 2022-02-15 | 苏州体素信息科技有限公司 | 肋骨实例分割、计数与定位的方法及系统 |
CN115631401A (zh) * | 2022-12-22 | 2023-01-20 | 广东省科学院智能制造研究所 | 一种视觉感知的机器人自主抓取技能学习系统及方法 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020191827A1 (en) * | 2001-06-15 | 2002-12-19 | Arch Development Corporation | Automated method and system for the delineation of the chest wall in computed tomography scans for the assessment of pleural disease |
JP2007105196A (ja) * | 2005-10-13 | 2007-04-26 | Fujifilm Corp | 画像処理装置、画像処理方法およびそのプログラム |
CN104252708A (zh) * | 2013-06-28 | 2014-12-31 | 深圳先进技术研究院 | 一种x光胸片图像处理方法及系统 |
CN104615915A (zh) * | 2015-01-15 | 2015-05-13 | 于飞 | 一种针对医疗放射影像的计算机辅助图像质量分析控制方法及系统 |
CN105447866A (zh) * | 2015-11-22 | 2016-03-30 | 南方医科大学 | 基于卷积神经网络的x线胸片骨抑制处理方法 |
CN105957094A (zh) * | 2016-06-15 | 2016-09-21 | 深圳维影医疗科技有限公司 | 一种基于轮廓检测的胸片肺野快速自动分割方法及其系统 |
CN106023200A (zh) * | 2016-05-19 | 2016-10-12 | 四川大学 | 一种基于泊松模型的x光胸片图像肋骨抑制方法 |
CN106611411A (zh) * | 2015-10-19 | 2017-05-03 | 上海联影医疗科技有限公司 | 一种医学图像中肋骨分割的方法及医学图像处理装置 |
US20170224302A1 (en) * | 2014-10-30 | 2017-08-10 | Koninklijke Philips N.V. | Device and method for determining image quality of a radiogram image |
CN107798682A (zh) * | 2017-08-31 | 2018-03-13 | 深圳联影医疗科技有限公司 | 图像分割系统、方法、装置和计算机可读存储介质 |
CN108348208A (zh) * | 2015-11-09 | 2018-07-31 | 皇家飞利浦有限公司 | X射线图像吸入质量监测 |
US20180276825A1 (en) * | 2017-03-23 | 2018-09-27 | Petuum, Inc. | Structure Correcting Adversarial Network for Chest X-Rays Organ Segmentation |
CN109598730A (zh) * | 2018-12-03 | 2019-04-09 | 鄂珑江 | 胸片分割及处理方法、系统及电子设备 |
CN109785303A (zh) * | 2018-12-28 | 2019-05-21 | 上海联影智能医疗科技有限公司 | 肋骨标记方法、装置、设备以及图像分割模型的训练方法 |
CN109859168A (zh) * | 2018-12-28 | 2019-06-07 | 上海联影智能医疗科技有限公司 | 一种x射线胸片图像质量确定方法及装置 |
CN110264449A (zh) * | 2019-06-14 | 2019-09-20 | 辽宁万象联合医疗科技有限公司 | 人工智能的深度学习方法及基于人工智能的医学放射影像胸部摄片的质量控制方法 |
CN110310289A (zh) * | 2019-06-17 | 2019-10-08 | 北京交通大学 | 基于深度学习的肺部组织图像分割方法 |
CN110473180A (zh) * | 2019-07-31 | 2019-11-19 | 南方医科大学南方医院 | 胸部呼吸运动的识别方法、系统及存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8526697B2 (en) * | 2008-02-15 | 2013-09-03 | Koninklijke Philips N.V. | Apparatus for segmenting an object comprising sub-objects |
US8913817B2 (en) * | 2011-10-28 | 2014-12-16 | Carestream Health, Inc. | Rib suppression in radiographic images |
US10043280B2 (en) * | 2015-10-19 | 2018-08-07 | Shanghai United Imaging Healthcare Co., Ltd. | Method and system for image segmentation |
US11651584B2 (en) * | 2018-10-16 | 2023-05-16 | General Electric Company | System and method for memory augmented domain adaptation |
US11227384B2 (en) * | 2019-02-11 | 2022-01-18 | International Business Machines Corporation | Methods and systems for determining a diagnostically unacceptable medical image |
US11315242B2 (en) * | 2019-04-10 | 2022-04-26 | International Business Machines Corporation | Automated fracture detection using machine learning models |
US10691980B1 (en) * | 2019-04-18 | 2020-06-23 | Siemens Healthcare Gmbh | Multi-task learning for chest X-ray abnormality classification |
US11436725B2 (en) * | 2019-11-15 | 2022-09-06 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems, methods, and apparatuses for implementing a self-supervised chest x-ray image analysis machine-learning model utilizing transferable visual words |
CN113470037A (zh) * | 2020-03-31 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置及系统 |
-
2020
- 2020-04-07 CN CN202010264187.1A patent/CN111476777B/zh active Active
-
2021
- 2021-04-02 US US17/221,160 patent/US20210312629A1/en active Pending
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020191827A1 (en) * | 2001-06-15 | 2002-12-19 | Arch Development Corporation | Automated method and system for the delineation of the chest wall in computed tomography scans for the assessment of pleural disease |
JP2007105196A (ja) * | 2005-10-13 | 2007-04-26 | Fujifilm Corp | 画像処理装置、画像処理方法およびそのプログラム |
CN104252708A (zh) * | 2013-06-28 | 2014-12-31 | 深圳先进技术研究院 | 一种x光胸片图像处理方法及系统 |
US20170224302A1 (en) * | 2014-10-30 | 2017-08-10 | Koninklijke Philips N.V. | Device and method for determining image quality of a radiogram image |
CN104615915A (zh) * | 2015-01-15 | 2015-05-13 | 于飞 | 一种针对医疗放射影像的计算机辅助图像质量分析控制方法及系统 |
CN106611411A (zh) * | 2015-10-19 | 2017-05-03 | 上海联影医疗科技有限公司 | 一种医学图像中肋骨分割的方法及医学图像处理装置 |
CN108348208A (zh) * | 2015-11-09 | 2018-07-31 | 皇家飞利浦有限公司 | X射线图像吸入质量监测 |
CN105447866A (zh) * | 2015-11-22 | 2016-03-30 | 南方医科大学 | 基于卷积神经网络的x线胸片骨抑制处理方法 |
CN106023200A (zh) * | 2016-05-19 | 2016-10-12 | 四川大学 | 一种基于泊松模型的x光胸片图像肋骨抑制方法 |
CN105957094A (zh) * | 2016-06-15 | 2016-09-21 | 深圳维影医疗科技有限公司 | 一种基于轮廓检测的胸片肺野快速自动分割方法及其系统 |
US20180276825A1 (en) * | 2017-03-23 | 2018-09-27 | Petuum, Inc. | Structure Correcting Adversarial Network for Chest X-Rays Organ Segmentation |
CN107798682A (zh) * | 2017-08-31 | 2018-03-13 | 深圳联影医疗科技有限公司 | 图像分割系统、方法、装置和计算机可读存储介质 |
CN109598730A (zh) * | 2018-12-03 | 2019-04-09 | 鄂珑江 | 胸片分割及处理方法、系统及电子设备 |
CN109785303A (zh) * | 2018-12-28 | 2019-05-21 | 上海联影智能医疗科技有限公司 | 肋骨标记方法、装置、设备以及图像分割模型的训练方法 |
CN109859168A (zh) * | 2018-12-28 | 2019-06-07 | 上海联影智能医疗科技有限公司 | 一种x射线胸片图像质量确定方法及装置 |
CN110264449A (zh) * | 2019-06-14 | 2019-09-20 | 辽宁万象联合医疗科技有限公司 | 人工智能的深度学习方法及基于人工智能的医学放射影像胸部摄片的质量控制方法 |
CN110310289A (zh) * | 2019-06-17 | 2019-10-08 | 北京交通大学 | 基于深度学习的肺部组织图像分割方法 |
CN110473180A (zh) * | 2019-07-31 | 2019-11-19 | 南方医科大学南方医院 | 胸部呼吸运动的识别方法、系统及存储介质 |
Non-Patent Citations (4)
Title |
---|
AWAIS MANSOOR等: "A Generic Approach to Pathological Lung Segmentation" * |
BANAFSHEH PAZOKIFARD等: "Efficient graph cuts based extraction of vertebral column and ribs in lung MDCT images" * |
孙先亮: "基于深度学习的肺部图像分割研究" * |
王继元: "基于深度学习的正位DR胸片质控体系研究与应用" * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4184433A3 (en) * | 2021-06-11 | 2023-09-13 | GE Precision Healthcare LLC | System and methods for medical image quality assessment using deep neural networks |
CN113555089A (zh) * | 2021-07-14 | 2021-10-26 | 江苏宏创信息科技有限公司 | 一种应用于临床影像的人工智能医学影像质控方法 |
CN113689425A (zh) * | 2021-09-15 | 2021-11-23 | 心医国际数字医疗系统(大连)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN115100179A (zh) * | 2022-07-15 | 2022-09-23 | 北京医准智能科技有限公司 | 一种图像处理方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20210312629A1 (en) | 2021-10-07 |
CN111476777B (zh) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111476777B (zh) | 胸片图像处理方法、系统、可读存储介质和设备 | |
Venkadesh et al. | Deep learning for malignancy risk estimation of pulmonary nodules detected at low-dose screening CT | |
US10810735B2 (en) | Method and apparatus for analyzing medical image | |
CN111080584B (zh) | 医学图像的质控方法、计算机设备和可读存储介质 | |
CN109035187B (zh) | 一种医学图像的标注方法及装置 | |
CN111476776B (zh) | 胸部病灶位置确定方法、系统、可读存储介质和设备 | |
JP3083606B2 (ja) | 医用診断支援システム | |
JP6807820B2 (ja) | 画像検索装置、方法およびプログラム | |
US9135695B2 (en) | Method for creating attenuation correction maps for PET image reconstruction | |
CN111462020B (zh) | 心脏图像的运动伪影校正方法、系统、存储介质和设备 | |
CN111951274A (zh) | 图像分割方法、系统、可读存储介质和设备 | |
CN110728674A (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
CN1875886B (zh) | 医用图像显示装置和系统、以及x射线计算机断层摄影装置 | |
JP2019061579A (ja) | 学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、および端末装置 | |
CN112001979B (zh) | 运动伪影处理方法、系统、可读存储介质和设备 | |
US20190295255A1 (en) | Identification of areas of interest in imaging applications | |
US20220285011A1 (en) | Document creation support apparatus, document creation support method, and program | |
CA3011141A1 (en) | Confidence determination in a medical imaging video clip measurement based upon video clip image quality | |
CN111127475A (zh) | Ct扫描图像处理方法、系统、可读存储介质和设备 | |
Choi et al. | A challenge for emphysema quantification using a deep learning algorithm with low-dose chest computed tomography | |
CN111260636A (zh) | 模型训练方法及设备、图像处理方法及设备以及介质 | |
CN111526796A (zh) | 用于图像散射校正的系统和方法 | |
CN116580819A (zh) | 用于自动化地确定图像序列中的检查结果的方法和系统 | |
CN114093463A (zh) | 图像处理的系统和方法 | |
US20210158970A1 (en) | Disease simulation and identification in medical images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |