CN110599483B - 肺部病灶检测装置、检测设备及可读存储介质 - Google Patents
肺部病灶检测装置、检测设备及可读存储介质 Download PDFInfo
- Publication number
- CN110599483B CN110599483B CN201910884530.XA CN201910884530A CN110599483B CN 110599483 B CN110599483 B CN 110599483B CN 201910884530 A CN201910884530 A CN 201910884530A CN 110599483 B CN110599483 B CN 110599483B
- Authority
- CN
- China
- Prior art keywords
- voxel
- position information
- lung
- size
- central point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004072 lung Anatomy 0.000 title claims abstract description 200
- 238000001514 detection method Methods 0.000 title claims abstract description 95
- 230000003902 lesion Effects 0.000 claims abstract description 106
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 23
- 238000002372 labelling Methods 0.000 claims description 20
- 230000002685 pulmonary effect Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004513 sizing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 206010056342 Pulmonary mass Diseases 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 206010014561 Emphysema Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010003210 Arteriosclerosis Diseases 0.000 description 1
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 1
- 206010056284 Lymph node calcification Diseases 0.000 description 1
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 206010035600 Pleural fibrosis Diseases 0.000 description 1
- 208000011775 arteriosclerosis disease Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 208000008128 pulmonary tuberculosis Diseases 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请提供一种肺部病灶检测装置、检测设备及可读存储介质，应用于图像处理技术领域。获得模块用于将待分析的肺部图像输入至训练好的检测模型中，获得包括肺部图像对应的目标热图、及目标热图中各个体素的位置信息与尺寸特征之间的关系的初始检测结果。位置确定模块用于根据目标热图中各个体素的第一体素特征，从目标热图中得到肺部病灶的中心点位置信息。其中，第一体素特征中包括用于表示该体素为肺部病灶中心点的概率的第一体素值。尺寸确定模块用于根据中心点位置信息、及位置信息与尺寸特征之间的关系，得到病灶的尺寸特征。由此，可自动从肺部图像中获得病灶的中心点位置信息及尺寸特征。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种肺部病灶检测装置、检测设备及可读存储介质。
背景技术
相关研究表明，中国每年的待分析肺部医学影像的数量增速达30％，而放射科医生的年增长率仅为4.1％，远远低于影像的增长速度。放射科医生人手不足会导致其工作量加重，而这种超负荷的工作则会导致误诊率和漏诊率的增加。传统阅片方式为：医生逐张查看，凭借经验确定肺部病灶的具体位置。对于一张医学影像，医生通常需要10分钟以上的时间进行诊断，且需要反复观看确认，比较耗时。同时，医生的阅片能力存在差异，医生凭借经验找到可疑区域并进行观察，不同的医生可能会给出不同的诊断结果。目前医生人工阅片的方式耗时耗力，且存在漏检、错检、不稳定等不足。
发明内容
有鉴于此，本申请的目的在于提供一种肺部病灶检测装置、检测设备及可读存储介质。
为了实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供一种肺部病灶检测装置，应用于检测设备，所述检测设备中存储有训练好的检测模型，所述装置包括：
获得模块，用于将待分析的肺部图像输入至所述检测模型中，获得初始检测结果，所述初始检测结果中包括所述肺部图像对应的目标热图、及所述目标热图中各个体素的位置信息与尺寸特征之间的关系；
位置确定模块，用于根据所述目标热图中各个体素的第一体素特征，从所述目标热图中得到肺部病灶的中心点位置信息，其中，所述第一体素特征中包括用于表示该体素为肺部病灶中心点的概率的第一体素值；
尺寸确定模块，用于根据所述中心点位置信息、及位置信息与尺寸特征之间的关系，得到所述病灶的尺寸特征。
在可选的实施方式中，所述第一体素特征中包括对应不同肺部病灶的第一体素值，所述位置确定模块具体用于：
将各种肺部病灶依次作为目标病灶，并对所述目标热图中对应所述目标病灶的第一体素值进行最大值池化处理，得到对应所述目标病灶的第二体素值；
计算每个体素的第一体素值与该体素的第二体素值之间的体素值差值，并判断所述体素值差值是否在所述目标病灶对应的预设体素值差值范围内；
判断所述目标热图的每个体素的第一体素值是否大于所述目标病灶对应的预设体素值；
将所述体素值差值在所述预设体素值差值范围内、且所述第一体素值大于所述预设体素值的体素的位置信息作为所述目标病灶的初始中心点位置信息，并根据所述初始中心点位置信息得到所述目标病灶的中心点位置信息。
在可选的实施方式中，所述初始检测结果还包括所述目标热图中各个体素的位置信息与偏移量特征之间的关系，所述偏移量特征包括对应不同肺部病灶的偏移量，所述位置确定模块根据所述初始中心点位置信息得到所述目标病灶的中心点位置信息的方式，包括：
根据所述初始中心点位置信息、及位置信息与偏移量特征之间的关系，得到与所述初始中心点位置信息对应的所述目标病灶的目标偏移量；
根据所述初始中心点位置信息及目标偏移量计算得到所述目标病灶的中心点位置信息。
在可选的实施方式中，所述尺寸特征中包括对应不同肺部病灶的尺寸，所述尺寸确定模块具体用于：
根据所述初始中心点位置信息、及位置信息与尺寸特征的对应关系，得到与所述初始中心点位置信息对应的所述目标病灶的目标尺寸。
在可选的实施方式中，所述获得模块具体用于：
对所述肺部图像进行尺寸缩放处理，以使缩放处理后的肺部图像的尺寸符合所述检测模型的图像尺寸要求；
根据预设体素平均值及预设体素标准差，对缩放处理后的肺部图像进行标准化处理，得到标准化处理后的肺部图像；
将标准化处理后的肺部图像输入至所述检测模型中，获得所述初始检测结果。
在可选的实施方式中，所述位置确定模块具体用于：根据对所述肺部图像进行缩放处理时采用的缩放倍数、所述目标热图的尺寸与标准化处理后的肺部图像的尺寸之间的关系，对基于所述初始中心点位置信息计算得到的中心点位置信息进行处理，得到所述目标病灶在所述肺部图像中的中心点位置信息；
所述尺寸确定模型具体用于：根据对所述肺部图像进行缩放处理时采用的缩放倍数、所述目标热图的尺寸与标准化处理后的肺部图像的尺寸之间的关系，对基于位置信息与尺寸特征之间的关系得到的尺寸进行处理，得到所述目标病灶在所述肺部图像中的尺寸。
在可选的实施方式中，所述检测模型由样本肺部图像及样本肺部图像对应的标注信息生成的训练数据训练得到，其中，所述标注信息包括基于所述样本肺部图像的肺部病灶的中心点位置信息及尺寸。
在可选的实施方式中，所述训练数据包括：经缩放处理及标准化处理后的样本肺部图像、基于转化后的标注信息中的中心点位置信息生成的样本热图、转化后的标注信息中的中心点位置信息对应的向下取整结果与转化后的中心点位置信息生成的样本偏移量，其中，转化后的标注信息由所述标注信息基于进行缩放处理时使用的缩放倍数及样本热图的尺寸与标准化后的样本肺部图像的尺寸之间的关系转换得到。
第二方面，本申请实施例提供一种检测设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式中任一所述的肺部病灶检测装置的功能。
第三方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的肺部病灶检测装置的功能。
本申请实施例提供的肺部病灶检测装置、检测设备及可读存储介质，获得模块用于在获得待分析的肺部图像后，将该肺部图像输入至训练好的检测模型中，得到初始检测结果。该初始检测结果中包括该肺部图像对应的目标热图、及目标热图中各个体素的位置信息与尺寸特征之间的关系。接着，位置确定模块用于根据目标热图中各个体素的第一体素特征，从该目标热图中得到肺部病灶的中心点位置信息。其中，该第一体素特征中包括用于表示该体素为肺部病灶中心点的概率的第一体素值。尺寸确定模块用于根据得到的中心点位置信息、位置信息与尺寸特征之间的关系，得到病灶的尺寸特征。由此，可自动对待分析的肺部图像进行分析，得到该肺部图像中的肺部病灶的中心点位置信息及尺寸特征，并且具有阅片速度快、准确率高、高并发、稳定性高等特点。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本申请实施例提供的检测设备的方框示意图；
图2是本申请实施例提供的肺部病灶检测装置的方框示意图；
图3是本申请实施例提供的残差块的示意图；
图4是本申请实施例提供的骨干网络的示意图。
图标：100-检测设备；110-存储器；120-处理器；130-通信单元；200-肺部病灶检测装置；210-获得模块；220-位置确定模块；230-尺寸确定模块。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
请参照图1，图1是本申请实施例提供的检测设备100的方框示意图。所述检测设备100可以是，但不限于，服务器、个人电脑(Personal Computer，PC)、平板电脑等。所述检测设备100可以包括存储器110、处理器120及通信单元130。所述存储器110、处理器120以及通信单元130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，存储器110用于存储程序或者数据。所述存储器110可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序，并执行相应地功能。比如，存储器110中存储有训练好的检测模型及肺部病灶检测装置200，所述肺部病灶检测装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120通过运行存储在存储器110内的软件程序以及模块，如本申请实施例中的肺部病灶检测装置200，从而执行各种功能应用以及数据处理，获得肺部病灶的中心点位置信息及尺寸特征。
通信单元130用于通过网络建立所述检测设备100与其它通信终端之间的通信连接，并用于通过所述网络收发数据。
应当理解的是，图1所示的结构仅为检测设备100的结构示意图，所述检测设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2，图2是本申请实施例提供的肺部病灶检测装置200的方框示意图。所述肺部病灶检测装置200可以包括获得模块210、位置确定模块220及尺寸确定模块230。
所述获得模块210，用于将待分析的肺部图像输入至所述检测模型中，获得初始检测结果。所述初始检测结果中包括所述肺部图像对应的目标热图、及所述目标热图中各个体素的位置信息与尺寸特征之间的关系。
所述位置确定模块220，用于根据所述目标热图中各个体素的第一体素特征，从所述目标热图中得到肺部病灶的中心点位置信息。其中，所述第一体素特征中包括用于表示该体素为肺部病灶中心点的概率的第一体素值。
所述尺寸确定模块230，用于根据所述中心点位置信息、及位置信息与尺寸特征之间的关系，得到所述病灶的尺寸特征。
在本实施例中，所述获得模块210可通过扫描或接收其他设备输入等方式获得待分析的肺部图像，并将该肺部图像输入至训练好的检测模型中，得到与该肺部图像对应的目标热图、目标热图中各个体素的位置信息与尺寸特征之间的关系。其中，目标热图中包括多个体素及各个体素的第一体素特征，每个体素的第一体素特征中包括在该目标热图中，该体素为肺部病灶中心点的概率的第一体素值。体素是体积元素的简称，为三维空间分割上的最小单位。
其中，该肺部图像为医学图像。可选地，该肺部图像可以是PET(positronemission tomography，正电子发射计算机断层显像)图像，或CT(Computer Tomography，计算机断层扫描)图像等。
在获得所述初始检测结果后，根据各个体素的第一体素特征，从所述目标热图中确定出作为肺部病灶中心点的体素。由此，可从目标热图中获得肺部病灶中心点的位置信息。接着，根据目标热图中各个体素的位置信息与尺寸特征之间的关系，获得与所述中心点的位置信息对应的尺寸特征，从而得到该肺部病灶的尺寸特征。该尺寸特征中包括尺寸。可选地，该尺寸为肺部病灶在目标热图中的尺寸。
通过以上方式，可自动进行阅片，获得肺部图像中的肺部病灶的中心点位置信息及尺寸特征。并且，由于基于每张肺部图像获得上述信息的方式相同，因此具有稳定高的特点，并且相较于人工阅片的方式，阅片速度快、准确率高。同时，还可以同时对多张肺部图像进行分析，使得该肺部病灶检测装置200具有高并发的特点，从而进一步提高阅片速度。通过该肺部病灶检测装置200可对病灶位置进行粗筛及辅助诊断。
可选地，在本实施例中，所述第一体素特征为一个向量，该第一体素特征中包括对应不同肺部病灶的第一体素值。比如，所述第一体素特征中可以包括对应结节病灶的第一体素值、对应肺密度增高影病灶的第一体素值、对应肺气肿(或肺大泡)病灶的第一体素值、对应索条病灶的第一体素值、对应动脉硬化(或钙化)的第一体素值、对应淋巴结钙化病灶的第一体素值、对应胸膜增厚病灶的第一体素值。由此，基于该肺部病灶检测装置200可获得不同肺病病灶的中心点位置信息及尺寸特征。比如，得到肺气肿病灶的中心点位置信息及尺寸特征，以及结节病灶的中心点位置信息及尺寸特征。
在本实施例中，所述位置确定模块220可经以下方式获得肺部病灶的中心点位置信息。
首先，将一种肺部病灶作为目标病灶。可选地，可将各种肺部病灶依次作为目标病灶。接着，对目标热图中对应该目标病灶的第一体素值进行最大值池化处理。最大值池化处理后的第一体素值，为对应所述目标病灶的第二体素值。接着计算每个体素的第一体素值与该体素的第二体素值之间的体素值差值，并判断该体素值差值是否在该目标病灶对应的预设体素值差值范围内。并判断所述目标热图中对应所述目标病灶的第一体素值，是否大于该目标病灶对应的预设体素值。最后，将所述体素值差值在所述预设体素值差值范围内、且所述第一体素值大于所述预设体素值的体素的位置信息作为所述目标病灶的初始中心点位置信息，并根据所述初始中心点位置信息得到所述目标病灶的中心点位置信息。
可选地，所述位置确定模块220可依次获得各种肺部病灶的中心点位置信息，也可以同时根据对应各种肺部病灶的第一体素值，从所述目标热图中获得各种肺部病灶的中心点位置信息。比如，所述第一体素特征中包括分别对应A、B、C的第一体素值，可同时分别基于对应A、B、C的第一体素值，获得A、B、C各自的中心点位置信息。
可选地，在本实施例的实施方式中，计算体素值差值、并将体素值差值与预设体素值差值范围进行比较和判断第一体素值是否在对应的预设体素值内，可同时执行，也可以分先后依次执行。
可选地，在本实施例的实施方式中，各种肺部病灶对应的预设体素值差值范围、预设体素值可以相同，也可以不同，具体根据实际需求设置。
比如，在本实施例的一种实施方式中，肺结节病灶对应的预设体素值差值为不大于0，预设体素值为0.1。所述位置确定模块220可首先对对应肺结节病灶的第一体素值进行最大值池化处理，得到第二体素值；接着将池化前后体素值不变(即第一体素值与第二体素值相等)的体素的体素值保持不变，其他值置为0。然后判断池化前后体素值不变的体素的体素值，是否大于0.1，若大于，则将所述目标热图中的该体素作为肺结节病灶的初始中心点，进而基于初始中心点得到该肺结节病灶的中心点。反之，则不作为肺结节病灶的中心点。由此，可从目标热图中得到肺结节病灶的中心点位置信息。
在得到各种肺部病灶的中心点位置信息后，可根据位置信息与尺寸特征之间的关系，得到各种肺部病灶的尺寸特征。由此，通过所述肺部病灶检测装置200可获得各种肺部病灶的中心点位置信息及尺寸特征。
可选地，在本实施例中的一种实施方式中，在从所述目标热图中得到初始中心点位置信息后，可将该初始中心点位置信息直接作为对应的肺部病灶的中心点位置信息。
可选地，在本实施例中的另一种实施方式中，对得到的初始中心点位置信息进行处理，处理后的结果作为对应的肺部病灶的中心点位置信息。
在本实施例中，所述初始检测结果中还可以包括所述目标热图中各个体素的位置信息与偏移量特征之间的关系。在通过目标热图获得初始中心点位置信息后，可根据位置信息与偏移量特征之间的关系，获得与该初始中心点位置信息对应的目标偏移量。然后根据目标偏移量对初始中心点位置信息进行处理，得到中心点的位置信息。
进一步地，在本实施例中，所述偏移量特征包括对应不同肺部病灶的偏移量。所述位置确定模块220可根据对应目标病灶的初始中心点位置信息、位置信息与偏移量特征之间的关系，得到该初始中心点位置信息对应的所述目标病灶的目标偏移量。接下来则根据初始中心点位置信息及目标偏移量计算得到所述目标病灶的中心点位置信息。可选地，可直接计算初始中心点位置信息及目标偏移量之和，并将该和作为目标病灶的中心点位置信息。
进一步地，在本实施例中，所述尺寸特征也为一个向量，该尺寸特征中包括对应不同肺部病灶的尺寸。所述尺寸确定模块230可根据所述初始中心点位置信息、位置信息与尺寸特征的对应关系，得到与所述初始中心点位置信息对应的所述目标病灶的目标尺寸。
在本实施例中，所述获得模块210可用于对所述肺部图像进行尺寸缩放处理，以使缩放处理后的肺部图像的尺寸符合所述检测模型的图像尺寸要求。然后，根据预设体素平均值及预设体素标准差，对缩放处理后的肺部图像进行标准化处理，得到标准化处理后的肺部图像。最后，将标准化处理后的肺部图像输入至所述检测模型中，获得所述初始检测结果。
在本实施例中，由于对所述肺部图像进行了缩放处理，同时目标热图的尺寸与标准化处理后的肺部图像尺寸可能不同，所述位置确定模块220可对经上述方式得到的基于目标热图尺寸的中心点位置信息进行处理，以得到基于所述肺部图像尺寸的目标病灶的中心点位置信息及尺寸。由此，可直接在肺部图像中确定出目标病灶的中心点位置信息及尺寸。
可选地，所述位置确定模块220可根据对所述肺部图像进行缩放处理时采用的缩放倍数、所述目标热图的尺寸与标准化处理后的肺部图像的尺寸之间的关系，对基于所述初始中心点位置信息计算得到的中心点位置信息进行处理，得到所述目标病灶在所述肺部图像中的中心点位置信息。
所述尺寸确定模块230可根据对所述肺部图像进行缩放处理时采用的缩放倍数、所述目标热图的尺寸与标准化处理后的肺部图像的尺寸之间的关系，对基于位置信息与尺寸特征之间的关系得到的尺寸进行处理，得到所述目标病灶在所述肺部图像中的尺寸。
下面以获得肺结节病灶的中心点位置信息及尺寸为例，对上述肺部病灶检测装置200的实现过程进行举例说明。
首先对待分析的肺部图像进行尺寸缩放处理及标准化处理，然后将标准化处理后的肺部图像输入训练好的检测模型中，得到所述初始检测结果。所述初始检测结果中包括目标热图、目标热图中各个体素的位置信息与尺寸特征之间的关系、目标热图中各个体素的位置信息与偏移量特征之间的关系。其中，所述目标热图的各个体素的第一体素特征中包括对应肺结节病灶的第一体素值。
根据对应肺结节病灶的第一体素值，确定出所述目标热图中作为肺结节病灶的初始中心点的体素，从而得到初始中心点位置信息(z2_p,y2_p,x2_p)。接着，根据该初始中心点位置信息、目标热图中各个体素的位置信息与偏移量特征之间的关系，得到肺结节病灶的初始中心点位置信息为(z2_p,y2_p,x2_p)时的偏移量为(z3_p,y3_p,x3_p)，进而根据初始中心点位置信息(z2_p,y2_p,x2_p)及偏移量(z3_p,y3_p,x3_p)，得到肺结节病灶在目标热图中的中心点位置信息(pospredict+offsetpredict)，其中，pospredict表示初始中心点位置信息，offsetpredict表示偏移量。同时，根据该初始中心点位置信息、目标热图中各个体素的位置信息与尺寸特征之间的关系，得到初始中心点信息为(z2_p,y2_p,x2_p)的肺结节病灶在目标热图中的尺寸为(z4_p,y4_p,x4_p)。
接下来以肺部图像的尺寸为基准，假如目标热图的尺寸为标准化处理后的肺部图像尺寸的四分之一，可将根据目标热图得到的中心点位置信息及尺寸进行如下处理：
posfinal＝(pospredict+offsetpredict)×4×zoom_factor
shapefinal＝shapepredict×4×zoom_factor
其中，zoom_factor表示缩放处理时使用的缩放倍数，posfinal表示目标病灶在肺部图像中的中心点位置信息，pospredict表示目标病灶在目标热图中的初始中心点位置信息，offsetpredict表示偏移量，shapepredict表示目标病灶在目标热图中的尺寸，shapefinal表示目标病灶在肺部图像中的尺寸。
可选地，在本实施例中，所述检测模型由样本肺部图像及样本肺部图像对应的标注信息生成的训练数据训练得到。其中，所述标注信息包括基于所述样本肺部图像的肺部病灶的中心点位置信息及尺寸。
所述训练数据包括：经缩放处理及标准化处理后的样本肺部图像、基于转化后的标注信息中的中心点位置信息生成的样本热图、转化后的标注信息中的中心点位置信息对应的向下取整结果与转化后的中心点位置信息生成的样本偏移量。其中，转化后的标注信息由所述标注信息基于进行缩放处理时使用的缩放倍数及样本热图的尺寸与标准化后的样本肺部图像的尺寸之间的关系转换得到。
下面对检测模型的训练过程进行说明。
首先可从来源于多个厂家(比如，西门子、飞利浦、东芝等)的CT设备及开源数据库中获得样本肺部图像。可经过医生标注后，得到各样本肺部图像对应的标注信息。该标注信息可包括至少一种肺部病灶的中心点位置信息及尺寸。
然后，可首先对样本肺部图像进行预处理，得到预处理后的样本肺部图像。接着根据对样本肺部图像预处理时使用的缩放倍数、样本热图的尺寸与预处理后的样本肺部图像的尺寸之间的关系，对所述标注信息进行转化，以得到基于样本热图的中心点位置信息及尺寸。对转化后的中心点位置信息进行向下取整，并根据取整结果与转化后的中心点位置信息之间的差值得到样本偏移量。并根据取整结果生成所述样本图像对应的样本图像。由此，可根据样本肺部图像及标注信息生成训练数据。
可选地，可先对获得样本肺部图像img进行尺寸缩放处理，以使缩放处理后的样本肺部图像的尺寸为训练尺寸(即符合检测模型的图像尺寸要求)。可选地，可使用三线性插值将样本肺部图像的尺寸缩放到训练尺寸，得到缩放处理后的样本肺部图像img_zoom。当然可以理解的是，也可以选择其他方式对样本肺部图像进行缩放处理。接着，可基于以下公式对缩放处理后的样本肺部图像img_zoom进行标准化处理：
其中，imgprocessed表示标准化处理后的样本肺部图像，mean表示根据所有样本肺部图像的第三体素值(即CT值)计算得到的体素平均值，std表示根据所有样本肺部图像的第三体素值(即CT值)计算得到的体素标准差。其中，训练模型使用的体素平均值、体素标准差分别与使用模型时使用的预设体素平均值、预设体素标准差相同。
假设样本肺部图像由原始大小缩放到训练尺寸的放大倍数为zoom_factor。此时，由于图像的尺寸有一定比例的变化，对应的结节位置信息和尺寸(即标注信息)也有相应的变化。此外，检测模型最终的预测结果是在1/4训练尺寸的热图下得到的，所以基于样本肺部图像的中心点位置信息和尺寸需要转化为基于热图的中心点位置信息和尺寸。转化方式如下：
posprocessed＝pos×zoom_factor÷4
shapeprocessed＝shape×zoom_factor÷4
其中，posprocessed表示基于热图的中心点位置信息，shapeprocessed表示基于热图的尺寸，pos表示基于样本肺部图像的中心点位置信息，shape表示基于样本肺部图像的尺寸。
接下来可以每个中心点位置信息对应的位置为中心点，生成服从三维高斯分布的热图。可选地，使用的计算公式如下：
其中，hm表示第一体素值，x1、y1和z1表示距离中心点的距离，σ为常数。若一张样本肺部图像中包括多个同一种肺部病灶，可先根据每个肺部病灶生成一张热图，然后将多张热图进行合并，从而得到与样本肺部图像对应的样本热图。可选地，在合并过程中，对于重复的点，该点取最大值。比如，热图1的位置a处的第一体素值为0.2，热图2的位置b处的第一体素值为0.3，在合并后，位置a与位置b是同一位置，则该位置的第一体素值为0.3。
可选地，若生成热图时，某个或某些中心点位置信息中的坐标不是整数，可通过向下取整操作将其处理为整数，然后再生成热图。
由于最终的预测是在基于1/4训练尺寸的热图下得到的，因此最后需要将基于检测模型得到的中心点位置信息转化为基于样本肺部图像的中心点位置信息，此时可能会由于向下取整操作存在一定误差。该误差为
记作offset。其中，
表示posprocessed的向下取整结果。比如，posprocessed为11.5，向下取整后可得到11，即
为11。
以上训练数据中，hm用于肺部病灶中心点位置的训练，shapeprocessed用于肺部病灶尺寸的训练，offset用于肺部病灶中心点位置偏移量的训练，预处理后的样本肺部图像imgprocessed为输入图像。
在得到训练数据后，可将预处理后的样本肺部图像imgprocessed依次经过kernel为7、stride为2的卷积层和如图3所示的kernel为3的残差块结构，获得下采样4倍的特征图。然后将该特征图输入到串联的两个如图4所示的骨干网络中，两个Hourglass网络分别输出feature_1和feature_2(训练时同时使用feature_1和feature_2，预测时只使用feature_2)。
将feature_1送入第一个kernel为3、stride为1的卷积层，并经过sigmoid层，获得预测的hm_1，尺寸为(batch_size，num_classes，z4，y4，x4)。将feature_1送入第二个kernel为3、stride为1的卷积层，获得预测的shape_1，尺寸为(batch_size，shape_zyx，z4，y4，x4)。将feature_1送入第三个kernel为3、stride为1的卷积层，获得预测的offset_1，尺寸为(batch_size，shape_offset，z4，y4，x4)。
其中，batch_size表示训练时的批尺寸，即一次输入的输入图像imgprocessed的数量。num_classes表示待检测目标的类别数，比如，若只检测肺结节病灶，则设为1，若检测3种肺部病灶，则设为3。z4、y4、x4表示feature_1的尺寸。shape_zyx表示预测的肺部病灶的尺寸，此处为3，分别表示z、y和x方向上的尺寸。shape_offset表示肺部病灶中心点位置的偏移量，此处为3，分别表示z、y和x方向上的误差。
与feature_1计算方式相同，feature_2对应的预测结果为hm_2、shape_2和offset_2。
根据预测结果hm_1、shape_1和offset_1、及hm_2、shape_2和offset_2训练损失参数。
在本实施例中，损失函数可包括三部分，分别为中心点位置损失、尺寸损失及偏移量损失。中心点位置损失采用focal loss计算，具有计算方式如下：
其中，Lpos表示中心点位置损失，N为该样本肺部图像中的肺部病灶个数。若仅用于检测一种肺部病灶时，比如，检测肺结节病灶时，则N表示该样本肺部图像中的肺结节个数。YP表示某个体素的第一体素值的预测值，Ygt表示该体素的第一体素值的真实值(即由上述高斯公式计算得到的第一体素值)。α和β为常数。
肺部病灶的尺寸和偏移量均采用L1损失函数计算得到，具体计算方式如下：
其中，N为该图像中的结节个数，predict和gt分别为某个中心点位置所对应的肺部病灶的预测尺寸和真实尺寸(或某个中心点位置所对应的肺部病灶的预测偏移量和真实偏移量)。总损失值为三部分损失值的加权和：
Ltotal＝ωposLpos+ωshapeLshape+ωoffsetLoffset
其中，ωpos表示中心点位置信息的预设权重值，ωshape表示尺寸的预设权重值、ωoffset表示偏移量的预设权重值。
最后，采用Adam算法对损失函数进行优化。
可选地，在每次得到hm_1、shape_1和offset_1、及hm_2、shape_2和offset_2后，可根据上述方式计算得到基于feature_1的预测结果对应的损失值，以及基于feature_2的预测结果对应的损失值，然后将这两个损失值之和作为本次预测结果的总损失。
由此，可得到训练好的检测模型。
可选地，上述模块可以软件或固件(Firmware)的形式存储于图1所示的存储器110中或固化于该检测设备100的操作系统(Operating System，OS)中，并可由图1中的处理器120执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器110中。
本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的肺部病灶检测装置200的功能。
本申请实施例提供一种肺部病灶检测装置、检测设备及可读存储介质。该装置包括获得模块、位置确定模块及尺寸确定模块。获得模块用于在获得待分析的肺部图像后，将该肺部图像输入至训练好的检测模型中，得到初始检测结果。该初始检测结果中包括该肺部图像对应的目标热图、及目标热图中各个体素的位置信息与尺寸特征之间的关系。接着，位置确定模块用于根据目标热图中各个体素的第一体素特征，从该目标热图中得到肺部病灶的中心点位置信息。其中，该第一体素特征中包括用于表示该体素为肺部病灶中心点的概率的第一体素值。尺寸确定模块用于根据得到的中心点位置信息、位置信息与尺寸特征之间的关系，得到病灶的尺寸特征。由此，可自动对待分析的肺部图像进行分析，得到该肺部图像中的肺部病灶的中心点位置信息及尺寸特征，并且具有阅片速度快、准确率高、高并发、稳定性高等特点。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种肺部病灶检测装置，其特征在于，应用于检测设备，所述检测设备中存储有训练好的检测模型，所述装置包括：
获得模块，用于将待分析的肺部图像输入至所述检测模型中，获得初始检测结果，所述初始检测结果中包括所述肺部图像对应的目标热图、及所述目标热图中各个体素的位置信息与尺寸特征之间的关系，所述目标热图中包括多个体素及各个体素的第一体素特征；
位置确定模块，用于根据所述目标热图中各个体素的第一体素特征，从所述目标热图中得到肺部病灶的中心点位置信息，其中，所述第一体素特征中包括用于表示该体素为肺部病灶中心点的概率的第一体素值，所述位置确定模块得到肺部病灶的中心点位置信息的方式包括：根据所述目标热图中各个体素的第一体素特征，从所述目标热图中确定出作为肺部病灶中心点的体素，并将该体素的位置信息作为肺部病灶的中心点位置信息；
尺寸确定模块，用于根据所述中心点位置信息、及位置信息与尺寸特征之间的关系，得到所述病灶的尺寸特征。
2.根据权利要求1所述的装置，其特征在于，所述第一体素特征中包括对应不同肺部病灶的第一体素值，所述位置确定模块具体用于：
将各种肺部病灶依次作为目标病灶，并对所述目标热图中对应所述目标病灶的第一体素值进行最大值池化处理，得到对应所述目标病灶的第二体素值；
计算每个体素的第一体素值与该体素的第二体素值之间的体素值差值，并判断所述体素值差值是否在所述目标病灶对应的预设体素值差值范围内；
判断所述目标热图的每个体素的第一体素值是否大于所述目标病灶对应的预设体素值；
将所述体素值差值在所述预设体素值差值范围内、且所述第一体素值大于所述预设体素值的体素的位置信息作为所述目标病灶的初始中心点位置信息，并根据所述初始中心点位置信息得到所述目标病灶的中心点位置信息。
3.根据权利要求2所述的装置，其特征在于，所述初始检测结果还包括所述目标热图中各个体素的位置信息与偏移量特征之间的关系，所述偏移量特征包括对应不同肺部病灶的偏移量，所述位置确定模块根据所述初始中心点位置信息得到所述目标病灶的中心点位置信息的方式，包括：
根据所述初始中心点位置信息、及位置信息与偏移量特征之间的关系，得到与所述初始中心点位置信息对应的所述目标病灶的目标偏移量；
根据所述初始中心点位置信息及目标偏移量计算得到所述目标病灶的中心点位置信息。
4.根据权利要求2或3所述的装置，其特征在于，所述尺寸特征中包括对应不同肺部病灶的尺寸，所述尺寸确定模块具体用于：
根据所述初始中心点位置信息、及位置信息与尺寸特征的对应关系，得到与所述初始中心点位置信息对应的所述目标病灶的目标尺寸。
5.根据权利要求4所述的装置，其特征在于，所述获得模块具体用于：
对所述肺部图像进行尺寸缩放处理，以使缩放处理后的肺部图像的尺寸符合所述检测模型的图像尺寸要求；
根据预设体素平均值及预设体素标准差，对缩放处理后的肺部图像进行标准化处理，得到标准化处理后的肺部图像；
将标准化处理后的肺部图像输入至所述检测模型中，获得所述初始检测结果。
6.根据权利要求5所述的装置，其特征在于，
所述位置确定模块具体用于：根据对所述肺部图像进行缩放处理时采用的缩放倍数、所述目标热图的尺寸与标准化处理后的肺部图像的尺寸之间的关系，对基于所述初始中心点位置信息计算得到的中心点位置信息进行处理，得到所述目标病灶在所述肺部图像中的中心点位置信息；
所述尺寸确定模型具体用于：根据对所述肺部图像进行缩放处理时采用的缩放倍数、所述目标热图的尺寸与标准化处理后的肺部图像的尺寸之间的关系，对基于位置信息与尺寸特征之间的关系得到的尺寸进行处理，得到所述目标病灶在所述肺部图像中的尺寸。
7.根据权利要求6所述的装置，其特征在于，所述检测模型由样本肺部图像及样本肺部图像对应的标注信息生成的训练数据训练得到，其中，所述标注信息包括基于所述样本肺部图像的肺部病灶的中心点位置信息及尺寸。
8.根据权利要求7所述的装置，其特征在于，所述训练数据包括：经缩放处理及标准化处理后的样本肺部图像、基于转化后的标注信息中的中心点位置信息生成的样本热图、转化后的标注信息中的中心点位置信息对应的向下取整结果与转化后的中心点位置信息生成的样本偏移量，其中，转化后的标注信息由所述标注信息基于进行缩放处理时使用的缩放倍数及样本热图的尺寸与标准化后的样本肺部图像的尺寸之间的关系转换得到，其中，所述向下取整结果为对转化后的标注信息中的中心点位置信息中的坐标进行向下取整后的结果。
9.一种检测设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-8中任一所述的肺部病灶检测装置的功能。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的肺部病灶检测装置的功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910884530.XA CN110599483B (zh) | 2019-09-19 | 2019-09-19 | 肺部病灶检测装置、检测设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910884530.XA CN110599483B (zh) | 2019-09-19 | 2019-09-19 | 肺部病灶检测装置、检测设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110599483A CN110599483A (zh) | 2019-12-20 |
| CN110599483B true CN110599483B (zh) | 2020-06-26 |
Family
ID=68861036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910884530.XA Active CN110599483B (zh) | 2019-09-19 | 2019-09-19 | 肺部病灶检测装置、检测设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110599483B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311601B (zh) * | 2020-03-26 | 2023-10-13 | 山东极视角科技股份有限公司 | 一种拼接图像的分割方法及装置 |
| CN111462102B (zh) * | 2020-04-07 | 2023-11-14 | 广州柏视医疗科技有限公司 | 基于新型冠状病毒肺炎x射线胸片的智能分析系统及方法 |
| CN112116603A (zh) * | 2020-09-14 | 2020-12-22 | 中国科学院大学宁波华美医院 | 一种基于多任务学习的肺结节假阳性筛查方法 |
| CN112232431A (zh) * | 2020-10-23 | 2021-01-15 | 携程计算机技术（上海）有限公司 | 水印检测模型训练方法、水印检测方法、系统、设备及介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10993628B2 (en) * | 2013-10-25 | 2021-05-04 | Philips Image Guided Therapy Corporation | Devices, systems, and methods for vessel assessment |
| CN109447966A (zh) * | 2018-10-26 | 2019-03-08 | 科大讯飞股份有限公司 | 医学图像的病灶定位识别方法、装置、设备及存储介质 |
-
2019
- 2019-09-19 CN CN201910884530.XA patent/CN110599483B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110599483A (zh) | 2019-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599483B (zh) | 肺部病灶检测装置、检测设备及可读存储介质 | |
| CN109741312B (zh) | 一种肺结节鉴别方法、装置、设备及介质 | |
| CN107665736B (zh) | 用于生成信息的方法和装置 | |
| US10706534B2 (en) | Method and apparatus for classifying a data point in imaging data | |
| CN113168912B (zh) | 使用深度学习确定3d数据集中对象的增长速度 | |
| CN111291825A (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
| CN110503151B (zh) | 一种影像的处理方法和系统 | |
| EP2415019A1 (en) | Interactive iterative closest point algorithm for organ segmentation | |
| CN110363165A (zh) | 基于tsk模糊系统的多目标跟踪方法、装置及存储介质 | |
| US20130124147A1 (en) | Random Sample Consensus for Groups of Data | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| CN113034528A (zh) | 基于影像组学的靶区及危及器官勾画轮廓准确性检验方法 | |
| CN115861656A (zh) | 用于自动处理医学图像以输出警报的方法、设备和系统 | |
| CN110728675A (zh) | 肺结节分析装置、模型训练方法、装置及分析设备 | |
| CN115439453A (zh) | 一种脊椎椎体定位方法、装置、电子设备及存储介质 | |
| US9538920B2 (en) | Standalone annotations of axial-view spine images | |
| CN109507218A (zh) | 表征带有夹杂物的材料的方法 | |
| CN111652277A (zh) | 假阳性过滤方法、电子装置及计算机可读存储介质 | |
| US20230401670A1 (en) | Multi-scale autoencoder generation method, electronic device and readable storage medium | |
| CN116363104A (zh) | 一种具有影像医学用自动诊断设备及系统 | |
| CN113990432A (zh) | 基于rpa和ai的影像报告推送方法、装置及计算设备 | |
| CN114445419A (zh) | 一种基于支气管拓扑结构的肺段分割方法、装置及系统 | |
| EP4425427A1 (en) | Method for automated processing of volumetric medical images | |
| CN117368879B (zh) | 雷达图的生成方法、装置、终端设备及可读存储介质 | |
| CN117095177B (zh) | 肾脏图像定位方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100000 Zhongguancun Dongsheng Science Park, 66 xixiaokou Road, Haidian District, Beijing A206, 2f, building B-2, Northern Territory Patentee after: Huiying medical technology (Beijing) Co.,Ltd. Address before: 100000 Zhongguancun Dongsheng Science Park, 66 xixiaokou Road, Haidian District, Beijing A206, 2f, building B-2, Northern Territory Patentee before: HUIYING MEDICAL TECHNOLOGY (BEIJING) Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |