CN112819808A - 医学图像检测方法及相关装置、设备、存储介质 - Google Patents
医学图像检测方法及相关装置、设备、存储介质 Download PDFInfo
- Publication number
- CN112819808A CN112819808A CN202110204423.5A CN202110204423A CN112819808A CN 112819808 A CN112819808 A CN 112819808A CN 202110204423 A CN202110204423 A CN 202110204423A CN 112819808 A CN112819808 A CN 112819808A
- Authority
- CN
- China
- Prior art keywords
- medical image
- pneumothorax
- region
- detection
- lung
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 147
- 201000003144 pneumothorax Diseases 0.000 claims abstract description 215
- 210000004072 lung Anatomy 0.000 claims abstract description 120
- 238000013528 artificial neural network Methods 0.000 claims description 59
- 238000000034 method Methods 0.000 claims description 29
- 238000012216 screening Methods 0.000 abstract description 5
- 238000012549 training Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 241000270295 Serpentes Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000013101 initial test Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请公开了一种医学图像检测方法及相关装置、设备、存储介质，其中，医学图像检测方法包括：获取待测对象的医学图像；对医学图像进行第一检测，得到医学图像中气胸的第一区域和肺的第二区域；基于第一区域和第二区域，确定待测对象的气胸程度值。上述方案，能够辅助筛查气胸，提高阅片效率。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种医学图像检测方法及相关装置、设备、存储介质。
背景技术
目前，由于DR(Digital Radiography，数字X射线摄影)胸片等医学图像，能够辅助医生进行肺部病变、骨折等筛查，故得到了广泛应用。据统计，影像科医生每天需要阅读至少几百张医学图像，繁重的工作量使得阅片效率难以提高，甚至因工作疲劳而降低阅片效率。此外，在诸多应用场景中，气胸通常是需要及时干预的，故阅片效率又对干预的及时性造成了影响。有鉴于此，如何基于医学图像辅助医生筛查气胸，以提高医生阅片效率，成为极具价值的研究课题。
发明内容
本申请提供一种医学图像检测方法及相关装置、设备、存储介质。
本申请第一方面提供了一种医学图像检测方法，包括：获取待测对象的医学图像；对医学图像进行第一检测，得到医学图像中气胸的第一区域和肺的第二区域；基于第一区域和第二区域，确定待测对象的气胸程度值。
因此，通过获取待测对象的医学图像，并对医学图像进行第一检测，从而得到医学图像中气胸的第一区域和肺的第二区域，进而基于第一区域和第二区域，确定待测对象的气胸程度值，故此，能够基于的医学图像检测得到气胸的第一区域和肺的第二区域，并据此确定气胸程度值，能够辅助筛查气胸，提高阅片效率。
其中，基于第一区域和第二区域，确定待测对象的气胸程度值，包括：基于位于医学图像同一侧的第一区域和第二区域，确定待测对象对应侧的气胸程度值。
因此，通过基于位于医学图像同一侧的第一区域和第二区域，确定待测对象对应侧的气胸程度值，能够提高气胸程度值的准确性。
其中，基于位于医学图像同一侧的第一区域和第二区域，确定待测对象对应侧的气胸程度值，包括：在左肺侧存在气胸的情况下，基于左肺侧气胸的第一区域和左肺的第二区域，确定待测对象左肺侧的气胸程度值；在右肺侧存在气胸的情况下，基于右肺侧气胸的第一区域和右肺的第二区域，确定待测对象右肺侧的气胸程度值。
因此，在左肺侧存在气胸的情况下，基于左肺侧气胸的第一区域和左肺的第二区域，确定待测对象左肺侧的气胸程度值，而在右肺侧存在气胸的情况下，基于右肺侧气胸的第一区域和右肺的第二区域，确定待测对象右肺侧的气胸程度值，能够仅针对存在气胸的一侧，确定对应侧的气胸程度值，能够提高气胸程度值的准确性。
其中，气胸程度值为位于医学图像同一侧的第一区域和第二区域两者之间的面积比值。
因此，将气胸程度值设置为位于医学图像同一侧的第一区域和第二区域两者之间的面积比值，能够有利于降低气胸程度值计算的复杂度，有利于提高医学图像检测的效率。
其中，对医学图像进行第一检测，得到医学图像中气胸的第一区域和肺的第二区域，包括：利用第一神经网络对医学图像进行第一检测，得到医学图像中属于气胸的第一像素点和属于肺的第二像素点；将第一像素点形成的区域，作为第一区域，并将第二像素点形成的区域，作为第二区域。
因此，通过利用第一神经网络对医学图像进行第一检测，得到医学图像中属于气胸的第一像素点和属于肺的第二像素点，并将第一像素点形成的区域，作为第一区域，将第二像素点形成的区域，作为第二区域，故此能够实现对气胸、肺的“像素级”检测，从而能够提高第一区域和第二区域的检测精度，有利于提高气胸程度值的准确性。
其中，在对医学图像进行第一检测，得到医学图像中气胸的第一区域和肺的第二区域之前，医学图像检测方法还包括：对医学图像进行第二检测，得到初始检测结果；其中，初始检测结果包括医学图像中是否存在气胸；在医学图像中存在气胸的情况下，执行对医学图像进行第一检测的步骤。
因此，在对医学图像进行第一检测，得到医学图像中气胸的第一区域和肺的第二区域之前，先对医学图像进行第二检测，得到初始检测结果，且初始检测结果包括医学图像中是否存在气胸，在医学图像中存在气胸的情况下，再执行对医学图像进行第一检测的步骤，故此，能够将医学图像分“两阶段”进行检测，即第一阶段先检测医学图像中是否存在气胸，第二阶段在医学图像中存在气胸的情况下，再检测医学图像中气胸的第一区域和肺的第二区域，故能够在医学图像中不存在气胸的情况下，免于执行第二阶段对第一区域和第二区域的检测，从而能够有利于提高医学图像检测的效率。
其中，对医学图像进行第二检测，得到初始检测结果，包括：利用第二神经网络对医学图像进行第二检测，得到初始检测结果。
因此，通过利用第二神经网络对医学图像进行第二检测，得到初始检测结果，能够有利于提高初始检测的效率。
其中，医学图像检测方法还包括：在医学图像中不存在气胸的情况下，输出第一提示消息；其中，第一提示消息用于表示待测对象无气胸。
因此，在医学图像中不存在气胸的情况下，输出第一提示消息，且第一提示消息用于表示待测对象无气胸，能够有利于提升用户体验。
其中，基于第一区域和第二区域，确定待测对象的气胸程度值之后，医学图像检测方法还包括：在气胸程度值大于预设阈值的情况下，输出第二提示消息。
因此，在确定待测对象的气胸程度值之后，在气胸程度值大于预设阈值的情况下，输出第二提示消息，能够有利于提高医生知晓待测对象存在气胸的及时性，提升用户体验。
本申请第二方面提供了一种医学图像检测装置，包括：图像获取模块、第一检测模块和程度确定模块，图像获取模块用于获取待测对象的医学图像；第一检测模块用于对医学图像进行第一检测，得到医学图像中气胸的第一区域和肺的第二区域；程度确定模块用于基于第一区域和第二区域，确定待测对象的气胸程度值。
本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的医学图像检测方法。
本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的医学图像检测方法。
上述方案，通过获取待测对象的医学图像，并对医学图像进行第一检测，从而得到医学图像中气胸的第一区域和肺的第二区域，进而基于第一区域和第二区域，确定待测对象的气胸程度值，故此，能够基于的医学图像检测得到气胸的第一区域和肺的第二区域，并据此确定气胸程度值，能够辅助筛查气胸，提高阅片效率。
附图说明
图1是本申请医学图像检测方法一实施例的流程示意图；
图2是本申请医学图像检测方法另一实施例的流程示意图；
图3是图像检测过程一实施例的状态示意图；
图4是本申请医学图像检测装置一实施例的框架示意图；
图5是本申请电子设备一实施例的框架示意图；
图6是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请医学图像检测方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取待测对象的医学图像。
本公开实施例中，待测对象的医学图像具体可以包括但不限于：DR胸片、CT(Computed Tomography，计算机断层扫描)胸片，在此不做限定。
步骤S12：对医学图像进行第一检测，得到医学图像中气胸的第一区域和肺的第二区域。
在一个实施场景中，可以利用SNAKE模型对医学图像进行第一检测，得到医学图像中气胸的第一区域和肺的第二区域。具体地，SNAKE模型可以认为一条可变形的参数曲线及相应的能量函数，以最小化能量函数为目标，控制参数曲线变形，具有最小能量的闭合曲线就是目标轮廓，即本公开实施例中气胸的第一区域和肺的第二区域。具体在此不再赘述。
在另一个实施场景中，也可以利用Level set(水平集)对医学图像进行第一检测，得到医学图像中气胸的第一区域和肺的第二区域。具体地，水平集可以认为是跟踪轮廓和表面运动的一种数字化方法，其并不直接对轮廓进行操作，而是将轮廓设置成一个高维函数的零水平集，该高维函数可以称为水平集函数，故通过对水平集函数进行微分，可以从中提取零水平集，来得到轮廓，即本公开实施例中气胸的第一区域和肺的第二区域。具体在此不再赘述。
在又一个实施场景中，为了提高第一检测的效率，可以利用第一神经网络对医学图像进行第一检测，得到医学图像中气胸的第一区域和肺的第二区域。第一神经网络具体可以包括但不限于：FCN(Fully Convolutional Network，全卷积网络)、U-Net等，在此不做限定。
在一个具体的实施场景中，在利用第一神经网络对医学图像进行第一检测之前，可以利用样本医学图像对第一神经网络进行训练，且样本医学图像中标注有气胸的第一实际区域和肺的第二实际区域。将样本医学图像作为第一神经网络的输入图像数据，经第一神经网络检测，可以得到样本医学图像中气胸的第一预测区域和肺的第二预测区域，从而可以利用第一实际区域和第一预测区域的差异，以及第二实际区域和第二预测区域的差异，调整第一神经网络的网络参数。
具体地，可以利用交叉熵损失(cross entropy loss)、dice loss等损失函数计算第一实际区域和第一预测区域的第一损失值，以及第二实际区域和第二预测区域的第二损失值，并利用第一损失值的第一预设权值(如，0.5)、第二损失值的第二预设权值(如，0.5)分别对第一损失值、第二损失值进行加权处理，得到第一神经网络的总损失值，进而可以利用总损失值对第一神经网络的网络参数进行调整。
此外，具体可以采用随机梯度下降(Stochastic Gradient Descent，SGD)、批量梯度下降(Batch Gradient Descent，BGD)、小批量梯度下降(Mini-Batch GradientDescent，MBGD)等方式，利用损失值对第一神经网络的网络参数进行调整，其中，随机梯度下降是指在每一次迭代时，使用一个样本来进行参数更新；批量梯度下降是指在每一次迭代时，使用所有样本来进行参数更新；小批量梯度下降是指在每一次迭代时，使用一批样本来进行参数更新，在此不再赘述。
此外，还可以设置一训练结束条件，当满足训练结束条件时，可以结束对第一神经网络的训练。具体地，训练结束条件可以包括：损失值小于一预设损失阈值，当前训练次数达到预设次数阈值(例如，500次、1000次等)等等，在此不做限定。
在另一个具体的实施场景中，在得到医学图像中气胸的第一区域和肺的第二区域之后，还可以接收用户对第一区域和/或第二区域的调整。例如，当用户发现利用第一神经网络检测得到的第一区域和/或第二区域存在误差时，可以对存在误差的区域进行手动调整。在此之后，可以将调整之后的医学图像添加为样本医学图像，从而利用样本医学图像对第一神经网络进行再训练，以调整第一神经网络的网络参数，从而能够利用用户手动调整后的医学图像对第一神经网络进行优化，进而能够提高第一神经网络的检测性能。特别地，当存在标注的样本医学图像较少时，利用样本医学图像训练得到的第一神经网络可能存在检测性能不理想的情况，在此情形下，通过接收用户对第一区域和/或第二区域的调整，并将调整后的医学图像添加为样本医学图像，从而可以丰富样本数量，进而可以在第一神经网络的应用过程中，实现对第一神经网络的优化。
在又一个具体的实施场景中，具体可以利用第一神经网络对医学图像进行检测，得到医学图像中属于气胸的第一像素点和属于肺的第二像素点。例如，可以检测出医学图像中各个像素点分别属于气胸和肺的概率值，若像素点属于气胸的概率值大于预设概率阈值，则可以认为该像素点属于气胸，反之，若像素点属于肺的概率值大于预设概率阈值，则可以认为该像素点属于肺，此外，若像素点属于气胸的概率值不大于预设概率阈值，且属于肺的概率值也不大于预设概率阈值，则可以认为该像素点既不属于气胸，又不属于肺。在得到属于气胸的第一像素点和属于肺的第二像素点之后，可以将第一像素点形成的区域，作为第一区域，并将第二像素点形成的区域，作为第二区域。例如，可以将第一像素点形成的连通域，作为第一区域，并将第二像素点形成的连通域，作为第二区域。此外，当某一连通域中包含的像素点个数少于预设数量阈值，则可以认为该连通域为误检，并自动忽略该连通域，从而可以提高检测准确性。
在一个实施场景中，为了提升用户体验，在得到医学图像中气胸的第一区域和肺的第二区域之后，可以利用不同方式在医学图像中标识第一区域和第二区域。例如，可以利用绿色标识肺的第二区域，利用红色标识气胸的第一区域；或者，可以利用实线标识肺的第二区域，利用虚线标识气胸的第一区域，在此不做限定。
步骤S13：基于第一区域和第二区域，确定待测对象的气胸程度值。
在一个实施场景中，为了提高气胸程度值的准确性，可以基于位于医学图像同一侧的第一区域和第二区域，确定待测对象对应侧的气胸程度值。
在一个具体的实施场景中，可以以位于左肺和右肺之间，且不与左肺、右肺任一者相交的线，作为参考线，同位于参考线左侧的第一区域和第二区域即可视为位于医学图像同一侧，或者，同位于参考线右侧的第一区域和第二区域也可视为位于医学图像同一侧。
在另一个具体的实施场景中，具体可以在左肺侧存在气胸的情况下，基于左肺侧气胸的第一区域和左肺的第二区域，确定待测对象左肺侧的气胸程度值，而在右肺侧存在气胸的情况下，基于右肺侧气胸的第一区域和右肺的第二区域，确定待测对象右肺侧的气胸程度值。此外，在左肺侧和右肺侧均存在气胸的情况下，可以基于左肺侧气胸的第一区域和左肺的第二区域，确定待测对象左肺侧的气胸程度值，并基于右肺侧气胸的第一区域和右肺的第二区域，确定待测对象右肺侧的气胸程度值。
在一个实施场景中，具体可以将位于医学图像同一侧的第一区域和第二区域两者之间的面积比值，作为气胸程度值。具体地，第一区域的面积可以是第一区域中像素点的个数，第二区域的面积可以是第二区域中像素点的个数。具体地，在左肺侧存在气胸的情况下，可以统计左肺侧气胸的第一区域中像素点的个数，得到左肺侧气胸的第一区域的面积，并统计左肺的第二区域中像素点的个数，得到左肺的第二区域的面积；类似地，在右肺侧存在气胸的情况下，可以统计右肺侧气胸的第一区域的像素点的个数，得到右肺侧气胸的第一区域的面积，并统计右肺的第二区域中像素点的个数，得到右肺的第二区域的面积。上述方式，通过计算位于医学图像同一侧的第一区域和第二区域两者之间的面积比值，作为气胸程度值，能够简化气胸程度值的计算复杂度，提高计算速度。
在一个实施场景中，为了提升用户体验，在气胸程度值大于预设阈值的情况下，还可以输出提示消息。预设阈值具体可以根据实际应用需要进行设置，例如，当对气胸检测精度较为严格时，可以将预设阈值设置地较小，例如，15％、20％等等；或者，当对气胸检测精度较为宽松时，可以将预设阈值设置地较大，例如，30％、35％等等，在此不做限定。此外，该提示消息可以以文字、语音、图像等形式予以输出，在此不做限定。例如，在气胸程度值大于预设阈值的情况下，可以输出提示消息“请注意，可能存在严重气胸！”等，具体可以根据实际应用需要进行设置，在此不做限定。故此，通过输出提示消息，能够有利于提高用户感知，有利于使得医护人员及时介入。
在一个实施场景中，本公开实施例中的待测对象具体可以是参加体检的个人、团体等等；或者，也可以是医院就诊的患者，在此不做限定。特别地，当出现因单位集体体检等而导致体检人员较多，或因公共交通事故等而导致就诊患者较多的情况时，需要检测的医学图像也较多，在此情形下，采用本公开实施例中的步骤，对众多医学图像进行检测，可以免于单纯依赖医生人工阅片，而自动确定待测对象的气胸程度值，从而可以提高医学图像检测速度，并降低人力、物力等成本开支，且能够有利于使医生参考气胸程度值，根据临床知识对气胸程度值异常的人员实施紧急临床干预。
在一个实施场景中，本公开实施例中的医学图像即为DR胸片，DR胸片可以作为CT检查等高端检查的入口，故体检中心、影像科等医疗机构(或部门)往往出现大量DR胸片需要被检测的情况，在此情形下，可以采用本公开实施例中的步骤，对大量DR胸片进行检测，从而可以免于单纯依赖医生人工阅片，而自动确定待测对象的气胸程度值，进而可以提高检测速度。
在一个实施场景中，在得到气胸程度值之后，还可以输出气胸程度值，从而可以为医生提供参考。特别地，通过输出气胸程度值，可以为经验不足的医生提供临床决策支持。
上述方案，通过获取待测对象的医学图像，并对医学图像进行第一检测，从而得到医学图像中气胸的第一区域和肺的第二区域，进而基于第一区域和第二区域，确定待测对象的气胸程度值，故此，能够基于的医学图像检测得到气胸的第一区域和肺的第二区域，并据此确定气胸程度值，能够辅助筛查气胸，提高阅片效率。
请参阅图2，图2是本申请医学图像检测方法另一实施例的流程示意图。具体可以包括如下步骤：
步骤S21：获取待测对象的医学图像。
具体可以参阅前述公开实施例中的步骤，在此不再赘述。
步骤S22：对医学图像进行检测，得到初始检测结果；其中，初始检测结果包括医学图像中是否存在气胸。
在一个实施场景中，可以利用神经网络对医学图像进行检测，得到初始检测结果。为了与前述公开实施例中的第一神经网络予以区别，可以称之为第二神经网络，即可以利用第二神经网络对医学图像进行检测，得到初始检测结果。
在一个具体的实施场景中，第二神经网络具体可以包括但不限于：retinaNet、Faster RCNN(Faster Region with Convolutional Neural Network)、YOLO(You OnlyLook Once)、SSD(Single Shot MultiBox Detector)，在此不做限定。
在另一个具体的实施场景中，第二神经网络也可以包括用于多尺度特征聚合的子网络，例如，FPN(Feature Pyramid Network，特征金字塔网络)，以融合低维度纹理特征和高维度语义特征，提高特征丰富度，从而能够有利于提高初始检测的准确性；或者，第二神经网络还可以包括用于动态匹配的子网络，例如，可以获取第二神经网络的多个预测层的预测结果，每个预测层的特征图上预测得到的预测结果包括大小不同的锚点数据(anchor)，由于不同预测层的特征图具有不同感受野，故通过上述方式能够利用第二神经网络进行多尺度预测，此外，上述锚点数据具体可以包括预测框的中心位置和尺寸，则根据预测得到的锚点数据可以得到多尺度的预测框，从而可以对多尺度的预测框进行筛选(如，利用非极大值抑制进行筛选)，最终得到关于气胸的目标检测结果。
在又一个具体的实施场景中，可以获取标注有实际结果的样本医学图像，实际结果表示样本医学图像是否真实存在气胸，并将样本医学图像作为第二神经网络的输入图像数据，经第二神经网络检测后，得到样本医学图像的预测结果，预测结果表示样本医学图像中是否检测到气胸，从而可以利用实际结果和预测结果之间的差异，调整第二神经网络的网络参数。
具体地，可以利用二分类交叉熵损失(binary cross entropy loss)等损失函数计算实际结果和预测结果的第三损失值，并利用第三损失值对第二神经网络的网络参数进行调整。
此外，具体可以采用随机梯度下降(Stochastic Gradient Descent，SGD)、批量梯度下降(Batch Gradient Descent，BGD)、小批量梯度下降(Mini-Batch GradientDescent，MBGD)等方式，利用损失值对第二神经网络的网络参数进行调整，其中，随机梯度下降是指在每一次迭代时，使用一个样本来进行参数更新；批量梯度下降是指在每一次迭代时，使用所有样本来进行参数更新；小批量梯度下降是指在每一次迭代时，使用一批样本来进行参数更新，在此不再赘述。
此外，还可以设置一训练结束条件，当满足训练结束条件时，可以结束对第二神经网络的训练。具体地，训练结束条件可以包括：损失值小于一预设损失阈值，当前训练次数达到预设次数阈值(例如，500次、1000次等)等等在此不做限定。
在又一个具体的实施场景中，在得到医学图像的初始检测结果之后，还可以接收用户对初始检测结果的调整。具体地，当用户发现利用第二神经网络检测得到初始检测结果存在误差时，可以将用户的调整结果，作为医学图像的实际检测结果，例如，第二神经网络检测为存在气胸，但用户发现实际不存在气胸，则可以接收用户对初始检测结果的修正，将“不存在气胸”作为医学图像的实际检测结果。在此之后，可以将医学图像添加为样本医学图像，并将实际检测结果作为样本医学图像的标注，从而利用样本医学图像对第二神经网络进行再训练，以调整第二神经网络的网络参数，从而能够对第二神经网络进行优化，进而能够提高第二神经网络的检测性能。特别地，当存在标注的样本医学图像较少时，利用样本医学图像训练得到的第二神经网络可能存在检测性能不理想的情况，在此情形下，通过接收用户对初始检测结果的调整，并据此扩充样本，从而可以丰富样本数量，进而可以在第二神经网络的应用过程中，实现对第一神经网络的优化。
步骤S23：判断初始检测结果为存在气胸，还是不存在气胸，若存在，则执行步骤S24，否则执行步骤S26。
本公开实施例中，当得到初始检测结果之后，可以根据初始检测结果判断医学图像中是否存在气胸，若存在气胸，则可以执行步骤S24，以对医学图像进行进一步检测，若不存在气胸，则可以执行步骤S26，以输出相关提示消息。
步骤S24：对医学图像进行检测，得到医学图像中气胸的第一区域和肺的第二区域。
具体可以参阅前述公开实施例中的相关步骤，在此不再赘述。
步骤S25：基于第一区域和第二区域，确定待测对象的气胸程度值。
具体可以参阅前述公开实施例中的相关步骤，在此不再赘述。
步骤S26：输出提示消息；其中，提示消息用于表示待测对象无气胸。
在一个实施场景中，提示消息可以以文字、语音、图像等形式予以输出，在此不做限定。
在另一个实施场景中，当初始检测结果为不存在气胸时，也可以不输出任何提示消息，即在初始检测结果为不存在气胸时，可以既不输出提示消息，也不对医学图像进行进一步的检测，在此情形下，用户既不会接收到提示消息，也不会观察到医学图像上任何区域标识，即可以确定医学图像中不存在气胸。
请结合参阅图3，图3是图像检测过程一实施例的状态示意图。如图3所示，医学图像作为第二神经网络的输入图像数据，经第二神经网络检测后，得到初始检测结果，在初始检测结果为医学图像中不存在气胸时，可以输出提示消息，在初始检测结果为医学图像中存在气胸时，可以将医学图像作为第一神经网络的输入图像数据，经第一神经网络检测后，得到医学图像中气胸的第一区域(图中斜线填充)和肺的第二区域(图中网格线填充)。需要说明的是，图3所示并非真实代表气胸区域、肺部区域，图3仅仅是示例性地给出了医学图像及相应的图像检测过程，实际检测结果以实际应用为准。
区别于前述实施例，通过获取待测对象的医学图像，并先对医学图像进行检测，得到是否存在气胸的初始检测结果，并在存在气胸的情况下，执行对医学图像进行后续检测的步骤，故此，能够将医学图像分“两阶段”进行检测，即第一阶段先检测医学图像中是否存在气胸，第二阶段在医学图像中存在气胸的情况下，再检测医学图像中气胸的第一区域和肺的第二区域，故能够在医学图像中不存在气胸的情况下，免于执行第二阶段对第一区域和第二区域的检测，从而能够有利于提高医学图像检测的效率。
请参阅图4，图4是本申请医学图像检测装置40一实施例的框架示意图。医学图像检测装置40包括：图像获取模块41、第一检测模块42和程度确定模块43，图像获取模块41用于获取待测对象的医学图像；第一检测模块42用于对医学图像进行第一检测，得到医学图像中气胸的第一区域和肺的第二区域；程度确定模块43用于基于第一区域和第二区域，确定待测对象的气胸程度值。
上述方案，通过获取待测对象的医学图像，并对医学图像进行第一检测，从而得到医学图像中气胸的第一区域和肺的第二区域，进而基于第一区域和第二区域，确定待测对象的气胸程度值，故此，能够基于的医学图像检测得到气胸的第一区域和肺的第二区域，并据此确定气胸程度值，能够辅助筛查气胸，提高阅片效率。
在一些公开实施例中，程度确定模块43具体用于基于位于医学图像同一侧的第一区域和第二区域，确定待测对象对应侧的气胸程度值。
区别于前述实施例，通过基于位于医学图像同一侧的第一区域和第二区域，确定待测对象对应侧的气胸程度值，能够提高气胸程度值的准确性。
在一些公开实施例中，程度确定模块43包括第一确定子模块，用于在左肺侧存在气胸的情况下，基于左肺侧气胸的第一区域和左肺的第二区域，确定待测对象左肺侧的气胸程度值，程度确定模块43包括第二确定子模块，用于在右肺侧存在气胸的情况下，基于右肺侧气胸的第一区域和右肺的第二区域，确定待测对象右肺侧的气胸程度值。
区别于前述实施例，在左肺侧存在气胸的情况下，基于左肺侧气胸的第一区域和左肺的第二区域，确定待测对象左肺侧的气胸程度值，而在右肺侧存在气胸的情况下，基于右肺侧气胸的第一区域和右肺的第二区域，确定待测对象右肺侧的气胸程度值，能够仅针对存在气胸的一侧，确定对应侧的气胸程度值，能够提高气胸程度值的准确性。
在一些公开实施例中，气胸程度值为位于医学图像同一侧的第一区域和第二区域两者之间的面积比值。
区别于前述实施例，将气胸程度值设置为位于医学图像同一侧的第一区域和第二区域两者之间的面积比值，能够有利于降低气胸程度值计算的复杂度，有利于提高医学图像检测的效率。
在一些公开实施例中，第一检测模块42包括像素确定子模块，用于利用第一神经网络对医学图像进行第一检测，得到医学图像中属于气胸的第一像素点和属于肺的第二像素点，第一检测模块42包括区域形成子模块，用于将第一像素点形成的区域，作为第一区域，并将第二像素点形成的区域，作为第二区域。
区别于前述实施例，通过利用第一神经网络对医学图像进行第一检测，得到医学图像中属于气胸的第一像素点和属于肺的第二像素点，并将第一像素点形成的区域，作为第一区域，将第二像素点形成的区域，作为第二区域，故此能够实现对气胸、肺的“像素级”检测，从而能够提高第一区域和第二区域的检测精度，有利于提高气胸程度值的准确性。
在一些公开实施例中，医学图像检测装置40还包括第二检测模块，用于对医学图像进行第二检测，得到初始检测结果；其中，初始检测结果包括医学图像中是否存在气胸；第一检测模块42具体用于在医学图像中存在气胸的情况下，执行对医学图像进行第一检测的步骤。
区别于前述实施例，在对医学图像进行第一检测，得到医学图像中气胸的第一区域和肺的第二区域之前，先对医学图像进行第二检测，得到初始检测结果，且初始检测结果包括医学图像中是否存在气胸，在医学图像中存在气胸的情况下，再执行对医学图像进行第一检测的步骤，故此，能够将医学图像分“两阶段”进行检测，即第一阶段先检测医学图像中是否存在气胸，第二阶段在医学图像中存在气胸的情况下，再检测医学图像中气胸的第一区域和肺的第二区域，故能够在医学图像中不存在气胸的情况下，免于执行第二阶段对第一区域和第二区域的检测，从而能够有利于提高医学图像检测的效率。
在一些公开实施例中，第二检测模块具体用于利用第二神经网络对医学图像进行第二检测，得到初始检测结果。
区别于前述实施例，通过利用第二神经网络对医学图像进行第二检测，得到初始检测结果，能够有利于提高初始检测的效率。
在一些公开实施例中，医学图像检测装置40还包括第一提示模块，用于在医学图像中不存在气胸的情况下，输出第一提示消息；其中，第一提示消息用于表示待测对象无气胸。
区别于前述实施例，在医学图像中不存在气胸的情况下，输出第一提示消息，且第一提示消息用于表示待测对象无气胸，能够有利于提升用户体验。
在一些公开实施例中，医学图像检测装置40还包括第二提示模块，用于在气胸程度值大于预设阈值的情况下，输出第二提示消息。
区别于前述实施例，在确定待测对象的气胸程度值之后，在气胸程度值大于预设阈值的情况下，输出第二提示消息，能够有利于提高医生知晓待测对象存在气胸的及时性，提升用户体验。
请参阅图5，图5是本申请电子设备50一实施例的框架示意图。电子设备50包括相互耦接的存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述任一医学图像检测方法实施例的步骤。在一个具体的实施场景中，电子设备50可以包括但不限于：微型计算机、服务器，此外，电子设备50还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器52用于控制其自身以及存储器51以实现上述任一医学图像检测方法实施例的步骤。处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。
上述方案，能够辅助筛查气胸，提高阅片效率。
请参阅图6，图6为本申请计算机可读存储介质60一实施例的框架示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令601，程序指令601用于实现上述任一医学图像检测方法实施例的步骤。
上述方案，能够辅助筛查气胸，提高阅片效率。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (12)
1.一种医学图像检测方法，其特征在于，包括：
获取待测对象的医学图像；
对所述医学图像进行第一检测，得到所述医学图像中气胸的第一区域和肺的第二区域；以及
基于所述第一区域和所述第二区域，确定所述待测对象的气胸程度值。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一区域和所述第二区域，确定所述待测对象的气胸程度值，包括：
基于位于所述医学图像同一侧的所述第一区域和所述第二区域，确定所述待测对象对应侧的气胸程度值。
3.根据权利要求2所述的方法，其特征在于，所述基于位于所述医学图像同一侧的所述第一区域和所述第二区域，确定所述待测对象对应侧的气胸程度值，包括：
在左肺侧存在气胸的情况下，基于左肺侧气胸的第一区域和左肺的第二区域，确定所述待测对象左肺侧的气胸程度值；
在右肺侧存在气胸的情况下，基于右肺侧气胸的第一区域和右肺的第二区域，确定所述待测对象右肺侧的气胸程度值。
4.根据权利要求2或3任一项所述的方法，其特征在于，所述气胸程度值为位于所述医学图像同一侧的所述第一区域和所述第二区域两者之间的面积比值。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述对所述医学图像进行第一检测，得到所述医学图像中气胸的第一区域和肺的第二区域，包括：
利用第一神经网络对所述医学图像进行第一检测，得到所述医学图像中属于所述气胸的第一像素点和属于所述肺的第二像素点；以及
将所述第一像素点形成的区域，作为所述第一区域，并将所述第二像素点形成的区域，作为所述第二区域。
6.根据权利要求1至5任一项所述的方法，其特征在于，在所述对所述医学图像进行第一检测，得到所述医学图像中气胸的第一区域和肺的第二区域之前，所述方法还包括：
对所述医学图像进行第二检测，得到初始检测结果；其中，所述初始检测结果包括所述医学图像中是否存在气胸；以及
在所述医学图像中存在气胸的情况下，执行所述对所述医学图像进行第一检测的步骤。
7.根据权利要求6所述的方法，其特征在于，所述对所述医学图像进行第二检测，得到初始检测结果，包括：
利用第二神经网络对所述医学图像进行第二检测，得到所述初始检测结果。
8.根据权利要求6或7所述的方法，其特征在于，所述方法还包括：
在所述医学图像中不存在气胸的情况下，输出第一提示消息；其中，所述第一提示消息用于表示所述待测对象无气胸。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述基于所述第一区域和所述第二区域，确定所述待测对象的气胸程度值之后，所述方法还包括：
在所述气胸程度值大于预设阈值的情况下，输出第二提示消息。
10.一种医学图像检测装置，其特征在于，包括：
图像获取模块，用于获取待测对象的医学图像；
第一检测模块，用于对所述医学图像进行第一检测，得到所述医学图像中气胸的第一区域和肺的第二区域；
程度确定模块，用于基于所述第一区域和所述第二区域，确定所述待测对象的气胸程度值。
11.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至9任一项所述的医学图像检测方法。
12.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至9任一项所述的医学图像检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110204423.5A CN112819808A (zh) | 2021-02-23 | 2021-02-23 | 医学图像检测方法及相关装置、设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110204423.5A CN112819808A (zh) | 2021-02-23 | 2021-02-23 | 医学图像检测方法及相关装置、设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112819808A true CN112819808A (zh) | 2021-05-18 |
Family
ID=75865228
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110204423.5A Withdrawn CN112819808A (zh) | 2021-02-23 | 2021-02-23 | 医学图像检测方法及相关装置、设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112819808A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060239544A1 (en) * | 2005-03-16 | 2006-10-26 | Yankelevitz David F | Method for expanding the domain of imaging software in a diagnostic work-up |
| CN110706207A (zh) * | 2019-09-12 | 2020-01-17 | 上海联影智能医疗科技有限公司 | 图像量化方法、装置、计算机设备和存储介质 |
| CN111127466A (zh) * | 2020-03-31 | 2020-05-08 | 上海联影智能医疗科技有限公司 | 医学图像检测方法、装置、设备及存储介质 |
| CN111127467A (zh) * | 2020-03-31 | 2020-05-08 | 上海联影智能医疗科技有限公司 | 图像量化方法、计算机设备和存储介质 |
| CN111340800A (zh) * | 2020-03-18 | 2020-06-26 | 联影智能医疗科技(北京)有限公司 | 图像检测方法、计算机设备和存储介质 |
| CN111401398A (zh) * | 2018-12-27 | 2020-07-10 | 通用电气公司 | 用于根据人工智能检测输出确定疾病进展的系统和方法 |
| US20200226752A1 (en) * | 2019-01-16 | 2020-07-16 | Samsung Electronics Co., Ltd. | Apparatus and method for processing medical image |
-
2021
- 2021-02-23 CN CN202110204423.5A patent/CN112819808A/zh not_active Withdrawn
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060239544A1 (en) * | 2005-03-16 | 2006-10-26 | Yankelevitz David F | Method for expanding the domain of imaging software in a diagnostic work-up |
| CN111401398A (zh) * | 2018-12-27 | 2020-07-10 | 通用电气公司 | 用于根据人工智能检测输出确定疾病进展的系统和方法 |
| US20200226752A1 (en) * | 2019-01-16 | 2020-07-16 | Samsung Electronics Co., Ltd. | Apparatus and method for processing medical image |
| CN110706207A (zh) * | 2019-09-12 | 2020-01-17 | 上海联影智能医疗科技有限公司 | 图像量化方法、装置、计算机设备和存储介质 |
| CN111340800A (zh) * | 2020-03-18 | 2020-06-26 | 联影智能医疗科技(北京)有限公司 | 图像检测方法、计算机设备和存储介质 |
| CN111127466A (zh) * | 2020-03-31 | 2020-05-08 | 上海联影智能医疗科技有限公司 | 医学图像检测方法、装置、设备及存储介质 |
| CN111127467A (zh) * | 2020-03-31 | 2020-05-08 | 上海联影智能医疗科技有限公司 | 图像量化方法、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| ZIQI WANG: "Automated Diagnosis of Pneumothorax X-ray Images Utilizing Deep Convolutional Neural Network", IEEE, pages 20168716 * |
| 李文杰;张继武;: "胸片计算机辅助检测的研究进展", 北京生物医学工程, no. 02, pages 215 - 218 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hemdan et al. | Covidx-net: A framework of deep learning classifiers to diagnose covid-19 in x-ray images | |
| Che Azemin et al. | COVID‐19 deep learning prediction model using publicly available radiologist‐adjudicated chest x‐ray images as training data: preliminary findings | |
| Bharati et al. | CO-ResNet: Optimized ResNet model for COVID-19 diagnosis from X-ray images | |
| Bridge et al. | Introducing the GEV activation function for highly unbalanced data to develop COVID-19 diagnostic models | |
| CN110738235B (zh) | 肺结核判定方法、装置、计算机设备及存储介质 | |
| CN109191451B (zh) | 异常检测方法、装置、设备和介质 | |
| WO2021169126A1 (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
| TW202125415A (zh) | 三維目標檢測及模型的訓練方法、設備、儲存媒體 | |
| CN109949280B (zh) | 图像处理方法、装置、设备存储介质及生长发育评估系统 | |
| Yang et al. | A deep learning segmentation approach in free‐breathing real‐time cardiac magnetic resonance imaging | |
| US10937143B1 (en) | Fracture detection method, electronic device and storage medium | |
| Sarkar et al. | Identification of images of COVID-19 from chest X-rays using deep learning: comparing COGNEX VisionPro deep learning 1.0™ software with open source convolutional neural networks | |
| US11721023B1 (en) | Distinguishing a disease state from a non-disease state in an image | |
| Muljo et al. | Improving lung disease detection by joint learning with COVID-19 radiography database | |
| Salem Salamh et al. | A study of a new technique of the CT scan view and disease classification protocol based on level challenges in cases of coronavirus disease | |
| Abdulkareem et al. | Generalizable framework for atrial volume estimation for cardiac CT images using deep learning with quality control assessment | |
| Lin et al. | Echocardiography-based AI detection of regional wall motion abnormalities and quantification of cardiac function in myocardial infarction | |
| Sushma et al. | Classification of fetal heart ultrasound images for the detection of CHD | |
| US20230115927A1 (en) | Systems and methods for plaque identification, plaque composition analysis, and plaque stability detection | |
| CN112819808A (zh) | 医学图像检测方法及相关装置、设备、存储介质 | |
| CN112950573A (zh) | 医学图像检测方法及相关装置、设备、存储介质 | |
| CN108346471B (zh) | 一种病理数据的分析方法及装置 | |
| CN113393445B (zh) | 乳腺癌影像确定方法及系统 | |
| Heidarian et al. | Wso-Caps: diagnosis of lung infection from low and ultra-lowdose CT scans using capsule networks and windowsetting optimization | |
| CN112233126B (zh) | 医学图像的加窗方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210518 |