CN112508858B - 一种医学影像处理方法及装置、计算机设备 - Google Patents

一种医学影像处理方法及装置、计算机设备 Download PDF

Info

Publication number
CN112508858B
CN112508858B CN202011287450.5A CN202011287450A CN112508858B CN 112508858 B CN112508858 B CN 112508858B CN 202011287450 A CN202011287450 A CN 202011287450A CN 112508858 B CN112508858 B CN 112508858B
Authority
CN
China
Prior art keywords
rib
point
medical image
coordinate
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011287450.5A
Other languages
English (en)
Other versions
CN112508858A (zh
Inventor
石磊
华铱炜
柏慧屏
杨忠程
余沛玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yitu Healthcare Technology Co ltd
Original Assignee
Hangzhou Yitu Healthcare Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yitu Healthcare Technology Co ltd filed Critical Hangzhou Yitu Healthcare Technology Co ltd
Priority to CN202011287450.5A priority Critical patent/CN112508858B/zh
Publication of CN112508858A publication Critical patent/CN112508858A/zh
Application granted granted Critical
Publication of CN112508858B publication Critical patent/CN112508858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种医学影像处理方法及装置、计算机设备。所述医学影像处理方法包括：获取3D医学影像中的肋骨点。确定中心点(x0,y0)，x0关联于肋骨点的x坐标，y0关联于肋骨点的y坐标，X轴与矢状面垂直，Y轴与冠状面垂直。获取任一帧2D医学影像中的肋骨信息，所述肋骨信息包括：中心点与该帧2D医学影像中的每一个肋骨点所在直线的方向，该肋骨点的Z坐标。将多帧2D医学影像中的肋骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。本方案在提高了映射效率和映射准确度的同时也利于医生阅片和诊断，在一定程度上也提高了医生的诊断效率和诊断的准确度。

Description

一种医学影像处理方法及装置、计算机设备
技术领域
本发明涉及医疗技术领域，特别涉及一种医学影像处理方法及装置、计算机设备。
背景技术
目前X射线摄影设备、计算机断层扫描(Computed Tomography，CT)设备、核磁共振成像(Nuclear Magnetic Resonance Imaging，NMRI)设备等可以采集人体各个部位的横断面影像(也可以称为2D影像)，也可以生成人体各个部位的3D影像。
现阶段，通过医学影像设备采集到的横断面影像通常无法与全景图相对应，因此还需要采用人工方式进行判断，将横断面影像中的组织与全景图中的组织进行对应。以采集到的胸部影像为例，胸部影像中包括肋骨，当采集到一帧胸部的横断面影像后，医生可以根据经验判断该帧横断面影像中的肋骨与肋骨全景图中的哪一根肋骨相对应，从而确定后续的治疗方案。然而，采用该种方式，由于不同医生的经验不同，因此所确定的横断面影像与肋骨全景图的映射精度受人为的主观因素影响较大，且人为查看影像通常需要耗费较长的时间，导致医生的工作效率和诊断效率较低。
因此，目前亟需一种医学影像处理方法，用以解决现有技术中采用人工方式将2D医学影像映射为肋骨全景图时所导致的映射精度受人为主观因素影响大、效率低的技术问题。
发明内容
本发明提供一种医学影像处理方法、医学影像处理装置、计算机设备，以解决现有技术中采用人工方式将2D医学影像映射为肋骨全景图时所导致的映射精度受人为主观因素影响大、效率低的技术问题。
本发明提供一种医学影像处理方法，包括：
获取3D医学影像中的肋骨点；
确定中心点(x 0,y 0)，x 0关联于肋骨点的x坐标，y 0关联于肋骨点的y坐标，X轴与矢状面垂直，Y轴与冠状面垂直；
获取任一帧2D医学影像中的肋骨信息，所述肋骨信息包括：中心点与该帧2D医学影像中的每一个肋骨点所在直线的方向，该肋骨点的Z坐标；
将多帧2D医学影像中的肋骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。
可选的，所述肋骨点包括：肋骨定位点、与所述肋骨定位点关联的关联定位点，所述x 0关联于肋骨定位点的x坐标，y 0关联于肋骨定位点的y坐标。
可选的，所述肋骨点包括：肋骨定位点、与所述肋骨定位点关联的关联定位点、肋骨轮廓点，所述x 0关联于肋骨定位点的x坐标，y 0关联于肋骨定位点的y坐标。
可选的，对于任一帧2D医学影像中的肋骨定位点，与该肋骨定位点关联的关联定位点包括：以所述中心点为圆心，以中心点与所述肋骨定位点之间的距离为半径生成的圆弧上位于该肋骨定位点周围的点。
可选的，所述医学影像处理方法，还包括获取任一帧2D医学影像中的肋骨轮廓，所述获取任一帧2D医学影像中的肋骨轮廓包括：
获取所述2D医学影像中的关键点，所述关键点关联于肋骨；
连接所述关键点以获得所述肋骨轮廓。
可选的，所述医学影像处理方法，还包括获取肋骨定位点，所述获取肋骨定位点包括：
获取3D医学影像中的第一定位点和第二定位点，其中，所述第一定位点位于左肺内，第二定位点位于右肺内；
确定第一轴和第二轴，其中，所述第一轴经过所述第一定位点且与横断面垂直，所述第二轴经过所述第二定位点且与横断面垂直；
以过所述第一轴且以所述第一轴为边界的切面切分所述3D医学影像，以获得多个第一切平面；
以过所述第二轴且以所述第二轴为边界的切面切分所述3D医学影像，以获得多个第二切平面；
对多个第一切平面和多个第二切平面进行检测以获得肋骨定位点。
可选的，所述第一定位点为左肺的中心点或者重心点，所述第二定位点为右肺的中心点或者重心点。
可选的，将多帧2D医学影像中的肋骨信息映射至第一坐标系包括：
对于任一帧2D医学影像中的肋骨信息，将中心点与肋骨点所在直线的方向映射至第一坐标轴，将该肋骨点的Z坐标映射至第二坐标轴；其中，第一坐标轴和第二坐标轴垂直。
本发明提供一种医学影像处理装置，包括：
第一获取单元，用于获取3D医学影像中的肋骨点；
确定单元，用于确定中心点(x 0,y 0)，x 0关联于肋骨点的x坐标，y 0关联于肋骨点的y坐标，X轴与矢状面垂直，Y轴与冠状面垂直；
第二获取单元，用于获取任一帧2D医学影像中的肋骨信息，所述肋骨信息包括：中心点与该帧2D医学影像中的每一个肋骨点所在直线的方向，该肋骨点的Z坐标；
映射单元，用于将所述多帧2D医学影像中的肋骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。
本发明还提供一种计算机设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行上述的医学影像处理方法。
本发明还提供一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行上述的医学影像处理方法。
与现有技术相比，本发明的技术方案具有如下有益效果：
通过获取3D医学影像中的肋骨点，并基于获得的肋骨点确定中心点。获取任一帧2D医学影像中的肋骨信息，肋骨信息包括：中心点与该帧2D医学影像中的每一个肋骨点所在直线的方向，该肋骨点的Z坐标。最后将多帧2D医学影像中的肋骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。由于通过前述方式可以自动的将多帧2D医学影像映射为肋骨全景图，而无需人工主观地判断2D医学影像与肋骨全景图的对应关系，在提高了映射效率和映射准确度的同时也利于医生阅片和诊断，进而在一定程度上也提高了医生的诊断效率和诊断的准确度。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明实施例的标准解剖学中人体基本面和基本轴的示意图；
图2是本发明实施例的医学影像处理方法的流程示意图；
图3是本发明实施例的切分3D医学影像时横断面的示意图；
图4是本发明实施例的第一检测模型的结构示意图；
图5是本发明实施例的第一切平面及在其上检测出的肋骨定位点的示意图；
图6是本发明实施例的关键点的示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
正如现有技术中描述的，目前医生在阅片时，通常需要通过人工的方式将多帧断面影像中的肋骨映射为肋骨全景图，人工方式进行映射，映射速度慢，易出现映射错误，进而导致医生的阅片、诊断效率较低。
为了更好的说明本发明的技术方案，本实施例中先对标准解剖学中人体基本面和基本轴进行相应的说明。参见图1，图1为本发明实施例的标准解剖学中人体基本面和基本轴的示意图。如图1所示：人体基本面包括冠状面(额状面)、矢状面(正中面)和横切面(横断面、水平面)。人体基本轴包括垂直轴(Z轴，为上自头侧，下至尾侧，并与地平面相垂直的轴)、矢状轴(Y轴，为从前至后，同时与垂直轴成直角交叉的轴)和冠状轴(X轴，也叫额状轴，为左右方向与水平相平行，与前两个轴相垂直的轴)。人体的立体方位中包括前侧(靠近腹部)、后侧(靠近背部)、上侧(靠近头部)和下侧(靠近脚部)。本实施例中所有的面、轴、方位均适用于图1。
图2是本发明实施例的医学影像处理方法的流程示意图。如图2所示，本实施例的医学影像处理方法包括：
S10：获取3D医学影像中的肋骨点。
S11：确定中心点(x 0,y 0)，x 0关联于肋骨点的x坐标，y 0关联于肋骨点的y坐标，X轴与矢状面垂直，Y轴与冠状面垂直。
S12：获取任一帧2D医学影像中的肋骨信息，所述肋骨信息包括：中心点与该帧2D医学影像中的每一个肋骨点所在直线的方向，该肋骨点的Z坐标。
S13：将多帧2D医学影像中的肋骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。
执行S10，本实施例中，3D医学影像可以为包括了胸部影像的CT影像，也可以为包括了胸部影像的MR影像。肋骨点则是指肋骨上的点。具体地，肋骨点可以是对3D医学影像中的肋骨点进行检测获得的点，本案中将对3D医学影像进行检测获得的肋骨点称为肋骨定位点。为了能够获取尽可能多的肋骨点，进而提高最终映射获得的肋骨全景图的精度，因此，本实施例中可以基于肋骨定位点进行扩充，如将与肋骨定位点关联的关联定位点作为肋骨点，此外，还可以将肋骨轮廓上的点(肋骨轮廓点)作为肋骨点。
以下对肋骨点的获取进行详细的说明。首先，先对3D医学影像进行检测以获得肋骨定位点，具体地，本实施例中通过如下步骤对3D医学影像进行检测以获得肋骨定位点。
S101：获取3D医学影像中的第一定位点和第二定位点，其中，所述第一定位点位于左肺内，第二定位点位于右肺内。
S102：确定第一轴和第二轴，其中，所述第一轴经过所述第一定位点且与横断面垂直，所述第二轴经过所述第二定位点且与横断面垂直。
S103：以过所述第一轴且以所述第一轴为边界的切面切分所述3D医学影像，以获得多个第一切平面。
S104：以过所述第二轴且以所述第二轴为边界的切面切分所述3D医学影像，以获得多个第二切平面。
S105：对多个第一切平面和多个第二切平面进行检测以获得肋骨定位点。
执行S101，本实施例中，为了获取位于左肺内的第一定位点和位于右肺内的第二定位点，需要先对3D医学影像进行分割，以获得左肺和右肺。具体地，可以根据实际的应用选择相应的分割方法，如可以选择阈值法、区域增长法、基于模式分类的方法，基于图像配准和形状模型的方法等，也可以通过三维的卷积神经网络模型对3D医学影像进行分割，以获得肺部影像。本实施例中对此不做限定，只要可以从3D医学影像中分割出肺部区域即可。
分割出肺部区域后，在左肺内确定第一定位点，在右肺内确定第二定位点。本实施例中，第一定位点可以是左肺的中心点或者重心点，第二定位点可以为右肺的中心点或者重心点。
执行S102，在左肺内经过第一定位点做与横断面垂直的第一轴，在右肺内经过第二定位点做与横断面垂直的第二轴。第一轴贯穿3D医学影像的左侧，第二轴贯穿3D医学影像的右侧。
执行S103，本实施例中，为了避免其他组织、椎骨等对肋骨点检测的影响，在通过切面对3D医学影像的左侧进行切分时，是以过第一轴，并以第一轴为边界的任意一个平面为切面切分3D医学影像的左侧以获得多个第一切平面。且第一切平面与横断面的交线与冠状轴(X轴)正向之间的夹角大于等于-120°小于等于120°。也即，在采用切面切分3D医学影像的左侧时，起始切分的角度可以是120°然后沿逆时针方向以预定间隔进行切分，直至切分到-120°。或者切分时，起始切分的角度可以是-120°然后沿顺时针方向以预定间隔进行切分，直至切分到120°。当然在其他实施例中，起始切分角度可以是-120°到120°之间的任意一个角度，只要满足在-120°到120°之间进行切分即可。本实施例中，预定间隔可以小于等于6°，如预定间隔可以为3°，就是采用上述的切面每隔3°进行一次切分以获得多个第一切平面。实际应用中，预定间隔可以根据实际需求而定，预定间隔越小，最终检测获得的肋骨定位点就越多，进而最终映射得到的肋骨全景图的精度就越高。
执行S104，对3D医学影像的右侧进行切分。同样地，为了避免其他组织、椎骨等对肋骨点检测的影响，在通过切面对3D医学影像的右侧进行切分时，是以过第二轴，并以第二轴为边界的任意一个平面为切面切分3D医学影像的右侧以获得多个第二切平面。且第二切平面与横断面的交线与冠状轴(X轴)负向之间的夹角大于等于-120°小于等于120°。在采用切面切分3D医学影像的右侧时，起始切分的角度可以是120°、-120°、也可以是-120°到120°之间的任意一个角度。当以120°为起始切分的角度切分3D医学影像的右侧时，沿顺时针方向以预定间隔进行切分，直至切分至-120°。而当以-120°为起始切分的角度切分3D医学影像的右侧时，沿逆时针方向以预定间隔进行切分直至切分至120°。预定间隔可以小于等于6°，如预定间隔可以为3°，即采用上述的切面每隔3°进行一次切分以获得多个第二切平面。同样地，在实际应用时，预定间隔可以根据实际需求而定，预定间隔越小，获得的肋骨定位点就越多，进而最终映射得到的肋骨全景图的精度就越高。
参见图3，图3为本发明实施例的切分3D医学影像时横断面的示意图，图3中P1为第一定位点、P 2为第二定位点，图3中以P1为起点的多条射线为各第一切平面在横断面上的投影，以P 2为起点的多条射线为各第二切平面在横断面上的投影。图3中，以P1为起点的多条射线与冠状轴(X轴)正向的夹角大于等于-120°小于等于120°，以P 2为起点的多条射线与冠状轴(X轴)负向的夹角大于等于-120°小于等于120°。
执行S105，对多个第一切平面进行检测以获得左侧肋骨的肋骨定位点，对多个第二切平面进行检测以获得右侧肋骨的肋骨定位点。本实施例中，可以采用第一检测模型对每一个第一切平面上的左侧肋骨定位点进行检测。具体地，所述检测模型可以包括：特征提取模块和检测框获取模块。检测框获取模块对特征提取模块输出的特征图进行检测。
本实施例中，所述特征提取模块可以包括：L个卷积单元、M个最大池化层、N个2╳2的2D反卷积层及张量叠加层。每一个卷积单元包括：一个卷积层(Conv2d)，一个批归一化层(BN，Batch Normalization)和一个激活层，激活函数可以为线性整流函数(ReLU，RecifiedLinear Unit)。本实施例中，特征提取模块可以为特征金字塔网络(FPN，MomentaPaperReading)，检测框获取模块可以为SSD(Single Shot MultiBox Detector)网络。
参见图4，图4为本发明实施例的第一检测模型的结构示意图，本实施例中，所述第一检测模型包括：特征提取模块和检测框获取模块，其中特征提取模块包括：第一卷积单元～第八卷积单元，第一池化层～第三池化层，一个2×2的2D反卷积层及一张量叠加层。实际应用中，若待检测的第一切平面的尺寸为512×512×1，依次通过第一卷积单元、第二卷积单元、第一池化层、第三卷积单元、第四卷积单元、第二池化层、第五卷积单元、第六卷积单元、第三池化层后输出尺寸为64×64×32的张量，该张量继续通过第七卷积单元和2×2的2D反卷积层，得到尺寸为128×128×32的张量deconv1。第二池化层输出的张量通过第八卷积单元后输出尺寸为128×128×32的张量conv8，将张量conv8与张量deconv1通过张量相加层相加后，得到尺寸为128×128×32的张量add1。将张量add1和第七卷积单元输出的张量conv7作为两个特征图输入至检测框获取模块，以检测出第一切平面上的肋骨定位点。具体地，可以通过在SSD中定anchor的方式在两张不同尺寸的特征图上检测出若干个检测框，并保留置信度高于预设阈值的检测框(预设阈值根据实际需求而定)，然后通过非极大值抑制(NMS，Non-maximum suppression)法去掉重叠度较高的检测框，最终得到的检测框即为在第一切平面上检测到的包括了左侧肋骨定位点的检测框。本实施例中检测框可以为矩形，且可以以检测框的中心作为检测到的左侧肋骨定位点。
本实施例中的第一检测模型可以以标记了肋骨定位点的多幅第一切平面影像作为训练样本，也可以对标记了肋骨定位点的多幅第一切平面影像进行增强操作，扩大训练样本的数据量，所述增强操作包括：随机上下左右平移预定像素(比如0～30像素)、随机旋转设定角度(比如-15～15度)、随机缩放设定倍数(比如0.85～1.15倍)，对第一切平面影像的对比度和亮度进行少量抖动等。
将训练样本输入至初始第一检测模型，训练时根据标注的肋骨定位点和初始第一检测模型检出的肋骨定位点计算loss函数，采用反向传播算法以及随机梯度下降(SGD，Stochastic Gradient Descent)优化算法反复迭代，不断更新初始第一检测模型的参数。若某次训练的损失函数小于或等于阈值，则可以将该次训练的模型参数对应的初始第一检测模型作为第一检测模型。通过训练获得第一检测模型后，则可以将切分3D医学影像获得的第一切平面输入至第一检测模型以获得第一切平面上的左侧肋骨定位点。参见图5，图5是本发明实施例的第一切平面及在其上检测出的肋骨定位点的示意图，图5中示出了三张第一切平面，在第一张切平面上示出了检测出的左侧肋骨定位点。
同样地，本实施中可以采用第二检测模型对每一个第二切平面上的右侧肋骨定位点进行检测，本实施例中第二检测模型的结构与第一检测模型的结构相类似，只是在训练第二检测模型时，是以标记了肋骨定位点的多幅第二切平面影像作为训练样本。在通过训练获得第二检测模型后，即可以通过将切分3D医学影像获得的第二切平面输入至第二检测模型以获得第二切平面上的右侧肋骨定位点。本实施例中，针对性的通过第一检测模型检测左侧肋骨定位点，通过第二检测模型检测右侧肋骨定位点，在一定程度上提高了检测左侧肋骨定位点和右侧肋骨定位点的准确度。
在其他实施例中，也可以仅采用一个检测模型来检测第一切平面和第二切平面上的肋骨定位点，且该检测模型的结构与第一检测模型的结构相类似，只是在训练检测模型时，是以标记了肋骨定位点的多幅第一切平面影像和多幅第二切平面影像作为训练样本。
至此，通过上述的S101～S105检测出了3D医学影像中的肋骨点，即本实施例中所称的肋骨定位点。本实施例中，可以通过检测到的肋骨点(肋骨定位点)来获取中心点(x 0,y 0)的位置。
执行S11，确定中心点(x 0,y 0)。本实施例中，具体地，可以以检测到的所有肋骨定位点的x坐标的平均值(所有肋骨定位点的x坐标值之和除以肋骨定位点的个数)作为中心点的x坐标，即x 0，以检测到的所有肋骨定位点的y坐标的平均值(所有肋骨定位点的y坐标值之和除以肋骨定位点的个数)作为中心点的y坐标，即y 0。
本实施例中，为了提高最终映射获得的肋骨全景图的精度，在获取3D医学影像中的肋骨点时，除了获取肋骨定位点以外，还可以基于肋骨定位点进行相应的扩充，具体地，可以对每一帧2D医学影像中的肋骨定位点进行相应的扩充，以获得与肋骨定位点关联的关联定位点，并将关联定位点作为对肋骨点的补充。进一步地，对每一帧2D医学影像(横断面)中的肋骨轮廓进行检测，将检测到的肋骨轮廓上的点(肋骨轮廓点)作为肋骨点。
本实施例中，具体地，通过如下方式对每一帧2D医学影像(横断面影像)中的肋骨定位点进行扩充，以获得与该肋骨定位点关联的关联定位点。对于任一帧2D医学影像中的任一个肋骨定位点，首先，以中心点(x 0,y 0)为圆心，以中心点与该肋骨定位点之间的距离为半径画弧，然后，将圆弧上位于该肋骨定位点附近的点作为与该肋骨定位点关联的关联定位点。具体地，以中心点为圆心，中心点与肋骨定位点之间的距离为半径画弧时，所形成的圆弧可以以肋骨定位点为中心对称，圆弧对应的弧度可以在3°和7°之间，如：圆弧对应的弧度可以为5°。本实施例中可以将生成的圆弧上位于肋骨定位点周围的所有点作为与肋骨定位点关联的关联定位点，并将这些关联定位点作为肋骨点。
为了获得肋骨轮廓上的点，需要先对肋骨轮廓进行检测。本实施例中，具体地，通过如下步骤获取任一帧2D医学影像(横断面影像)中的肋骨轮廓。
首先：获取所述2D医学影像中的关键点，所述关键点关联于肋骨。所述关键点可以位于肋骨上，也可以位于肋骨附近，对于一根肋骨而言，可以对应有一个关键点，也可以对应有多个关键点。参见图6，图6是本发明实施例的关键点的示意图，图6中用数字标识的点即为关键点，图6中示意性的标识了20个关键点。
本实施例中通过神经网络来获取关键点的位置，具体地，可以通过2D回归网络来获取关键点的位置。所述2D回归网络包括特征提取单元和全连接回归单元，特征提取单元的输出为全连接回归单元的输入。其中，特征提取单元包括N个卷积模块和N个最大池化层，卷积模块的输出与最大池化层的输入相连，也即卷积模块和最大池化层交替连接。每一个卷积模块则包括多个卷积块，其中每一个卷积块包括：一个卷积层(Conv2d)，一个批归一化层(BN，Batch Normalization)和一个激活层，激活函数可以为线性整流函数(ReLU，Recified Linear Unit)。全连接回归单元包括M个依次连续的全连接层，全连接层和全连接层之间可以为通过率为0.5的dropout层。全连接回归单元最终输出关键点的坐标，所述关键点的坐标可以是像素点坐标，如该关键点的横坐标和纵坐标可以是在一预设坐标系下对应的第几个像素点。
本实施例中，可以以多帧2D医学影像(横断面影像)为训练样本，由标注人员在每帧2D医学影像上标注关键点，关键点可以为各肋骨上或者肋骨附近的点，关键点的数量可以根据实际的需求而定。然后对训练样本进行数据增强(如：随机旋转一定角度，随机上下左右平移0～30像素，随机缩放0.85～1.15倍，对图像对比度和亮度进行少量抖动等)，将数据量增强至原来数据量的10倍。最后再将训练样本输入2D回归网络进行训练。训练时根据标注的关键点的坐标和网络预测的关键点的坐标计算loss函数，通过反向传播的方法训练，训练的优化算法可以采用带有动量和阶梯衰减的SGD算法。通过训练获得2D回归网络后，则可以将2D医学影像输入至2D回归网络以获得2D医学影像中与各肋骨对应的关键点的坐标。
至此通过上述的2D回归网络获得了2D医学影像中的关键点的坐标，然后连接所述关键点则可以获得2D医学影像中的肋骨轮廓。最后可以将肋骨轮廓上不属于肋骨定位点、与肋骨定位点关联的关联定位点的肋骨轮廓点作为肋骨点。
在获得每一帧2D医学影像中的肋骨点后，执行S12，获取每一帧2D医学影像中的肋骨信息，所述肋骨信息包括：中心点与该帧2D医学影像中的每一个肋骨点所在直线的方向，该肋骨点的Z坐标。本实施例中，可以以中心点为起点，中心点和肋骨点形成的射线与X轴正向之间的夹角来表示中心点和肋骨点所在直线的方向。当然在其他实施例中也可以以中心点为起点，中心点和肋骨点形成的射线与X轴负向之间的夹角来表示中心点和肋骨点所在直线的方向，还可以以肋骨点为起点，肋骨点和中心点形成的射线与X轴正向之间的夹角来表示中心点和肋骨点所在直线的方向，以肋骨点为起点，肋骨点和中心点形成的射线与X轴负向之间的夹角来表示中心点和肋骨点所在直线的方向。实际映射时，可以选择不同的方式来确定中心点和肋骨点所在直线的方向。因此，在确定中心点和肋骨点所在直线的方向时，是以中心点为起点，还是以肋骨点为起点，是与X轴正向还是与X轴负向之间的夹角不应作为在确定中心点和肋骨点所在直线方向时的限定。
由上述可以知晓，检测3D医学影像时，检测到的肋骨定位点的坐标是知晓的，而每一帧2D医学影像中，与肋骨定位点关联的关联定位点的坐标，也可以根据中心点和肋骨定位点之间的距离，以及对应的弧度来确定。每一帧2D医学影像中，肋骨轮廓上每一个肋骨轮廓点的坐标也是可以知晓的。因此，本实施例中，中心点和肋骨点所在直线的方向可以根据中心点的坐标以及肋骨点的坐标确定。
在确定了每一帧2D医学影像中的肋骨信息后，执行S13，将多帧2D医学影像中的肋骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。具体地，本实施例中，是将中心点与肋骨点所在直线的方向映射至第一坐标轴，将该肋骨点的Z坐标映射至第二坐标轴。第一坐标轴和第二坐标轴垂直。也即基于中心点和肋骨点所在直线的方向确定该肋骨点在第一坐标轴上的坐标值，基于该肋骨点的Z坐标确定该肋骨点在第二坐标上的坐标值，从而可以在第一坐标系上确定出与该肋骨点对应的肋骨点。该肋骨点的像素值在映射前后可以不发生变化。
以下通过简单的示例，对映射过程进行说明。
若某一帧2D医学影像上存在多个肋骨点，以第一肋骨点、第二肋骨点、第三肋骨点为例，中心点和第一肋骨点所在直线的方向为10°，第一肋骨点的Z坐标为300mm，中心点和第二肋骨点所在直线的方向为13°，第二肋骨点的Z坐标为320mm，中心点和第三肋骨点所在直线的方向为16°，第三肋骨点的Z坐标为340mm。则就是将与第一肋骨点对应的10°映射至第一坐标系的第一坐标轴(角度轴)，将与第一肋骨点对应的300mm映射至第一坐标系的第二坐标轴；将与第二肋骨点对应的13°映射至第一坐标系的第一坐标轴，将与第二肋骨点对应的320mm映射至第一坐标系的第二坐标轴；将与第三肋骨点对应的16°映射至第一坐标系的第一坐标轴，将与第三肋骨点对应的340mm映射至第一坐标系的第二坐标轴。将多帧2D医学影像中的肋骨信息按照前述方式映射，就可以将多帧2D医学影像中的肋骨映射为肋骨全景图。
需要说明的是，上述在映射肋骨全景图的过程中，肋骨点包括了肋骨定位点、与肋骨定位点关联的关联定位点以及肋骨轮廓点。在其他实施例中，当预定间隔足够小，第一切平面和第二切平面足够多时，也可以以检测到的肋骨定位点作为3D医学影像中的肋骨点，基于每一帧2D医学影像中的肋骨定位点来获得肋骨信息，进而基于多帧2D医学影像中的肋骨信息来映射肋骨全景图。
基于相同的技术构思，本发明实施例提供一种医学影像处理装置，包括：
第一获取单元，用于获取3D医学影像中的肋骨点。
确定单元，用于确定中心点(x 0,y 0)，x 0关联于肋骨点的x坐标，y 0关联于肋骨点的y坐标，X轴与矢状面垂直，Y轴与冠状面垂直。
第二获取单元，用于获取任一帧2D医学影像中的肋骨信息，所述肋骨信息包括：中心点与该帧2D医学影像中的每一个肋骨点所在直线的方向，该肋骨点的Z坐标。
映射单元，用于将多帧2D医学影像中的肋骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。
本实施例的医学影像处理装置的实施可以参见上述的医学影像处理方法的实施，此处不再赘述。
基于相同的技术构思，本发明实施例提供一种计算机设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行上述的医学影像处理方法。
基于相同的技术构思，本发明实施例提供一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行上述的医学影像处理方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种医学影像处理方法，其特征在于，包括：
获取3D医学影像中的肋骨点；
确定中心点(x 0 ,y 0 )，x 0 关联于肋骨点的x坐标，y 0 关联于肋骨点的y坐标，X轴与矢状面垂直，Y轴与冠状面垂直；
获取任一帧2D医学影像中的肋骨信息，所述肋骨信息包括：中心点与该帧2D医学影像中的每一个肋骨点所在直线的方向，该肋骨点的Z坐标；
将多帧2D医学影像中的肋骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像；
所述将多帧2D医学影像中的肋骨信息映射至第一坐标系包括：
对于任一帧2D医学影像中的肋骨信息，将中心点与肋骨点所在直线的方向映射至第一坐标轴，将该肋骨点的Z坐标映射至第二坐标轴；其中，第一坐标轴和第二坐标轴垂直；
所述肋骨点包括肋骨定位点，还包括获取肋骨定位点，所述获取肋骨定位点包括：
获取3D医学影像中的第一定位点和第二定位点，其中，所述第一定位点位于左肺内，第二定位点位于右肺内；
确定第一轴和第二轴，其中，所述第一轴经过所述第一定位点且与横断面垂直，所述第二轴经过所述第二定位点且与横断面垂直；
以过所述第一轴且以所述第一轴为边界的切面切分所述3D医学影像，以获得多个第一切平面；
以过所述第二轴且以所述第二轴为边界的切面切分所述3D医学影像，以获得多个第二切平面；
对多个第一切平面和多个第二切平面进行检测以获得肋骨定位点。
2.如权利要求1所述的方法，其特征在于，所述肋骨点包括：肋骨定位点、与所述肋骨定位点关联的关联定位点，所述x 0 关联于肋骨定位点的x坐标，y 0 关联于肋骨定位点的y坐标。
3.如权利要求1所述的方法，其特征在于，所述肋骨点包括：肋骨定位点、与所述肋骨定位点关联的关联定位点、肋骨轮廓点，所述x 0 关联于肋骨定位点的x坐标，y 0 关联于肋骨定位点的y坐标。
4.如权利要求2或3所述的方法，其特征在于，对于任一帧2D医学影像中的肋骨定位点，与该肋骨定位点关联的关联定位点包括：以所述中心点为圆心，以中心点与所述肋骨定位点之间的距离为半径生成的圆弧上位于该肋骨定位点周围的点。
5.如权利要求3所述的方法，其特征在于，还包括获取任一帧2D医学影像中的肋骨轮廓，所述获取任一帧2D医学影像中的肋骨轮廓包括：
获取所述2D医学影像中的关键点，所述关键点关联于肋骨；
连接所述关键点以获得所述肋骨轮廓。
6.如权利要求1所述的方法，其特征在于，所述第一定位点为左肺的中心点或者重心点，所述第二定位点为右肺的中心点或者重心点。
7.一种医学影像处理装置，其特征在于，包括：
第一获取单元，用于获取3D医学影像中的肋骨点；
确定单元，用于确定中心点(x 0 ,y 0 )，x 0 关联于肋骨点的x坐标，y 0 关联于肋骨点的y坐标，X轴与矢状面垂直，Y轴与冠状面垂直；
第二获取单元，用于获取任一帧2D医学影像中的肋骨信息，所述肋骨信息包括：中心点与该帧2D医学影像中的每一个肋骨点所在直线的方向，该肋骨点的Z坐标；
映射单元，用于将多帧2D医学影像中的肋骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像；
所述将多帧2D医学影像中的肋骨信息映射至第一坐标系包括：
对于任一帧2D医学影像中的肋骨信息，将中心点与肋骨点所在直线的方向映射至第一坐标轴，将该肋骨点的Z坐标映射至第二坐标轴；其中，第一坐标轴和第二坐标轴垂直；
所述肋骨点包括肋骨定位点，还包括获取肋骨定位点，所述获取肋骨定位点包括：
获取3D医学影像中的第一定位点和第二定位点，其中，所述第一定位点位于左肺内，第二定位点位于右肺内；
确定第一轴和第二轴，其中，所述第一轴经过所述第一定位点且与横断面垂直，所述第二轴经过所述第二定位点且与横断面垂直；
以过所述第一轴且以所述第一轴为边界的切面切分所述3D医学影像，以获得多个第一切平面；
以过所述第二轴且以所述第二轴为边界的切面切分所述3D医学影像，以获得多个第二切平面；
对多个第一切平面和多个第二切平面进行检测以获得肋骨定位点。
8.一种计算机设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行权利要求1～6任一项所述的医学影像处理方法。
CN202011287450.5A 2020-11-17 2020-11-17 一种医学影像处理方法及装置、计算机设备 Active CN112508858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011287450.5A CN112508858B (zh) 2020-11-17 2020-11-17 一种医学影像处理方法及装置、计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011287450.5A CN112508858B (zh) 2020-11-17 2020-11-17 一种医学影像处理方法及装置、计算机设备

Publications (2)

Publication Number Publication Date
CN112508858A CN112508858A (zh) 2021-03-16
CN112508858B true CN112508858B (zh) 2024-04-23

Family

ID=74956594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011287450.5A Active CN112508858B (zh) 2020-11-17 2020-11-17 一种医学影像处理方法及装置、计算机设备

Country Status (1)

Country Link
CN (1) CN112508858B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643176B (zh) * 2021-07-28 2024-05-28 东软医疗系统股份有限公司 一种肋骨显示方法和装置
CN113344920B (zh) * 2021-08-04 2022-03-22 浙江太美医疗科技股份有限公司 一种纠正医学影像摆位的方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785303A (zh) * 2018-12-28 2019-05-21 上海联影智能医疗科技有限公司 肋骨标记方法、装置、设备以及图像分割模型的训练方法
CN109830289A (zh) * 2019-01-18 2019-05-31 上海皓桦科技股份有限公司 肋骨图像显示装置
JP2019205791A (ja) * 2018-05-30 2019-12-05 大日本印刷株式会社 医用画像処理装置、医用画像処理方法、プログラム、及びデータ作成方法
CN110599494A (zh) * 2018-06-12 2019-12-20 中国科学院深圳先进技术研究院 肋骨图像重建系统及方法、终端及可读存储介质
CN110706791A (zh) * 2019-09-30 2020-01-17 杭州依图医疗技术有限公司 一种医学影像处理方法及装置
CN110807770A (zh) * 2019-10-30 2020-02-18 杭州依图医疗技术有限公司 医学影像的处理、识别、显示方法及存储介质
CN110866905A (zh) * 2019-11-12 2020-03-06 苏州大学 一种肋骨识别与标注方法
WO2020153045A1 (ja) * 2019-01-22 2020-07-30 京セラドキュメントソリューションズ株式会社 表示装置および表示方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7394946B2 (en) * 2004-05-18 2008-07-01 Agfa Healthcare Method for automatically mapping of geometric objects in digital medical images
US7949171B2 (en) * 2005-10-19 2011-05-24 Siemens Corporation System and method for tracing rib posterior in chest CT volumes
US9659390B2 (en) * 2011-10-28 2017-05-23 Carestream Health, Inc. Tomosynthesis reconstruction with rib suppression
US20130150704A1 (en) * 2011-12-12 2013-06-13 Shuki Vitek Magnetic resonance imaging methods for rib identification
US9460534B2 (en) * 2013-11-12 2016-10-04 Siemens Aktiengesellschaft Labeling a rib cage by placing a label based on a center point and position of a rib
US9189847B2 (en) * 2013-11-12 2015-11-17 Siemens Aktiengesellschaft 2D visualization for rib analysis
US20170053405A1 (en) * 2015-08-21 2017-02-23 Samsung Electronics Co., Ltd. Method and system for calibration of a medical imaging system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019205791A (ja) * 2018-05-30 2019-12-05 大日本印刷株式会社 医用画像処理装置、医用画像処理方法、プログラム、及びデータ作成方法
CN110599494A (zh) * 2018-06-12 2019-12-20 中国科学院深圳先进技术研究院 肋骨图像重建系统及方法、终端及可读存储介质
CN109785303A (zh) * 2018-12-28 2019-05-21 上海联影智能医疗科技有限公司 肋骨标记方法、装置、设备以及图像分割模型的训练方法
CN109830289A (zh) * 2019-01-18 2019-05-31 上海皓桦科技股份有限公司 肋骨图像显示装置
WO2020153045A1 (ja) * 2019-01-22 2020-07-30 京セラドキュメントソリューションズ株式会社 表示装置および表示方法
CN110706791A (zh) * 2019-09-30 2020-01-17 杭州依图医疗技术有限公司 一种医学影像处理方法及装置
CN110807770A (zh) * 2019-10-30 2020-02-18 杭州依图医疗技术有限公司 医学影像的处理、识别、显示方法及存储介质
CN110866905A (zh) * 2019-11-12 2020-03-06 苏州大学 一种肋骨识别与标注方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
体数据医学影像剖面的重建;魏军;刘荣鑫;李金屏;;济南大学学报(自然科学版)(04);58-61 *
医学图像融合技术;陈文华;刘陶文;;华夏医学;20060630(03);244-246 *

Also Published As

Publication number Publication date
CN112508858A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
US7388973B2 (en) Systems and methods for segmenting an organ in a plurality of images
US11132801B2 (en) Segmentation of three-dimensional images containing anatomic structures
US6055326A (en) Method for orienting electronic medical images
CN112508858B (zh) 一种医学影像处理方法及装置、计算机设备
US8050475B2 (en) Detection and localization of vascular occlusion from angiography data
CN108717700B (zh) 一种检测结节长短径长度的方法及装置
CN110706791B (zh) 一种医学影像处理方法及装置
CN112381805B (zh) 一种医学影像处理方法
WO2011046511A1 (en) A method and system for segmenting a liver object in an image
EP1728213A1 (en) Method and apparatus for identifying pathology in brain images
CN111462071B (zh) 一种图像处理方法和系统
CN110782446B (zh) 一种确定肺结节体积的方法及装置
US8050470B2 (en) Branch extension method for airway segmentation
CN102573640B (zh) 医用图像处理装置及医用图像处理方法
KR20150080820A (ko) 관심 영역 표시 장치 및 방법
CN110826557A (zh) 一种骨折检出的方法及装置
CN110992310A (zh) 一种确定纵隔淋巴结所在分区的方法及装置
CN106469445A (zh) 一种三维图像的校准方法、装置和系统
CN112308820B (zh) 一种肋骨定位方法及装置、计算机设备及存储介质
CN114187252B (zh) 图像处理方法及装置、调整检测框的方法及装置
CN112184664B (zh) 一种椎骨检测方法及计算机设备
CN112712508B (zh) 一种确定气胸的方法及装置
CN112308821B (zh) 一种椎骨检测方法及计算机设备
CN113689454A (zh) 基于卷积神经网络的3d ct椎体分割算法
CN112869758A (zh) 一种确定胸腔积液的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant