CN116779093B - 一种医学影像结构化报告的生成方法、装置和计算机设备 - Google Patents

一种医学影像结构化报告的生成方法、装置和计算机设备 Download PDF

Info

Publication number
CN116779093B
CN116779093B CN202311054409.7A CN202311054409A CN116779093B CN 116779093 B CN116779093 B CN 116779093B CN 202311054409 A CN202311054409 A CN 202311054409A CN 116779093 B CN116779093 B CN 116779093B
Authority
CN
China
Prior art keywords
image
target
focus
identified
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311054409.7A
Other languages
English (en)
Other versions
CN116779093A (zh
Inventor
赖永航
冯健
陈栋栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Medcare Digital Engineering Co ltd
Original Assignee
Qingdao Medcare Digital Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Medcare Digital Engineering Co ltd filed Critical Qingdao Medcare Digital Engineering Co ltd
Priority to CN202311054409.7A priority Critical patent/CN116779093B/zh
Publication of CN116779093A publication Critical patent/CN116779093A/zh
Application granted granted Critical
Publication of CN116779093B publication Critical patent/CN116779093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及图像处理技术领域,提供一种医学影像结构化报告的生成方法、装置和计算机设备,该方法包括:当在阅片界面接收到对目标切面图像中的待识别区域的选取操作时,从待识别影像序列的各个切面图像中分别提取出只包括待识别区域对应目标部位的图像区域的待识别图像样本;对待识别图像样本进行识别生成目标疾病列表;当接收到对任一目标疾病的选取操作时,在报告界面展示出与目标疾病对应的结构化报告模板;采用与目标疾病对应的单病灶识别模型对由待识别图像样本生成的三维数据进行识别,得到目标疾病的病灶属性信息并将其填充到结构化报告模板的对应位置。本发明以AI提供的识别结果为辅助实现医学影像结构化报告的快速准确生成。

Description

一种医学影像结构化报告的生成方法、装置和计算机设备
技术领域
本发明涉及图像处理技术领域,尤其涉及一种医学影像结构化报告的生成方法、装置和计算机设备。
背景技术
随着人工智能技术的不断发展,AI辅助诊断产品快速部署到医疗临床应用中,在医学影像诊断中发挥重要作用。利用AI技术辅助医学影像诊断原本目标是提高医生的准确性和效率,减轻医生的工作负担。然而现有的AI模型训练需要大量的高质量数据,如果数据不充分或者质量不高,就会影响诊断的准确率和效果。现有的AI技术并没有有效解决误诊、漏诊的情况,AI厂商为了宣传AI便捷性,推出的产品往往由AI为主要导向,减少医生交互过程,通常在后台启动AI模型识别影像,将识别结果填充到结构化报告里,医生在阅读结构化报告时,如果发现报告里的文本信息描述不准确,需要根据文本信息找到对应的医学影像进行查阅,再对文本信息进行修改,过程繁琐,存在AI“帮倒忙”的情况。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题的一种医学影像结构化报告的生成方法、装置和计算机设备。
本发明的一个方面,提供了一种医学影像结构化报告的生成方法,所述方法包括:
当在阅片界面接收到对目标切面图像中的待识别区域的选取操作时,从待识别影像序列的各个切面图像中分别提取出只包括所述待识别区域对应目标部位的图像区域的待识别图像样本,所述目标切面图像为待识别影像序列中当前展示在阅片界面中的图像;
采用预设的病灶识别分类模型对从所述目标切面图像提取出的待识别图像样本进行识别,以生成目标疾病列表,并将目标疾病列表进行显示以供用户进行目标疾病的选取;
当接收到对目标疾病列表中任一目标疾病的选取操作时,在报告界面展示出预设的与所述目标疾病对应的第一结构化报告模板;
采用预设的与所述目标疾病对应的单病灶识别模型对由待识别图像样本生成的三维数据进行识别,得到所述目标疾病的第一病灶属性信息;
将所述第一病灶属性信息填充到所述第一结构化报告模板的对应位置。
可选地,所述从待识别影像序列的各个切面图像中分别提取出只包括所述待识别区域对应目标部位的图像区域的待识别图像样本,包括:
从所述目标切面图像中提取出所述目标部位的第一图像轮廓;
根据所述待识别影像序列进行MPR重建,并以所述第一图像轮廓的中心点为坐标原点进行关联定位生成对应的目标冠状位图像和目标矢状位图像;
从所述目标冠状位图像或所述目标矢状位图像中提取出所述目标部位的第二图像轮廓;
根据第二图像轮廓的边界范围对重建图像进行3D裁剪,得到所述目标部位的3D轮廓区域,根据所述3D轮廓区域从待识别影像序列的各个切面图像中分别提取出只包括所述目标部位的图像区域的待识别图像样本。
可选地,所述从所述目标切面图像中提取出所述目标部位的第一图像轮廓,包括:
基于预设的部位分割模型对所述目标切面图像进行部位分割,得到目标切面图像中各个部位的图像轮廓;将待识别区域与目标切面图像的分割结果中各个部位的图像轮廓进行位置匹配,以从所述目标切面图像中提取出所述目标部位的第一图像轮廓;
从所述目标冠状位图像或所述目标矢状位图像中提取出所述目标部位的第二图像轮廓,包括:
基于预设的部位分割模型对所述目标冠状位图像或所述目标矢状位图像进行部位分割,得到重建图像中各个部位的图像轮廓;从重建图像中各个部位的图像轮廓中提取出所述目标部位的第二图像轮廓。
可选地,所述方法还包括:预先训练所述部位分割模型;
所述预先训练所述部位分割模型包括:
根据预设的第一数据集中的各个第一影像序列样本分别进行MPR重建,以生成与各个第一影像序列样本对应的冠状位图像样本和矢状位图像样本;
将各个第一影像序列样本中的第一切面图像样本以及与各个第一影像序列样本对应的冠状位图像样本和矢状位图像样本作为第一训练集,采用预设的SAM分割算法对所述第一训练集中的各个图像样本进行图像预分割;
将图像样本中预分割得到的各个部位的图像轮廓进行部位标注,采用部位标注后的第一训练集进行分割网络训练得到部位分割模型。
可选地,所述方法还包括:预先训练所述病灶识别分类模型和单病灶识别模型;
所述预先训练所述病灶识别分类模型和单病灶识别模型,包括:
采用所述部位分割模型对所述第一训练集中的各个图像样本进行部位分割,得到每一图像样本中各个部位的图像轮廓;
从各个图像样本中分别提取出只包括一个部位的图像区域的第一训练图像样本,对得到的各个只包括一个部位的图像区域的第一训练图像样本进行病灶标注,采用病灶标注后的第一训练图像样本生成不同疾病对应的用于病灶分割的第一病灶掩码图像样本;
采用第一病灶掩码图像样本进行病灶识别分类网络训练,得到病灶识别分类模型,以及,采用由各个第一影像序列样本对应的第一病灶掩码图像样本生成的各组三维数据进行单病灶识别网络训练,得到单病灶识别模型。
可选地,根据所述3D轮廓区域从待识别影像序列的各个切面图像中分别提取出只包括所述目标部位的图像区域,包括:
根据所述目标部位的3D轮廓区域确定所述目标部位在待识别影像序列的各个切面图像上的图像轮廓;
根据所述目标部位在待识别影像序列中每一切面图像上的图像轮廓,从待识别影像序列中每一切面图像分别生成只包括目标部位的图像区域。
可选地,所述方法还包括:预先训练所述病灶识别分类模型和单病灶识别模型;
所述预先训练所述病灶识别分类模型和单病灶识别模型,包括:
采用预设的部位分割模型对预设的第二数据集中的各个第二影像序列样本中的每一个第二切面图像样本进行部位分割,得到每一个第二切面图像样本中各个部位的图像轮廓;
从每一个第二影像序列样本的各个第二切面图像样本中分别提取出只包括一个部位的图像区域的第二训练图像样本,对得到的各个只包括一个部位的图像区域的第二训练图像样本进行病灶标注,采用病灶标注后的第二训练图像样本生成不同疾病对应的用于病灶分割的第二病灶掩码图像样本;
采用第二病灶掩码图像样本进行病灶识别分类网络训练,得到病灶识别分类模型,以及,采用由各个第二影像序列样本对应的第二病灶掩码图像样本生成的各组三维数据进行单病灶识别网络训练,得到单病灶识别模型。
可选地,所述方法还包括:
当接收到目标疾病的修改操作时,在报告界面展示出与修改后的目标疾病对应的预设的第二结构化报告模板;
采用预设的与修改后的目标疾病对应的单病灶识别模型对由所述待识别图像样本组成的三维数据进行识别,得到修改后的目标疾病的第二病灶属性信息;
将所述第二病灶属性信息填充到所述第二结构化报告模板的对应位置。
本发明的另一个方面,提供了一种医学影像结构化报告的生成装置,所述装置包括用于实现如上任一项所述的医学影像结构化报告的生成方法的功能模块,具体包括:
图像提取模块,用于当在阅片界面接收到对目标切面图像中的待识别区域的选取操作时,从待识别影像序列的各个切面图像中分别提取出只包括所述待识别区域对应目标部位的图像区域的待识别图像样本,所述目标切面图像为待识别影像序列中当前展示在阅片界面中的图像;
病灶分类模块,用于采用预设的病灶识别分类模型对从所述目标切面图像提取出的待识别图像样本进行识别,以生成目标疾病列表,并将目标疾病列表进行显示以供用户进行目标疾病的选取;
报告加载模块,用于当接收到对目标疾病列表中任一目标疾病的选取操作时,在报告界面展示出预设的与所述目标疾病对应的第一结构化报告模板;
病灶属性识别模块,采用预设的与所述目标疾病对应的单病灶识别模型对由待识别图像样本生成的三维数据进行识别,得到所述目标疾病的第一病灶属性信息;
报告生成模块,用于将所述第一病灶属性信息填充到所述第一结构化报告模板的对应位置。
本发明的另一个方面,提供了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;所述计算机程序被所述处理器执行时,实现如上任一项所述的医学影像结构化报告的生成方法的步骤。
本发明实施例提供的一种医学影像结构化报告的生成方法、装置和计算机设备,当在阅片界面接收到用户对当前阅片界面显示的目标切面图像中的待识别区域的选取操作时,从目标切面图像所属的待识别影像序列的各个切面图像中分别提取出只包括待识别区域对应目标部位的图像区域的待识别图像样本,然后采用预设的病灶识别分类模型对待识别图像样本进行识别,以生成目标疾病列表,并将目标疾病列表进行显示以供用户进行目标疾病的选取,当接收到用户对目标疾病列表中任一目标疾病的选取操作时,在报告界面展示出预设的与目标疾病对应的结构化报告模板,并采用预设的与目标疾病对应的单病灶识别模型对由待识别图像样本生成的三维数据进行识别,识别出目标疾病的病灶属性信息并将第一病灶属性信息填充到结构化报告模板的对应位置,实现了以临床医生为主导、AI为辅助相结合的医学影像结构化报告的快速准确生成,避免出现AI误诊、漏诊,杜绝AI“帮倒忙”的情况出现。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。在附图中:
图1为本发明实施例的一种医学影像结构化报告的生成方法的流程图;
图2为本发明实施例的一种医学影像结构化报告的生成方法中步骤S1的细分实现流程图;
图3为本实施例中横截位图像、冠状位图像和矢状位图像之间的坐标关联示意图;
图4为本发明实施例的一种医学影像结构化报告的生成装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非被特定定义,否则不会用理想化或过于正式的含义来解释。
实施例一
本发明实施例提供了一种医学影像结构化报告的生成方法,如图1所示,本发明提出的医学影像结构化报告的生成方法,包括以下步骤:
S1、当在阅片界面接收到对目标切面图像中的待识别区域的选取操作时,从待识别影像序列的各个切面图像中分别提取出只包括所述待识别区域对应目标部位的图像区域的待识别图像样本。其中,目标切面图像为待识别影像序列中当前展示在阅片界面中的图像。
在实际应用中,医生在书写报告同时在PACS(Picture Archiving andCommunication Systems,图像归档与传输系统)阅片界面浏览当前待识别的影像序列,如CT影像数据、MR影像数据等,医生在阅片界面中的影像序列中的2D切面图像即目标切面图像上标注感兴趣区域也即待识别区域,然后从影像序列包括的各个切面图像中分别提取出只包括感兴趣区域位置对应目标部位的图像区域的图像,得到待识别图像样本。
S2、采用预设的病灶识别分类模型对从所述目标切面图像提取出的待识别图像样本进行识别,以生成目标疾病列表,并将目标疾病列表进行显示以供用户进行目标疾病的选取。
S3、当接收到对目标疾病列表中任一目标疾病的选取操作时,在报告界面展示出预设的与所述目标疾病对应的第一结构化报告模板。
S4、采用预设的与所述目标疾病对应的单病灶识别模型对由待识别图像样本生成的三维数据进行识别,得到所述目标疾病的第一病灶属性信息。
S5、将所述第一病灶属性信息填充到所述第一结构化报告模板的对应位置。
本发明实施例中,对当前阅片界面中显示的医生标记标注感兴趣区域的目标切面图像所对应的待识别图像样本,输入预先基于2D影像训练的病灶识别分类模型,得到AI模型识别出的当前部位可能存在的疾病的目标疾病列表并将目标疾病列表进行显示。医生在目标疾病列表中选择指定的目标疾病,报告界面根据医生选择的目标疾病在报告界面展示出目标疾病对应的预设的结构化报告模板,同时调用对应目标疾病的单病灶识别模型对当前检查下影像序列中各个切面图像对应的待识别图像样本组成的三维数据进行识别,取置信度最高的识别结果作为判断结果,得到目标疾病的病灶属性信息。病灶属性信息包括病灶的大小、面积、形态、病变程度等信息,在得到目标疾病的病灶的大小、面积、形态、病变程度等病灶属性信息后,将病灶属性信息填充到结构化报告模板的对应位置,生成医学影像结构化报告。
本发明实施例提供的一种医学影像结构化报告的生成方法,当在阅片界面接收到用户对当前阅片界面显示的目标切面图像中的待识别区域的选取操作时,从目标切面图像所属的待识别影像序列的各个切面图像中分别提取出只包括待识别区域对应目标部位的图像区域的待识别图像样本,然后采用预设的病灶识别分类模型对待识别图像样本进行识别,以生成目标疾病列表,并将目标疾病列表进行显示以供用户进行目标疾病的选取,当接收到用户对目标疾病列表中任一目标疾病的选取操作时,在报告界面展示出预设的与目标疾病对应的结构化报告模板,并采用预设的与目标疾病对应的单病灶识别模型对由待识别图像样本生成的三维数据进行识别,识别出目标疾病的病灶属性信息并将第一病灶属性信息填充到结构化报告模板的对应位置,实现了以临床医生为主导、AI为辅助相结合的医学影像结构化报告的快速准确生成,避免出现AI误诊、漏诊,杜绝AI“帮倒忙”的情况出现。
本发明实施例中,如图2所示,步骤S1中的从待识别影像序列的各个切面图像中分别提取出只包括所述待识别区域对应目标部位的图像区域的待识别图像样本,具体包括如下细分步骤:
S11、从所述目标切面图像中提取出所述目标部位的第一图像轮廓;
S12、根据所述待识别影像序列进行MPR重建,并以所述第一图像轮廓的中心点为坐标原点进行关联定位生成对应的目标冠状位图像和目标矢状位图像;
S13、从所述目标冠状位图像或所述目标矢状位图像中提取出所述目标部位的第二图像轮廓;
S14、根据第二图像轮廓的边界范围对重建图像进行3D裁剪,得到所述目标部位的3D轮廓区域,根据所述3D轮廓区域从待识别影像序列的各个切面图像中分别提取出只包括所述目标部位的图像区域的待识别图像样本。具体地,根据所述3D轮廓区域从待识别影像序列的各个切面图像中分别提取出只包括所述目标部位的图像区域,包括:根据所述目标部位的3D轮廓区域确定所述目标部位在待识别影像序列的各个切面图像上的图像轮廓;根据所述目标部位在待识别影像序列中每一切面图像上的图像轮廓,从待识别影像序列中每一切面图像分别生成只包括目标部位的图像区域。
本实施例中,医生在书写报告同时在PACS(Picture Archiving andCommunication Systems,图像归档与传输系统)阅片界面浏览当前待识别的影像序列,如CT影像数据、MR影像数据等,医生在阅片界面中的影像序列中的2D切面图像即目标切面图像上标注感兴趣区域也即待识别区域,对目标切面图像进行识别从中提取出感兴趣区域对应目标部位的第一图像轮廓。然后进行MPR重建以感兴趣区域的轮廓的中心点为坐标进行关联定位,得到对应的冠状位图像、矢状位图像,对其中一张重建图像进行识别,得到感兴趣区域对应目标部位在重建图像上的轮廓区域。由于三个切面图像上的坐标是相互关联的,通过重建图像上的轮廓区域的上、下边界(Y坐标)范围,能够确定在原始切面横断位图像上包含该目标部位的图像轮廓。本发明通过对重建图像上该目标部位的轮廓区域进行3D裁剪, 3D裁剪后只保留轮廓区域内的图像。具体的,裁剪方向是向预设方向延伸,冠状位图像则向三维重建后的立方体的X方向延伸,矢状位图像则向三维重建后的立方体的Y方向延伸。本发明已知原始切面横断位图像上包含该目标部位的图像范围,以及3D裁剪后该目标部位的轮廓区域,因此通过该方法只需要输入两幅2D图像就能提取出当前检查的影像序列中包含该目标部位的图像范围及该部位在每一幅图像上的轮廓区域,然后对每张2D图像上目标部位的图像轮廓区域之外的区域设成黑色,生成只包括所述目标部位的图像区域的图像,得到待识别图像样本。
其中,所述从所述目标切面图像中提取出所述目标部位的第一图像轮廓,包括:基于预设的部位分割模型对所述目标切面图像进行部位分割,得到目标切面图像中各个部位的图像轮廓;将待识别区域与目标切面图像的分割结果中各个部位的图像轮廓进行位置匹配,以从所述目标切面图像中提取出所述目标部位的第一图像轮廓。本实施例中,医生在阅片界面中的目标切面图像上标注感兴趣区域也即待识别区域之后,通过调用部位分割模型对目标切面图像进行部位分割,以快速、准确地从中目标切面图像提取出感兴趣区域对应目标部位的第一图像轮廓。
其中,从所述目标冠状位图像或所述目标矢状位图像中提取出所述目标部位的第二图像轮廓,包括:基于预设的部位分割模型对所述目标冠状位图像或所述目标矢状位图像进行部位分割,得到重建图像中各个部位的图像轮廓;从重建图像中各个部位的图像轮廓中提取出所述目标部位的第二图像轮廓。本实施例中,在进行MPR重建得到对应的冠状位图像、矢状位图像之后,对其中一张重建图像调用部位分割模型进行部位分割,以快速准确得到感兴趣区域对应目标部位在重建图像上的轮廓区域。
进一步地,本发明提出的医学影像结构化报告的生成方法还包括:预先训练所述部位分割模型的实现步骤。训练部位分割模型的实现方法具体包括:根据预设的第一数据集中的各个第一影像序列样本分别进行MPR重建,以生成与各个第一影像序列样本对应的冠状位图像样本和矢状位图像样本;将各个第一影像序列样本中的第一切面图像样本以及与各个第一影像序列样本对应的冠状位图像样本和矢状位图像样本作为第一训练集,采用预设的SAM分割算法对所述第一训练集中的各个图像样本进行图像预分割;将图像样本中预分割得到的各个部位的图像轮廓进行部位标注,采用部位标注后的第一训练集进行分割网络训练得到部位分割模型。
本实施例中,在训练部位分割模型前,预先采集CT影像数据构建第一数据集,并进行MPR重建,即通过原始横截位图像重建出冠状位图像和矢状位图像,横截位图像、冠状位图像和矢状位图像三个切面图像上的坐标是相互关联的,假如在横截位图像上的坐标点定位在眼睛上,在冠状位、矢状位图像上的坐标也定位在眼睛上,如图3所示。然后,将原始CT影像数据和MPR重建出的出冠状位、矢状位图像作为训练样本,借助SAM分割模型对训练样本图像进行预分割,将预分割轮廓进行标注部位,训练分割网络得到部位分割模型。
更进一步地,本发明提出的医学影像结构化报告的生成方法还包括:预先训练所述病灶识别分类模型和单病灶识别模型的实现步骤。所述预先训练所述病灶识别分类模型和单病灶识别模型,具体包括:采用所述部位分割模型对所述第一训练集中的各个图像样本进行部位分割,得到每一图像样本中各个部位的图像轮廓;从各个图像样本中分别提取出只包括一个部位的图像区域的第一训练图像样本,对得到的各个只包括一个部位的图像区域的第一训练图像样本进行病灶标注,采用病灶标注后的第一训练图像样本生成不同疾病对应的用于病灶分割的第一病灶掩码图像样本;采用第一病灶掩码图像样本进行病灶识别分类网络训练,得到病灶识别分类模型,以及,采用由各个第一影像序列样本对应的第一病灶掩码图像样本生成的各组三维数据进行单病灶识别网络训练,得到单病灶识别模型。
本实施例利用部位分割模型训练过程中的训练数据作为病灶识别分类模型和单病灶识别模型的训练数据实现模型训练。具体地,训练样本基于上述部位分割模型进行部位分割提取,只保留对应部位区域的图像信息,比如肾脏病灶识别,分割出肾脏部位后,对图像中其他区域设成黑色,防止成为干扰因素,制作出只包含单一部位的图像区域的第一训练图像样本,在只包含单一部位的图像区域的第一训练图像样本进行病灶标注,制作病灶分割的第一病灶掩码图像样本。训练基于单一部位的单病灶识别模型,识别出病灶属性,如病灶的大小、面积、形态、病变程度等,其中,病变程度如X病灶轻度、X病灶中度、X病灶重度。训练基于2D影像的病灶识别分类模型,类别分为疾病1、疾病2、疾病3…。可选地,单病灶识别模型可以为3D-Unet单病灶识别模型。
在本发明另一可选实施例中,预先训练所述病灶识别分类模型和单病灶识别模型的实现步骤包括:采用预设的部位分割模型对预设的第二数据集中的各个第二影像序列样本中的每一个第二切面图像样本进行部位分割,得到每一个第二切面图像样本中各个部位的图像轮廓;从每一个第二影像序列样本的各个第二切面图像样本中分别提取出只包括一个部位的图像区域的第二训练图像样本,对得到的各个只包括一个部位的图像区域的第二训练图像样本进行病灶标注,采用病灶标注后的第二训练图像样本生成不同疾病对应的用于病灶分割的第二病灶掩码图像样本;采用第二病灶掩码图像样本进行病灶识别分类网络训练,得到病灶识别分类模型,以及,采用由各个第二影像序列样本对应的第二病灶掩码图像样本生成的各组三维数据进行单病灶识别网络训练,得到单病灶识别模型。
其中,部位分割模型可采用如上实施例所述的训练方法进行训练。本实施例,预先准备第二数据集用于训练,病灶识别分类模型和单病灶识别模型。具体的,采用预设的部位分割模型对第二数据集中的各个第二影像序列样本中的每一个第二切面图像样本进行部位分割提取,只保留对应部位区域的图像信息,然后对图像中其他区域设成黑色,防止成为干扰因素,制作出只包含单一部位的图像区域的第二训练图像样本,在只包含单一部位的图像区域的第二训练图像样本进行病灶标注,制作病灶分割的第二病灶掩码图像样本,以基于第二病灶掩码图像样本进行病灶识别分类模型和单病灶识别模型的训练。
在本发明的一个实施例中,所述医学影像结构化报告的生成方法还包括对结构化报告进行修改的步骤,具体实现方法如下:当接收到目标疾病的修改操作时,在报告界面展示出与修改后的目标疾病对应的预设的第二结构化报告模板;采用预设的与修改后的目标疾病对应的单病灶识别模型对由所述待识别图像样本组成的三维数据进行识别,得到修改后的目标疾病的第二病灶属性信息;将所述第二病灶属性信息填充到所述第二结构化报告模板的对应位置。
本实施例中,医生对结构化报告里的医学影像内容进行修改可采用神经网络方法,当修改病灶的目标疾病类型时,报告界面重新展示出修改后的目标疾病对应的预设的结构化报告模板,同时调用对应疾病的单病灶识别模型对当前检查下影像序列中各个切面图像对应的待识别图像样本组成的三维数据进行识别,取置信度最高的识别结果作为判断结果,将病灶的大小、面积、形态、病变程度等病灶属性填充到新的结构化报告模板的对应位置,生成新的结构化报告。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
实施例二
本发明另一实施例还提供了一种医学影像结构化报告的生成装置,所述装置包括用于实现如上任一项所述的医学影像结构化报告的生成方法的功能模块。图4示意性的示出了本发明实施例提供一种医学影像结构化报告的生成装置的结构示意图,参照图4,本发明实施例的一种医学影像结构化报告的生成装置具体包括图像提取模块401、病灶分类模块402、报告加载模块403、病灶属性识别模块404和报告生成模块405,其中:
图像提取模块401,用于当在阅片界面接收到对目标切面图像中的待识别区域的选取操作时,从待识别影像序列的各个切面图像中分别提取出只包括所述待识别区域对应目标部位的图像区域的待识别图像样本,所述目标切面图像为待识别影像序列中当前展示在阅片界面中的图像;
病灶分类模块402,用于采用预设的病灶识别分类模型对从所述目标切面图像提取出的待识别图像样本进行识别,以生成目标疾病列表,并将目标疾病列表进行显示以供用户进行目标疾病的选取;
报告加载模块403,用于当接收到对目标疾病列表中任一目标疾病的选取操作时,在报告界面展示出预设的与所述目标疾病对应的第一结构化报告模板;
病灶属性识别模块404,采用预设的与所述目标疾病对应的单病灶识别模型对由待识别图像样本生成的三维数据进行识别,得到所述目标疾病的第一病灶属性信息;
报告生成模块405,用于将所述第一病灶属性信息填充到所述第一结构化报告模板的对应位置。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,且具有相应的技术效果。
实施例三
本发明实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述各个医学影像结构化报告的生成方法实施例中的步骤,例如图1所示的步骤S1-S5。或者,所述处理器执行所述计算机程序时实现上述各医学影像结构化报告的生成装置实施例中各模块的功能,例如图4所示的图像提取模块401、病灶分类模块402、报告加载模块403、病灶属性识别模块404和报告生成模块405。
本发明实施例提供的一种医学影像结构化报告的生成方法、装置和计算机设备,当在阅片界面接收到用户对当前阅片界面显示的目标切面图像中的待识别区域的选取操作时,从目标切面图像所属的待识别影像序列的各个切面图像中分别提取出只包括待识别区域对应目标部位的图像区域的待识别图像样本,然后采用预设的病灶识别分类模型对待识别图像样本进行识别,以生成目标疾病列表,并将目标疾病列表进行显示以供用户进行目标疾病的选取,当接收到用户对目标疾病列表中任一目标疾病的选取操作时,在报告界面展示出预设的与目标疾病对应的结构化报告模板,并采用预设的与目标疾病对应的单病灶识别模型对由待识别图像样本生成的三维数据进行识别,识别出目标疾病的病灶属性信息并将第一病灶属性信息填充到结构化报告模板的对应位置,实现了以临床医生为主导、AI为辅助相结合的医学影像结构化报告的快速准确生成,避免出现AI误诊、漏诊,杜绝AI“帮倒忙”的情况出现。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种医学影像结构化报告的生成方法,其特征在于,所述方法包括:
当在阅片界面接收到对目标切面图像中的待识别区域的选取操作时,从待识别影像序列的各个切面图像中分别提取出只包括所述待识别区域对应目标部位的图像区域的待识别图像样本,所述目标切面图像为待识别影像序列中当前展示在阅片界面中的图像;所述从待识别影像序列的各个切面图像中分别提取出只包括所述待识别区域对应目标部位的图像区域的待识别图像样本,包括:从所述目标切面图像中提取出所述目标部位的第一图像轮廓;根据所述待识别影像序列进行MPR重建,并以所述第一图像轮廓的中心点为坐标原点进行关联定位生成对应的目标冠状位图像和目标矢状位图像;从所述目标冠状位图像或所述目标矢状位图像中提取出所述目标部位的第二图像轮廓;根据第二图像轮廓的边界范围对重建图像进行3D裁剪,得到所述目标部位的3D轮廓区域,根据所述3D轮廓区域从待识别影像序列的各个切面图像中分别提取出只包括所述目标部位的图像区域的待识别图像样本;
采用预设的病灶识别分类模型对从所述目标切面图像提取出的待识别图像样本进行识别,以生成目标疾病列表,并将目标疾病列表进行显示以供用户进行目标疾病的选取;
当接收到对目标疾病列表中任一目标疾病的选取操作时,在报告界面展示出预设的与所述目标疾病对应的第一结构化报告模板;
采用预设的与所述目标疾病对应的单病灶识别模型对由待识别图像样本生成的三维数据进行识别,得到所述目标疾病的第一病灶属性信息;
将所述第一病灶属性信息填充到所述第一结构化报告模板的对应位置。
2.根据权利要求1所述的方法,其特征在于,所述从所述目标切面图像中提取出所述目标部位的第一图像轮廓,包括:
基于预设的部位分割模型对所述目标切面图像进行部位分割,得到目标切面图像中各个部位的图像轮廓;将待识别区域与目标切面图像的分割结果中各个部位的图像轮廓进行位置匹配,以从所述目标切面图像中提取出所述目标部位的第一图像轮廓;
从所述目标冠状位图像或所述目标矢状位图像中提取出所述目标部位的第二图像轮廓,包括:
基于预设的部位分割模型对所述目标冠状位图像或所述目标矢状位图像进行部位分割,得到重建图像中各个部位的图像轮廓;从重建图像中各个部位的图像轮廓中提取出所述目标部位的第二图像轮廓。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:预先训练所述部位分割模型;
所述预先训练所述部位分割模型包括:
根据预设的第一数据集中的各个第一影像序列样本分别进行MPR重建,以生成与各个第一影像序列样本对应的冠状位图像样本和矢状位图像样本;
将各个第一影像序列样本中的第一切面图像样本以及与各个第一影像序列样本对应的冠状位图像样本和矢状位图像样本作为第一训练集,采用预设的SAM分割算法对所述第一训练集中的各个图像样本进行图像预分割;
将图像样本中预分割得到的各个部位的图像轮廓进行部位标注,采用部位标注后的第一训练集进行分割网络训练得到部位分割模型。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:预先训练所述病灶识别分类模型和单病灶识别模型;
所述预先训练所述病灶识别分类模型和单病灶识别模型,包括:
采用所述部位分割模型对所述第一训练集中的各个图像样本进行部位分割,得到每一图像样本中各个部位的图像轮廓;
从各个图像样本中分别提取出只包括一个部位的图像区域的第一训练图像样本,对得到的各个只包括一个部位的图像区域的第一训练图像样本进行病灶标注,采用病灶标注后的第一训练图像样本生成不同疾病对应的用于病灶分割的第一病灶掩码图像样本;
采用第一病灶掩码图像样本进行病灶识别分类网络训练,得到病灶识别分类模型,以及,采用由各个第一影像序列样本对应的第一病灶掩码图像样本生成的各组三维数据进行单病灶识别网络训练,得到单病灶识别模型。
5.根据权利要求1所述的方法,其特征在于,根据所述3D轮廓区域从待识别影像序列的各个切面图像中分别提取出只包括所述目标部位的图像区域,包括:
根据所述目标部位的3D轮廓区域确定所述目标部位在待识别影像序列的各个切面图像上的图像轮廓;
根据所述目标部位在待识别影像序列中每一切面图像上的图像轮廓,从待识别影像序列中每一切面图像分别生成只包括目标部位的图像区域。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:预先训练所述病灶识别分类模型和单病灶识别模型;
所述预先训练所述病灶识别分类模型和单病灶识别模型,包括:
采用预设的部位分割模型对预设的第二数据集中的各个第二影像序列样本中的每一个第二切面图像样本进行部位分割,得到每一个第二切面图像样本中各个部位的图像轮廓;
从每一个第二影像序列样本的各个第二切面图像样本中分别提取出只包括一个部位的图像区域的第二训练图像样本,对得到的各个只包括一个部位的图像区域的第二训练图像样本进行病灶标注,采用病灶标注后的第二训练图像样本生成不同疾病对应的用于病灶分割的第二病灶掩码图像样本;
采用第二病灶掩码图像样本进行病灶识别分类网络训练,得到病灶识别分类模型,以及,采用由各个第二影像序列样本对应的第二病灶掩码图像样本生成的各组三维数据进行单病灶识别网络训练,得到单病灶识别模型。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
当接收到目标疾病的修改操作时,在报告界面展示出与修改后的目标疾病对应的预设的第二结构化报告模板;
采用预设的与修改后的目标疾病对应的单病灶识别模型对由所述待识别图像样本组成的三维数据进行识别,得到修改后的目标疾病的第二病灶属性信息;
将所述第二病灶属性信息填充到所述第二结构化报告模板的对应位置。
8.一种医学影像结构化报告的生成装置,其特征在于,所述装置包括用于实现如权利要求1-7任一项所述方法的功能模块,具体包括:
图像提取模块,用于当在阅片界面接收到对目标切面图像中的待识别区域的选取操作时,从待识别影像序列的各个切面图像中分别提取出只包括所述待识别区域对应目标部位的图像区域的待识别图像样本,所述目标切面图像为待识别影像序列中当前展示在阅片界面中的图像;所述从待识别影像序列的各个切面图像中分别提取出只包括所述待识别区域对应目标部位的图像区域的待识别图像样本,包括:从所述目标切面图像中提取出所述目标部位的第一图像轮廓;根据所述待识别影像序列进行MPR重建,并以所述第一图像轮廓的中心点为坐标原点进行关联定位生成对应的目标冠状位图像和目标矢状位图像;从所述目标冠状位图像或所述目标矢状位图像中提取出所述目标部位的第二图像轮廓;根据第二图像轮廓的边界范围对重建图像进行3D裁剪,得到所述目标部位的3D轮廓区域,根据所述3D轮廓区域从待识别影像序列的各个切面图像中分别提取出只包括所述目标部位的图像区域的待识别图像样本;
病灶分类模块,用于采用预设的病灶识别分类模型对从所述目标切面图像提取出的待识别图像样本进行识别,以生成目标疾病列表,并将目标疾病列表进行显示以供用户进行目标疾病的选取;
报告加载模块,用于当接收到对目标疾病列表中任一目标疾病的选取操作时,在报告界面展示出预设的与所述目标疾病对应的第一结构化报告模板;
病灶属性识别模块,采用预设的与所述目标疾病对应的单病灶识别模型对由待识别图像样本生成的三维数据进行识别,得到所述目标疾病的第一病灶属性信息;
报告生成模块,用于将所述第一病灶属性信息填充到所述第一结构化报告模板的对应位置。
9.一种计算机设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;
所述计算机程序被所述处理器执行时实现如权利要求1-7任一项所述方法的步骤。
CN202311054409.7A 2023-08-22 2023-08-22 一种医学影像结构化报告的生成方法、装置和计算机设备 Active CN116779093B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311054409.7A CN116779093B (zh) 2023-08-22 2023-08-22 一种医学影像结构化报告的生成方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311054409.7A CN116779093B (zh) 2023-08-22 2023-08-22 一种医学影像结构化报告的生成方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN116779093A CN116779093A (zh) 2023-09-19
CN116779093B true CN116779093B (zh) 2023-11-28

Family

ID=87989818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311054409.7A Active CN116779093B (zh) 2023-08-22 2023-08-22 一种医学影像结构化报告的生成方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN116779093B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117079080B (zh) * 2023-10-11 2024-01-30 青岛美迪康数字工程有限公司 冠脉cta智能分割模型的训练优化方法、装置和设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038862A (zh) * 2017-12-11 2018-05-15 深圳市图智能科技有限公司 一种交互式医学图像智能分割建模方法
CN109583440A (zh) * 2017-09-28 2019-04-05 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN111192356A (zh) * 2019-12-30 2020-05-22 上海联影智能医疗科技有限公司 感兴趣区域的显示方法、装置、设备和存储介质
CN113674279A (zh) * 2021-10-25 2021-11-19 青岛美迪康数字工程有限公司 基于深度学习的冠脉cta影像的处理方法及装置
CN114255329A (zh) * 2021-11-19 2022-03-29 苏州微创畅行机器人有限公司 Roi自动定位方法、装置、手术机器人系统、设备及介质
CN114530224A (zh) * 2022-01-18 2022-05-24 深圳市智影医疗科技有限公司 基于医学影像的诊断报告辅助生成方法及系统
CN114862885A (zh) * 2022-05-23 2022-08-05 张璐 肝脏mri影像缩域分割与三维病灶重建方法
CN115861347A (zh) * 2022-11-22 2023-03-28 深圳英美达医疗技术有限公司 病灶区域的提取方法、装置、电子设备及可读存储介质
CN115880326A (zh) * 2021-09-26 2023-03-31 西安大医集团股份有限公司 医用图像的轮廓获取方法、终端及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014123396A1 (en) * 2013-02-08 2014-08-14 Ewoosoft Co., Ltd. Image display to display internal structure with change of depth

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583440A (zh) * 2017-09-28 2019-04-05 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN108038862A (zh) * 2017-12-11 2018-05-15 深圳市图智能科技有限公司 一种交互式医学图像智能分割建模方法
CN111192356A (zh) * 2019-12-30 2020-05-22 上海联影智能医疗科技有限公司 感兴趣区域的显示方法、装置、设备和存储介质
CN115880326A (zh) * 2021-09-26 2023-03-31 西安大医集团股份有限公司 医用图像的轮廓获取方法、终端及存储介质
CN113674279A (zh) * 2021-10-25 2021-11-19 青岛美迪康数字工程有限公司 基于深度学习的冠脉cta影像的处理方法及装置
CN114255329A (zh) * 2021-11-19 2022-03-29 苏州微创畅行机器人有限公司 Roi自动定位方法、装置、手术机器人系统、设备及介质
CN114530224A (zh) * 2022-01-18 2022-05-24 深圳市智影医疗科技有限公司 基于医学影像的诊断报告辅助生成方法及系统
CN114862885A (zh) * 2022-05-23 2022-08-05 张璐 肝脏mri影像缩域分割与三维病灶重建方法
CN115861347A (zh) * 2022-11-22 2023-03-28 深圳英美达医疗技术有限公司 病灶区域的提取方法、装置、电子设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Automated identification of anatomical landmarks on 3D bone models reconstructed from CT scan images";K. Subburaj等;《Computerized Medical Imaging and Graphics》;33;第359-368页 *

Also Published As

Publication number Publication date
CN116779093A (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN109583440B (zh) 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN109741346B (zh) 感兴趣区域提取方法、装置、设备及存储介质
CN108510482B (zh) 一种基于阴道镜图像的宫颈癌检测装置
CN116779093B (zh) 一种医学影像结构化报告的生成方法、装置和计算机设备
CN111430014B (zh) 腺体医学影像的显示方法、交互方法及存储介质
CN110974306B (zh) 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统
US20170262584A1 (en) Method for automatically generating representations of imaging data and interactive visual imaging reports (ivir)
CN111340937A (zh) 一种脑肿瘤医学影像三维重建显示交互方法及系统
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
CN112767355A (zh) 一种甲状腺结节Tirads分级自动识别模型构建方法及装置
WO2014038428A1 (ja) 画像処理装置及び画像処理方法
CN111275722A (zh) 肺段、肝段分割方法及系统
CN113298773A (zh) 基于深度学习的心脏视图识别与左心室检测装置、系统
CN115713590A (zh) 一种基于ct的三维重建图像处理方法及系统
CN113743463A (zh) 一种基于影像数据和深度学习的肿瘤良恶性识别方法和系统
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
CN113222051A (zh) 基于小肠病灶特征的图像标注方法
WO2021261323A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
CN110910409B (zh) 一种灰度图像处理方法、装置和计算机可读存储介质
CN111062909A (zh) 乳腺肿块良恶性判断方法及设备
CN115661037A (zh) 一种胶囊内镜辅助检测方法、装置、系统、设备及介质
CN114764776A (zh) 影像标注方法及装置、电子设备
CN109509189B (zh) 一种基于多个子区域模板的腹部肌肉标注方法及标注装置
CN111612755A (zh) 肺部病灶分析方法、装置、电子设备和存储介质
CN117153343B (zh) 一种胎盘多尺度分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant