CN111325745A - 骨折区域分析方法和装置、电子设备及可读存储介质 - Google Patents

骨折区域分析方法和装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN111325745A
CN111325745A CN202010156843.6A CN202010156843A CN111325745A CN 111325745 A CN111325745 A CN 111325745A CN 202010156843 A CN202010156843 A CN 202010156843A CN 111325745 A CN111325745 A CN 111325745A
Authority
CN
China
Prior art keywords
bone
fracture
threshold
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010156843.6A
Other languages
English (en)
Other versions
CN111325745B (zh
Inventor
何福金
颜立峰
刘小青
俞益洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202010156843.6A priority Critical patent/CN111325745B/zh
Publication of CN111325745A publication Critical patent/CN111325745A/zh
Application granted granted Critical
Publication of CN111325745B publication Critical patent/CN111325745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请实施例提供了一种骨折区域分析方法和装置、电子设备及计算机可读存储介质，解决了现有骨折区域分析方式的准确率低和效率低的问题。该骨折区域分析方法包括：将骨骼影像输入骨骼部位识别模型以获得骨骼部位识别结果，其中，骨骼部位识别模型为基于深度学习的训练过程建立的分类神经网络模型；基于骨骼部位识别结果确定对应的骨骼部位阈值；将骨骼影像输入骨折区域检测模型以获得多个骨折预测区域以及与多个骨折预测区域分别对应的多个置信度值，其中，骨折区域检测模型为基于深度学习的训练过程建立的神经网络模型；基于骨骼部位阈值，将置信度值大于骨骼部位阈值的骨折预测区域筛选出来；以及将筛选出来的骨折预测区域进行可视化输出。

Description

骨折区域分析方法和装置、电子设备及可读存储介质
技术领域
本申请涉及影像分析技术领域，具体涉及一种骨折区域分析方法、装置、电子设备及计算机可读存储介质。
背景技术
传统的医学影像处理通常依赖经验丰富的医生以肉眼进行判断，这种方式存在以下几个主要问题：第一，对医生的专业知识要求比较高，并且医生的判断往往带有一定的主观性，对于一些复杂的病例，不同医生会给出不一样的结果，这时候通常需要几个经验丰富的医生进行联合判断才能得出比较可靠的结论。第二，耗时长，效率非常的低下。例如，对于一些3D的CT(电子计算机断层扫描)图像，医生通常需要半个小时，甚至更多的时间才能完成对一个病人的评估。第三，人容易疲劳，长时间的工作容易产生漏诊，引起不必要医疗纠纷。这些因素是限制医生工作的效率的主要原因，同时也是制约现代医学发展的瓶颈之一。
近年来，在强大算力的支持下，深度学习在图像领域快速发展，特别是在自然图像的检测、分割、去燥等任务中表现出了卓越的性能。在这些成功案例的影响下，将深度学习应用到医学影像学的临床与科研实践中，利用人工智能的计算机辅助诊断技术来对医学影像图像进行前期的检测和识别成为了研究的重点。一方面，它可以帮助医生更快的从大量图像中找到需要关注的病灶区域，从而得到更为直接、准确和清晰的病灶信息。另一方面，这种方式大大地减少了医生阅片的时间，减轻了医生的工作负担，有效的提高了医生工作的效率。
临床上最为常见的骨折诊断方式是基于X光影像的骨折诊断。相对于CT，X光也是一种更为廉价的骨折诊断方式。临床上对于X光影像中骨折位置判断的准确性直接关系着后续治疗方案的确定，快速并且准确地找出X光骨折影像中的骨折区域是近几年基于X光骨折检测研究的重点。目前对于X光骨折区域的检测方法，按照特征提取方式的不同可以分为传统方法和基于深度学习的方法，传统方式主要基于一些手动设计的特征描述子来提取图像的特征，随后接上一个支持向量机或者朴素贝叶斯分类器实现分类。由于手动设计的特征描述子通常具有一定的局限性，不能很好的提取所有的图像特征，最终的性能也相对差一些。近年来，基于卷积神经网络的深度学习方法由于强大的特征提取能力，从而表现出了相对传统方法更为卓越的性能，得到研究者更多的关注。
通常，X光骨折影像包括手、腕、足、踝、肘、肩、髋、膝等多个部位，不同部位的骨折在X光上的表现是不一样的，并且难易程度也是不同的，比如：手部和膝部的骨折相对于髋部来说，识别的难度要高很多，医生需要花的时间也更长。这使得多个部位的骨折在同时优化时往往会受到一定程度的制约，限制了模型的学习能力，所以目前的方法通常只对单个部位的骨折影像进行检测，如：手部或者腕部。但这种单部位的检测方式对于临床使用来说意义不大，普适性偏差。
发明内容
有鉴于此，本申请实施例提供了一种骨折区域分析方法和装置，解决了现有骨折区域分析方式的准确率低和效率低的问题。
根据本申请的一个方面，本申请一实施例提供的一种骨折区域分析方法包括：将骨骼影像输入骨骼部位识别模型以获得骨骼部位识别结果，其中，所述骨骼部位识别模型为基于深度学习的训练过程建立的分类神经网络模型；基于所述骨骼部位识别结果确定对应的骨骼部位阈值；将所述骨骼影像输入骨折区域检测模型以获得多个骨折预测区域以及与所述多个骨折预测区域分别对应的多个置信度值，其中，所述骨折区域检测模型为基于深度学习的训练过程建立的神经网络模型；基于所述骨骼部位阈值，将所述置信度值大于所述骨骼部位阈值的所述骨折预测区域筛选出来；以及将筛选出来的所述骨折预测区域进行可视化输出。
在本申请一实施例中，所述骨折区域检测模型的训练过程所基于的训练集属于多个骨骼部位的多个骨骼影像样本，其中，不同骨骼部位的所述骨骼影像样本在训练过程中采用的分类损失权重不同。
在本申请一实施例中，所述基于所述骨骼部位识别结果确定对应的骨骼部位阈值包括：基于所述骨骼部位识别结果在阈值数据库中确定对应的所述骨骼部位阈值，其中，所述阈值数据库通过如下步骤建立：将属于多个骨骼部位的多个骨骼影像样本输入所述骨折区域检测模型以统计出不同阈值下的召回率和精确率；基于所统计出的所述召回率和精确率，将满足预设条件的阈值作为各骨骼部位的初始化阈值；以及将属于单个骨骼部位的骨骼影像样本输入所述骨折区域检测模型，并基于所述初始化阈值，利用动态阈值搜索算法调整该单个骨骼部位的骨骼部位阈值，以使得统计出的召回率大于等于初始化的召回率且统计出的精确率大于等于预设的精确率。
在本申请一实施例中，在所述将骨骼影像输入骨骼部位识别模型以获得骨骼部位识别结果之前，所述方法进一步包括：获取骨骼影像原始数据；对所述骨骼影像原始数据记信筛选和脱敏处理；获得所述骨骼影像的骨折区域标注数据；以及将带有所述骨折区域标注数据的所述骨骼影像原始数据通过数据转化过程转化为统一格式。
根据本申请的另一个方面，本申请一实施例提供的一种骨折区域分析装置，包括：骨骼部位识别模型，配置为基于骨骼影像获得骨骼部位识别结果，其中，所述骨骼部位识别模型为基于深度学习的训练过程建立的分类神经网络模型；部位阈值选择模块，配置为基于所述骨骼部位识别结果确定对应的骨骼部位阈值；骨折区域检测模型，配置为基于所述骨骼影像获得多个骨折预测区域以及与所述多个骨折预测区域分别对应的多个置信度值，其中，所述骨折区域检测模型为基于深度学习的训练过程建立的神经网络模型；后处理模块，配置为基于所述骨骼部位阈值，将所述置信度值大于所述骨骼部位阈值的所述骨折预测区域筛选出来；以及骨折区域输出模块，配置为将筛选出来的所述骨折预测区域进行可视化输出。
在本申请一实施例中，所述骨折区域检测模型的训练过程所基于的训练集属于多个骨骼部位的多个骨骼影像样本，其中，不同骨骼部位的所述骨骼影像样本在训练过程中采用的分类损失权重不同。
在本申请一实施例中，所述部位阈值选择模块进一步配置为：基于所述骨骼部位识别结果在阈值数据库中确定对应的所述骨骼部位阈值；其中，所述装置进一步包括：阈值数据库建立模块，包括：第一统计单元，将属于多个骨骼部位的多个骨骼影像样本输入所述骨折区域检测模型以统计出不同阈值下的召回率和精确率；初始化阈值获取单元，配置为基于所统计出的所述召回率和精确率，将满足预设条件的阈值作为各骨骼部位的初始化阈值；以及动态阈值搜索单元，配置为将属于单个骨骼部位的骨骼影像样本输入所述骨折区域检测模型，并基于所述初始化阈值，利用动态阈值搜索算法调整该单个骨骼部位的骨骼部位阈值，以使得统计出的召回率大于等于初始化的召回率且统计出的精确率大于等于预设的精确率。
在本申请一实施例中，所述装置进一步包括：数据预处理模块，配置为在所述将骨骼影像输入骨骼部位识别模型以获得骨骼部位识别结果之前，对骨骼影像原始数据进行预处理；其中，所述数据预处理模块包括：数据采集单元，配置为获取骨骼影像原始数据；数据处理单元，配置为对所述骨骼影像原始数据记信筛选和脱敏处理；标注数据获取单元，配置为获得所述骨骼影像的骨折区域标注数据；以及数据转换单元，配置为将带有所述骨折区域标注数据的所述骨骼影像原始数据通过数据转化过程转化为统一格式。
根据本申请的另一方面，本申请一实施例提供了一种电子设备，包括：处理器；存储器；以及存储在存储器中的计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一项所述的骨折区域分析方法。
根据本申请的另一方面，本申请一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如前任一所述的骨折区域分析方法。
根据本申请的另一方面，本申请一实施例提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得处理器执行如上述任一所述的骨折区域分析方法。
本申请实施例提供的一种骨折区域分析方法、装置、电子设备及计算机可读存储介质，利用深度学习技术，可准确地对骨骼影像中的骨折区域进行检测和定位，减少医生的阅片时间，有效的提升医生的工作效率。首先对骨骼影像拍摄的骨骼部位进行识别，随后依据分类神经网络的结果选择不同骨骼部位的骨骼部位阈值，最后使用骨折区域检测模型与选出的骨骼部位阈值结合，输出最终的骨折预测区域检出效果，从而使得整套流程可以方便快捷的对多骨骼部位的骨骼图像进行准确的骨折区域检测。
附图说明
图1所示为本申请一实施例提供的一种骨折区域分析方法的流程示意图。
图2所示为本申请一实施例提供的一种骨折区域分析方法中阈值数据库的建立过程的流程示意图。
图3所示为本申请一实施例提供的一种骨折区域分析方法中数据预处理过程的流程示意图。
图4所示为本申请一实施例提供的骨折区域分析装置的结构示意图。
图5所示为本申请另一实施例提供的骨折区域分析装置的结构示意图。
图6所示为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
骨骼影像分析目前虽有许多方法，但是这些方法通常只能对某一个特定骨骼部位的骨骼影像进行骨折检测，而不能使用一个模型同时对多个不同部位骨骼影像进行骨折区域检出。这对于临床使用来说是非常不方便的，并且多模型的使用将耗费大量的资源。为了实现一个单模型对多个部位的骨骼影像进行骨折检测，本发明实施例基于深度学习提出了一种基于骨骼影像的多部位多阈值骨折自动检测的方法，考虑到临床上不同部位的骨折识别难度是不一样的，本发明在测试时为不同骨骼部位选择不同骨骼部位的骨骼部位阈值，在保证一定精确率的前提下尽可能的提高模型的召回率。从而准确地对多骨骼部位的骨骼影像进行骨折区域检测。
图1所示为本申请一实施例提供的一种骨折区域分析方法的流程示意图。如图1所示，该骨折区域分析方法包括如下步骤：
步骤101：将骨骼影像输入骨骼部位识别模型以获得骨骼部位识别结果，其中，骨骼部位识别模型为基于深度学习的训练过程建立的分类神经网络模型。
骨骼部位识别模型的功能在于对输入的骨骼影像进行骨骼部位识别，判断其具体属于身体的什么部位，骨骼部位识别模型可使用一个小型的分类网络来完成，在本申请一实施例中，可以使用ResNet 50作为主干网络，对输入的骨骼影像进行部位分类。
步骤102：基于骨骼部位识别结果确定对应的骨骼部位阈值。
这个步骤主要为各个骨骼部位选择对应的骨骼部位阈值。在本申请一实施例中，可依据骨骼部位识别模型的输出，从预设的阈值数据库中，为当前骨骼部位选择最为恰当的骨骼部位阈值。关于阈值数据库的建立将在后文中具体描述。
步骤103：将骨骼影像输入骨折区域检测模型以获得多个骨折预测区域以及与多个骨折预测区域分别对应的多个置信度值，其中，骨折区域检测模型为基于深度学习的训练过程建立的神经网络模型。
骨折区域检测模型的目的在于对输入的骨骼影像中可疑的骨折区域进行进行检出。在本申请一实施例中，骨折区域检测模型可使用一个二阶段的检测网络来完成，优选的，可以使用ResNeXt 101作为主干网络来完成上述功能。考虑到实际一些骨骼影像(例如X光影像)中骨折区域的尺度变化是非常剧烈的，同时不同骨骼部位的骨折在骨骼影像上的表现形式也是多样的，可使用FPN(Feature Pyramid Networks，特征金字塔网络)模块来提取不同尺度下的特征，通过ResNeXt 101与FPN的结合，骨折区域检测模型可以提取更具有判别能力的特征，有助于提升骨折区域检测模型对于各个尺度病灶的检测。
在本申请一实施例中，考虑到临床上不同部位的识别难易程度是不一样的，可依据临床经验为不同部位设计不一样的权重损失，以此更好的优化模型。骨折区域检测模型的训练过程所基于的训练集属于多个骨骼部位的多个骨骼影像样本，其中，不同骨骼部位的骨骼影像样本在训练过程中采用的分类损失权重不同。不同部位的识别难度是不一样的，根据实际的经验发现，有些部位(比如手)很容易出现假阳的检测，而有些部位(比如髋)出现假阳的概率是比较小的，所以通过为不同部位设置不一样的损失权重来引导模型对一些比较难检测的部位进行有效的学习，从而提升最后整体的效果。例如，可以将手、腕和膝这三个识别难度高，并且容易出现假阳的部位分类损失权重设置为1.5，其余部位的分类权重设置为1，而对于目标框回归部分的损失，则不需要做过多的处理。由此基于单模型实现了多个骨骼部位的骨折区域自动检测，大大减少了医生阅片时间，提高了医生工作的效率。并且一定程度降低了医生主观因素带来的影响，减少了医生疲劳的阅片时间，有助于提高了骨折区域分析的准确性与可靠性。
步骤104：基于骨骼部位阈值，将置信度值大于骨骼部位阈值的骨折预测区域筛选出来。
在于对骨折区域检测模型输出的多个骨折预测区域进行筛选。具体的，骨折检测模型的输出主要包括骨折预测区域及相应的置信度值，这个置信度值就是骨折区域检测模型认为其对应的骨折预测区域中存在骨折的概率，对于置信度比较低的骨折预测区域，通常是假阳的概率比较大。而对于置信度比较高的骨折预测区域，则是骨折的概率比较大。这里的筛选步骤就是将一些置信度小于骨骼部位阈值的骨折预测区域进行抑制，只保留大于骨骼部位阈值的骨折预测区域，这一步可以一定程度上抑制假阳检测的出现，从而提高最终结果的可靠性。
步骤105：将筛选出来的骨折预测区域进行可视化输出。
为了更好的可视化检测结果，减少医生阅片的时间。具体的，依据步骤104的输出将对应的骨折预测区域显示在骨骼影像上，方便医生更好的查看骨折区域。
在本申请一实施例中，对于整个骨折检测系统的优化，骨骼部位识别模型和骨折区域检测模型的优化可以是分开的。具体的，可使用交叉熵损失函数对骨骼部位识别模型进行优化，使用交叉熵和平滑的一范数(smooth L1)损失函数对骨折区域检测模型进行优化，两者在训练时没有信息上的交互。需要说明的是，本发明实施例在训练骨骼部位识别模型和骨折区域检测模型过程中均使用随机镜像、水平翻转以及改变对比度和亮度几个常见的数据增扩方式来增加样本的多样性，从而增强模型的泛化性能。
由此可见，本申请实施例提供的一种骨折区域分析方法，利用深度学习技术，可准确地对骨骼影像中的骨折区域进行检测和定位，减少医生的阅片时间，有效的提升医生的工作效率。首先对骨骼影像拍摄的骨骼部位进行识别，随后依据分类神经网络的结果选择不同骨骼部位的骨骼部位阈值，最后使用骨折区域检测模型与选出的骨骼部位阈值结合，输出最终的骨折预测区域检出效果，从而使得整套流程可以方便快捷的对多骨骼部位的骨骼图像进行准确的骨折区域检测。
图2所示为本申请一实施例提供的一种骨折区域分析方法中阈值数据库的建立过程的流程示意图。如图2所示，该阈值数据库可通过如下步骤建立：
步骤201：将属于多个骨骼部位的多个骨骼影像样本输入骨折区域检测模型以统计出不同阈值下的召回率和精确率。召回率＝TP/(TP+FN)，也就是检测出正确的目标框数量/总的标注框数量。精确率＝TP/(TP+FP)，也就是检测出正确的目标框数量/总的检测框数量。
步骤202：基于所统计出的召回率和精确率，将满足预设条件的阈值作为各骨骼部位的初始化阈值。在本申请一实施例中，可将满足一定的召回率和精确率的阈值，比如：满足召回率大于80％的前提下，精确率最高的阈值作为初始化阈值。
步骤203：将属于单个骨骼部位的骨骼影像样本输入骨折区域检测模型，并基于初始化阈值，利用动态阈值搜索算法调整该单个骨骼部位的骨骼部位阈值，以使得统计出的召回率大于等于初始化的召回率且统计出的精确率大于等于预设的精确率。
通过利用动态搜索算法自动的为各个骨骼部位选择最优的骨骼部位阈值，有助于提升模型的召回率和精确率，减少模型漏诊和误诊的概率，最终有助于提升最终模型的性能。
在本申请一实施例中，可以使用贪心算法来优化选取最优的阈值。最终以优化后各骨骼部位的阈值作为其最优的阈值，从而建立包括各骨骼部位的骨骼部位阈值的阈值数据库。
在本申请一实施例中，如图3所示，在将骨骼影像输入骨骼部位识别模型以获得骨骼部位识别结果之前，该骨折区域分析方法进一步包括如下数据预处理步骤：
步骤301：获取骨骼影像原始数据。
在本申请一实施例中，可从各大医院中收集符合DICOM(Digital Imaging andCommunications in Medicine)规范的X光影像骨折数据作为骨骼影像原始数据。
步骤302：对骨骼影像原始数据记信筛选和脱敏处理。
具体而言，可将一些不合格的数据筛除，同时为了保护用户的隐私，需要对每一个DICOM数据源进行必要的脱敏工作，做到关键信息的不泄漏。
步骤303：获得骨骼影像的骨折区域标注数据。
这是预处理过程中非常关键的一个步骤，一般需要两个以上经验丰富的专家同时对一个X光影像骨折数据进行骨折轮廓标注，随后对标注结果一致的标注结果直接录入数据库，对于标注不一致的影像(两个专家存在不同的意见)，则需要请第三方更为权威的专家进行审核，随后将所有审核完成无异议的标注结果录入数据库，以备后续使用。
步骤304：将带有骨折区域标注数据的骨骼影像原始数据通过数据转化过程转化为统一格式。
对符合要求并且有标注的DICOM数据进行前期的预处理工作，保证后续模型可以更方便的读取使用。主要过程包括窗宽和窗位的的设置以及DICOM格式的转换，其中窗宽和窗位的设置可以直接使用DICOM里面预设的默认值也可以使用一些的自适应算法(如使用大量的经验结果来聚类)去寻找最合适的窗宽和窗位。格式的转化主要是依据窗宽和窗位将DICOM格式的数据转化为更容易使用的图像格式(例如：jpg，png等)，同时将图像的标注信息也整理成统一的格式，方便后续的使用。
图4所示为本申请一实施例提供的骨折区域分析装置的结构示意图。如图4所示，该骨折区域分析装置40包括：
骨骼部位识别模型401，配置为基于骨骼影像获得骨骼部位识别结果，其中，骨骼部位识别模型为基于深度学习的训练过程建立的分类神经网络模型；
部位阈值选择模块402，配置为基于骨骼部位识别结果确定对应的骨骼部位阈值；
骨折区域检测模型403，配置为基于骨骼影像获得多个骨折预测区域以及与多个骨折预测区域分别对应的多个置信度值，其中，骨折区域检测模型为基于深度学习的训练过程建立的神经网络模型；
后处理模块404，配置为基于骨骼部位阈值，将置信度值大于骨骼部位阈值的骨折预测区域筛选出来；以及
骨折区域输出模块405，配置为将筛选出来的骨折预测区域进行可视化输出。
在本申请一实施例中，骨折区域检测模型的训练过程所基于的训练集属于多个骨骼部位的多个骨骼影像样本，其中，不同骨骼部位的骨骼影像样本在训练过程中采用的分类损失权重不同。
在本申请一实施例中，部位阈值选择模块402进一步配置为：基于骨骼部位识别结果在阈值数据库中确定对应的骨骼部位阈值；
其中，如图5所示，装置40进一步包括：
阈值数据库建立模块406，包括：
第一统计单元4061，将属于多个骨骼部位的多个骨骼影像样本输入骨折区域检测模型以统计出不同阈值下的召回率和精确率；
初始化阈值获取单元4062，配置为基于所统计出的召回率和精确率，将满足预设条件的阈值作为各骨骼部位的初始化阈值；以及
动态阈值搜索单元4063，配置为将属于单个骨骼部位的骨骼影像样本输入骨折区域检测模型，并基于初始化阈值，利用动态阈值搜索算法调整该单个骨骼部位的骨骼部位阈值，以使得统计出的召回率大于等于初始化的召回率且统计出的精确率大于等于预设的精确率。
在本申请一实施例中，如图5所示，装置40进一步包括：
数据预处理模块407，配置为在将骨骼影像输入骨骼部位识别模型以获得骨骼部位识别结果之前，对骨骼影像原始数据进行预处理；
其中，数据预处理模块407包括：
数据采集单元4071，配置为获取骨骼影像原始数据；
数据处理单元4072，配置为对骨骼影像原始数据记信筛选和脱敏处理；
标注数据获取单元4073，配置为获得骨骼影像的骨折区域标注数据；以及
数据转换单元4074，配置为将带有骨折区域标注数据的骨骼影像原始数据通过数据转化过程转化为统一格式。
本申请实施例提供的一种骨折区域分析装置，利用深度学习技术，可准确地对骨骼影像中的骨折区域进行检测和定位，减少医生的阅片时间，有效的提升医生的工作效率。首先对骨骼影像拍摄的骨骼部位进行识别，随后依据分类神经网络的结果选择不同骨骼部位的骨骼部位阈值，最后使用骨折区域检测模型与选出的骨骼部位阈值结合，输出最终的骨折预测区域检出效果，从而使得整套流程可以方便快捷的对多骨骼部位的骨骼图像进行准确的骨折区域检测。
上述骨折区域分析装置40中的各个模块的具体功能和操作已经在上面参考图1到图3描述的骨折区域分析方法中进行了详细介绍。因此，这里将省略其重复描述。
需要说明的是，根据本申请实施例的骨折区域分析装置40可以作为一个软件模块和/或硬件模块而集成到电子设备60中，换言之，该电子设备60可以包括该骨折区域分析装置40。例如，该骨折区域分析装置40可以是该电子设备60的操作系统中的一个软件模块，或者可以是针对于其所开发的一个应用程序；当然，该骨折区域分析装置40同样可以是该电子设备60的众多硬件模块之一。
在本申请另一实施例中，该骨折区域分析装置40与该电子设备60也可以是分立的设备(例如，服务器)，并且该骨折区域分析装置40可以通过有线和/或无线网络连接到该电子设备60，并且按照约定的数据格式来传输交互信息。
图6所示为本申请一实施例提供的电子设备的结构示意图。如图6所示，该电子设备60包括：一个或多个处理器601和存储器602；以及存储在存储器602中的计算机程序指令，计算机程序指令在被处理器601运行时使得处理器601执行如上述任一实施例的骨折区域分析方法。
处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器602可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器601可以运行程序指令，以实现上文的本申请的各个实施例的骨折区域分析方法中的步骤以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如光线强度、补偿光强度、滤光片的位置等信息。
在一个示例中，电子设备60还可以包括：输入装置603和输出装置604，这些组件通过总线系统和/或其他形式的连接机构(图5中未示出)互连。
例如，在该电子设备是如工业生产线上的机器人时，该输入装置603可以是摄像头，用于捕捉待加工零件的位置。在该电子设备是单机设备时，该输入装置603可以是通信网络连接器，用于从外部的可移动设备接收所采集的输入信号。此外，该输入装置603还可以包括例如键盘、鼠标、麦克风等等。
该输出装置604可以向外部输出各种信息，例如可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图6中仅示出了该电子设备60中与本申请有关的组件中的一些，省略了诸如总线、输入装置/输出接口等组件。除此之外，根据具体应用情况，电子设备60还可以包括任何其他适当的组件。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的骨折区域分析方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性骨折区域分析方法”部分中描述的根据本申请各种实施例的骨折区域分析方法中的步骤。
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器((RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种骨折区域分析方法，其特征在于，包括：
将骨骼影像输入骨骼部位识别模型以获得骨骼部位识别结果，其中，所述骨骼部位识别模型为基于深度学习的训练过程建立的分类神经网络模型；
基于所述骨骼部位识别结果确定对应的骨骼部位阈值；
将所述骨骼影像输入骨折区域检测模型以获得多个骨折预测区域以及与所述多个骨折预测区域分别对应的多个置信度值，其中，所述骨折区域检测模型为基于深度学习的训练过程建立的神经网络模型；
基于所述骨骼部位阈值，将所述置信度值大于所述骨骼部位阈值的所述骨折预测区域筛选出来；以及
将筛选出来的所述骨折预测区域进行可视化输出。
2.根据权利要求1所述的方法，其特征在于，所述骨折区域检测模型的训练过程所基于的训练集属于多个骨骼部位的多个骨骼影像样本，其中，不同骨骼部位的所述骨骼影像样本在训练过程中采用的分类损失权重不同。
3.根据权利要求1所述的方法，其特征在于，所述基于所述骨骼部位识别结果确定对应的骨骼部位阈值包括：
基于所述骨骼部位识别结果在阈值数据库中确定对应的所述骨骼部位阈值，其中，所述阈值数据库通过如下步骤建立：
将属于多个骨骼部位的多个骨骼影像样本输入所述骨折区域检测模型以统计出不同阈值下的召回率和精确率；
基于所统计出的所述召回率和精确率，将满足预设条件的阈值作为各骨骼部位的初始化阈值；以及
将属于单个骨骼部位的骨骼影像样本输入所述骨折区域检测模型，并基于所述初始化阈值，利用动态阈值搜索算法调整该单个骨骼部位的骨骼部位阈值，以使得统计出的召回率大于等于初始化的召回率且统计出的精确率大于等于预设的精确率。
4.根据权利要求1所述的方法，其特征在于，在所述将骨骼影像输入骨骼部位识别模型以获得骨骼部位识别结果之前，进一步包括：
获取骨骼影像原始数据；
对所述骨骼影像原始数据记信筛选和脱敏处理；
获得所述骨骼影像的骨折区域标注数据；以及
将带有所述骨折区域标注数据的所述骨骼影像原始数据通过数据转化过程转化为统一格式。
5.一种骨折区域分析装置，其特征在于，包括：
骨骼部位识别模型，配置为基于骨骼影像获得骨骼部位识别结果，其中，所述骨骼部位识别模型为基于深度学习的训练过程建立的分类神经网络模型；
部位阈值选择模块，配置为基于所述骨骼部位识别结果确定对应的骨骼部位阈值；
骨折区域检测模型，配置为基于所述骨骼影像获得多个骨折预测区域以及与所述多个骨折预测区域分别对应的多个置信度值，其中，所述骨折区域检测模型为基于深度学习的训练过程建立的神经网络模型；
后处理模块，配置为基于所述骨骼部位阈值，将所述置信度值大于所述骨骼部位阈值的所述骨折预测区域筛选出来；以及
骨折区域输出模块，配置为将筛选出来的所述骨折预测区域进行可视化输出。
6.根据权利要求1所述的装置，其特征在于，所述骨折区域检测模型的训练过程所基于的训练集属于多个骨骼部位的多个骨骼影像样本，其中，不同骨骼部位的所述骨骼影像样本在训练过程中采用的分类损失权重不同。
7.根据权利要求1所述的装置，其特征在于，所述部位阈值选择模块进一步配置为：基于所述骨骼部位识别结果在阈值数据库中确定对应的所述骨骼部位阈值；
其中，所述装置进一步包括：
阈值数据库建立模块，包括：
第一统计单元，将属于多个骨骼部位的多个骨骼影像样本输入所述骨折区域检测模型以统计出不同阈值下的召回率和精确率；
初始化阈值获取单元，配置为基于所统计出的所述召回率和精确率，将满足预设条件的阈值作为各骨骼部位的初始化阈值；以及
动态阈值搜索单元，配置为将属于单个骨骼部位的骨骼影像样本输入所述骨折区域检测模型，并基于所述初始化阈值，利用动态阈值搜索算法调整该单个骨骼部位的骨骼部位阈值，以使得统计出的召回率大于等于初始化的召回率且统计出的精确率大于等于预设的精确率。
8.根据权利要求1所述的装置，其特征在于，进一步包括：
数据预处理模块，配置为在所述将骨骼影像输入骨骼部位识别模型以获得骨骼部位识别结果之前，对骨骼影像原始数据进行预处理；
其中，所述数据预处理模块包括：
数据采集单元，配置为获取骨骼影像原始数据；
数据处理单元，配置为对所述骨骼影像原始数据记信筛选和脱敏处理；
标注数据获取单元，配置为获得所述骨骼影像的骨折区域标注数据；以及
数据转换单元，配置为将带有所述骨折区域标注数据的所述骨骼影像原始数据通过数据转化过程转化为统一格式。
9.一种电子设备，包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1至4中任一所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1至4中任一所述的方法。
CN202010156843.6A 2020-03-09 2020-03-09 骨折区域分析方法和装置、电子设备及可读存储介质 Active CN111325745B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010156843.6A CN111325745B (zh) 2020-03-09 2020-03-09 骨折区域分析方法和装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010156843.6A CN111325745B (zh) 2020-03-09 2020-03-09 骨折区域分析方法和装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111325745A true CN111325745A (zh) 2020-06-23
CN111325745B CN111325745B (zh) 2023-08-25

Family

ID=71173199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010156843.6A Active CN111325745B (zh) 2020-03-09 2020-03-09 骨折区域分析方法和装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111325745B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967539A (zh) * 2020-09-29 2020-11-20 北京大学口腔医学院 基于cbct数据库的颌面部骨折的识别方法、装置及终端设备
CN112598661A (zh) * 2020-12-29 2021-04-02 河北工业大学 一种基于机器学习的踝骨折及韧带损伤诊断方法
CN112862778A (zh) * 2021-02-04 2021-05-28 上海联影智能医疗科技有限公司 扫描影像检测方法、电子设备和计算机可读介质
CN113610809A (zh) * 2021-08-09 2021-11-05 北京百度网讯科技有限公司 骨折检测方法、装置、电子设备以及存储介质
CN113674261A (zh) * 2021-08-26 2021-11-19 上海脊影慧智能科技有限公司 骨骼检测方法、系统、电子设备和存储介质
WO2022017238A1 (en) * 2020-07-20 2022-01-27 International Business Machines Corporation Automatic detection of vertebral dislocations
CN115731212A (zh) * 2022-11-29 2023-03-03 中国人民解放军总医院第四医学中心 一种骨科影像的辅助检测方法及系统
CN116091469A (zh) * 2023-01-31 2023-05-09 北京医准智能科技有限公司 骨折检测方法、装置、电子设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102871681A (zh) * 2011-07-15 2013-01-16 西门子公司 拍摄和分配多创伤患者的全身ct数据的方法和ct系统
CN108171714A (zh) * 2017-11-13 2018-06-15 合肥阿巴赛信息科技有限公司 一种基于成对比较的骨折区域识别方法和系统
CN108305248A (zh) * 2018-01-17 2018-07-20 慧影医疗科技（北京）有限公司 一种骨折识别模型的构建方法及应用
CN109685763A (zh) * 2018-11-12 2019-04-26 浙江德尔达医疗科技有限公司 三维ct多骨块自动分割方法、装置、计算机设备及存储介质
CN110310723A (zh) * 2018-03-20 2019-10-08 青岛海信医疗设备股份有限公司 骨骼图像处理方法、电子设备及存储介质
CN110378876A (zh) * 2019-06-18 2019-10-25 平安科技（深圳）有限公司 基于深度学习的影像识别方法、装置、设备及存储介质
CN110428891A (zh) * 2019-07-31 2019-11-08 腾讯科技（深圳）有限公司 一种就诊意图的处理方法、装置及设备
CN110755073A (zh) * 2019-10-09 2020-02-07 华中科技大学 基于阻抗谱信号的智能骨骼及关节信息处理系统及方法
US20200058123A1 (en) * 2018-08-19 2020-02-20 Chang Gung Memorial Hospital, Linkou Method and system of analyzing medical images

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102871681A (zh) * 2011-07-15 2013-01-16 西门子公司 拍摄和分配多创伤患者的全身ct数据的方法和ct系统
CN108171714A (zh) * 2017-11-13 2018-06-15 合肥阿巴赛信息科技有限公司 一种基于成对比较的骨折区域识别方法和系统
CN108305248A (zh) * 2018-01-17 2018-07-20 慧影医疗科技（北京）有限公司 一种骨折识别模型的构建方法及应用
CN110310723A (zh) * 2018-03-20 2019-10-08 青岛海信医疗设备股份有限公司 骨骼图像处理方法、电子设备及存储介质
US20200058123A1 (en) * 2018-08-19 2020-02-20 Chang Gung Memorial Hospital, Linkou Method and system of analyzing medical images
CN109685763A (zh) * 2018-11-12 2019-04-26 浙江德尔达医疗科技有限公司 三维ct多骨块自动分割方法、装置、计算机设备及存储介质
CN110378876A (zh) * 2019-06-18 2019-10-25 平安科技（深圳）有限公司 基于深度学习的影像识别方法、装置、设备及存储介质
CN110428891A (zh) * 2019-07-31 2019-11-08 腾讯科技（深圳）有限公司 一种就诊意图的处理方法、装置及设备
CN110755073A (zh) * 2019-10-09 2020-02-07 华中科技大学 基于阻抗谱信号的智能骨骼及关节信息处理系统及方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022017238A1 (en) * 2020-07-20 2022-01-27 International Business Machines Corporation Automatic detection of vertebral dislocations
CN111967539A (zh) * 2020-09-29 2020-11-20 北京大学口腔医学院 基于cbct数据库的颌面部骨折的识别方法、装置及终端设备
CN112598661A (zh) * 2020-12-29 2021-04-02 河北工业大学 一种基于机器学习的踝骨折及韧带损伤诊断方法
CN112598661B (zh) * 2020-12-29 2022-07-22 河北工业大学 一种基于机器学习的踝骨折及韧带损伤诊断方法
CN112862778A (zh) * 2021-02-04 2021-05-28 上海联影智能医疗科技有限公司 扫描影像检测方法、电子设备和计算机可读介质
CN113610809A (zh) * 2021-08-09 2021-11-05 北京百度网讯科技有限公司 骨折检测方法、装置、电子设备以及存储介质
CN113610809B (zh) * 2021-08-09 2024-04-05 北京百度网讯科技有限公司 骨折检测方法、装置、电子设备以及存储介质
CN113674261A (zh) * 2021-08-26 2021-11-19 上海脊影慧智能科技有限公司 骨骼检测方法、系统、电子设备和存储介质
CN113674261B (zh) * 2021-08-26 2023-05-09 上海脊影慧智能科技有限公司 骨骼检测方法、系统、电子设备和存储介质
CN115731212A (zh) * 2022-11-29 2023-03-03 中国人民解放军总医院第四医学中心 一种骨科影像的辅助检测方法及系统
CN115731212B (zh) * 2022-11-29 2023-08-18 中国人民解放军总医院第四医学中心 一种骨科影像的辅助检测方法及系统
CN116091469A (zh) * 2023-01-31 2023-05-09 北京医准智能科技有限公司 骨折检测方法、装置、电子设备及介质
CN116091469B (zh) * 2023-01-31 2023-11-21 浙江医准智能科技有限公司 骨折检测方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN111325745B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN111325745B (zh) 骨折区域分析方法和装置、电子设备及可读存储介质
CN107767376B (zh) 基于深度学习的x线片骨龄预测方法及系统
Lin et al. AANet: Adaptive attention network for COVID-19 detection from chest X-ray images
CN109544518B (zh) 一种应用于骨骼成熟度评估的方法及其系统
CN110941990A (zh) 基于骨骼关键点进行人体动作评估的方法和装置
CN109919928A (zh) 医学影像的检测方法、装置和存储介质
Hariri et al. Deep neural networks for COVID-19 detection and diagnosis using images and acoustic-based techniques: a recent review
JP2014029644A (ja) 類似症例検索装置および類似症例検索方法
CN111008957A (zh) 医疗信息处理方法和装置
CN112699868A (zh) 一种基于深度卷积神经网络的图像识别方法、设备
US11721023B1 (en) Distinguishing a disease state from a non-disease state in an image
Lin et al. Deep dual attention network for precise diagnosis of COVID-19 from chest CT images
CN111524093A (zh) 一种异常舌象的智能筛查方法及其系统
Jia et al. An attention‐based cascade R‐CNN model for sternum fracture detection in X‐ray images
Wang et al. A ResNet‐based approach for accurate radiographic diagnosis of knee osteoarthritis
CN113707323B (zh) 基于机器学习的疾病预测方法、装置、设备及介质
Wang et al. Semantic-powered explainable model-free few-shot learning scheme of diagnosing COVID-19 on chest x-ray
Elhanashi et al. Classification and Localization of Multi-type Abnormalities on Chest X-rays Images
Shao et al. Research on automatic identification system of tobacco diseases
Zhang et al. A computer aided diagnosis system in mammography using artificial neural networks
CN113397485A (zh) 一种基于深度学习的脊柱侧弯筛查方法
Shao et al. A two stage method for abnormality diagnosis of musculoskeletal radiographs
Fonseca et al. Automatic orientation identification of pediatric chest x-rays
CN114359194A (zh) 基于改进U-Net网络的多模态脑卒中梗死区域图像处理方法
Gonçalves et al. Deep aesthetic assessment of breast cancer surgery outcomes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant