CN111210414A - 医学图像分析方法、计算机设备和可读存储介质 - Google Patents

医学图像分析方法、计算机设备和可读存储介质 Download PDF

Info

Publication number
CN111210414A
CN111210414A CN202010009247.5A CN202010009247A CN111210414A CN 111210414 A CN111210414 A CN 111210414A CN 202010009247 A CN202010009247 A CN 202010009247A CN 111210414 A CN111210414 A CN 111210414A
Authority
CN
China
Prior art keywords
medical image
image
reduced
prediction
classification result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010009247.5A
Other languages
English (en)
Other versions
CN111210414B (zh
Inventor
李青峰
石峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN202010009247.5A priority Critical patent/CN111210414B/zh
Publication of CN111210414A publication Critical patent/CN111210414A/zh
Application granted granted Critical
Publication of CN111210414B publication Critical patent/CN111210414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

本发明涉及一种医学图像分析方法、计算机设备和可读存储介质,该方法包括:获取待分析的医学图像;将医学图像输入预设的分类模型,得到医学图像的分类结果;执行缩减操作:对医学图像进行缩减操作,得到缩减医学图像;将缩减医学图像输入分类模型,得到缩减医学图像的分类结果;若缩减医学图像的分类结果精度大于医学图像的分类结果精度,则将缩减医学图像确定为医学图像的感兴趣区域;若缩减医学图像的分类结果精度不大于医学图像的分类结果精度,改变缩减操作的方向,重复缩减操作,该方法提高了确定的感兴趣区域的准确度。

Description

医学图像分析方法、计算机设备和可读存储介质
技术领域
本发明涉及医学图像领域,特别是涉及一种医学图像分析方法、计算机设备和可读存储介质。
背景技术
医学成像由于其非介入、成像快等特点,被广泛应用于疾病诊断过程中,以磁共振成像(Magnetic Resonance Imaging,MRI)为例,MRI因其无放射性、对脑结构成像质量高等特性,被越来越广泛地使用于脑疾病的诊断。计算机辅助诊断(Computer AidedDiagnosis,CAD)可以根据MRI等医学影像有效筛查脑疾病患者,大大降低医生的工作量,同时也可提高医生检测的准确度。
作为CAD的重要一步,对于给定的医学图像首先需要定位其与正常人群图像的差异(即感兴趣区域)为医生的诊断提供指导,或作为后续CAD系统的辅助信息。传统技术中,主要是利用人工手动标注法,由具有丰富临床经验的医生确定出待检测医学图像中的感兴趣区域,或者利用图像配准法,将待检测医学图像与正常人群图像进行配准,从而定位出待检测医学图像中的感兴趣区域。
但是,传统的定位感兴趣区域的方法存在定位不准确的问题。
发明内容
基于此,有必要针对传统的定位感兴趣区域的方法存在定位不准确的问题,提供一种医学图像分析方法、计算机设备和可读存储介质。
第一方面,本发明实施例提供一种医学图像分析方法,所述方法包括:
获取待分析的医学图像;
将所述医学图像输入预设的分类模型,得到所述医学图像的分类结果;以及以下步骤:
执行缩减操作:对所述医学图像进行缩减操作,得到缩减医学图像;将所述缩减医学图像输入所述分类模型,得到所述缩减医学图像的分类结果;若所述缩减医学图像的分类结果精度大于所述医学图像的分类结果精度,则将所述缩减医学图像确定为医学图像的感兴趣区域;
若所述缩减医学图像的分类结果精度不大于所述医学图像的分类结果精度,改变所述缩减操作的方向,重复所述缩减操作。
在其中一个实施例中,所述方法还包括迭代步骤:
将所述缩减医学图像作为所述医学图像,对所述步骤进行迭代操作,得到第二至第N个缩减医学图像,其中,在所有缩减操作的方向上,所述第N+1个缩减医学图像的分类结果精度不大于所述第N个医学图像的分类结果精度。
在其中一个实施例中,所述方法还包括:
将所述医学图像的感兴趣区域或第二至第N个缩减医学图像中的任意图像输入预设的疾病标签预测模型,得到所述医学图像的预测结果。
在其中一个实施例中,所述方法还包括:
将所述医学图像的感兴趣区域输入预设的疾病标签预测模型,得到所述医学图像的预测结果。
在其中一个实施例中,所述疾病标签预测模型包括循环神经网络模型,所述方法还包括:
从所述医学图像、所述缩减医学图像、所述第二至第N个缩减医学图像中按顺序任意选择多幅图像,组成图像序列;
将所述图像序列中的第一幅图像,输入所述循环神经网络模型,得到中间预测结果;
将所述图像序列中第二幅图像作为当前操作对应的图像,执行迭代预测操作;所述迭代预测操作包括:将所述中间预测结果和当前操作对应的图像,输入所述循环神经网络模型,得到新的中间预测结果;
将所述图像序列中第二幅图像之后的图像作为新的当前操作对应的图像,返回执行所述迭代预测操作,直至遍历完所述图像序列中的图像,并将所述图像序列中的最后一幅图像对应的预测结果,确定为所述医学图像的预测结果。在其中一个实施例中,所述图像序列中的最后一幅图像为第N个缩减图像。
在其中一个实施例中,所述图像序列包括所述医学图像、所述缩减医学图像、所述第二至第N个缩减医学图像的全部图像。
在其中一个实施例中,所述疾病标签预测模型为长短期记忆网络模型。
在其中一个实施例中,所述疾病标签预测模型的训练过程包括:
获取样本医学图像;
将所述样本医学图像输入预设的初始疾病标签预测模型,得到对所述样本医学图像的样本预测结果;
根据所述样本预测结果和预先对所述样本医学图像标记的标签,对所述初始疾病标签预测模型进行训练,得到所述疾病标签预测模型。
第二方面,本发明实施例提供一种医学图像分析装置,所述装置包括:
第一获取模块,用于获取待分析的医学图像;
第二获取模块,用于将所述医学图像输入预设的分类模型,得到所述医学图像的分类结果;
第一缩减模块,用于对所述医学图像进行缩减操作,得到缩减医学图像;将所述缩减医学图像输入所述分类模型,得到所述缩减医学图像的分类结果;若所述缩减医学图像的分类结果精度大于所述医学图像的分类结果精度,则将所述缩减医学图像确定为医学图像的感兴趣区域;
第二缩减模块,用于若所述缩减医学图像的分类结果精度不大于所述医学图像的分类结果精度,改变所述缩减操作的方向,重复所述缩减操作。
第三方面,本发明实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待分析的医学图像;
将所述医学图像输入预设的分类模型,得到所述医学图像的分类结果;以及以下步骤:
执行缩减操作:对所述医学图像进行缩减操作,得到缩减医学图像;将所述缩减医学图像输入所述分类模型,得到所述缩减医学图像的分类结果;若所述缩减医学图像的分类结果精度大于所述医学图像的分类结果精度,则将所述缩减医学图像确定为医学图像的感兴趣区域;
若所述缩减医学图像的分类结果精度不大于所述医学图像的分类结果精度,改变所述缩减操作的方向,重复所述缩减操作。
第四方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待分析的医学图像;
将所述医学图像输入预设的分类模型,得到所述医学图像的分类结果;以及以下步骤:
执行缩减操作:对所述医学图像进行缩减操作,得到缩减医学图像;将所述缩减医学图像输入所述分类模型,得到所述缩减医学图像的分类结果;若所述缩减医学图像的分类结果精度大于所述医学图像的分类结果精度,则将所述缩减医学图像确定为医学图像的感兴趣区域;
若所述缩减医学图像的分类结果精度不大于所述医学图像的分类结果精度,改变所述缩减操作的方向,重复所述缩减操作。
上述实施例提供的医学图像分析方法、装置、计算机设备和可读存储介质中,计算机设备获取待分析的医学图像,将医学图像输入预设的分类模型,得到医学图像的分类结果,执行缩减操作:对医学图像进行缩减操作,得到缩减医学图像;将缩减医学图像输入分类模型,得到缩减的医学图像的分类结果;若缩减医学图像的分类结果精度大于医学图像的分类结果精度,则将缩减医学图像确定为医学图像的感兴趣区域,若缩减医学图像的分类结果精度不大于医学图像的分类结果精度,改变缩减操作的方向,重复缩减操作。在该方法中,计算机设备将待分析的医学图像输入预设的分类模型,得到该医学图像的分类结果,对该医学图像进行缩减操作,将得到的缩减医学图像输入分类模型,得到缩减医学图像的分类结果,若缩减医学图像的分类结果精度大于医学图像的分类结果精度,则将缩减医学图像确定为医学图像的感兴趣区域,若缩减医学图像的分类结果精度不大于医学图像的分类结果精度,改变缩减操作的方向,重复缩减操作,由于缩减医学图像能够减少医学图像中的冗余信息,并且确定的医学图像的感兴趣区域是缩减医学图像的分类结果精度大于医学图像的分类结果精度时对应的缩减医学图像,因此,提高了确定的医学图像的感兴趣区域的准确度。
附图说明
图1为一个实施例提供的计算机设备的内部结构示意图;
图2为一个实施例提供的医学图像分析方法的流程示意图;
图2(a)为一个实施例提供的缩减方向示意图;
图3为一个实施例提供的对医学图像进行缩减操作的流程示意图;
图4为另一个实施例提供的医学图像分析方法的流程示意图;
图4(a)为一个实施例提供的得到医学图像的预测结果的流程示意图;
图5为另一个实施例提供的医学图像分析方法的流程示意图;
图6为一个实施例提供的医学图像分析装置结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的医学图像分析方法,可以适用于如图1所示的计算机设备。该计算机设备包括通过系统总线连接的处理器、存储器,该存储器中存储有计算机程序,处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的,该计算机设备还可以包括网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器,该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。可选的,该计算机设备可以是服务器,可以是个人计算机,还可以是个人数字助理,还可以是其他的终端设备,例如平板电脑、手机等等,还可以是云端或者远程服务器,本申请实施例对计算机设备的具体形式并不做限定。
以传统的利用磁共振成像(Magnetic Resonance Imaging,MRI)进行阿尔茨海默症(Alzheimer’s disease,AD)及其相关病症的计算机辅助诊断(Computer AidedDiagnosis,CAD)为例进行说明,该过程主要包含数据采集、图像预处理、图像分割、特征提取和训练分类器及评估其性能五个步骤;数据采集是指通过磁共振成像设备采集MRI图像的过程;图像预处理是指通过重采样、调整方向、去头骨、灰度校正等一系列操作,去除MRI设备的工作情况对MRI图像的影响,为后续分析提供高质量影像;图像分割是指以目前的临床知识为先验预先定义一些与疾病相关的特征区域,如海马,颞叶,杏仁核,扣带回等,然后根据这些特征区域,手动分割MRI图像为多个感兴趣区域,也有方法用模板图像配准的方法来定义感兴趣区域;特征提取是指通过对图像进行一系列操作(如稀疏自编码,小波变换,奇异值分解等),从每个划分出的感兴趣区域中提取若干特征,作为分类器训练和测试的样本;训练分类器及评估其性能是指将样本按照一定比例划分为训练数据集和测试数据集,将训练数据集送入分类器进行训练,测试数据集用于模型性能的评估(如精确度,鲁棒性,查准率,查全率等)。但是,在该方法中,定义与疾病相关的特征区域过程中存在一定的误差,进而导致根据确定的特征区域定位感兴趣区域的时存在定位不准确的问题。为此,本发明实施例提供一种医学图像分析方法、计算机设备和存储介质,旨在解决传统技术的如上技术问题。本发明实施例提供的医学图像分析方法也适用于对其他疾病,如脑卒中、脑肿瘤等医学图像进行病变区域检测及诊断。
需要说明的是,本发明实施例首次利用确定医学图像感兴趣区域的过程作为对医学图像进行预测的辅助信息,可以为医学图像的预测过程提供另一个角度的依据,首次将强化学习策略应用于医学图像感兴趣区域的定位过程中,利用图像级别的类别标签实现对医学图像感兴趣区域的精确定位。
下面以具体的实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图2为一个实施例提供的医学图像分析方法的流程示意图。图2(a)为一个实施例提供的缩减方向示意图。本实施例涉及的是计算机设备将待分析的医学图像输入预设的分类模型,得到医学图像的分类结果,对医学图像进行第一缩减操作,得到第一缩减医学图像,根据第一缩减医学图像的分类结果的精度和医学图像的分类结果的精度,确定医学图像的感兴趣区域的具体实现过程。如图2所示,该方法可以包括:
S201,获取待分析的医学图像。
其中,待分析的医学图像是通过医学成像设备所采集的患者病变部位的医学图像。可选的,待分析的医学图像可以为计算机断层成像(Computed Tomography,CT)图像,如T1加权图像或T2加权图像,也可以为MRI图像,或其他医学图像。可选的,待分析的医学图像可以为患者的脑部图像,也可以为患者其他部位的图像。可选的,计算机设备可以从PACS(Picture Archiving and Communication Systems,影像归档和通信系统)服务器中获取待分析的医学图像,也可以从医学影像设备中实时地获取待分析的医学图像。可选的,待分析的医学图像可以为二维医学图像,也可以为三维医学图像。可选的,计算机设备获取到待分析的医学图像后,可以对待分析的医学图像进行预处理去除医学影像设备的工作情况对得到的图像质量的影响,为后续分析提供高质量影像,其中,预处理包括重采样处理、调整尺寸处理、去头骨处理、图像非均匀校正处理、直方图匹配处理和灰度归一化处理等。需要说明的是,经过预处理后的待分析的医学图像为图像尺寸为256×256×256mm3,方向均为标准笛卡尔LPI坐标系,灰度范围均为(-1,1)区间内的标准图像。可选的,待分析的医学图像的大小可以为48*48,也可以为64*64,也可以为128*128。可以理解的是,若待分析的医学图像为三维图像,则待分析的医学图像的大小可以为48*48*48,也可以为64*64*64,也可以为128*128*128。
S202,将医学图像输入预设的分类模型,得到医学图像的分类结果。
具体的,计算机设备将上述医学图像输入预设的分类模型,得到该医学图像的分类结果。可选的,预设的分类模型可以为ResNe网络模型。可选的,得到的医学图像的分类结果可以包括该病人正常的可能性预测指数,以及该病人有病的的可能性预测指数。以待分析的医学图像为患者的脑部图像为例,得到的分类结果可以为正常:5%,稳定型轻度认知障碍(sMCI):7%,进展型轻度认知障碍(pMCI):20%,AD:68%。
S203,执行缩减操作:对医学图像进行缩减操作,得到缩减医学图像;将缩减医学图像输入分类模型,得到缩减医学图像的分类结果;若缩减医学图像的分类结果精度大于医学图像的分类结果精度,则将缩减医学图像确定为医学图像的感兴趣区域。
具体的,计算机设备对上述医学图像进行缩减操作,得到缩减医学图像;将缩减医学图像输入上述分类模型,得到缩减医学图像的分类结果,若缩减医学图像的分类结果精度大于医学图像的分类结果精度,则将缩减医学图像确定为医学图像的感兴趣区域。可选的,计算机设备可以选择如图2(a)所示的四种缩减方向中任意缩减方向对该医学图像进行缩减操作,得到缩减医学图像。可以理解的是,若医学图像为三维图像则2(a)所示的缩减方向将相应地改变为三维缩减形式。可选的,得到的缩减医学图像的分类结果可以包括该患者正常的可能性预测指数,以及该患者有病的的可能性预测指数。继续以上述待分析的医学图像为患者的脑部图像为例进行说明,计算机设备对该脑部图像采用图2(a)中的第一种缩减方向进行缩减操作,得到缩减医学图像,将该缩减医学图像输入分类模型,得到缩减医学图像的分类结果可以为:正常:2%,sMCI:6%,pMCI:22%,AD:70%。
可选的,若计算机设备得到的待分析的医学图像的分类结果为:正常:5%,sMCI:7%,pMCI:20%,AD:68%,可以看出,缩减医学图像的分类结果精度相比于医学图像的分类结果精度得到了提高,则计算机设备将该缩减医学图像确定为该医学图像的感兴趣区域。
S204,若缩减医学图像的分类结果精度不大于医学图像的分类结果精度,改变缩减操作的方向,重复缩减操作。
具体的,若计算机设备得到缩减医学图像的分类结果精度不大于上述医学图像的分类结果精度,则改变对医学图像进行缩减操作的方向,重复上述缩减操作。示例性地,若计算机设备采用的是图2(a)中的第一种缩减方向进行缩减操作,得到的缩减医学图像的分类结果精度不大于医学图像的分类结果精度,则计算机设备可以采用图2(a)中的第一种缩减方向,重复上述缩减操作。可选的,若计算机设备得到的缩减医学图像的分类结果为:正常:20%,sMCI:8%,pMCI:22%,AD:50%,得到的待分析的医学图像的分类结果为:正常:5%,sMCI:7%,pMCI:20%,AD:68%,缩减医学图像的分类结果精度不大于医学图像的分类结果精度,则计算机设备改变对医学图像的缩减操作的方向,重复上述缩减操作。
在本实施例中,计算机设备将待分析的医学图像输入预设的分类模型,得到该医学图像的分类结果,对该医学图像进行缩减操作,将得到的缩减医学图像输入分类模型,得到缩减医学图像的分类结果,若缩减医学图像的分类结果精度大于医学图像的分类结果精度,则将缩减医学图像确定为医学图像的感兴趣区域,若缩减医学图像的分类结果精度不大于医学图像的分类结果精度,改变缩减操作的方向,重复缩减操作,由于缩减医学图像能够减少医学图像中的冗余信息,并且确定的医学图像的感兴趣区域是缩减医学图像的分类结果精度大于医学图像的分类结果精度时对应的缩减医学图像,因此,提高了确定的医学图像的感兴趣区域的准确度。
图3为一个实施例提供的对医学图像进行缩减操作的流程示意图。本实施例涉及的是计算机设备确定待分析的医学图像的感兴趣区域的具体实现过程。在上述实施例的基础上,作为一种可选的实施方式,上述方法还包括迭代步骤:将缩减医学图像作为医学图像,对步骤S203和S204进行迭代操作,得到第二至第N个缩减医学图像,其中,在所有缩减操作的方向上,第N+1个缩减医学图像的分类结果精度不大于第N个医学图像的分类结果精度。
具体的,计算机设备将上述缩减医学图像作为医学图像,对步骤S203和S204进行迭代操作,得到第二至第N个缩减医学图像,其中,在所有缩减操作的方向上,第N+1个缩减医学图像的分类结果精度不大于第N个医学图像的分类结果精度。下面以继续以上述实施例中描述的待分析的医学图像为脑部图像为例进行说明:如图3所示,计算机设备将缩减医学图像作为医学图像,采用图2(a)中的任意一种缩减方向中对缩减医学图像进行缩减操作,得到第二个缩减医学图像,将第二个缩减医学图像的分类结果精度与第一个缩减医学图像的分类结果精度进行对比,继续采用图2(a)中的任意一种缩减方向中对第二个缩减医学图像进行缩减操作,得到第三个缩减医学图像,重复此步骤,直至得到第N+1个缩减医学图像,将第N+1个缩减医学图像的分类结果精度与第N个缩减医学图像的分类结果精度进行对比,当第N+1个缩减医学图像的分类结果精度不大于第N个医学图像的分类结果精度,则计算机设备得到第二至第N个缩减医学图像,并将第N个缩减医学图像确定为医学图像的感兴趣区域。
可选的,计算机设备在确定医学图像的感兴趣区域过程中可以利用强化学习中常规的Q网络学习方法,以分类模型最后一个卷积层的特征图作为Q网络的输入,对此过程进行更新,直至该过程收敛,最终收敛的模型所确定的图像范围即为聚焦的病变关键区域,也就是该医学图像的感兴趣区域。确定医学图像的感兴趣区域的过程利用强化学习策略,逐步定位至病变最显著的区域的设计依据是:图像中存在大量冗余信息,将图像范围缩小至对图像最具判别力的区域会突出判别区域,减少冗余信息,从而分类精度会上升。
在本实施例中,计算机设备将缩减医学图像作为医学图像,对S203和S204进行迭代操作,得到第二至第N个缩减医学图像,其中,在所有缩减操作的方向上,第N+1个缩减医学图像的分类结果精度不大于第N个医学图像的分类结果精度,通过进行迭代操作,能够逐步减少医学图像的冗余信息,使最终确定的医学图像的感兴趣区域为减少了大量冗余信息的图像,因此提高了确定的感兴趣区域的准确度。
本实施例涉及的是计算机设备得到医学图像的预测结果的具体实现过程。在上述实施例的基础上,作为一种可选的实施方式,上述方法还包括:将医学图像的感兴趣区域或第二至第N个缩减医学图像中的任意图像输入预设的疾病标签预测模型,得到医学图像的预测结果。
具体的,计算机设备将上述医学图像的感兴趣区域或第二至第N个缩减医学图像中的任意图像输入预设的疾病标签预测模型,得到该医学图像的预测结果。示例性地,继续以该医学图像为脑图像为例进行说明,计算机设备将该医学图像的感兴趣区域输入预设的疾病标签预测模型,得到该医学图像的预测结果可以为AD,也可以为sMCI,或pMCI,或正常。可选的,计算机设备可以将医学图像的感兴趣区域输入预设的疾病标签预测模型,得到医学图像的预测结果,也可以将第二至第N个缩减医学图像输入预设的疾病标签预测模型,得到医学图像的预测结果。可以理解的是,若计算机设备未对医学图像进行缩减操作,则可以将原始医学图像确定为该医学图像的感兴趣区域,计算机设备将原始医学图像输入预设的疾病标签预测模型,得到该医学图像的预测结果。
在本实施例中,由于医学图像的感兴趣区域或第二至第N个缩减医学图像中的任意图像是对医学图像最具判别力的图像,医学图像的感兴趣区域或第二至第N个缩减医学图像中的任意图像减少了医学图像的冗余信息,计算机设备将医学图像的感兴趣区域或第二至第N个缩减医学图像中的任意图像输入预设的疾病标签预测模型,能够对医学图像的预测结果进行准确地预测,从而提高了得到的医学图像的预测结果的准确度。
图4为另一个实施例提供的医学图像分析方法的流程示意图。图4(a)为一个实施例提供的得到医学图像的预测结果的流程示意图。本实施例涉及的是计算机设备得到医学图像的预测结果的具体实现过程。在上述实施例的基础上,作为一种可选的实施方式,上述方法还包括:
S401,从医学图像、缩减医学图像、第二至第N个缩减医学图像中按顺序任意选择多幅图像,组成图像序列。
具体的,计算机设备从医学图像、缩减医学图像、第二至第N个缩减医学图像中按顺序任意选择多幅图像,组成图像序列。可选的,图像序列中的最后一幅图像为第N个缩减图像。可选的,图像序列包括医学图像、缩减医学图像、第二至第N个缩减医学图像的全部图像。可选的,图像序列可以包括医学图像以及缩减医学图像,也可以包括第二至第N个缩减医学图像,或其他的图像组合。
S402,将图像序列中的第一幅图像,输入循环神经网络模型,得到中间预测结果。
具体的,计算机设备将上述图像序列中的第一幅图像,输入循环神经网络模型,得到中间预测结果。可选的,医学图像序列中的第一幅图像可以为上述医学图像,也可以为第一个缩减医学图像,也可以为第二个缩减医学图像或者其他医学图像。可选的,疾病标签预测模型可以为循环神经网络模型中的长短期记忆网络模型。需要说明的是,普通神经网络以及卷积神经网络相当于非线性运算,不存在记忆能力,即对于包含顺序信息的序列类输入,无法依赖输入过程进行结果预测。循环神经网络(recurrent neural network,RNN)能够基于记忆模型的想法,期望网络可以记住前面输入的特征,并根据输入特征的值及输入特征顺序进行结果的推断。由于网络结构不断循环,因此得名循环神经网络。长短期记忆网络(long short-term memory,LSTM)是循环神经网络的一种变式,是为了解决序列的长期依赖问题而设计出来的。LSTM由于增加了遗忘门模块,可以通过训练确定哪些记忆将被保留,哪些记忆将被去掉,因此LSTM相比RNN具有了长时记忆和选择记忆的功能。可选的,在本实施例中,计算机设备可以将传统的长短期记忆网络中所有带有可学习参数的层全部替换为4层卷积层。
S403,将图像序列中第二幅图像作为当前操作对应的图像,执行迭代预测操作;迭代预测操作包括:将中间预测结果和当前操作对应的图像,输入循环神经网络模型,得到新的中间预测结果。
具体的,计算机设备将图像序列中第二幅图像作为当前操作对应的图像,执行迭代预测操作。其中,迭代预测操作包括:将中间预测结果和当前操作对应的图像,输入循环神经网络模型,得到新的中间预测结果。示例性地,若当前操作对应的图像为医学图像序列中第二幅图像时,则计算机设备将图像序列中第一幅图像对应的中间预测结果和图像序列中第二幅图像,输入循环神经网络模型,得到新的中间预测结果。
S404,将图像序列中第二幅图像之后的图像作为新的当前操作对应的图像,返回执行迭代预测操作,直至遍历完图像序列中的图像,并将图像序列中的最后一幅图像对应的预测结果,确定为医学图像的预测结果。
具体的,计算机设备将上述图像序列中第二幅图像之后的图像作为新的当前操作对应的图像,返回执行上述迭代预测操作,直至遍历完图像序列中的图像,并将图像序列中的最后一幅图像对应的预测结果,确定为医学图像的预测结果。示例性地,如图4(a)所示,假设计算机设备得到的图像序列中有M幅图像,则计算机设备可以将图像序列中第二幅图像之后的图像作为新的当前操作对应的图像,返回执行迭代预测操作,直至遍历完图像序列中的M幅图像,并将第M幅图像对应的预测结果,确定为医学图像的预测结果。
在本实施例中,计算机设备从医学图像、缩减医学图像、第二至第N个缩减医学图像中按顺序任意选择多幅图像,组成图像序列,将图像序列中的第一幅图像输入循环神经网络模型,得到中间预测结果,将图像序列中第二幅图像作为当前操作对应的图像,执行迭代预测操作,将图像序列中第二幅图像之后的图像作为新的当前操作对应的图像,返回执行迭代预测操作,直至遍历完图像序列中的图像,通过迭代预测操作,能够准确地得到图像序列中各图像对应的预测结果,由于是将图像序列中的最后一幅图像对应的预测结果确定为医学图像的预测结果,而图像序列中的最后一幅图像对应的预测结果得到了提高,进而得到的医学图像的预测结果的准确度也得到了提高。
图5为另一个实施例提供的医学图像分析方法的流程示意图。本实施例涉及的是计算机设备得到疾病标签预测模型的具体实现过程。如图5所示,在上述实施例的基础上,作为一种可选的实施方式,疾病标签预测模型的训练过程包括:
S501,获取样本医学图像。
其中,样本医学图像是通过医学成像设备所采集的患者病变部位的样本图像。可选的,样本医学图像可以为CT图像,如T1加权图像或T2加权图像,也可以为MRI图像,或其他医学图像。可选的,样本医学图像可以为患者的脑部图像,也可以为患者其他部位的图像。可选的,计算机设备可以从PACS服务器中获取样本医学图像,也可以从医学影像设备中实时地获取样本医学图像。可选的,计算机设备获取到样本医学图像后,可以对样本医学图像进行预处理去除医学影像设备的工作情况对得到的图像质量的影响,为后续分析提供高质量影像,其中,预处理包括重采样处理、调整尺寸处理、去头骨处理、图像非均匀校正处理、直方图匹配处理和灰度归一化处理等。需要说明的是,经过预处理后的样本医学图像为图像尺寸为256×256×256mm3,方向均为标准笛卡尔LPI坐标系,灰度范围均为(-1,1)区间内的标准图像。
S502,将样本医学图像输入预设的初始疾病标签预测模型,得到对样本医学图像的样本预测结果。
具体的,计算机设备将样本医学图像输入预设的初始疾病标签检测模型,得到对样本医学图像的样本预测结果。以样本医学图像为脑图像为例进行说明,计算机设备得到的样本预测结果可以为AD,也可以为sMCI,或pMCI,或正常。
S503,根据样本预测结果和预先对样本医学图像标记的标签,对初始疾病标签预测模型进行训练,得到疾病标签预测模型。
具体的,计算机设备根据样本预测结果和预先对样本医学图像标记的标签,得到初始疾病标签预测模型的损失函数的值,根据初始疾病标签预测模型的损失函数的值对初始疾病标签预测模型进行训练,将初始疾病标签预测模型的损失函数的值达到稳定值时对应的初始疾病标签预测模型,确定为疾病标签预测模型。
在本实施例中,计算机设备将样本医学图像输入预设的初始疾病标签预测模型,得到对样本医学图像的样本预测结果,根据样本预测结果和预先对样本医学图像标记的标签对初始疾病标签预测模型进行训练,通过大量的样本医学图像能够对初始疾病标签预测模型进行比较准确地训练,从而提高了得到的疾病标签预测模型的准确度。
应该理解的是,虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图6为一个实施例提供的医学图像分析装置结构示意图。如图6所示,该装置可以包括:第一获取模块10、第二获取模块11、第一缩减模块12和第二缩减模块13。
具体的,第一获取模块10,用于获取待分析的医学图像;
第二获取模块11,用于将医学图像输入预设的分类模型,得到医学图像的分类结果;
第一缩减模块12,用于执行缩减操作:对医学图像进行缩减操作,得到缩减医学图像;将缩减医学图像输入分类模型,得到缩减医学图像的分类结果;若缩减医学图像的分类结果精度大于医学图像的分类结果精度,则将缩减医学图像确定为医学图像的感兴趣区域。
第二缩减模块13,用于若缩减医学图像的分类结果精度不大于医学图像的分类结果精度,改变缩减操作的方向,重复缩减操作。
本实施例提供的医学图像分析装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,可选的,上述装置还包括:迭代模块。
具体的,迭代模块,用于将缩减医学图像作为医学图像,对步骤进行迭代操作,得到第二至第N个缩减医学图像,其中,在所有缩减操作的方向上,第N+1个缩减医学图像的分类结果精度不大于第N个医学图像的分类结果精度。
本实施例提供的医学图像分析装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,可选的,上述装置还包括:第一预测模块。
具体的,第一预测模块,用于将医学图像的感兴趣区域或第二至第N个缩减医学图像中的任意图像输入预设的疾病标签预测模型,得到医学图像的预测结果。
本实施例提供的医学图像分析装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,疾病标签预测模型包括循环神经网络模型,可选的,上述装置还包括:组合模块、第二预测模块、第三预测模块和第四预测模块。
具体的,组合模块,用于从医学图像、缩减医学图像、第二至第N个缩减医学图像中按顺序任意选择多幅图像,组成图像序列;
第二预测模块,用于将图像序列中的第一幅图像,输入疾病标签预测模型,得到中间预测结果;
第三预测模块,用于将图像序列中第二幅图像作为当前操作对应的图像,执行迭代预测操作;迭代预测操作包括:将中间预测结果和当前操作对应的图像,输入循环神经网络模型,得到新的中间预测结果;
第四预测模块,用于将图像序列中第二幅图像之后的图像作为新的当前操作对应的图像,返回执行迭代预测操作,直至遍历完图像序列中的图像,并将图像序列中的最后一幅图像对应的预测结果,确定为医学图像的预测结果。
可选的,图像序列中的最后一幅图像为第N个缩减图像。
可选的,图像序列包括医学图像、缩减医学图像、第二至第N个缩减医学图像的全部图像。
可选的,疾病标签预测模型为长短期记忆网络模型。
本实施例提供的医学图像分析装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,可选的,上述装置还包括:第三获取模块、第四获取模块和训练模块。
具体的,第八获取模块,用于获取样本医学图像;
第九获取模块,用于将样本医学图像输入预设的初始疾病标签预测模型,得到对样本医学图像的样本预测结果;
训练模块,用于根据样本预测结果和预先对样本医学图像标记的标签,对初始疾病标签预测模型进行训练,得到疾病标签预测模型。
本实施例提供的医学图像分析装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
关于医学图像分析装置的具体限定可以参见上文中对于医学图像分析方法的限定,在此不再赘述。上述医学图像分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取待分析的医学图像;
将医学图像输入预设的分类模型,得到医学图像的分类结果;以及以下步骤:
执行缩减操作:对医学图像进行缩减操作,得到缩减医学图像;将缩减医学图像输入分类模型,得到缩减医学图像的分类结果;若缩减医学图像的分类结果精度大于医学图像的分类结果精度,则将缩减医学图像确定为医学图像的感兴趣区域;
若缩减医学图像的分类结果精度不大于医学图像的分类结果精度,改变缩减操作的方向,重复缩减操作。
上述实施例提供的计算机设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取待分析的医学图像;
将医学图像输入预设的分类模型,得到医学图像的分类结果;以及以下步骤:
执行缩减操作:对医学图像进行缩减操作,得到缩减医学图像;将缩减医学图像输入分类模型,得到缩减医学图像的分类结果;若缩减医学图像的分类结果精度大于医学图像的分类结果精度,则将缩减医学图像确定为医学图像的感兴趣区域;
若缩减医学图像的分类结果精度不大于医学图像的分类结果精度,改变缩减操作的方向,重复缩减操作。
上述实施例提供的计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种医学图像分析方法,其特征在于,所述方法包括:
获取待分析的医学图像;
将所述医学图像输入预设的分类模型,得到所述医学图像的分类结果;以及以下步骤:
执行缩减操作:对所述医学图像进行缩减操作,得到缩减医学图像;将所述缩减医学图像输入所述分类模型,得到所述缩减医学图像的分类结果;若所述缩减医学图像的分类结果精度大于所述医学图像的分类结果精度,则将所述缩减医学图像确定为医学图像的感兴趣区域;
若所述缩减医学图像的分类结果精度不大于所述医学图像的分类结果精度,改变所述缩减操作的方向,重复所述缩减操作。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括迭代步骤:
将所述缩减医学图像作为所述医学图像,对所述步骤进行迭代操作,得到第二至第N个缩减医学图像,其中,在所有缩减操作的方向上,所述第N+1个缩减医学图像的分类结果精度不大于所述第N个医学图像的分类结果精度。
3.根据权利要求1-2任一项所述的方法,其特征在于,所述方法还包括:
将所述医学图像的感兴趣区域或第二至第N个缩减医学图像中的任意图像输入预设的疾病标签预测模型,得到所述医学图像的预测结果。
4.根据权利要求3所述的方法,其特征在于,所述疾病标签预测模型包括循环神经网络模型,所述方法还包括:
从所述医学图像、所述缩减医学图像、所述第二至第N个缩减医学图像中按顺序任意选择多幅图像,组成图像序列;
将所述图像序列中的第一幅图像,输入所述循环神经网络模型,得到中间预测结果;
将所述图像序列中第二幅图像作为当前操作对应的图像,执行迭代预测操作;所述迭代预测操作包括:将所述中间预测结果和当前操作对应的图像,输入所述循环神经网络模型,得到新的中间预测结果;
将所述图像序列中第二幅图像之后的图像作为新的当前操作对应的图像,返回执行所述迭代预测操作,直至遍历完所述图像序列中的图像,并将所述图像序列中的最后一幅图像对应的预测结果,确定为所述医学图像的预测结果。
5.根据权利要求4所述的方法,其特征在于,所述图像序列中的最后一幅图像为第N个缩减图像。
6.根据权利要求5所述的方法,其特征在于,所述图像序列包括所述医学图像、所述缩减医学图像、所述第二至第N个缩减医学图像的全部图像。
7.根据权利要求4所述的方法,其特征在于,所述疾病标签预测模型为长短期记忆网络模型。
8.根据权利要求7所述的方法,其特征在于,所述疾病标签预测模型的训练过程包括:
获取样本医学图像;
将所述样本医学图像输入预设的初始疾病标签预测模型,得到对所述样本医学图像的样本预测结果;
根据所述样本预测结果和预先对所述样本医学图像标记的标签,对所述初始疾病标签预测模型进行训练,得到所述疾病标签预测模型。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-8中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-8中任一项所述方法的步骤。
CN202010009247.5A 2020-01-06 2020-01-06 医学图像分析方法、计算机设备和可读存储介质 Active CN111210414B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010009247.5A CN111210414B (zh) 2020-01-06 2020-01-06 医学图像分析方法、计算机设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010009247.5A CN111210414B (zh) 2020-01-06 2020-01-06 医学图像分析方法、计算机设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN111210414A true CN111210414A (zh) 2020-05-29
CN111210414B CN111210414B (zh) 2023-12-26

Family

ID=70786747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010009247.5A Active CN111210414B (zh) 2020-01-06 2020-01-06 医学图像分析方法、计算机设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111210414B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554131A (zh) * 2021-09-22 2021-10-26 四川大学华西医院 医学图像处理和分析方法、计算机设备、系统和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017131623A (ja) * 2016-01-25 2017-08-03 東芝メディカルシステムズ株式会社 医用画像処理装置および医用画像処理装置の縮小領域設定方法
CN108647732A (zh) * 2018-05-14 2018-10-12 北京邮电大学 一种基于深度神经网络的病理图像分类方法及装置
CN108921227A (zh) * 2018-07-11 2018-11-30 广东技术师范学院 一种基于capsule理论的青光眼医学影像分类方法
CN109064446A (zh) * 2018-07-02 2018-12-21 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
CN109272045A (zh) * 2018-09-25 2019-01-25 华南农业大学 一种基于神经网络和迁移学习的水果图像分类方法及装置
CN109389587A (zh) * 2018-09-26 2019-02-26 上海联影智能医疗科技有限公司 一种医学图像分析系统、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017131623A (ja) * 2016-01-25 2017-08-03 東芝メディカルシステムズ株式会社 医用画像処理装置および医用画像処理装置の縮小領域設定方法
CN108647732A (zh) * 2018-05-14 2018-10-12 北京邮电大学 一种基于深度神经网络的病理图像分类方法及装置
CN109064446A (zh) * 2018-07-02 2018-12-21 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
CN108921227A (zh) * 2018-07-11 2018-11-30 广东技术师范学院 一种基于capsule理论的青光眼医学影像分类方法
CN109272045A (zh) * 2018-09-25 2019-01-25 华南农业大学 一种基于神经网络和迁移学习的水果图像分类方法及装置
CN109389587A (zh) * 2018-09-26 2019-02-26 上海联影智能医疗科技有限公司 一种医学图像分析系统、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MANPREET KAUR等: "ROI Based Medical Image Compression for Telemedicine Application" *
马品等: "基于多种分类器的云南蒙自市遥感分类比较研究" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554131A (zh) * 2021-09-22 2021-10-26 四川大学华西医院 医学图像处理和分析方法、计算机设备、系统和存储介质

Also Published As

Publication number Publication date
CN111210414B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
CN109993726B (zh) 医学图像的检测方法、装置、设备和存储介质
CN109754447B (zh) 图像生成方法、装置、设备和存储介质
CN109598745B (zh) 图像配准方法、装置和计算机设备
CN110334722B (zh) 图像分类方法、装置、计算机设备和存储介质
CN110717905B (zh) 脑部图像检测方法、计算机设备和存储介质
CN111160367A (zh) 图像分类方法、装置、计算机设备和可读存储介质
CN111179372B (zh) 图像衰减校正方法、装置、计算机设备和存储介质
CN110866909B (zh) 图像生成网络的训练方法、图像预测方法和计算机设备
CN110210519B (zh) 分类方法、计算机设备和存储介质
CN110600107B (zh) 医学图像的筛选方法、计算机设备及可读存储介质
CN109712163B (zh) 冠脉提取方法、装置、图像处理工作站和可读存储介质
CN110738643B (zh) 脑出血的分析方法、计算机设备和存储介质
CN111028212B (zh) 关键点检测方法、装置、计算机设备和存储介质
CN110751187B (zh) 异常区域图像生成网络的训练方法和相关产品
CN111325714A (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
CN112102235B (zh) 人体部位识别方法、计算机设备和存储介质
CN110490841B (zh) 计算机辅助影像分析方法、计算机设备和存储介质
CN110309855B (zh) 图像分割的训练方法、计算机设备及存储介质
CN110473226B (zh) 图像处理网络的训练方法、计算机设备及可读存储介质
CN111160441B (zh) 分类方法、计算机设备和存储介质
CN111223158A (zh) 心脏冠脉图像的伪影校正方法和可读存储介质
CN111210414B (zh) 医学图像分析方法、计算机设备和可读存储介质
CN113192031A (zh) 血管分析方法、装置、计算机设备和存储介质
CN111027469B (zh) 人体部位识别方法、计算机设备和可读存储介质
CN113160199B (zh) 影像识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant