CN110766691A - 一种心脏磁共振影像分析及心肌病预测的方法、装置 - Google Patents

一种心脏磁共振影像分析及心肌病预测的方法、装置 Download PDF

Info

Publication number
CN110766691A
CN110766691A CN201911244592.0A CN201911244592A CN110766691A CN 110766691 A CN110766691 A CN 110766691A CN 201911244592 A CN201911244592 A CN 201911244592A CN 110766691 A CN110766691 A CN 110766691A
Authority
CN
China
Prior art keywords
image
cardiac
obtaining
heart
left ventricle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911244592.0A
Other languages
English (en)
Inventor
张培芳
罗志鹏
廖宝鑫
吴振洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ander Medical Intelligence Technology Co Ltd
Original Assignee
Beijing Ander Medical Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ander Medical Intelligence Technology Co Ltd filed Critical Beijing Ander Medical Intelligence Technology Co Ltd
Priority to CN201911244592.0A priority Critical patent/CN110766691A/zh
Publication of CN110766691A publication Critical patent/CN110766691A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Abstract

本公开涉及一种心脏磁共振影像分析及心肌病预测的方法、装置，其中，所述方法通过训练后的神经网络执行处理，所述处理至少包括：根据心脏磁共振影像，得到至少包含心脏区域的第一图像；根据所述第一图像，得到心脏指标；根据所述心脏指标，进行分类处理，得到分类结果。本公开实施例中，采用心脏磁共振影像的人工智能分析技术，可以通过训练后的神经网络实现对图像分析的全自动化，能快速完成对心脏磁共振影像的分析，且能达到较高的准确率。

Description

一种心脏磁共振影像分析及心肌病预测的方法、装置
技术领域
本公开涉及图像处理领域，尤其涉及一种心脏磁共振影像分析及心肌病预测的方法、装置。
背景技术
心脏磁共振影像是衡量心脏整体功能，特别是衡量左心室功能，诊断心肌疾病的金标准。但是，常规心脏磁共振影像分析，不能实现全自动化，需要大量的手工操作，效率低，存在人为因素带来的误差，同时，缺少用于验证的指标，准确率偏低。
发明内容
有鉴于此，本公开提出了一种心脏磁共振影像分析及心肌病预测的方法、装置。
根据本公开的一方面，提供了一种心脏磁共振影像分析及心肌病预测的方法，所述方法通过训练后的神经网络执行处理，所述处理至少包括：
根据心脏磁共振影像，得到至少包含心脏区域的第一图像；
根据所述第一图像，得到心脏指标；
根据所述心脏指标，进行分类处理，得到分类结果。
在一种可能的实现方式中，所述根据所述第一图像，得到心脏指标，包括：
通过对所述第一图像进行分割处理，得到分割结果；
根据所述分割结果，得到心脏指标。
在一种可能的实现方式中，所述训练后的神经网络包括：目标检测网络、语义分割网络、预测网络。
在一种可能的实现方式中，所述根据所述心脏指标，进行分类处理，得到分类结果，包括：
将心脏指标和参考资料整理为一维数据；所述参考数据包括：性别、年龄、身高、体重、个人病史中的至少一种；
通过所述预测网络对所述一维数据进行分类，得到分类结果。
在一种可能的实现方式中，所述通过对所述第一图像进行分割处理，得到分割结果，包括：
通过所述语义分割网络对所述第一图像进行分割，得到左心室内膜、左心室外膜及右心室内膜分别对应的掩码；
根据所述掩码，得到左心室内膜轮廓，左心室外膜轮廓和右心室内膜轮廓。
在一种可能的实现方式中，所述根据所述分割结果，得到心脏指标，包括：
根据所述左心室内膜轮廓、左心室外膜轮廓和右心室内膜轮廓得到左心室容积时间曲线、右心室容积时间曲线、左心室心肌质量及左心室16节段；
根据所述左心室容积时间曲线、右心室容积时间曲线、左心室心肌质量及左心室16节段，得到包括整体指标及功能指标的心脏指标；
所述整体指标根据所述左心室容积时间曲线、右心室容积时间曲线、左心室心肌质量得到，包括：舒张末容积、收缩末容积、射血分数、最大射血率、最大充盈率、达峰时间、舒张末心肌质量、收缩末心肌质量中的至少一种；
所述功能指标根据所述左心室16节段得到，包括：节段心肌厚度、节段增厚率、节段内膜径向运动曲线、节段外膜径向运动曲线中的至少一种。
在一种可能的实现方式中，所述根据心脏磁共振影像，得到至少包含心脏区域的第一图像；包括：
选取心脏磁共振影像中的电影短轴图像；
通过所述目标检测网络，提取所述电影短袖图像中的心脏区域；
生成包含所述心脏区域的第一图像。
根据本公开的另一方面，提供了一种心脏磁共振影像分析及心肌病预测的装置，所述装置通过训练后的神经网络执行处理，包括：
心脏区域提取模块，用于根据心脏磁共振影像，得到至少包含心脏区域的第一图像；
心脏指标求取模块，用于根据所述第一图像，得到心脏指标；
分类模块，用于根据所述心脏指标，进行分类处理，得到分类结果。
根据本公开的另一方面，提供了一种心脏磁共振影像分析及心肌病预测的装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。
根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。
本公开实施例中，采用心脏磁共振影像的人工智能分析技术，可以通过训练后的神经网络实现了对图像分析的全自动化，能快速完成对心脏磁共振影像的分析，能达到较高的准确率。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出了DeepVentricle的卷积神经网络模型；
图2示出根据本公开一实施例的一种心脏磁共振影像分析及心肌病预测的方法的流程图；
图3示出根据本公开一实施例的目标检测网络的结构图；
图4示出根据本公开一实施例的语义分割网络的结构图；
图5示出根据本公开一实施例的求取心脏指标的流程图；
图6示出根据本公开一实施例的预测网络的结构图；
图7示出根据本公开一实施例的一种心脏磁共振影像分析及心肌病预测的方法的流程图；
图8示出根据本公开一实施例的一种心脏磁共振影像分析及心肌病预测的装置的结构图；
图9示出根据本公开一实施例的一种用于心脏磁共振影像分析及心肌病预测的装置的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
心脏磁共振影像是衡量心脏整体功能，特别是衡量左心室功能，确认心肌疾病的金标准(即当前临床医学界公认的判断疾病的最可靠、最准确、最好的诊断方法)。相关技术中，对心脏磁共振影像的分析技术主要集中在心脏结构的语义分割，获得左心室的内膜轮廓和外膜轮廓，以及右心室的内膜轮廓；根据分割得到的轮廓，获得心室的容积和射血分数等临床指标。
对于心脏磁共振图像的分割，有些技术采用传统的图像处理算法或者机器学习算法，然而，这种基于传统图像处理的心脏磁共振影像分析方式，不能实现全自动化，需要人工的辅助和手工操作，效率低，存在人为因素带来的误差，图像分割的准确率偏低，而且，临床上依然依靠人工进行大量修改，才能真正用于心脏功能指标的计算。
同时，以深度学习神经网络为代表的人工智能技术经历了飞跃式发展，其在医学影像处理领域的应用目前也成为研究的热点，相关技术中采用基于深度学习的卷积神经网络模型对心脏磁共振图像进行分割。图1示出了DeepVentricle的卷积神经网络模型；该基于深度学习的卷积神经网络技术方案DeepVentricle于2017年初获得了美国FDA认证的心脏磁共振影像AI分析技术。如图1所示，该模型包含编码(下采样)路径和解码(上采样upsample)路径；在初始的编码路径中，通过对图像的卷积(convolution)和池化操作(maxpool)来提取不同尺度的特征；在解码路径，通过特征融合和卷积操作，恢复对原图像的逐像素语义分类，从而实现对原图像的语义分割。该模型的特点采用了对称的编码路径和解码路径，跳跃式连接(skip connection)，在每个池化层后特征通道数加倍，在每个上采样层后特征通道数减半。分割得到的图像中，可以得到右心室的腔、左心室的腔、左心室的心肌；图像的语义分割通过计算心脏左心室容积和右心室容积来验证，金标准是人工的分割和容积计算。然而，这种基于深度学习神经网络的图像分割方式，单纯为分割而设计，一方面，分割的金标准为人工对心脏结构的勾画，而人工勾画存在各种各样的差异性；或者，分割的衡量金标准为人工对心室心房的容积计算，同样存在人为因素的干扰；另一方面，仅仅对于图像分割处理，没有涉及对临床有实质意义的疾病预测；分割结果没有得到后续步骤的验证，比如心脏功能指标的计算；或者，只通过少数指标来验证，没有考虑真实临床情况。
针对上述相关技术存在的问题，本公开提出了一种心脏磁共振影像分析及心肌病预测方案，采用心脏磁共振影像的人工智能分析技术，实现了对心脏磁共振影分析的全自动化，能快速完成对心脏磁共振影像的分析，快速得到医师需要的各项心脏功能指标，且不受人为因素的干扰，并且能达到较高的准确率。
图2示出根据本公开一实施例的一种心脏磁共振影像分析及心肌病预测的方法的流程图。如图2所示，所述方法通过训练后的神经网络执行处理，所述处理至少可以包括：
步骤10、根据心脏磁共振影像，得到至少包含心脏区域的第一图像；
步骤20、根据所述第一图像，得到心脏指标；
步骤30、根据所述心脏指标，进行分类处理，得到分类结果。
其中，心脏磁共振影像是一种无创的成像技术，心脏磁共振影像具有良好的软组织对比分辨率，扫描视野大，可获各个方位及不同角度的斜断面图像，临床应用该影像诊断心脏及大血管疾病。
本公开实施例中方法，基于人工智能技术实现了从原始心脏磁共振图像，临床资料到疾病预测的完整的全自动的处理流程，对临床有直接的使用价值和参考价值；同时，此方法贴近临床实际作业流程，为临床工作者提供了大量的分析指标，相比于相关技术中的其它黑匣子技术方案，该方法更容易被临床工作者接受，适用性更强。
在一种可能的实现方式中，所述训练后的神经网络包括：目标检测网络、语义分割网络、预测网络。
其中，目标检测网络，用于提取心脏磁共振影像中的心脏区域；语义分割网络和预测网络，用于求取心脏指标及心脏病预测。可以预先选取合适的训练样本集对上述三个神经网络进行训练，得到训练后的神经网络，并进一步用于心脏磁共振影像分析及心肌病预测。
需要说明的是，本公开实施例中在从原始心脏磁共振图像到得到心脏病预测结果的整体流程中，前后各神经网络可以相互监督，相互验证，示例性地，分割金标准的合理性和语义分割网络的准确性可以通过求取的各项心脏指标的合理性和心脏病预测的准确性进行验证。同时，还可以根据心脏病预测结果等，定期不定期的对上述三个神经网络的参数进行调整修正，从而提高目标检测、语义分割和心脏病预测的准确性。
在一种可能的实现方式中，在步骤10中，所述根据心脏磁共振影像，得到至少包含心脏区域的第一图像；包括：
步骤101、选取心脏磁共振影像中的电影短轴图像；
步骤102、通过所述目标检测网络，提取所述电影短袖图像中的心脏区域；
步骤103、生成包含所述心脏区域的第一图像。
其中，心脏磁共振影像中除了轴、矢、冠三个方向成像平面外，心脏还需要特殊的几种斜面成像，包括长轴位、短轴位、流入流出道等等，即心脏磁共振影像序列可以包括：长轴位序列、短轴位序列、右室流出道序列等等；在上述各心脏磁共振影像序列中，电影短轴序列是最重要的序列，提供最丰富的左心室信息，因此选取心脏磁共振影像中的电影短轴图像，以得到更加准确的处理分析及心脏病预测结果。
本公开实施例中，通过目标检测网络自动识别心脏区域，并可以用方框将感兴趣区域切出，减少无关组织的干扰，进而提高进一步的图像分割和心脏病预测的准确性。
举例来说，图3示出根据本公开一实施例的目标检测网络的结构图；如图3所示，该全卷积神经网络可以包括卷积层(提取特征，得到特征图谱)，兴趣区域RIO(即心脏区域)建议与分类网络，兴趣区域的池化层(融合特征图和区域建议与分类结果，形成固定尺寸的特征图)，区域特征图分类层、全连接层等。可以将一位患者的心脏磁共振电影短轴图像输入到该全卷积神经网络中，通过卷积、池化等处理后，最后通过分类输出和目标框回归输出，生成包含心脏区域的第一图像，例如，生成与输入神经网络的电影短轴图像相同尺寸，并对心脏区域高亮显示，其他区域统一为同一灰度值的图像。
在一种可能的实现方式中，在步骤20中，所述根据所述第一图像，得到心脏指标，可以包括：
步骤201、通过对所述第一图像进行分割处理，得到分割结果；
步骤202、根据所述分割结果，得到心脏指标。
示例性地，可以通过对一位患者的所有时相所有扫描层进行分割处理，获得其在一个完整心动周期的左心室内膜轮廓，左心室外膜轮廓和右心室内膜轮廓，从而可以计算得到左心室的各项重要指标；例如：通过左心室内膜计算左心室容积；左心室外膜与内膜结合计算心肌质量及心肌厚度等；右心室内膜计算右心室容积，与左心室内膜外膜一起定位室间隔，从而为左心室分16节段。这些指标对诊断左心室心肌病有重大意义，通过对节段指标的分析，可以预测哪个节段出现问题，进而找到冠脉的责任血管。
在一种可能的实现方式中，在步骤201中，所述通过对所述第一图像进行分割处理，得到分割结果，可以包括：
步骤20101、通过所述语义分割网络对所述第一图像进行分割，得到左心室内膜、左心室外膜及右心室内膜分别对应的掩码；
步骤20102、根据所述掩码，得到左心室内膜轮廓，左心室外膜轮廓和右心室内膜轮廓。
其中，语义分割网络可以为深度学习卷积神经网络模型，该卷积神经网络的设计融合了多种深度学习神经网络的思想和机器学习的思想，包括全卷积神经网络，空洞卷积，多任务学习等；从而提高语义分割网络的准确性和泛化能力。
举例来说，图4示出根据本公开一实施例的语义分割网络的结构图；如图4所示，该深度学习卷积神经网络，采用了全卷积神经网络的Unet架构，并加入了空洞卷积和多任务学习的结构，包括：多个空洞卷积(空洞卷积1-4)、多个编码器(编码器1-4)、多个解码器(解码器1-8)、密集层、卷积层、融合器，且采用了跳跃式连接的方式。通过运用该预先训练好的深度学习卷积神经网络对上述第一图像进行语义分割，预测出左心室内膜、左心室外膜和右心室内膜的掩码，再由该掩码得到左心室内膜、左心室外膜和右心室内膜轮廓。
在一种可能的实现方式中，在步骤202中，所述根据所述分割结果，得到心脏指标，可以包括：
步骤20201、根据所述左心室内膜轮廓、左心室外膜轮廓和右心室内膜轮廓得到左心室容积时间曲线、右心室容积时间曲线、左心室心肌质量及左心室16节段；
步骤20202、根据所述左心室容积时间曲线、右心室容积时间曲线、左心室心肌质量及左心室16节段，得到包括整体指标及功能指标的心脏指标；所述整体指标根据所述左心室容积时间曲线、右心室容积时间曲线、左心室心肌质量得到，包括：舒张末容积、收缩末容积、射血分数、最大射血率、最大充盈率、达峰时间、舒张末心肌质量、收缩末心肌质量中的至少一种；所述功能指标根据所述左心室16节段得到，包括：节段心肌厚度、节段增厚率、节段内膜径向运动曲线、节段外膜径向运动曲线中的至少一种。
图5示出根据本公开一实施例的求取心脏指标的流程图；如图5所示，可以根据上述步骤得到的左心室内膜轮廓，左心室外膜轮廓和右心室内膜轮廓，首先，得到左心室容积时间曲线、右心室容积时间曲线、左心室心肌质量；然后，由左心室的容积时间曲线、右心室容积时间曲线、左心室心肌质量可以得到整体功能指标，例如，可以由左心室的容积时间曲线得到左心室舒张末容积(即舒张结束时的容积，是最大容积)，左心室收缩末容积(即收缩结束时的容积，是最小容积)，左心室射血分数(数值为：(舒张末容积–收缩末容积)/舒张末容积)、最大射血率、最大充盈率、达峰时间等左心室的指标；可以由右心室容积时间曲线得到右心室舒张末容积，右心室收缩末容积，右心室射血分数，舒张末期相，收缩末期相等右心室的指标；可以由左心室心肌质量得到左心室舒张末心肌质量，左心室收缩末心肌质量等心肌指标。同时，通过对短轴位上可见的左心室16节段(即左心室的底部层被划分为1-6节段，中部层被划分为7-12节段，心尖部层被划分为13-16节段)的自动识别，可以计算得到每个节段的各项功能指标，如：左心室内膜运动曲线，左心室外膜运动曲线，左心室心肌增厚率(数值为：(收缩末心肌厚度–舒张末心肌厚度)/舒张末心肌厚度)等等。
在一种可能的实现方式中，在步骤30中，所述根据所述心脏指标，进行分类处理，得到分类结果，可以包括：
步骤301、将心脏指标和参考资料整理为一维数据；其中，所述参考资料可以为临床资料，包括：性别、年龄、身高、体重、个人病史中的至少一种；
步骤302、通过所述预测网络对所述一维数据进行分类，得到分类结果。
示例性地，预测网络可以为残差卷积网络模型，图6示出根据本公开一实施例的预测网络的结构图，如图6所示，该残差卷积网络模型可以包括：多个残差卷积块(1D残差卷积块1-3)、平均池化层、密集层。将上述左心室的各项重要指标(整体指标、功能指标)和相关的患者临床资料(即参考资料)排列整理成一维数据，将其输入到预先训练好的该残差卷积网络中(即将整体指标、功能指标、临床资料依次输入到该网络中)，可以预测正常人，以及心肌梗死，扩张性心肌病，肥厚型心肌病，心肌淀粉样变等左心室心肌病。这样，将上述获得的左心室重要功能指标与患者的临床资料进行组合，然后通过一维卷积神经网络来预测左心室心肌病，进而医疗人员可以进一步的结合该预测结果，对相关心脏病进行诊断，能够提高疾病诊断的效率和正确性。
举例来说，图7示出根据本公开一实施例的一种心脏磁共振影像分析及心肌病预测的方法的流程图，如图7所示，可以将一位患者的心脏磁共振电影短轴图像，输入到神经网络一中(即目标检测网络)，从上述原始磁共振图像自动识别并切出心脏ROI区域，进而将得到的图像输入到神经网络二中(即语义分割网络)，利用深层全卷积神经网络自动分割左心室的内、外膜以及右心室的内膜；进而根据左心室的分割结果，计算其整体指标，比如舒张末容积、收缩末容积、射血分数和节段指标(即功能指标)，比如节段运动曲线、节段心肌增厚率；将上述各项指标输入到神经网络三中(即预测网络)，利用深层卷积神经网络对各项指标进行分类，用来预测左心室的心肌病。
在一种可能的实现方式中，本公开实施例中对电影短轴图像经过上述完整流程处理得到心脏病预测结果之外，还可以将心脏磁共振电影短轴的视频直接运用训练好的深度学习神经网络模型进行分析处理及心脏病的预测，示例性地，可以利用神经网络自动识别同一层的短轴视频中的心脏部位，然后用方框切出心脏部位，尽量多地去掉不相关的组织；将同一患者的不同层的短轴视频进行位置校准，将其处理成连续的视频；将多位患者的视频和心肌病的标签输入到深度学习神经网络模型进行训练，得到预测模型；将未知疾病的患者的心脏磁共振电影短轴视频输入到上述训练好的神经网络模型(即预测模型)，结合临床资料来预测左心室心肌病。
需要说明的是，尽管以上述实施例作为示例介绍了心脏磁共振影像分析及心肌病预测方法如上，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定各实施方式，只要符合本公开的技术方案即可。
这样，本公开实施例中，采用心脏磁共振影像的人工智能分析技术，可以通过训练后的神经网络实现了对图像分析的全自动化，能快速完成对心脏磁共振影像的分析，快速得到医师需要的各项心脏功能指标，不受人为因素的干扰，能达到较高的准确率。
图8示出根据本公开一实施例的一种心脏磁共振影像分析及心肌病预测的装置的结构图，如图8所示，所述装置通过训练后的神经网络执行处理，可以包括：心脏区域提取模块41，用于根据心脏磁共振影像，得到至少包含心脏区域的第一图像；心脏指标求取模块42，用于根据所述第一图像，得到心脏指标；分类模块43，用于根据所述心脏指标，进行分类处理，得到分类结果。
在一种可能的实现方式中，所述心脏指标求取模块，可以包括：分割单元，用于通过对所述第一图像进行分割处理，得到分割结果；心脏指标求取单元，用于根据所述分割结果，得到心脏指标。
在一种可能的实现方式中，所述训练后的神经网络包括：目标检测网络、语义分割网络、预测网络。
在一种可能的实现方式中，所述分类模块，可以包括：数据整理单元，用于将心脏指标和参考资料整理为一维数据；所述参考数据包括：性别、年龄、身高、体重、个人病史中的至少一种；分类单元，用于通过所述预测网络对所述一维数据进行分类，得到分类结果。
在一种可能的实现方式中，所述分割单元，可以包括：掩码求取子单元，用于通过所述语义分割网络对所述第一图像进行分割，得到左心室内膜、左心室外膜及右心室内膜分别对应的掩码；轮廓求取子单元，用于根据所述掩码，得到左心室内膜轮廓，左心室外膜轮廓和右心室内膜轮廓。
在一种可能的实现方式中，所述心脏指标求取单元，可以包括：第一求取子单元，用于根据所述左心室内膜轮廓、左心室外膜轮廓和右心室内膜轮廓得到左心室容积时间曲线、右心室容积时间曲线、左心室心肌质量及左心室16节段；第一求取子单元，用于根据所述左心室容积时间曲线、右心室容积时间曲线、左心室心肌质量及左心室16节段，得到包括整体指标及功能指标的心脏指标；所述整体指标根据所述左心室容积时间曲线、右心室容积时间曲线、左心室心肌质量得到，包括：舒张末容积、收缩末容积、射血分数、最大射血率、最大充盈率、达峰时间、舒张末心肌质量、收缩末心肌质量中的至少一种；所述功能指标根据所述左心室16节段得到，包括：节段心肌厚度、节段增厚率、节段内膜径向运动曲线、节段外膜径向运动曲线中的至少一种。
在一种可能的实现方式中，所述心脏区域提取模块，可以包括：图像选取单元，用于选取心脏磁共振影像中的电影短轴图像；图像提取单元，用于通过所述目标检测网络，提取所述电影短袖图像中的心脏区域；图像生成单元，用于生成包含所述心脏区域的第一图像。
需要说明的是，尽管以上述实施例作为示例介绍了心脏磁共振影像分析及心肌病预测装置如上，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定各实施方式，只要符合本公开的技术方案即可。
这样，本公开实施例中，采用心脏磁共振影像的人工智能分析技术，可以通过训练后的神经网络实现了对图像分析的全自动化，能快速完成对心脏磁共振影像的分析，快速得到医师需要的各项心脏功能指标，不受人为因素的干扰，能达到较高的准确率。
图9示出根据本公开一实施例的一种用于心脏磁共振影像分析及心肌病预测的装置1900的框图。例如，装置1900可以被提供为一服务器。参照图9，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种心脏磁共振影像分析及心肌病预测的方法，其特征在于，所述方法通过训练后的神经网络执行处理，所述处理至少包括：
根据心脏磁共振影像，得到至少包含心脏区域的第一图像；
根据所述第一图像，得到心脏指标；
根据所述心脏指标，进行分类处理，得到分类结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像，得到心脏指标，包括：
通过对所述第一图像进行分割处理，得到分割结果；
根据所述分割结果，得到心脏指标。
3.根据权利要求1所述的方法，其特征在于，所述训练后的神经网络包括：目标检测网络、语义分割网络、预测网络。
4.根据权利要求1-3中任一所述的方法，其特征在于，所述根据所述心脏指标，进行分类处理，得到分类结果，包括：
将心脏指标和参考资料整理为一维数据；所述参考数据包括：性别、年龄、身高、体重、个人病史中的至少一种；
通过所述预测网络对所述一维数据进行分类，得到分类结果。
5.根据权利要求3所述的方法，其特征在于，所述通过对所述第一图像进行分割处理，得到分割结果，包括：
通过所述语义分割网络对所述第一图像进行分割，得到左心室内膜、左心室外膜及右心室内膜分别对应的掩码；
根据所述掩码，得到左心室内膜轮廓，左心室外膜轮廓和右心室内膜轮廓。
6.根据权利要求5述的方法，其特征在于，所述根据所述分割结果，得到心脏指标，包括：
根据所述左心室内膜轮廓、左心室外膜轮廓和右心室内膜轮廓得到左心室容积时间曲线、右心室容积时间曲线、左心室心肌质量及左心室16节段；
根据所述左心室容积时间曲线、右心室容积时间曲线、左心室心肌质量及左心室16节段，得到包括整体指标及功能指标的心脏指标；
所述整体指标根据所述左心室容积时间曲线、右心室容积时间曲线、左心室心肌质量得到，包括：舒张末容积、收缩末容积、射血分数、最大射血率、最大充盈率、达峰时间、舒张末心肌质量、收缩末心肌质量中的至少一种；
所述功能指标根据所述左心室16节段得到，包括：节段心肌厚度、节段增厚率、节段内膜径向运动曲线、节段外膜径向运动曲线中的至少一种。
7.根据权利要求2所述的方法，其特征在于，所述根据心脏磁共振影像，得到至少包含心脏区域的第一图像；包括：
选取心脏磁共振影像中的电影短轴图像；
通过所述目标检测网络，提取所述电影短袖图像中的心脏区域；
生成包含所述心脏区域的第一图像。
8.一种心脏磁共振影像分析及心肌病预测的装置，其特征在于，所述装置通过训练后的神经网络执行处理，包括：
心脏区域提取模块，用于根据心脏磁共振影像，得到至少包含心脏区域的第一图像；
心脏指标求取模块，用于根据所述第一图像，得到心脏指标；
分类模块，用于根据所述心脏指标，进行分类处理，得到分类结果。
9.一种心脏磁共振影像分析及心肌病预测的装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述存储器存储的可执行指令时实现权利要求1至权利要求7中任意一项所述的方法。
10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
CN201911244592.0A 2019-12-06 2019-12-06 一种心脏磁共振影像分析及心肌病预测的方法、装置 Pending CN110766691A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911244592.0A CN110766691A (zh) 2019-12-06 2019-12-06 一种心脏磁共振影像分析及心肌病预测的方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911244592.0A CN110766691A (zh) 2019-12-06 2019-12-06 一种心脏磁共振影像分析及心肌病预测的方法、装置

Publications (1)

Publication Number Publication Date
CN110766691A true CN110766691A (zh) 2020-02-07

Family

ID=69341216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911244592.0A Pending CN110766691A (zh) 2019-12-06 2019-12-06 一种心脏磁共振影像分析及心肌病预测的方法、装置

Country Status (1)

Country Link
CN (1) CN110766691A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111481176A (zh) * 2020-05-20 2020-08-04 三峡大学附属仁和医院 一种基于磁共振成像的评估心脏功能的快速定量方法
CN111754534A (zh) * 2020-07-01 2020-10-09 杭州脉流科技有限公司 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质
CN113034438A (zh) * 2021-03-01 2021-06-25 北京安德医智科技有限公司 一种ct灌注参数预测方法及装置、电子设备和存储介质
CN113112473A (zh) * 2021-04-12 2021-07-13 四川大学华西医院 一种人体扩张型心肌病的自动诊断系统
CN113240659A (zh) * 2021-05-26 2021-08-10 广州天鹏计算机科技有限公司 基于深度学习的影像特征提取方法
CN113469948A (zh) * 2021-06-08 2021-10-01 北京安德医智科技有限公司 左心室节段识别方法及装置、电子设备和存储介质
CN113808143A (zh) * 2021-09-06 2021-12-17 沈阳东软智能医疗科技研究院有限公司 图像分割方法、装置、可读存储介质及电子设备
CN114581425A (zh) * 2022-03-10 2022-06-03 四川大学 一种基于深度神经网络的心肌段缺损图像处理方法
CN115426940A (zh) * 2020-02-12 2022-12-02 意锐瑟科技公司 非侵入性心脏监测器和使用记录的心脏数据推断患者生理特性的方法
CN115965621A (zh) * 2023-02-15 2023-04-14 中国医学科学院阜外医院 一种基于磁共振成像的主要心脏不良事件的预测装置
CN113808143B (zh) * 2021-09-06 2024-05-17 沈阳东软智能医疗科技研究院有限公司 图像分割方法、装置、可读存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100080434A1 (en) * 2008-09-26 2010-04-01 Siemens Corporate Research, Inc. Method and System for Hierarchical Parsing and Semantic Navigation of Full Body Computed Tomography Data
CN106096632A (zh) * 2016-06-02 2016-11-09 哈尔滨工业大学 基于深度学习和mri图像的心室功能指标预测方法
WO2017210690A1 (en) * 2016-06-03 2017-12-07 Lu Le Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans
CN109785334A (zh) * 2018-12-17 2019-05-21 深圳先进技术研究院 心脏磁共振图像分割方法、装置、终端设备及存储介质
CN110349149A (zh) * 2019-07-12 2019-10-18 广东省人民医院(广东省医学科学院) 基于深度神经网络和形态相似度的先心病分类系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100080434A1 (en) * 2008-09-26 2010-04-01 Siemens Corporate Research, Inc. Method and System for Hierarchical Parsing and Semantic Navigation of Full Body Computed Tomography Data
CN106096632A (zh) * 2016-06-02 2016-11-09 哈尔滨工业大学 基于深度学习和mri图像的心室功能指标预测方法
WO2017210690A1 (en) * 2016-06-03 2017-12-07 Lu Le Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans
CN109785334A (zh) * 2018-12-17 2019-05-21 深圳先进技术研究院 心脏磁共振图像分割方法、装置、终端设备及存储介质
CN110349149A (zh) * 2019-07-12 2019-10-18 广东省人民医院(广东省医学科学院) 基于深度神经网络和形态相似度的先心病分类系统及方法

Non-Patent Citations (12)

* Cited by examiner, † Cited by third party
Title
FISHER YU ET AL.: "MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
JONATHAN LONG ET AL.: "Fully Convolutional Networks for Semantic Segmentation", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
LIANG-CHIEH CHEN ET AL.: "Attention to Scale: Scale-aware Semantic Image Segmentation", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
LIANG-CHIEH CHEN ET AL.: "DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution,and Fully Connected CRFs", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
LIANG-CHIEH CHEN ET AL.: "SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
PIM MOESKOPS ET AL.: "Adversarial training and dilated convolutions for brain MRI segmentation", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
刘新民等著: "《现代家庭医生》", 30 November 1998 *
刘雪玲: "《实用临床心血管疾病诊断与治疗》", 30 September 2017 *
李坤成: "《心血管磁共振成像诊断学》", 31 October 2014 *
王丹: "MRI与64层螺旋CT在陈旧性心肌梗死左心功能评价中的应用", 《中国CT和MRI杂志》 *
申时凯,佘玉梅著: "《基于云计算的大数据处理技术发展与应用》", 31 March 2019 *
蒋宏达，叶西宁: "一种改进的I-Unet网络的皮肤病图像分割算法", 《现代电子技术》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115426940A (zh) * 2020-02-12 2022-12-02 意锐瑟科技公司 非侵入性心脏监测器和使用记录的心脏数据推断患者生理特性的方法
CN111481176A (zh) * 2020-05-20 2020-08-04 三峡大学附属仁和医院 一种基于磁共振成像的评估心脏功能的快速定量方法
CN111754534A (zh) * 2020-07-01 2020-10-09 杭州脉流科技有限公司 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质
CN113034438A (zh) * 2021-03-01 2021-06-25 北京安德医智科技有限公司 一种ct灌注参数预测方法及装置、电子设备和存储介质
CN113112473B (zh) * 2021-04-12 2022-11-08 四川大学华西医院 一种人体扩张型心肌病的自动诊断系统
CN113112473A (zh) * 2021-04-12 2021-07-13 四川大学华西医院 一种人体扩张型心肌病的自动诊断系统
CN113240659A (zh) * 2021-05-26 2021-08-10 广州天鹏计算机科技有限公司 基于深度学习的影像特征提取方法
CN113469948A (zh) * 2021-06-08 2021-10-01 北京安德医智科技有限公司 左心室节段识别方法及装置、电子设备和存储介质
CN113808143A (zh) * 2021-09-06 2021-12-17 沈阳东软智能医疗科技研究院有限公司 图像分割方法、装置、可读存储介质及电子设备
CN113808143B (zh) * 2021-09-06 2024-05-17 沈阳东软智能医疗科技研究院有限公司 图像分割方法、装置、可读存储介质及电子设备
CN114581425A (zh) * 2022-03-10 2022-06-03 四川大学 一种基于深度神经网络的心肌段缺损图像处理方法
CN114581425B (zh) * 2022-03-10 2022-11-01 四川大学 一种基于深度神经网络的心肌段缺损图像处理方法
CN115965621A (zh) * 2023-02-15 2023-04-14 中国医学科学院阜外医院 一种基于磁共振成像的主要心脏不良事件的预测装置

Similar Documents

Publication Publication Date Title
CN110766691A (zh) 一种心脏磁共振影像分析及心肌病预测的方法、装置
US11501485B2 (en) System and method for image-based object modeling using multiple image acquisitions or reconstructions
US20220139529A1 (en) Systems and methods for predicting image quality scores of images
CN111012377B (zh) 超声心动图心脏参数计算以及心肌应变测量方法、装置
JP7134962B2 (ja) 解剖学的画像処理における確率的セグメンテーションのためのシステム及び方法
US20190139641A1 (en) Artificial intelligence for physiological quantification in medical imaging
EP1636757A2 (en) Systems and methods for providing automated regional myocardial assessment for cardiac imaging
WO2005081168A2 (en) Systems and methods for automated diagnosis and decision support for heart related diseases and conditions
US11308362B2 (en) Method and system for generating a centerline for an object, and computer readable medium
CN112766377B (zh) 左心室磁共振影像智能分类方法、装置、设备和介质
EP3853770A1 (en) Systems and methods for medical image diagnosis using machine learning
CN113469948B (zh) 左心室节段识别方法及装置、电子设备和存储介质
JP7325411B2 (ja) 心エコー図を分析する方法及び装置
EP3786972A1 (en) Improving performance of machine learning models for automatic quantification of coronary artery disease
CN112529919A (zh) 用于生成受试者的心脏的牛眼图生成的系统和方法
US20230252636A1 (en) Method and system for the automated determination of examination results in an image sequence
US11030490B2 (en) Performance of machine learning models for automatic quantification of coronary artery disease
US20220082647A1 (en) Technique for determining a cardiac metric from cmr images
Patra et al. Sequential anatomy localization in fetal echocardiography videos
WO2022096867A1 (en) Image processing of intravascular ultrasound images
CN109345498A (zh) 融合双源ct数据的冠脉分割方法
US20220092771A1 (en) Technique for quantifying a cardiac function from CMR images
CN112446499A (zh) 改进用于自动量化冠状动脉疾病的机器学习模型的性能
CN113808143B (zh) 图像分割方法、装置、可读存储介质及电子设备
US20240130715A1 (en) Method and device for detecting medical indices in medical images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200207

RJ01 Rejection of invention patent application after publication