CN110458833A - 基于人工智能的医学图像处理方法、医学设备和存储介质 - Google Patents

基于人工智能的医学图像处理方法、医学设备和存储介质 Download PDF

Info

Publication number
CN110458833A
CN110458833A CN201910752632.6A CN201910752632A CN110458833A CN 110458833 A CN110458833 A CN 110458833A CN 201910752632 A CN201910752632 A CN 201910752632A CN 110458833 A CN110458833 A CN 110458833A
Authority
CN
China
Prior art keywords
image
segmentation
neural network
network
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910752632.6A
Other languages
English (en)
Other versions
CN110458833B (zh
Inventor
张富博
魏东
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910752632.6A priority Critical patent/CN110458833B/zh
Publication of CN110458833A publication Critical patent/CN110458833A/zh
Priority to PCT/CN2020/105461 priority patent/WO2021027571A1/zh
Priority to US17/503,160 priority patent/US11941807B2/en
Application granted granted Critical
Publication of CN110458833B publication Critical patent/CN110458833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开提供了一种基于人工智能的医学图像处理方法、医学设备和存储介质。所述基于人工智能的医学图像处理方法，包括：对所述医学图像进行处理，生成编码中间图像；对所述编码中间图像进行处理，分割第一特征并生成分割中间图像；基于注意力机制对所述编码中间图像和分割中间图像进行处理，生成检测中间输入图像；以及对所述检测中间输入图像进行处理，检测所述第一特征中包括的第二特征。

Description

基于人工智能的医学图像处理方法、医学设备和存储介质
技术领域
本公开涉及智能医疗领域，具体的涉及一种基于人工智能的医学图像处理方法、医学设备和存储介质。
背景技术
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术可以广泛应用于传统的医学领域。例如，可以利用神经网络对医疗设备获取的医学图像进行处理，以更快、更准确进行特征检测。传统的基于人工智能的医学图像处理方法仅涉及二维图像，而并未充分利用疾病相关特征的三维空间特性，降低了检测结果准确性。此外，对于特定疾病特征的识别过程，忽略了医学先验知识对于检测过程的作用，限制了基于人工智能的医学图像处理方法的发展。
发明内容
本公开提供一种基于人工智能的医学图像处理方法，用于基于医学先验知识进行特征检测，并提高检测结果的准确性。
根据本公开的一方面，提供了一种基于人工智能的医学图像处理方法，包括：对所述医学图像进行处理，生成编码中间图像；对所述编码中间图像进行处理，分割第一特征并生成分割中间图像；基于注意力机制对所述编码中间图像和分割中间图像进行处理，生成检测中间输入图像；以及对所述检测中间输入图像进行处理，检测所述第一特征中包括的第二特征。
根据本公开的一些实施例，对所述医学图像进行处理，生成编码中间图像包括：利用编码神经网络对所述医学图像进行处理，生成编码中间图像，所述编码神经网络包括M个处理层，M为正整数，所述处理层包括卷积网络、转置卷积网络和池化层中的至少一种，所述利用编码神经网络对所述医学图像进行处理包括：利用所述编码神经网络的第1处理层对所述医学图像进行处理，输出第1编码中间图像；利用所述编码神经网络的第m1处理层对所述编码神经网络的第m1-1处理层输出的第m1-1编码中间图像进行处理，输出第m1编码中间图像，其中，m1为正整数，m1大于1小于等于M；所述对所述编码中间图像进行处理，分割第一特征并生成分割中间图像包括：利用分割神经网络对所述编码中间图像进行处理，分割第一特征并生成分割中间图像，所述分割神经网络包括M个处理层，其中，利用分割神经网络的第1处理层对所述编码神经网络的第M处理层输出的第M编码中间图像进行处理，输出第1分割中间图像；利用分割神经网络的第m2处理层对所述分割神经网络的第m2-1处理层输出的第m2-1分割中间图像以及所述编码神经网络的第M-m2+1处理层输出的第M-m2+1编码中间图像进行处理，输出第m2分割中间图像，其中，m2为正整数，m2大于1小于等于M；利用卷积网络对分割神经网络的第M处理层输出的第M分割中间图像进行处理，生成所述第一特征的分割结果。
根据本公开的一些实施例，所述检测中间输入图像进行处理，检测所述第一特征中包括的第二特征包括：利用检测神经网络检测中间输入图像进行处理，检测所述第一特征中包括的第二特征，所述检测中间输入图像进行处理，检测所述第一特征中包括的第二特征包括：利用检测神经网络检测中间输入图像进行处理，检测所述第一特征中包括的第二特征，所述检测神经网络包括N个处理层，N为正整数，其中，利用检测神经网络的第1处理层对所述编码神经网络的第M处理层输出的第M编码中间图像进行处理，输出第1检测中间图像；基于注意力机制对所述编码中间图像和分割中间图像进行处理，生成检测中间输入图像包括：利用注意力网络基于注意力机制对所述编码中间图像和分割中间图像进行处理，生成检测中间输入图像，其中，利用注意力网络对检测神经网络的第n-1处理层输出的第n-1检测中间图像、所述编码神经网络的第m1处理层输出的第m1编码中间图像以及所述分割神经网络的第m2处理层输出的第m2分割中间图像进行处理，输出第n检测中间输入图像；利用检测神经网络的第n处理层所述第n检测中间输入图像进行处理，输出第n检测中间图像，其中，第m1编码中间图像和第m2分割中间图像与所述第n-1检测中间图像具有相同的图像尺寸，n为正整数，n大于1小于等于N。
根据本公开的一些实施例，利用注意力网络输出第n检测中间输入图像包括：对所述第m1编码中间图像和第n-1检测中间图像进行通道串联得到串联图像；所述串联图像和第m2分割中间图像进行相加得到相加图像；利用激活函数对所述相加图像进行处理得到注意力特征图像；对所述注意力特征图像与所述串联图像进行相乘得到注意力增强图像；对所述注意力增强图像和串联图像进行相加得到所述第n检测中间输入图像。
根据本公开的一些实施例，所述医学图像为计算机断层扫描血管造影图像，所述第一特征为动脉特征，所述第二特征为动脉瘤特征、动脉血管壁钙化特征、动脉血管阻塞特征中的至少一种。
根据本公开的一些实施例，检测所述第一特征中包括的第二特征包括：输出所述第二特征的检测结果，所述检测结果包括：第二特征的预测框参数和所述预测框中包含第二特征的预测概率，所述医学图像处理方法还包括：在包含所述第一特征的图像上显示候选框，所述候选框内包括所述检测神经网络检测得到的所述第二特征的预测框。
根据本公开的一些实施例，所述医学图像处理方法还包括：按照戴斯损失函数和交叉熵损失函数来训练所述分割神经网络和编码神经网络，其中，所述分割神经网络和编码神经网络为三维卷积神经网络。
根据本公开的一些实施例，所述医学图像处理方法还包括：按照分类损失函数和回归损失函数来训练所述检测神经网络和编码神经网络，其中，所述检测神经网络为三维卷积神经网络。
根据本公开的一些实施例，按照戴斯损失函数和交叉熵损失函数来训练所述分割神经网络和编码神经网络包括：按照戴斯损失函数基于真实分割标签和分割神经网络输出的第一特征的分割标签计算戴斯损失值；按照交叉熵损失函数基于真实分割标签和分割神经网络输出的第一特征的分割标签计算交叉熵损失值；根据预设阈值，基于所述戴斯损失值和交叉熵损失值进行训练，其中，戴斯损失函数和交叉熵损失函数分别表示为：
其中，si表示所述医学图像中第i个像素的真实分割标签，qi表示分割神经网络输出的所述第i个像素的预测分割标签，V表示所述医学图像中包括的总的像素数目。
根据本公开的一些实施例，根据预设阈值，基于所述戴斯损失值和交叉熵损失值进行训练包括：在所述交叉熵损失值小于所述预设阈值的情况下，基于所述戴斯损失值进行训练；在所述交叉熵损失值不小于所述预设阈值的情况下，基于所述交叉熵损失值进行训练。
根据本公开的一些实施例，所述分割神经网络包括M个处理层，所述按照戴斯损失函数和交叉熵损失函数来训练所述分割神经网络和编码神经网络还包括：按照戴斯损失函数基于真实分割标签和分割神经网络的第m个处理层输出的第一特征的分割标签计算中间戴斯损失值；按照交叉熵损失函数基于真实分割标签和分割神经网络的第m个处理层输出的第一特征的分割标签计算中间交叉熵损失值；根据所述预设阈值，基于所述中间戴斯损失值和中间交叉熵损失值进行训练，其中，m和M为正整数，m大于1小于M。
根据本公开的一些实施例，所述按照分类损失函数和回归损失函数来训练所述检测神经网络和编码神经网络包括：利用所述编码神经网络、分割神经网络和检测神经网络对训练样本进行处理，得到检测结果，所述检测结果包括的预测框参数包括所述预测框的中心点位置坐标和尺寸；按照分类损失函数基于所述预测概率计算分类损失值，按照回归损失函数基于所述预测框参数以及所述第二特征的真实框参数计算回归损失值；基于所述分类损失值和回归损失值进行训练。
根据本公开的一些实施例，按照分类损失函数和回归损失函数来训练所述检测神经网络和编码神经网络还包括：在医学图像中进行采样得到至少一个训练样本；计算所述至少一个训练样本的边界框与所述第二特征的边界框的面积比值；将所述面积比值大于第一阈值的训练样本确定为正训练样本，将所述面积比值小于第二阈值的训练样本确定为负训练样本，其中，所述正训练样本用于训练分类损失和回归损失，所述负训练样本用于训练分类损失。
根据本公开的另一方面，提供了一种基于人工智能的医学设备，包括：图像采集装置，配置成获取医学图像；处理器；和存储器，其中，所述存储器中存储有计算机可读代码，所述计算机可读代码当由所述处理器运行时，执行如上所述的基于人工智能的医学图像处理方法。
根据本公开的又一方面，提供了一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如上所述的基于人工智能的医学图像处理方法。
利用本公开提供的基于人工智能的医学图像处理方法，可以基于第一特征中包括要检测的第二特征的医学先验知识进行特征检测处理。利用编码神经网络对医学图像进行处理，生成编码中间图像，利用分割神经网络进行第一特征的分割处理以及利用检测神经网络进行第二特征的检测处理，在处理的过程中，分割神经网络和检测神经网络共用编码神经网络输出的编码中间图像，并将分割神经网络输出的分割中间图像引入到检测神经网络的处理过程，使得检测神经网络的处理更关注于第一特征，从而提高对于第二特征的检测结果的准确性。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本公开实施例的基于人工智能的医学图像处理方法的流程图；
图2示出了根据本公开实施例的多任务处理方法的整体流程示意图；
图3示出了根据本公开实施例的多任务处理网络的整体结构示意图；
图4示出了根据本公开实施例的注意力网络的结构示意图；
图5示出了根据本公开实施例的基于人工智能的医学图像处理装置的示意性框图；
图6示出了根据本公开实施例的基于人工智能的医学设备的示意性框图；
图7示出了根据本公开实施例的示例性计算设备的架构的示意图；
图8示出了根据本公开实施例的计算机存储介质的示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中。
本公开提供了一种用于基于人工智能的医学图像处理方法，用于利用包括编码神经网络、分割神经网络和检测神经网络的多任务处理网络来进行医学图像处理，提高特征检测的准确性。
图1示出了根据本公开实施例的基于人工智能的医学图像处理方法的流程图。如图1所示，首先，在步骤S101，对所述医学图像进行处理，生成编码中间图像。
根据本公开实施例，可以利用编码神经网络来执行所述步骤S101进行的处理。所述编码神经网络为三维卷积神经网络，即，所述编码神经网络的输入图像为三维图像。根据本公开实施例，所述编码神经网络可以包括一个或多个卷积神经网络、池化层、残差网络等结构，用于对输入的医学图像进行编码处理以提取特征图像，并输出一个或多个编码中间图像。此外，所述编码神经网络基于三维图像生成的编码中间图像也是三维图像。所述编码神经网络的具体结构以及处理方式将在下文详细描述。
根据本公开实施例，所述医学图像可以是计算机断层扫描血管造影图像(Computed Tomography Angiography,CTA)。例如，可以利用CT设备获取颅内血管造影图像作为所述医学图像。CT设备得到的所述颅内血管造影图像包括颅内血管位于不同深度位置的图像，组成三维图像。举例来说，所述颅内血管造影图像的尺寸可以表示为512*512*256，其中，512*512表示所述图像在二维平面上具有512*512个像素，共包括256层图像，即对应于256个深度位置。在根据本公开的其他实施例中，所述医学图像也可以是磁共振血管造影图像(Magnetic Resonance Angiography,MRA)。相比于MRA图像，CTA图像具有价格更低、成像速度更快的优势，例如，CTA图像在我国被作为颅内动脉瘤初筛的首要手段。
对于获得的CTA图像，在输入至编码神经网络之前还可以对其进行预处理。诸如，对于尺寸可以为512*512*256的颅内血管造影图像可以通过插值将其空间分辨率统一到0.5×0.5×0.5mm3，接着，对其进行窗口截断(windowing)，表示为：
其中，iw表示经过窗口截断处理后的强度，I表示经过窗口截断处理之前的强度，对于颅内血管造影图像，通常将WL和WW设置成WL＝300,WW＝600。上述窗口截断的处理步骤用于根据血管断层扫描图像的成像特性来调整获得的CTA图像的对比度，以突出地显示血管特征。
如图1所示，在步骤S102，对所述编码中间图像进行处理，分割第一特征并生成分割中间图像。根据本公开实施例，可以利用分割神经网络来执行所述步骤S102进行的处理。所述分割神经网络是三维卷积神经网络，即，可以对输入的三维图像进行处理。具体的，所述第一特征可以是动脉特征。
接着，在步骤S103，基于注意力机制对所述编码中间图像和分割中间图像进行处理，生成检测中间输入图像。根据本公开实施例，可以利用注意力网络来执行所述步骤S103进行的处理。
接着，在步骤S104，对所述检测中间输入图像进行处理，检测所述第一特征中包括的第二特征。根据本公开实施例，可以利用检测神经网络来执行所述步骤S102进行的处理。例如，所述检测神经网络可以输出所述第二特征的检测结果，其中，所述检测结果包括：第二特征的预测框参数和所述预测框中包含第二特征的预测概率。
根据本公开实施例，所述检测神经网络是三维卷积神经网络，即，可以对输入的三维图像进行处理。根据本公开实施例，在所述第一特征是动脉特征的情况下，所述第二特征可以是动脉瘤特征、动脉血管壁钙化特征、动脉血管阻塞特征中的至少一种。
在根据本公开的医学图像处理方法中，可以将包括编码神经网络、分割神经网络以及检测神经网络的整体网络结构称为多任务处理网络，所述多任务可以包括由分割神经网络进行的分割第一特征的分割任务以及由检测神经网络进行的检测第二特征的检测任务。所述分割神经网络以及检测神经网络均基于编码神经网络输出的特征图像，即编码中间图像进行处理。由于所述第一特征中包括第二特征，使得所述分割任务与检测任务具有关联关系。举例来说，在所述第一特征为动脉血管特征、所述第二特征为动脉瘤特征的情况下，基于基本医学常识可知，动脉瘤是由于动脉中血流长时间冲击血管的薄弱部位所形成，因此动脉瘤是动脉上的异常膨出，只能在动脉上出现，换句话说，动脉瘤特征是被包括在动脉血管特征中的。基于上述医学常识可知，上述分割任务和检测任务是相关关联的，分割任务的处理有助于提高检测任务的准确性。关于根据本公开的多任务处理网络的具体结构以及处理过程将在下文结合附图详细描述。
利用上述多任务网络进行多任务处理的过程可以称为多任务处理方法。图2示出了根据本公开实施例的多任务处理方法的整体流程示意图。具体的，图2中以利用所述多任务方法进行颅内动脉瘤检测为具体实施例。
首先，可以获取输入CTA图像，例如由CT设备获取病人的颅内血管造影图像，其中包括动脉特征以及动脉瘤特征。可以将所述输入CTA图像(例如尺寸为512*512*256)作为整体输入至所述多任务处理网络，也可以在所述输入CTA图像中划分为多个子图像分别输入至所述多任务处理网络进行处理，以减少单次需要处理的图像的尺寸，从而降低计算量、提高计算速率，在此不作限制。
利用所述多任务处理网络，可以输出两组任务处理结果，包括分割神经网络输出的动脉分割结果和检测神经网络输出的动脉瘤检测结果。根据本公开实施例，在将所述CTA图像中划分为多个子图像进行处理的情况下，针对一幅CTA图像，分割神经网络将基于多个子图像分别输出多个动脉分割结果，按照所述子图像在所述CTA图像中的位置参数，可以将所述多个动脉分割结果拼接成对应于整个CTA图像的动脉分割结果。
所述动脉瘤检测结果例如包括所述动脉瘤预测框参数和所述预测框中包含动脉瘤的预测概率。根据本公开实施例，对于输入图像中的每个像素点，所述检测神经网络可以输出对应于该像素点的动脉瘤预测框参数和所述预测框中包含动脉瘤的预测概率，所述预测框参数可以包括所述预测框的中心点位置坐标(即，该像素在输入图像中的位置坐标)和所述预测框的尺寸(诸如，边长)。对于检测神经网络输出的多个检测结果，可以采用非极大值抑制(NMS)方法进行处理，以得到最终的动脉瘤候选框。
根据本公开实施例，所述医学图像处理方法还可以包括：在包含所述第一特征的图像上显示候选框，所述候选框内包括所述检测神经网络检测得到的所述第二特征的预测框。举例来说，如图2所示，基于所述多任务处理网络可以实现在分割得到的动脉特征图像中可视化地显示预测得到的动脉瘤候选框，从而实现快速且直观地显示检测出的CTA图像中的动脉瘤。
需要注意的是，上述图2中仅以动脉特征和动脉瘤特征作为第一特征和第二特征的具体示例，这并不构成对于本公开的方法的限制。所述方法还可以应用于处理其他类型的特征。例如，所述第二特征还可以是如上所述的动脉血管壁钙化特征和动脉血管阻塞特征等。所述第一特征可以是静脉血管、骨头等特征，在此不再一一列举。
图3示出了根据本公开实施例的多任务处理网络的整体结构示意图，以下将结合图3对根据本公开的医学图像处理方法进行详细描述。
根据本公开实施例，所述编码神经网络(Encoder)包括M个处理层，分割神经网络(SegDecoder)包括M个处理层，M为正整数，换句话说，所述编码神经网络与分割神经网络包括的处理层的个数相同，由此可以使得经过分割神经网络输出的图像的尺寸与编码神经网络的输入图像的尺寸相同。
根据本公开实施例，所述处理层包括卷积网络、转置卷积网络和池化层中的至少一种。对于编码神经网络和分割神经网络中的各个处理层，其具体网络结构可以相同也可以不相同，根据实际的应用需要进行布置，图3中示出的结构仅为一种示例结构，还可以根据实际应用需求增加或者减少一些处理结构。
根据本公开实施例，所述利用编码神经网络对所述医学图像进行处理包括：利用所述编码神经网络的第1处理层对所述医学图像进行处理，输出第1编码中间图像；利用所述编码神经网络的第m1处理层对所述编码神经网络的第m1-1处理层输出的第m1-1编码中间图像进行处理，输出第m1编码中间图像，其中，m1为正整数，m1大于1小于等于M。
如图3所示，所述编码神经网络可以包括4个处理层，即M＝4。所述编码神经网络中的每个处理层可以由池化层(Pooling)和残差块(ResBlock)组成。所述池化层用于降低图像尺寸，对于每个处理层内的残差块可以由一个或多个卷积网络、标准化函数、激活函数组成。需要注意的是，各个残差块内的具体结构可以相同也可以不同，在此不作限制。此外，如图3所示，第1处理层还可以包括三维卷积网络块，表示为ConvBlock_V1，具体的，其可以由卷积网络、标准化函数(诸如，Batch Normalization)和激活函数(诸如，修正线性单元，ReLu)组成，用于对输入图像进行初步处理。所述处理层用于提取特征并输出特征图像，即编码中间图像。
在将医学图像输入至编码神经网络之后，可以首先由第1处理层的ConvBlock_V1进行处理，然后由第1处理层的池化层(Pooling_1)和残差块(ResBlock_E1)进行处理并输出第1编码中间图像，接着，利用所述编码神经网络的第m1＝2处理层(包括Pooling_2和ResBlock_E2)对所述编码神经网络的第1处理层输出的第1编码中间图像进行处理，输出第2编码中间图像，以此类推。由此，利用图3中的编码神经网络可以生成4个编码中间图像，每个编码中间图像表示具有不同尺寸的特征图像(Feature Map)。
根据本公开实施例，所述利用分割神经网络对所述编码中间图像进行处理，分割第一特征并生成分割中间图像包括：利用分割神经网络的第1处理层对所述编码神经网络的第M处理层输出的第M编码中间图像进行处理，输出第1分割中间图像；利用分割神经网络的第m2处理层对所述分割神经网络的第m2-1处理层输出的第m2-1分割中间图像以及所述编码神经网络的第M-m2+1处理层输出的第M-m2+1编码中间图像进行处理，输出第m2分割中间图像，其中，m2为正整数，m2大于1小于等于M；利用卷积网络对分割神经网络的第M处理层输出的第M分割中间图像进行处理，生成所述第一特征的分割结果。
如图3所示，所述分割神经网络包括M＝4个处理层。具体的，第1处理层可以包括转置卷积网络(TConvBlock_S4)，其接收所述编码神经网络的第4处理层输出的第4编码中间图像，并输出第1分割中间图像。相比于池化层，所述转置卷积网络可以用于对输入的特征图像进行处理并提高图像尺寸。接着，所述分割神经网络的第2(m2＝2)处理层可以包括转置卷积网络(表示为TConvBlock_S3)、残差块(ResBlock_S3)以及关联模块。具体的，所述第2处理层可以接收所述第1(m2-1＝1)分割中间图像和编码神经网络的第3(M-m2+1＝3)编码中间图像，并由所述关联模块对所述第1分割中间图像和第3编码中间图像进行通道(Chanel)串联处理以得到串联图像。其中，所述第1分割中间图像和第3编码中间图像具有相同的图像尺寸。举例来说，对于尺寸为a*b*c的中间图像，所述串联图像可以表示为a*b*2c，即将两幅图像以增加通道数目的方式串联成一幅串联图像，这不同于将两幅图像的对应参数进行相加的处理。接着，所述第2处理层可以对该串联图像进行处理并输出第2分割中间图像。对于分割神经网络中的其他处理层，诸如第3、4处理层，其处理过程与第2处理层的处理过程类似，在此不再赘述。
对于图3中示出的分割神经网络，其分割输出结果可以表示为qi∈Q,i＝1,...，WHD，0≤qi≤1，其中，W×H×D表示输入至编码神经网络的医学图像的尺寸，即包括的像素数目。qi表示医学图像中第i个像素是动脉血管的概率。换句话说，分割神经网络的输出结果为医学图像中每个像素是动脉血管的概率，以此作为所述分割结果。举例来说，可以将所述qi大于分割预设阈值的像素确定为动脉血管，在此不对所述分割预设阈值作具体限制，可以基于实际应用动态地设置。
如图3所示，所述分割神经网络中还可以应用深度监督(DSV)机制，用于监督分割神经网络的中间处理结果的准确性，具体实现方法将在下文中结合训练处理进行描述。
根据本公开实施例，所述检测神经网络包括N个处理层，N为正整数，利用检测神经网络对所述编码中间图像和分割中间图像进行处理包括：利用检测神经网络的第1处理层对所述编码神经网络的第M处理层输出的第M编码中间图像进行处理，输出第1检测中间图像。根据本公开实施例，利用注意力网络对所述编码中间图像和分割中间图像进行处理，生成检测中间输入图像可以包括：利用注意力网络对检测神经网络的第n-1处理层输出的第n-1检测中间图像、所述编码神经网络的第m1处理层输出的第m1编码中间图像以及所述分割神经网络的第m2处理层输出的第m2分割中间图像进行处理，输出第n检测中间输入图像。接着，利用检测神经网络的第n处理层所述第n检测中间输入图像进行处理，输出第n检测中间图像，其中，第m1编码中间图像和第m2分割中间图像与所述第n-1检测中间图像具有相同的图像尺寸，n为正整数，n大于1小于等于N。
如图3所示，所述检测神经网络包括N＝3个处理层。具体的，第1处理层可以包括转置卷积网络(TConvBlock_D2)，其接收所述编码神经网络的第4处理层输出的第4编码中间图像，并输出第1检测中间图像。相比于池化层，所述转置卷积网络可以用于对输入的特征图像进行处理并提高图像尺寸。接着，所述检测神经网络的第2(n＝2)处理层可以包括转置卷积网络(表示为TConvBlock_D1)、残差块(ResBlock_D2)以及注意力网络(将在下文描述)。具体的，可以利用注意力网络对检测神经网络的第1(n-1＝1)处理层输出的第1检测中间图像、所述编码神经网络的第3处理层输出的第3编码中间图像以及所述分割神经网络的第1处理层输出的第1分割中间图像进行处理，输出第2检测中间输入图像，利用检测神经网络的第2处理层中的TConvBlock_D1和ResBlock_D2对所述第2检测中间输入图像进行处理，输出第2检测中间图像，其中，第3编码中间图像和第1分割中间图像与所述第1检测中间图像具有相同的图像尺寸。对于分割神经网络中的第3处理层，其包括三维卷积网络块，表示为ConvBlock_V3、残差块(ResBlock_D1)以及注意力网络。其中，ConvBlock_V3可以采用R-CNN中的Region Proposal Network(RPN)网络结构，用于输出动脉瘤特征的检测结果，即预测框参数以及概率，将在下文进行描述。
根据本公开实施例，还可以在所述检测神经网络中引入坐标张量机制，例如，如图3所示出的。在输入的医学图像中，对于具有不同坐标值的像素，其对应的具有第二特征，即动脉瘤特征的概率并不相同。例如，位于图像边缘的像素的概率低于位于图像中心的像素的概率。所述坐标张量机制是将上述由位置坐标导致的空间概率的不同引入至检测神经网络的处理过程中，诸如以设置位置坐标权重的方式，从而进一步提高检测结果的准确性。
根据本公开实施例，利用注意力网络输出第n检测中间输入图像包括：对所述第m1编码中间图像和第n-1检测中间图像进行通道串联得到串联图像；对所述串联图像和第m2分割中间图像进行相加得到相加图像；利用激活函数对所述相加图像进行处理得到注意力特征图像；对所述注意力特征图像与所述串联图像进行相乘得到注意力增强图像；对所述注意力增强图像和串联图像进行相加得到所述第n检测中间输入图像。
图4示出了根据本公开实施例的注意力网络的结构示意图。如图4所示，所述注意力网络的输入包括检测神经网络输出的检测中间图像(表示为图D)、编码神经网络输出的编码中间图像(表示为图E)以及分割神经网络的输出的分割中间图像(表示为图S)。首先，对所述图E和图D进行通道串联得到串联图像。所述串联图像的处理过程如上文所述，在此不再重复描述。接着，为了减少计算量，可以将图C和图S都经过1×1×1卷积网络(表示为ConvBlock_1)进行处理，以降低图像的维度，即，减少图像的尺寸。降维后的图像分别表示为图C'和图S'，需要注意的是，可以根据具体的图像尺寸来设置上述降低图像尺寸的卷积网络，例如，在图C和图S的尺寸较小的情况下，可以省略上述步骤。接着，对所述C'和图S'进行相加(表示为Add)得到相加图像，利用激活函数(表示为ReLu)对所述相加图像进行处理得到注意力特征图像，即图A。此外，如图4中所示出的，还可以对注意力网络中设置另一1×1×1卷积网络(表示为ConvBlock_2)，用于进一步降低图像的维度，例如降低到一维，即仅包括一个通道的图像。还可以包括另一激活函数(表示为Sigmoid)，用于将图A的数值归一化到0和1之间。接着，对所述图A与所述图C进行相乘得到注意力增强图像，即图B。所述相乘可以表示为其中，表示将图A与图C的每个通道进行相乘。接着，还可以对所述图B和图C进行相加得到所述检测中间输入图像，表示为
对于如图4中示出的注意力网络，其使得将分割神经网络的处理层输出的分割中间图像引入到检测神经网络的处理图像中，利用用于分割动脉特征的分割神经网络的特征图作为注意力来增强检测神经网络中的动脉血管特征，可以称为注意力机制。所述注意力机制来自于人类视觉过程的启发，人类在在进行阅读时只会关注整个视觉区域中的显著部分忽略其他部分的干扰。在检测神经网络中加入注意力机制可以使得在进行动脉瘤的检测任务的同时，关注于动脉血管特征，即，增强检测任务的特征图中动脉血管的显著性。包括上述注意力网络的检测神经网络可以等效于将动脉瘤存在于动脉上的医学先验知识引入到神经网络的处理过程中，使得检测的处理任务更关注于动脉特征，降低对于诸如噪声等非动脉特征的注意力，由此提高检测结果的准确性。
对于图3中示出的检测神经网络，其要检测的动脉瘤的尺寸可能存在2-70mm的变化范围，为此，可以预设多个不同大小的预测框来分别检测不同尺寸的动脉瘤，例如，可以分别设置对应于2.5mm、5mm、10mm、15mm和30mm的预测框的大小。对于由X∈RW×H×D表示的输入的CTA图像(例如，W＝H＝D＝128)，检测神经网络的检测输出结果可以表示为 其中，A＝5表示anchor的数目，M＝5表示对应于每个预测框的中心(表示为锚点(anchor))的参数的个数。例如，对于每个1283大小的CTA图像，检测神经网络可以输出包含323个数据点的检测输出结果O，每个数据点对应X中的一个像素位置，在每个数据点输出5个anchor的预测数据，每个anchor包含(pi，tx，ty，tz，tb)5个参数，其中，pi表示该像素位置处包含动脉瘤的概率，以上tx,ty,tz,tb表示预测框参数，具体的，tx,ty,tz表示该像素位置在输入图像中的相对位置参数，tb表示预测框的相对大小参数，所述相对大小与所述预测框的边长相关。
需要注意的是，如图3中示出的多任务处理网络仅针对动脉瘤特征进行检测，通过改变上述ConvBlock_V3网络的设置以及相应的训练数据，可以将上述检测任务拓展到多种脑血管疾病的同时检测，例如动脉管壁钙化等，在此不作限制。
对于以上结合图2和图3描述的多任务处理方法以及多任务处理网络，可以实现利用相关任务之间的先验知识来提升预测任务的预测准确性。多任务的方法在计算机视觉和自然语言处理中得到了广泛的应用，使用多任务处理能够比单任务处理带来更好的处理效果。所述多任务处理方法包括两种形式：硬参数共享和软参数共享。在硬参数共享形式中，不同的任务会共用一部分相同的网络，但每个任务将会有自己的分支网络独立产生输出。软参数共享则是每个任务有自己的独立的完整网络，但网络之间会有连接和交互进行相应的约束或者有选择性地对中间特征图像进行共享。软参数共享可以避免任务之间相关性不强时强行共享导致的性能下降，但是每个任务都有独立完整的网络，大大增加了模型参数量和计算量。对于硬参数共享形式，可以在不同任务间共享一部分相同网络而减少网络的冗余度，且需要多个任务之间具有较强的相关性。
在根据本公开的实施例中所述多任务包括由检测神经网络进行的检测任务以及分割神经网络的分割任务，利用所述分割任务和检测任务的相关性，所述检测神经网络和分割神经网络共用编码神经网络的结构，并分别生成检测输出结果和分割输出结果。以上硬参数共享的多任务处理网络使得在降低网络整体复杂度的同时，增强编码神经网络提取的血管特征，从而提高检测神经网络的检测准确性。
根据本公开的医学图像处理方法还可以包括训练步骤，即优化所述多任务处理网络的参数。所述训练步骤包括：按照戴斯损失函数和交叉熵损失函数来训练所述分割神经网络和编码神经网络；以及按照分类损失函数和回归损失函数来训练所述检测神经网络和编码神经网络。
根据本公开实施例，所述按照戴斯损失函数和交叉熵损失函数来训练所述分割神经网络和编码神经网络包括：按照戴斯损失函数基于真实分割标签和分割神经网络输出的第一特征的分割标签计算戴斯损失值；按照交叉熵损失函数基于真实分割标签和分割神经网络输出的第一特征的分割标签计算交叉熵损失值；根据预设阈值，基于所述戴斯损失值和交叉熵损失值进行训练，其中，戴斯损失函数和交叉熵损失函数分别表示为：
其中，si表示所述医学图像中第i个像素的真实分割标签，qi表示分割神经网络输出的所述第i个像素的预测分割标签，V表示所述医学图像中包括的总的像素数目，求和函数表示对训练图像中的每个像素的处理结果进行求和，log为自然对数函数。
在训练步骤中，对于一幅训练图像，其中包括的动脉特征的真实分割标签是已知的，表示为si∈Ls,i＝1,...,W*H*D,si的取值可以是0或者1，其中，si＝1表示该像素i是动脉血管，si＝0表示该像素i不是动脉血管，W*H*D表示训练图像中包括的像素数目。以上Ls可以作为所述训练图像的真实分割标签来验证所述分割神经网络输出的∈RW×H×D的准确性。
根据本公开实施例，根据预设阈值，基于所述戴斯损失值和交叉熵损失值进行训练包括：在所述交叉熵损失值小于所述预设阈值的情况下，基于所述戴斯损失值进行训练；在所述交叉熵损失值不小于所述预设阈值的情况下，基于所述交叉熵损失值进行训练。在每次前向传播时，可以按照如上公式计算和两个数值。如果小于预设阈值g，则使用值来训练所述网络，否则使用值来训练所述网络，具体表示为如下公式：
其中，表示分割损失函数。
根据本公开实施例，所述分割神经网络包括M个处理层，所述按照戴斯损失函数和交叉熵损失函数来训练所述分割神经网络和编码神经网络还包括：按照戴斯损失函数基于真实分割标签和分割神经网络的第m个处理层输出的第一特征的分割标签计算中间戴斯损失值；按照交叉熵损失函数基于真实分割标签和分割神经网络的第m个处理层输出的第一特征的分割标签计算中间交叉熵损失值；根据所述预设阈值，基于所述中间戴斯损失值和中间交叉熵损失值进行训练，其中，m和M为正整数，m大于1小于M。
包括M个处理的分割神经网络的结构如图3所示，其中，对于第2处理层和第3处理层生成的分割中间结果可以表示为A2，A3。在训练过程中，对于上述分割中间结果可以表示为A2，A3，可以按照函数计算分别其损失值，用于与基于检测结果计算的损失值一起训练所述网络，表示为：
其中，表示分割神经网络的总的分割函数，其是基于分割神经网络输出的和Ai与真实分割标签Ls之间的损失值的加权和，例如，ε0＝0.7,ε3＝0.2,ε2＝0.1。
上述基于分割中间结果计算损失值并训练所述分割神经网络的方式可以称为如上所述的深度监督机制，可以加强训练过程对于中间处理的监督，有助于提高例如具有较多层网络的神经网络的训练效果。
根据本公开实施例，所述按照分类损失函数和回归损失函数来训练所述检测神经网络和编码神经网络包括：利用所述编码神经网络、分割神经网络和检测神经网络对训练样本进行处理，得到检测结果，所述预测框参数包括所述预测框的中心点位置坐标和尺寸；按照分类损失函数基于所述预测概率计算分类损失值，按照回归损失函数基于所述预测框参数以及所述第二特征的真实框参数计算回归损失值；基于所述分类损失值和回归损失值进行训练。
根据本公开实施例，上述训练过程中使用的训练样本可以是如上所述的经过预处理的CTA图像，也可以基于所述CTA图像来采样得到更有利于训练的训练样本。
根据本公开实施例，获取训练样本可以包括：按照分类损失函数和回归损失函数来训练所述检测神经网络和编码神经网络还包括：在医学图像中进行采样得到至少一个训练样本；计算所述至少一个训练样本的边界框与所述第二特征的边界框的面积比值；将所述面积比值大于第一阈值的训练样本确定为正训练样本，将所述面积比值小于第二阈值的训练样本确定为负训练样本，其中，所述正训练样本用于训练分类损失和回归损失，所述负训练样本用于训练分类损失。
作为一个示例，可以采用交并比函数(Intersection over Union,IOU)来计算所述面积比值，所述交并比函数表示为计算两个边界框的交集和并集的比值。举例来说，可以将面积比值大于0.5的训练样本确定为正训练样本，将面积比值小于0.02的训练样本确定为负训练样本，并基于所述正、负训练样本来分别确定分类损失和回归损失，例如，所述正训练样本用于训练分类损失和回归损失，所述负训练样本用于训练分类损失。
在训练过程中，为了维持合理的正、负训练样本的比例，可以采取以下采样策略：对于包括真实候选框(ground truth)的CTA图像，其中，真实候选框对应于如上所述的第二特征的边界框，可以在CTA图像的真实候选框的中心点附近一定像素偏移范围内进行采样，得到具有不同尺寸的训练样本图像，从而保证CTA图像中的每个真实候选框在训练过程中都有被包括到训练样本中。此外，还可以随机地在CTA图像中进行采样，这样采样出来的训练样本一般不包括上述真实候选框。基于以上采样得到的训练样本，可以按照如上所述的交并比函数计算所述面积比值，从而将得到的训练样本划分为所述正、负训练样本。
根据本公开实施例，按照如上方式可以获得正训练样本集Spos和负样本集合为Sneg，在真实的CTA图像中，获得的负训练样本的数目可能远多于正训练样本的数目，为了避免上述正、负训练样本的在数目上的不均衡，可以在负样本集合中选取一部分子集作为训练样本。例如，可以在负样本集合Sneg中选取一部分较难区分的负训练样本来组成困难负训练样本集合，表示为Shard，其中，
以下将详细描述用于训练所述检测神经网络和编码神经网络的分类损失函数和回归损失函数。
所述分类损失函数用于表示检测结果在预测的概率值上的准确性。作为一个示例，所述分类损失函数可以表示为：
其中，表示分类损失函数，正、负训练样本权重系数ξ1＝ξ2＝0.5，表示对基于Spos内的训练样本进行处理得到的处理结果进行求和。表示对基于Shard内的训练样本进行处理得到的处理结果进行求和。|·|表示对应集合中训练样本的数目。
所述回归损失函数用于表示检测结果在预测的预测框参数值上的准确性。作为一个示例，所述回归损失函数(Smooth L1损失函数)可以表示为：
其中，表示回归损失函数，t∈Spos表示仅针对正样本进行计算。(vx,vy,vz,vb)表示真实候选框的坐标参数。
由此，上述多任务处理网络的整体损失函数可以表示为：
其中，α为加权常数。
根据本公开实施例，还可以采用其他的训练函数来训练所述多任务处理网络。例如，还可以利用随机梯度下降方法(Stochastic Gradient Descent,SGD)来训练所述多任务处理网络。对于SGD，具体的，可以将其参数进行设置，其中，动量(momentum)可以是0.9，权重衰减(weight decay)可以是1e-4，包括训练200个人工智能训练型样(epochs)。初始的学习率为1e-2，在100个epochs后学习率下降为原来的0.1。
根据本公开的基于人工智能的医学图像处理方法中采用了多任务处理网络的结构，利用编码神经网络对输入的医学图像进行处理，生成编码中间图像，并利用分割神经网络对所述编码中间图像进行处理，分割第一特征并生成分割中间图像、利用检测神经网络对所述编码中间图像和分割中间图像进行处理，检测所述第一特征中包括的第二特征，并输出所述第二特征的检测结果。由于所述第一特征中包括的第二特征，使得上述分割任务与检测任务具有任务关联性。上述具有任务关联性的检测神经网络和分割神经网络以硬参数共享的形式共享编码神经网络的处理结果，增强检测任务中处理的第一特征，从而提高检测结果的准确性。此外，还在所述检测神经网络中引入注意力机制，加强检测神经网络对于第一特征的注意力，从而进一步提高检测结果的准确性。
本公开还提供了一种基于人工智能的医学图像处理装置。图5示出了根据本公开实施例的基于人工智能的医学图像处理装置的示意性框图。如图5所示，所述装置1000可以包括编码神经网络单元1010、分割神经网络单元1020、注意力网络单元1030以及检测神经网络单元1040。
根据本公开实施例，所述编码神经网络单元1010配置成对所述医学图像进行处理，生成编码中间图像。所述分割神经网络单元1020配置成对所述编码中间图像进行处理，分割第一特征并生成分割中间图像。所述注意力网络单元1030配置成对所述编码中间图像和分割中间图像进行处理，生成检测中间输入图像。所述检测神经网络单元1040配置成对所述检测中间输入图像进行处理，检测所述第一特征中包括的第二特征。
根据本公开实施例，所述编码神经网络单元1010包括M个处理层，分割神经网络单元1020包括M个处理层，M为正整数，所述处理层包括卷积网络、转置卷积网络和池化层中的至少一种，所述编码神经网络单元1010的第1处理层对所述医学图像进行处理，输出第1编码中间图像，接着，所述编码神经网络单元1010的第m1处理层对所述编码神经网络单元1010的第m1-1处理层输出的第m1-1编码中间图像进行处理，输出第m1编码中间图像，其中，m1为正整数，m1大于1小于等于M。分割神经网络单元1020的第1处理层对所述编码神经网络单元1010的第M处理层输出的第M编码中间图像进行处理，输出第1分割中间图像，分割神经网络单元1020的第m2处理层对所述分割神经网络单元1020的第m2-1处理层输出的第m2-1分割中间图像以及所述编码神经网络1010的第M-m2+1处理层输出的第M-m2+1编码中间图像进行处理，输出第m2分割中间图像，其中，m2为正整数，m2大于1小于等于M。接着，对分割神经网络单元1020的第M处理层输出的第M分割中间图像进行处理，生成所述第一特征的分割结果。
根据本公开实施例，所述检测神经网络单元1040包括N个处理层，N为正整数，检测神经网络单元1040的第1处理层对所述编码神经网络单元1010的第M处理层输出的第M编码中间图像进行处理，输出第1检测中间图像。根据本公开实施例，所述注意力网络单元1030对检测神经网络单元1040的第n-1处理层输出的第n-1检测中间图像、所述编码神经网络单元1010的第m1处理层输出的第m1编码中间图像以及所述分割神经网络单元1020的第m2处理层输出的第m2分割中间图像进行处理，输出第n检测中间输入图像。检测神经网络单元1040的第n处理层所述第n检测中间输入图像进行处理，输出第n检测中间图像，其中，第m1编码中间图像和第m2分割中间图像与所述第n-1检测中间图像具有相同的图像尺寸，n为正整数，n大于1小于等于N。
根据本公开实施例，注意力网络单元1030对所述第m1编码中间图像和第n-1检测中间图像进行通道串联得到串联图像；对所述串联图像和第m2分割中间图像进行相加得到相加图像；利用激活函数对所述相加图像进行处理得到注意力特征图像；对所述注意力特征图像与所述串联图像进行相乘得到注意力增强图像；对所述注意力增强图像和串联图像进行相加得到所述第n检测中间输入图像。
根据本公开实施例，所述医学图像为三维图像，所述编码神经网络单元1010、分割神经网络单元1020和检测神经网络单元1040为三维卷积神经网络。
根据本公开实施例，所述医学图像为计算机断层扫描血管造影图像，所述第一特征为动脉特征，所述第二特征为动脉瘤特征、动脉血管壁钙化特征、动脉血管阻塞特征中的至少一种。
根据本公开实施例，所述检测神经网络单元1040可以输出所述第二特征的检测结果，其中，所述检测结果包括：第二特征的预测框参数和所述预测框中包含第二特征的预测概率。所述医学图像处理装置还可以包括显示单元，配置成在包含所述第一特征的图像上显示候选框，所述候选框内包括所述检测神经网络单元1040检测得到的所述第二特征的预测框。
根据本公开实施例，所述医学图像处理装置还可以包括训练单元。所述训练单元可以配置成按照戴斯损失函数和交叉熵损失函数来训练所述分割神经网络单元1020和编码神经网络单元1010；以及按照分类损失函数和回归损失函数来训练所述检测神经网络单元1040和编码神经网络单元1010。
根据本公开实施例，所述训练单元按照戴斯损失函数和交叉熵损失函数来训练所述分割神经网络单元1020和编码神经网络单元1010包括：按照戴斯损失函数基于真实分割标签和分割神经网络单元1020输出的第一特征的分割标签计算戴斯损失值；按照交叉熵损失函数基于真实分割标签和分割神经网络单元1020输出的第一特征的分割标签计算交叉熵损失值；根据预设阈值，基于所述戴斯损失值和交叉熵损失值进行训练，其中，戴斯损失函数和交叉熵损失函数分别表示为：
其中，si表示所述医学图像中第i个像素的真实分割标签，qi表示分割神经网络单元1020输出的所述第i个像素的预测分割标签，V表示所述医学图像中包括的总的像素数目。
根据本公开实施例，所述训练单元根据预设阈值，基于所述戴斯损失值和交叉熵损失值进行训练包括：在所述交叉熵损失值小于所述预设阈值的情况下，基于所述戴斯损失值进行训练；在所述交叉熵损失值不小于所述预设阈值的情况下，基于所述交叉熵损失值进行训练。
根据本公开实施例，所述分割神经网络单元1040可以包括M个处理层，所述训练单元按照戴斯损失函数和交叉熵损失函数来训练所述分割神经网络单元1020和编码神经网络单元1010还包括：按照戴斯损失函数基于真实分割标签和分割神经网络单元1020的第m个处理层输出的第一特征的分割标签计算中间戴斯损失值；按照交叉熵损失函数基于真实分割标签和分割神经网络单元1020的第m个处理层输出的第一特征的分割标签计算中间交叉熵损失值；根据所述预设阈值，基于所述中间戴斯损失值和中间交叉熵损失值进行训练，其中，m和M为正整数，m大于1小于M。
根据本公开实施例，所述按照分类损失函数和回归损失函数来训练所述检测神经网络单元1040和编码神经网络单元1010包括：由所述编码神经网络单元1010、分割神经网络单元1020和检测神经网络单元1040对训练样本进行处理，得到检测结果，所述预测框参数包括所述预测框的中心点位置坐标和尺寸；按照分类损失函数基于所述预测概率计算分类损失值，按照回归损失函数基于所述预测框参数以及所述第二特征的真实框参数计算回归损失值；基于所述分类损失值和回归损失值进行训练。
根据本公开实施例，按照分类损失函数和回归损失函数来训练所述检测神经网络单元1040和编码神经网络单元1010还包括：在医学图像中进行采样得到至少一个训练样本；计算所述至少一个训练样本的边界框与所述第二特征的边界框的面积比值；将所述面积比值大于第一阈值的训练样本确定为正训练样本，将所述面积比值小于第二阈值的训练样本确定为负训练样本，其中，所述正训练样本用于训练分类损失和回归损失，所述负训练样本用于训练分类损失。
根据本公开的又一方面，还提供了一种基于人工智能的医学设备。图6示出了根据本公开实施例的基于人工智能的医学设备2000的示意性框图。
如图6所示，所述设备2000可以包括图像采集装置2010、处理器2020，和存储器2030。其中，所述存储器2030中存储有计算机可读代码，所述计算机可读代码当由所述处理器2020运行时，可以执行如上所述的基于人工智能的医学图像处理方法。
作为一个具体实施例，所述图像采集装置2010可以是CT设备，并获取诸如颅内动脉血管造影图像，作为如上所述的医学图像。接着，所述处理器2020可以与图像采集装置2010有线和/或有线连接，以接收上述医学图像，然后，所述处理器2020可以运行存储器2030中存储有计算机可读代码，述计算机可读代码当由所述处理器2020运行时，可以执行如上所述的基于人工智能的医学图像处理方法，从而基于所述医学图像得到动脉分割结果和动脉瘤检测结果。此外，所述医学设备2000还可以包括诸如显示屏幕等显示设备，用于显示动脉分割结果和动脉瘤检测结果，显示效果可以参照图2中所示出的。
根据本公开实施例的方法或装置也可以借助于图7所示的计算设备3000的架构来实现。如图7所示，计算设备3000可以包括总线3010、一个或多个CPU3020、只读存储器(ROM)3030、随机存取存储器(RAM)3040、连接到网络的通信端口3050、输入/输出组件3060、硬盘3070等。计算设备3000中的存储设备，例如ROM 3030或硬盘3070可以存储本公开提供的基于人工智能的医学图像处理方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。计算设备800还可以包括用户界面3080。当然，图7所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图7示出的计算设备中的一个或多个组件。
根据本公开的又一方面，还提供了一种计算机可读存储介质。图8示出了根据本公开的存储介质的示意图4000。
如图8所示，所述计算机存储介质4020上存储有计算机可读指令4010。当所述计算机可读指令4010由处理器运行时，可以执行参照以上附图描述的根据本公开实施例的基于人工智能的医学图像处理方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。例如，所述计算机存储介质4020可以连接于诸如计算机等的计算设备，接着，在所述计算设备运行所述计算机存储介质4020上存储的计算机可读指令4010的情况下，可以进行如上所述的根据本公开的基于人工智能的医学图像处理方法。
本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。
此外，虽然本公开对根据本公开的实施例的系统中的某些单元做出了各种引用，然而，任何数量的不同单元可以被使用并运行在客户端和/或服务器上。所述单元仅是说明性的，并且所述系统和方法的不同方面可以使用不同单元。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。

Claims (15)

1.一种基于人工智能的医学图像处理方法，包括：
对所述医学图像进行处理，生成编码中间图像；
对所述编码中间图像进行处理，分割第一特征并生成分割中间图像；
基于注意力机制对所述编码中间图像和分割中间图像进行处理，生成检测中间输入图像；以及
对所述检测中间输入图像进行处理，检测所述第一特征中包括的第二特征。
2.根据权利要求1所述的医学图像处理方法，其中，对所述医学图像进行处理，生成编码中间图像包括：
利用编码神经网络对所述医学图像进行处理，生成编码中间图像，所述编码神经网络包括M个处理层，M为正整数，所述处理层包括卷积网络、转置卷积网络和池化层中的至少一种，
所述利用编码神经网络对所述医学图像进行处理包括：
利用所述编码神经网络的第1处理层对所述医学图像进行处理，输出第1编码中间图像；
利用所述编码神经网络的第m1处理层对所述编码神经网络的第m1-1处理层输出的第m1-1编码中间图像进行处理，输出第m1编码中间图像，其中，m1为正整数，m1大于1小于等于M；
所述对所述编码中间图像进行处理，分割第一特征并生成分割中间图像包括：
利用分割神经网络对所述编码中间图像进行处理，分割第一特征并生成分割中间图像，所述分割神经网络包括M个处理层，其中，利用分割神经网络的第1处理层对所述编码神经网络的第M处理层输出的第M编码中间图像进行处理，输出第1分割中间图像；
利用分割神经网络的第m2处理层对所述分割神经网络的第m2-1处理层输出的第m2-1分割中间图像以及所述编码神经网络的第M-m2+1处理层输出的第M-m2+1编码中间图像进行处理，输出第m2分割中间图像，其中，m2为正整数，m2大于1小于等于M；
利用卷积网络对分割神经网络的第M处理层输出的第M分割中间图像进行处理，生成所述第一特征的分割结果。
3.根据权利要求2所述的医学图像处理方法，其中，所述检测中间输入图像进行处理，检测所述第一特征中包括的第二特征包括：
利用检测神经网络检测中间输入图像进行处理，检测所述第一特征中包括的第二特征，所述检测神经网络包括N个处理层，N为正整数，其中，
利用检测神经网络的第1处理层对所述编码神经网络的第M处理层输出的第M编码中间图像进行处理，输出第1检测中间图像；
基于注意力机制对所述编码中间图像和分割中间图像进行处理，生成检测中间输入图像包括：
利用注意力网络基于注意力机制对所述编码中间图像和分割中间图像进行处理，生成检测中间输入图像，其中，
利用注意力网络对检测神经网络的第n-1处理层输出的第n-1检测中间图像、所述编码神经网络的第m1处理层输出的第m1编码中间图像以及所述分割神经网络的第m2处理层输出的第m2分割中间图像进行处理，输出第n检测中间输入图像；
利用检测神经网络的第n处理层所述第n检测中间输入图像进行处理，输出第n检测中间图像，
其中，第m1编码中间图像和第m2分割中间图像与所述第n-1检测中间图像具有相同的图像尺寸，n为正整数，n大于1小于等于N。
4.根据权利要求3所述的医学图像处理方法，其中，利用注意力网络输出第n检测中间输入图像包括：
对所述第m1编码中间图像和第n-1检测中间图像进行通道串联得到串联图像；
对所述串联图像和第m2分割中间图像进行相加得到相加图像；
利用激活函数对所述相加图像进行处理得到注意力特征图像；
对所述注意力特征图像与所述串联图像进行相乘得到注意力增强图像；
对所述注意力增强图像和串联图像进行相加得到所述第n检测中间输入图像。
5.根据权利要求1所述的医学图像处理方法，其中，所述医学图像为计算机断层扫描血管造影图像，所述第一特征为动脉特征，所述第二特征为动脉瘤特征、动脉血管壁钙化特征、动脉血管阻塞特征中的至少一种。
6.根据权利要求1所述的医学图像处理方法，其中，检测所述第一特征中包括的第二特征包括：输出所述第二特征的检测结果，所述检测结果包括：第二特征的预测框参数和所述预测框中包含第二特征的预测概率，所述方法还包括：在包含所述第一特征的图像上显示候选框，所述候选框内包括所述检测神经网络检测得到的所述第二特征的预测框。
7.根据权利要求2所述的医学图像处理方法，还包括：
按照戴斯损失函数和交叉熵损失函数来训练所述分割神经网络和编码神经网络，其中，所述分割神经网络和编码神经网络为三维卷积神经网络。
8.根据权利要求3所述的医学图像处理方法，还包括：
按照分类损失函数和回归损失函数来训练所述检测神经网络和编码神经网络，其中，所述检测神经网络为三维卷积神经网络。
9.根据权利要求8所述的医学图像处理方法，其中，按照戴斯损失函数和交叉熵损失函数来训练所述分割神经网络和编码神经网络包括：
按照戴斯损失函数基于真实分割标签和分割神经网络输出的第一特征的分割标签计算戴斯损失值；
按照交叉熵损失函数基于真实分割标签和分割神经网络输出的第一特征的分割标签计算交叉熵损失值；
根据预设阈值，基于所述戴斯损失值和交叉熵损失值进行训练，其中，
戴斯损失函数和交叉熵损失函数分别表示为：
其中，si表示所述医学图像中第i个像素的真实分割标签，qi表示分割神经网络输出的所述第i个像素的预测分割标签，V表示医学图像中包括的总的像素数目。
10.根据权利要求9所述的医学图像处理方法，其中，根据预设阈值，基于所述戴斯损失值和交叉熵损失值进行训练包括：
在所述交叉熵损失值小于所述预设阈值的情况下，基于所述戴斯损失值进行训练；
在所述交叉熵损失值不小于所述预设阈值的情况下，基于所述交叉熵损失值进行训练。
11.根据权利要求8所述的医学图像处理方法，其中，所述分割神经网络包括M个处理层，所述按照戴斯损失函数和交叉熵损失函数来训练所述分割神经网络和编码神经网络还包括：
按照戴斯损失函数基于真实分割标签和分割神经网络的第m个处理层输出的第一特征的分割标签计算中间戴斯损失值；
按照交叉熵损失函数基于真实分割标签和分割神经网络的第m个处理层输出的第一特征的分割标签计算中间交叉熵损失值；
根据所述预设阈值，基于所述中间戴斯损失值和中间交叉熵损失值进行训练，
其中，m和M为正整数，m大于1小于M。
12.根据权利要求8所述的医学图像处理方法，其中，所述按照分类损失函数和回归损失函数来训练所述检测神经网络和编码神经网络包括：
利用所述编码神经网络、分割神经网络和检测神经网络对训练样本进行处理，得到检测结果，所述预测框参数包括所述预测框的中心点位置坐标和尺寸；
按照分类损失函数基于所述预测概率计算分类损失值，按照回归损失函数基于所述预测框参数以及所述第二特征的真实框参数计算回归损失值；
基于所述分类损失值和回归损失值进行训练。
13.根据权利要求12所述的医学图像处理方法，其中，按照分类损失函数和回归损失函数来训练所述检测神经网络和编码神经网络还包括：
在医学图像中进行采样得到至少一个训练样本；
计算所述至少一个训练样本的边界框与所述第二特征的边界框的面积比值；
将所述面积比值大于第一阈值的训练样本确定为正训练样本，将所述面积比值小于第二阈值的训练样本确定为负训练样本，
其中，所述正训练样本用于训练分类损失和回归损失，所述负训练样本用于训练分类损失。
14.一种基于人工智能的医学设备，包括：
图像采集装置，配置成获取医学图像；
处理器；和
存储器，其中，所述存储器中存储有计算机可读代码，所述计算机可读代码当由所述处理器运行时，执行如权利要求1-13中任一项所述的基于人工智能的医学图像处理方法。
15.一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如权利要求1-13中任一项所述的基于人工智能的医学图像处理方法。
CN201910752632.6A 2019-08-15 2019-08-15 基于人工智能的医学图像处理方法、医学设备和存储介质 Active CN110458833B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910752632.6A CN110458833B (zh) 2019-08-15 2019-08-15 基于人工智能的医学图像处理方法、医学设备和存储介质
PCT/CN2020/105461 WO2021027571A1 (zh) 2019-08-15 2020-07-29 基于人工智能的医学图像处理方法、医学设备和存储介质
US17/503,160 US11941807B2 (en) 2019-08-15 2021-10-15 Artificial intelligence-based medical image processing method and medical device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910752632.6A CN110458833B (zh) 2019-08-15 2019-08-15 基于人工智能的医学图像处理方法、医学设备和存储介质

Publications (2)

Publication Number Publication Date
CN110458833A true CN110458833A (zh) 2019-11-15
CN110458833B CN110458833B (zh) 2023-07-11

Family

ID=68486812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910752632.6A Active CN110458833B (zh) 2019-08-15 2019-08-15 基于人工智能的医学图像处理方法、医学设备和存储介质

Country Status (3)

Country Link
US (1) US11941807B2 (zh)
CN (1) CN110458833B (zh)
WO (1) WO2021027571A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222466A (zh) * 2020-01-08 2020-06-02 武汉大学 一种基于三维空间-通道注意力机制的遥感影像滑坡自动探测方法
CN111724365A (zh) * 2020-06-16 2020-09-29 中国科学院自动化研究所 血管内动脉瘤修复手术的介入器械检测方法、系统及装置
CN112102204A (zh) * 2020-09-27 2020-12-18 苏州科达科技股份有限公司 图像增强方法、装置及电子设备
WO2021027571A1 (zh) * 2019-08-15 2021-02-18 腾讯科技（深圳）有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质
CN112966792A (zh) * 2021-05-19 2021-06-15 腾讯科技（深圳）有限公司 血管图像分类处理方法、装置、设备及存储介质
WO2023035586A1 (zh) * 2021-09-10 2023-03-16 上海商汤智能科技有限公司 图像检测方法、模型训练方法、装置、设备、介质及程序

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906685B (zh) * 2021-03-04 2024-03-26 重庆赛迪奇智人工智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN113159147B (zh) * 2021-04-08 2023-09-26 平安科技（深圳）有限公司 基于神经网络的图像识别方法、装置、电子设备
US20220351366A1 (en) * 2021-05-03 2022-11-03 Rakuten Group, Inc. Deep learning model to predict data from an image
US20230177747A1 (en) * 2021-12-06 2023-06-08 GE Precision Healthcare LLC Machine learning generation of low-noise and high structural conspicuity images
CN116721159B (zh) * 2023-08-04 2023-11-03 北京智源人工智能研究院 超声颈动脉中心点坐标预测方法及颈动脉横切面追踪方法
CN116823833B (zh) * 2023-08-30 2023-11-10 山东科技大学 全方位mip图像颅内动脉瘤检测方法、系统及设备
CN117911418B (zh) * 2024-03-20 2024-06-21 常熟理工学院 基于改进yolo算法的病灶检测方法、系统及存储介质
CN118072976B (zh) * 2024-04-22 2024-06-21 吉林大学 基于数据分析的儿童呼吸道疾病预测系统及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170169313A1 (en) * 2015-12-14 2017-06-15 Samsung Electronics Co., Ltd. Image processing apparatus and method based on deep learning and neural network learning
US20180260957A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Automatic Liver Segmentation Using Adversarial Image-to-Image Network
CN109493347A (zh) * 2017-09-12 2019-03-19 深圳科亚医疗科技有限公司 在图像中对稀疏分布的对象进行分割的方法和系统
CN109598728A (zh) * 2018-11-30 2019-04-09 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统及存储介质
CN109598722A (zh) * 2018-12-10 2019-04-09 杭州帝视科技有限公司 基于递归神经网络的图像分析方法
CN109685819A (zh) * 2018-12-11 2019-04-26 厦门大学 一种基于特征增强的三维医学图像分割方法
CN109815850A (zh) * 2019-01-02 2019-05-28 中国科学院自动化研究所 基于深度学习的虹膜图像分割及定位方法、系统、装置
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质
CN109886282A (zh) * 2019-02-26 2019-06-14 腾讯科技（深圳）有限公司 对象检测方法、装置、计算机可读存储介质和计算机设备
CN109978037A (zh) * 2019-03-18 2019-07-05 腾讯科技（深圳）有限公司 图像处理方法、模型训练方法、装置、和存储介质
CN109993726A (zh) * 2019-02-21 2019-07-09 上海联影智能医疗科技有限公司 医学图像的检测方法、装置、设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9519868B2 (en) * 2012-06-21 2016-12-13 Microsoft Technology Licensing, Llc Semi-supervised random decision forests for machine learning using mahalanobis distance to identify geodesic paths
US9589374B1 (en) * 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
CN106886995B (zh) * 2017-01-13 2019-09-20 北京航空航天大学 多线性示例回归器聚合的图像显著对象分割方法
US11918333B2 (en) * 2017-12-29 2024-03-05 Analytics For Life Inc. Method and system to assess disease using phase space tomography and machine learning
US10902585B2 (en) * 2018-03-19 2021-01-26 General Electric Company System and method for automated angiography utilizing a neural network
CN109685813B (zh) * 2018-12-27 2020-10-13 江西理工大学 一种自适应尺度信息的u型视网膜血管分割方法
CN110522465A (zh) * 2019-07-22 2019-12-03 通用电气精准医疗有限责任公司 基于图像数据的血液动力学参数估计
CN110458833B (zh) * 2019-08-15 2023-07-11 腾讯科技（深圳）有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170169313A1 (en) * 2015-12-14 2017-06-15 Samsung Electronics Co., Ltd. Image processing apparatus and method based on deep learning and neural network learning
US20180260957A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Automatic Liver Segmentation Using Adversarial Image-to-Image Network
CN109493347A (zh) * 2017-09-12 2019-03-19 深圳科亚医疗科技有限公司 在图像中对稀疏分布的对象进行分割的方法和系统
CN109598728A (zh) * 2018-11-30 2019-04-09 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统及存储介质
CN109598722A (zh) * 2018-12-10 2019-04-09 杭州帝视科技有限公司 基于递归神经网络的图像分析方法
CN109685819A (zh) * 2018-12-11 2019-04-26 厦门大学 一种基于特征增强的三维医学图像分割方法
CN109815850A (zh) * 2019-01-02 2019-05-28 中国科学院自动化研究所 基于深度学习的虹膜图像分割及定位方法、系统、装置
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质
CN109993726A (zh) * 2019-02-21 2019-07-09 上海联影智能医疗科技有限公司 医学图像的检测方法、装置、设备和存储介质
CN109886282A (zh) * 2019-02-26 2019-06-14 腾讯科技（深圳）有限公司 对象检测方法、装置、计算机可读存储介质和计算机设备
CN109978037A (zh) * 2019-03-18 2019-07-05 腾讯科技（深圳）有限公司 图像处理方法、模型训练方法、装置、和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GUO Z 等: "DeepCenterline: A Multi-task Fully Convolutional Network for Centerline Extraction", SPRINGER, pages 441 - 453 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021027571A1 (zh) * 2019-08-15 2021-02-18 腾讯科技（深圳）有限公司 基于人工智能的医学图像处理方法、医学设备和存储介质
US11941807B2 (en) 2019-08-15 2024-03-26 Tencent Technology (Shenzhen) Company Limited Artificial intelligence-based medical image processing method and medical device, and storage medium
CN111222466A (zh) * 2020-01-08 2020-06-02 武汉大学 一种基于三维空间-通道注意力机制的遥感影像滑坡自动探测方法
CN111724365A (zh) * 2020-06-16 2020-09-29 中国科学院自动化研究所 血管内动脉瘤修复手术的介入器械检测方法、系统及装置
CN111724365B (zh) * 2020-06-16 2021-11-09 中国科学院自动化研究所 血管内动脉瘤修复手术的介入器械检测方法、系统及装置
CN112102204A (zh) * 2020-09-27 2020-12-18 苏州科达科技股份有限公司 图像增强方法、装置及电子设备
CN112966792A (zh) * 2021-05-19 2021-06-15 腾讯科技（深圳）有限公司 血管图像分类处理方法、装置、设备及存储介质
CN112966792B (zh) * 2021-05-19 2021-08-13 腾讯科技（深圳）有限公司 血管图像分类处理方法、装置、设备及存储介质
WO2023035586A1 (zh) * 2021-09-10 2023-03-16 上海商汤智能科技有限公司 图像检测方法、模型训练方法、装置、设备、介质及程序

Also Published As

Publication number Publication date
CN110458833B (zh) 2023-07-11
WO2021027571A1 (zh) 2021-02-18
US20220036550A1 (en) 2022-02-03
US11941807B2 (en) 2024-03-26

Similar Documents

Publication Publication Date Title
CN110458833A (zh) 基于人工智能的医学图像处理方法、医学设备和存储介质
Ni et al. GC-Net: Global context network for medical image segmentation
CN109493347A (zh) 在图像中对稀疏分布的对象进行分割的方法和系统
CN109754361A (zh) 3d各向异性的混合网络：将来自2d图像的卷积特征传递到3d各向异性体积
CN109544534A (zh) 一种病灶图像检测装置、方法和计算机可读存储介质
CN108603922A (zh) 自动心脏体积分割
Zhang et al. ST-unet: Swin transformer boosted U-net with cross-layer feature enhancement for medical image segmentation
CN107145756A (zh) 一种脑卒中类型预测方法以及装置
CN108171711A (zh) 一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法
CN109003267A (zh) 从3d图像自动检测目标对象的计算机实现方法和系统
CN105938628A (zh) 源自图像的生物标志的直接计算
Li et al. DFENet: A dual-branch feature enhanced network integrating transformers and convolutional feature learning for multimodal medical image fusion
CN113112559A (zh) 一种超声图像的分割方法、装置、终端设备和存储介质
CN110321943A (zh) 基于半监督深度学习的ct图像分类方法、系统、装置
Cheng et al. DDU-Net: A dual dense U-structure network for medical image segmentation
CN110599444B (zh) 预测血管树的血流储备分数的设备、系统以及非暂时性可读存储介质
Wang et al. IGNFusion: an unsupervised information gate network for multimodal medical image fusion
US20210279880A1 (en) Tumor segmentation tool
WO2019224800A1 (en) Method and system for simulating and constructing original medical images from one modality to other modality
CN111652876B (zh) 一种三维盆底超声图像的检测方法
Xiao et al. PET and CT image fusion of lung cancer with siamese pyramid fusion network
Yang et al. Dual-path network for liver and tumor segmentation in CT images using Swin Transformer encoding approach
Liu et al. Multislice left ventricular ejection fraction prediction from cardiac MRIs without segmentation using shared SptDenNet
CN115222746A (zh) 一种基于时空融合的多任务心脏亚结构分割方法
Bielecka et al. Automatized fuzzy evaluation of CT scan heart slices for creating 3D/4D heart model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant