CN115272165A - 图像的特征提取方法、图像分割模型的训练方法和装置 - Google Patents

图像的特征提取方法、图像分割模型的训练方法和装置 Download PDF

Info

Publication number
CN115272165A
CN115272165A CN202210505164.4A CN202210505164A CN115272165A CN 115272165 A CN115272165 A CN 115272165A CN 202210505164 A CN202210505164 A CN 202210505164A CN 115272165 A CN115272165 A CN 115272165A
Authority
CN
China
Prior art keywords
image sequence
renal artery
renal
region
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210505164.4A
Other languages
English (en)
Other versions
CN115272165B (zh
Inventor
冉宇辰
黄文豪
张欢
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202210505164.4A priority Critical patent/CN115272165B/zh
Publication of CN115272165A publication Critical patent/CN115272165A/zh
Application granted granted Critical
Publication of CN115272165B publication Critical patent/CN115272165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本说明书实施方式提供了一种图像的特征提取方法、图像分割模型的训练方法和装置。所述方法包括：在包括多个断面图像的肾脏图像序列中确定第一区域和第二区域；其中，所述第二区域属于所述第一区域；分别将所述肾脏图像序列包括的断面图像，依照所述第一区域和所述第二区域压缩至指定数据量，得到第一目标图像序列和第二目标图像序列；从所述第一目标图像序列中提取得到第一目标图像序列的基础特征，以及根据所述基础特征与所述第二目标图像序列相结合提取第二目标图像的联合特征。通过将第一目标图像序列的基础特征与第二目标图像进行融合提取第二目标图像的联合特征，从而使得提取的图像特征更加丰富，进一步提升提取肾动脉像元的准确性。

Description

图像的特征提取方法、图像分割模型的训练方法和装置
技术领域
本说明书实施方式涉及图像处理领域，具体涉及图像的特征提取方法、图像分割模型的训练方法和装置。
背景技术
基于CTA影像的肾动脉分割可以辅助医生对肾动脉有更加直观清晰的认识，为肾切除、肾肿瘤切除等提供有效的动脉参考信息。现有的针对肾动脉分割的方法主要是将CTA影像直接输入深度学习模型得到肾动脉的分割结果，可能会出现肾动脉的分割存在着假阳或者不连通的情况。
发明内容
有鉴于此，本说明书多个实施方式致力于提供一种图像的特征提取方法、图像分割模型的训练方法、装置、电子设备和计算机存储介质，可以一定程度上提升肾脏图像序列中肾动脉分割的准确性。
本说明书一个实施方式提出了一种图像的特征提取方法，所述方法包括：在肾脏图像序列中确定第一区域和第二区域；其中，所述肾脏图像序列包括多个断面图像，所述第二区域属于所述第一区域的部分区域；分别将所述肾脏图像序列包括的断面图像，依照所述第一区域和所述第二区域压缩至指定数据量，得到对应所述第一区域的第一目标图像序列和对应所述第二区域的第二目标图像序列；其中，所述第一目标图像序列的分辨率小于所述第二目标图像序列的分辨率；从所述第一目标图像序列和所述第二目标图像序列提取图像特征；其中，所述图像特征包括从所述第一目标图像序列中提取得到的基础特征，以及将所述第一目标图像序列的所述基础特征与所述第二目标图像序列相结合提取得到的联合特征。
本说明书一个实施方式提出了一种肾动脉分割模型的训练方法，所述方法包括：构建训练初始肾动脉分割模型的训练样本集；其中，所述训练样本集包括肾脏图像序列和所述肾脏图像序列对应的样本标签；在所述肾脏图像序列中确定多个嵌套的目标区域；其中，所述目标区域对应有目标图像序列；基于所述目标图像序列训练初始肾动脉分割模型，以生成肾动脉分割模型；其中，所述肾动脉分割模型用于生成肾脏图像序列中表示肾动脉的像元。
本说明书一个实施方式提出了一种图像的特征提取装置，所述方法包括：肾脏图像序列切分模块，用于在肾脏图像序列中确定第一区域和第二区域；其中，所述肾脏图像序列包括多个断面图像，所述第二区域属于所述第一区域的部分区域；图像压缩模块，用于分别将所述肾脏图像序列包括的断面图像，依照所述第一区域和所述第二区域压缩至指定数据量，得到对应所述第一区域的第一目标图像序列和对应所述第二区域的第二目标图像序列；其中，所述第一目标图像序列的分辨率小于所述第二目标图像序列的分辨率；特征提取模块，用于从所述第一目标图像序列和所述第二目标图像序列提取图像特征；其中，所述图像特征包括从所述第一目标图像序列中提取得到的基础特征，以及将所述第一目标图像序列的所述基础特征与所述第二目标图像序列相结合提取得到的联合特征。
本说明书一个实施方式提出了一种肾动脉分割模型的训练装置，所述方法包括：肾脏图像序列切分模块，用于在肾脏图像序列中确定第一区域和第二区域；其中，所述肾脏图像序列包括多个断面图像，所述第二区域属于所述第一区域的部分区域；图像压缩模块，用于分别将所述肾脏图像序列包括的断面图像，依照所述第一区域和所述第二区域压缩至指定数据量，得到对应所述第一区域的第一目标图像序列和对应所述第二区域的第二目标图像序列；其中，所述第一目标图像序列的分辨率小于所述第二目标图像序列的分辨率；特征提取模块，用于从所述第一目标图像序列和所述第二目标图像序列提取图像特征；其中，所述图像特征包括从所述第一目标图像序列中提取得到的基础特征，以及将所述第一目标图像序列的所述基础特征与所述第二目标图像序列相结合提取得到的联合特征。
本说明书一个实施方式提出了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述实施方式所述的方法。
本说明书一个实施方式提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施方式中所述的方法。
本说明书多个实施方式通过获取对肾脏图像序列切分后得到目标区域的肾脏图像序列，并将目标区域的肾脏图像序列压缩到相同数据量目标图像序列，然后提取目标图像序列中的基础特征和联合特征，从而提升了目标图像序列中高分辨率图像序列特征提取的准确度，进而提升了肾动脉图像分割的准确性。
附图说明
图1a所示为一实施方式提供的一个场景示例中不同端交互的示意图。
图1b所示为一实施方式提供的一个场景示例中肺动脉分割结果示意图。
图2所示为一实施方式提供的一个场景示例中不同端交互的示意图。
图3所述为一实施方式提供的图像的特征提取方法的流程示意图。
图4(a)所示为一实施方式提供的未剔除肾动脉边界的分割结果。
图4(b)所示为一实施方式提供的剔除肾动脉边界的分割结果。
图5(a)所示为一实施方式提供的在进行区域增长前的肾动脉分割结果。
图5(b)所示为一实施方式提供的在进行区域增长后的肾动脉分割结果。
图6所示为一实施方式提供的肾动脉分割模型的训练方法的流程示意图。
图7所示为一实施方式提供的肾动脉分割模型的训练过程示意图。
图8(a)所示为一实施方式提供的对训练样本中的断面图像进行模糊处理前的初始断面图像。
图8(b)所示为一实施方式提供的对训练样本中的断面图像进行模糊处理后的断面图像。
图9(a)所示为一实施方式提供的对训练样本中的样本标签进行边缘弱化处理前的样本标签。
图9(b)所示为一实施方式提供的对训练样本中的样本标签进行边缘弱化处理后的样本标签。
图10所示为一实施方式提供的训练基于区域增长的深度学习模型的示意图。
图11所示为一实施方式提供的图像的特征提取装置示意图。
图12所述为一实施方式提供的肾动脉分割模型的训练装置示意图。
图13所述为一实施方式提供的电子设备示意图。
具体实施方式
为了使本技术领域的人员更好的理解本说明书方案，下面将结合本说明书实施方式中的附图，对本说明书实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅是本说明书一部分实施方式，而不是全部的实施方式。基于本说明书中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本说明书保护的范围。
请参阅图1a和图1b，本说明书实施方式提供一种肾动脉分割系统的应用场景示例。病人A在进行肾肿瘤切除手术之前，可以进行一次 CTA(Computed Tomography Artery，计算机断层扫描血管造影)医学影像检查，并生成肾脏图像序列发送给客户端。客户端在获取到肾脏图像序列后，可以将肾脏图像序列发送给服务器。
服务器在接收到肾脏图像序列后，首先利用3D分割网络将肾脏图像序列中分别确定第一区域、第二区域和第三区域，其中第二区域属于第一区域的部分区域，第三区域属于第二区域的部分区域。
随后，服务器可以将表示第一区域的肾脏图像序列和表示第二区域的图像序列利用卷积运算压缩至与表示第三区域的肾脏图像序列的数据量相同，得到高分辨率图像序列、中分辨率图像序列和低分辨率图像序列。其中，高分辨率图像序列、中分辨率图像序列和低分辨率图像序列分别与表示第三区域的肾脏图像序列、表示第二区域的肾脏图像序列和表示第一区域的肾脏图像序列对应。接着，服务器会将低分辨率图像序列输入到训练好的U-net网络中提取低分辨率图像序列的特征，将低分辨率图像序列的特征图进行上采样放大至与中分辨率图像序列的数据量相同得到目标低分辨率图像特征序列，然后目标低分辨率图像特征序列将和中分辨率图像序列输入到训练好的 U-net网络中提取中分辨率图像序列的特征，将中分辨率图像序列的特征图进行上采样放大至与高分辨率图像序列的数据量相同得到目标中分辨率图像特征序列，然后将目标中分辨率图像特征序列和高分辨率图像序列输入到训练好的U-net网络中提取高分辨率图像序列的特征。
在获取到目标低分辨率图像序列的特征、目标中分辨率图像序列的特征和目标高分辨率图像序列的特征之后，服务器会将目标低分辨率图像序列的特征、目标中分辨率图像序列的特征和目标高分辨率图像序列的特征输入到训练好的U-net网络中，从而得到肾动脉图像在目标高分辨率图像序列区域的肾动脉分割结果。重复上述步骤，直至目标高分辨率图像序列区域的肾动脉分割结果可以覆盖到完整的肾脏图像序列之后，得到肾脏图像序列上的肾动脉分割结果。
在获取到肾动脉的分割结果之后，采用Sobel算子对肾动脉分割结果进行边缘检测，采用阈值算法，将肾动脉分割结果的边界进行剔除，从而得到避免粘连的肾动脉分割结果。
在获取到避免粘连的肾动脉分割结果之后，基于肾动脉分割结果确定肾动脉生长的种子点，基于所述种子点采用基于区域增长的深度学习算法对肾动脉图像进一步进行分割，得到肾动脉的分支。其中，基于区域增长的深度学习算法可以和上述得到肾动脉分割结果的U-net网络的结构相同，但设置的参数不同。其中，避免粘连的肾动脉分割结果和肾动脉分支共同沟通了肾动脉图像的目标分割结果。
服务器可以将肾动脉图像的目标分割结果进行三维建模，从而得到肾动脉三维图像。最后，服务器可以将肾动脉三维图像发送给客户端。此刻，医生可以通过客户端查看肾动脉三维图像，为患者A的肾肿瘤切除手术提供参考。以上所述仅为本说明书提供的一个场景示例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。
以上所述仅为本说明书提供的一个场景示例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。
请参阅图2，本说明书实施方式提供一种肾动脉图像分割系统，且本说明书提供的肾动脉分割方法可以应用于该肾动脉分割系统。该分割系统可以包括由医学成像设备110、客户端120和服务器130形成的硬件环境。医学成像设备110与客户端120连接，服务器130通过网络与客户端120通过通信网络相连。其中，通信网络可以是有线网络或无线网络。医学成像设备110 对肾脏部位进行检查并成像，得到肾脏图像序列。通过通信医学成像设备110将肾脏图像序列传输至客户端120。客户端120向服务器130发送肾脏图像序列，服务器130接收肾脏图像序列。其中，医学成像设备110可以但不限于是超声波医学设备、CT医学检查设备、MRI医学检查设备中的至少一个。客户端120可以是具有网络访问能力的电子设备。具体的，例如，客户端可以是台式电脑、平板电脑、笔记本电脑、智能手机、数字助理、智能可穿戴设备、导购终端、电视机、智能音箱、麦克风等。其中，智能可穿戴设备包括但不限于智能手环、智能手表、智能眼镜、智能头盔、智能项链等。或者，客户端也可以为能够运行于所述电子设备中的软件。本领域技术人员可以知晓，上述客户端120的数量可以一个或多个，其类型可以相同或者不同。比如上述客户端120可以为一个，或者上述客户端120为几十个或几百个，或者更多数量。本申请实施方式中对客户端120的数量和设备类型不加以限定。服务器130可以是具有一定运算处理能力的电子设备。其可以具有网络通信模块、处理器和存储器等。当然，所述服务器也可以是指运行于所述电子设备中的软体。所述服务器还可以为分布式服务器，可以是具有多个处理器、存储器、网络通信模块等协同运作的系统。或者，服务器还可以为若干服务器形成的服务器集群。或者，随着科学技术的发展，服务器还可以是能够实现说明书实施方式相应功能的新的技术手段。例如，可以是基于量子计算实现的新形态的“服务器”。
请参阅图3，本说明书实施方式提供一种图像的特征提取方法。所述图像的特征提取方法可以应用于电子设备。所述图像的特征提取方法可以包括以下步骤。
步骤S210：在肾脏图像序列中确定第一区域和第二区域；其中，所述肾脏图像序列包括多个断面图像，所述第二区域属于所述第一区域的部分区域。
在一些情况下，一次性获取整个图像的信息可能会掩盖掉图像中一些重要的细节信息。为了使得获取到的图像的信息更为丰富，可以通过将图像分割成多个不同尺寸的图像，然后基于较大尺寸的图像得到图像的整体信息和较小尺寸的图像得到图像的局部信息，从而丰富图像的特征。
所述肾脏图像序列可以是患者在对肾脏部位进行一次医学影像检查后产生的影像数据。其中，所述医学影像数据可以是超声波医学设备生成的图像序列、CT医学检查设备生成的医学图像序列、MRI医学检查设备生成的医学图像序列中的任意一个。
所述断面图像可以是在一次医学检查中，表示患者肾脏某个横截面的图像。具体的，例如，医生对患者的肾脏使用64排CT检查设备进行扫描，64 张断面图像。其中，这64张断面图像的组合为一个肾脏图像序列。
所述第一区域属于肾脏图像序列中的部分区域。具体的，例如，患者在进行一次CTA检查后的肾脏图像序列的尺寸为4096*2048*64，表示该肾脏图像序列包括64个尺寸为4096*2048的断面图像。对该图像进行裁剪后，得到第一区域的肾脏图像序列的尺寸可以是2048*1080*8。所述第二区域属于第一区域的肾脏图像序列的部分区域。具体的，例如，对上述第一区域的肾脏图像序列进一步的进行切分得到第二区域的肾脏图像的尺寸为 1024*540*8。
所述在肾脏图像序列中确定第一区域和第二区域的方法可以在所述肾脏图像中随机的切分一块区域作为第一区域，从而切分出第一区域的肾脏图像序列。然后，基于第一区域的肾脏图像序列进一步的进行切分，得到第二区域的肾脏图像序列。当然，也可以先在肾脏图像中切分表示第二区域的肾脏图像序列。然后，在第二区域的范围上进一步的进行扩大，得到第一区域的肾脏图像序列。
步骤S220：分别将所述肾脏图像序列包括的断面图像，依照所述第一区域和所述第二区域压缩至指定数据量，得到对应所述第一区域的第一目标图像序列和对应所述第二区域的第二目标图像序列；其中，所述第一目标图像序列的分辨率小于所述第二目标图像序列的分辨率。
在一些情况下，由于在一个大视角范围中表示大区域范围的肾脏图像序列相邻像素之间具有较高的一致性。因此，可以通过分别将肾脏图像序列包括的断面图像依照第一区域和第二区域的压缩到指定数据量，可以减少表示第一区域图像序列和表示第二图像序列中的冗余信息。
所述第一区域的第一目标图像序列可以是将第一区域的肾脏图像序列经过压缩处理后得到的第一目标图像序列。具体的，例如，在上述实施方式中第一区域的肾脏图像序列的尺寸可以是2048*1080*8，然后根据指定的数据量压缩到256*135*8的第一目标图像序列。所述第二区域的第二目标图像序列可以是将第二区域的肾脏图像序列经过压缩处理后得到的第二目标图像序列。在上述实施方式中第二区域的肾脏图像序列的尺寸可以是1024*540*8，然后根据指定的数据量压缩到256*135*8的第二目标图像序列。
所述分别将所述肾脏图像序列包括的断面图像，依照所述第一区域和所述第二区域压缩至指定数据量的方法可以根据第二区域的肾脏图像序列的数据量来确定目标图像序列的指定数据量。其中，指定数据量的行列数均小于或等于表示第二区域肾脏图像的行列数。然后根据指定数据量的行列数分别确定第一区域的肾脏图像序列的卷积核和第二区域的肾脏图像序列的卷积核；最后基于第一区域的肾脏图像序列的卷积核将表示第一区域的肾脏图像序列压缩为第一目标图像序列，基于第二区域的肾脏图像序列的卷积核将表示第二区域的肾脏图像序列压缩为第二目标图像序列。其中，所述指定数据量小于或等于第二区域的肾脏图像的数据量。具体的，例如，第一区域的肾脏图像序列的尺寸为2048*1080*8，第二区域的肾脏图像序列的尺寸为 1024*540*8，根据第二区域的肾脏图像序列的尺寸确定指定数据量为 1024*540*8，因此可以设置针对第一区域的肾脏图像序列的卷积核为2*2*1，然后计算该卷积核范围内的像素的平均值作为卷积运算后的第一区域的目标肾脏图像中的像元值。
步骤S230：从所述第一目标图像序列和所述第二目标图像序列提取图像特征；其中，所述图像特征包括从所述第一目标图像序列中提取得到的基础特征，以及将所述第一目标图像序列的所述基础特征与所述第二目标图像序列相结合提取得到的联合特征。
在一些情况下，为了使得图像中提取的特征更加丰富，因此可以将所述第一目标图像中提取的基础特征中有表示包括的第二区域图像序列中元素的特征进行结合提取第二目标图像序列的特征，其中，第二目标图像序列的特征包括第一目标图像序列的基础特征和第二目标图像序列提取得到的联合特征。
所述基础特征可以根据第一目标图像序列在任意一个3D分割网络的编码器中提取得到。具体的，例如，第一目标图像序列的尺寸为1024*560*8。然后将第一目标图像序列输入到训练好的U-NET网络分割模型中，经过4 次卷积核为2*2*1的运算以后得到64*35*8的基础特征。
所述联合特征为根据第一目标图像序列对应的基础特征和第二目标图像序列在3D分割网络的编码器中提取得到。具体的，例如，将上述第一目标图像序列64*35*8的基础特征中包括第二目标图像序列的部分图像特征抠取得到32*20*8的特征图像。然后对32*20*8的特征图像进行上采样处理，得到与第二目标图像序列相同数据量大小的第一目标特征图像。然后结合第一目标特征图像和第二目标图像序列采用上述训练好的U-NET网络分割模型，经过4次卷积核为2*2*1的运算以后得到64*35*8的联合特征。
通过获取对肾脏图像序列切分后得到目标区域的肾脏图像序列，并将目标区域的肾脏图像序列压缩到相同数据量目标图像序列，然后提取目标图像序列中的基础特征和联合特征，从而提升了目标图像序列中高分辨率图像序列特征提取的准确度，进而提升了肾动脉图像分割的准确性。
在一些实施方式中，图像的特征提取方法还可以包括：在所述肾脏图像序列中确定第三区域；其中所述第三区域属于所述第二区域的部分区域；将所述肾脏图像序列包括的断面图像依照所述第三区域压缩至指定数据量，得到对应所述第三区域的第三目标图像序列；其中，所述第二目标图像序列的分辨率小于所述第三目标图像序列的分辨率；将所述联合特征和所述第三目标图像序列相结合提取所述第三目标图像序列的联合特征。
在一些情况下，通过表示第一区域的肾脏图像序列和表示第二区域的肾脏图像序列提取肾脏图像序列的特征还不够丰富，因此，可以通过引入表示第三区域肾脏图像序列，构建一个表示三层的递进关系，从而使得对肾脏图像序列的特征提取更丰富，可以进一步提升肾脏图像序列中肾动脉分割的准确性。其中，第一区域的肾脏图像序列可以用于表示肾脏图像序列整体上的特征，第二区域的肾脏图像可以用于表示肾脏图像序列局部的图像特征，第三区域的肾脏图像序列可以用于表示肾脏图像序列的细节特征。当然，也可以根据场景需要构建层次更为丰富的表示不同区域的肾脏图像序列，其中，肾脏图像序列中小区域的图像序列从属于大区域图像序列，然后基于多个不同区域的图像序列构建一个多层的递进关系。
所述第三区域的肾脏图像序列为根据第二区域的肾脏图像序列切分后的结果，其中，所述第三区域的肾脏图像序列为所述第二区域的肾脏图像的部分区域。具体的，例如，上述第二区域肾脏图像的尺寸为1024*540*8，那么第三区域肾脏图像的尺寸为512*270*8。相应的，在对表示第一区域的肾脏图像序列、表示第二区域的肾脏图像序列和表示第三区域的肾脏图像序列进行压缩后的数据量需要以第三区域肾脏图像的尺寸为以依据。
所述第三图像序列的联合特征可以根据第二目标图像序列对应的联合特征和第三目标图像序列在3D分割网络的编码器中提取得到。具体的，例如，将上述第二目标图像序列64*35*8的联合特征中包括第三目标图像序列的部分图像特征抠取得到32*20*8的特征图像。然后对32*20*8的特征图像进行上采样处理，得到与第三目标图像序列相同数据量大小的第二目标特征图像。然后结合第二目标特征图像和第三目标图像序列采用上述训练好的 U-NET网络分割模型，经过4次卷积核为2*2*1的运算以后得到64*35*8 的联合特征。
在一些实施方式中，从所述第一目标图像序列和所述第二目标图像序列提取图像特征的步骤，可以包括：提取所述第一目标图像序列的基础特征；将所述基础特征中包括所述第二目标图像序列对应的图像特征进行上采样处理得到基础特征图像序列；其中，所述基础特征图像序列与所述第二目标图像序列数据量相同；根据所述基础特征图像序列和所述第二目标图像序列提取联合特征。
在一些情况下，特征提取的丰富程度对图像的分割有较大的影响。因此，在进行第二目标图像序列的特征提取的过程中，可以引入第一目标图像序列提取的基础特征中包括第二目标图像序列的部分作为参考，从而将第一目标图像的视觉上的整体特征和第二目标图像序列的局部特征共同提取针对第二目标图像的联合特征。
所述上采样处理可以是将所述第一目标图像序列的基础特征中包括第二目标图像序列的部分进行放大到与所述第二目标图像序列相同的数据量。具体的，例如，第一目标图像序列的基础特征中包括第二目标图像序列的部分的数据量为32*20*8，然后通过双线性插值法或反距离加权法将32*20*8 的图像放大到与第二目标图像序列相同的数据量1024*560*8得到基础特征图像序列，然后基于基础特征图像序列和所述第二目标图像序列输入到训练好的U-NET网络模型中提取第二目标图像序列的联合特征。
本说明书实施方式提供一种肾脏图像序列中肾动脉像元的确定方法。所述肾动脉分割的方法可以应用于电子设备。所述肾动脉像元的确定方法可以包括：根据所述图像特征，提取所述肾脏图像序列中表示肾动脉的像元。
在一些情况下，图像特征是将肾脏图像经过多次不同的卷积核进行卷积运算以后得到的。因此，还需要将特征输入到肾动脉分割模型的解码器中进行多次上采样，从而形成与第二区域的肾脏图像序列数据量相同的目标肾动脉图像序列。其中，所述目标肾动脉图像序列包括表示肾动脉的像元和表示非肾动脉的像元。
所述将所述图像特征输入到预设的肾动脉分割模型中，得到所述肾脏图像序列中表示肾动脉的像元的方法可以是将表示第一区域的基础特征和表示第二区域的联合特征输入到3D分割网络的解码器中，经过多次上采样的步骤得到第二区域上表示肾动脉的像元。具体的，例如，在一次肾脏图像序列的特征提取过程分别将表示第一区域的肾脏图像序列和表示第二区域的肾脏图像序列压缩到1080*560*8这个数据量级别，然后通过4次卷积之后提取的表示第一区域的基础特征和表示第二区域的联合特征的数据量均为 128*70*8，之后将表示第一区域的基础特征和表示第二区域的联合特征输入到U-net网络的解码器中，经过4次上采样之后，得到目标肾动脉图像序列。其中，所述目标肾动脉图像序列中可以包括表示肾动脉像元和表示非动脉像元的(0，1)编码结构。
在一些实施方式中，所述图像特征可以包括所述第一目标图像序列的基础特征，和所述第二目标图像序列的联合特征，所述方法还可以包括：将所述表示第一区域的基础特征和所述表示第二区域的联合特征输入到预设的肾动脉分割模型中，得到所述肾脏图像序列在所述第二区域表示肾动脉的像元；其中，所述第二区域表示肾动脉的像元用于生成所述肾脏图像序列中表示肾动脉的像元。
在一些情况下，只需要在肾动脉图像序列中提取大小不同的两个区域的肾脏图像序列就可以取得较好的图像分割效果。因此，只需要将表示第一区域图像序列的基础特征和表示第二区域的联合特征输入到3D分割网络的解码器中。
在一些实施方式中，肾脏图像的分割方法还可以包括：使用如上述图像的特征提取方法生成肾脏图像序列中表示第三区域的联合特征；将所述表示第一区域的基础特征、所述表示第二区域的联合特征和所述表示第三区域的联合特征输入到预设的肾动脉分割模型中，得到所述肾脏图像序列在所述第三区域表示肾动脉的像元；其中，所述第三区域表示肾动脉的像元用于生成所述肾脏图像序列中表示肾动脉的像元。
在一切情况下，所述特征提取的区域为三层结果的情况下，需要表示第一区域的基础特征和表示第二区域的联合特征和表示第三区域的联合特征均输入到肾动脉分割模型的解码器中，从而提取第三区域上表示肾动脉的像元。
在一些实施方式中，肾脏图像的分割方法还可以包括：剔除所述肾脏图像序列中表示肾动脉的像元中属于边界的像元，得到肾脏图像序列中表示肾动脉的目标像元；其中，所述属于边界的像元的亮度值小于所述目标像元的亮度值。
在一些情况下，根据上述实施方式中获取到的肾动脉结果进行肾动脉建模时，可能存在多条肾动脉粘连在一起的情况。因此，可以先提取肾脏图像序列中肾动脉像元的边缘，然后将这些表示肾动脉的边缘的像元予以提出，从而将仍然存在粘连的肾动脉予以剔除。
请参阅图4(a)和图4(b)，所述剔除所述肾脏图像序列中表示肾动脉的像元中属于边界的像元的方法可以是采用Sobel算子、Canny算子、 Laplacian算子等进行剔除。所述边界是指其周围像元的灰度急剧变化的像元集合，边界存在于肾脏图像序列中表示肾动脉的像元和其它像元之间。具体的，例如，可以采用Sobel算子对图像的边缘进行检测，将肾脏图像序列中表示肾动脉的像元与其8邻域内的亮度值之差大于30的像元值进行剔除。
在一些实施方式中，肾动脉分割的方法还可以包括：在所述肾脏图像序列中表示肾动脉的像元中确定肾动脉生长的种子点；基于所述种子点提取肾脏图像序列中表示肾动脉分支的像元；将所述肾脏图像序列中表示肾动脉的像元和所述肾脏图像序列中表示肾动脉分支的像元作为所述肾脏图像序列中表示肾动脉的目标像元。
在一些情况下，由于肾动脉的末端靠近了肾实质，而肾实质干扰了肾动脉的显影。因此，可以在获取到了肾动脉的主要动脉之后，采用基于区域增长的肾动脉分割方法进行小幅度的生长，以进一步分割出进入肾实质中的肾动脉分支，从而将肾脏图像序列中的表示肾动脉的像元和表示肾动脉分支的像元作为肾动脉图像序列的目标像元。
所述种子点为对肾脏图像序列进行分割后得到肾脏图像序列中属于肾动脉像元的区域。
请参阅图5(a)和图5(b)，所述基于所述种子点提取肾脏图像序列中表示肾动脉分支的像元的方法可以是基于上述肾脏图像序列的分割方法得到的肾脏图像序列中表示肾动脉的目标像元为种子点，然后基于种子点和预设的基于区域增长的深度学习方法进行小幅度的增长得到肾动脉分支。其中，基于区域增长的深度学习方法与上述肾脏图像的分割方法的处理流程可以相同，但模型中的参数并不相同。
在一些实施方式中，肾动脉分割的方法还可以包括：根据所述表示肾动脉的目标像元，建立所述肾脏图像序列中肾动脉的三维模型。
在一些情况下，如果将肾脏图像中包括多个断面的肾动脉分割结果直接提供给医生查看的时候并不能清晰的表示出患者的肾动脉情况。因此，可以将上述肾动脉图像序列中表示肾动脉的目标像元进行三维建模从而得到三维空间维度上的肾动脉图像。
请参阅图6和图7，本说明书实施方式提供一种肾动脉分割模型的训练方法，所述方法包括以下步骤。
S310：构建训练初始肾动脉分割模型的训练样本集；其中，所述训练样本集包括肾脏图像序列和所述肾脏图像序列对应的样本标签。
在一些情况下，训练样本构造的好坏直接影响模型的精度。因此，在对肾脏图像序列中的样本进行标注需要选择专业水平较高、专业经验较为丰富的医生进行标注。但是，需要说明的是，本申请实施方式中并不限定训练样本的具体形式，可以是原始的医学影像，也可以是经过预处理后的医学影像，还可以是原始的医学影像的一部分。
S320：在所述肾脏图像序列中确定多个嵌套的目标区域；其中，所述目标区域对应有目标图像序列。
本实施方式中所提到的多个嵌套的目标区域和所述目标区域对应的目标图像序列的确定方法与上述实施方式中的方法相同，具体细节再次不再赘述，请参见上述实施方式。但是，需要说明的是，本实施方式中的肾脏图像序列为训练样本集中的肾脏图像序列，其中附带有样本标记。
S330：基于所述目标图像序列训练初始肾动脉分割模型，以生成肾动脉分割模型；其中，所述肾动脉分割模型用于生成肾脏图像序列中表示肾动脉的像元。
在一些情况下，可以将训练样本中的肾脏图像序列输入到初始肾动脉分割模型，然后对初始肾动脉分割模型进行训练，以生成肾动脉分割模型。
所述初始肾动脉分割模型用于生成训练样本中的肾脏图像序列的初始分割结果。然后基于所述初始分割结果和样本标签计算该初始肾动脉分割模型的损失函数。然后基于损失函数更新初始肾动脉分割模型，在损失函数收敛的情况下，将更新后模型的参数作为肾动脉分割模型的参数。所述初始肾动脉分割模型可以是卷积神经网络(ConvolutionalNeural Network，CNN)、深度神经网络(Deep Neural Network，DNN)或循环神经网络(Recurrent Neural Network，RNN)等，本实施方式中对初始肾动脉分割模型的具体类型不作限定。本实施方式中初始肾动脉分割模型可以包括输入层、卷积层、池化层、连接层等神经网络层，本实施方式中对此不作具体限定。另外，本实施方式中对每一种神经网络层的个数也不作限定。
在一些实施方式中，所述训练样本集包括表示肾动脉的正样本标注和至少包括表示静脉血管、肾盂、肾盏和结石中的一个的负样本标注，构建训练样本集和初始肾动脉分割模型的步骤，可以包括：分别设置所述正样本的初始权重和所述负样本的初始权重；基于所述正样本的初始权重和所述负样本的初始权重生成初始肾动脉分割模型。
在一些情况下，肾脏内的动脉血管与静脉血管、肾盂、肾盏交叉，容易出现分割假阳的问题。因此，可以对静脉血管、肾盂、肾盏，以及偶发性的结石等异常亮斑进行负样本标注，将该类负样本区域进行加权输入模型进行训练，提高模型在肾门内复杂区域对静脉、肾盂、肾盏的识别能力，有效避免该类假阳。
在一些实施方式中，在构建训练初始肾动脉分割模型的训练样本集的步骤之前，所述方法还可以包括：获取初始肾脏图像序列；其中，所述初始肾脏图像序列包括多个初始断面图像；根据预设的高斯核函数对所述初始肾动脉图像包括的多个初始断面图像进行处理得到肾脏图像序列。
在一些情况下，CT造影剂的效果可能不够明显，动脉的静脉的亮度相近，从而导致将肾静脉错分成肾动脉或者将肾动脉误认为是肾静脉的情况。因此，可以将训练样本中的肾脏图像序列加入模糊高斯球，降低肾动脉的亮度，以提升模型在造影剂不明亮时，对动脉分割的泛化性能。
请参阅图8(a)和图8(b)，所述根据预设的高斯核函数对所述初始肾动脉图像包括的多个初始断面图像进行处理得到肾脏图像序列的方法可以通过模糊高斯球对图像进行平滑处理，从而得到亮度较为一致的肾脏图像序列。具体的，例如，肾脏图像序列中某个断面图像的尺寸为2080*1560，设置模糊高斯球的大小为11*11，然后从原点开始利用该高斯模糊球进行扫描，将该高斯模糊球内像元的平均亮度值作为该高斯模糊球内中心像元的亮度值。当然，也可以通过构造梯度下降的函数，从而使得亮度值较高的像元的目标亮度值的降幅大于亮度值较低的像元的目标亮度值的降幅。
在一些实施方式中，基于所述目标图像序列训练初始肾动脉分割模型，以生成肾动脉分割模型的步骤，可以包括：将所述目标图像特征输入到初始肾动脉分割模型，得到所述肾脏图像序列中预测表示肾动脉的像元；基于所述肾脏图像序列中预测表示肾动脉的像元和所述肾脏图像序列对应的标签计算所述初始分割模型的预测损失；基于所述预测损失生成所述初始肾动脉分割模型的损失函数；根据所述损失函数更新所述初始肾动脉分割模型，并在所述损失函数收敛的情况下，得到肾动脉分割模型。
在一些情况下，损失函数可以用于评判初始肾动脉分割模型用于肾动脉分割的精度。因此，可以基于损失函数调整初始肾动脉分割模型的参数，在损失函数收敛的情况下，将该损失函数对应的参数作为肾动脉分割模型的参数。
在一些实施方式中，肾动脉分割模型的训练方法还可以包括：计算所述肾脏图像序列中预测表示肾动脉的像元和预设的肾动脉软化骨架标签之间的拓扑准确性和拓扑敏感度；基于所述拓扑准确性和所述拓扑敏感度确定所述肾脏图像序列中预测表示肾动脉的像元和预设的肾动脉软化骨架标签的软化骨架损失；相应的，在基于所述预测损失生成所述初始肾动脉分割模型的损失函数的步骤中，可以包括：基于所述预测损失和所述软化骨架损失生成所述初始肾动脉分割模型的损失函数。
在一些情况下，由于CT显影质量等问题，肾动脉在CT影像中易出现小幅度断连，导致实际分割出的肾动脉断裂，并且影响模型对断连动脉的分割概率。因此，可以将肾动脉软化骨架标签作为参考，从而避免肾动脉出现粘连。
所述拓扑准确性为初始肾动脉分割模型中对肾动脉的预测结果中属于肾动脉软化骨架标签的像元与肾动脉图像序列中像素个数之和的比值。所述拓扑敏感度为初始肾动脉分割模型中对肾动脉的预测结果中不属于肾动脉软化骨架标签的像元与肾动脉图像序列中像素个数之和的比值。具体的，例如，可以根据拓扑准确性和拓扑敏感度求得soft-clDice损失函数。通过该方法可以显著加强模型对于动脉血管拓扑结构的理解能力，使CT图在出现小范围断连问题时，模型能够根据拓扑结构分割出完整的动脉。
在一些实施方式中，肾动脉分割模型的训练方法还可以包括：求取正样本标注的中心像元；对所述正样本标注中非所述中心像元进行高斯模糊处理得到边缘弱化的正样本标签；计算所述肾脏图像序列中预测表示肾动脉的像元和所述边缘弱化的正样本标签的边缘弱化损失；相应的，在基于所述预测损失和所述软化骨架损失生成所述初始肾动脉分割模型的损失函数的步骤中，可以包括：基于所述预测损失、所述软化骨架损失和所述边缘弱化损失生成所述初始肾动脉分割模型的损失函数。
在一些情况下，肾动脉在小空间中血管间距近，容易导致肾动脉粘连。因此，可以对肾动脉标签进行先求中心再进行高斯模糊的处理方法，降低标注血管的边缘值，已达到降低分割出的肾动脉边缘，以避免肾动脉粘连问题。
请参阅图9(a)和图9(b)，所述对所述正样本标签中非所述中心像元进行高斯模糊处理得到边缘弱化的正样本标签的方法可以包括对正样本标签进行中心像元的提取，然后从中心像元使用卷积核对样本标签进行高斯模糊处理，从而使得正样本标签中除中心像元之外的像元的亮度值处于一个较低的亮度。当然，也可以使用从中心到边缘亮度值递减的计算方法使得正样本标签中的边缘亮度值较低。
请参阅图10，在一些实施方式中，肾动脉分割模型的训练方法还可以包括：基于所述肾动脉分割模型生成的肾脏图像序列中表示肾动脉的像元确定肾动脉生长的种子点；基于所述种子点和所述目标图像序列训练初始基于区域增长深度学习模型，得到基于区域增长的深度学习模型；其中，所述肾动脉分割模型和所述基于区域增长的深度学习模型用于生成肾脏图像序列中表示肾动脉的目标像元。
在一些情况下，由于肾动脉的末端靠近了肾实质，而肾实质干扰了动脉的显影，上述实施方式中的肾动脉分割方法可能会抹去肾脏的较细的肾动脉。因此，可以在上述实施方式中训练好的肾动脉分割模型作为第一阶段实现对肾内主要分支动脉的预测，然后第二阶段在第一阶段肾内动脉的基础上，通过添加maxpool3D层进行肾动脉的小幅度生长，以进一步分割出进入肾实质的动脉。
所述初始基于区域增长的深度学习模型可以采用与上述初始肾动脉分割模型同样的架构，但是不同的参数来进行训练。当然，也可以采用其它的基于区域增长的神经网络，本实施方式在此不作限定。
所述基础区域增长的深度学习模型的训练阶段的判断方法可以使用损失函数来判断。根据损失函数更新基于区域增长的深度学习模型，在损失函数收敛的情况下，将该损失函数对应的模型参数作为基于区域增长的深度学习模型的参数。
请参阅图11，在一些实施方式中，可以提供一种图像的特征提取装置，可以包括：肾脏图像序列切分模块、图像压缩模块、特征提取模块。
肾脏图像序列切分模块，用于在肾脏图像序列中确定第一区域和第二区域；其中，所述肾脏图像序列包括多个断面图像，所述第二区域属于所述第一区域的部分区域。
图像压缩模块，用于分别将所述肾脏图像序列包括的断面图像，依照所述第一区域和所述第二区域压缩至指定数据量，得到对应所述第一区域的第一目标图像序列和对应所述第二区域的第二目标图像序列；其中，所述第一目标图像序列的分辨率小于所述第二目标图像序列的分辨率。
特征提取模块，用于从所述第一目标图像序列和所述第二目标图像序列提取图像特征；其中，所述图像特征包括从所述第一目标图像序列中提取得到的基础特征，以及将所述第一目标图像序列的所述基础特征与所述第二目标图像序列相结合提取得到的联合特征。
请参阅图12，在一些实施方式中，可以提供一种肾动脉分割模型的训练装置，可以包括：训练样本构建模块、目标图像序列获取模块、肾动脉分割模型生成模块。
训练样本构建模块，用于构建训练初始肾动脉分割模型的训练样本集；其中，所述训练样本集包括肾脏图像序列和所述肾脏图像序列对应的样本标签。
目标图像序列获取模块，用于在所述肾脏图像序列中确定多个嵌套的目标区域；其中，所述目标区域对应有目标图像序列。
肾动脉分割模型生成模块，用于基于目标区域对应的目标图像特征训练初始肾动脉分割模型，以生成肾动脉分割模型；其中，所述肾动脉分割模型用于生成肾脏图像序列中表示肾动脉的像元。
关于图像的特征提取装置和/或肾动脉分割模型的训练装置实现的具体功能和效果，可以参照本说明书其他实施方式对照解释，在此不再赘述。所述图像的特征提取装置和/或肾动脉的分割装置和/或肾动脉分割模型中的各个模块可全部或部分通过软件、硬件及其组合来实现。所述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
请参阅图13，本说明书实施方式提供一种电子设备，所述电子设备可以包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述实施方式中的方法步骤。
本说明书实施方式可以提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现所述实施方式中的方法步骤。
本领域普通技术人员可以理解实现所述实施方式方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如所述各方法的实施方式的流程。其中，本说明书所提供的各实施方式中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和 /或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
本说明书多个实施方式之间，采用递进的方式进行描述。不同的实施方式着重于描述相较于其它实施方式不相同的部分。所属领域技术人员在阅读本说明书之后，可以获知本说明书中的多个实施方式，以及实施方式揭示的多个技术特征，可以进行更多种的组合，为使描述简洁，未对所述实施方式中的各个技术特征所有可能的组合都进行描述。然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的多个实施方式本身均着重于强调与其他实施方式不同的部分，各实施方式之间可以相互对照解释。所属领域技术人员基于一般的技术常识对本说明书中的多个实施方式的任意组合均涵盖于本说明书的揭示范围内。
以上所述仅为本案的实施方式而已，并不用以限制本案的权利要求保护范围。对于本领域技术人员来说，本案可以有各种更改和变化。凡在本案的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本案的权利要求范围之内。

Claims (18)

1.一种图像的特征提取方法，其特征在于，包括：
在肾脏图像序列中确定第一区域和第二区域；其中，所述肾脏图像序列包括多个断面图像，所述第二区域属于所述第一区域的部分区域；
分别将所述肾脏图像序列包括的断面图像，依照所述第一区域和所述第二区域压缩至指定数据量，得到对应所述第一区域的第一目标图像序列和对应所述第二区域的第二目标图像序列；其中，所述第一目标图像序列的分辨率小于所述第二目标图像序列的分辨率；
从所述第一目标图像序列和所述第二目标图像序列提取图像特征；其中，所述图像特征包括从所述第一目标图像序列中提取得到的基础特征，以及将所述第一目标图像序列的所述基础特征与所述第二目标图像序列相结合提取得到的联合特征。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述肾脏图像序列中确定第三区域；其中，所述第三区域属于所述第二区域的部分区域；
将所述肾脏图像序列包括的断面图像依照所述第三区域压缩至指定数据量，得到对应所述第三区域的第三目标图像序列；其中，所述第二目标图像序列的分辨率小于所述第三目标图像序列的分辨率；
将所述联合特征和所述第三目标图像序列相结合提取所述第三目标图像序列的联合特征。
3.根据权利要求1所述的方法，其特征在于，从所述第一目标图像序列和所述第二目标图像序列提取图像特征的步骤，包括：
提取所述第一目标图像序列的基础特征；
将所述基础特征中包括所述第二目标图像序列对应的图像特征进行上采样处理得到基础特征图像序列；其中，所述基础特征图像序列与所述第二目标图像序列数据量相同；
根据所述基础特征图像序列和所述第二目标图像序列提取联合特征。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述图像特征，提取所述肾脏图像序列中表示肾动脉的像元。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
剔除所述肾脏图像序列中表示肾动脉的像元中属于边界的像元，得到肾脏图像序列中表示肾动脉的目标像元；其中，所述属于边界的像元的亮度值小于所述目标像元的亮度值。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在所述肾脏图像序列中表示肾动脉的像元中确定肾动脉生长的种子点；
基于所述种子点提取肾脏图像序列中表示肾动脉分支的像元；
将所述肾脏图像序列中表示肾动脉的像元和所述肾脏图像序列中表示肾动脉分支的像元作为所述肾脏图像序列中表示肾动脉的目标像元。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
根据所述表示肾动脉的目标像元，建立所述肾脏图像序列中肾动脉的三维模型。
8.一种肾动脉分割模型的训练方法，其特征在于，包括：
构建训练初始肾动脉分割模型的训练样本集；其中，所述训练样本集包括肾脏图像序列和所述肾脏图像序列对应的样本标签；
在所述肾脏图像序列中确定多个嵌套的目标区域；其中，所述目标区域对应有目标图像序列；
基于所述目标图像序列训练初始肾动脉分割模型，以生成肾动脉分割模型；其中，所述肾动脉分割模型用于生成肾脏图像序列中表示肾动脉的像元。
9.根据权利要求8所述的方法，所述训练样本集包括表示肾动脉的正样本标注和至少包括表示静脉血管、肾盂、肾盏和结石中的一个的负样本标注，构建训练样本集和初始肾动脉分割模型的步骤，包括：
分别设置所述正样本的初始权重和所述负样本的初始权重；
基于所述正样本的初始权重和所述负样本的初始权重生成初始肾动脉分割模型。
10.根据权利要求8所述的方法，其特征在于，在构建训练初始肾动脉分割模型的训练样本集的步骤之前，所述方法还包括：
获取初始肾脏图像序列；其中，所述初始肾脏图像序列包括多个初始断面图像；
根据预设的高斯核函数对所述初始肾动脉图像包括的多个初始断面图像进行处理得到肾脏图像序列。
11.根据权利要求8所述的方法，其特征在于，基于所述目标图像序列训练初始肾动脉分割模型，以生成肾动脉分割模型的步骤，包括：
将所述目标图像特征输入到初始肾动脉分割模型，得到所述肾脏图像序列中预测表示肾动脉的像元；
基于所述肾脏图像序列中预测表示肾动脉的像元和所述肾脏图像序列对应的标签计算所述初始分割模型的预测损失；
基于所述预测损失生成所述初始肾动脉分割模型的损失函数；
根据所述损失函数更新所述初始肾动脉分割模型，并在所述损失函数收敛的情况下，得到肾动脉分割模型。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
计算所述肾脏图像序列中预测表示肾动脉的像元和预设的肾动脉软化骨架标签之间的拓扑准确性和拓扑敏感度；
基于所述拓扑准确性和所述拓扑敏感度确定所述肾脏图像序列中预测表示肾动脉的像元和预设的肾动脉软化骨架标签的软化骨架损失；
相应的，在基于所述预测损失生成所述初始肾动脉分割模型的损失函数的步骤中，包括：
基于所述预测损失和所述软化骨架损失生成所述初始肾动脉分割模型的损失函数。
13.根据权利要求12所述的方法，其特征在于，所述方法还包括：
求取正样本标注的中心像元；
对所述正样本标注中非所述中心像元进行高斯模糊处理得到边缘弱化的正样本标签；
计算所述肾脏图像序列中预测表示肾动脉的像元和所述边缘弱化的正样本标签的边缘弱化损失；
相应的，在基于所述预测损失和所述软化骨架损失生成所述初始肾动脉分割模型的损失函数的步骤中，包括：
基于所述预测损失、所述软化骨架损失和所述边缘弱化损失生成所述初始肾动脉分割模型的损失函数。
14.根据权利要求8所述的方法，其特征在于，所述方法还包括：
基于所述肾动脉分割模型生成的肾脏图像序列中表示肾动脉的像元确定肾动脉生长的种子点；
基于所述种子点和所述目标图像序列训练初始基于区域增长深度学习模型，得到基于区域增长的深度学习模型；其中，所述肾动脉分割模型和所述基于区域增长的深度学习模型用于生成肾脏图像序列中表示肾动脉的目标像元。
15.一种图像的特征提取装置，其特征在于，包括：
肾脏图像序列切分模块，用于在肾脏图像序列中确定第一区域和第二区域；其中，所述肾脏图像序列包括多个断面图像，所述第二区域属于所述第一区域的部分区域；
图像压缩模块，用于分别将所述肾脏图像序列包括的断面图像，依照所述第一区域和所述第二区域压缩至指定数据量，得到对应所述第一区域的第一目标图像序列和对应所述第二区域的第二目标图像序列；其中，所述第一目标图像序列的分辨率小于所述第二目标图像序列的分辨率；
特征提取模块，用于从所述第一目标图像序列和所述第二目标图像序列提取图像特征；其中，所述图像特征包括从所述第一目标图像序列中提取得到的基础特征，以及将所述第一目标图像序列的所述基础特征与所述第二目标图像序列相结合提取得到的联合特征。
16.一种肾动脉分割模型的训练装置，其特征在于，包括：
训练样本构建模块，用于构建训练初始肾动脉分割模型的训练样本集；其中，所述训练样本集包括肾脏图像序列和所述肾脏图像序列对应的样本标签；
目标图像序列获取模块，用于在所述肾脏图像序列中确定多个嵌套的目标区域；其中，所述目标区域对应有目标图像序列；
肾动脉分割模型生成模块，用于基于目标区域对应的目标图像特征训练初始肾动脉分割模型，以生成肾动脉分割模型；其中，所述肾动脉分割模型用于生成肾脏图像序列中表示肾动脉的像元。
17.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1至14中任一项所述的方法。
18.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至14中任一项所述的方法。
CN202210505164.4A 2022-05-10 2022-05-10 图像的特征提取方法、图像分割模型的训练方法和装置 Active CN115272165B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210505164.4A CN115272165B (zh) 2022-05-10 2022-05-10 图像的特征提取方法、图像分割模型的训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210505164.4A CN115272165B (zh) 2022-05-10 2022-05-10 图像的特征提取方法、图像分割模型的训练方法和装置

Publications (2)

Publication Number Publication Date
CN115272165A true CN115272165A (zh) 2022-11-01
CN115272165B CN115272165B (zh) 2023-09-26

Family

ID=83759262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210505164.4A Active CN115272165B (zh) 2022-05-10 2022-05-10 图像的特征提取方法、图像分割模型的训练方法和装置

Country Status (1)

Country Link
CN (1) CN115272165B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050249391A1 (en) * 2004-05-10 2005-11-10 Mediguide Ltd. Method for segmentation of IVUS image sequences
CN109993726A (zh) * 2019-02-21 2019-07-09 上海联影智能医疗科技有限公司 医学图像的检测方法、装置、设备和存储介质
CN110648350A (zh) * 2019-09-26 2020-01-03 联想(北京)有限公司 一种肝脏血管分割方法、装置及电子设备
CN110992310A (zh) * 2019-11-09 2020-04-10 杭州依图医疗技术有限公司 一种确定纵隔淋巴结所在分区的方法及装置
CN111291736A (zh) * 2020-05-07 2020-06-16 南京景三医疗科技有限公司 图像修正方法、装置及医疗设备
CN111899245A (zh) * 2020-07-30 2020-11-06 北京推想科技有限公司 图像分割、模型的训练方法及装置，电子设备及存储介质
CN113012166A (zh) * 2021-03-19 2021-06-22 北京安德医智科技有限公司 颅内动脉瘤分割方法及装置、电子设备和存储介质
CN113177953A (zh) * 2021-04-27 2021-07-27 平安科技（深圳）有限公司 肝脏区域分割方法、装置、电子设备及存储介质
CN113192031A (zh) * 2021-04-29 2021-07-30 上海联影医疗科技股份有限公司 血管分析方法、装置、计算机设备和存储介质
CN113222038A (zh) * 2021-05-24 2021-08-06 北京安德医智科技有限公司 基于核磁图像的乳腺病灶分类和定位方法及装置
CN113674279A (zh) * 2021-10-25 2021-11-19 青岛美迪康数字工程有限公司 基于深度学习的冠脉cta影像的处理方法及装置
US20210366126A1 (en) * 2019-05-29 2021-11-25 Tencent Technology (Shenzhen) Company Limited Image segmentation method and apparatus, model training method and apparatus, device, and storage medium
US20210374950A1 (en) * 2020-05-26 2021-12-02 Shenzhen Keya Medical Technology Corporation Systems and methods for vessel plaque analysis
US20220005192A1 (en) * 2019-05-02 2022-01-06 Keyamed Na, Inc. Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network
CN113935976A (zh) * 2021-10-21 2022-01-14 西安交通大学医学院第二附属医院 一种增强ct图像的脏器内血管自动分割方法及系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050249391A1 (en) * 2004-05-10 2005-11-10 Mediguide Ltd. Method for segmentation of IVUS image sequences
CN109993726A (zh) * 2019-02-21 2019-07-09 上海联影智能医疗科技有限公司 医学图像的检测方法、装置、设备和存储介质
US20220005192A1 (en) * 2019-05-02 2022-01-06 Keyamed Na, Inc. Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network
US20210366126A1 (en) * 2019-05-29 2021-11-25 Tencent Technology (Shenzhen) Company Limited Image segmentation method and apparatus, model training method and apparatus, device, and storage medium
CN110648350A (zh) * 2019-09-26 2020-01-03 联想(北京)有限公司 一种肝脏血管分割方法、装置及电子设备
CN110992310A (zh) * 2019-11-09 2020-04-10 杭州依图医疗技术有限公司 一种确定纵隔淋巴结所在分区的方法及装置
CN111291736A (zh) * 2020-05-07 2020-06-16 南京景三医疗科技有限公司 图像修正方法、装置及医疗设备
US20210374950A1 (en) * 2020-05-26 2021-12-02 Shenzhen Keya Medical Technology Corporation Systems and methods for vessel plaque analysis
CN111899245A (zh) * 2020-07-30 2020-11-06 北京推想科技有限公司 图像分割、模型的训练方法及装置，电子设备及存储介质
WO2022021955A1 (zh) * 2020-07-30 2022-02-03 推想医疗科技股份有限公司 图像分割方法及装置、图像分割模型的训练方法及装置
CN113012166A (zh) * 2021-03-19 2021-06-22 北京安德医智科技有限公司 颅内动脉瘤分割方法及装置、电子设备和存储介质
CN113177953A (zh) * 2021-04-27 2021-07-27 平安科技（深圳）有限公司 肝脏区域分割方法、装置、电子设备及存储介质
CN113192031A (zh) * 2021-04-29 2021-07-30 上海联影医疗科技股份有限公司 血管分析方法、装置、计算机设备和存储介质
CN113222038A (zh) * 2021-05-24 2021-08-06 北京安德医智科技有限公司 基于核磁图像的乳腺病灶分类和定位方法及装置
CN113935976A (zh) * 2021-10-21 2022-01-14 西安交通大学医学院第二附属医院 一种增强ct图像的脏器内血管自动分割方法及系统
CN113674279A (zh) * 2021-10-25 2021-11-19 青岛美迪康数字工程有限公司 基于深度学习的冠脉cta影像的处理方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DONGDONG HAO ET AL.: "Sequential vessel segmentation via deep channel attention network", pages 4 *
彭佳林;揭萍;: "基于序列间先验约束和多视角信息融合的肝脏CT图像分割", 电子与信息学报, no. 04 *
温佩芝;苗渊渊;周迎;冯丽园;: "基于卷积神经网络改进的图像自动分割方法", 计算机应用研究, no. 09 *
王醒策 等: "面向时飞磁共振血管造影术的脑血管统计分割混合模型" *
苑园: "血管内光声图像建模与仿真的研究", 中国优秀硕士论文电子期刊网 *

Also Published As

Publication number Publication date
CN115272165B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
Wu et al. A reversible data hiding method with contrast enhancement for medical images
CN112258488A (zh) 一种医疗影像病灶分割方法
CN110751636B (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
US10891471B2 (en) Method and system for pose estimation
CN112465749B (zh) 提取肺栓塞图像的方法、装置、存储介质及电子设备
CN112419271A (zh) 一种图像分割方法、装置及计算机可读存储介质
CN111583262A (zh) 一种血管分割方法与系统
CN112949654A (zh) 图像检测方法及相关装置、设备
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
CN115471470A (zh) 一种食管癌ct图像分割方法
CN116188485A (zh) 图像处理方法、装置、计算机设备和存储介质
Wang et al. Context-aware spatio-recurrent curvilinear structure segmentation
CN113256670A (zh) 图像处理方法及装置、网络模型的训练方法及装置
Liu et al. Learning noise-decoupled affine models for extreme low-light image enhancement
CN114972211A (zh) 图像分割模型的训练方法、分割方法、装置、设备和介质
CN115100494A (zh) 一种病灶图像的识别方法、装置、设备及可读存储介质
CN113379741B (zh) 基于血管特征的视网膜血管分割方法、设备和存储介质
Liu et al. Facial image inpainting using multi-level generative network
CN112418299B (zh) 冠状动脉分割模型训练方法、冠状动脉分割方法、及装置
CN115272165B (zh) 图像的特征提取方法、图像分割模型的训练方法和装置
Tan et al. Local context attention for salient object segmentation
CN116681667A (zh) 一种基于自监督学习的小样本医学图像分割方法、系统、设备及介质
CN115719357A (zh) 一种脑部医学图像多结构分割方法
CN115496902A (zh) 基于改进的上下文编码网络的微动脉瘤病变分割方法
CN115375706A (zh) 图像分割模型训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant