CN110533029A - 确定影像中目标区域的方法及装置 - Google Patents

确定影像中目标区域的方法及装置 Download PDF

Info

Publication number
CN110533029A
CN110533029A CN201910712623.4A CN201910712623A CN110533029A CN 110533029 A CN110533029 A CN 110533029A CN 201910712623 A CN201910712623 A CN 201910712623A CN 110533029 A CN110533029 A CN 110533029A
Authority
CN
China
Prior art keywords
image
target area
dimension
bearing layer
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910712623.4A
Other languages
English (en)
Inventor
石磊
倪浩
郑永升
魏子昆
华铱炜
丁泽震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
According To Hangzhou Medical Technology Co Ltd
Original Assignee
According To Hangzhou Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by According To Hangzhou Medical Technology Co Ltd filed Critical According To Hangzhou Medical Technology Co Ltd
Priority to CN201910712623.4A priority Critical patent/CN110533029A/zh
Publication of CN110533029A publication Critical patent/CN110533029A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种确定影像中目标区域的方法及装置，其中方法包括：从3D影像中获取不同维度的影像层，对于任一维度的影像层，将所述维度的影像层输入至卷积神经网络模型中，以获得所述维度的影像层的像素点属于目标区域的置信度分布，进而基于不同维度的影像层的像素点属于目标区域的置信度分布确定出目标区域。本发明实施例中，通过使用卷积神经网络模型，可以快速地确定出3D影像中的目标区域，而无需人工主观根据3D影像进行判断，从而可以提高确定3D影像中目标区域的效率；且，上述设计使用不同维度的影像层进行综合识别，由于识别信息较为全面，因此可以在很大程度上提高对3D影像中目标区域确定的准确度。

Description

确定影像中目标区域的方法及装置
技术领域
本发明实施例涉及机器学习技术领域，尤其涉及一种确定影像中目标区域的方法及装置。
背景技术
三维医学影像是从超声、核磁、CT等医学影像设备获得的图像序列，通常以三维像素矩阵的方式表示。对于三维医学影像而言，同样涉及从三维影像中确定目标区域(比如感兴趣区域、背景区域等)的问题，通过预先确定感兴趣区域，可以便于后续制定治疗方案。感兴趣区域可以是器官所在的区域，比如脏器区域、腿骨区域、淋巴区域等，也可以是病灶区域，比如结节区域、骨折区域等等。
现有技术中通常采用人工的方式确定影像中的目标区域。以目标区域为感兴趣区域为例，当采集到一张肺部影像后，医生可以根据经验对该张肺部影像进行分析，从而在肺部影像中标记出医生认为可能是肺结节的区域。然而，采用该种方式，由于不同医生的经验不同，因此从影像中确定出的感兴趣区域的精度受人为的主观因素影响较大，且人为查看影像通常需要耗费较长的时间，导致工作效率和诊断效率较低。
综上，目前亟需一种确定影像中目标区域的方法，用以解决现有技术中采用人工方式确定影像中的目标区域所导致的目标区域的精度受人为的主观因素影响大、效率低的技术问题。
发明内容
本发明实施例提供了一种确定影像中目标区域的方法及装置，用以解决现有技术中采用人工方式确定影像中的目标区域所导致的目标区域的精度受人为的主观因素影响大、效率低的技术问题。
第一方面，本发明实施例提供了一种确定影像中目标区域的方法，包括：
从3D影像中获取不同维度的影像层，其中，任一维度的影像层包括以所述维度的切分平面切分所述3D影像得到的一帧或多帧连续的2D影像；不同维度的切分平面不平行；进一步地，对于任一维度的影像层，将所述维度的影像层输入至卷积神经网络模型中，以获得所述维度的影像层的像素点属于目标区域的置信度分布，进而基于所述不同维度的影像层的像素点属于目标区域的置信度分布，从所述3D影像中确定出目标区域。
在上述设计中，通过使用卷积神经网络模型，可以快速地确定出3D影像中的目标区域，而无需人工主观根据3D影像进行判断，从而可以提高确定3D影像中目标区域的效率；且，上述设计使用不同维度的影像层进行综合识别，由于识别信息较为全面，因此可以在很大程度上提高对3D影像中目标区域确定的准确度。
在一种可能的设计中，所述基于所述不同维度的影像层的像素点属于目标区域的置信度分布，从所述3D影像中确定出目标区域，包括：对于任一维度的任一像素点，基于各影像层的所述像素点属于目标区域的置信度分布确定所述像素点在所述维度下属于目标区域的置信度分；进一步地，基于任一像素点在不同维度下属于目标区域的置信度分布确定所述像素点属于目标区域的目标置信度，确定目标置信度大于预设置信度的一个或多个像素点组成的区域为所述目标区域。
在上述设计中，通过使用不同维度的影像层的像素点属于目标区域的置信度分布确定像素点属于目标区域的置信度，综合了像素点在不同维度上该像素点属于目标区域的置信度信息，从而避免了仅采用某一维度的像素点属于目标区域的置信度信息来确定目标区域所导致的目标区域识别精度较低的技术问题；且，通过设置预设置信度筛选像素点，并将属于目标区域的置信度大于预设置信度的像素点组成的区域确定为目标区域，操作简单，便于实现，从而可以提高确定目标区域的效率。
在一种可能的设计中，所述卷积神经网络模型包括特征提取模块、T个下采样模块和T个上采样模块；所述T为大于零的整数；所述将所述维度的影像层输入至卷积神经网络模型中，以获得所述维度的影像层的像素点属于目标区域的置信度分布，包括：将所述维度的影像层包括的一帧或多帧2D影像作为多通道输入至所述特征提取模块，得到第一特征图像，并将所述第一特征图像依次通过所述T个下采样模块提取得到T个第二特征图像，任意两个下采样模块提取得到的第二特征图像的尺寸不同；进一步地，将第K-1个上采样模块输出的第三特征图像和所述T个第二特征图像中与所述第三特征图像的尺寸相同的第二特征图像，作为第K个上采样模块输入的特征图像；任意两个上采样模块输出的第三特征图像的尺寸不同；所述K为小于或等于所述T的整数；将第T个上采样模块输出的第三特征图像和所述T个第二特征图像中与第T个上采样模块输出的第三特征图像的尺寸相同的第二特征图像拼接得到的特征图像，作为所述维度的影像层的特征图像，并使用所述第T个上采样模块中的卷积核对所述维度的影像层的特征图像进行反卷积，得到所述维度的影像层的像素点属于目标区域的置信度分布。
在上述设计中，通过在卷积神经网络模型中设置特征提取模块、下采样模块和上采样模块，可以提取到较为准确的特征信息，基于卷积神经网络模型自动确定目标区域，可以避免因医生水平的差异所导致的诊断误差；且，通过将每组影像层包括的一帧或多帧2D影像作为多通道输入至特征提取模块提取特征图像，可以综合考虑连续的2D影像的相关特征信息，从而提高了确定目标区域的准确度。
在一种可能的设计中，所述卷积神经网络模型是通过如下方式得到的：获取多组影像层作为训练样本，所述多组影像层中的每组影像层包括的2D影像标记有目标区域，将所述训练样本输入初始卷积神经网络模型，并根据输出的像素点属于目标区域的置信度分布计算损失函数，当所述损失函数小于预设阈值时，确定对应的模型参数为所述卷积神经网络模型对应的模型参数，得到所述卷积神经网络模型。
在上述设计中，通过使用多组标记目标区域的训练样本训练卷积神经网络模型，且使用像素点属于目标区域的置信度分布计算损失函数，可以使得训练得到的卷积神经网络模型具有较高的精度，相应地可以提高后续使用卷积神经网络模型确定目标区域的精度。
第二方面，本发明实施例提供的一种确定影像中目标区域的装置，所述装置包括：
获取模块401，用于从3D影像中获取不同维度的影像层，其中，任一维度的影像层包括以所述维度的切分平面切分所述3D影像得到的一帧或多帧连续的2D影像；不同维度的切分平面不平行；
处理模块402，用于对于任一维度的影像层，将所述维度的影像层输入至卷积神经网络模型中，以获得所述维度的影像层的像素点属于目标区域的置信度分布；
确定模块403，用于基于所述不同维度的影像层的像素点属于目标区域的置信度分布，从所述3D影像中确定出目标区域。
在一种可能的设计中，所述确定模块403具体用于：对于任一维度的任一像素点，基于各影像层的所述像素点属于目标区域的置信度分布确定所述像素点在所述维度下属于目标区域的置信度分布；进一步地，基于任一像素点在不同维度下属于目标区域的置信度分布确定所述像素点属于目标区域的目标置信度，并确定目标置信度大于预设置信度的一个或多个像素点组成的区域为所述目标区域。
可选地，所述卷积神经网络模型包括特征提取模块、T个下采样模块和T个上采样模块；所述T为大于零的整数；所述预测模块402具体用于：将所述维度的影像层包括的一帧或多帧2D影像作为多通道输入至所述特征提取模块，得到第一特征图像，将所述第一特征图像依次通过所述T个下采样模块提取得到T个第二特征图像，任意两个下采样模块提取得到的第二特征图像的尺寸不同；进一步地，将第K-1个上采样模块输出的第三特征图像和所述T个第二特征图像中与所述第三特征图像的尺寸相同的第二特征图像，作为第K个上采样模块输入的特征图像；任意两个上采样模块输出的第三特征图像的尺寸不同；所述K为小于或等于所述T的整数；将第T个上采样模块输出的第三特征图像和所述T个第二特征图像中与第T个上采样模块输出的第三特征图像的尺寸相同的第二特征图像拼接得到的特征图像，作为所述维度的影像层的特征图像，并使用所述第T个上采样模块中的卷积核对所述维度的影像层的特征图像进行反卷积，得到所述维度的影像层的像素点属于目标区域的置信度分布。
在一种可能的设计中，所述卷积神经网络模型是通过如下方式得到的：获取多组影像层作为训练样本，所述多组影像层中的每组影像层包括的2D影像标记有目标区域；进一步地，将所述训练样本输入初始卷积神经网络模型，并根据输出的像素点属于目标区域的置信度分布计算损失函数，当所述损失函数小于预设阈值时，确定对应的模型参数为所述卷积神经网络模型对应的模型参数，得到所述卷积神经网络模型。
第三方面，本发明实施例提供的一种确定影像中目标区域的设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储单元存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行如上述第一方面任意所述的确定影像中目标区域的方法的步骤。
第四方面，本发明实施例提供的一种计算机可读介质，其存储有可由确定影像中目标区域的设备执行的计算机程序，当所述程序在所述确定影像中目标区域的设备上运行时，使得所述确定影像中目标区域的设备执行上述第一方面任意所述的确定影像中目标区域的方法的步骤。
本发明的这些方面或其它方面在以下的实施例中进行具体描述。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种确定影像中目标区域的方法的流程示意图；
图2为本发明实施例提供的一种3D影像的示意图；
图3为本发明实施例提供的一种卷积神经网络模型的结构示意图；
图4为本发明实施例提供的一种确定影像中目标区域的装置的结构示意图；
图5为本发明实施例提供的一种确定影像中目标区域的设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了提高对影像中目标区域的识别精度、降低人为的主观因素对识别精度的影响，在一种可能的实现方式中，可以针对于具体的疾病训练深度学习模型，比如可以预先根据肺结节疾病对应的影像训练得到肺结节识别模型、根据脑卒中疾病对应的影像训练得到脑卒中识别模型、根据骨折疾病对应的影像训练得到骨折识别模型。如此，若采集的是患者的肺部影像，则可以使用肺结节识别模型进行分析，若采集的是脑部影像，则可以使用脑卒中识别模型进行分析，若采集的是腿骨影像(或者胸骨影像)，则可以使用骨折识别模型进行分析。
然而，采用上述方式，每种识别模型仅能用于识别对应疾病的感兴趣区域，若想要识别多种疾病，则需要分别训练得到多种识别模型，从而导致训练过程较为复杂，处理效率较低；且，由于需要预先训练多种识别模型，因此上述方式所需的成本较高。
基于此，本发明实施例提供了一种通用的确定影像中目标区域的方法，用于确定任意3D影像中的目标区域，且确定的目标区域的精度较高。
图1本发明实施例提供的一种确定影像中目标区域的方法的流程示意图，具体包括以下步骤：
步骤101，从3D影像中获取不同维度的影像层。
本发明实施例中的方法可以确定3D影像中的目标区域，其中，3D影像可以是指采用计算机断层扫描设备拍摄的特定影像，例如，脑部CT影像、胸部CT影像、腿部CT影像等，也可以指采用磁共振设备拍摄的特定影像。
示例性地，3D影像可以如图2所示。
具体实施中，在获取3D影像之后，可以对3D影像进行切分，切分前可以先将3D影像转化为DICOM格式的图像，然后根据DICOM格式图像的DICOM信息选取固定的窗宽窗位切分3D影像；如此，可以切分3D影像以获得多帧2D影像。在一个示例中，窗宽可以选取为W＝80，窗位可以选取为L＝40。
进一步地，在不同的维度对3D影像进行切分以得到不同维度的多帧2D影像后，还可以对不同维度的多帧2D影像进行归一化处理。具体地说，可以对不同维度的多帧2D影像进行缩放，比如可以将不同维度的多帧2D影像均缩放为同一尺寸，或者也可以将同一维度的多帧2D影像缩放为同一尺寸，将不同维度的多帧2D影像缩放为不同尺寸，具体不作限定。本发明实施例中，通过对不同维度的多帧2D影像进行归一化处理，可以使得同一维度的多帧2D影像或不同维度的多帧2D影像具有一致性，从而可以提高后续从影像中确定目标区域的效率。
举例来说，对于3D影像而言，可以预先在3D影像上设置参考坐标系，参考坐标系可以由原点o、x轴、y轴和z轴构成；进一步地，可以以xoy平面(即横断面)为切分平面，或以yoz平面(即冠状面)为切分平面，或以xoz平面(即矢状面)为切分平面，从而切分3D影像得到一个维度的多帧2D影像；或者可以以xoy平面、yoz平面和xoz平面中的任意多个(即两个或两个以上)平面为切分平面，从而切分3D影像得到多个维度的多帧2D影像。若以xoy平面、yoz平面和xoz平面为三个切分平面，则可以使用xoy平面切分3D影像得到多帧(比如90帧)第一维度的2D影像、使用yoz平面切分3D影像得到多帧(比如90帧)第二维度的2D影像、使用xoz平面切分3D影像得到多帧(比如90帧)第三维度的2D影像。其中，90帧第一维度的2D影像中的任一第一维度的2D影像可以与xoy平面平行，90帧第二维度的2D影像中的任一第二维度的2D影像可以与yoz平面平行，90帧第三维度的2D影像中的任一第三维度的2D影像可以与xoz平面平行。
进一步地，在切分得到90帧第一维度的2D影像、90帧第二维度的2D影像和90帧第三维度的2D影像后，还可以对这270帧2D影像进行缩放；在一个示例中，可以将这270帧2D影像均缩放到固定大小，比如512*512像素。以90帧第一维度的2D影像为例，为了保证后续检测2D影像的完整性和一致性，在缩放90帧第一维度的2D影像之前，还可以在90帧第一维度的2D影像的四周添加黑边，从而将这90帧第一维度的2D影像的长宽比例均调整为1:1。
在一种可能的实现方式中，可以采用滑窗方式从90帧第一维度的2D影像中确定出多组第一维度的影像层，其中，滑窗方式所采用的预设滑窗帧数可以由本领域技术人员根据经验进行设置，比如可以为1帧，也可以为至少两帧，具体不作限定。若预设滑窗帧数为3帧，则可以从90帧第一维度的2D影像中确定出八十八组第一维度的影像层，其中，第一～第三帧第一维度的2D影像可以组成第一组第一维度的影像层，第二～第四帧第一维度的2D影像可以组成第二组第一维度的影像层、第三～第五帧第一维度的2D影像可以组成第三组第一维度的影像层，……，第八十八～第九十帧第一维度的2D影像可以组成第八十八组第一维度的影像层。
需要说明的是，上述实现方式仅为一种示例性的说明，并不构成对方案的限定。具体实施中，也可以采用其它方式从90帧第一维度的2D影像中确定出多组第一维度的影像层，比如可以将设定数量的连续的2D影像作为一组影像层，比如若设定数量为3，则可以从90帧第一维度的2D影像中确定出三十组第一维度的影像层，其中，第一～第三帧第一维度的2D影像可以组成第一组第一维度的影像层，第四～第六帧第一维度的2D影像可以组成第二组第一维度的影像层、第七～第九帧第一维度的2D影像可以组成第三组第一维度的影像层，……，第八十八～第九十帧第一维度的2D影像可以组成第三十组第一维度的影像层。
采用上述实现方式，若每组影像层中均包括3帧2D影像，则可以从3D影像中切分得到八十八组第一维度的影像层、八十八组第二维度的影像层以及八十八组第三维度的影像层，每组第一维度的影像层可以包括3帧第一维度的2D影像，每组第二维度的影像层可以包括3帧第二维度的2D影像，每组第三维度的影像层可以包括3帧第三维度的2D影像。
需要说明的是，本发明实施例并不限定第一维度的影像层的数量、第二维度的影像层的数量以及第三维度的影像层的数量，比如第一维度的影像层的数量、第二维度的影像层的数量以及第三维度的影像层的数量可以相同，或者也可以不同，具体不作限定。
步骤102，对于任一维度的影像层，将所述维度的影像层输入至卷积神经网络模型中，以获得所述维度的影像层的像素点属于目标区域的置信度分布。
本发明实施例可以按照任意顺序的影像层执行步骤102中的方案，比如可以先对八十八组第三维度的影像层执行步骤102，再对八十八组第二维度的影像层执行步骤102，最后对八十八组第一维度的影像层执行步骤102；或者也可以先对第五十组～第八十八组第一维度的影像层执行步骤102，再对八十八组第二维度的影像层执行步骤102，再对八十八组第三维度的影像层执行步骤102，最后对第一组～第四十九组第一维度的影像层执行步骤102。
下面以第T组第一维度的影像层为例描述得到第T组第一维度的影像层的像素点属于目标区域的置信度分布的具体实现过程，可以理解地，得到其它影像层的像素点属于目标区域的置信度分布的过程可以参照该方法执行，此处不再赘述。其中，若存在八十八组第一维度的影像层，则T满足：1≤T≤88。
具体实施中，可以将第T组第一维度的影像层输入至卷积神经网络模型中，如此，卷积神经网络模型在对第T组第一维度的影像层进行处理后，可以输出第T组第一维度的影像层的像素点属于目标区域的置信度分布。其中，第T组第一维度的影像层的像素点属于目标区域的置信度分布是指第T组第一维度的影像层包括的所有帧的2D影像中每一个像素点属于目标区域的置信度，比如，若第T组第一维度的影像层包括第一～第三帧第一维度的2D影像，则第T组第一维度的影像层的像素点属于目标区域的置信度分布包括第一帧第一维度的2D影像中每个像素点属于目标区域的置信度、第二帧第一维度的2D影像中每个像素点属于目标区域的置信度以及第三帧第一维度的2D影像中每个像素点属于目标区域的置信度。此处，每个像素点属于目标区域的置信度的取值范围可以为[0,1]。
本发明实施例中，置信度分布可以以置信度分布表的形式存在，也可以以置信度分布图的形式存在，具体不作限定。
在一种可能的实现方式中，为了提高从影像中确定的目标区域的精确度，卷积神经网络模型可以为3D卷积神经网络模型，比如全卷积神经网络(Fully ConvolutionalNetwork，FCN)模型、U-NET模型等。图3为本发明实施例提供的一种卷积神经网络模型的结构示意图。如图3所示，卷积神经网络模型可以包括依次连接的特征提取模块310、下采样模块320和上采样模块330。其中，特征提取模块310可以包括连续的第一卷积单元和第二卷积单元，第一卷积单元可以包括一个3D卷积层、一个批量归一化(batch narmalization，BN)层和一个激活函数层，第二卷积单元也可以包括一个3D卷积层、一个批量归一化层和一个激活函数层。本发明实施例中的激活函数可以为多种类型的激活函数，比如，可以为线性整流函数(Rectified Linear Unit，ReLU)，具体不做限定。
本发明实施例中，卷积神经网络模型中上采样模块和下采样模块的数量可以由本领域技术人员根据经验进行设置，比如可以包括一个上采样模块和一个下采样模块，或者可以包括多个(即两个或两个以上)上采样模块和下采样模块，具体不作限定。其中，每个下采样模块可以包括一个3D下采样层以及一个卷积特征提取模块，3D下采样层的尺寸可以为2*2*2；相应地，每个上采样模块可以包括一个3D反卷积上采样层、一个拼接层以及一个卷积特征提取模块，3D反卷积上采样层的尺寸可以为2*2*2。本发明实施例中，上采样模块330的拼接层可以与下采样模块320的下采样层相对应，从而可以拼接下采样层输出的特征图像。
具体实施中，下采样模块320可以包括第一下采样模块、第二下采样模块和第三下采样模块，而上采样模块330可以包括与第一下采样模块对应设置的第一上采样模块、与第二下采样模块对应设置的第二上采样模块和与第三下采样模块对应设置的第三上采样模块，第一下采样模块、第二下采样模块和第三下采样模块可以分别连接特征提取模块310。其中，第一下采样模块的下采样层可以连接第一上采样模块的拼接层，第二下采样模块的下采样层可以连接第二上采样模块的拼接层，第三下采样模块的下采样层可以连接第三上采样模块的拼接层。
在一种可能的实现方式中，特征提取模块310包括：第一卷积单元和第二卷积单元，下采样模块320包括：第一下采样模块、第二下采样模块和第三下采样模块，上采样模块330包括：第一上采样模块、第二上采样模块和第三上采样模块。以第T组第一维度的影像层包括第一至第三帧第一维度的2D影像为例，具体实施中，在将第T组第一维度的影像层输入卷积神经网络模型后，卷积神经网络模型可以根据第T组第一维度的影像层包括的第一至第三帧第一维度的2D影像计算得到第一至第三帧第一维度的2D影像对应的3通道像素数组，进而将该3通道像素数组输入特征提取模块310中。相应地，特征提取模块310依次通过第一卷积单元中的3D卷积层、BN层、激活函数层以及第二卷积单元中的3D卷积层、BN层和激活函数层对3通道像素数组进行处理，从而提取到第T组第一维度的影像层对应的第一特征图像；其中，第一特征图像可以通过四维向量的形式来表示，比如第一特征图像的尺寸可以为512*512*3*32。进一步地，特征提取模块310可以将第一特征图像分别发送至第一下采样模块、第二下采样模块和第三下采样模块。
进一步地，第一下采样模块、第二下采样模块和第三下采样模块在接收到第一特征图像后，可以分别通过各自的3D下采样层和卷积特征提取模块从第一特征图像中提取出第二特征图像、第三特征图像和第四特征图像。其中，第二特征图像的尺寸可以为256*256*3*32，第三特征图像的尺寸可以为128*128*3*48，第四特征图像的尺寸可以为64*64*3*64。第一下采样模块、第二下采样模块、第三下采样模块可以分别通过各自的3D下采样层将第二特征图像、第三特征图像、第四特征图像输出给第一上采样模块的拼接层、第二上采样模块的拼接层、第三上采样模块的拼接层。
在一个示例中，第一上采样模块、第二上采样模块和第三上采样模块可以分别通过各自包括的卷积特征提取模块对第二特征图像、第三特征图像和第四特征图像进行提取，以得到第五特征图像、第六特征图像和第七特征图像；其中，第五特征图像的尺寸可以为64*64*3*64，第六特征图像的尺寸可以为128*128*3*48，第七特征图像的尺寸可以为256*256*3*32。如此，第一上采样模块、第二上采样模块和第三上采样模块可以分别将第五特征图像、第六特征图像和第七特征图像与对应尺寸的下采样模块输出的特征图像进行拼接，比如，第一上采样模块可以拼接第五特征图像和第四特征图像、第二上采样模块可以拼接第六特征图像和第三特征图像、第三上采样模块可以拼接第七特征图像和第二特征图像。
在另一个示例中，对于任一上采样模块，可以将第一～第三下采样模块输出的3张特征图像中与上一上采样模块输出的特征图像尺寸相同的特征图像进行合并，作为该上采样模块的输入。举例来讲，由于第一上采样模块输出的第五特征图像的尺寸为64*64*3*64，因此第二上采样模块可以从第二特征图像～第四特征图像中选择尺寸为64*64*3*64的第四特征图像，并可以将第四特征图像和第五特征图像合并，作为第二上采样模块的输入；相应地，由于第二上采样模块输出的第六特征图像的尺寸为128*128*3*48，因此第三上采样模块可以从第二特征图像～第四特征图像中选择尺寸为128*128*3*48的第三特征图像，并可以将第三特征图像和第六特征图像合并，作为第三上采样模块的输入；如此，第三上采样模块输出的第七特征图像的尺寸若为256*256*3*32，则可以从第二特征图像～第四特征图像中选择尺寸为256*256*3*32的第二特征图像，并可以将第二特征图像和第七特征图像合并，作为第T组第一维度的影像层对应的特征图像。
进一步地，第三上采样模块还可以使用第三上采样模块中的卷积核对第T组第一维度的影像层对应的特征图像进行反卷积，从而得到第T组第一维度的影像层的像素点属于目标区域的置信度分布(可以为置信度分布图，或者也可以为置信度分布表，不作限定)；其中，第T组第一维度的影像层的像素点属于目标区域的置信度分布可以包括第一至第三帧第一维度的2D影像中的每个像素点属于目标区域的置信度。
需要说明的是，上述实现方式仅为一种示例性的说明，并不构成对本发明实施例的限定。具体实施中，上采样模块和/或下采样模块的数量、上采样模块和/或下采样模块的结构以及特征图像的尺寸均可以根据实际需要进行设置，如可以仅设置6个上采样模块或仅设置6个下采样模块，或者还可以在上采样模块中设置池化层、反卷积上采样层、拼接层和卷积特征提取模块等，具体不作限定。
本发明实施例，通过设置特征提取模块、多个上采样模块和多个下采样模块作为卷积神经网络模型的结构，可以有效地提高对目标区域识别的准确度，避免因医生水平差异导致的诊断误差，且，通过将多帧的2D影像作为多通道输入至特征提取模块进行特征提取，可以全面使用相邻的2D影像的特征信息提取特征图像，进而使用该特征图像后提高了确定的目标区域的准确性。
在另一种可能的实现方式中，为减少卷积神经网络模型的计算量，提高数据处理效率，也可以采用2D卷积神经网络模型作为卷积神经网络模型。在该种实现方式中，卷积神经网络模型可以包括特征提取模块，特征提取模块可以从第T组第一维度的影像层中提取得到第T组第一维度的影像层包括的每一帧第一维度的2D影像的特征图像，进而可以使用卷积核对每一帧第一维度的2D影像的特征图像进行反卷积，确定第T组第一维度的影像层包括的每一帧第一维度的2D影像的置信度分布；其中，每一帧第一维度的2D影像的特征图像可以为根据不同尺寸的特征图像确定的。下面分别从情形一～情形三描述2D卷积神经网络模型中特征提取模块的几种可能的结构。
情形一
在情形一中，特征提取模块可以包括依次设置的N个下采样模块和N个上采样模块。
以确定第T组第一维度的影像层包括的第L帧第一维度的2D影像的特征图像为例，具体实现过程可以包括如下步骤a～步骤c：
步骤a、将第T组第一维度的影像层包括的多帧第一维度的2D影像作为多通道(即3通道)，依次通过N个下采样模块提取第L帧第一维度的2D影像的第一特征图像，任意两个下采样模块提取的第一特征图像的尺寸可以不同，N为大于0的整数；
步骤b、针对第K个上采样模块，第K个上采样模块可以将第K-1个上采样模块输出的第二特征图像与第K个下采样模块输出的第一特征图像进行合并，并将合并得到的特征图像作为第K个上采样模块输入的特征图像；任意两个上采样模块输出的第二特征图像的尺寸可以不同；N≥K；K为正整数；
步骤c、将第N个上采样卷积块输出的第二特征图像作为第L帧第一维度的2D影像的特征图像。
按照情形一中的方式，在将第T组第一维度的影像层输入特征提取模块后，可以提取得到第T组第一维度的影像层包括的每一帧第一维度的2D影像的特征图像，进而使用卷积核对第T组第一维度的影像层包括的每一帧第一维度的2D影像的特征图像进行反卷积，可以得到每一帧第一维度的2D影像的像素点属于目标区域的置信度。
情形二
在情形二中，特征提取模块可以包括2N个卷积模块，2N个卷积模块可以为2N个下采样模块或2N个上采样模块；任意两个下采样模块或任意两个上采样模块提取的特征图像的尺寸可以不同。具体地说，2N个卷积模块中的每个卷积模块可以包括第一卷积单元和第二卷积单元，第一卷积单元输出的特征图像的个数可以小于第一卷积单元输入的特征图像的个数，第二卷积单元输出的特征图像的个数可以大于第二卷积单元输入的特征图像的个数。
举例来说，在一个示例中，特征提取模块可以包括六个下采样模块，每个下采样模块可以包括第一卷积单元和第二卷积单元，每个卷积单元包括卷积层、与卷积层连接的BN层和与BN层连接的激活函数层。
为增加特征提取模块的深度，作为一种可能的实现方式，特征图像经过每个卷积模块的步骤可以包括：
步骤一：将特征图像输入至卷积模块的第一卷积单元，获得第一特征图像；其中，第一卷积单元的卷积核可以为N1*m*m*N2，N1可以为卷积模块的通道数，N2可以为第一特征图像的通道数，N1>N2；
步骤二：将第一特征图像输入至第二卷积单元，获得第二特征图像；其中，第二卷积单元的卷积核可以为N2*m*m*N3，N3可以为第二特征图像的通道数，N3>N2；
步骤三：将输入卷积模块的特征图像和第二特征图像合并，得到卷积模块输出的特征图像。
在一个示例中，第二卷积单元输出的特征图像的个数可以与第一卷积单元输入的特征图像的个数相等；也就是说，N1的值可以与N2的值相等。
需要说明的是，在情形一和情形二中，由于卷积神经网络模型为2D卷积神经网络模型，因此，第一卷积单元的卷积核大小可以为m*m、第二卷积单元的卷积核大小可以为n*n；m和n可以相同，或者也可以不同，具体不作限定；其中，m，n可以为大于或等于1的整数。第一卷积单元输出的特征图像的个数可以小于第一卷积单元输入的特征图像的个数，第二卷积单元输出的特征图像的个数可以大于第二卷积单元输入的特征图像的个数。
在情形二中，为了优化特征提取模块，在一种可能的实现方式，第一卷积单元和第二卷积单元之间还可以设置有第三卷积单元，如此，2N个卷积模块中的每个卷积模块可以包括依次连接的第一卷积单元、第三卷积单元和第二卷积单元，第三卷积单元输入的特征图像可以为第一卷积单元输出的特征图像，第三卷积单元输出的特征图像可以为第二卷积单元输入的特征图像。
在该种实现方式中，第三卷积单元的卷积核大小可以为k*k，k、m和n可以相同，或者也可以不同，具体不作限定。举例来说，每个卷积模块中的第一卷积单元的卷积核大小可以为3*3，第二卷积单元的卷积核大小可以为3*3，第三卷积单元的卷积核大小可以为1*1。通过采用该种方式设置卷积核，可以有效的提高特征提取的感知野，有利于提高从影像中确定目标区域的准确度。
需要说明的是，情形一和情形二中的卷积神经网络模型可以为采用2D卷积神经网络对已标记目标区域的多个影像层进行训练确定的。
情形三
在情形三中，特征提取模块可以包括N个下采样模块和N个上采样模块。
具体实施中，可以通过如下方式获取第T组第一维度的影像层的不同尺寸的特征图像：将所述第T组第一维度的影像层包括的多帧第一维度的2D影像依次通过N个下采样模块提取得到N个第一特征图像，将第N个下采样模块输出的第一特征图像依次通过N个上采样模块提取得到N个第二特征图像，任意两个上采样模块提取的第二特征图像的尺寸可以不同；进一步地，将尺寸相同的第一特征图像和第二特征图像进行合并，得到N个不同尺寸的特征图像。
在情形三中，为了提高特征提取的感知野、提高特征提取的性能，在一种可能的实现方式中，还可以在特征提取模块之前设置特征预处理模块，特征预处理模块可以包括一个卷积层、一个BN层、一个ReLU层和一个池化层；其中，特征预处理模块的卷积核大小可以大于N个卷积模块中任一卷积模块的卷积核的大小。举个例子，卷积层的卷积核大小可以为7*7，间隔可以为2个像素；相应地，池化层可以为2*2的最大值池化。通过设置特征预处理模块，可以在处理第T组第一维度的影像层之前缩小图像的面积，将图像的边长缩小为原图像的1/4，从而可以有效的提高特征图像的感知野，快速的提取浅层特征，有效的减少原始信息的损失。
作为一种示例，特征预处理模块也可以包括连续的多个卷积层、一个BN层、一个ReLU层和一个池化层，且特征预处理模块的卷积核大小可以与N个卷积模块中的最大的卷积核的大小相等。
步骤103，基于所述不同维度的影像层的像素点属于目标区域的置信度分布，从所述3D影像中确定出目标区域。
本发明实施例中，通过步骤102可以获得任一维度的影像层的像素点属于目标区域的置信度分布，任一维度的影像层的像素点属于目标区域的置信度分布可以包括3D影像中的任一像素点在该维度的各影像层中该像素点属于目标区域的置信度分布。在该种实现方式中，对于某一维度的任意一个像素点来讲，其可能属于不同的影像层；比如在第一维度下，第一组影像层包括第一～第三帧第一维度的2D影像，第二组影像层包括第二～第四帧第一维度的2D影像，第三组影像层包括第三～第五帧第一维度的2D影像；如此，若像素点P位于第三帧第一维度的2D影像上，则像素点P可以同时属于第一组影像层、第二组影像层以及第三组影像层。因此，对于像素点P而言，在第一维度下，像素点P属于目标区域的置信度可以包括各影像层(第一组影像层、第二组影像层、第三组影像层)的像素点P属于目标区域的置信度分布。由此可知，任一维度下任一像素点属于目标区域的置信度可以包括该维度的各个影像层中该像素点属于目标区域的置信度分布。
进一步地，为了提高最终确定的目标区域的精度，本实施例中不仅仅考虑一个维度下像素点属于目标区域的置信度，而是可以综合考虑多个维度下像素点属于目标区域的置信度，也即基于像素点在不同维度下属于目标区域的置信度分布来确定所述像素点属于目标区域的目标置信度。具体地，本发明实施例中，可以将像素点在不同维度下属于目标区域的置信度分布相加后求其平均值，并以该平均值作为像素点属于目标区域的目标置信度。举例来讲，在第一维度下：第一组影像层的像素点P属于目标区域的置信度为第一置信度，第二组影像层的像素点P属于目标区域的置信度为第二置信度，第三组影像层的像素点P属于目标区域的置信度为第三置信度；在第二维度下，像素点P同时属于第四组影像层、第五组影像层以及第六组影像层，第四组影像层的像素点P属于目标区域的置信度为第四置信度，第五组影像层的像素点P属于目标区域的置信度为第五置信度，第六组影像层的像素点P属于目标区域的置信度为第五置信度；在第三维度下，像素点P同时属于第七组影像层、第八组影像层以及第九组影像层，第七组影像层的像素点P属于目标区域的置信度为第七置信度，第八组影像层的像素点P属于目标区域的置信度为第八置信度，第九组影像层的像素点P属于目标区域的置信度为第九置信度；则像素点P属于目标区域的目标置信度为对第一置信度至第九置信度求和后除以九得到的这九个置信度的平均值。
进一步地，若像素点P属于目标区域的目标置信度大于预设置信度，则可以确定像素点P属于目标区域，若像素点P属于目标区域的目标置信度小于预设置信度，则可以确定像素点P不属于目标区域。
以基于第一至第三维度的影像层的像素点属于目标区域的置信度分布确定3D影像中的像素点属于目标区域的目标置信度为例，在预设滑窗帧数为3帧时，若像素点为3D影像的边缘像素点，则像素点可以属于第一维度中的一组影像层、第二维度中的一组影像层以及第三维度中的一组影像层，从而可以根据第一维度中的一组影像层的该像素点属于目标区域的置信度分布、第二维度中的一组影像层的该像素点属于目标区域的置信度分布以及第三维度中的一组影像层的该像素点属于目标区域的置信度分布确定该像素点属于目标区域的三个置信度，然后对这三个置信度求平均值作为该像素点属于目标区域的目标置信度；若像素点为3D影像的边缘像素点相邻的像素点，则像素点可以属于第一维度中的两组影像层、第二维度中的两组影像层以及第三维度中的两组影像层，从而可以根据第一维度中的两组影像层的该像素点属于目标区域的置信度分布、第二维度中的两组影像层的该像素点属于目标区域的置信度分布以及第三维度中的两组影像层的该像素点属于目标区域的置信度分布确定该像素点属于目标区域的六个置信度，然后对这六个置信度求平均值作为该像素点属于目标区域的目标置信度；若像素点不为3D影像的边缘像素点且不为边缘像素点相邻的像素点，则像素点可以属于第一维度中的三组影像层、第二维度中的三组影像层以及第三维度中的三组影像层，从而可以根据第一维度中的三组影像层的该像素点属于目标区域的置信度分布、第二维度中的三组影像层的该像素点属于目标区域的置信度分布以及第三维度中的三组影像层的该像素点属于目标区域的置信度分布确定该像素点属于目标区域的九个置信度，然后对这九个置信度求平均值作为该像素点属于目标区域的目标置信度。
进一步地，在确定3D影像中每个像素点是否属于目标区域后，可以删除3D影像中不属于目标区域的像素点，保留3D影像中属于目标区域的像素点；如此，在对3D影像上的所有像素点执行上述操作后，3D影像中保留的像素点组成的区域即可为目标区域。或者，可以分别删除切分得到的多帧2D影像中不属于目标区域的像素点，保留切分得到的多帧2D影像中属于目标区域的像素点；如此，在对所有的像素点执行上述操作后，可以合并切分得到的多帧2D影像，合并得到的3D影像中保留的像素点组成的区域即为目标区域。
本发明实施例中，在得到仅包括目标区域的像素点的3D影像后，还可以对3D影像进行滤波，比如将3D影像中离散的像素点删除，或者连接像素点密集区域周围的像素点，或者将区域小于预设面积的像素点集合删除等。通过对3D影像进行滤波，可以降低干扰，提高获得的目标区域的精确度。
需要说明的是，本发明实施例中确定影像中目标区域方法可以包括模型预测过程和模型训练过程，上述过程描述了使用卷积神经网络模型确定3D影像中目标区域的过程(即模型预测过程)，下面具体描述训练得到卷积神经网络模型的过程(即模型训练过程)。
本发明实施例中的预设卷积神经网络可以为对已标记目标区域的多组影像层进行训练得到的，具体可以包括以下步骤A～步骤C：
步骤A，获取多组影像层作为训练样本。
此处，每组影像层可以包括预先挑选得到的多张影像，也可以为预先挑选得到的单张影像，本发明实施例对此不做限定。
本发明实施例中，在获取到多组影像层后，可以将多组影像层直接作为训练样本，也可以对多组影像层进行增强操作，再作为训练样本。其中，增强操作包括但不限于：随机上下左右平移设定像素(比如0～20像素)、随机旋转设定角度(比如-20～20度)、随机缩放设定倍数(比如0.8～1.2倍)；通过对多组影像层执行增强操作，可以扩大训练样本的数据量。
步骤B，人工标记训练样本中的目标区域。
具体实施中，可以通过医生等专业人员对训练样本中的目标区域进行标记，标记的内容不限于目标区域的中心坐标以及目标区域的直径。具体地，可以由多名医生对目标区域进行标注，并通过多人投票合成的方式确定最终的目标区域以及目标区域的参数，目标区域可以以掩码图的方式进行保存。
需要说明的是，人工标记训练样本中目标区域的过程与训练样本的增强操作过程可以不分先后顺序，即可以先人工标记训练样本中的目标区域，然后再对标记目标区域的训练样本进行增强操作，或者也可以先对训练样本进行增强操作，然后再人工对增强操作后的训练样本进行标记。
步骤C，将训练样本输入初始卷积神经网络模型进行训练，得到卷积神经网络模型。
在一个示例中，初始卷积神经网络模型的结构可以包括输入层、特征提取模块、下采样模块、上采样模块、目标检测网络以及输出层，或者也可以包括输入层、下采样模块、上采样模块、目标检测网络以及输出层，具体不作限定。
具体实施中，可以先对训练样本进行预处理，进而将预处理后的训练样本输入上述初始卷积神经网络模型；其中，预处理可以包括步骤101中所述的图像归一化处理，或者也可以包括其它处理，不作限定。进一步地，在得到初始卷积神经网络模型输出的置信度分布后，可以将输出的置信度分布与预先标记的训练样本的掩码图进行损失函数计算，然后可以采用反向传播算法以及随机梯度下降(Stochastic Gradient Descent，SGD)优化算法反复迭代，不断更新初始卷积神经网络模型的参数。若某次训练的损失函数小于或等于预设置信度，则可以将该次训练的模型参数对应的卷积神经网络模型作为卷积神经网络模型。
由此可知：本发明的上述实施例中，从3D影像中获取不同维度的影像层，其中，任一维度的影像层包括以维度的切分平面切分3D影像得到的一帧或多帧连续的2D影像；不同维度的切分平面不平行；进一步地，对于任一维度的影像层，将所述维度的影像层输入至卷积神经网络模型中，以获得维度的影像层的像素点属于目标区域的置信度分布，进而基于不同维度的影像层的像素点属于目标区域的置信度分布，从3D影像中确定出目标区域。本发明实施例中，通过使用卷积神经网络模型对3D影像中的目标区域进行确定，可以快速地确定出3D影像中的目标区域，而无需人工主观根据3D影像进行判断，从而可以提高确定3D影像中目标区域的效率；且，上述设计使用不同维度的影像层进行综合识别，由于识别信息较为全面，因此可以在很大程度上提高对3D影像中目标区域确定的准确度。
针对上述方法流程，本发明实施例还提供一种确定影像中目标区域的装置，该装置的具体内容可以参照上述方法实施。
图4为本发明实施例提供的一种确定影像中目标区域的装置的结构示意图，该装置包括：
获取模块401，用于从3D影像中获取不同维度的影像层，其中，任一维度的影像层包括以所述维度的切分平面切分所述3D影像得到的一帧或多帧连续的2D影像；不同维度的切分平面不平行；
处理模块402，用于对于任一维度的影像层，将所述维度的影像层输入至卷积神经网络模型中，以获得所述维度的影像层的像素点属于目标区域的置信度分布；
确定模块403，用于基于所述不同维度的影像层的像素点属于目标区域的置信度分布，从所述3D影像中确定出目标区域。
可选地，所述确定模块403具体用于：
对于任一维度的任一像素点，基于各影像层的所述像素点属于目标区域的置信度分布确定所述像素点在所述维度下属于目标区域的置信度分布；
基于像素点在不同维度下属于目标区域的置信度分布确定所述像素点属于目标区域的目标置信度；
确定目标置信度大于预设置信度的一个或多个像素点组成的区域为所述目标区域。
可选地，所述卷积神经网络模型包括特征提取模块、T个下采样模块和T个上采样模块；所述T为大于零的整数；
所述预测模块402具体用于：
将所述维度的影像层包括的一帧或多帧2D影像作为多通道输入至所述特征提取模块，得到第一特征图像；
将所述第一特征图像依次通过所述T个下采样模块提取得到T个第二特征图像，任意两个下采样模块提取得到的第二特征图像的尺寸不同；
将第K-1个上采样模块输出的第三特征图像和所述T个第二特征图像中与所述第三特征图像的尺寸相同的第二特征图像，作为第K个上采样模块输入的特征图像；任意两个上采样模块输出的第三特征图像的尺寸不同；所述K为小于或等于所述T的整数；
将第T个上采样模块输出的第三特征图像和所述T个第二特征图像中与第T个上采样模块输出的第三特征图像的尺寸相同的第二特征图像拼接得到的特征图像，作为所述维度的影像层的特征图像，并使用第T个上采样模块中的卷积核对所述维度的影像层的特征图像进行反卷积，得到所述维度的影像层的像素点属于目标区域的置信度分布。
可选地，所述卷积神经网络模型是通过如下方式得到的：
获取多组影像层作为训练样本，所述多组影像层中的每组影像层包括的2D影像标记有目标区域；
将所述训练样本输入初始卷积神经网络模型，并根据输出的像素点属于目标区域的置信度分布计算损失函数，当所述损失函数小于预设阈值时，确定对应的模型参数为所述卷积神经网络模型对应的模型参数，得到所述卷积神经网络模型。
本发明的上述实施例中，从3D影像中获取不同维度的影像层，其中，任一维度的影像层包括以维度的切分平面切分3D影像得到的一帧或多帧连续的2D影像；不同维度的切分平面不平行；进一步地，对于任一维度的影像层，将所述维度的影像层输入至卷积神经网络模型中，以获得维度的影像层的像素点属于目标区域的置信度分布，进而基于不同维度的影像层的像素点属于目标区域的置信度分布，从3D影像中确定出目标区域。本发明实施例中，通过使用卷积神经网络模型对3D影像中的目标区域进行确定，可以快速地确定出3D影像中的目标区域，而无需人工主观根据3D影像进行判断，从而可以提高确定3D影像中目标区域的效率；且，上述设计使用不同维度的影像层进行综合识别，由于识别信息较为全面，因此可以在很大程度上提高对3D影像中目标区域确定的准确度。
基于同一发明构思，本发明实施例提供了一种确定影像中目标区域的设备，如图5所示，包括至少一个处理器501，以及与至少一个处理器连接的存储器502，本发明实施例中不限定处理器501与存储器502之间的具体连接介质，图5中处理器501和存储器502之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
在本发明实施例中，存储器502存储有可被至少一个处理器501执行的指令，至少一个处理器501通过执行存储器502存储的指令，可以执行前述的确定影像中目标区域的方法中所包括的步骤。
其中，处理器501是确定影像中目标区域的设备的控制中心，可以利用各种接口和线路连接确定影像中目标区域的设备的各个部分，通过运行或执行存储在存储器502内的指令以及调用存储在存储器502内的数据，从而实现影像识别。可选的，处理器501可包括一个或多个处理单元，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。在一些实施例中，处理器501和存储器502可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器501可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器502可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器502是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本发明实施例中的存储器502还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
基于同一发明构思，本发明实施例还提供了一种计算机可读介质，其存储有可由确定影像中目标区域的设备执行的计算机程序，当所述程序在确定影像中目标区域的设备上运行时，使得所述确定影像中目标区域的设备执行确定影像中目标区域的方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种确定影像中目标区域的方法，其特征在于，包括：
从3D影像中获取不同维度的影像层，其中，任一维度的影像层包括以所述维度的切分平面切分所述3D影像得到的一帧或多帧连续的2D影像；不同维度的切分平面不平行；
对于任一维度的影像层，将所述维度的影像层输入至卷积神经网络模型中，以获得所述维度的影像层的像素点属于目标区域的置信度分布；
基于所述不同维度的影像层的像素点属于目标区域的置信度分布，从所述3D影像中确定出目标区域。
2.根据权利要求1所述的方法，其特征在于，所述基于所述不同维度的影像层的像素点属于目标区域的置信度分布，从所述3D影像中确定出目标区域，包括：
对于任一维度的任一像素点，基于各影像层的所述像素点属于目标区域的置信度分布确定所述像素点在所述维度下属于目标区域的置信度分布；
基于任一像素点在不同维度下属于目标区域的置信度分布确定所述像素点属于目标区域的目标置信度；
确定目标置信度大于预设置信度的一个或多个像素点组成的区域为所述目标区域。
3.根据权利要求1所述的方法，其特征在于，所述卷积神经网络模型包括特征提取模块、T个下采样模块和T个上采样模块；所述T为大于零的整数；
所述将所述维度的影像层输入至卷积神经网络模型中，以获得所述维度的影像层的像素点属于目标区域的置信度分布，包括：
将所述维度的影像层包括的一帧或多帧2D影像作为多通道输入至所述特征提取模块，得到第一特征图像；
将所述第一特征图像依次通过所述T个下采样模块提取得到T个第二特征图像，任意两个下采样模块提取得到的第二特征图像的尺寸不同；
将第K-1个上采样模块输出的第三特征图像和所述T个第二特征图像中与所述第三特征图像的尺寸相同的第二特征图像，作为第K个上采样模块输入的特征图像；任意两个上采样模块输出的第三特征图像的尺寸不同；所述K为小于或等于所述T的整数；
将第T个上采样模块输出的第三特征图像和所述T个第二特征图像中与第T个上采样模块输出的第三特征图像的尺寸相同的第二特征图像拼接得到的特征图像，作为所述维度的影像层的特征图像，并使用所述第T个上采样模块中的卷积核对所述维度的影像层的特征图像进行反卷积，得到所述维度的影像层的像素点属于目标区域的置信度分布。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述卷积神经网络模型是通过如下方式得到的：
获取多组影像层作为训练样本，所述多组影像层中的每组影像层包括的2D影像标记有目标区域；
将所述训练样本输入初始卷积神经网络模型，并根据输出的像素点属于目标区域的置信度分布计算损失函数，当所述损失函数小于预设阈值时，确定对应的模型参数为所述卷积神经网络模型对应的模型参数，得到所述卷积神经网络模型。
5.一种确定影像中目标区域的装置，其特征在于，包括：
获取模块，用于从3D影像中获取不同维度的影像层，其中，任一维度的影像层包括以所述维度的切分平面切分所述3D影像得到的一帧或多帧连续的2D影像；不同维度的切分平面不平行；
处理模块，用于对于任一维度的影像层，将所述维度的影像层输入至卷积神经网络模型中，以获得所述维度的影像层的像素点属于目标区域的置信度分布；
确定模块，用于基于所述不同维度的影像层的像素点属于目标区域的置信度分布，从所述3D影像中确定出目标区域。
6.根据权利要求5所述的装置，其特征在于，所述确定模块具体用于：
对于任一维度的任一像素点，基于各影像层的所述像素点属于目标区域的置信度分布确定所述像素点在所述维度下属于目标区域的置信度分布；
基于任一像素点在不同维度下属于目标区域的置信度分布确定所述像素点属于目标区域的目标置信度；
确定目标置信度大于预设置信度的一个或多个像素点组成的区域为所述目标区域。
7.根据权利要求5所述的装置，其特征在于，所述卷积神经网络模型包括特征提取模块、T个下采样模块和T个上采样模块；所述T为大于零的整数；
所述处理模块具体用于：
将所述维度的影像层包括的一帧或多帧2D影像作为多通道输入至所述特征提取模块，得到第一特征图像；
将所述第一特征图像依次通过所述T个下采样模块提取得到T个第二特征图像，任意两个下采样模块提取得到的第二特征图像的尺寸不同；
将第K-1个上采样模块输出的第三特征图像和所述T个第二特征图像中与所述第三特征图像的尺寸相同的第二特征图像，作为第K个上采样模块输入的特征图像；任意两个上采样模块输出的第三特征图像的尺寸不同；所述K为小于或等于所述T的整数；
将第T个上采样模块输出的第三特征图像和所述T个第二特征图像中与第T个上采样模块输出的第三特征图像的尺寸相同的第二特征图像拼接得到的特征图像，作为所述维度的影像层的特征图像，并使用所述第T个上采样模块中的卷积核对所述维度的影像层的特征图像进行反卷积，得到所述维度的影像层的像素点属于目标区域的置信度分布。
8.根据权利要求5至7任一项所述的方法，其特征在于，所述卷积神经网络模型是通过如下方式得到的：
获取多组影像层作为训练样本，所述多组影像层中的每组影像层包括的2D影像标记有目标区域；
将所述训练样本输入初始卷积神经网络模型，并根据输出的像素点属于目标区域的置信度分布计算损失函数，当所述损失函数小于预设阈值时，确定对应的模型参数为所述卷积神经网络模型对应的模型参数，得到所述卷积神经网络模型。
9.一种确定影像中目标区域的设备，其特征在于，包括至少一个处理器、以及至少一个存储器，其中，所述存储单元存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1～4任一权利要求所述方法的步骤。
10.一种计算机可读介质，其特征在于，其存储有可由确定影像中目标区域的设备执行的计算机程序，当所述程序在所述确定影像中目标区域的设备上运行时，使得所述确定影像中目标区域的设备执行权利要求1～4任一所述方法的步骤。
CN201910712623.4A 2019-08-02 2019-08-02 确定影像中目标区域的方法及装置 Pending CN110533029A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910712623.4A CN110533029A (zh) 2019-08-02 2019-08-02 确定影像中目标区域的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910712623.4A CN110533029A (zh) 2019-08-02 2019-08-02 确定影像中目标区域的方法及装置

Publications (1)

Publication Number Publication Date
CN110533029A true CN110533029A (zh) 2019-12-03

Family

ID=68662162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910712623.4A Pending CN110533029A (zh) 2019-08-02 2019-08-02 确定影像中目标区域的方法及装置

Country Status (1)

Country Link
CN (1) CN110533029A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340756A (zh) * 2020-02-13 2020-06-26 北京深睿博联科技有限责任公司 一种医学图像病变检出合并方法、系统、终端及存储介质
CN111368832A (zh) * 2020-03-05 2020-07-03 北京推想科技有限公司 感兴趣区域的标记方法、装置、设备和存储介质
CN111862136A (zh) * 2020-06-22 2020-10-30 南开大学 基于卷积神经网络的多模态核磁影像缺血性脑卒中病变分割方法
CN111967462A (zh) * 2020-04-26 2020-11-20 杭州依图医疗技术有限公司 一种获取感兴趣区域的方法及装置
CN112233127A (zh) * 2020-10-15 2021-01-15 上海圭目机器人有限公司 一种用于弯道拼接图像的下采样方法
CN113191222A (zh) * 2021-04-15 2021-07-30 中国农业大学 水下鱼类目标检测方法及装置
CN113554585A (zh) * 2020-04-24 2021-10-26 华邦电子股份有限公司 影像分析系统及影像分析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573309A (zh) * 2013-10-24 2015-04-29 三星电子株式会社 用于计算机辅助诊断的设备和方法
US20180133510A1 (en) * 2015-01-28 2018-05-17 Elekta, Inc. Three dimensional localization and tracking for adaptive radiation therapy
CN108573491A (zh) * 2017-03-10 2018-09-25 南京大学 一种基于机器学习的三维超声图像分割方法
CN109446951A (zh) * 2018-10-16 2019-03-08 腾讯科技（深圳）有限公司 三维图像的语义分割方法、装置、设备及存储介质
CN109543623A (zh) * 2018-11-26 2019-03-29 微医云(杭州)控股有限公司 一种基于核磁共振成像的胎儿发育状况预测装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573309A (zh) * 2013-10-24 2015-04-29 三星电子株式会社 用于计算机辅助诊断的设备和方法
US20180133510A1 (en) * 2015-01-28 2018-05-17 Elekta, Inc. Three dimensional localization and tracking for adaptive radiation therapy
CN108573491A (zh) * 2017-03-10 2018-09-25 南京大学 一种基于机器学习的三维超声图像分割方法
CN109446951A (zh) * 2018-10-16 2019-03-08 腾讯科技（深圳）有限公司 三维图像的语义分割方法、装置、设备及存储介质
CN109543623A (zh) * 2018-11-26 2019-03-29 微医云(杭州)控股有限公司 一种基于核磁共振成像的胎儿发育状况预测装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340756A (zh) * 2020-02-13 2020-06-26 北京深睿博联科技有限责任公司 一种医学图像病变检出合并方法、系统、终端及存储介质
CN111340756B (zh) * 2020-02-13 2023-11-28 北京深睿博联科技有限责任公司 一种医学图像病变检出合并方法、系统、终端及存储介质
CN111368832A (zh) * 2020-03-05 2020-07-03 北京推想科技有限公司 感兴趣区域的标记方法、装置、设备和存储介质
CN111368832B (zh) * 2020-03-05 2023-06-20 推想医疗科技股份有限公司 感兴趣区域的标记方法、装置、设备和存储介质
CN113554585A (zh) * 2020-04-24 2021-10-26 华邦电子股份有限公司 影像分析系统及影像分析方法
CN113554585B (zh) * 2020-04-24 2024-04-09 华邦电子股份有限公司 影像分析系统及影像分析方法
CN111967462A (zh) * 2020-04-26 2020-11-20 杭州依图医疗技术有限公司 一种获取感兴趣区域的方法及装置
CN111967462B (zh) * 2020-04-26 2024-02-02 杭州依图医疗技术有限公司 一种获取感兴趣区域的方法及装置
CN111862136A (zh) * 2020-06-22 2020-10-30 南开大学 基于卷积神经网络的多模态核磁影像缺血性脑卒中病变分割方法
CN112233127A (zh) * 2020-10-15 2021-01-15 上海圭目机器人有限公司 一种用于弯道拼接图像的下采样方法
CN113191222A (zh) * 2021-04-15 2021-07-30 中国农业大学 水下鱼类目标检测方法及装置
CN113191222B (zh) * 2021-04-15 2024-05-03 中国农业大学 水下鱼类目标检测方法及装置

Similar Documents

Publication Publication Date Title
CN110533029A (zh) 确定影像中目标区域的方法及装置
CN109886986A (zh) 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN105957063B (zh) 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统
CN110491480A (zh) 一种医疗图像处理方法、装置、电子医疗设备和存储介质
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
CN110599528A (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
CN109493347A (zh) 在图像中对稀疏分布的对象进行分割的方法和系统
CN110472737B (zh) 神经网络模型的训练方法、装置和医学图像处理系统
CN108986891A (zh) 医疗影像处理方法及装置、电子设备及存储介质
CN107784282A (zh) 对象属性的识别方法、装置及系统
CN110147721A (zh) 一种三维人脸识别方法、模型训练方法和装置
CN109447963A (zh) 一种脑部影像识别的方法及装置
CN109002763B (zh) 基于同源连续性的模拟人脸老化的方法及装置
CN107292884A (zh) 一种识别mri图像中水肿和血肿的方法及装置
CN110175998A (zh) 基于多尺度深度学习的乳腺癌图像识别方法、装置及介质
CN110070540A (zh) 图像生成方法、装置、计算机设备及存储介质
CN112215291A (zh) 级联神经网络下医学图像特征提取和分类方法
CN107424145A (zh) 基于三维全卷积神经网络的核磁共振图像的分割方法
CN110533639A (zh) 一种关键点定位方法及装置
CN110008992B (zh) 一种用于前列腺癌辅助诊断的深度学习方法
CN105184794B (zh) 一种基于张量图像的csm辅助分析系统及方法
CN109978077A (zh) 视觉识别方法、装置和系统及存储介质
Waqas et al. DEEPFAKE image synthesis for data augmentation
CN116452618A (zh) 一种三输入脊柱ct图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191203