CN109872364B - 图像区域定位方法、装置、存储介质和医学影像处理设备 - Google Patents
图像区域定位方法、装置、存储介质和医学影像处理设备 Download PDFInfo
- Publication number
- CN109872364B CN109872364B CN201910082060.5A CN201910082060A CN109872364B CN 109872364 B CN109872364 B CN 109872364B CN 201910082060 A CN201910082060 A CN 201910082060A CN 109872364 B CN109872364 B CN 109872364B
- Authority
- CN
- China
- Prior art keywords
- level features
- features
- feature
- level
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像区域定位方法、装置、存储介质和医学影像处理设备；本申请实施例可以获取目标部位的多张二维图像；对二维图像进行特征提取，得到二维图像的全局高层特征和全局低层特征；分别对全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征；将局部高层特征和局部低层特征进行特征融合，得到融合后特征；基于融合后特征进行区域定位，得到对象区域位于多张二维图像中的位置信息。该方案很好地保留了三维图像的整体和细节特征信息，同时，在二维层面处理三维图像可以降低对计算机资源的消耗，由此，提高了定位的精确度和速度，提升了基于三维影像的对象区域定位效率。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像区域定位方法、装置、存储介质和医学影像处理设备。
背景技术
随着人工智能(AI，Artificial Intelligence)算法的不断升级，AI图像处理的功能越来越强，相比于利用传统图像处理技术，通过AI可以更智能、高效、精确地处理图像。比如，AI处理后的医学影像(Medical Imaging)能够更好地辅助医护人员得知病患的病情。
然而，目前通过AI对三维影像进行处理时存在着定位准确度低、定位速度慢以及大量消耗计算机资源等问题，导致了AI对三维影像中对象区域定位的效率低下。
发明内容
本申请实施例提供一种方法、装置、存储介质和医学影像处理设备，可以提升基于三维影像的对象区域定位效率。
本申请实施例提供一种图像区域定位方法，包括：
获取目标部位的多张二维图像；
对所述二维图像进行特征提取，得到所述二维图像的全局高层特征和全局低层特征；
分别对所述全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征；
将所述局部高层特征和局部低层特征进行特征融合，得到融合后特征；
基于所述融合后特征进行区域定位，得到对象区域位于所述多张二维图像中的位置信息。
在一些实施例中，对所述二维图像进行特征提取，得到所述二维图像的全局高层特征和全局低层特征，包括：
通过特征提取网络对所述二维图像进行特征提取，得到所述二维图像的高层特征和低层特征；
分别对所述高层特征和低层特征进行特征整合，得所述二维图像的全局高层特征和全局低层特征。
在一些实施例中，所述特征提取网络包括深度可分离卷积网络以及稠密金字塔网络，所述通过特征提取网络对所述二维图像进行特征提取，得到所述二维图像的高层特征和低层特征，包括：
通过深度可分离卷积网络对所述二维图像进行特征提取，得到所述二维图像的低层特征和待处理高层特征；
通过稠密金字塔网络对所述待处理高层特征进行不同感受野的稠密化处理，得到高层特征。
在一些实施例中，分别对所述全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征，包括：
分别在所述全局高层特征和全局低层特征上移动采集区域，得到移动后采集区域，其中，所述移动后采集区域与移动前采集区域部分相交；
分别对所述全局高层特征和全局低层特征上的移动后采集区域进行采样操作，得到局部高层特征和局部低层特征。
在一些实施例中，所述基于所述融合后特征进行区域定位，得到对象区域位于所述多张二维图像中的位置信息，还包括：
采集目标部位的多张二维图像样本，其中所述二维图像样本标注了所述对象区域位于所述多张二维图像中的位置信息；
通过所述多张二维图像样本训练区域定位模型，得到训练后区域定位模型。
在一些实施例中，通过所述多张二维图像样本训练区域定位模型，得到训练后区域定位模型，包括：
通过区域定位模型对所述多张二维图像样本进行区域定位，得到对象区域位于所述多张二维图像中的预测位置信息；
采用相邻帧损失函数，对所述多张二维图像样本标注的位置信息和所述预测位置信息进行收敛，得到训练后区域定位模型。
在一些实施例中，所述相邻帧损失函数包括全局相似度损失函数以及局部相似度损失函数，所述采用相邻帧损失函数，对所述多张二维图像样本标注的位置信息和所述预测位置信息进行收敛，得到训练后区域定位模型，包括：
采用局部相似度损失函数，基于所述二维图像样本的标注和所述预测位置信息计算局部像素集合的相似度；
采用全局相似度损失函数，基于所述二维图像样本的标注和所述预测位置信息计算全局像素集合的相似度；
对所述全局的像素集合相似度和局部的像素集合相似度进行收敛，得到训练后区域定位模型。
在一些实施例中，将所述局部高层特征和局部低层特征进行特征融合，得到融合后特征，包括：
对所述局部低层特征进行尺寸调整，得到多个不同尺寸的局部低层特征；
通过特征融合网络将所述多个不同尺寸的局部低层特征和所述局部高层特征进行特征融合，得到融合后特征。
在一些实施例中，所述特征融合网络包括多个不同尺寸大小的卷积层，所述通过特征融合网络将所述多个不同尺寸的局部低层特征和所述局部高层特征进行特征融合，得到融合后特征，包括：
将所述局部高层特征输入最前端卷积层进行特征缩放，得到最前端卷积层输出的特征图；
在每一卷积层将局部低层特征与前一卷积层输出的特征图进行特征融合，得到每一卷积层输出的特征图；
获取最后端卷积层输出的特征图，得到融合后特征。
在一些实施例中，基于所述融合后特征进行区域定位，得到对象区域位于所述多张二维图像中的位置信息，包括：
基于所述融合后特征预测所述二维图像中每个像素点的类型；
基于所述像素点的类型对对象区域进行区域定位，得到对象区域位于所述多张二维图像中的位置信息。
本申请实施例还提供一种图像区域定位装置，包括：
图像获取模块，用于获取目标部位的多张二维图像；
特征提取模块，用于对所述二维图像进行特征提取，得到所述二维图像的全局高层特征和全局低层特征；
高层采样模块，用于分别对所述全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征；
特征融合模块，用于将所述局部高层特征和局部低层特征进行特征融合，得到融合后特征；
区域定位模块，用于基于所述融合后特征进行区域定位，得到对象区域位于所述多张二维图像中的位置信息；
本申请实施例还提供一种医学影像处理设备，所述医学影像处理设备包括医学影像采集单元、处理器和存储器，其中：
所述医学影像采集单元用于采集生命体目标部位的多张二维图像；
所述存储器用于存储图像数据以及多条指令；
所述处理器用于读取所述存储器存储的多条指令，以执行以下步骤：
获取目标部位的多张二维图像；
对所述二维图像进行特征提取，得到所述二维图像的全局高层特征和全局低层特征；
分别对所述全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征；
将所述局部高层特征和局部低层特征进行特征融合，得到融合后特征；
基于所述融合后特征进行区域定位，得到对象区域位于所述多张二维图像中的位置信息
在一些实施例中，当执行步骤对所述二维图像进行特征提取，得到所述二维图像的全局高层特征和全局低层特征时，所述处理器具体执行以下步骤：
通过特征提取网络对所述二维图像进行特征提取，得到所述二维图像的高层特征和低层特征；
分别对所述高层特征和低层特征进行特征整合，得所述二维图像的全局高层特征和全局低层特征。
在一些实施例中，所述特征提取网络包括深度可分离卷积网络以及稠密金字塔网络，当执行步骤通过特征提取网络对所述二维图像进行特征提取，得到所述二维图像的高层特征和低层特征时，所述处理器具体执行以下步骤：
通过深度可分离卷积网络对所述二维图像进行特征提取，得到所述二维图像的低层特征和待处理高层特征；
通过稠密金字塔网络对所述待处理高层特征进行不同感受野的稠密化处理，得到高层特征。
在一些实施例中，当执行步骤分别对所述全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征时，所述处理器具体执行以下步骤：
分别在所述全局高层特征和全局低层特征上移动采集区域，得到移动后采集区域，其中，所述移动后采集区域与移动前采集区域部分相交；
分别对所述全局高层特征和全局低层特征上的移动后采集区域进行采样操作，得到局部高层特征和局部低层特征。
本申请实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供的任一种图像区域定位方法中的步骤。
本申请实施例可以获取目标部位的多张二维图像；对二维图像进行特征提取，得到二维图像的全局高层特征和全局低层特征；分别对全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征；将局部高层特征和局部低层特征进行特征融合，得到融合后特征；基于融合后特征进行区域定位，得到对象区域位于多张二维图像中的位置信息。
由于三维图像都是由多张二维图像组成的，故在本申请中，该方案在进行对象区域定位时，关注了高层特征信息和低层特征信息，所以很好的保留了三维图像的整体特征信息和细节特征信息，并且该方案还对高低层全局特征进行采样，所以定位结果同时考虑了在三维图像垂直方向上的连续性，因此，可以更好地保利用体信息与细节信息，同时，在二维层面处理三维图像可以降低对计算机资源的消耗，由此，提高了定位的精确度和速度，从而提升了对三维影像中对象区域定位的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像区域定位方法的场景示意图；
图2是本申请实施例提供的图像区域定位方法的流程示意图；
图3是本申请实施例提供的深度可分离卷积原理示意图；
图4是本申请实施例提供的DenseASPP结构示意图；
图5是本申请实施例提供的带孔卷积的卷积原理示意图；
图6是本申请实施例提供的感受野的原理示意图；
图7是本申请实施例提供的特征采样过程中局部特征-全局特征以及局部特征-局部特征的关系示意图；
图8是本申请实施例提供的特征采样原理示意图；
图9是本申请实施例提供的单编码端-多解码端的结构示意图；
图10是本申请实施例提供的图像区域定位方法的另一场景示意图；
图11是本申请实施例提供的Xception的网络结构示意图；
图12是本申请实施例提供的解码端网络结构示意图；
图13是本申请实施例提供的图像区域定位方法输入输出的效果图；
图14是本申请实施例提供的图像区域定位装置的结构示意图；
图15是本申请实施例提供的医用影像采集设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种图像区域定位方法、装置、存储介质和医学影像处理设备。
其中，该图像区域定位装置具体可以集成在可以集成在电子设备中，该电子设备可以是服务器，也可以是终端、医学电子仪器等设备。
所谓图像定位，指的是从图像中提取出感兴趣目标的位置信息。在本发明实施例中，可以对任意三维图像进行定位。比如对三维医学图像进行定位，例如，从医学肝脏三维立体图像中定位出肝癌组织的边缘坐标、从医学脑部三维立体图像中定位出脑梗区域的中心点坐标、从胸部立体图像中高亮显示定位出的乳腺癌区域等等，该定位出来的目标位置信息后续可以供医护人员或其他医学专家进行分析，以便作出进一步的操作。
例如，参考图1，以该图像区域定位装置集成在网络设备中为例，该网络设备可以获取目标部位的多张二维图像；对二维图像进行特征提取，得到二维图像的全局高层特征和全局低层特征；分别对全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征；将局部高层特征和局部低层特征进行特征融合，得到融合后特征；基于融合后特征进行区域定位，得到对象区域位于多张二维图像中的位置信息。
以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。
在本申请实施例中，将图像区域定位装置的角度进行描述，该图像区域定位装置具体可以集成在电子设备中，该电子设备可以为服务器、终端、医疗电子仪器、医学影像处理设备等等。
在本实施例中，提供了一种图像区域定位方法，如图2所示，该图像区域定位方法的具体流程可以如下：
101、获取目标部位的多张二维图像。
目标部位的多张二维图像，即目标部位的三维图像(Three Dimension， 3D)。
其中，三维是指在平面二维系中加入了一个方向向量构成的空间系。具体地，三维图像均可以由多张二维图像组成，比如，三维图像可以指具有长-宽- 高三个维度的图像，例如激光全息图、计算机三维模型以及医学三维图像等等；比如，三维图像也可以指具有长-宽-时间三个维度的图像，例如视频，例如动画、广告等等。
其中，目标部位是指事物整体中部分的位置，比如，人的腹部、狗的头部、植物的根茎等等。
例如，该目标部位可以具体由各医学影像处理设备、医学电子成像仪器、服务器以及终端等提供给该图像区域定位装置，比如，利用磁共振成像仪(Magnetic ResonanceImaging，MRI)、计算机断层扫描设备(Computed Tomography，CT)等来对目标部位进行图像采集，进而，即，图像区域定位装置具体可以接收医学影像处理设备发送的三维医学图像，根据接收到的三维医学图像确定对象区域位于三维医学图像中的位置。
在一些实施例中，为了提高定位速度，再进行区域定位之前可以先将该三维图像中的多张二维图像进行切片划分，划分为多个单帧或多帧的切片(简称切片/帧)，其中每一切片记为二维图像。
102、对二维图像进行特征提取，得到二维图像的全局高层特征和全局低层特征。
对目标部位的多张二维图像(即目标部位的三维图像)进行特征提取，可以得到多张二维图像的全局高层特征和全局低层特征(即三维图像的全局高层特征和全局低层特征)。
其中，图像特征可以包括图像的颜色特征、纹理特征、形状特征和空间关系特征等等。
其中，全局高层特征可以指整个三维图像中包含的与类别、高级抽象等相关的信息，全局低层特征可以包含整个三维图像中诸如边缘和纹理等图像细节。
具体地，提取全局高层特征和全局低层特征的方式如下：
(1)通过特征提取网络对二维图像进行特征提取，得到二维图像的高层特征和低层特征。
本实施例中可以通过多种特征提取方式来提取特征，比如，利用训练好的卷积神经网络(Convolutional Neural Networks，CNN)、全连接网络(Fully ConvolutionalNetworks，FCN)等等提取特征。例如采用残差网络(Residual network，ResNet)、深度卷积网络(Depthwise Convolution network，DCN)等等提取特征。
比如，为了对卷积层通道间的相关性和空间相关性进行去耦，使得参数能够被有效利用，可以使用深度可分离卷积网络(Depthwise Separable Convolution network，DSCN)对二维图像进行特征提取，得到三维图像的高层特征以及低层特征。
其中，深度可分离卷积网络可以在保持通道分离的前提下，接上一个深度卷积结构，实现空间卷积。例如，常用的深度可分离卷积网络可以包括Xception、MobileNet等等。
又比如，为了对不同尺度的特征图都进行利用，可以通过特征图金字塔网络(Feature Pyramid Networks，FPN)都预测特征图。例如，带孔空间金字塔池化(AtrousSpatial Pyramid Pooling，ASPP)、空间金字塔池化(Spatial Pyramid Pooling，SPP)等等。
比如，为了在得到高层特征时不牺牲特征空间分辨率、扩大特征接收野并且降低计算量，可以通过稠密金字塔网络对高层特征进行不同感受野的稠密化处理。
其中，稠密金字塔网络是指可以提取稠密特征的各种空间金字塔池化网络，比如稠密带孔空间金字塔池化(Dense Atrous Spatial Pyramid Pooling，DenseASPP)。
在一些实施例中，可以使用深度可分离卷积网络以及稠密金字塔网络作为特征提取网络，对二维图像进行特征提取，得到二维图像的高层特征和低层特征，其具体步骤如下：
a.通过深度可分离卷积网络对二维图像进行特征提取，得到二维图像的低层特征和待处理高层特征。
在本步骤中，将以Xception作为深度可分离卷积网络为例，进行说明：
当向Xception输入一张二维图像时，Xception分别在不同通道对该图像进行一次卷积，生成输入通道数数量的特征图，这些多张特征图均被记为低层特征，最后一张记为待处理高层特征。
在Xception中主要采用深度可分离卷积(depthwise separable convolution)以在基本保证准确率的前提下减少计算时间和参数数量，如图3所示，深度可分离卷积将传统的卷积操作(图3上部分)分成两步，分别为深度卷积(depthwise convolution)操作(图3中间部分)和逐点卷积(pointwise convolution)操作 (图3下部分)。
比如，如图3所示，M表示输入特征的通道数，N表示输出特征的通道数(也是本层的卷积核个数)。因此如果假设卷积核大小是DK*DK*M*N，输出是DF*DF*N，那么标准卷积的计算量是DK*DK*M*N*DF*DF。
b.通过稠密金字塔网络对待处理高层特征进行不同感受野的稠密化处理，得到高层特征。
在本步骤中，将以DenseASPP作为稠密金字塔网络为例，进行说明：
图4是DenseASPP结构示意图，如图所示，DenseASPP可以包括多层设置有不同感受野的卷积层。比如，以图4为例，图4的右半部分是DenseASPP内部的网络结构，该网络结构中包含多个空洞卷积(Atrous Convolution)，从上到下分别是Conv1、Conv2 Conv3、Conv4和Conv5，且感受野由上到下依次增大，则此时Conv1、Conv2 Conv3、Conv4和Conv5可以分别生成相应尺度的特征图 (feature map)，并分别根据生成的特征图对步骤a得到的待处理高层特征进行相应尺度的特征选取，得到多个不同尺度的高层特征。
其中，空洞卷积(又称扩长卷积、带孔卷积)可以在对特征图进行卷积计算时，隔像素地去卷，从而达到节省内存的作用。所谓空洞就是在原图上做采样，在卷积核中，空洞处则是插入的0。空洞卷积的采样频率是根据其空洞的大小(rate)参数来设置的，当rate为1时候，此时卷积操作就是标准的卷积操作，原图不丢失任何信息采样，如图5所示，该空洞卷积的rate为2时，该空洞卷积在原图上每隔一个像素进行采样。
空洞卷积在全卷积网络中可以有效地控制计算特征响应的密度，可选的，在密集预测的任务中，例如语义分割，空洞卷积和双线性插值一起使用可以替代转置卷积。空洞卷积可以在卷积核有效增大感受野的同时不增加模型参数或者计算量。
其中，感受野决定了某一层输出结果中一个元素所对应的输入层的区域大小。也就是说，感受野是卷积神经网络中的某一层输出结果(即特征图)上的元素点在输入图像上映射的大小，比如，参见图6。一般的，第一层卷积层(比如C1)的输出特征图像素的感受野的大小等于卷积核的大小(Filter size)，而高层卷积层(比如C4等)的感受野大小则和它之前所有层的卷积核大小和步长有关系，因此，基于不同的感受野，便可以捕获到不同级别的信息，进而达到提取不同尺度特征信息的目的。
在一些实施例中，可以由技术人员建立DenseASPP，并对该DenseASPP的多层卷积层分别设置不同的感受野，这样，便可以采用该DenseASPP来处理高层特征，以得到局部特征信息。
(2)分别对高层特征和低层特征进行特征整合，得二维图像的全局高层特征和全局低层特征。
分别对步骤(1)得到的多个高层特征和多个低层特征进行特征整合，使得得到信息高度压缩的全局高层特征和全局低层特征，其具体步骤是：
a.对低层特征进行加权求和，得三维图像的全局低层特征；
b.对高层特征进行加权求和，得到三维图像的全局高层特征。
对多通道中的高低层特征进行加权求和后，可以得到全局高低层特征，即高度压缩的特征图。
103、分别对全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征。
特征采样是指按一定规则在全局特征中选取一部分作为局部特征。
特征采样的方式有多种，比如，全采样、随机采样以及根据预设规则进行采样等等。
在一些实施例中，为了更好地保留三维图像的空间信息，可以采用预设的采样规则，使得采样得到的特征之间部分相交。
比如，图7是特征采样过程中局部特征与全局特征、局部特征与局部特征之间的关系示意图，如图所示，全局高/低层特征在采样后，可以得到三个局部高/低层特征，每个局部高/低层特征都与其相邻的局部高/低层特征之间存在着相同的部分，即共享信息。
比如，在一些实施例种，为了获得信息共享的特征，可以通过图8所示的特征采样方法，分别在全局高层特征和全局低层特征上进行特征采样，其具体步骤可以如下：
(1)在全局高层特征上移动采集区域，得到移动后采集区域，其中，移动后采集区域与移动前采集区域部分相交。
a.确认预设步长(stride)；
b.在全局高层特征上将采集区域移动预设步长的距离，得到移动后采集区域。
其中，采集区域可以由起点、终点、区域范围大小等信息确定。
其中，移动步长可以指移动的距离，其单位可以为帧、层、张以及切片等等。
(2)对全局高层特征上的移动后采集区域进行采样操作，得到局部高层特征。
在步骤(2)中完成了一次采样操作，即，得到一个局部高层特征。重复步骤(1)(2)多次，直到采集区域无法继续在全局高层特征上移动，即可得到多个局部高层特征。
类似地，在全局低层特征上采集局部低层特征的方法与上述在全局高层特征上采集局部高层特征的方法类似，在此不再赘述。
104、将局部高层特征和局部低层特征进行特征融合，得到融合后特征。
例如，为了更完整地保存局部高层特征和局部低层特征所携带的信息，可以通过以下方法进行特征融合：
1、对局部低层特征进行尺寸调整，得到多个不同尺寸的局部低层特征。
该尺寸调整的方法可以是采用不同尺寸大小的卷积核对局部低层特征进行卷积操作，得到预设大小的局部低层特征。
其中，该不同尺寸大小的卷积核可以由技术人员设置。
2、通过特征融合网络将多个不同尺寸的局部低层特征和局部高层特征进行特征融合，得到融合后特征。
比如，多个不同尺寸的局部低层特征可以依次与局部高层特征进行特征融合。例如，在一些实施例中，可以使用多个不同尺寸大小的卷积层形成的特征融合网络将多个不同尺寸的局部低层特征依次与局部高层特征进行特征融，具体步骤如下：
a.将局部高层特征输入最前端卷积层进行特征缩放，得到最前端卷积层输出的特征图；
b.在每一卷积层将局部低层特征与前一卷积层输出的特征图进行特征融合，得到每一卷积层输出的特征图；
c.获取最后端卷积层输出的特征图，得到融合后特征。
将局部高层特征输入最前端卷积层进行特征缩放可以对局部高层特征的尺寸进行调整，从而使得最前端卷积层输出的特征图与步骤1中局部低层特征的尺寸相匹配。
在每一卷积层都将前一卷积层输出的特征图与步骤1中尺寸相匹配的局部低层特征进行整合，再将整合后的特征图进行特征缩放，得到每一卷积层输出的特征图。
最后端卷积层输出的特征图已经融合了所有局部低层特征，所以将最后端卷积层输出的特征图记为融合后特征。
其中，该局部高层特征和局部低层特征的权重可以根据实际应用的需求灵活进行设置和调整，在此不作赘述。
105、基于融合后特征进行区域定位，得到对象区域位于多张二维图像中的位置信息。
比如，可以通过训练后区域定位模型基于融合后局部特征进行对象区域的定位，得到对象区域位于多张二维图像中的位置信息，即对象区域位于三维图像中的位置信息。
具体定位步骤如下：
1、基于融合后特征预测二维图像中每个像素点的类型。
其中，像素类型可以是指该像素所代表的类型。比如，像素点的类型可以包括：正常组织、癌症组织以及未知组织等等。
在一些实施例中，可以根据该融合后特征预测二维图像中每个像素点的概率，然后根据每个像素点概率值的大小确定该像素点的类型。
比如，可以通过查询字典来确定对应的像素类型。其中，该字典可以从本地内存中，或者外部内存中获取。
表1是字典格式，如表所示，在一些实施例中，通过融合后特征预测二维图像中某个像素点的概率分别为0、(0，x]、(x，y)、[y，1)以及1。其中，概率为0对应的像素类型为A，概率大于0且小于等于x对应的像素类型为B，概率大于x且小于y对应的像素类型为C，概率大于等于y且小于1对应的像素类型为D。
| 概率 | 0 | (0，x] | (x，y) | [y，1) |
| 像素类型 | A | B | C | D |
表1
由于不同的融合后特征具有不同的取值范围，为了降低融合后特征的取值范围对最终结果的影响，平衡融合后特征的取值范围，提高识别对象区域的精确度，需要对特征的范围事先进行归一化操作，将融合后特征取值归一化到[0， 1]区间。
比如，常用的归一化方法可以包括函数归一化、分维度归一化、排序归一化等等。
其中，函数归一化可以通过映射函数将特征取值映射到[0，1]区间，比如使用最大最小值归一化法，是一种线性的映射。除此之外，还可以通过非线性函数例如log函数的映射进行归一化操作。
其中，分维度归一化也可以使用最大最小归一化方法，但是最大最小值选取的是所属类别的最大最小值，即使用的是局部最大最小值。
其中，排序归一化可以不考虑原来特征取值范围，直接将特征按大小排序，根据特征所对应的排序赋予该特征一个新的值。
2、基于像素点的类型对对象区域进行区域定位，得到对象区域位于多张二维图像中的位置信息。
其中，该对象区域可以根据实际应用的需求进行设置，比如，肝癌组织、血栓、乳腺肿瘤等等。可选的，该对象区域也可以设置为多个，各个对象区域之间可以是包含关系、互不相容关系等等；比如，若三维图像为胸腔部位的 MRI图像，则定位出两个对象区域可以分别为乳腺肿瘤和肺癌组织等等。
比如，对象区域设置为肝癌组织区域，则将每张二维图像中所有肝癌组织类型的像素点记为目标像素点(对象区域)，并且确认目标像素点位于该二维图像上的位置信息，例如目标像素点的坐标值、序列号以及中心点坐标等等。
根据对象区域位于多张二维图像中的位置信息可以进行各种图像处理，使得处理后的多张二维图像适合辅助医护人员对病患病情的诊断。比如，为了可视化对象区域，可以根据目标像素点的位置信息将多张二维图片上相同位置的像素设为高亮，形成高亮区域。再比如，还可以根据对象区域位于多张二维图像中的位置信息对多张二维图像进行图像分割。
需说明的是，若目标部位的三维图像为切片，则此时得到的对象区域为该切片中的对象区域。
在一些实施例中，可以根据训练后的区域定位模型来对象区域进行区域定位，其中，该训练后区域定位模型可以由运维人员预先进行设置，也可以由该区域定位装置自行训练来得到，还可以由该区域定位装置通过网络自行获取，等等。
比如，在一些实施例中，可以预先由运维人员训练区域定位模型，然后使用该模型来处理多张二维图像样本，具体步骤包括：
1、采集目标部位的多张二维图像样本，其中二维图像样本标注了对象区域位于多张二维图像中的位置信息。
比如，具体可以采集多个三维图像样本作为原始数据集，比如从数据库或网络等获取该原始数据集，然后对该原始数据集里的三维图像样本进行预处理，以得到满足预设分割网络的输入标准的多张二维图像样本，然后，对这些预处理后的图像样本进行对象区域位于多张二维图像样本中的位置信息的标注，即可得到多张标注了对象区域的三维图像样本。
其中，多张二维图像样本指的是多个三维图像样本中的二维图像样本，每个三维图像样本中包括多张二维图像样本。
其中，预处理可以包括去重、裁剪、旋转和/或翻转等操作。譬如，以预设分割网络的输入大小为“128*128*32(宽*高*深)”为例，则此时，可以将原始数据集里的图像裁剪为“28*128*32”大小，当然，还可以进一步对这些图像样本进行其他的预处理操作。
2、通过多张二维图像样本训练区域定位模型，得到训练后区域定位模型。
该区域定位模型可以保存在区域定位装置的本地内存中，也可以由该区域定位装置通过网络自行获取，等等。
通过多张二维图像样本多次训练区域定位模型直至收敛，可以得到训练后区域定位模型，进行一次训练的步骤包括：
a.对二维图像样本进行特征提取，得到二维图像样本的全局高层特征和全局低层特征；
b.分别对全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征；
c.将局部高层特征和局部低层特征进行特征融合，得到融合后特征；
d.采用区域定位模型基于融合后特征进行区域定位，得到对象区域位于多张二维图像样本中的预测位置信息；
e.基于预测位置信息和多张二维图像样本标注的位置信息，调整区域定位模型中有关像素分类的参数，得到训练后区域定位模型。
由于连续的三维图像中的多个单或多帧二维图像(切片)存在着比较强的连续性，而本发明实施例所提供的区域定位方法主要是针对切片进行区域定位，再整合为最终的在三维图像上定位的结果，因此，为了避免分割结果在第三维方向上的不连续性，可以采用相邻帧损失函数来进行收敛，以提高其连续性。
在一些实施例中，采用相邻帧损失函数来进行收敛的具体步骤如下：
通过区域定位模型对多张二维图像样本进行区域定位，得到对象区域位于多张二维图像样本中的预测位置信息；
采用相邻帧损失函数，对多张二维图像样本标注的位置信息和预测位置信息进行收敛，得到训练后区域定位模型。
其中，相邻帧损失函数具有多种，比如基于加权的逐像素交叉熵损失(crossentropy loss)函数、focal loss函数、Dice函数(一种损失函数)、
在一些实施例中，可以根据相邻切片之间预测位置信息之差和其对应的标注位置信息之差计算损失值，从而约束不同切片之间的变化，使得预测的相邻切片之间的变化尽量拟合真实相邻切片之间的变化：
相邻帧损失函数可以包括全局相似度损失函数以及局部相似度损失函数，执行步骤b的具体方式可以如下：
采用局部相似度损失函数，基于二维图像样本的标注和预测位置信息计算局部像素集合的相似度；
采用全局相似度损失函数，基于二维图像样本的标注和预测位置信息计算全局像素集合的相似度；
对全局的像素集合相似度和局部的像素集合相似度进行收敛，得到训练后区域定位模型。
此外，在本发明实施例中，还可以将特征提取网络例如深度可分离卷积网络和密集金字塔网络、特征融合网络以及等等看成是该训练后区域定位模型的一部分。
比如，将特征提取网络例如深度可分离卷积网络和密集金字塔网络看成是该训练后区域定位模型的编码器(encoder)部分，用于进行特征提取，而将特征融合网络可以看成是该训练后区域定位模型的解码器部分，用于基于每个局部特征进行对象区域的定位。
本申请实施例提供的区域定位方案可以应用在各种三维图像的区域定位场景中。以医学三维图像为例，由于医学三维图像的特性，比如目标对象通常比较小且没有固定的形状，图像的细节对区域定位的结果影响较大，采用本申请实施例提供的方案一方面能够保留图像高层、低层信息，另一方面又能保留多张图像的全局信息和每张图像的局部信息，提升了区域定位准确度，从而提升了定位效率。
由上可知，本申请实施例获取目标部位的多张二维图像；对二维图像进行特征提取，得到二维图像的全局高层特征和全局低层特征；分别对全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征；将局部高层特征和局部低层特征进行特征融合，得到融合后特征；基于融合后特征进行区域定位，得到对象区域位于多张二维图像中的位置信息。该方案在进行对象区域定位时，关注了高层特征信息和低层特征信息，所以很好的保留了三维图像的整体特征信息和细节特征信息，并且该方案还对高低层全局特征进行采样，所以定位结果同时考虑了在三维图像垂直方向上的连续性，因此，可以更好地处理从整体到细节、从三维到二维之间的信息，由此，提升了对象区域在三维图像中的定位准确度，从而提升了定位效率。
根据上述实施例所描述的方法，以下将举例作进一步详细说明。
在本申请实施例中，将以图像区域定位装置具体集成在医疗电子仪器中、医疗电子仪器对胸腔部位的三维MRI图像进行肝癌组织的定位为例进行说明。
本申请实施例中，可以使用编码端-解码端(encoder-decoder)的结构进行区域定位，该结构可以如图9所示，将胸腔部位的三维MRI图像输入单个编码端，将编码端的输出输入多个解码端，每个解码端输出两张二维图像，分别为肝脏部位的图像以及肝癌组织的图像。
另外，在医疗电子仪器对胸腔部位的三维MRI图像进行肝癌组织的定位之前，该医疗电子仪器可以预先自行训练区域定位模型，具体步骤包括：
a.采集目标部位的多张二维图像样本，其中二维图像样本标注了对象区域位于多张二维图像中的位置信息；
b.对二维图像样本进行特征提取，得到二维图像样本的全局高层特征和全局低层特征；
c.分别对全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征；
d.将局部高层特征和局部低层特征进行特征融合，得到融合后特征；
e.采用区域定位模型基于融合后特征进行区域定位，得到对象区域位于多张二维图像样本中的预测位置信息；
f.基于预测位置信息和多张二维图像样本标注的位置信息，调整区域定位模型中有关像素分类的参数，得到训练后区域定位模型。
其中，医疗电子仪器可以从医疗影像储传系统(Picture Archiving andCommunication Systems，PACS)获取多个三维图像样本，并将该三维图像样本中的每两帧二维图像样本记为一个切片，为了方便描述，在以下文字中均以二维图像来指代该切片。
其中，该二维图像样本可以提前由医护人员标注了对象区域位于多张二维图像样本中的位置信息。
其中，区域定位模型可以预先保存于本地内存中。
其中，步骤f可以根据相邻切片之间预测位置信息之差和其对应的标注位置信息之差计算损失值，从而约束不同切片之间的变化，使得预测的相邻切片之间的变化尽量拟合真实相邻切片之间的变化，其具体步骤包括：
采用局部相似度损失函数，基于二维图像样本的标注和预测位置信息计算局部像素集合的相似度；
采用全局相似度损失函数，基于二维图像样本的标注和预测位置信息计算全局像素集合的相似度；
对全局的像素集合相似度和局部的像素集合相似度进行收敛，得到训练后区域定位模型。
在本实施例中，提出一种多联合损失函数(multi connected dice loss，mcdloss)作为局部相似度损失函数，来基于二维图像样本的标注和预测位置信息计算局部像素集合的相似度：
其中c是像素点类型，N是输出的二维图像的张数，Pi，j，c是像素点类型为c 的第i个和第j个预测值之间的差值，Ti，j，c是像素点类型为c的第i个和第j个真实值之间的差值。
其中，Dice函数的计算方法如下：
其中，N为预测对象区域中总的像素值数目，xi和yi分别是预测对象区域x 和预测对象区域y在第i个位置的像素值。
在本实施例中，全局相似度损失函数被定义为loss：
loss＝λ×mcd loss+dice loss
其中，λ可以由技术人员预先设定，也可以由该区域定位装置自行获取，等等。
医疗电子仪器对获取的病患肝脏部位的三维MRI图像进行肝癌组织区域定位的流程请参考图10，具体步骤如下：
(一)获取目标部位的多张二维图像。
医疗电子仪器从医疗影像储传系统获取胸腔部位的三维MRI图像，并将该三维MRI图像中的每两帧二维图像记为一个切片，一共得到500个切片，即获取的该肝脏部位三维图像中一共有500张二维图像。
(二)通过深度可分离卷积网络对二维图像进行特征提取，得到二维图像的低层特征和待处理高层特征。
Xception是网络结构示意图请参考图11，如图所示，Xception分为三个部分，分别为进入流(Entry flow)、中间流(Middle flow)以及退出流(Exit flow)，其中，中间流的重复模块如图11中部所示，该重复模块可以首位相接，该部分重复8次即为Xception的中间流。
每个部分都具有多个3*3大小的可分离卷积(Separable Conv)、1*1大小的普通卷积(Conv)、3*3大小的最大池化层(Max Pooling)以及线性整流函数(Rectified LinearUnit，ReLU)。除此之外，退出流还包括全局平均池化层 (Global Average Pooling)。
比如，一个299*299*3的图像输入进入流后，可以得到多个低层特征，并在进入流的末端得到一个19*19*728的特征图，该特征图再进入中间流的重复模块8次后进入退出流，在退出流的全局平均池化层得到2048维度的特征向量，至此，该特征向量即为待处理高层特征。
(三)通过稠密金字塔网络对待处理高层特征进行不同感受野的稠密化处理，得到高层特征。
使用DenseASPP作为稠密金字塔网络，DenseASPP可以包括多层设置有不同感受野的卷积层，比如，技术人员可以设置一个具有五层不同rate的空洞卷积层的DenseASPP，比如，如图4所示，五层不同rate的空洞卷积层从上到下分别是rate＝2的Conv1、rate＝6的Conv2、rate＝12的Conv3、rate＝18的 Conv4和rate＝24的Conv5。
首先，待处理高层特征被rate＝2的Conv1卷积，输出一个特征图a，然后将特征图a与待处理高层特征进行特征整合，得到待处理特征图A。
然后，待处理特征图A被rate＝6的Conv2卷积，输出一个特征图b，然后将特征图b与待处理高层特征、待处理特征图A进行特征整合，得到待处理特征图B；
然后，待处理特征图B被rate＝12的Conv3卷积，输出一个特征图c，然后将特征图c与待处理高层特征、待处理特征图A、待处理特征图B进行特征整合，得到待处理特征图C；
再然后，待处理特征图C被rate＝18的Conv4卷积，输出一个特征图d，然后将特征图d与待处理高层特征、待处理特征图A、待处理特征图B、待处理特征图C进行特征整合，得到待处理特征图D；
最后，待处理特征图B被rate＝24的Conv5卷积，输出一个特征图e，然后将特征图e与待处理高层特征、待处理特征图A、待处理特征图B、待处理特征图C、待处理特征图D进行特征整合，得到高层特征。
(四)分别对高层特征和低层特征进行特征整合，得二维图像的全局高层特征和全局低层特征。
获取步骤1和步骤2中的多个高层特征和多个低层特征，分别对高层特征和低层特征进行特征整合，得二维图像的全局高层特征和全局低层特征，其具体步骤是：
a.对低层特征进行加权求和，得三维图像的全局低层特征；
b.对高层特征进行加权求和，得到三维图像的全局高层特征。
对多通道中的高低层特征进行加权求和后，可以得到全局高低层特征，即高度压缩的特征图。
(五)分别对全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征。
分别在全局高层特征和全局低层特征上移动采集区域，得到移动后采集区域，其中，移动后采集区域与移动前采集区域部分相交，然后分别对全局高层特征和全局低层特征上的移动后采集区域进行采样操作，得到局部高层特征和局部低层特征。
具体实施方式请参考步骤103，在此不做赘述。
(六)将局部高层特征和局部低层特征进行特征融合，得到融合后特征。
在本实施例中，直接通过解码端中的特征融合网络将多个不同尺寸的局部低层特征和局部高层特征进行特征融合，得到融合后特征。
解码端的具体结构如图12所示，包括虚线框出的特征融合网络，该特征融合网络包括多个卷积层。
将局部低层特征在图中解码端最右侧进行三次特征整合，得到整合后的局部低层特征1、局部低层特征2、局部低层特征3。
将局部高层特征输入解码端，局部高层特征在图中解码端最下端的卷积层 (Sepconv，1*1)进行特征整合，然后进入特征融合网络进行特征缩放，得到缩放特征图1。在融合处，将局部低层特征1和缩放特征图1进行特征融合，得到特征图X。再将特征图X在卷积层(Sep conv256，3*3)进行特征整合，然后进行2倍上采样，得到缩放特征图2，将缩放特征图2与局部低层特征2 进行特征融合，得到特征图Y。再将特征图Y在卷积层(Sep conv128，3*3)进行特征整合，然后进行2倍上采样，得到缩放特征图3，将缩放特征图3与局部低层特征3进行特征融合，得到特征图Z。
特征图Z即为融合后特征。
(七)基于融合后特征进行区域定位，得到对象区域位于多张二维图像中的位置信息。
在本实施例中，通过查询字典的方式可以根据该融合后特征预测二维图像中每个像素点的概率，然后根据每个像素点概率值的大小确定该像素点的类型。
其中，该字典由技术人员预先设置并保存在本地内存中。
如图13所示，图13的上半部分是该区域定位装置获取的胸腔部位的三维 MRI图像中的多张二维图像，图13的下半部分是该区域定位装置输出的定位结果，可以看到该图像中勾勒出的肝癌组织边缘的二维图像。
表2是字典格式，如表所示，概率为0对应的像素类型为正常，概率大于0且小于等于0.4对应的像素类型为肝脏，概率大于0.4对应的像素类型为肝癌组织。
| 概率 | 0 | (0，0.4] | (0.4，1] |
| 像素类型 | 正常 | 肝脏 | 肝癌组织 |
表2
由于不同的融合后特征具有不同的取值范围，为了降低融合后特征的取值范围对最终结果的影响，平衡融合后特征的取值范围，提高识别对象区域的精确度，需要对特征的范围事先进行函数归一化，将通过映射函数将融合后特征取值映射到[0，1]区间。
然后，基于像素点的类型对对象区域进行区域定位，得到对象区域位于多张二维图像中的位置信息。
在本实施例中，可以将每张二维图像中所有肝癌组织类型的像素点记为目标像素点A(对象区域A)，并且确认目标像素点A位于该二维图像上的坐标值 A。
将每张二维图像中所有肝脏类型的像素点记为目标像素点B(对象区域 B)，并且确认目标像素点B位于该二维图像上的坐标值B。
为了可视化对象区域A和B，可以根据该坐标值A计算肝癌组织的边缘A，并将边缘A的所有坐标记为坐标集x；然后根据该坐标值B计算肝脏组织的边缘 B，并将边缘B的所有坐标记为坐标集y。
在二维图像上，将坐标集x位置的坐标RGB值设置为绿色，将坐标集y位置的坐标RGB值设置为红色。
由上可知，本申请实施例获取目标部位的多张二维图像；通过深度可分离卷积网络对二维图像进行特征提取，得到二维图像的低层特征和待处理高层特征；通过稠密金字塔网络对待处理高层特征进行不同感受野的稠密化处理，得到高层特征；分别对高层特征和低层特征进行特征整合，得二维图像的全局高层特征和全局低层特征；分别对全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征；将局部高层特征和局部低层特征进行特征融合，得到融合后特征。基于融合后特征进行区域定位，得到对象区域位于多张二维图像中的位置信息。本实施例中，更快地获取了丰富的高层特征和低层特征信息，在来还原图像时同时保留了精细细节与整体信息，并且同时考虑了在三维图像垂直方向上的连续性。除此之外，在二维层面处理三维图像可以降低对计算机资源的消耗、提升了抓取三维图像垂直方向上信息的能力，由此，提高了定位的精确度和速度，从而提升了对三维影像中对象区域定位的效率。
为了更好地实施以上方法，本申请实施例还提供一种图像区域定位装置，该图像区域定位装置具体可以集成在电子设备中，该电子设备可以为服务器、终端、医疗电子仪器等等。
例如，如图14所示，该图像区域定位装置可以包括图像获取模块301、特征提取模块302、高层采样模块303、特征融合模块304、区域定位模块305如下：
(一)图像获取模块301：
图像获取模块301，用于获取目标部位的多张二维图像。
(二)特征提取模块302：
特征提取模块302，用于对二维图像进行特征提取，得到二维图像的全局高层特征和全局低层特征。
在一些实施例中，特征提取模块302可以包括高低层模块和全局整合模块，如下：
(1)高低层模块：
提取模块，用于通过特征提取网络对二维图像进行特征提取，得到二维图像的高层特征和低层特征。
在一些实施例中，特征提取网络包括深度可分离卷积网络以及稠密金字塔网络，所述提取模块，可以具体用于：
通过深度可分离卷积网络对二维图像进行特征提取，得到二维图像的低层特征和待处理高层特征；
通过稠密金字塔网络对待处理高层特征进行不同感受野的稠密化处理，得到高层特征。
(2)全局整合模块：
全局整合模块，用于分别对高层特征和低层特征进行特征整合，得二维图像的全局高层特征和全局低层特征。
(三)高层采样模块303：
高层采样模块303，用于分别对全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征。
在一些实施例中，高层采样模块303可以包括移动模块和采样模块，如下：
(1)移动模块：
移动模块3031，用于分别在全局高层特征和全局低层特征上移动采集区域，得到移动后采集区域，其中，移动后采集区域与移动前采集区域部分相交。
(2)采样模块：
采样模块，用于分别对全局高层特征和全局低层特征上的移动后采集区域进行采样操作，得到局部高层特征和局部低层特征。
(四)特征融合模块304：
特征融合模块304，用于将局部高层特征和局部低层特征进行特征融合，得到融合后特征。
在一些实施例中，特征融合模块304可以包括尺寸模块和融合模块，如下：
(1)尺寸模块：
尺寸模块，用于对局部低层特征进行尺寸调整，得到多个不同尺寸的局部低层特征。
(2)融合模块：
融合模块，用于通过特征融合网络将多个不同尺寸的局部低层特征和局部高层特征进行特征融合，得到融合后特征。
在一些实施例中，特征融合网络包括多个不同尺寸大小的卷积层，所述融合模块，可以具体用于：
将局部高层特征输入最前端卷积层进行特征缩放，得到最前端卷积层输出的特征图。
在每一卷积层将局部低层特征与前一卷积层输出的特征图进行特征融合，得到每一卷积层输出的特征图。
获取最后端卷积层输出的特征图，得到融合后特征
(五)区域定位模块305：
区域定位模块305，用于基于融合后特征进行区域定位，得到对象区域位于多张二维图像中的位置信息。
在一些实施例中，区域定位模块305可以包括预测模块和定位模块，如下：
(1)预测模块：
预测模块，用于基于融合后特征预测二维图像中每个像素点的类型。
(2)定位模块：
定位模块，用于基于像素点的类型对对象区域进行区域定位，得到对象区域位于多张二维图像中的位置信息。
在一些实施例中，还可以包括样本采集模块306和模型训练模块307，如下：
(一)样本采集模块306：
样本采集模块306，用于采集目标部位的多张二维图像样本，其中二维图像样本标注了对象区域位于多张二维图像中的位置信息。
(二)模型训练模块307：
模型训练模块307，用于通过多张二维图像样本训练区域定位模型，得到训练后区域定位模型。
在一些实施例中，模型训练模块307包括样本预测模块和收敛模块，如下：
(1)样本预测模块：
样本预测模块，用于通过区域定位模型对多张二维图像样本进行区域定位，得到对象区域位于多张二维图像中的预测位置信息。
(2)收敛模块：
收敛模块，用于采用相邻帧损失函数，对多张二维图像样本标注的位置信息和预测位置信息进行收敛，得到训练后区域定位模型。
在一些实施例中，相邻帧损失函数包括全局相似度损失函数以及局部相似度损失函数，收敛模块可以具体用于：
采用局部相似度损失函数，基于二维图像样本的标注和预测位置信息计算局部像素集合的相似度。
采用全局相似度损失函数，基于二维图像样本的标注和预测位置信息计算全局像素集合的相似度。
对全局的像素集合相似度和局部的像素集合相似度进行收敛，得到训练后区域定位模型。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例的图像区域定位装置由图像获取模块来获取目标部位的多张二维图像；然后由特征提取模块来对二维图像进行特征提取，得到二维图像的全局高层特征和全局低层特征；然后由高层采样模块来分别对全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征；再由特征融合模块来将局部高层特征和局部低层特征进行特征融合，得到融合后特征；最后由区域定位模块来基于融合后特征进行区域定位，得到对象区域位于多张二维图像中的位置信息；该方案在进行对象区域定位时，关注了高层特征信息和低层特征信息，所以很好的保留了三维图像的整体特征信息和细节特征信息，并且该方案还对高低层全局特征进行采样，所以定位结果同时考虑了在三维图像垂直方向上的连续性，因此，可以更好地处理从整体到细节、从三维到二维之间的信息，由此，提升了对象区域在三维图像中的定位准确度，从而提升了定位效率。
此外，本发明实施例还提供一种医学影像处理设备，该医学影像处理设备可以具有图像采集、图像成像、数据存储、病灶定位等一体化的功能。
该医学影像处理设备可以包括医学影像采集单元、处理器和存储器，其中：
医学影像采集单元用于采集生命体目标部位的多张二维图像；
存储器用于存储图像数据以及多条指令；
处理器读用于取存储器存储的多条指令，以执行以下步骤：
获取目标部位的多张二维图像；
对二维图像进行特征提取，得到二维图像的全局高层特征和全局低层特征；分别对全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征；将局部高层特征和局部低层特征进行特征融合，得到融合后特征；基于融合后特征进行区域定位，得到对象区域位于多张二维图像中的位置信息。
在一些实施例中，当执行步骤“对二维图像进行特征提取，得到二维图像的全局高层特征和全局低层特征”时，处理器具体执行以下步骤：
通过特征提取网络对二维图像进行特征提取，得到二维图像的高层特征和低层特征；分别对高层特征和低层特征进行特征整合，得二维图像的全局高层特征和全局低层特征。
在一些实施例中，当执行步骤“通过特征提取网络对二维图像进行特征提取，得到二维图像的高层特征和低层特征”时，处理器具体执行以下步骤：
通过深度可分离卷积网络对二维图像进行特征提取，得到二维图像的低层特征和待处理高层特征；通过稠密金字塔网络对待处理高层特征进行不同感受野的稠密化处理，得到高层特征。
在一些实施例中，当执行步骤“分别对全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征”时，处理器具体执行以下步骤：
分别在全局高层特征和全局低层特征上移动采集区域，得到移动后采集区域，其中，移动后采集区域与移动前采集区域部分相交；分别对全局高层特征和全局低层特征上的移动后采集区域进行采样操作，得到局部高层特征和局部低层特征。
如图15所示，其示出了本发明实施例所涉及的医学影像处理设备的结构示意图，具体来讲：
该医学影像处理设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403、输入单元404以及医学影像采集单元405等部件。本领域技术人员可以理解，图15中示出的医学影像处理设备结构并不构成对医学影像处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该医学影像处理设备的控制中心，利用各种接口和线路连接整个医学影像处理设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行医学影像处理设备的各种功能和处理数据，从而对医学影像处理设备进行整体监控。在一些实施例中，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402 可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据医学影像处理设备的使用所创建的数据等。此外，存储器402 可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
医学影像处理设备还包括给各个部件供电的电源403，优选的，电源403 可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该医学影像处理设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
医学影像采集单元405可以包括磁体、梯度子单元和射频子单元等。其主要技术性能参数是磁感应强度、磁场均匀度、磁场稳定性、边缘场的空间范围、梯度场的磁感应强度和线性度、射频线圈的灵敏度等，负责磁共振信号的产生、探测与编码，即磁共振三维图像的采集。
医学影像采集单元405可以在静磁场上叠加一个梯度磁场、并且可以任意改变这个梯度磁场的梯度方向，从而成功进行薄层选择激发和共振频率空间编码。医学影像采集单元405可以包括主磁体、射频子单元、梯度子单元等等物理部件。
其中，主磁体用以产生场强，即主磁场。其类型可分为永磁、常导和超导等等。比如，当人的身体或身体的一部分被放入主磁场中时，与人体组织水内的氢核相联系的核自旋极化。
其中，梯度子单元可以产生梯度磁场来产生核磁信回波信号，可以进行核磁信号的空间定位编码以及流动液体的流速相位编码、在DWI成像时施加扩散敏感梯度场等等。在一些实施例中，梯度子单元可以包括梯度线圈、梯度放大器、数模转换器、梯度控制器、梯度冷却器等等。
其中，射频子单元负责发射、放大、接收，来激发生命体或非生命体内氢原子核产生磁共振信号并接收。射频子单元可以包括射频发生器、射频放大器以及射频线圈。在一些实施例中，为了使得发送的射频信号均匀，医学影像处理设备的射频线圈可以选用正交线圈。在另一些实施例中，为了使得信噪比，可以选用表面线圈。在其它一些实施例中，还可以使用相控阵表面线圈以及一体化相控阵表面线圈等等。
获取生命体或非生命体磁共振三维图像的实际过程可以分为两个步骤。首先是薄层选择激发和空间编码，然后是确定编码容量内所含的有用信息。
在一些实施例中，采用最简单的成像即单个薄层成像，其步骤包括：使待研究薄层中的核选择激发，将由该薄层得到的信息进行二维编码；通过梯度斜率和射频脉冲的宽度，可以测定薄层厚度。
在一些实施例中，单个薄层中的空间编码，可以用二维高分辨频谱学来进行。某薄层中的空间编码方法为先施加相位编码梯度、然后再施加频率编码或读出梯度，施加对象为该薄层中的一系列极化自旋。
具体地，断开薄层选择梯度，并在固定时间周期t，内施加第二个正交梯度Gy。在不同频率时的核过程，即同时决定于它们相对于第二个梯度的位置。相位编码的最终结果即为沿Y方向的距离信息。在相位编码后把该梯度断开，然后施加与前二个梯度都正交的第三个梯度Gx，并且只在选定的适当时间t_x二时施加并进行编码。适当不断改变频率数值，就能够最终提供出沿X轴的空间编码。只要逐渐增加相位编码梯度的数值，这个过程就可以反复进行。
该医学影像处理设备具体可以包括一台或多台仪器。
比如，在一些实施例中，该医学影像处理设备具体可以由一台仪器构成，例如核磁共振仪、核磁共振医学影像处理设备等等。比如，处理器401、存储器402、电源403、输入单元404以及医学影像采集单元405嵌入在该医用磁共振成像设备中。
比如，在一些实施例中，该医学影像处理设备具体还可以由多台仪器构成，例如核磁共振系统。比如，在该医学影像处理设备中，医学影像采集单元405 嵌入核磁共振图像采集系统的核磁共振仪床中，处理器401、存储器402、电源 403以及输入单元404嵌入控制台中。
尽管未示出，医学影像处理设备还可以包括显示单元以及冷却系统等，在此不再赘述。
由上可知，本实施例的区域定位装置由处理器401获取目标部位的多张二维图像；对二维图像进行特征提取，得到二维图像的全局高层特征和全局低层特征；分别对全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征；将局部高层特征和局部低层特征进行特征融合，得到融合后特征；基于融合后特征进行区域定位，得到对象区域位于多张二维图像中的位置信息。该方案在进行对象区域定位时，关注了高层特征信息和低层特征信息，所以很好的保留了三维图像的整体特征信息和细节特征信息，并且该方案还对高低层全局特征进行采样，所以定位结果同时考虑了在三维图像垂直方向上的连续性，因此，可以更好地处理从整体到细节、从三维到二维之间的信息，由此，提升了对象区域在三维图像中的定位准确度，从而提升了定位效率。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种区域定位方法中的步骤。例如，该指令可以执行如下步骤：
获取目标部位的多张二维图像；
对二维图像进行特征提取，得到二维图像的全局高层特征和全局低层特征；
分别对全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征；
将局部高层特征和局部低层特征进行特征融合，得到融合后特征；
基于融合后特征进行区域定位，得到对象区域位于多张二维图像中的位置信息。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种区域定位方法中的步骤，因此，可以实现本申请实施例所提供的任一种区域定位方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种区域定位方法、装置、存储介质和医学影像处理设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种图像区域定位方法，其特征在于，包括：
获取目标部位的多张二维图像；
通过深度可分离卷积网络对所述二维图像进行特征提取，得到所述二维图像的低层特征和待处理高层特征；
通过稠密金字塔网络对所述待处理高层特征进行不同感受野的稠密化处理，得到高层特征；
分别对所述高层特征和低层特征进行特征整合，得所述二维图像的全局高层特征和全局低层特征；
分别对所述全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征；
将所述局部高层特征和局部低层特征进行特征融合，得到融合后特征；
基于所述融合后特征进行区域定位，得到对象区域位于所述多张二维图像中的位置信息。
2.如权利要求1所述的图像区域定位方法，其特征在于，分别对所述全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征，包括：
分别在所述全局高层特征和全局低层特征上移动采集区域，得到移动后采集区域，其中，所述移动后采集区域与移动前采集区域部分相交；
分别对所述全局高层特征和全局低层特征上的移动后采集区域进行采样操作，得到局部高层特征和局部低层特征。
3.根据权利要求1所述的图像区域定位方法，其特征在于，所述基于所述融合后特征进行区域定位，得到对象区域位于所述多张二维图像中的位置信息，还包括：
采集目标部位的多张二维图像样本，其中所述二维图像样本标注了所述对象区域位于所述多张二维图像中的位置信息；
通过所述多张二维图像样本训练区域定位模型，得到训练后区域定位模型。
4.根据权利要求3所述的图像区域定位方法，其特征在于，通过所述多张二维图像样本训练区域定位模型，得到训练后区域定位模型，包括：
通过区域定位模型对所述多张二维图像样本进行区域定位，得到对象区域位于所述多张二维图像中的预测位置信息；
采用相邻帧损失函数，对所述多张二维图像样本标注的位置信息和所述预测位置信息进行收敛，得到训练后区域定位模型。
5.根据权利要求4所述的图像区域定位方法，其特征在于，所述相邻帧损失函数包括全局相似度损失函数以及局部相似度损失函数，所述采用相邻帧损失函数，对所述多张二维图像样本标注的位置信息和所述预测位置信息进行收敛，得到训练后区域定位模型，包括：
采用局部相似度损失函数，基于所述二维图像样本的标注和所述预测位置信息计算局部像素集合的相似度；
采用全局相似度损失函数，基于所述二维图像样本的标注和所述预测位置信息计算全局像素集合的相似度；
对所述全局的像素集合相似度和局部的像素集合相似度进行收敛，得到训练后区域定位模型。
6.如权利要求1所述的图像区域定位方法，其特征在于，将所述局部高层特征和局部低层特征进行特征融合，得到融合后特征，包括：
对所述局部低层特征进行尺寸调整，得到多个不同尺寸的局部低层特征；
通过特征融合网络将所述多个不同尺寸的局部低层特征和所述局部高层特征进行特征融合，得到融合后特征。
7.如权利要求6所述的图像区域定位方法，其特征在于，所述特征融合网络包括多个不同尺寸大小的卷积层，所述通过特征融合网络将所述多个不同尺寸的局部低层特征和所述局部高层特征进行特征融合，得到融合后特征，包括：
将所述局部高层特征输入最前端卷积层进行特征缩放，得到最前端卷积层输出的特征图；
在每一卷积层将局部低层特征与前一卷积层输出的特征图进行特征融合，得到每一卷积层输出的特征图；
获取最后端卷积层输出的特征图，得到融合后特征。
8.根据权利要求1～7任一项所述的图像区域定位方法，其特征在于，基于所述融合后特征进行区域定位，得到对象区域位于所述多张二维图像中的位置信息，包括：
基于所述融合后特征预测所述二维图像中每个像素点的类型；
基于所述像素点的类型对对象区域进行区域定位，得到对象区域位于所述多张二维图像中的位置信息。
9.一种图像区域定位装置，其特征在于，包括：
图像获取模块，用于获取目标部位的多张二维图像；
特征提取模块，用于通过深度可分离卷积网络对所述二维图像进行特征提取，得到所述二维图像的低层特征和待处理高层特征；
所述特征提取模块，还用于通过稠密金字塔网络对所述待处理高层特征进行不同感受野的稠密化处理，得到高层特征；
所述特征提取模块，还用于分别对所述高层特征和低层特征进行特征整合，得所述二维图像的全局高层特征和全局低层特征；
高层采样模块，用于分别对所述全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征；
特征融合模块，用于将所述局部高层特征和局部低层特征进行特征融合，得到融合后特征；
区域定位模块，用于基于所述融合后特征进行区域定位，得到对象区域位于所述多张二维图像中的位置信息。
10.一种医学影像处理设备，所述医学影像处理设备包括医学影像采集单元、处理器和存储器，其中：
所述医学影像采集单元用于采集生命体目标部位的多张二维图像；
所述存储器用于存储图像数据以及多条指令；
所述处理器用于读取所述存储器存储的多条指令，以执行以下步骤：
获取目标部位的多张二维图像；
通过深度可分离卷积网络对所述二维图像进行特征提取，得到所述二维图像的低层特征和待处理高层特征；
通过稠密金字塔网络对所述待处理高层特征进行不同感受野的稠密化处理，得到高层特征；
分别对所述高层特征和低层特征进行特征整合，得所述二维图像的全局高层特征和全局低层特征；
分别对所述全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征；
将所述局部高层特征和局部低层特征进行特征融合，得到融合后特征；
基于所述融合后特征进行区域定位，得到对象区域位于所述多张二维图像中的位置信息。
11.如权利要求10所述医学影像处理设备，其特征在于，当执行步骤分别对所述全局高层特征和全局低层特征进行特征采样，得到局部高层特征和局部低层特征时，所述处理器具体执行以下步骤：
分别在所述全局高层特征和全局低层特征上移动采集区域，得到移动后采集区域，其中，所述移动后采集区域与移动前采集区域部分相交；
分别对所述全局高层特征和全局低层特征上的移动后采集区域进行采样操作，得到局部高层特征和局部低层特征。
12.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1～8任一项所述的图像区域定位方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910082060.5A CN109872364B (zh) | 2019-01-28 | 2019-01-28 | 图像区域定位方法、装置、存储介质和医学影像处理设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910082060.5A CN109872364B (zh) | 2019-01-28 | 2019-01-28 | 图像区域定位方法、装置、存储介质和医学影像处理设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109872364A CN109872364A (zh) | 2019-06-11 |
| CN109872364B true CN109872364B (zh) | 2022-02-01 |
Family
ID=66918155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910082060.5A Active CN109872364B (zh) | 2019-01-28 | 2019-01-28 | 图像区域定位方法、装置、存储介质和医学影像处理设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109872364B (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443254B (zh) * | 2019-08-02 | 2023-06-20 | 上海联影医疗科技股份有限公司 | 图像中金属区域的检测方法、装置、设备和存储介质 |
| CN110223352B (zh) * | 2019-06-14 | 2021-07-02 | 浙江明峰智能医疗科技有限公司 | 一种基于深度学习的医学图像扫描自动定位方法 |
| CN110363717B (zh) * | 2019-06-28 | 2021-07-23 | 北京字节跳动网络技术有限公司 | 一种处理面部图像的方法、装置、介质和电子设备 |
| CN110443813B (zh) * | 2019-07-29 | 2024-02-27 | 腾讯医疗健康(深圳)有限公司 | 血管、眼底图像的分割方法、装置、设备及可读存储介质 |
| CN110807788B (zh) * | 2019-10-21 | 2023-07-21 | 腾讯科技（深圳）有限公司 | 医学图像处理方法、装置、电子设备及计算机存储介质 |
| CN110752028A (zh) * | 2019-10-21 | 2020-02-04 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
| CN111767934B (zh) * | 2019-10-31 | 2023-11-03 | 杭州海康威视数字技术股份有限公司 | 一种图像识别方法、装置及电子设备 |
| CN110956122B (zh) * | 2019-11-27 | 2022-08-02 | 深圳市商汤科技有限公司 | 图像处理方法及装置、处理器、电子设备、存储介质 |
| CN111209825B (zh) * | 2019-12-31 | 2022-07-01 | 武汉中海庭数据技术有限公司 | 一种用于动态目标3d检测的方法和装置 |
| CN113096132B (zh) * | 2020-01-08 | 2022-02-08 | 东华医为科技有限公司 | 图像处理的方法、装置、存储介质和电子设备 |
| CN110874591B (zh) * | 2020-01-20 | 2020-07-28 | 广东博智林机器人有限公司 | 一种图像定位方法、装置、设备及存储介质 |
| CN111443096B (zh) * | 2020-04-03 | 2023-05-30 | 联觉(深圳)科技有限公司 | 印刷电路板的缺陷检测方法、系统、电子装置及存储介质 |
| CN112330674B (zh) * | 2020-05-07 | 2023-06-30 | 南京信息工程大学 | 一种基于脑部mri三维图像置信度的自适应变尺度卷积核方法 |
| CN111652288B (zh) * | 2020-05-11 | 2023-08-01 | 北京航天自动控制研究所 | 一种基于稠密特征金字塔的改进型ssd小目标检测方法 |
| CN112001300B (zh) * | 2020-08-21 | 2021-07-02 | 浙江智建科技股份有限公司 | 基于按位置交叉熵的楼宇监控方法、装置和电子设备 |
| CN112215840A (zh) * | 2020-10-30 | 2021-01-12 | 上海商汤临港智能科技有限公司 | 图像检测、行驶控制方法、装置、电子设备及存储介质 |
| CN112800963A (zh) * | 2021-01-28 | 2021-05-14 | 新华三大数据技术有限公司 | 基于深度神经网络的版面分析方法、模型及电子设备 |
| CN113140005B (zh) * | 2021-04-29 | 2024-04-16 | 上海商汤科技开发有限公司 | 目标对象定位方法、装置、设备及存储介质 |
| CN113408448A (zh) * | 2021-06-25 | 2021-09-17 | 之江实验室 | 一种三维时空对象局部特征提取和对象识别的方法与装置 |
| CN113570535A (zh) * | 2021-07-30 | 2021-10-29 | 深圳市慧鲤科技有限公司 | 视觉定位方法及相关装置、设备 |
| CN113780297B (zh) * | 2021-09-15 | 2024-03-12 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备以及存储介质 |
| CN114782797B (zh) * | 2022-06-21 | 2022-09-20 | 深圳市万物云科技有限公司 | 房屋场景分类方法、装置、设备及可读存储介质 |
| CN115409856B (zh) * | 2022-09-27 | 2023-06-27 | 北京医准智能科技有限公司 | 一种肺部医学图像处理方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521595A (zh) * | 2011-12-07 | 2012-06-27 | 中南大学 | 一种基于眼动数据和底层特征的图像感兴趣区域提取方法 |
| US8971632B2 (en) * | 2010-08-19 | 2015-03-03 | Sharp Laboratories Of America, Inc. | System for feature detection for low contrast images |
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN108830855A (zh) * | 2018-04-02 | 2018-11-16 | 华南理工大学 | 一种基于多尺度低层特征融合的全卷积网络语义分割方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105095833B (zh) * | 2014-05-08 | 2019-03-15 | 中国科学院声学研究所 | 用于人脸识别的网络构建方法、识别方法及系统 |
| US10102642B2 (en) * | 2015-11-25 | 2018-10-16 | Omni Ai, Inc. | Image driver that samples high-resolution image data |
| US10699151B2 (en) * | 2016-06-03 | 2020-06-30 | Miovision Technologies Incorporated | System and method for performing saliency detection using deep active contours |
| CN108268875B (zh) * | 2016-12-30 | 2020-12-08 | 广东精点数据科技股份有限公司 | 一种基于数据平滑的图像语义自动标注方法及装置 |
| US10402448B2 (en) * | 2017-06-28 | 2019-09-03 | Google Llc | Image retrieval with deep local feature descriptors and attention-based keypoint descriptors |
| CN107590449A (zh) * | 2017-08-31 | 2018-01-16 | 电子科技大学 | 一种基于加权特征谱融合的手势检测方法 |
| CN108288075B (zh) * | 2018-02-02 | 2019-06-14 | 沈阳工业大学 | 一种改进ssd的轻量化小目标检测方法 |
| CN109063746A (zh) * | 2018-07-14 | 2018-12-21 | 深圳市唯特视科技有限公司 | 一种基于深度无监督学习的视觉相似性学习方法 |
| CN109190752B (zh) * | 2018-07-27 | 2021-07-23 | 国家新闻出版广电总局广播科学研究院 | 基于深度学习的全局特征和局部特征的图像语义分割方法 |
-
2019
- 2019-01-28 CN CN201910082060.5A patent/CN109872364B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8971632B2 (en) * | 2010-08-19 | 2015-03-03 | Sharp Laboratories Of America, Inc. | System for feature detection for low contrast images |
| CN102521595A (zh) * | 2011-12-07 | 2012-06-27 | 中南大学 | 一种基于眼动数据和底层特征的图像感兴趣区域提取方法 |
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN108830855A (zh) * | 2018-04-02 | 2018-11-16 | 华南理工大学 | 一种基于多尺度低层特征融合的全卷积网络语义分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| "PydMobileNet: Improved Version of MobileNets with Pyramid Depthwise Separable Convolution";Van-Thanh Hoang 等;《Computer Vision and Pattern Recognition》;20181117;1-9 * |
| "Pyramid Attention Network for Semantic Segmentation";Hanchao Li等;《arXive》;20181125 * |
| 肖哲." 医学图像特征提取方法及应用研究".《中国博士学位论文全文数据库 信息科技辑》.2018,I138-95. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109872364A (zh) | 2019-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109872364B (zh) | 图像区域定位方法、装置、存储介质和医学影像处理设备 | |
| CN110458813B (zh) | 图像区域定位方法、装置和医学图像处理设备 | |
| CN109872306B (zh) | 医学图像分割方法、装置和存储介质 | |
| EP3961484A1 (en) | Medical image segmentation method and device, electronic device and storage medium | |
| Liu et al. | Perception consistency ultrasound image super-resolution via self-supervised CycleGAN | |
| CN109978037B (zh) | 图像处理方法、模型训练方法、装置、和存储介质 | |
| CN110838125B (zh) | 医学图像的目标检测方法、装置、设备、存储介质 | |
| CN107688783B (zh) | 3d图像检测方法、装置、电子设备及计算机可读介质 | |
| CN109961446A (zh) | Ct/mr三维图像分割处理方法、装置、设备及介质 | |
| Xiao et al. | Segmentation of multispectral high-resolution satellite imagery using log Gabor filters | |
| CN110648331A (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
| CN114022359A (zh) | 图像超分辨率模型训练方法、装置、存储介质及设备 | |
| CN115170401A (zh) | 图像补全方法、装置、设备及存储介质 | |
| CN113313728B (zh) | 一种颅内动脉分割方法及系统 | |
| CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
| CN116977895A (zh) | 用于通用相机镜头的污渍检测方法、装置及计算机设备 | |
| EP4318497A1 (en) | Training method for training artificial neural network for determining breast cancer lesion area, and computing system performing same | |
| Samudrala et al. | Semantic Segmentation in Medical Image Based on Hybrid Dlinknet and Unet | |
| CN113222887A (zh) | 基于深度学习的纳米铁标记神经干细胞示踪的方法 | |
| CN113409324A (zh) | 一种融合微分几何信息的脑分割方法 | |
| Ramesh et al. | Hybrid U-Net and ADAM Algorithm for 3DCT Liver Segmentation | |
| CN112215814B (zh) | 基于3dhog辅助卷积神经网络的前列腺图像分割方法 | |
| Prasad et al. | Digital Image Enhancement using Conventional Neural Network | |
| CN110415239B (zh) | 图像处理方法、装置、设备、医疗电子设备以及介质 | |
| CN117455935B (zh) | 基于腹部ct医学图像融合及器官分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |