CN109360633B - 医疗影像处理方法及装置、处理设备及存储介质 - Google Patents
医疗影像处理方法及装置、处理设备及存储介质 Download PDFInfo
- Publication number
- CN109360633B CN109360633B CN201811028337.8A CN201811028337A CN109360633B CN 109360633 B CN109360633 B CN 109360633B CN 201811028337 A CN201811028337 A CN 201811028337A CN 109360633 B CN109360633 B CN 109360633B
- Authority
- CN
- China
- Prior art keywords
- feature map
- network
- target
- information
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Abstract
本发明实施例公开了一种医疗影像处理方法及装置、处理设备及存储介质。所述方法包括：获取利用S1个子网络处理后的第一特征图，其中，所述第一特征图至少包括：医疗影像中目标的第一位置信息；获取利用S2个子网络处理后的第二特征图，其中，所述第二特征图包括：所述医疗影像的语义信息，S2大于S1；S2和S1均为正整数；结合所述第一特征图及所述第二特征图，得到第三特征图；基于所述第三特征图，获得所述目标的信息。
Description
技术领域
本发明涉及信息技术领域，尤其涉及一种医疗影像处理方法及装置、处理设备及存储介质。
背景技术
医疗影像可为对就诊者的身体部分进行图像，通过采集的图像，医疗人员可以观察到就诊者身体表层以外的特征，或者，放大观察到肉眼观察不到的微观特征，从而进行诊断。
为了进一步方便医疗人员诊断，会使用电子设备对采集的医疗影像进行加工处理，从而获得更加便于医疗人员需要观察的目标的信息。但是相关技术中获取的目标信息存在不够精准的问题。
发明内容
有鉴于此，本发明实施例期望提供一种医疗影像处理方法及装置、处理设备及存储介质。
本发明的技术方案是这样实现的：
一种医疗影像处理方法，包括：
获取利用S1个子网络处理后的第一特征图，其中，所述第一特征图至少包括：医疗影像中目标的第一位置信息；
获取利用S2个子网络处理后的第二特征图，其中，所述第二特征图包括：所述医疗影像的语义信息，S2大于S1；S2和S1均为正整数；
结合所述第一特征图及所述第二特征图，得到第三特征图；
基于所述第三特征图，获得所述目标的信息。
基于上述方案，所述结合所述第一特征图及所述第二特征图，得到第三特征图，包括：
将所述第一特征图和所述第二特征图的对应像素的像素值相加，得到所述第三特征图。
基于上述方案，所述方法应用于神经网络中；所述神经网络包括：第一网络和第二网络；所述第一网络包括输入阶段和输出阶段；所述输出阶段包括：依次连接的自顶向下的I个第一类子网络；所述第二网络包括：依次连接自底向上的I个第二类子网络；其中，第I个第一类子网络与第1个第二类子网络连接；
所述结合所述第一特征图及所述第二特征图，得到第三特征图包括：
融合特征图Pi+1和特征图Ni，得到特征图Ni+1；其中，i为小于I的正整数；
所述特征图Pi+1为所述第一特征图，是第i+1个所述第一类子网络的输出；
所述特征图Ni为所述第二特征图，是第i个所述第二类子网络的输出；
所述第二类子网络的输出为所述第三特征图。
基于上述方案，所述基于所述第三特征图，获得所述目标的信息，包括：
融合I个所述第二类子网络的输出的所述第三特征图，得到第四特征图；
根据所述第四特征图，得到所述目标的信息。
基于上述方案，所述融合I个所述第二类子网络的输出的所述第三特征图，得到第四特征图，包括：
利用自适应池化层对多个所述第三特征图进行融合，得到所述第四特征图。
基于上述方案，所述利用自适应池化层对多个所述第三特征图进行融合，得到所述第四特征图，包括：
对不同的所述第三特征图分别进行兴趣区域ROI的对齐操作；
在执行所述对齐操作之后，选择像素值之和最大的所述三特征图作为所述第四特征图输出。
基于上述方案，所述根据所述第四特征图，得到所述目标的信息，包括：
根据所述第四特征图，获得所述目标的标识信息；
根据所述第四特征图，获得所述目标的边界信息；
根据所述第四特征图，获得目标的分割信息。
基于上述方案，所述根据所述第四特征图，获得目标的分割信息，包括：
利用第一处理路径处理所述第四特征图，得到所述目标的第一分割图像；
利用第二处理路径处理所述第四特征图，得到所述目标的第二分割图像，其中，所述第二处理路径包括：获取全局信息的第一全连接子网络；
融合所述第一分割图像和第二分割图像，获得目标的分割信息。
基于上述方案，所述根据所述第四特征图，得到所述目标的信息，包括：
利用第二全连接子网络获得各所述第四特征图对应的第五特征图；
融合多个所述第五特征图，得到第六特征图；
利用第三全连接子网络获得各所述第六特征图输出第七特征图。
基于上述方案，所述第一网络的输入阶段包括：自底向上的I个第三类子网络；
所述获取利用S1个子网络处理后的第一特征图，包括：
融合特征图Si+1和特征图Pi，得到特征图Pi+1；其中，i为小于I的正整数；
所述特征图Si+1为是第i+1个所述第三类子网络的输出。
基于上述方案，所述方法还包括：
对所述第三特征图进行形态学操作处理；
所述基于所述第三特征图，获得所述目标的信息，包括：
基于进行了所述形态学操作处理后的所述第三特征图，得到所述目标的信息。
基于上述方案，所述对所述第三特征图进行形态学操作处理，得到第四特征图，包括：
对所述第三特征图中目标的边界进行膨胀处理；
在所述膨胀处理之后，对边界扩张处理后的所述目标的外边界进行腐蚀处理，得到所述第四特征图。
基于上述方案，所述语义信息包括以下至少之一：
目标的标识信息；
背景的标识信息；
目标的第二位置信息；
背景的第三位置信息。
基于上述方案，所述S1个子网络包含在所述S2个子网络中。
基于上述方案，所述目标为细胞核。
一种医疗影像处理装置，包括：
第一获取模块，用于获取利用S1个子网络处理后的第一特征图，其中，所述第一特征图至少包括：医疗影像中目标的第一位置信息；
第二获取模块，用于获取利用S2个子网络处理后的第二特征图，其中，所述第二特征图包括：所述医疗影像的语义信息，S2大于S1；S2和S1均为正整数；
结合模块，用于结合所述第一特征图及所述第二特征图，得到第三特征图；
第三获取模块，用于基于所述第三特征图，获得所述目标的信息。
基于上述方案，所述结合模块，具体用于将所述第一特征图和所述第二特征图的对应像素的像素值相加，得到所述第三特征图。
基于上述方案，所述装置对应于神经网络中；所述神经网络包括：第一网络和第二网络；所述第一网络包括输入阶段和输出阶段；所述输出阶段包括：依次连接的自顶向下的I个第一类子网络；所述第二网络包括：依次连接自底向上的I个第二类子网络；其中，第I个第一类子网络与第1个第二类子网络连接；
所述结合模块，用于融合特征图Pi+1和特征图Ni，得到特征图Ni+1；其中，i为小于I的正整数；所述特征图Pi+1为所述第一特征图，是第i+1个所述第一类子网络的输出；所述特征图Ni为所述第二特征图，是第i个所述第二类子网络的输出；所述第二类子网络的输出为所述第三特征图。
基于上述方案，所述第三获得模块，用于融合I个所述第二类子网络的输出的所述第三特征图，得到第四特征图；根据所述第四特征图，得到所述目标的信息。
基于上述方案，所述第三获得模块，具体用于利用自适应池化层对多个所述第三特征图进行融合，得到所述第四特征图。
基于上述方案，所述第三获得模块，具体用于对不同的所述第三特征图分别进行兴趣区域ROI的对齐操作；在执行所述对齐操作之后，选择像素值之和最大的所述三特征图作为所述第四特征图输出。
基于上述方案，所述第三获得模块，用于根据所述第四特征图，获得所述目标的标识信息；根据所述第四特征图，获得所述目标的边界信息；根据所述第四特征图，获得目标的分割信息。
基于上述方案，所述第三获得模块，用于利用第一处理路径处理所述第四特征图，得到所述目标的第一分割图像；利用第二处理路径处理所述第四特征图，得到所述目标的第二分割图像，其中，所述第二处理路径包括：获取全局信息的第一全连接子网络；融合所述第一分割图像和第二分割图像，获得目标的分割信息。
基于上述方案，所述第三获得模块，用于利用第二全连接子网络获得各所述第四特征图对应的第五特征图；融合多个所述第五特征图，得到第六特征图；利用第三全连接子网络获得各所述第六特征图输出第七特征图。
基于上述方案，所述第一网络的输入阶段包括：自底向上的I个第三类子网络；
所述第三获得模块，用于融合特征图Si+1和特征图Pi，得到特征图Pi+1；其中，i为小于I的正整数；所述特征图Si+1为是第i+1个所述第三类子网络的输出。
基于上述方案，所述装置还包括：
形态学操作处理模块，用于对所述第三特征图进行形态学操作处理；
所述第三获得模块，用于基于进行了所述形态学操作处理后的所述第三特征图，得到所述目标的信息。
基于上述方案，所述第三获得模块，用于对所述第三特征图中目标的边界进行膨胀处理；在所述膨胀处理之后，对边界扩张处理后的所述目标的外边界进行腐蚀处理，得到所述第四特征图。
基于上述方案，所述语义信息包括以下至少之一：
目标的标识信息；
背景的标识信息；
目标的第二位置信息；
背景的第三位置信息。
基于上述方案，所述S1个子网络包含在所述S2个子网络中。
基于上述方案，所述目标为细胞核。
一种计算机存储介质，所述计算机存储介质存储有计算机可执行代码；所述计算机可执行代码被执行后，能够实现前述任意一个的医疗影像处理方法。
一种计算机程序产品，所述程序产品包括计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述任意一个的医疗影像处理方法。
一种医疗影像处理设备，包括：
存储器，用于存储信息；
处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述任意一个的医疗影像处理方法。
本发明实施例提供的技术方案，会将S1个子网络处理后的第一特征图和经过S2个子网络处理后的第二特征图结合，得到第三特征图；如此，相当于将低层的第一特征图的信息引入到高层的第二特征图中，可以用于修正或校正第二特征图，如此生成的第三特征的目标的位置信息更加精确，方便更加精确的提取目标的各种信息。
附图说明
图1为本发明实施例提供的一种医疗影像处理方法的流程示意图；
图2为本发明实施例提供的一种神经网络的结构示意图；
图3为本发明实施例提供的另一种医疗影像处理方法的流程示意图；
图4为本发明实施例提供的一种第一分割图像、第二分割图像及分割信息对应的子网络的结构示意图；
图5为本发明实施例提供的一种分类信息及边界信息对应的子网络的结构示意图；
图6为本发明实施例提供的一种医疗影像处理装置的结构示意图；
图7为本发明实施例提供的一种医疗影像处理设备的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。
如图1所示，本实施例提供一种医疗影像处理方法，包括：
步骤S110：获取利用S1个子网络处理后的第一特征图，其中，所述第一特征图至少包括：医疗影像中目标的第一位置信息；
步骤S120：获取利用S2个子网络处理后的第二特征图，其中，所述第二特征图包括：所述医疗影像的语义信息，S2大于S1；S2和S1均为正整数；
步骤S130：结合所述第一特征图及所述第二特征图，得到第三特征图；
步骤S140：基于所述第三特征图，获得所述目标的信息。
本实施例提供的医疗影像处理方法可应用于各种图像处理设备或图像处理设备组中。所述图像处理设备组可包括：多台图像处理设备，多台图像处理设备可以采用各种连接方式连接。多台医疗影像处理设备可以并行运行，实现所述医疗影像包含的不同区域的分布式分割，以加快图像不同区域的分割速率。
所述医疗影像可为各种医疗诊断过程中拍摄的图像信息，例如，核磁共振(Magnetic Resonance Imaging，MRI)图像、再例如，电子计算机断层扫描(ComputedTomography，CT)图像；以上仅是医疗影像的举例，具体实现时不局限于这些举例。总之，所述医疗影像可为利用理疗成像原理采集的各种影像，例如，电子计算机断层扫描(ComputedTomography，CT)或核磁共振图像等。在另一些实施例中所述医疗影像还可以是医疗显微镜下拍摄的图像等。若所述目标为细胞核，则所述医疗影像可为：苏木精-伊红染色法(hematoxylin and eosin staining，H&E)的组织染色影像。所述组织染色影像可除了上述以细胞核为目标的染色图像，还可以是各种需要观察的目标的染色图像，总之，所述可通过各种染色剂突出目标与背景之间区别的医疗影像。通过染色剂的染色，可以使得目标与背景之间的色彩参数的差异化增大，例如，使得色彩的深浅度增大、对比度增大等；如此，医疗影像可以清晰的区分出目标和背景。
在一些实施例中，所述目标为所述图像中的成像目标。但是在医疗成像时，可能无法进对目标进行成像，可能会采集到目标之外的物体的成像，所述目标的之外的成像或空白成像区域在本实施例中都可以视为背景。
所述目标可为细胞内的细胞核；所述背景可包括：细胞核以外的细胞质和/或细胞膜；所述细胞质又可以分为细胞质基质及细胞器。所述细胞器可包括：内质网、线粒体、高尔基体、核糖体及溶酶体。
在另一些实施例中，所述目标可为线粒体。
在本实施例中，所述目标可为核状结构或柱状结构。核状结构可为：在三维直角坐标系中的三个轴上尺寸差异在预设范围内的结构，例如，在三个轴上的尺寸比值不大于2或1.5，例如，所述核状结构可包括细胞核。柱状结构可为：在上那位直角坐标系中的某一个轴上的尺寸明显大于其他两个轴上尺寸的结构；例如，其中一个轴上尺寸是另外链各个轴上尺寸的N倍，所述N可为不小于1.5或2的正整数，所述柱状结构可包括线粒体。
在本实施例中，获取利用S1个子网络处理的第一特征图；该第一特征图至少包括：从医疗影像中提取的第一位置信息，该第一位置信息可以用于表示目标在原始的医疗影像中的位置。
在步骤S110中可以直接从S1个子网络的输出端，引出一条连接作为当前子网络的输入，从而获得利用S1个子网络处理后的第一特征图。
每一个所述子网络可包括一个或多个网络层，一个网络层可包括多个网络节点，这些节点之间可以对上一个网络层或其他层输入进行处理，并输出处理结果。例如，所述子网络可包括：卷积子网络、池化子网络、融合子网络等。
所述卷积子网络通过卷积运算等，提取医疗影像的特征。所述池化子网络可以通过池化或自适应池化获得不同尺度的特征图。不同尺度的特征图的感受野不同。池化次数越多或及经过的池化层越多，则特征图中单个像素的感受野越大。即特征图中单个像素的像素值的感受野与池化次数或经过的池化层正相关。
所述融合子网络可以利用不同的网络层进行不同尺度的特征图的融合。
例如，将包含有同样像素个数的特征图进行像素值的布尔运算、比较运算、及级联运算等获得融合之后的特征图。如此，输出的特征图不仅感受野大，且由于不同尺度的特征图的融合，使得特征图保留了更多的细节信息。
所述布尔运算可包括：逻辑与及逻辑或等运算。
所述级联运算可包括：直接将同一个像素的像素值的长度增加，从而同时保留两张特征图的特征。
所述比较运算可包括：通过像素中像素值的比较，选择像素值较大的特征图作为融合后的特征图输出，或者，选择像素值较小的特征图作为融合后的特征图输出。
在另一些实施例中，融合特征图时，还可包括：取两个特征图中的同一像素的像素值的中位值等方式，生成融合后的特征图。
当然以上仅是对特征图的融合进行举例说明，具体实现时不限于上述任意一种。
在本实施例中，获取的利用S2个子网络处理的第二特征图，该第二特征图可包括语义信息。所述语义信息可为：通过目标识别等方式获得的信息。
在一些实施例中，所述语义信息包括以下至少之一：
目标的标识信息；
背景的标识信息；
目标的第二位置信息；
背景的第三位置信息。
目标的标识信息指示对应的像素集合或者从医疗影像中切割出的医疗图片是属于目标的信息，可包括：目标标识。
背景的标识信息指示对应的像素集合或者从医疗影像中切割出的医疗图片是属于背景的信息，可包括：背景标识。
所述目标的标识信息，不仅可以用于区分背景和目标，在一些实施例中，还可以用于区分不同的目标。
例如，以所述目标为组织影像中的细胞核，所述目标的标识信息可包括：不同细胞核的编号；该编号区分于背景，故可以用于区分该一个或多个像素构成的像素集合或者医疗图片是背景还是目标，还可以用于区分该细胞核是整个医疗影像中的第几个细胞核，以区分其他细胞核。
在一些实施例中，医疗影像经过本申请的医疗影像处理之后，会输出标识信息可包括：类型标识；该类型标识至少可以用于区分目标和背景。
在另一些实施例中，所述标识信息还可包括：目标标识，可以用于区分不同的目标。
目标的第二位置信息，可以用于指示目标在医疗影像中所对应的坐标。
背景的第三位置信息，可以用于指示背景在医疗影像中所对应的坐标。
若所述医疗影像是二维图像，则二维图像包含的是像素，则所述坐标为像素坐标，所述像素坐标是二维的，例如，(x，y)；x对应于第一坐标轴上的排序；y对应于第二坐标轴上的排序，第一坐标轴垂直于第二坐标轴。
若所述医疗影像为三维图像，包含的体素；所述坐标为体素坐标，所述体素坐标是三维的，例如(x，y，z)，x对应于第一坐标轴上的排序；y对应于第二坐标轴上的排序；z对应于第三坐标轴上的排序；所述第一坐标轴、第二坐标轴及第三坐标轴的任意两个相互垂直。
利用S1个子网络处理后的第一特征图，相对于利用S2个子网络处理后的第二特征图，处理的次数或不同特征图之间的映射次数是更少的。如此，第二特征图可能相较于第一特征图导致了位置信息的偏移等。
由于第一特征图仅经过了S1个子网络，而第二特征图经过了S2个子网络，靠前的子网络更加接近原始的医疗影像的输入端；靠后的子网络更加接近整个网络的后端，故S1个子网络相对于S2个子网络而言，属于低层；而S2个子网络相对于S1个子网络而言属于高层。故第一特征图属于低层信息；第二特征图属于高层信息。
在一些实施例中，所述S1个子网络包含在所述S2个子网络中。即，S2个子网络包括了S1个子网络，这S1个子网络只是这S2个子网络中的前端网络。
低层信息更加靠近输入端，故信息经过加工处理的次数越多，信息越接近原始状态，以目标的位置信息而言，可能更加精确或者更加全面；若引入高层，可以用于校正高层网络在加工处理过程中产生的偏差或信息遗漏。
在一些实施例中，所述第一特征图和所述第二特征图的差异可以体现在这些方面中的一个或多个：
低层的第一特征图中单个像素或体素的感受野小于高层的第二特征图中单个像素或体素的感受野；
高层的第二特征图包含的语义信息多于低层的第二特征图的语义信息；
低层的第一特征图的第一位置信息比第二特征图中的位置信息，更加接近原始图像中目标的位置信息。在本实施例中为了精确从所述医疗影像中提取到目标的信息，在本实施例中，会直接将低层的第一特征图和高层的第二特征图结合，得到第三特征图。如此，可以将低层的第一位置信息引入到高层的第二特征图中，对第二特征图进行校正或修订，使得第二特征图对目标的定位更加精确；如此生成的第三特征图，能够精确的且全面的提取出所述目标的信息；减少遗漏和偏差。
在本实施例中，所述目标的信息可包括以下至少之一，但是不局限于以下信息：
目标的几何信息；
目标的属性信息；
目标的诊断辅助信息。
所述目标的几何信息又可以分为以下至少之一：
单一目标的尺寸；
目标的形状；
目标的尺寸平均值。
以细胞核为例进行说明，单一目标的尺寸，可包括：单个细胞核的面积、或者、长、宽、高等信息。
目标的形状，例如，是椭圆形、圆形等，可以用于目标的边界来体现。
目标的尺寸平均值，可为不同尺寸的平均值。例如，统计细胞核的面积平均值等，
所述目标的属性信息可包括：
目标的数目；
目标的分布密度；
目标的不同部分的第一比值信息；
目标之间的第二比值信息。
以细胞为例，目标的不同部分的第一比值信息可包括：细胞核与细胞质的核质比等。
目标之间的第二比值信息可包括：最大目标与最小目标之间的尺寸比值，例如，面积比、某一个维度的长度比或宽度比。例如，以细胞核为例，最大的细胞核最小的细胞和的尺寸比。
所述诊断辅助信息可为：基于所述第三特征图结合医疗的判断规则，给出的各种诊断辅助的信息，例如，直接以文本、图像或视频等方式输出可供医疗人员参考的诊断评估信息。例如，以根据细胞核的分布密度等，直接给出肿瘤等级的初步判断。
在一些实施例中，所述步骤S130可包括：
将所述第一特征图和所述第二特征图的对应像素的像素值相加，得到所述第三特征图。
在一些实施例中所述第一特征图和所述第二特征图均可为热力图；
所述热力图所有像素的像素值或体素的体素值可为概率值，该概率值可为指示对应的像素或体素是目标或背景的概率值。
在本实施例中，第一特征图中通过相较于第二特征图的初步目标提取等，可确定出目标的第一位置信息，例如，确定出原始的医疗影像中对应像素或体素为所述目标的概率。
例如，在一些实施例中，医疗影像中的图像的颜色信息、形状信息及尺寸信息等可以用于进行目标检测，例如，基于灰度直方图的目标检测等转换处理，可以计算出对应的像素或体素为目标或背景的概率值，作为所述像素值或体素质。
例如，基于颜色信息，区分出背景和目标得到一个第一概率；再例如，基于形状信息和/或尺寸信息，判断出该像素具体属于目标的第二概率值。针对两个目标在图像中有重合的现象，可以计算出该像素或体素属于目标A或目标B的概率值，然后可以选择概率值高的一个作为该像素或体素的最终归属，并可以以所述目标的标识信息进行标识。
由于是概率值，可以直接进行像素值相加，得到融合后的第三特征图。若此，在高层网络中遗漏的属于目标的像素，会被再次设置为目标的像素，减少高层遗漏。若在高层的第二特征图中，出现了目标的位置偏移；至少通过第一特征图和第三特征图的像素值添加，可以因偏移被误操作为背景的像素或体素再次置为目标的像素或体素。如此，通过后续的处理，同样也可以提升精确性。
在另一些实施例中，若所述第一特征图和所述第二特征并非热力图，而是二值化的掩码图，则可以直接通过逻辑或的运算，实现所述第一特征图和所述第二特征图的融合。
总之，在本发明实施例中，可以根据第一特征图和第二特征图的属性，确定融合第一特征图和第二特征图的融合操作的具体运算。
所述方法应用于神经网络中；所述神经网络包括：第一网络和第二网络；所述第一网络包括输入阶段和输出阶段；所述输出阶段包括：依次连接的自顶向下的I个第一类子网络；所述第二网络包括：依次连接自底向上的I个第二类子网络；其中，第I个第一类子网络与第1个第二类子网络连接。
如图2所示，所述第一网络可为：网络(a)、第二网络可包括：网络(b)。
网络(a)中输出段的第一类子网络为4个，得到的特征图分别用P5、P4、P3、P2表示。第二类子网络也为4个，得到的特征图分别用N5、N4、N3、N2。其中，N2可直接等于P2。而N3是结合N2和P3形成的。
显然第一类子网络的直连输出是输入到下一个第一类子网络，第一类子网络的侧面连接是输入到对应的第二类子网络的。
所述步骤S130可包括：融合特征图Pi+1和特征图Ni，得到特征图Ni+1；其中，i为小于I的正整数；所述特征图Pi+1为所述第一特征图，是第i+1个所述第一类子网络的输出；所述特征图Ni为所述第二特征图，是第i个所述第二类子网络的输出。
在一些实施例中，每一个所述第二类子网络均输出一个所述第三特征图；如此，I个所述第二类子网络则会输出I个所述第三特征图。
在另一些实施例中，I个所述第二类子网络中部分子网络将自身产生的特征图作为所述第三特征图输出到下一个网络。例如，在一些情况下，I个所述第二类子网络的偶数个第二类子网络的输出，作为第三特征图输入到下一个网络；而奇数个所述第二类子网络的输出，仅输入下一个第二类子网络用于下一个子网络产生特征图。
如此，所述第二类子网络可至少包括：两个输入和一个输出；两个输入中的第一输入连接到相邻的上一个子网络，两个输入中的第二输入连接到非相邻的其他子网络。
在本实施例中，所述第二输入可连接到：输出的图像尺寸与当前第二子网络的输出的图像尺寸相同的所述第一类子网络。此处，仅是对S1个子网络和S2个子网络一种组成架构的处理。这种第一输入和第二输入的连接，不局限于次，例如，当前的第二子网络输出的图像尺寸与其连接的第一类子网络输出的图像尺寸可以不同；为了实现图像尺寸的相同，可以在当前子网络中设置图像尺寸转换层，通过上采样或下采样的方式，实像图像尺寸的等同，方便后续根据同样的图像尺寸进行不同特征图的融合。此处的图像尺寸的相同可包括：包含的像素或体素个数相同，或者，在各个坐标轴上包含的像素或个数相同。但是此处，若第二类子网络的第二输入连接的第一类子网络输出图像尺寸与其自身的输出的图像尺寸相同，则可以减少图像尺寸转换层等处理，从而简化网络及简化运算，提升计算速率。
在一些实施例中，所述步骤S140可包括：
融合I个所述第二类子网络的输出的所述第三特征图，得到第四特征图；
根据所述第四特征图，得到所述目标的信息。
第二网络包括I个第二类子网络，则可以输出I个第三特征图。
在一些实施中，这些第三特征图可能是不同尺度的特征图。
在本实施例中，融合I个第三特征图输出预定个数的第四特征图，所述预定个数可为1个或多个。若，融合输出多个第四特征图，可以根据不同的融合方式，输出不同的第四特征图；以满足不同的目标信息的获取需求。
在一些实施例中，所述融合I个所述第二类子网络的输出的所述第三特征图，得到第四特征图，包括：
利用自适应池化层对多个所述第三特征图进行融合，得到所述第四特征图。
例如，对不同的所述第三特征图分别进行兴趣区域ROI的对齐操作；
在执行所述对齐操作之后，选择像素值之和最大的所述三特征图作为所述第四特征图输出。
所述兴趣区域可为目标所在的区域，是本发明实施例中医疗影像的重点处理区域。在本实施例中通过池化子网络首先进行ROA对齐操作，如此，可以使得
图2所示的子网络(c)可为自适应池化的一种。
在一些实施例中，所述步骤S130可包括：
根据所述第四特征图，获得所述目标的标识信息；
根据所述第四特征图，获得所述目标的边界信息；
根据所述第四特征图，获得目标的分割信息。
此处的目标的标识信息可包括前述：分类标识和/或目标标识。
所述边界信息可为所述目标所在的边界框的信息。
所述目标的分割信息，可为覆盖医疗影像中目标的掩码图像或者提取出的目标的像素值或体素值，具体实现不限于此。
图2所示的子网络(d)可为最终的处理网络，以输出表示信息(例如，图2输出的class)、边界信息(例如，图2输出的box)以及分割信息(例如，图2所示的掩码(mask))。
在一些实施例中，如图3所示，所述步骤S140可包括：
步骤S141：利用第一处理路径处理所述第四特征图，得到所述目标的第一分割图像；
步骤S142：利用第二处理路径处理所述第四特征图，得到所述目标的第二分割图像，其中，所述第二处理路径包括：获取全局信息的第一全连接子网络；
步骤S143：融合所述第一分割图像和第二分割图像，获得目标的分割信息。
在本实施例中，所述第一处理路径和所述第二处理路径相比，所述第一处理路径经过了至少一个全连接子网络；此处的全连接子网络可为一个或多个，在本实施例中称之为第一全连接子网络。一个全连接自网络可包括：一个或多个全连接层；全连接层中每一个节点均与上一个子网络或网络层的所有节点连接，如此，一个全连接子网络会获得全局信息。
图4中一个柱状体表示一个网络层；图4中的FC表示一个全连接层；如此，在该子网络中设置有两个处理路径，最终将两个处理路径的分割图像进行融合后，得到最后的分割信息。
例如，上一个子网络或网络层，向一个全连接层输入了一张H*W个像素的特征图；通过全连接层处理之后，会涉及到(H*W)*H*W个参数；在全连接层中通过一个L*W的卷积核与每一个所述H*W的特征图进行卷积，就得到了一个1*1的特征值；如此，如此，若全连接层将(H*W)*H*W个参数转为为(H*W)*1*1的特征向量输出，如此，可以减少计算量。所述L*W的卷积核的卷积运算可以通过取图像中的最大值、最小值或者平均值等方式来实现。
在一些实施例中，所述步骤S140可包括：
利用第二全连接子网络获得各所述第四特征图对应的第五特征图；
融合多个所述第五特征图，得到第六特征图；
利用第三全连接子网络获得各所述第六特征图输出第七特征图。
例如，一个第四特征图通过一次第二全连接得到一个第五特征图，该第五特征图可以是利用了卷积核的卷积改变了图像尺寸的特征图。
如此，第七特征图中就引入了全局信息，有助于精确获得目标的信息。
在本实施例中，所述第七特征图，可以用于得到目标的标识信息及边界信息。如图5所示，显示有两个全连接层(FC1、FC 2)，分别对应了第三全连接子网络或第四全连接子网络；得到同一个第七特征图是用于得到分类信息和边界信息。
前述第四特征图可以直接用于获得分割信息。
如此，在本申请一些实施例提供的神经网络中相当于由三个输出通道，分别输出目标的标识信息、边界信息及分割信息。其中标识信息和边界信息是同基于同一个特征图直接输出的，而分割信息是不同的特征图输出的。
在本发明实施例中，利用不同的全连接子网络获取更多的全局信息，以辅助的精确的得到目标的信息。
所述方法还包括：
对所述第三特征图进行形态学操作处理；
所述基于所述第三特征图，获得所述目标的信息，包括：
基于进行了所述形态学操作处理后的所述第三特征图，得到所述目标的信息。
在检测的过程中，可能会出现因为网络操作导致的孔洞等信息。例如，在一个细胞核所在的像素区域内，某一个像素点被标注为属于背景；而细胞核是一个的可拍摄外表面并没有孔，如此，为了提升精确度，在本实施例中会进行形态学操作处理。所述形态学操作处理为结合目标的形态进行的图像处理操作，例如，所述图像处理操作可包括：像素扩张或收缩等。
在一些实施例中，所述对所述第三特征图进行形态学操作处理，得到第四特征图，包括：
对所述第三特征图中目标的边界进行膨胀处理；
在所述膨胀处理之后，对边界扩张处理后的所述目标的外边界进行腐蚀处理，得到所述第四特征图。
一个目标所在的像素区域或体素区域若有孔洞，则形成包围孔空的内边界，和最外围的外边界。在本实施例中首先进行像素扩张操作，例如，将表示向外扩张Y个像素或体素；扩展的Y个像素的像素值被替换为：表示该像素属于目标的像素值，或者，扩张的Y个体素的体素值被替换为：表示该体素属于目标的体素质；如此，孔洞所在位置的像素值或体素值被替换为指示该像素属于目标。然后对外边界进行腐蚀，即将外边界向像素区域或体素区域的内部收缩Y个像素或体素，如此，目标的尺寸又恢复到原始状态；且消除了目标内部被误判为背景的孔洞，如此，再次提升目标信息的获取精确度。
如图6所示，一种医疗影像处理装置，包括：
第一获取模块110，用于获取利用S1个子网络处理后的第一特征图，其中，所述第一特征图至少包括：医疗影像中目标的第一位置信息；
第二获取模块120，用于获取利用S2个子网络处理后的第二特征图，其中，所述第二特征图包括：所述医疗影像的语义信息，S2大于S1；S2和S1均为正整数；
结合模块130，用于结合所述第一特征图及所述第二特征图，得到第三特征图；
第三获取模块140，用于基于所述第三特征图，获得所述目标的信息。
在一些实施例，所述结合模块130，具体用于将所述第一特征图和所述第二特征图的对应像素的像素值相加，得到所述第三特征图。
在一些实施例，所述装置对应于神经网络中；所述神经网络包括：第一网络和第二网络；所述第一网络包括输入阶段和输出阶段；所述输出阶段包括：依次连接的自顶向下的I个第一类子网络；所述第二网络包括：依次连接自底向上的I个第二类子网络；其中，第I个第一类子网络与第1个第二类子网络连接；
所述结合模块130，用于融合特征图Pi+1和特征图Ni，得到特征图Ni+1；其中，i为小于I的正整数；所述特征图Pi+1为所述第一特征图，是第i+1个所述第一类子网络的输出；所述特征图Ni为所述第二特征图，是第i个所述第二类子网络的输出。
在一些实施例中，每个所述第二类子网络的输出均为一个所述第三特征图。在另一些实施例i中，仅指定所述第二类子网络的输出为所述第三特征图。
在一些实施例，所述第三获得模块，用于融合I个所述第二类子网络的输出的所述第三特征图，得到第四特征图；根据所述第四特征图，得到所述目标的信息。
在一些实施例，所述第三获得模块，具体用于利用自适应池化层对多个所述第三特征图进行融合，得到所述第四特征图。
在一些实施例，所述第三获得模块，具体用于对不同的所述第三特征图分别进行兴趣区域ROI的对齐操作；在执行所述对齐操作之后，选择像素值之和最大的所述三特征图作为所述第四特征图输出。
在一些实施例，所述第三获得模块，用于根据所述第四特征图，获得所述目标的标识信息；根据所述第四特征图，获得所述目标的边界信息；根据所述第四特征图，获得目标的分割信息。
在一些实施例，所述第三获得模块，用于利用第一处理路径处理所述第四特征图，得到所述目标的第一分割图像；利用第二处理路径处理所述第四特征图，得到所述目标的第二分割图像，其中，所述第二处理路径包括：获取全局信息的第一全连接子网络；融合所述第一分割图像和第二分割图像，获得目标的分割信息。
在一些实施例，所述第三获得模块，用于利用第二全连接子网络获得各所述第四特征图对应的第五特征图；融合多个所述第五特征图，得到第六特征图；利用第三全连接子网络获得各所述第六特征图输出第七特征图。
在一些实施例，所述第一网络的输入端包括：自底向上的I个第三类子网络；
所述第三获得模块，用于融合特征图Si+1和特征图Pi，得到特征图Pi+1；其中，i为小于I的正整数；所述特征图Si+1为是第i+1个所述第三类子网络的输出。参考图2可知，第三类子网包括两个输出，一个是用于向上一个第三类子网络输出的直连输出，另一个是侧面连接到对应的第一类子网络的输出。
在本实施例中，第三类子网络的输出的图像尺寸，与其输入的第一类子网络输出的图像尺寸相同。
在一些实施例，所述装置还包括：
形态学操作处理模块，用于对所述第三特征图进行形态学操作处理；
所述第三获得模块，用于基于进行了所述形态学操作处理后的所述第三特征图，得到所述目标的信息。
在一些实施例，所述第三获得模块，用于对所述第三特征图中目标的边界进行膨胀处理；在所述膨胀处理之后，对边界扩张处理后的所述目标的外边界进行腐蚀处理，得到所述第四特征图。
在一些实施例，所述语义信息包括以下至少之一：
目标的标识信息；
背景的标识信息；
目标的第二位置信息；
背景的第三位置信息。
在一些实施例，所述S1个子网络包含在所述S2个子网络中。
在一些实施例，所述目标为细胞核。
以下结合上述任意实施例提供几个具体示例：
针对掩码图像区域卷积网(Mask Regions with Convolutional NeuralNetwork,RCNN)对密集目标存在的漏检现象，在高层的特征图中加入了低层的位置信息，增强模型的检测能力。多加一条用全连接层预测的支路来辅助细胞掩码图像预测。针对数据量不足的问题，利用大量数据增强技术避免过拟合。
利用不同模型的网络结构和不同的测试增强方法做预测，并且融合多个模型使用投票方法以提高分割准确率和泛化性能。
首先，通过大量的数据增强来提高输入图像颜色，尺度，形状等属性的多样性，提高网络的泛化性能。
利用在图像网络(ImageNet)上表现较好网络结构提取特征，包括Resnet50和Resnet101。利用PANet的结构先将提取的特征进行训练，产生细胞核的候选区域，再对候选区域进行分类，检测和分割。
利用不同基础模型的网络结构和不同的测试增强方法做预测，并且融合多个模型使用投票方法以降低误检率，提高分割准确率。
利用随机切割，随机旋转，随机翻转，颜色扰动，伽马校正，高斯噪声等方式进行数据增强，增加输入图像的多样性。用图片自身的均值和方差对病理图片(医疗影像分割等处理之后得到的图像)进行归一化。
利用PANet进行训练和预测。网络包括两个部分，第一个网络预测候选区域(即对应前述ROI)，第二个网络对候选区域进行分类，检测和分割。分别用在ImageNet数据集上预训练过的Resnet50和Resnet101作为第一个网络的特征提取器进行训练。训练时为了避免数据不均衡的问题，对数据中数目较少的类别做了过采样操作。在测试/推理时，融合Resnet50和Resnet101的预测结果作为输出的结果。
首先，将对真实图像和水平翻转图像的预测结合起来:取最大重叠的掩码图像的并集，去除重叠较小的假正掩码图像。
将不同网络得到的掩码图像(前述分割图像的一种)进行并集处理；然后将在不同的掩码图像中中像素区域重叠小于阈值的正掩码图像去除，以提升精确度。正掩码图像是指示为目标的掩码。
然后，根据分割结果的目标得分，去除分割结果之间的重叠部分。此处，可以理解为一个目标对应了一个分割结果(例如，分割信息)。去除掉重叠部分，包括：分割两个目标。去掉了带有较低分数的掩码图像的重叠区域。如果这个重叠区域的删除导致该掩码图像中产生了多个目标，则删除相对概率值小的区域。
最后，用形态学操作去除掩码图像上的孔洞(先膨胀后腐蚀)。
利用本示例提供的方法，可以提高细胞核分割的准确率，同时相比基于全卷积网络的模型，本示例提供的方法是端到端的，对存在重叠区域的细胞不需要任何的后处理。
本示例可应用于临床的辅助诊断系统中。医生将病理图像输入系统，本示例提供的方法可快速检测并分割出细胞核的轮廓。分割结果可以用来统计细胞核的大小，形状，核质比等信息，从而利用这些信息进行癌症分级或者预后评估。
如图7所示，本申请实施例提供了一种图像处理设备，包括：
存储器，用于存储信息；
处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述一个或多个技术方案提供的医疗影像处理方法，例如，如图1和/或图3所示的方法。
该存储器可为各种类型的存储器，可为随机存储器、只读存储器、闪存等。所述存储器可用于信息存储，例如，存储计算机可执行指令等。所述计算机可执行指令可为各种程序指令，例如，目标程序指令和/或源程序指令等。
所述处理器可为各种类型的处理器，例如，中央处理器、微处理器、数字信号处理器、可编程阵列、数字信号处理器、专用集成电路或图像处理器等。
所述处理器可以通过总线与所述存储器连接。所述总线可为集成电路总线等。
在一些实施例中，所述终端设备还可包括：通信接口，该通信接口可包括：网络接口、例如，局域网接口、收发天线等。所述通信接口同样与所述处理器连接，能够用于信息收发。
在一些实施例中，所述终端设备还包括人机交互接口，例如，所述人机交互接口可包括各种输入输出设备，例如，键盘、触摸屏等。
本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行代码；所述计算机可执行代码被执行后，能够实现前述一个或多个技术方案提供的医疗影像处理方法，例如，如图1和/或图3所示的方法。
所述存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述存储介质可为非瞬间存储介质。
本申请实施例提供一种计算机程序产品，所述程序产品包括计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述任意实施提供的医疗影像处理方法，例如，如图1和/或图3所示的方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (28)
1.一种医疗影像处理方法，其特征在于，包括：
获取利用S1个子网络处理后的第一特征图，其中，所述第一特征图至少包括：医疗影像中目标的第一位置信息；
获取利用S2个子网络处理后的第二特征图，其中，所述第二特征图包括：所述医疗影像的语义信息，S2大于S1；S2和S1均为正整数；
所述方法应用于神经网络中；所述神经网络包括：第一网络和第二网络；所述第一网络包括输入阶段和输出阶段；所述输出阶段包括：依次连接的自顶向下的I个第一类子网络；所述第二网络包括：依次连接自底向上的I个第二类子网络；其中，第I个第一类子网络与第1个第二类子网络连接；
融合特征图Pi+1和特征图Ni，得到特征图Ni+1；其中，i为小于I的正整数；
所述特征图Pi+1为所述第一特征图，是第i+1个所述第一类子网络的输出；
所述特征图Ni为所述第二特征图，是第i个所述第二类子网络的输出；
所述第二类子网络的输出为第三特征图；
融合I个所述第二类子网络的输出的所述第三特征图，得到第四特征图；
根据所述第四特征图，得到所述目标的信息。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述第一特征图和所述第二特征图的对应像素的像素值相加，得到所述第三特征图。
3.根据权利要求1所述的方法，其特征在于，
所述融合I个所述第二类子网络的输出的所述第三特征图，得到第四特征图，包括：
利用自适应池化层对多个所述第三特征图进行融合，得到所述第四特征图。
4.根据权利要求3所述的方法，其特征在于，
所述利用自适应池化层对多个所述第三特征图进行融合，得到所述第四特征图，包括：
对不同的所述第三特征图分别进行兴趣区域ROI的对齐操作；
在执行所述对齐操作之后，选择像素值之和最大的所述三特征图作为所述第四特征图输出。
5.根据权利要求1所述的方法，其特征在于，
所述根据所述第四特征图，得到所述目标的信息，包括：
根据所述第四特征图，获得所述目标的标识信息；
根据所述第四特征图，获得所述目标的边界信息；
根据所述第四特征图，获得目标的分割信息。
6.根据权利要求5所述的方法，其特征在于，
所述根据所述第四特征图，获得目标的分割信息，包括：
利用第一处理路径处理所述第四特征图，得到所述目标的第一分割图像；
利用第二处理路径处理所述第四特征图，得到所述目标的第二分割图像，其中，所述第二处理路径包括：获取全局信息的第一全连接子网络；
融合所述第一分割图像和第二分割图像，获得目标的分割信息。
7.根据权利要求5所述的方法，其特征在于，
所述根据所述第四特征图，得到所述目标的信息，包括：
利用第二全连接子网络获得各所述第四特征图对应的第五特征图；
融合多个所述第五特征图，得到第六特征图；
利用第三全连接子网络获得各所述第六特征图输出第七特征图。
8.根据权利要求1至7任一项所述的方法，其特征在于，
所述第一网络的输入阶段包括：自底向上的I个第三类子网络；
所述获取利用S1个子网络处理后的第一特征图，包括：
融合特征图Si+1和特征图Pi，得到特征图Pi+1；其中，i为小于I的正整数；
所述特征图Si+1为是第i+1个所述第三类子网络的输出。
9.根据权利要求1至7任一项所述的方法，其特征在于，
所述方法还包括：
对所述第三特征图进行形态学操作处理；
所述方法还包括：
基于进行了所述形态学操作处理后的所述第三特征图，得到所述目标的信息。
10.根据权利要求9所述的方法，其特征在于，
所述对所述第三特征图进行形态学操作处理，得到第四特征图，包括：
对所述第三特征图中目标的边界进行膨胀处理；
在所述膨胀处理之后，对边界扩张处理后的所述目标的外边界进行腐蚀处理，得到所述第四特征图。
11.根据权利要求1至7任一项所述的方法，其特征在于，
所述语义信息包括以下至少之一：
目标的标识信息；
背景的标识信息；
目标的第二位置信息；
背景的第三位置信息。
12.根据权利要求1至7任一项所述的方法，其特征在于，
所述S1个子网络包含在所述S2个子网络中。
13.根据权利要求1至7任一项所述的方法，其特征在于，
所述目标为细胞核。
14.一种医疗影像处理装置，其特征在于，包括：
第一获取模块，用于获取利用S1个子网络处理后的第一特征图，其中，所述第一特征图至少包括：医疗影像中目标的第一位置信息；
第二获取模块，用于获取利用S2个子网络处理后的第二特征图，其中，所述第二特征图包括：所述医疗影像的语义信息，S2大于S1； S2和S1均为正整数；
所述装置对应于神经网络中；所述神经网络包括：第一网络和第二网络；所述第一网络包括输入阶段和输出阶段；所述输出阶段包括：依次连接的自顶向下的I个第一类子网络；所述第二网络包括：依次连接自底向上的I个第二类子网络；其中，第I个第一类子网络与第1个第二类子网络连接；
结合模块，用于融合特征图Pi+1和特征图Ni，得到特征图Ni+1；其中，i为小于I的正整数；所述特征图Pi+1为所述第一特征图，是第i+1个所述第一类子网络的输出；所述特征图Ni为所述第二特征图，是第i个所述第二类子网络的输出；所述第二类子网络的输出为第三特征图；
第三获得模块，用于融合I个所述第二类子网络的输出的所述第三特征图，得到第四特征图；根据所述第四特征图，得到所述目标的信息。
15.根据权利要求14所述的装置，其特征在于，
所述结合模块，具体用于将所述第一特征图和所述第二特征图的对应像素的像素值相加，得到所述第三特征图。
16.根据权利要求14所述的装置，其特征在于，
所述第三获得模块，具体用于利用自适应池化层对多个所述第三特征图进行融合，得到所述第四特征图。
17.根据权利要求16所述的装置，其特征在于，
所述第三获得模块，具体用于对不同的所述第三特征图分别进行兴趣区域ROI的对齐操作；在执行所述对齐操作之后，选择像素值之和最大的所述三特征图作为所述第四特征图输出。
18.根据权利要求14所述的装置，其特征在于，
所述第三获得模块，用于根据所述第四特征图，获得所述目标的标识信息；根据所述第四特征图，获得所述目标的边界信息；根据所述第四特征图，获得目标的分割信息。
19.根据权利要求18所述的装置，其特征在于，
所述第三获得模块，用于利用第一处理路径处理所述第四特征图，得到所述目标的第一分割图像；利用第二处理路径处理所述第四特征图，得到所述目标的第二分割图像，其中，所述第二处理路径包括：获取全局信息的第一全连接子网络；融合所述第一分割图像和第二分割图像，获得目标的分割信息。
20.根据权利要求18所述的装置，其特征在于，
所述第三获得模块，用于利用第二全连接子网络获得各所述第四特征图对应的第五特征图；融合多个所述第五特征图，得到第六特征图；利用第三全连接子网络获得各所述第六特征图输出第七特征图。
21.根据权利要求14至20任一项所述的装置，其特征在于，
所述第一网络的输入端包括：自底向上的I个第三类子网络；
所述第三获得模块，用于融合特征图Si+1和特征图Pi，得到特征图Pi+1；其中，i为小于I的正整数；所述特征图Si+1为是第i+1个所述第三类子网络的输出。
22.根据权利要求14至20任一项所述的装置，其特征在于，
所述装置还包括：
形态学操作处理模块，用于对所述第三特征图进行形态学操作处理；
所述第三获得模块，用于基于进行了所述形态学操作处理后的所述第三特征图，得到所述目标的信息。
23.根据权利要求22所述的装置，其特征在于，
所述第三获得模块，用于对所述第三特征图中目标的边界进行膨胀处理；在所述膨胀处理之后，对边界扩张处理后的所述目标的外边界进行腐蚀处理，得到所述第四特征图。
24.根据权利要求14至20任一项所述的装置，其特征在于，
所述语义信息包括以下至少之一：
目标的标识信息；
背景的标识信息；
目标的第二位置信息；
背景的第三位置信息。
25.根据权利要求14至20任一项所述的装置，其特征在于，
所述S1个子网络包含在所述S2个子网络中。
26.根据权利要求14至20任一项所述的装置，其特征在于，
所述目标为细胞核。
27.一种计算机存储介质，所述计算机存储介质存储有计算机可执行代码；所述计算机可执行代码被执行后，能够实现权利要求1至13任一项所述的方法。
28.一种医疗影像处理设备，其特征在于，包括：
存储器，用于存储信息；
处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现权利要求1至13任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811028337.8A CN109360633B (zh) | 2018-09-04 | 2018-09-04 | 医疗影像处理方法及装置、处理设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811028337.8A CN109360633B (zh) | 2018-09-04 | 2018-09-04 | 医疗影像处理方法及装置、处理设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109360633A CN109360633A (zh) | 2019-02-19 |
| CN109360633B true CN109360633B (zh) | 2022-08-30 |
Family
ID=65350214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811028337.8A Active CN109360633B (zh) | 2018-09-04 | 2018-09-04 | 医疗影像处理方法及装置、处理设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109360633B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829920B (zh) * | 2019-02-25 | 2021-06-15 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110033005A (zh) * | 2019-04-08 | 2019-07-19 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN109977963B (zh) * | 2019-04-10 | 2021-10-15 | 京东方科技集团股份有限公司 | 图像处理方法、设备、装置以及计算机可读介质 |
| CN110211079B (zh) * | 2019-05-22 | 2021-07-13 | 首都医科大学 | 医学图像的融合方法及装置 |
| CN110706791B (zh) * | 2019-09-30 | 2020-10-16 | 杭州依图医疗技术有限公司 | 一种医学影像处理方法及装置 |
| CN111260666B (zh) * | 2020-01-19 | 2022-05-24 | 上海商汤临港智能科技有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
| CN111597922A (zh) * | 2020-04-28 | 2020-08-28 | 腾讯科技（深圳）有限公司 | 细胞图像的识别方法、系统、装置、设备及介质 |
| CN111563492B (zh) * | 2020-07-14 | 2020-11-10 | 浙江大华技术股份有限公司 | 一种跌倒检测方法、跌倒检测装置及存储装置 |
| CN115100469A (zh) * | 2022-06-23 | 2022-09-23 | 京东方科技集团股份有限公司 | 一种基于分割算法的目标属性识别方法、训练方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2672425A1 (en) * | 2012-06-08 | 2013-12-11 | Realeyes OÜ | Method and apparatus with deformable model fitting using high-precision approximation |
| CN108229455A (zh) * | 2017-02-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 物体检测方法、神经网络的训练方法、装置和电子设备 |
| CN108229497A (zh) * | 2017-07-28 | 2018-06-29 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、存储介质、计算机程序和电子设备 |
| CN108229341A (zh) * | 2017-12-15 | 2018-06-29 | 北京市商汤科技开发有限公司 | 分类方法和装置、电子设备、计算机存储介质、程序 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106056595B (zh) * | 2015-11-30 | 2019-09-17 | 浙江德尚韵兴医疗科技有限公司 | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统 |
| CN106326886B (zh) * | 2016-11-07 | 2019-05-10 | 重庆工商大学 | 基于卷积神经网络的手指静脉图像质量评估方法 |
| CN107220980B (zh) * | 2017-05-25 | 2019-12-03 | 重庆师范大学 | 一种基于全卷积网络的mri图像脑肿瘤自动分割方法 |
-
2018
- 2018-09-04 CN CN201811028337.8A patent/CN109360633B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2672425A1 (en) * | 2012-06-08 | 2013-12-11 | Realeyes OÜ | Method and apparatus with deformable model fitting using high-precision approximation |
| CN108229455A (zh) * | 2017-02-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 物体检测方法、神经网络的训练方法、装置和电子设备 |
| CN108229497A (zh) * | 2017-07-28 | 2018-06-29 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、存储介质、计算机程序和电子设备 |
| CN108229341A (zh) * | 2017-12-15 | 2018-06-29 | 北京市商汤科技开发有限公司 | 分类方法和装置、电子设备、计算机存储介质、程序 |
Non-Patent Citations (2)
| Title |
|---|
| 一种基于深度学习的多尺度深度网络的场景标注算法;马成虎等;《计算机工程与科学》;20160715(第07期);第62-67页 * |
| 卷积神经网络在图像处理方面的应用;董叶豪等;《福建电脑》;20180522(第05期);第155-157页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109360633A (zh) | 2019-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109360633B (zh) | 医疗影像处理方法及装置、处理设备及存储介质 | |
| CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
| Gecer et al. | Detection and classification of cancer in whole slide breast histopathology images using deep convolutional networks | |
| Xie et al. | Automated pulmonary nodule detection in CT images using deep convolutional neural networks | |
| CN110490202B (zh) | 检测模型训练方法、装置、计算机设备和存储介质 | |
| US20220198230A1 (en) | Auxiliary detection method and image recognition method for rib fractures based on deep learning | |
| CN109389129B (zh) | 一种图像处理方法、电子设备及存储介质 | |
| US11929174B2 (en) | Machine learning method and apparatus, program, learned model, and discrimination apparatus using multilayer neural network | |
| CN108986891A (zh) | 医疗影像处理方法及装置、电子设备及存储介质 | |
| CN109242845B (zh) | 医疗影像处理方法及装置、电子设备及存储介质 | |
| CN109035261B (zh) | 医疗影像处理方法及装置、电子设备及存储介质 | |
| Chaki et al. | A deep learning based four-fold approach to classify brain MRI: BTSCNet | |
| CN111445457B (zh) | 网络模型的训练方法及装置、识别方法及装置、电子设备 | |
| Nazir et al. | Optic disc and optic cup segmentation for glaucoma detection from blur retinal images using improved mask-RCNN | |
| CN111667459A (zh) | 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质 | |
| Taş et al. | Super resolution convolutional neural network based pre-processing for automatic polyp detection in colonoscopy images | |
| CN112465749B (zh) | 提取肺栓塞图像的方法、装置、存储介质及电子设备 | |
| US20230005140A1 (en) | Automated detection of tumors based on image processing | |
| CN113705723A (zh) | 图像分类系统、方法和计算机设备 | |
| CN112634369A (zh) | 空间与或图模型生成方法、装置、电子设备和存储介质 | |
| Wang et al. | Context-aware spatio-recurrent curvilinear structure segmentation | |
| Jothi et al. | Automatic classification of thyroid histopathology images using multi-classifier system | |
| CN116563303B (zh) | 一种场景可泛化的交互式辐射场分割方法 | |
| Halder et al. | Superpixel and density based region segmentation algorithm for lung nodule detection | |
| Sarkar et al. | Towards automated breast mass classification using deep learning framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |