CN112633378B - 一种多模态影像胎儿胼胝体智能检测方法及系统 - Google Patents

一种多模态影像胎儿胼胝体智能检测方法及系统 Download PDF

Info

Publication number
CN112633378B
CN112633378B CN202011550220.3A CN202011550220A CN112633378B CN 112633378 B CN112633378 B CN 112633378B CN 202011550220 A CN202011550220 A CN 202011550220A CN 112633378 B CN112633378 B CN 112633378B
Authority
CN
China
Prior art keywords
modal
corpus callosum
section
information
fetal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011550220.3A
Other languages
English (en)
Other versions
CN112633378A (zh
Inventor
程建
刘鑫
陈玉兰
唐玺璐
梁雷堃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202011550220.3A priority Critical patent/CN112633378B/zh
Publication of CN112633378A publication Critical patent/CN112633378A/zh
Application granted granted Critical
Publication of CN112633378B publication Critical patent/CN112633378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明提出了一种多模态影像胎儿胼胝体智能检测方法及系统，所述检测方法包括：对多模态切面医学影像进行胼胝体目标框标注和影像模态‑切面位信息标注，形成胼胝体目标检测数据集；对胼胝体目标检测数据集中的多模态切面医学影像进行预处理，对多模态切面医学影像的模态‑切面信息进行编码；建立包括特征提取网络模型和Transformer网络模型的胎儿胼胝体智能检测模型；对胎儿胼胝体智能检测模型进行训练，获得训练后的胎儿胼胝体智能检测模型；利用训练后的胎儿胼胝体智能检测模型对待检测的多模态切面医学影像进行胎儿胼胝体智能检测，获得胎儿胼胝体检测结果。本发明利用特征提取网络模型和Transformer网络模型实现多模态影像中胎儿胼胝体的准确定位。

Description

一种多模态影像胎儿胼胝体智能检测方法及系统
技术领域
本发明涉及图像识别技术领域，特别是涉及一种多模态影像胎儿胼胝体智能检测方法及系统。
背景技术
目前胎儿胼胝体定位，主要依赖于医生的判断，该方法严重依赖于医生的经验，并且工作量较大。可见如何实现多模态影像中胎儿胼胝体的准确定位成为一个亟待解决的技术问题。
发明内容
本发明的目的是提供一种多模态影像胎儿胼胝体智能检测方法及系统，以实现多模态影像中胎儿胼胝体的准确定位。
为实现上述目的，本发明提供了如下方案：
一种多模态影像胎儿胼胝体智能检测方法，所述检测方法包括如下步骤：
对多模态切面医学影像进行胼胝体目标框标注和影像模态-切面位信息标注，形成用于训练胎儿胼胝体智能检测模型的胼胝体目标检测数据集；
对胼胝体目标检测数据集中的多模态切面医学影像进行预处理，获得预处理后的多模态切面医学影像，对多模态切面医学影像的模态-切面信息进行编码，获得多模态切面医学影像的模态-切面编码；
建立包括特征提取网络模型和Transformer网络模型的胎儿胼胝体智能检测模型；
将预处理后的多模态切面医学影像和模态-切面编码输入胎儿胼胝体智能检测模型，对胎儿胼胝体智能检测模型进行训练，获得训练后的胎儿胼胝体智能检测模型；
利用训练后的胎儿胼胝体智能检测模型对待检测的多模态切面医学影像进行胎儿胼胝体智能检测，获得胎儿胼胝体检测结果。
可选的，所述特征提取网络模型包括特征提取骨干网络、特征金字塔网络、第一浅层语义模态-切面编码器和第二浅层语义模态-切面编码器；
多模态切面医学影像的模态-切面编码馈入第一浅层语义模态-切面编码器；所述第一浅层语义模态-切面编码器的输出端与特征提取骨干网络的特征层采用通道匹配的方式连接；所述第一浅层语义模态-切面编码器用于对模态-切面编码进行信息提取，获得第一模态-切面编码信息，并将所述第一模态-切面编码信息发送给所述特征提取骨干网络；
预处理后的多模态切面医学影像输入所述特征提取骨干网络，所述特征提取骨干网络用于对预处理后的多模态切面医学影像进行特征提取，获得特征图，并将第一模态-切面编码信息与特征图按通道进行点积运算，获得第一信息融合结果，并将第一信息融合结果馈入特征金字塔网络；
多模态切面医学影像的模态-切面编码馈入第二浅层语义模态-切面编码器，所述第二浅层语义模态-切面编码器的输出端与所述特征金字塔网络采用通道匹配的方式连接；所述第二浅层语义模态-切面编码器用于对模态-切面编码进行信息提取，获得第二模态-切面编码信息，并将所述第二模态-切面编码信息发送给所述特征金字塔网络；
所述特征金字塔网络用于对第一信息融合结果进行特征提取，获得多尺度特征图，将第二模态-切面编码信息与多尺度特征图按通道进行点积运算，获得第二信息融合结果，并对第二信息融合结果进行卷积降维，得到词嵌入向量。
可选的，所述特征提取骨干网络包括依次串联的多个残差模块；
在相邻两个残差模块之间设置有1*1卷积层，每个所述1*1卷积层分别与第一浅层语义模态-切面编码器的输出端连接；
第一浅层语义模态-切面编码器输出的第一模态-切面编码信息经转置得到通道维的第一模态-切面编码信息，通道维的第一模态-切面编码信息与第n个残差模块输出的特征图在第n个残差模块与第n+1个残差模块之间的1*1卷积层进行1*1卷积运算，得到经通道匹配后的编码信息，经通道匹配后的编码信息与第n个残差模块输出的特征图按通道进行点积运算，得到第n个残差模块输出的第一信息融合结果，输入第n+1个残差模块，最后一个残差模块输出的第二信息融合结果，作为特征提取骨干网络输出的第一信息融合结果。
可选的，所述特征金字塔网络用于对第一信息融合结果进行
Figure BDA0002857673180000021
Figure BDA0002857673180000022
的下采样并与第二编码信息按通道做点积，得到胼胝体特征图像金字塔，并对胼胝体特征图像金字塔中的5个尺度的特征图进行concatenate连接，利用卷积进行通道降维得到词嵌入向量。
可选的，所述第一浅层语义模态-切面编码器和所述第二浅层语义模态-切面编码器从输入至输出均依次包括第一卷积层、非线性激活函数层、第二卷积层和实例归一化层。
可选的，Transformer网络模型包括空间位置编码器、模态-切面嵌入向量编码器、特征信息编码器、目标查询向量编码器和特征信息解码器；
所述空间位置编码器用于利用公式
Figure BDA0002857673180000031
对词嵌入向量进行空间位置编码，获得空间位置编码结果PE{pos，i}；pos表示特征图的第pos个词嵌入向量，j表示第pos个词嵌入向量的第j个像素点，dmodel表示词嵌入向量的维度；
所述模态-切面嵌入向量编码器用于对模态-切面编码进行信息提取，获得与空间位置编码相匹配的模态-切面嵌入向量，并将所述模态-切面嵌入向量与所述空间位置编码器输出的空间位置编码结果堆叠相加输入至特征信息编码器；
所述特征信息编码器用于将词嵌入向量与模态-切面嵌入向量按点相加后输入多头注意力机制模块，获得多维值向量的多通道权重矩阵；将词嵌入向量与空间位置编码结果按点相加后输入多头注意力机制模块，获得多维查询向量的多通道权重矩阵和多维键向量的多通道权重矩阵；
所述目标查询向量编码器用于生成与词嵌入向量维度相同的目标查询向量，并将所述目标查询向量和所述模态-切面嵌入向量堆叠相加后的结果输出给特征信息解码器；
所述特征信息解码器用于将词嵌入向量分别与多维值向量的多通道权重矩阵、多维键向量的多通道权重矩阵相乘，得到多维值矩阵V和多维键矩阵K，将词嵌入向量与所述目标查询向量和所述模态-切面嵌入向量堆叠相加后的结果进行拼接运算，再将拼接结果与多维查询向量的多通道权重矩阵相乘，得到多维查询矩阵Q，并根据多维值矩阵V、多维查询矩阵Q和多维键矩阵K，利用公式
Figure BDA0002857673180000041
进行解码；其中，Wo表示维度转换矩阵。
可选的，所述胎儿胼胝体智能检测模型还包括分类器和边界框回归器；所述分类器用于对预测的胼胝体目标框的前景信息和背景信息进行解耦，获得目标框的前景分类概率和背景分类概率；
所述边界框回归器用于对预测的胼胝体目标框的坐标信息进行解耦，获得目标框的位置。
可选的，所述将预处理后的多模态切面医学影像和模态-切面编码输入胎儿胼胝体智能检测模型，对胎儿胼胝体智能检测模型进行训练，获得训练后的胎儿胼胝体智能检测模型，具体包括：
将预处理后的多模态切面医学影像和模态-切面编码输入胎儿胼胝体智能检测模型，获得预测目标框集合；所述预测目标框集合包括多个预测的胼胝体目标框；
根据预测目标框集合和标注的胼胝体目标框，计算损失函数值；
判断所述损失函数值是否小于损失函数阈值，获得判断结果；
若所述判断结果表示否，则更新胎儿胼胝体智能检测模型的参数，返回步骤“将预处理后的多模态切面医学影像和模态-切面编码输入胎儿胼胝体智能检测模型，获得预测的胼胝体目标框”；
若所述判断结果表示是，则输出更新后的胎儿胼胝体智能检测模型作为训练的胎儿胼胝体智能检测模型。
可选的，所述预测目标框集合和标注的胼胝体目标框，计算损失函数值，具体包括：
根据预测的胼胝体目标框和标注的胼胝体目标框，利用公式
Figure BDA0002857673180000042
Figure BDA0002857673180000043
计算损失函数值；
其中，LHungarian表示损失函数值，ci表示第i个预测的胼胝体目标框的预测类别，若ci取0，表示第i个预测的胼胝体目标框的预测类别为背景，若ci取1，表示第i个预测的胼胝体目标框的预测类别为前景；p(ci)表示第i个预测的胼胝体目标框的类别为ci的概率；
Figure BDA0002857673180000044
和
Figure BDA0002857673180000045
分别表示第i个预测的胼胝体目标框和第i个标注的胼胝体目标框；Lbox表示预测的胼胝体目标框的坐标损失；
Figure BDA0002857673180000051
其中，λiou和λL1分别表示第一可学习的超参数和第二可学习的超参数；Liou表示预测的胼胝体目标框与标注的胼胝体目标框的交并比损失。
一种多模态影像胎儿胼胝体智能检测系统，所述检测系统包括：
胼胝体目标检测数据集建立模块，用于对多模态切面医学影像进行胼胝体目标框标注和影像模态-切面位信息标注，形成用于训练胎儿胼胝体智能检测模型的胼胝体目标检测数据集；
预处理模块，用于对胼胝体目标检测数据集中的多模态切面医学影像进行预处理，获得预处理后的多模态切面医学影像，对多模态切面医学影像的模态-切面信息进行编码，获得多模态切面医学影像的模态-切面编码；
模型建立模块，用于建立包括特征提取网络模型和Transformer网络模型的胎儿胼胝体智能检测模型；
模型训练模块，用于将预处理后的多模态切面医学影像和模态-切面编码输入胎儿胼胝体智能检测模型，对胎儿胼胝体智能检测模型进行训练，获得训练后的胎儿胼胝体智能检测模型；
智能检测模块，用于利用训练后的胎儿胼胝体智能检测模型对待检测的多模态切面医学影像进行胎儿胼胝体智能检测，获得胎儿胼胝体检测结果。
可选的，所述特征提取网络模型包括特征提取骨干网络、特征金字塔网络、第一浅层语义模态-切面编码器和第二浅层语义模态-切面编码器；
多模态切面医学影像的模态-切面编码馈入第一浅层语义模态-切面编码器；所述第一浅层语义模态-切面编码器的输出端与特征提取骨干网络的特征层采用通道匹配的方式连接；所述第一浅层语义模态-切面编码器用于对模态-切面编码进行信息提取，获得第一模态-切面编码信息，并将所述第一模态-切面编码信息发送给所述特征提取骨干网络；
预处理后的多模态切面医学影像输入所述特征提取骨干网络，所述特征提取骨干网络用于对预处理后的多模态切面医学影像进行特征提取，获得特征图，并将第一模态-切面编码信息与特征图按通道进行点积运算，获得第一信息融合结果，并将第一信息融合结果馈入特征金字塔网络；
多模态切面医学影像的模态-切面编码馈入第二浅层语义模态-切面编码器，所述第二浅层语义模态-切面编码器的输出端与所述特征金字塔网络采用通道匹配的方式连接；所述第二浅层语义模态-切面编码器用于对模态-切面编码进行信息提取，获得第二模态-切面编码信息，并将所述第二模态-切面编码信息发送给所述特征金字塔网络；
所述特征金字塔网络用于对第一信息融合结果进行特征提取，获得多尺度特征图，将第二模态-切面编码信息与多尺度特征图按通道进行点积运算，获得第二信息融合结果，并对第二信息融合结果进行卷积降维，得到词嵌入向量。
与现有技术相比，本发明的有益效果是：
本发明提出了一种多模态影像胎儿胼胝体智能检测方法及系统，所述检测方法包括如下步骤：对多模态切面医学影像进行胼胝体目标框标注和影像模态-切面位信息标注，形成用于训练胎儿胼胝体智能检测模型的胼胝体目标检测数据集；对胼胝体目标检测数据集中的多模态切面医学影像进行预处理，获得预处理后的多模态切面医学影像，对多模态切面医学影像的模态-切面信息进行编码，获得多模态切面医学影像的模态-切面编码；建立包括特征提取网络模型和Transformer网络模型的胎儿胼胝体智能检测模型；将预处理后的多模态切面医学影像和模态-切面编码输入胎儿胼胝体智能检测模型，对胎儿胼胝体智能检测模型进行训练，获得训练后的胎儿胼胝体智能检测模型；利用训练后的胎儿胼胝体智能检测模型对待检测的多模态切面医学影像进行胎儿胼胝体智能检测，获得胎儿胼胝体检测结果。本发明利用特征提取网络模型和Transformer网络模型实现多模态影像中胎儿胼胝体的准确定位。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种多模态影像胎儿胼胝体智能检测方法的流程图；
图2为本发明提供的一种多模态影像胎儿胼胝体智能检测方法的原理图；
图3为本发明提供的一维one-hot编码的编码结构图；
图4为本发明提供的第一浅层语义模态-切面编码器的结构图；
图5为本发明提供的Transformer网络模型的结构图；
图6为本发明提供的超声图像正矢状位胼胝体检测效果示意图；
图7为本发明提供的MRI图像正矢状位胼胝体检测效果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种多模态影像胎儿胼胝体智能检测方法及系统，以实现多模态影像中胎儿胼胝体的准确定位。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1和2所示，本发明一种多模态影像胎儿胼胝体智能检测方法，所述检测方法包括如下步骤：
步骤101，对多模态切面医学影像进行胼胝体目标框标注和影像模态-切面位信息标注，形成用于训练胎儿胼胝体智能检测模型的胼胝体目标检测数据集，
模态包括：SSFP序列核磁颅脑图像；TSE序列核磁颅脑图像；TFET1WI序列核磁颅脑图像；DWI序列核磁颅脑图像；彩色多普勒超声图像；二维B超图像。
切面包扩：矢状位；横断位；冠状位。
步骤102，对胼胝体目标检测数据集中的多模态切面医学影像进行预处理，获得预处理后的多模态切面医学影像，对多模态切面医学影像的模态-切面信息进行编码，获得多模态切面医学影像的模态-切面编码。
对胼胝体目标检测数据集中的影像进行图像增强，扩充数据集并根据数据集中影像的模态以及切面位信息，进行模态-切面的一维one-hot编码，完成数据预处理。
其中，对影像的模态以及切面位信息，进行模态-切面的一维one-hot编码，其编码结构，如图3所示。图3中的模态由不同序列MRI和各类超声图像构成，共计7种；切面根据实际需求设置了包括：矢状位；横断位；冠状位以及预留的2个切面位，共五个切面。
步骤103，建立包括特征提取网络模型和Transformer网络模型的胎儿胼胝体智能检测模型。
所述特征提取网络模型包括特征提取骨干网络、特征金字塔网络、第一浅层语义模态-切面编码器和第二浅层语义模态-切面编码器；多模态切面医学影像的模态-切面编码馈入第一浅层语义模态-切面编码器；所述第一浅层语义模态-切面编码器的输出端与特征提取骨干网络的特征层采用通道匹配的方式连接；所述第一浅层语义模态-切面编码器用于对模态-切面编码进行信息提取，获得第一模态-切面编码信息，并将所述第一模态-切面编码信息发送给所述特征提取骨干网络；预处理后的多模态切面医学影像输入所述特征提取骨干网络，所述特征提取骨干网络用于对预处理后的多模态切面医学影像进行特征提取，获得特征图，并将第一模态-切面编码信息与特征图按通道进行点积运算，获得第一信息融合结果，并将第一信息融合结果馈入特征金字塔网络；多模态切面医学影像的模态-切面编码馈入第二浅层语义模态-切面编码器，所述第二浅层语义模态-切面编码器的输出端与所述特征金字塔网络采用通道匹配的方式连接；所述第二浅层语义模态-切面编码器用于对模态-切面编码进行信息提取，获得第二模态-切面编码信息，并将所述第二模态-切面编码信息发送给所述特征金字塔网络；所述特征金字塔网络用于对第一信息融合结果进行特征提取，获得多尺度特征图，将第二模态-切面编码信息与多尺度特征图按通道进行点积运算，获得第二信息融合结果，并对第二信息融合结果进行卷积降维，得到词嵌入向量。
所述特征提取网络模型的工作工程为：将模态-切面编码馈入第一浅层语义模态-切面编码器(图2中的浅层语义模态-切面编码器1)和第二浅层语义模态-切面编码器(图2中的浅层语义模态-切面编码器2)。将预处理后的胎儿胼胝体影像馈入特征提取骨干网络，浅层语义模态-切面编码器1的输出与特征提取骨干网络的特征层按通道做信息融合，并将结果馈入下层网络。最后输出高维特征图。将高维特征图馈入特征金字塔网络，将浅层语义模态-切面编码器2的输出与特征金字塔的多尺度特征图做信息融合。将多尺度特征图经卷积降维后，平展为1维特征词嵌入向量。
如图4所示所述第一浅层语义模态-切面编码器和所述第二浅层语义模态-切面编码器从输入至输出均依次包括第一卷积层、非线性激活函数层、第二卷积层和实例归一化层。
所述第一浅层语义模态-切面编码器和所述第二浅层语义模态-切面编码器的工作过程为：
(1)第一卷积层和第二卷积层(图4中的卷积1和卷积2)：用于提取编码的高维信息；
(2)非线性激活函数层(图4中的Sigmoid+IN1)：利用Sigmoid等激活非线性，将编码信息变换到(0,1)范围内，提升网络的拟合能力。
(3)Instance Normlization(实例归一化，图4中的Relu+IN2)：对同一样本的编码信息进行归一化处理。
所述特征提取骨干网络包括依次串联的多个残差模块；在相邻两个残差模块之间设置有1*1卷积层，每个所述1*1卷积层分别与第一浅层语义模态-切面编码器的输出端连接；第一浅层语义模态-切面编码器输出的第一模态-切面编码信息经转置得到通道维的第一模态-切面编码信息，通道维的第一模态-切面编码信息与第n个残差模块输出的特征图在第n个残差模块与第n+1个残差模块之间的1*1卷积层进行1*1卷积运算，得到经通道匹配后的编码信息，经通道匹配后的编码信息与第n个残差模块输出的特征图按通道进行点积运算，得到第n个残差模块输出的第一信息融合结果，输入第n+1个残差模块，最后一个残差模块输出的第二信息融合结果，作为特征提取骨干网络输出的第一信息融合结果。
特征提取骨干网络的工作过程为：
(1)特征提取骨干网络由多个残差模块构成，在每个残差模块前对特征图增加模态-切面编码信息：将浅层语义模态-编码器1的输出进行转置到通道维，再进行1*1卷积，与特征提取骨干网络的特征图进行通道匹配。
(2)经通道匹配后的模态-切面编码信息与特征图按通道进行点积运算，选择通道权重。
(3)将上步得到的特征图馈入下一个残差模块，其中特征提取骨干网络共用一个浅层语义模态-切面编码器(第一浅层语义模态-切面编码器)的信息。
所述特征金字塔网络用于对第一信息融合结果进行
Figure BDA0002857673180000101
的下采样并与第二编码信息按通道做点积，得到胼胝体特征图像金字塔，并对胼胝体特征图像金字塔中的5个尺度的特征图进行concatenate连接，利用卷积进行通道降维得到词嵌入向量。
所述特征金字塔网络的工作过程为：
(1)对输入生成网络的图像进行
Figure BDA0002857673180000102
的下采样并与模态-切面编码信息按通道做点积，构建胼胝体特征图像金字塔，该胼胝体特征图像金字塔为5层，包含5个尺度的特征图；
(2)将多尺度特征图经尺度匹配后进行concatenate连接，利用卷积进行通道降维，平展形成词嵌入向量。
Transformer网络模型包括空间位置编码器、模态-切面嵌入向量编码器、特征信息编码器、目标查询向量编码器和特征信息解码器；Transformer网络模型的结构如图5所示，空间位置编码器：由特征图的空间位置，沿X轴和Y轴对特征图的像素点进行位置记录的向量编码器。模态-切面嵌入向量编码器：由卷积、Instance Normalization和激活函数组成的按照词嵌入向量的维数进行编码的编码器。特征信息编码器：由6组多头注意力机制模块、Layer Normalization、前馈网络组成的特征编码网络组成。目标查询向量编码器：与词嵌入向量进行相互嵌入的可学习目标候选框向量。特征信息解码器：由编码器嵌入目标查询向量生成的一个特征解码网络。
Transformer模块中包含特征信息器和特征信息解码器，将切面特征与图像浅层特征进行融合后的特征进行高维编码和解码，得到解释向量，解释向量耦合了胎儿胼胝体预测目标框的坐标信息和前/背景分类概率。将解释向量分别馈入分类器网络和目标框回归网络，分别对预测目标框的前/背景信息和目标框的坐标信息进行解耦，得到多个目标框的坐标信息和前/背景分类概率。
具体的，模态-切面嵌入向量编码器分别与空间位置编码器和目标查询向量编码器连接，所述模态-切面嵌入向量编码器用于对模态-切面编码进行信息提取，获得与空间位置编码相匹配的模态-切面嵌入向量，并将所述模态-切面嵌入向量与所述空间位置编码器输出的空间位置编码结果堆叠相加输入至特征信息编码器；模态-切面嵌入向量编码器与第一浅层语义模态-切面编码器和第二浅层语义模态-切面编码器的结构一致，将模态-切面编码信息按照卷积、激活、Normalization(实例归一化)的方式直接输出与空间位置编码相匹配的向量，为编解码结构提供模态和切面的先验信息。
空间位置编码器与所述特征信息编码器连接，所述空间位置编码器用于将特征图沿X轴和Y轴分别平展，并利用公式
Figure BDA0002857673180000111
Figure BDA0002857673180000112
对特征图的词嵌入向量进行空间位置编码，获得空间位置编码结果PE{pos，i}，并将空间位置编码结果和模态-切面嵌入向量输出给特征信息编码器；pos表示特征图的第pos个词嵌入向量，为特征图的第pos行(列)，j表示第pos个词嵌入向量的第j个像素点，dmodel表示词嵌入向量的维度，与空间位置编码维度相等；空间位置编码器最后将X轴编码与Y轴编码进行级联得到最后的编码。
所述特征信息编码器分别与特征提取网络模型、空间位置编码器和特征信息解码器连接；所述特征信息编码器用于将词嵌入向量与模态-切面嵌入向量按点相加后输入多头注意力机制模块，获得多维值向量的多通道权重矩阵；将词嵌入向量与空间位置编码结果按点相加后输入多头注意力机制模块，获得多维查询向量的多通道权重矩阵和多维键向量的多通道权重矩阵。所述特征信息编码器将由特征图生成的词嵌入向量，复制三组：一组与模态-切面嵌入向量按点相加后作为v值向量输入多头自注意力机制模块、其余两组分别与空间位置编码信息按点相加，得到相同的k键向量和q查询向量后同时输入多头自注意力模块；经多头自注意力模块进行编码后进行Layer Normalization(层标准化详解)，在Channel(通道)这个维度进行归一化处理并与词嵌入向量直接残差短接；再将结果输入FFN(feed forward neural networks，前馈神经网络)后进行Layer Normalization(层标准化详解)和残差短接；经6次编码后输入到特征信息解码器。
所述目标查询向量编码器与所述特征信息解码连接，用于生成与词嵌入向量维度相同的目标查询向量，并将所述目标查询向量和所述模态-切面嵌入向量堆叠相加后的结果输出给特征信息解码器；目标查询向量编码：设定最大目标为5，按照词嵌入向量的维度构建5个可学习的目标查询向量，为生成预测框提供先验性。
所述特征信息解码器与所述目标查询向量编码器连接，所述特征信息解码器用于将词嵌入向量分别与多维值向量的多通道权重矩阵、多维键向量的多通道权重矩阵相乘，得到多维值矩阵V和多维键矩阵K，将词嵌入向量与所述目标查询向量和所述模态-切面嵌入向量堆叠相加后的结果进行拼接运算，再将拼接结果与多维查询向量的多通道权重矩阵相乘，得到多维查询矩阵Q，并根据多维值矩阵V、多维查询矩阵Q和多维键矩阵K，利用公式
Figure BDA0002857673180000121
进行解码；其中，Wo表示维度转换矩阵。由特征信息解码器编码的特征信息(特征编码结果)，与目标查询向量和模态-切面嵌入向量进行信息融合后输入特征信息解码器，按照与特征信息编码器相似的结构进行信息解码，为目标信息做最后信息解耦。具体步骤为：
(1)对输入的词嵌入向量与多通道权重WQ，WK，WV矩阵相乘，得到多维查询矩阵Q，多维键矩阵K以及多维值矩阵V。
(2)输入的特征图的每个像素的多维查询矩阵Q与所有像素的维键矩阵K求内积，得到多维相关性分数。
(3)每个相关性分数除词嵌入向量的维数的平方根，进行尺度缩放。
(3)对每个像素的多维相关性分数的缩放结果做softmax运算，得到归一化的概率分数。
(4)与每个向量的多维值矩阵V进行矩阵乘法得到多头自注意力编码，并直接concatenate为一个自注意力编码向量。
所述胎儿胼胝体智能检测模型还包括分类器和边界框回归器；所述分类器用于对预测的胼胝体目标框的前景信息和背景信息进行解耦，获得目标框的前景分类概率和背景分类概率；所述边界框回归器用于对预测的胼胝体目标框的坐标信息进行解耦，获得目标框的位置。具体的，Transformer输出馈入两个FFN分支，分别做分类和回归。
所述两个FFN分支做分类和回归的具体步骤，包括：
(1)分类器分类：此FFN由一个多层感知机构成，激活函数选用Relu激活函数，由FFN输出经softmax函数，输出5个预设目标框的二分类概率。
(2)边界框回归器回归：此FFN与目标框分类的结构类似，仅在最后输出的维度上，输出5个预测目标框的坐标回归值。
步骤104，将预处理后的多模态切面医学影像和模态-切面编码输入胎儿胼胝体智能检测模型，对胎儿胼胝体智能检测模型进行训练，获得训练后的胎儿胼胝体智能检测模型。
在训练中，将目标框预测集合与实际标签进行一对一匹配，计算损失函数，并反复迭代训练。
目标框预测集合与实际标签进行一对一匹配的步骤，包括：
(1)计算匹配总损失：将预测目标框集合与图片的真实框(标注的胼胝体目标框)求iou交并比损失，求和取反得到总的交并比损失；将所有目标框的胼胝体预测概率取反做损失，求和得到总的胼胝体预测损失。
(2)将上述两种损失求和，按照最小权重，对预测的胼胝体目标框和真实框做二分图匈牙利匹配，得到一对一的真实框匹配。
步骤104所述的将预处理后的多模态切面医学影像和模态-切面编码输入胎儿胼胝体智能检测模型，对胎儿胼胝体智能检测模型进行训练，获得训练后的胎儿胼胝体智能检测模型，具体包括：将预处理后的多模态切面医学影像和模态-切面编码输入胎儿胼胝体智能检测模型，获得预测目标框集合；所述预测目标框集合包括多个预测的胼胝体目标框；根据预测目标框集合和标注的胼胝体目标框，计算损失函数值；判断所述损失函数值是否小于损失函数阈值，获得判断结果；若所述判断结果表示否，则更新胎儿胼胝体智能检测模型的参数，返回步骤“将预处理后的多模态切面医学影像和模态-切面编码输入胎儿胼胝体智能检测模型，获得预测的胼胝体目标框”；若所述判断结果表示是，则输出更新后的胎儿胼胝体智能检测模型作为训练的胎儿胼胝体智能检测模型。
其中，所述预测目标框集合和标注的胼胝体目标框，计算损失函数值，具体包括：
根据预测的胼胝体目标框和标注的胼胝体目标框，利用公式
Figure BDA0002857673180000141
Figure BDA0002857673180000142
计算损失函数值；
其中，LHungarian表示损失函数值，ci表示第i个预测的胼胝体目标框的预测类别，若ci取0，表示第i个预测的胼胝体目标框的预测类别为背景，若ci取1，表示第i个预测的胼胝体目标框的预测类别为前景；p(ci)表示第i个预测的胼胝体目标框的类别为ci的概率；
Figure BDA0002857673180000143
和
Figure BDA0002857673180000144
分别表示第i个预测的胼胝体目标框和第i个标注的胼胝体目标框；Lbox表示预测的胼胝体目标框的坐标损失；
Figure BDA0002857673180000145
其中，λiou和λL1分别表示第一可学习的超参数和第二可学习的超参数；Liou表示预测的胼胝体目标框与标注的胼胝体目标框的交并比损失。
步骤105，利用训练后的胎儿胼胝体智能检测模型对待检测的多模态切面医学影像进行胎儿胼胝体智能检测，获得胎儿胼胝体检测结果。
在测试中，选择目标框预测集合中前景概率最大的目标框为最后的胎儿胼胝体检测结果，并在输入图像上进行目标框的可视化，如图6和7所示。
本发明还提供一种多模态影像胎儿胼胝体智能检测系统，所述检测系统包括：
胼胝体目标检测数据集建立模块，用于对多模态切面医学影像进行胼胝体目标框标注和影像模态-切面位信息标注，形成用于训练胎儿胼胝体智能检测模型的胼胝体目标检测数据集；
预处理模块，用于对胼胝体目标检测数据集中的多模态切面医学影像进行预处理，获得预处理后的多模态切面医学影像，对多模态切面医学影像的模态-切面信息进行编码，获得多模态切面医学影像的模态-切面编码；
模型建立模块，用于建立包括特征提取网络模型和Transformer网络模型的胎儿胼胝体智能检测模型；所述特征提取网络模型包括特征提取骨干网络、特征金字塔网络、第一浅层语义模态-切面编码器和第二浅层语义模态-切面编码器；多模态切面医学影像的模态-切面编码馈入第一浅层语义模态-切面编码器；所述第一浅层语义模态-切面编码器的输出端与特征提取骨干网络的特征层采用通道匹配的方式连接；所述第一浅层语义模态-切面编码器用于对模态-切面编码进行信息提取，获得第一模态-切面编码信息，并将所述第一模态-切面编码信息发送给所述特征提取骨干网络；预处理后的多模态切面医学影像输入所述特征提取骨干网络，所述特征提取骨干网络用于对预处理后的多模态切面医学影像进行特征提取，获得特征图，并将第一模态-切面编码信息与特征图按通道进行点积运算，获得第一信息融合结果，并将第一信息融合结果馈入特征金字塔网络；多模态切面医学影像的模态-切面编码馈入第二浅层语义模态-切面编码器，所述第二浅层语义模态-切面编码器的输出端与所述特征金字塔网络采用通道匹配的方式连接；所述第二浅层语义模态-切面编码器用于对模态-切面编码进行信息提取，获得第二模态-切面编码信息，并将所述第二模态-切面编码信息发送给所述特征金字塔网络；所述特征金字塔网络用于对第一信息融合结果进行特征提取，获得多尺度特征图，将第二模态-切面编码信息与多尺度特征图按通道进行点积运算，获得第二信息融合结果，并对第二信息融合结果进行卷积降维，得到词嵌入向量。
模型训练模块，用于将预处理后的多模态切面医学影像和模态-切面编码输入胎儿胼胝体智能检测模型，对胎儿胼胝体智能检测模型进行训练，获得训练后的胎儿胼胝体智能检测模型。
智能检测模块，用于利用训练后的胎儿胼胝体智能检测模型对待检测的多模态切面医学影像进行胎儿胼胝体智能检测，获得胎儿胼胝体检测结果。
本发明的多模态影像胎儿胼胝体智能检测系统的实施方式与多模态影像胎儿胼胝体智能检测方法的实施方式相同，在此不再赘述。
与现有技术相比，本发明的有益效果是：
本发明提出了一种多模态影像胎儿胼胝体智能检测方法及系统，所述检测方法包括如下步骤：构建胼胝体检测框与模态-切面标注信息结合多模态多切面的胎儿胼胝体医学影像数据集；将数据集进行模态-切面编码与影像一同馈入特征提取网络，利用模态-切面先验信息指导网络的通道注意力，得到多尺度高维特征图；将特征图进行词嵌入编码与X,Y轴位置编码后馈入Transformer编解码模块得到目标框高维信息；将Transformer输出分别输入到目标框回归FFN与分类FFN，得到最后的预测结果；经匈牙利匹配算法获得一对一目标框，计算损失，迭代训练得到高效端到端的多模态影像胎儿胼胝体目标检测网络。本发明设计一种多模态影像胎儿胼胝体智能检测技术，简省医疗过程中的人力和时间成本，增强辅助诊断手段，提高医疗效率。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种多模态影像胎儿胼胝体智能检测方法，其特征在于，所述检测方法包括如下步骤：
对多模态切面医学影像进行胼胝体目标框标注和影像模态-切面位信息标注，形成用于训练胎儿胼胝体智能检测模型的胼胝体目标检测数据集；
对胼胝体目标检测数据集中的多模态切面医学影像进行预处理，获得预处理后的多模态切面医学影像，对多模态切面医学影像的模态-切面信息进行编码，获得多模态切面医学影像的模态-切面编码；
建立包括特征提取网络模型和Transformer网络模型的胎儿胼胝体智能检测模型；所述特征提取网络模型包括特征提取骨干网络、特征金字塔网络、第一浅层语义模态-切面编码器和第二浅层语义模态-切面编码器；
将预处理后的多模态切面医学影像和模态-切面编码输入胎儿胼胝体智能检测模型，对胎儿胼胝体智能检测模型进行训练，获得训练后的胎儿胼胝体智能检测模型；
利用训练后的胎儿胼胝体智能检测模型对待检测的多模态切面医学影像进行胎儿胼胝体智能检测，获得胎儿胼胝体检测结果。
2.根据权利要求1所述的多模态影像胎儿胼胝体智能检测方法，其特征在于，多模态切面医学影像的模态-切面编码馈入第一浅层语义模态-切面编码器；所述第一浅层语义模态-切面编码器的输出端与特征提取骨干网络的特征层采用通道匹配的方式连接；所述第一浅层语义模态-切面编码器用于对模态-切面编码进行信息提取，获得第一模态-切面编码信息，并将所述第一模态-切面编码信息发送给所述特征提取骨干网络；
预处理后的多模态切面医学影像输入所述特征提取骨干网络，所述特征提取骨干网络用于对预处理后的多模态切面医学影像进行特征提取，获得特征图，并将第一模态-切面编码信息与特征图按通道进行点积运算，获得第一信息融合结果，并将第一信息融合结果馈入特征金字塔网络；
多模态切面医学影像的模态-切面编码馈入第二浅层语义模态-切面编码器，所述第二浅层语义模态-切面编码器的输出端与所述特征金字塔网络采用通道匹配的方式连接；所述第二浅层语义模态-切面编码器用于对模态-切面编码进行信息提取，获得第二模态-切面编码信息，并将所述第二模态-切面编码信息发送给所述特征金字塔网络；
所述特征金字塔网络用于对第一信息融合结果进行特征提取，获得多尺度特征图，将第二模态-切面编码信息与多尺度特征图按通道进行点积运算，获得第二信息融合结果，并对第二信息融合结果进行卷积降维，得到词嵌入向量。
3.根据权利要求2所述的多模态影像胎儿胼胝体智能检测方法，其特征在于，所述特征提取骨干网络包括依次串联的多个残差模块；
在相邻两个残差模块之间设置有1*1卷积层，每个所述1*1卷积层分别与第一浅层语义模态-切面编码器的输出端连接；
第一浅层语义模态-切面编码器输出的第一模态-切面编码信息经转置得到通道维的第一模态-切面编码信息，通道维的第一模态-切面编码信息与第n个残差模块输出的特征图在第n个残差模块与第n+1个残差模块之间的1*1卷积层进行1*1卷积运算，得到经通道匹配后的编码信息，经通道匹配后的编码信息与第n个残差模块输出的特征图按通道进行点积运算，得到第n个残差模块输出的第一信息融合结果，输入第n+1个残差模块，最后一个残差模块输出的第二信息融合结果，作为特征提取骨干网络输出的第一信息融合结果。
4.根据权利要求2所述的多模态影像胎儿胼胝体智能检测方法，其特征在于，所述特征金字塔网络用于对第一信息融合结果进行
Figure FDA0003572137610000021
的下采样并与第二编码信息按通道做点积，得到胼胝体特征图像金字塔，并对胼胝体特征图像金字塔中的5个尺度的特征图进行concatenate连接，利用卷积进行通道降维得到词嵌入向量。
5.根据权利要求2所述的多模态影像胎儿胼胝体智能检测方法，其特征在于，所述第一浅层语义模态-切面编码器和所述第二浅层语义模态-切面编码器从输入至输出均依次包括第一卷积层、非线性激活函数层、第二卷积层和实例归一化层。
6.根据权利要求1所述的多模态影像胎儿胼胝体智能检测方法，其特征在于，Transformer网络模型包括空间位置编码器、模态-切面嵌入向量编码器、特征信息编码器、目标查询向量编码器和特征信息解码器；
所述空间位置编码器用于利用公式
Figure FDA0003572137610000031
对词嵌入向量进行空间位置编码，获得空间位置编码结果PE{pos,i}；pos表示特征图的第pos个词嵌入向量，j表示第pos个词嵌入向量的第j个像素点，dmodel表示词嵌入向量的维度；
所述模态-切面嵌入向量编码器用于对模态-切面编码进行信息提取，获得与空间位置编码相匹配的模态-切面嵌入向量，并将所述模态-切面嵌入向量与所述空间位置编码器输出的空间位置编码结果堆叠相加输入至特征信息编码器；
所述特征信息编码器用于将词嵌入向量与模态-切面嵌入向量按点相加后输入多头注意力机制模块，获得多维值向量的多通道权重矩阵；将词嵌入向量与空间位置编码结果按点相加后输入多头注意力机制模块，获得多维查询向量的多通道权重矩阵和多维键向量的多通道权重矩阵；
所述目标查询向量编码器用于生成与词嵌入向量维度相同的目标查询向量，并将所述目标查询向量和所述模态-切面嵌入向量堆叠相加后的结果输出给特征信息解码器；
所述特征信息解码器用于将词嵌入向量分别与多维值向量的多通道权重矩阵、多维键向量的多通道权重矩阵相乘，得到多维值矩阵V和多维键矩阵K，将词嵌入向量与所述目标查询向量和所述模态-切面嵌入向量堆叠相加后的结果进行拼接运算，再将拼接结果与多维查询向量的多通道权重矩阵相乘，得到多维查询矩阵Q，并根据多维值矩阵V、多维查询矩阵Q和多维键矩阵K，利用公式
Figure FDA0003572137610000032
进行解码；其中，Wo表示维度转换矩阵。
7.根据权利要求1所述的多模态影像胎儿胼胝体智能检测方法，其特征在于，所述胎儿胼胝体智能检测模型还包括分类器和边界框回归器；
所述分类器用于对预测的胼胝体目标框的前景信息和背景信息进行解耦，获得目标框的前景分类概率和背景分类概率；
所述边界框回归器用于对预测的胼胝体目标框的坐标信息进行解耦，获得目标框的位置。
8.根据权利要求1所述的多模态影像胎儿胼胝体智能检测方法，其特征在于，所述将预处理后的多模态切面医学影像和模态-切面编码输入胎儿胼胝体智能检测模型，对胎儿胼胝体智能检测模型进行训练，获得训练后的胎儿胼胝体智能检测模型，具体包括：
将预处理后的多模态切面医学影像和模态-切面编码输入胎儿胼胝体智能检测模型，获得预测目标框集合；所述预测目标框集合包括多个预测的胼胝体目标框；
根据预测目标框集合和标注的胼胝体目标框，计算损失函数值；
判断所述损失函数值是否小于损失函数阈值，获得判断结果；
若所述判断结果表示否，则更新胎儿胼胝体智能检测模型的参数，返回步骤“将预处理后的多模态切面医学影像和模态-切面编码输入胎儿胼胝体智能检测模型，获得预测的胼胝体目标框”；
若所述判断结果表示是，则输出更新后的胎儿胼胝体智能检测模型作为训练的胎儿胼胝体智能检测模型。
9.根据权利要求8所述的多模态影像胎儿胼胝体智能检测方法，其特征在于，所述预测目标框集合和标注的胼胝体目标框，计算损失函数值，具体包括：
根据预测的胼胝体目标框和标注的胼胝体目标框，利用公式
Figure FDA0003572137610000041
Figure FDA0003572137610000042
计算损失函数值；
其中，LHungarian表示损失函数值，ci表示第i个预测的胼胝体目标框的预测类别，若ci取0，表示第i个预测的胼胝体目标框的预测类别为背景，若ci取1，表示第i个预测的胼胝体目标框的预测类别为前景；p(ci)表示第i个预测的胼胝体目标框的类别为ci的概率；
Figure FDA0003572137610000043
和
Figure FDA0003572137610000044
分别表示第i个预测的胼胝体目标框和第i个标注的胼胝体目标框；Lbox表示预测的胼胝体目标框的坐标损失；
Figure FDA0003572137610000045
其中，λiou和λL1分别表示第一可学习的超参数和第二可学习的超参数；Liou表示预测的胼胝体目标框与标注的胼胝体目标框的交并比损失。
10.一种多模态影像胎儿胼胝体智能检测系统，其特征在于，所述检测系统包括：
胼胝体目标检测数据集建立模块，用于对多模态切面医学影像进行胼胝体目标框标注和影像模态-切面位信息标注，形成用于训练胎儿胼胝体智能检测模型的胼胝体目标检测数据集；
预处理模块，用于对胼胝体目标检测数据集中的多模态切面医学影像进行预处理，获得预处理后的多模态切面医学影像，对多模态切面医学影像的模态-切面信息进行编码，获得多模态切面医学影像的模态-切面编码；
模型建立模块，用于建立包括特征提取网络模型和Transformer网络模型的胎儿胼胝体智能检测模型；所述特征提取网络模型包括特征提取骨干网络、特征金字塔网络、第一浅层语义模态-切面编码器和第二浅层语义模态-切面编码器；
模型训练模块，用于将预处理后的多模态切面医学影像和模态-切面编码输入胎儿胼胝体智能检测模型，对胎儿胼胝体智能检测模型进行训练，获得训练后的胎儿胼胝体智能检测模型；
智能检测模块，用于利用训练后的胎儿胼胝体智能检测模型对待检测的多模态切面医学影像进行胎儿胼胝体智能检测，获得胎儿胼胝体检测结果。
CN202011550220.3A 2020-12-24 2020-12-24 一种多模态影像胎儿胼胝体智能检测方法及系统 Active CN112633378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011550220.3A CN112633378B (zh) 2020-12-24 2020-12-24 一种多模态影像胎儿胼胝体智能检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011550220.3A CN112633378B (zh) 2020-12-24 2020-12-24 一种多模态影像胎儿胼胝体智能检测方法及系统

Publications (2)

Publication Number Publication Date
CN112633378A CN112633378A (zh) 2021-04-09
CN112633378B true CN112633378B (zh) 2022-06-28

Family

ID=75324358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011550220.3A Active CN112633378B (zh) 2020-12-24 2020-12-24 一种多模态影像胎儿胼胝体智能检测方法及系统

Country Status (1)

Country Link
CN (1) CN112633378B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095419A (zh) * 2021-04-20 2021-07-09 中国石油大学(华东) 一种基于元学习的故障检测方法
CN113379674B (zh) * 2021-04-28 2022-05-13 北京医准智能科技有限公司 一种医学图像的检测方法及装置
CN113160265B (zh) * 2021-05-13 2022-07-19 四川大学华西医院 一种用于胼胝体状态评估的脑部胼胝体分割预测图像的构建方法
CN113658100A (zh) * 2021-07-16 2021-11-16 上海高德威智能交通系统有限公司 三维目标物体检测方法、装置、电子设备及存储介质
CN114332139A (zh) * 2021-12-29 2022-04-12 电子科技大学 一种基于先验交互强化学习的胎儿超声图像脑部分割方法
CN114638745B (zh) * 2022-03-16 2023-08-18 江南大学 一种基于多借鉴信息的医学影像智能转换方法
CN115578387A (zh) * 2022-12-06 2023-01-06 中南大学 一种基于多模态的阿尔茨海默症医学图像分类方法及系统
CN116825293B (zh) * 2023-08-25 2023-11-07 青岛市胶州中心医院 一种可视化产科影像检查处理方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102309322A (zh) * 2011-03-29 2012-01-11 中国人民解放军第三军医大学第一附属医院 核磁共振定位胎儿大脑三轴位的方法
CN104083170A (zh) * 2014-07-04 2014-10-08 深圳安科高技术股份有限公司 一种自动提取磁共振图像胼胝体的方法及系统
CN109978882A (zh) * 2019-04-09 2019-07-05 中康龙马(北京)医疗健康科技有限公司 一种基于多模态融合的医疗影像目标检测方法
CN110652317A (zh) * 2019-09-24 2020-01-07 深圳度影医疗科技有限公司 一种产前胎儿超声容积图像中标准切面的自动定位方法
CN110742654A (zh) * 2019-11-05 2020-02-04 深圳度影医疗科技有限公司 一种基于三维超声图像的标准切面的定位和测量方法
CN111161261A (zh) * 2020-01-07 2020-05-15 南京慧脑云计算有限公司 基于磁共振弥散张量脑影像的新生儿脑发育定量分析方法
CN111839515A (zh) * 2019-04-26 2020-10-30 西门子医疗系统有限公司 利用磁共振成像的胎儿胼胝体体积的测量方法及磁共振成像装置
CN111899253A (zh) * 2020-08-07 2020-11-06 长沙大端信息科技有限公司 胎儿颅脑切面图像的异常判断分析方法及装置
CN111951220A (zh) * 2020-07-10 2020-11-17 北京工业大学 一种基于多层面领域自适应技术的无监督脑出血分割方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680312B2 (en) * 2005-07-13 2010-03-16 Siemens Medical Solutions Usa, Inc. Method for knowledge based image segmentation using shape models
US8509537B2 (en) * 2010-08-05 2013-08-13 Xerox Corporation Learning weights of fonts for typed samples in handwritten keyword spotting
US8860715B2 (en) * 2010-09-22 2014-10-14 Siemens Corporation Method and system for evaluation using probabilistic boosting trees
CN110580695B (zh) * 2019-08-07 2022-06-21 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
CN111738314B (zh) * 2020-06-09 2021-11-02 南通大学 基于浅层融合的多模态图像能见度检测模型的深度学习方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102309322A (zh) * 2011-03-29 2012-01-11 中国人民解放军第三军医大学第一附属医院 核磁共振定位胎儿大脑三轴位的方法
CN104083170A (zh) * 2014-07-04 2014-10-08 深圳安科高技术股份有限公司 一种自动提取磁共振图像胼胝体的方法及系统
CN109978882A (zh) * 2019-04-09 2019-07-05 中康龙马(北京)医疗健康科技有限公司 一种基于多模态融合的医疗影像目标检测方法
CN111839515A (zh) * 2019-04-26 2020-10-30 西门子医疗系统有限公司 利用磁共振成像的胎儿胼胝体体积的测量方法及磁共振成像装置
CN110652317A (zh) * 2019-09-24 2020-01-07 深圳度影医疗科技有限公司 一种产前胎儿超声容积图像中标准切面的自动定位方法
CN110742654A (zh) * 2019-11-05 2020-02-04 深圳度影医疗科技有限公司 一种基于三维超声图像的标准切面的定位和测量方法
CN111161261A (zh) * 2020-01-07 2020-05-15 南京慧脑云计算有限公司 基于磁共振弥散张量脑影像的新生儿脑发育定量分析方法
CN111951220A (zh) * 2020-07-10 2020-11-17 北京工业大学 一种基于多层面领域自适应技术的无监督脑出血分割方法
CN111899253A (zh) * 2020-08-07 2020-11-06 长沙大端信息科技有限公司 胎儿颅脑切面图像的异常判断分析方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Incorporating shape prior into active contours with a sparse linear combination of training shapes: Application to corpus callosum segmentation;Mohammad M. Farhangi等;《IEEE》;20160820;第6449-6452页 *
超声诊断胎儿胼胝体发育不全的应用价值;李百玲等;《中国妇幼保健》;20191101;第5076-5078页 *

Also Published As

Publication number Publication date
CN112633378A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112633378B (zh) 一种多模态影像胎儿胼胝体智能检测方法及系统
CN111985369B (zh) 基于跨模态注意力卷积神经网络的课程领域多模态文档分类方法
WO2020140487A1 (zh) 用于智能设备的人机交互语音识别方法及系统
CN112766172B (zh) 一种基于时序注意力机制的人脸连续表情识别方法
CN112633364A (zh) 一种基于Transformer-ESIM注意力机制的多模态情绪识别方法
CN115132313A (zh) 基于注意力机制的医学影像报告自动生成方法
CN109902714B (zh) 一种基于多图正则化深度哈希的多模态医学图像检索方法
CN114547298A (zh) 基于多头注意力和图卷积网络结合R-Drop机制的生物医学关系抽取方法、装置和介质
CN116340513A (zh) 一种基于标签与文本交互的多标签情感分类方法和系统
CN112216379A (zh) 一种基于智能联合学习的疾病诊断系统
Huang et al. Sentence-embedding and similarity via hybrid bidirectional-lstm and cnn utilizing weighted-pooling attention
CN116701996A (zh) 基于多元损失函数的多模态情感分析方法、系统、设备及介质
CN115662565A (zh) 一种融合标签信息的医学影像报告生成方法及设备
CN116124448A (zh) 用于风电齿轮箱的故障诊断系统及其方法
JP2023017759A (ja) セマンティック増強に基づく画像識別モデルのトレーニング方法およびトレーニング装置
CN117371447A (zh) 命名实体识别模型的训练方法、装置及存储介质
CN112052685A (zh) 一种基于二维时序网络的端到端文本实体关系识别方法
CN114973222B (zh) 基于显式监督注意力机制的场景文本识别方法
Dwivedi et al. EMViT-Net: A novel transformer-based network utilizing CNN and multilayer perceptron for the classification of environmental microorganisms using microscopic images
CN117151223B (zh) 一种基于可学习提示的多模态实体识别和关系抽取方法
CN113780350B (zh) 一种基于ViLBERT和BiLSTM的图像描述方法
Le et al. A hybrid vision transformer approach for mathematical expression recognition
CN115905533B (zh) 一种多标签文本智能分类方法
CN111859947B (zh) 一种文本处理装置、方法、电子设备及存储介质
CN117610575A (zh) 一种多语言的视觉词义消歧方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant