CN113449770A - 图像检测方法以及电子设备、存储装置 - Google Patents
图像检测方法以及电子设备、存储装置 Download PDFInfo
- Publication number
- CN113449770A CN113449770A CN202110542047.0A CN202110542047A CN113449770A CN 113449770 A CN113449770 A CN 113449770A CN 202110542047 A CN202110542047 A CN 202110542047A CN 113449770 A CN113449770 A CN 113449770A
- Authority
- CN
- China
- Prior art keywords
- feature
- pixel position
- features
- target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 230000004927 fusion Effects 0.000 claims abstract description 57
- 238000010586 diagram Methods 0.000 claims abstract description 24
- 230000001575 pathological effect Effects 0.000 claims description 59
- 238000000034 method Methods 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 31
- 230000000295 complement effect Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 9
- 230000007170 pathology Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 12
- 238000010606 normalization Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000002349 favourable effect Effects 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 206010003571 Astrocytoma Diseases 0.000 description 1
- 206010051290 Central nervous system lesion Diseases 0.000 description 1
- 201000010133 Oligodendroglioma Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000005017 glioblastoma Diseases 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请公开了一种图像检测方法以及电子设备、存储装置，其中，图像检测方法包括：提取第一模态图像的第一特征图，并提取第二模态图像的第二特征图；其中，第一模态图像和第二模态图像均为对目标对象采集得到的；提取第一特征图中各个第一像素位置的第一位置特征，并提取第二特征图中各个第二像素位置的第二位置特征；将各个第一像素位置的第一位置特征和各个第二像素位置的第二位置特征进行融合，得到模态融合特征；利用模态融合特征进行检测，得到目标对象的预测类别。上述方案，能够提高多模态图像检测的效率和精度。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像检测方法以及电子设备、存储装置。
背景技术
相较于单模态图像而言，多模态图像能够提供更为丰富的信息而被广泛应用。以医学应用场景为例，CT(Computed Tomography，计算机断层扫描)和MRI(MagneticResonance Imaging，核磁共振扫描)等扫描图像通常能够提供相对丰富的器官整体信息，而组织切片等的病理图像往往能够提供相对丰富的局部细节信息，因此通过分别审阅扫描图像和病理图像，能够综合器官整体信息和局部细节信息，显著提升辅助诊断效果。
目前，一般通过人工审阅多模态图像，效率较低，且受不可避免的主观性、个体专业知识水平和经验等因素影响，难以确保审阅的准确性。有鉴于此，如何提高多模态图像检测的效率和精度成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种图像检测方法以及电子设备、存储装置，能够提高多模态图像检测的效率和精度。
为了解决上述问题，本申请第一方面提供了一种图像检测方法，包括：提取第一模态图像的第一特征图，并提取第二模态图像的第二特征图；其中，第一模态图像和第二模态图像均为对目标对象采集得到的；提取第一特征图中各个第一像素位置的第一位置特征，并提取第二特征图中各个第二像素位置的第二位置特征；将各个第一像素位置的第一位置特征和各个第二像素位置的第二位置特征进行融合，得到模态融合特征；利用模态融合特征进行检测，得到目标对象的预测类别。
为了解决上述问题，本申请第二方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的图像检测方法。
为了解决上述问题，本申请第三方面提供了一种存储装置，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的图像检测方法。
上述方案，提取第一模态图像的第一特征图，并提取第二模态图像的第二特征图，且第一模态图像和第二模态图像均为对目标对象采集得到的，在此基础上，提取第一特征图中各个第一像素位置的第一位置特征，并提取第二特征图中各个第二像素位置的第二位置特征，以及将各个第一像素位置的第一位置特征和各个第二像素位置的第二位置特征进行融合，得到模态融合特征，并利用模态融合特征进行检测，得到目标对象的预测类别，由于无需依赖人工检阅，通过将各个第一像素位置的第一位置特征和各个第二像素位置的第二位置特征进行融合，能够将不同模态图像在不同像素位置进行特征融合，有利于提升不同模态之间的互补性，从而能够有利于提高基于模态融合特征的检测精度。故此，能够提高多模态图像检测的效率和精度。
附图说明
图1是本申请图像检测方法一实施例的流程示意图；
图2是多模态图像一实施例的示意图；
图3是融合病理特征一实施例的示意图；
图4是融合病理特征另一实施例的示意图；
图5是融合第一位置特征和第二位置特征一实施例的示意图；
图6是模态增强一实施例的流程示意图；
图7是本申请电子设备一实施例的框架示意图；
图8是本申请存储装置一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请图像检测方法一实施例的流程示意图。
具体而言，可以包括如下步骤：
步骤S11：提取第一模态图像的第一特征图，并提取第二模态图像的第二特征图。
本公开实施例中，第一模态图像和第二模态图像均为对目标对象采集得到的。请结合参阅图2，图2是多模态图像一实施例的示意图。如图2所示，以医学应用场景为例，第一模态图像可以是对目标对象(如，脑部区域)采集(如，通过染色、显微等步骤)得到的病理图像，第二模态图像可以是对目标对象(如，脑部区域)采集得到的扫描图像。请继续结合参阅图2，第二模态图像可以包括通过至少一种扫描参数(如，T1、T1-ce、T2、Flair等)扫描得到的若干扫描图像。需要说明的是，第二模态图像可以包括但不限于：CT图像、MRI图像等，在此不做限定。或者，以视频监控场景为例，第一模态图像可以是对目标对象(如，人等)采集得到的可见光图像，第二模态图像可以是对目标对象(如，人等)采集得到的红外图像；或者，以运动检测场景为例，第一模态图像可以是对目标对象(如，车辆等)采集得到的可见光图像，第二模态图像可以是对目标对象(如，车辆等)采集得到的深度图像。其他场景可以以此类推，在此不再一一举例。
在一个实施场景中，以第一模态图像是病理图像为例，病理图像一般具有较高的图像分辨率(如，10W*10W)，故能够提供丰富的局部细节信息，然而也为特征提取造成了阻碍。有鉴于此，可以在病理图像采样得到若干子图像，并选择至少部分子图像作为目标图像，基于此可以进一步对目标图像进行特征提取，得到目标图像的病理特征，并利用目标图像的子图重要度对病理特征进行加权处理，得到第一特征图，且子图重要度是基于病理特征得到的。上述方式，在第一模态图像为病理图像的情况下，在病理图像采样得到若干子图像，并选择至少部分子图像作为目标图像，基于此再对目标图像进行特征提取，得到目标图像的病理特征，并基于病理特征得到目标图像的子图重要度，从而利用目标图像的子图重要度对病理特征进行加权处理，得到第一特征图，进而能够通过不同目标图像的子图重要度融合病理特征，一方面通过选择至少部分子图像，能够有利于大大减轻处理负荷，另一方面通过子图重要度融合病理特征，能够有利于突显重要子图的病理特征，弱化次要(或噪声)子图的病理特征，以提升第一特征图的准确性。
在一个具体的实施场景中，可以采用预设滑窗在病理图像上采样得到若干子图像。预设滑窗的尺寸可以为512*512，预设滑窗的步长可以为256，即采样得到的子图像的尺寸为512*512，且每隔256像素在病理图像上采样一次。需要说明的是，上述预设滑窗的尺寸和步长仅仅是实际应用时可能采取的一种情况，并不因此而限定预设滑窗的尺寸和步长，具体可以根据实际应用需要进行设置，在此不做限定。
在另一个具体的实施场景中，在采样得到若干子图像之后，可以分别统计若干子图像的前景区域的信息熵，并选择信息熵满足预设条件的子图像，作为目标图像。具体地，可以先对子图像进行二值化处理，以确定子图像中的前景区域，在此基础上，再计算子图像的前景区域的信息熵，信息熵的具体计算方式，可以参阅关于信息熵的技术细节，在此不再赘述。此外，预设条件可以设置为按照信息熵从高到低排序后位于前预设序位(如，前500位、前100位等)。上述方式，通过分别统计若干子图像的前景区域的信息熵，并选择信息熵满足预设条件的子图像，作为目标图像，能够有利于尽可能地选择得到富含病理特征信息的目标图像，有利于降低信息冗余，提高特征提取效率以及准确性。
在又一个具体的实施场景中，请结合参阅图3，图3是融合病理特征一实施例的示意图。如图3所示，病理图像经上述采样子图像、选择子图像以及特征提取之后，可以得到M个目标图像的病理特征(如图3中C*8*8大小的长方体所示)，可以利用诸如GAP(GlobalAverage Pooling，全局平均池化)等操作将上述病理特征进行降维(如，降维到C*1*1大小)，并基于降维之后的病理特征进行权重预测，得到M个目标图像的子图重要度，并利用目标图像的子图重要度对病理特征进行加权处理(如，先进行图3中
所示的加权运算，后进行如图3中
所示的求和运算)，得到第一特征图(如图2中C*8*8大小的第一特征图)。
在又一个具体的实施场景中，上述子图重要度可以是利用权重预测网络对病理特征进行预测得到的，权重预测网络具体可以包括但不限于：卷积层、全连接层、归一化层等，在此不做限定。此外，上述子图重要度也可以是基于注意力机制(如，自注意力机制)处理病理特征而得到的，基于注意力机制处理病理特征的具体过程，可以参阅注意力机制的技术细节，在此不再赘述。上述方式，通过利用权重预测网络对病理特征进行预测，得到子图重要度，能够有利于提高获取子图重要度的效率；而基于注意力机制处理病理特征，得到子图重要度，能够有利于提升子图重要度的精度。
在又一个具体的实施场景中，为了提升图像检测效率，可以预先训练一个图像检测模型，该图像检测模型可以包括一个第一特征提取网络，从而可以直接利用第一特征提取网络提取上述目标图像的病理特征。具体地，第一特征提取网络可以包括但不限于：2D-densenet等，在此不做限定。在训练第一特征提取网络之前，可以在样本病理图像采样得到若干样本子图像，且样本病理图像标注有实际类别(如，病症类别)，并选择至少部分样本子图像作为样本图像，且样本图像也统一标注有上述实际类别，并利用第一特征提取网络对样本图像进行特征提取，得到样本图像的样本病理特征，在此基础上，利用样本病理特征预测得到样本图像的预测类别，并基于实际类别与预测类别之间的差异，调整第一特征提取网络的网络参数，如可以利用交叉熵损失函数处理实际类别与预测类别，得到第一损失，并利用第一损失进行梯度反传，优化第一特征提取网络的网络参数。需要说明的是，为了降低第一特征提取网络过拟合的概率，在训练过程中，还可以对样本图像进行数据增广，还可以采用dropout，在此不做限定。
在另一个实施场景中，请结合参阅图4，图4是融合病理特征另一实施例的示意图。如图4所示，仍以第一模态图像是病理图像为例，区别于前述通过子图重要度融合得到第一特征图的方案，病理图像经上述采样子图像、选择子图像以及特征提取之后，可以得到M个目标图像的病理特征(如图4中C*8*8大小的长方体所示)，在此基础上，可以在M个目标图像的病理特征按照对应位置求取最大值(或最小值、或平均值)，得到第一特征图。
在一个实施场景中，以第二模态图像包括通过至少一种扫描参数(如，T1、T1-ce、T2、Flair等)扫描得到的若干扫描图像为例，可以将若干扫描图像沿通道维度进行拼接，得到拼接图像，并对拼接图像进行特征提取，得到第二特征图。上述方式，在第二模态图像包括通过至少一种扫描参数扫描打动的若干扫描图像的情况下，通过将若干扫描图像沿着通道维度进行拼接，得到拼接图像，并对拼接图像进行特征提取，得到第二特征图，能够充分融合不同通道的扫描图像在各个像素位置的特征信息，提高第二特征图的准确性。
在一个具体的实施场景中，为了进一步提高第二特征图的准确性，在将若干扫描图像沿通道维度进行拼接之前，还可以先对若干扫描图像进行图像配准，再将配准之后的扫描图像中与目标对象无关的图像区域去除，再将经上述处理之后的扫描图像采样至相同分辨率。
在另一个具体的实施场景中，为了提升图像检测效率，可以预先训练一个图像检测模型，该图像检测模型可以包括一个第二特征提取网络，从而可以直接利用第二特征提取网络提取上述拼接图像的第二图像特征。具体地，第二特征提取网络可以包括但不限于：3D-densenet等等，在此不做限定。在训练第二特征提取网络之前，可以先获取通过至少一种扫描参数(如前述T1、T1-ce、T2、Flair等)对目标对象扫描得到的若干样本扫描图像，且样本扫描图像标注有实际类别(如，病症类别)，在此基础上，可以将若干样本扫描图像沿通道维度进行拼接，得到样本拼接图像，并利用第二特征提取网络对样本拼接图像进行特征提取，得到样本第二特征图，并利用样本第二特征图预测得到样本扫描图像的预测类别，以基于实际类别与预测类别之间差异，调整第二特征提取网络的网络参数，如可以利用交叉熵损失函数处理实际类别与预测类别，得到第二损失，并利用第二损失进行梯度反传，优化第二特征提取网络的网络参数。需要说明的是，为了降低第二特征提取网络过拟合的概率，在训练过程中，还可以对样本图像进行数据增广，还可以采用dropout，在此不做限定。
步骤S12：提取第一特征图中各个第一像素位置的第一位置特征，并提取第二特征图中各个第二像素位置的第二位置特征。
在一个实施场景中，可以提取第一特征图内处于不同通道且相同第一像素位置处的特征元素，得到第一像素位置的第一位置特征。以第一特征图是C*8*8为例，其中，C表示第一特征图的通道数，8*8表示每一通道的分辨率，则可以在C个通道中分别提取处于第i行第j列的特征元素，并组合为一个长度为C且对应于第i行第j列的第一像素位置的第一位置特征，其他第一像素位置可以以此类推，从而可以得到分别对应于64个第一像素位置且长度均为C的第一位置特征。在第一特征图为其他尺寸时，可以以此类推，在此不再一一举例。
在一个实施场景中，可以提取第二特征图内处于不同通道且相同第二像素位置处的特征元素，得到第二像素位置的第二位置特征。以第二特征图是C*4*4*4为例，其中，C表示第二特征图的通道数，4*4*4表示每一通道的分辨率，则可以在C个通道中均分别提取处于(k,m,n)第二像素位置的特征元素，并组合为第一长度为C且对应于第二像素位置(k,m,n)的第二位置特征，其他第二像素位置可以以此类推，从而可以得到分别对应于64个第二像素位置且长度均为C的第二位置特征。在第二特征图为其他尺寸时，可以以此类推，在此不再一一举例。
在一个实施场景中，如前所述，第一特征图和第二特征图的通道数可以均为预设数值C，且第一位置特征和第二位置特征的长度可以均为预设数值C。
步骤S13：将各个第一像素位置的第一位置特征和各个第二像素位置的第二位置特征进行融合，得到模态融合特征。
在一个实施场景中，在不同模态数据的像素位置能够匹配对应的情况下，针对每一第一像素位置，可以将第一像素位置的第一位置特征和与第一像素位置对应的第二像素位置的第二位置特征进行融合，得到第一像素位置的第一增强特征，针对每一第二像素位置，可以将第二像素位置的第二位置特征和与第二像素位置对应的第一像素位置的第一位置特征进行融合，得到第二像素位置的第二增强特征，最后可以将第一增强特征和第二增强特征进行再次融合，得到模态融合特征。
在一个具体的实施场景中，为了便于描述，可以将第i个第一像素位置的第一位置特征记为qi，并将第j个第二像素位置的第二位置特征记为kj，则在不同模态数据的像素位置能够匹配对应的情况下，对于第i个第一像素位置而言，可以将qi与对应像素位置的第二位置特征ki进行融合，得到第一增强特征Er(i)，类似地，对于第j个第二像素位置而言，可以将kj与对应像素位置的第一位置特征qj进行融合，得到第二增强特征Ep(j)。其他像素位置可以以此类推，在此不再一一举例。
在另一个具体的实施场景中，在融合第一像素位置的第一位置特征和与第一像素位置对应的第二像素位置的第二位置特征过程中，可以利用第一像素位置的第一权值和第二权值分别对第一像素位置的第一位置特征和与第一像素位置对应的第二像素位置的第二位置特征进行加权处理。具体地，第一像素位置的第一权值和第二权值之和可以为1。此外，在融合第二像素位置的第二位置特征和与第二像素位置对应的第一像素位置的第一位置特征的过程中，可以利用第二像素位置的第三权值和第四权值分别对第二像素位置的第二位置特征和与第二像素位置对应的第一像素位置的第一位置特征进行加权处理。具体地，用第二像素位置的第三权值和第四权值之和可以为1。
在又一个具体的实施场景中，在融合第一增强特征和第二增强特征的过程中，可以利用第一模态的第五权值和第二模态的第六权值分别将第一增强特征和第二增强特征进行加权处理，得到模态融合特征。具体地，第一模态的第五权值和第二模态的第六权值之和可以为1。
在另一个实施场景中，不同模态数据的像素位置也可能并不能够匹配对应，则针对每一第一像素位置，可以基于第一像素位置的第一位置特征分别与各个第二像素位置的第二位置特征之间的第一相关度，对第一像素位置的第一位置特征进行模态增强，得到第一像素位置的第一增强特征，以及针对每一第二像素位置，可以基于第二像素位置的第二位置特征分别与各个第一像素位置的第一位置特征之间的第二相关度，对第二像素位置的第二位置特征进行模态增强，得到第二像素位置的第二增强特征，最后可以利用第一相关度和第二相关度，将第一增强特征和第二增强特征进行融合，得到模态融合特征。上述方式，通过第一像素位置与各个第二像素位置的第二位置特征之间的第一相关度，对第一像素位置的第一位置特征进行模态增强，以及通过第二像素位置的第二位置特征分别与各个第一像素位置的第一位置特征之间的第二相关度，对第二像素位置的第二位置特征进行模态增强，故即使不同模态数据之间像素位置并不匹配对应，也能够基于像素位置的位置特征之间的相关度来进行模态增强，以实现模态互补，故能够有利于大大提升多模态图像检测的适用范围。
需要说明的是，如前所述，区别于直接在输入端沿通道维度进行融合，或在中间层对特征进行融合，或者在输出层在后验概率上进行融合等简单融合操作，前述场景基于各个像素位置之间的相关度，在各个像素位置的“细粒度”层面进行交叉融合，不仅能够适用于像素位置并不匹配对应的多模态数据，还能够有利于提高不同模态数据之间的互补性。
在一个具体的实施场景中，请结合参阅图5，图5是融合第一位置特征和第二位置特征一实施例的示意图。如图5所示，针对每一第一像素位置，可以通过交叉注意力机制(即Cross Attention)计算得到该第一像素位置的第一位置特征分别与各个第二像素位置的第二位置特征之间的第一相关度，类似地，针对每一第二像素位置，可以通过交叉注意力机制(即Cross Attention)计算得到该第二像素位置的第二位置特征分别与各个第一像素位置的第一位置特征之间的第二相关度。交叉熵注意力机制的具体过程，可以参阅下述公开实施例中相关描述，在此暂不赘述。
在另一个具体的实施场景中，如前所述，针对每一第一像素位置，可以获取到第一像素位置的第一位置特征分别与各个第二像素位置的第二位置特征之间的第一相关度，且针对每一第二像素位置，可以获取到第二像素位置的第二位置特征分别与各个第一像素位置的第一位置特征之间的第二相关度。为了便于描述，以第一像素位置共计N个且第二像素位置也共计N个为例，则针对第i个第一像素位置，可以获取到第i个第一像素位置的第一位置特征分别与第1个、第2个、……、第N个第二像素位置的第二位置特征之间的第一相关度(即共计N个第一相关度)，以此类推，针对N个第一像素位置，共可以获取N*N个第一相关度，为了便于描述，第i个第一像素位置的第一位置特征和第j个像素位置的第二位置特征之间的第一相关度可以记为Mr(i,j)；类似地，针对第i个第二像素位置，可以获取第i个像素位置的第二位置特征分别与第1个、第2个、……、第N个第一像素位置的第一位置特征之间的第二相关度(即共计N个第二相关度)，以此类推，针对N个第二像素位置，共可以获取N*N个第二相关度，为了便于描述，第i个第二像素位置的第二位置特征和第j个第一像素位置的第一位置特征之间的第二相关度可以记为Mp(i,j)。在此基础上，可以基于针对各个第一像素位置所得到的第一相关度Mr(i,j)，得到第一增强特征的第一模态重要度rr，并基于针对各个第二像素位置所得到的第二相关度Mp(i,j)，得到第二增强特征的第二模态重要度rp，从而可以利用第一模态重要度和第二模态重要度分别对第一增强特征和第二增强特征进行加权处理，得到模态融合特征F(n)：
F(n)＝(rr×Er(n)+rp×Ep(n))/(rr+rp)……(1)
上述公式(1)中，Er(n)表示第n个第一像素位置的第一增强特征，Ep(n)表示第n个第二像素位置的第二增强特征，F(n)表示第n个像素位置的模态融合特征。上述方式，通过针对各个第一像素位置所得到的第一相关度，得到第一增强特征的第一模态重要度，并通过针对各个第二像素位置所得到的第二相关度，得到第二增强特征的第二模态重要度，在此基础上，再利用第一模态重要度和第二模态重要度分别对第一增强特征和第二增强特征进行加权，得到模态融合特征，能够有利于根据不同模态的重要度，侧重参考重要模态的增强特征，有利于提升模态融合特征的准确性。
此外，具体可以对各个第一像素位置所得到的第一相关度Mr(i,j)进行均值操作，得到第一模态重要度rr，并对各个第二像素位置所得到的第二相关度Mp(i,j)进行均值操作，得到第二模态重要度rp：
步骤S14：利用模态融合特征进行检测，得到目标对象的预测类别。
具体地，在得到多模态图像的模态融合特征之后，即可利用模态融合特征进行检测，得到目标对象的预测类别。例如，为了提高图像检测的效率和准确性，如前所述可以预先训练一个图像检测模型，且该图像检测模型还可以进一步包括类别预测网络(如，类别预测网络可以包括但不限于全连接层、归一化层等，在此不做限定)，在此基础上，可以将模态融合特征输入类别预测网络，得到目标对象的预测类别。仍以目标对象是脑部为例，预测类别可以包括但不限于脑部病变类别，如星形细胞瘤、少突胶质细胞瘤、胶质母细胞瘤等等。其他场景可以以此类推，在此不再一一举例。
上述方案，提取第一模态图像的第一特征图，并提取第二模态图像的第二特征图，且第一模态图像和第二模态图像均为对目标对象采集得到的，在此基础上，提取第一特征图中各个第一像素位置的第一位置特征，并提取第二特征图中各个第二像素位置的第二位置特征，以及将各个第一像素位置的第一位置特征和各个第二像素位置的第二位置特征进行融合，得到模态融合特征，并利用模态融合特征进行检测，得到目标对象的预测类别，由于无需依赖人工检阅，通过将各个第一像素位置的第一位置特征和各个第二像素位置的第二位置特征进行融合，能够将不同模态图像在不同像素位置进行特征融合，有利于提升不同模态之间的互补性，从而能够有利于提高基于模态融合特征的检测精度。故此，能够提高多模态图像检测的效率和精度。
请参阅图6，图6是模态增强一实施例的流程示意图。需要说明的是，本公开实施例中，在目标像素位置为第一像素位置的情况下，目标位置特征为第一位置特征，候选像素位置为第二像素位置，特征相关度为第一相关度，候选位置特征为第二位置特征，且目标增强特征为第一增强特征；在目标像素位置为第二像素位置的情况下，目标位置特征为第二位置特征，候选像素位置为第一像素位置，特征相关度为第二相关度，候选位置特征为第一位置特征，且目标增强特征为第二增强特征。具体而言，本公开实施例可以包括如下步骤：
步骤S61：获取目标像素位置的目标位置特征分别与各个候选像素位置的候选位置特征之间的特征相关度。
请结合参阅图5，以目标像素位置为第i个第一像素位置为例，目标位置特征可以记为qi，各个候选像素位置的候选位置特征可以分别记为k1,k2,k3,L,kN-2,kN-1,kN，以其中第j个候选像素位置的候选位置特征kj为例，可以将目标位置特征qi和候选位置特征kj进行拼接，并将拼接后的位置特征送入多层感知机，从而预测得到目标位置特征qi和候选位置特征kj之间的特征相似度ei,j：
ei,j＝f(qi,kj)……(3)
上述公式(3)中，f表示多层感知机对应的函数。在目标像素位置为第二像素位置的情况下，可以以此类推，在此不再一一举例。
步骤S62：利用特征相关度分别对候选位置特征进行加权，得到目标位置特征的模态互补特征。
具体地，在得到目标像素位置的目标位置特征分别与各个候选像素位置的候选位置特征之间的特征相关度之后，为了提高模态互补特征的准确性，可以先对特征相关度进行归一化处理，并利用归一化处理之后的特征相关度对候选位置特征进行加权求和，得到目标位置特征的模态互补特征。如前述公开实施例所述，遍历所有第一像素位置之后，可以得到N*N个特征相关度，则可以对特征相关度以行为维度进行归一化，其每一行的特征相关度代表其中一个目标像素位置的目标位置特征分别与各个候选像素位置的候选位置特征之间的特征相关度，之后再利用归一化之后的特征相关度对候选位置特征进行加权求和，得到模态互补特征。仍以目标位置为第i个第一像素位置为例，模态互补特征Qr(i)可以表示为：
上述公式(4)中，softmax表示归一化函数，axis＝row表示按行维度，即softmax(ei,j,axis＝row)表示按行对特征相关度进行归一化。
步骤S63：将模态互补特征和目标位置特征进行融合，得到目标像素位置的目标增强特征。
仍以目标位置为第i个第一像素位置为例，在得到模态互补特征Qr(i)之后，可以将模态互补特征Qr(i)和目标位置特征qi相加，以融合得到目标像素位置的目标增强特征Er(i)：
Er(i)＝Qr(i)+qi……(5)
上述方案，通过获取目标像素位置的目标位置特征分别与各个候选像素位置的候选位置特征之间的特征相关度，并利用特征相关度分别对候选位置特征进行加权，得到目标位置特征的模态互补特征，从而将模态互补特征和目标位置特征进行融合，得到目标像素位置的目标增强特征，且在目标像素位置为第一像素位置的情况下，目标位置特征为第一位置特征，候选像素位置为第二像素位置，特征相关度为第一相关度，候选位置特征为第二位置特征，且目标增强特征为第一增强特征；在目标像素位置为第二像素位置的情况下，目标位置特征为第二位置特征，候选像素位置为第一像素位置，特征相关度为第二相关度，候选位置特征为第一位置特征，且目标增强特征为第二增强特征，故此，一方面可以针对第一像素位置进行交叉融合以及针对第二像素位置进行交叉融合过程中，采用相似的处理步骤，能够有利于降低融合的复杂度，另一方面，在交叉融合过程中，通过目标位置特征与各个候选位置特征之间特征相似度来对各个候选位置特征之间加权，能够有利于多参考与目标像素位置的目标位置特征强相关的候选位置特征，并适当少参考与目标像素位置的目标位置特征弱相关的候选位置特征，能够有利于提高模态互补特征对于目标位置特征的互补价值。
请参阅图7，图7是本申请电子设备70一实施例的框架示意图。电子设备70可以包括相互耦接的存储器71和处理器72，存储器71中存储有程序指令，处理器72用于执行程序指令以实现上述任一图像检测方法实施例中的步骤。具体地，电子设备70可以包括但不限于：台式计算机、笔记本电脑、服务器等，在此不做限定。
具体而言，处理器72用于控制其自身以及存储器71以实现上述任一图像检测方法实施例中的步骤。处理器72还可以称为CPU(Central Processing Unit，中央处理单元)。处理器72可能是一种集成电路芯片，具有信号的处理能力。处理器72还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器72可以由集成电路芯片共同实现。
本公开实施例中，处理器72用于提取第一模态图像的第一特征图，并提取第二模态图像的第二特征图；其中，第一模态图像和第二模态图像均为对目标对象采集得到的；处理器72用于提取第一特征图中各个第一像素位置的第一位置特征，并提取第二特征图中各个第二像素位置的第二位置特征；处理器72用于将各个第一像素位置的第一位置特征和各个第二像素位置的第二位置特征进行融合，得到模态融合特征；处理器72用于利用模态融合特征进行检测，得到目标对象的预测类别。
上述方案，提取第一模态图像的第一特征图，并提取第二模态图像的第二特征图，且第一模态图像和第二模态图像均为对目标对象采集得到的，在此基础上，提取第一特征图中各个第一像素位置的第一位置特征，并提取第二特征图中各个第二像素位置的第二位置特征，以及将各个第一像素位置的第一位置特征和各个第二像素位置的第二位置特征进行融合，得到模态融合特征，并利用模态融合特征进行检测，得到目标对象的预测类别，由于无需依赖人工检阅，通过将各个第一像素位置的第一位置特征和各个第二像素位置的第二位置特征进行融合，能够将不同模态图像在不同像素位置进行特征融合，有利于提升不同模态之间的互补性，从而能够有利于提高基于模态融合特征的检测精度。故此，能够提高多模态图像检测的效率和精度。
在一些公开实施例中，处理器72用于针对每一第一像素位置，基于第一像素位置的第一位置特征分别与各个第二像素位置的第二位置特征之间的第一相关度，对第一像素位置的第一位置特征进行模态增强，得到第一像素位置的第一增强特征；以及，处理器72用于针对每一第二像素位置，基于第二像素位置的第二位置特征分别与各个第一像素位置的第一位置特征之间的第二相关度，对第二像素位置的第二位置特征进行模态增强，得到第二像素位置的第二增强特征；处理器72用于利用第一相关度和第二相关度，将第一增强特征和第二增强特征进行特征融合，得到模态融合特征。
因此，通过第一像素位置与各个第二像素位置的第二位置特征之间的第一相关度，对第一像素位置的第一位置特征进行模态增强，以及通过第二像素位置的第二位置特征分别与各个第一像素位置的第一位置特征之间的第二相关度，对第二像素位置的第二位置特征进行模态增强，故即使不同模态数据之间像素位置并不匹配对应，也能够基于像素位置的位置特征之间的相关度来进行模态增强，以实现模态互补，故能够有利于大大提升多模态图像检测的适用范围。
在一些公开实施例中，处理器72用于获取目标像素位置的目标位置特征分别与各个候选像素位置的候选位置特征之间的特征相关度；处理器72用于利用特征相关度分别对候选位置特征进行加权，得到目标位置特征的模态互补特征；处理器72用于将模态互补特征和目标位置特征进行融合，得到目标像素位置的目标增强特征；其中，在目标像素位置为第一像素位置的情况下，目标位置特征为第一位置特征，候选像素位置为第二像素位置，特征相关度为第一相关度，候选位置特征为第二位置特征，且目标增强特征为第一增强特征；在目标像素位置为第二像素位置的情况下，目标位置特征为第二位置特征，候选像素位置为第一像素位置，特征相关度为第二相关度，候选位置特征为第一位置特征，且目标增强特征为第二增强特征。
因此，一方面可以针对第一像素位置进行交叉融合以及针对第二像素位置进行交叉融合过程中，采用相似的处理步骤，能够有利于降低融合的复杂度，另一方面，在交叉融合过程中，通过目标位置特征与各个候选位置特征之间特征相似度来对各个候选位置特征之间加权，能够有利于多参考与目标像素位置的目标位置特征强相关的候选位置特征，并适当少参考与目标像素位置的目标位置特征弱相关的候选位置特征，能够有利于提高模态互补特征对于目标位置特征的互补价值。
在一些公开实施例中，处理器72用于对特征相关度进行归一化处理，并利用归一化之后的特征相关度对候选位置特征进行加权求和，得到模态互补特征，和/或，处理器72用于将目标像素位置的模态互补特征和目标位置特征相加，得到目标像素位置的目标增强特征。
因此，通过对特征相关度进行归一化处理，并利用归一化之后的特征相关度对候选位置特征进行加权求和，得到模态互补特征，能够有利于提高模态互补特征的准确性；而将目标像素位置的模态互补特征和目标位置特征相加，得到目标像素位置的目标增强特征，能够有利于降低特征融合的复杂度。
在一些公开实施例中，处理器72用于基于针对各个第一像素位置所得到的第一相关度，得到第一增强特征的第一模态重要度；以及，处理器72用于基于针对各个第二像素位置所得到的第二相关度，得到第二增强特征的第二模态重要度；处理器72用于利用第一模态重要度和第二模态重要度分别对第一增强特征和第二增强特征进行加权，得到模态融合特征。
因此，通过针对各个第一像素位置所得到的第一相关度，得到第一增强特征的第一模态重要度，并通过针对各个第二像素位置所得到的第二相关度，得到第二增强特征的第二模态重要度，在此基础上，再利用第一模态重要度和第二模态重要度分别对第一增强特征和第二增强特征进行加权，得到模态融合特征，能够有利于根据不同模态的重要度，侧重参考重要模态的增强特征，有利于提升模态融合特征的准确性。
在一些公开实施例中，处理器72用于提取第一特征图内处于不同通道且相同第一像素位置处的特征元素，得到第一像素位置的第一位置特征；和/或，处理器72用于提取第二特征图内处于不同通道且相同第二像素位置处的特征元素，得到第二像素位置的第二位置特征；和/或，第一特征图和第二特征图的通道数均为预设数值，且第一位置特征和第二位置特征的长度均为预设数值。
因此，通过提取第一特征图内处于不同通道且相同第一像素位置处的特征元素，得到第一像素位置的第一位置特征，能够有利于提高不同第一像素位置的第一位置特征的准确性；而通过提取第二特征图内处于不同通道且相同第二像素位置处的特征元素，得到第二像素位置的第二位置特征，能够有利于提高不同第二像素位置的第二位置特征的准确性；而将第一特征图和第二特征图的通道数均设置为预设数值，且第一位置特征和第二位置特征的长度均设置为预设数值，能够有利于降低后续相关度的计算复杂度。
在一些公开实施例中，第一模态图像为病理图像；处理器72用于在病理图像采样得到若干子图像，并选择至少部分子图像作为目标图像；处理器72用于对目标图像进行特征提取，得到目标图像的病理特征；处理器72用于利用目标图像的子图重要度对病理特征进行加权处理，得到第一特征图；其中，子图重要度是基于病理特征得到的。
因此，在第一模态图像为病理图像的情况下，在病理图像采样得到若干子图像，并选择至少部分子图像作为目标图像，基于此再对目标图像进行特征提取，得到目标图像的病理特征，并基于病理特征得到目标图像的子图重要度，从而利用目标图像的子图重要度对病理特征进行加权处理，得到第一特征图，进而能够通过不同目标图像的子图重要度融合病理特征，一方面通过选择至少部分子图像，能够有利于大大减轻处理负荷，另一方面通过子图重要度融合病理特征，能够有利于突显重要子图的病理特征，弱化次要(或噪声)子图的病理特征，以提升第一特征图的准确性。
在一些公开实施例中，处理器72用于分别统计若干子图像的前景区域的信息熵，并选择信息熵满足预设条件的子图像，作为目标图像。
因此，通过分别统计若干子图像的前景区域的信息熵，并选择信息熵满足预设条件的子图像，作为目标图像，能够有利于尽可能地选择得到富含病理特征信息的目标图像，有利于降低信息冗余，提高特征提取效率以及准确性。
在一些公开实施例中，处理器72用于利用权重预测网络对病理特征进行预测，得到子图重要度；处理器72用于基于注意力机制处理病理特征，得到子图重要度。
因此，通过利用权重预测网络对病理特征进行预测，得到子图重要度，能够有利于提高获取子图重要度的效率；而基于注意力机制处理病理特征，得到子图重要度，能够有利于提升子图重要度的精度。
在一些公开实施例中，第二模态图像包括通过至少一种扫描参数扫描得到的若干扫描图像；处理器72用于将若干扫描图像沿通道维度进行拼接，得到拼接图像；处理器72用于对拼接图像进行特征提取，得到第二特征图。
因此，在第二模态图像包括通过至少一种扫描参数扫描打动的若干扫描图像的情况下，通过将若干扫描图像沿着通道维度进行拼接，得到拼接图像，并对拼接图像进行特征提取，得到第二特征图，能够充分融合不同通道的扫描图像在各个像素位置的特征信息，提高第二特征图的准确性。
请参阅图8，图8是本申请存储装置80一实施例的框架示意图。存储装置80存储有能够被处理器运行的程序指令81，程序指令81用于实现上述任一图像检测方法实施例中的步骤。
上述方案，能够提高多模态图像检测的效率和精度。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (12)
1.一种图像检测方法，其特征在于，包括：
提取第一模态图像的第一特征图，并提取第二模态图像的第二特征图；其中，所述第一模态图像和所述第二模态图像均为对目标对象采集得到的；
提取所述第一特征图中各个第一像素位置的第一位置特征，并提取所述第二特征图中各个第二像素位置的第二位置特征；
将所述各个第一像素位置的第一位置特征和所述各个第二像素位置的第二位置特征进行融合，得到模态融合特征；
利用所述模态融合特征进行检测，得到所述目标对象的预测类别。
2.根据权利要求1所述的方法，其特征在于，所述将所述各个第一像素位置的第一位置特征和所述各个第二像素位置的第二位置特征进行融合，得到模态融合特征，包括：
针对每一所述第一像素位置，基于所述第一像素位置的第一位置特征分别与所述各个第二像素位置的第二位置特征之间的第一相关度，对所述第一像素位置的第一位置特征进行模态增强，得到所述第一像素位置的第一增强特征；以及，
针对每一所述第二像素位置，基于所述第二像素位置的第二位置特征分别与所述各个第一像素位置的第一位置特征之间的第二相关度，对所述第二像素位置的第二位置特征进行模态增强，得到所述第二像素位置的第二增强特征；
利用所述第一相关度和所述第二相关度，将所述第一增强特征和所述第二增强特征进行特征融合，得到所述模态融合特征。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一像素位置的第一位置特征分别与所述各个第二像素位置的第二位置特征之间的第一相关度，对所述第一像素位置的第一位置特征进行模态增强，得到所述第一像素位置的第一增强特征，或者，所述基于所述第二像素位置的第二位置特征分别与所述各个第一像素位置的第一位置特征之间的第二相关度，对所述第二像素位置的第二位置特征进行模态增强，得到所述第二像素位置的第二增强特征，包括：
获取目标像素位置的目标位置特征分别与各个候选像素位置的候选位置特征之间的特征相关度；
利用所述特征相关度分别对所述候选位置特征进行加权，得到所述目标位置特征的模态互补特征；
将所述模态互补特征和所述目标位置特征进行融合，得到所述目标像素位置的目标增强特征；
其中，在所述目标像素位置为所述第一像素位置的情况下，所述目标位置特征为所述第一位置特征，所述候选像素位置为所述第二像素位置，所述特征相关度为所述第一相关度，所述候选位置特征为所述第二位置特征，且所述目标增强特征为所述第一增强特征；在所述目标像素位置为所述第二像素位置的情况下，所述目标位置特征为所述第二位置特征，所述候选像素位置为所述第一像素位置，所述特征相关度为所述第二相关度，所述候选位置特征为所述第一位置特征，且所述目标增强特征为所述第二增强特征。
4.根据权利要求3所述的方法，其特征在于，所述利用所述特征相关度分别对所述候选位置特征进行加权，得到所述目标位置特征的模态互补特征，包括：
对所述特征相关度进行归一化处理，并利用归一化之后的特征相关度对所述候选位置特征进行加权求和，得到所述模态互补特征；
和/或，所述将所述模态互补特征和所述目标位置特征进行融合，得到所述目标像素位置的目标增强特征，包括：
将所述目标像素位置的模态互补特征和目标位置特征相加，得到所述目标像素位置的目标增强特征。
5.根据权利要求2所述的方法，其特征在于，所述利用所述第一相关度和所述第二相关度，将所述第一增强特征和所述第二增强特征进行特征融合，得到所述模态融合特征，包括：
基于针对所述各个第一像素位置所得到的第一相关度，得到所述第一增强特征的第一模态重要度；以及，
基于针对所述各个第二像素位置所得到的第二相关度，得到所述第二增强特征的第二模态重要度；
利用所述第一模态重要度和所述第二模态重要度分别对所述第一增强特征和所述第二增强特征进行加权，得到所述模态融合特征。
6.根据权利要求1所述的方法，其特征在于，所述提取所述第一特征图中各个第一像素位置的第一位置特征，包括：提取所述第一特征图内处于不同通道且相同所述第一像素位置处的特征元素，得到所述第一像素位置的第一位置特征；
和/或，所述提取所述第二特征图中各个第二像素位置的第二位置特征，包括：提取所述第二特征图内处于不同通道且相同所述第二像素位置处的特征元素，得到所述第二像素位置的第二位置特征；
和/或，所述第一特征图和所述第二特征图的通道数均为预设数值，且所述第一位置特征和所述第二位置特征的长度均为所述预设数值。
7.根据权利要求1所述的方法，其特征在于，所述第一模态图像为病理图像；所述提取第一模态图像的第一特征图，包括：
在所述病理图像采样得到若干子图像，并选择至少部分所述子图像作为目标图像；
对所述目标图像进行特征提取，得到所述目标图像的病理特征；
利用所述目标图像的子图重要度对所述病理特征进行加权处理，得到所述第一特征图；其中，所述子图重要度是基于所述病理特征得到的。
8.根据权利要求7所述的方法，其特征在于，所述选择至少部分所述子图像作为目标图像，包括：
分别统计所述若干子图像的前景区域的信息熵，并选择所述信息熵满足预设条件的子图像，作为所述目标图像。
9.根据权利要求7所述的方法，其特征在于，所述子图重要度的获取步骤包括以下任一者：
利用权重预测网络对所述病理特征进行预测，得到所述子图重要度；
基于注意力机制处理所述病理特征，得到所述子图重要度。
10.根据权利要求1所述的方法，其特征在于，所述第二模态图像包括通过至少一种扫描参数扫描得到的若干扫描图像；所述提取第二模态图像的第二特征图，包括：
将所述若干扫描图像沿通道维度进行拼接，得到拼接图像；
对所述拼接图像进行特征提取，得到所述第二特征图。
11.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述存储器中存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至10任一项所述的图像检测方法。
12.一种存储装置，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至10任一项所述的图像检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110542047.0A CN113449770B (zh) | 2021-05-18 | 2021-05-18 | 图像检测方法以及电子设备、存储装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110542047.0A CN113449770B (zh) | 2021-05-18 | 2021-05-18 | 图像检测方法以及电子设备、存储装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113449770A true CN113449770A (zh) | 2021-09-28 |
| CN113449770B CN113449770B (zh) | 2024-02-13 |
Family
ID=77810038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110542047.0A Active CN113449770B (zh) | 2021-05-18 | 2021-05-18 | 图像检测方法以及电子设备、存储装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113449770B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663737A (zh) * | 2022-05-20 | 2022-06-24 | 浪潮电子信息产业股份有限公司 | 物体识别方法、装置、电子设备及计算机可读存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8472684B1 (en) * | 2010-06-09 | 2013-06-25 | Icad, Inc. | Systems and methods for generating fused medical images from multi-parametric, magnetic resonance image data |
| CN105264567A (zh) * | 2013-06-06 | 2016-01-20 | 苹果公司 | 用于图像稳定化的图像融合方法 |
| CN107103270A (zh) * | 2016-02-23 | 2017-08-29 | 云智视像科技（上海）有限公司 | 一种基于idf的动态计算分块加权系数的人脸识别系统 |
| CN108537773A (zh) * | 2018-02-11 | 2018-09-14 | 中国科学院苏州生物医学工程技术研究所 | 针对胰腺癌与胰腺炎性疾病进行智能辅助鉴别的方法 |
| CN109671054A (zh) * | 2018-11-26 | 2019-04-23 | 西北工业大学 | 多模态脑肿瘤mri的无监督分割方法 |
| CN109978882A (zh) * | 2019-04-09 | 2019-07-05 | 中康龙马(北京)医疗健康科技有限公司 | 一种基于多模态融合的医疗影像目标检测方法 |
| CN110276736A (zh) * | 2019-04-01 | 2019-09-24 | 厦门大学 | 一种基于权值预测网络的磁共振图像融合方法 |
| CN110674350A (zh) * | 2019-09-23 | 2020-01-10 | 网易（杭州）网络有限公司 | 视频人物检索方法、介质、装置和计算设备 |
| CN111476806A (zh) * | 2020-06-23 | 2020-07-31 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN112101410A (zh) * | 2020-08-05 | 2020-12-18 | 中国科学院空天信息创新研究院 | 一种基于多模态特征融合的图像像素语义分割方法及系统 |
| CN112183203A (zh) * | 2020-08-26 | 2021-01-05 | 北京工业大学 | 一种基于多尺度像素特征融合的实时交通标志检测方法 |
| CN112232258A (zh) * | 2020-10-27 | 2021-01-15 | 腾讯科技（深圳）有限公司 | 一种信息处理方法、装置及计算机可读存储介质 |
| WO2021031066A1 (zh) * | 2019-08-19 | 2021-02-25 | 中国科学院深圳先进技术研究院 | 一种软骨图像分割方法、装置、可读存储介质及终端设备 |
| CN112767303A (zh) * | 2020-08-12 | 2021-05-07 | 腾讯科技（深圳）有限公司 | 一种图像检测方法、装置、设备及计算机可读存储介质 |
| CN112801238A (zh) * | 2021-04-15 | 2021-05-14 | 中国科学院自动化研究所 | 一种图像分类方法、装置、电子设备及存储介质 |
-
2021
- 2021-05-18 CN CN202110542047.0A patent/CN113449770B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8472684B1 (en) * | 2010-06-09 | 2013-06-25 | Icad, Inc. | Systems and methods for generating fused medical images from multi-parametric, magnetic resonance image data |
| CN105264567A (zh) * | 2013-06-06 | 2016-01-20 | 苹果公司 | 用于图像稳定化的图像融合方法 |
| CN107103270A (zh) * | 2016-02-23 | 2017-08-29 | 云智视像科技（上海）有限公司 | 一种基于idf的动态计算分块加权系数的人脸识别系统 |
| CN108537773A (zh) * | 2018-02-11 | 2018-09-14 | 中国科学院苏州生物医学工程技术研究所 | 针对胰腺癌与胰腺炎性疾病进行智能辅助鉴别的方法 |
| CN109671054A (zh) * | 2018-11-26 | 2019-04-23 | 西北工业大学 | 多模态脑肿瘤mri的无监督分割方法 |
| CN110276736A (zh) * | 2019-04-01 | 2019-09-24 | 厦门大学 | 一种基于权值预测网络的磁共振图像融合方法 |
| CN109978882A (zh) * | 2019-04-09 | 2019-07-05 | 中康龙马(北京)医疗健康科技有限公司 | 一种基于多模态融合的医疗影像目标检测方法 |
| WO2021031066A1 (zh) * | 2019-08-19 | 2021-02-25 | 中国科学院深圳先进技术研究院 | 一种软骨图像分割方法、装置、可读存储介质及终端设备 |
| CN110674350A (zh) * | 2019-09-23 | 2020-01-10 | 网易（杭州）网络有限公司 | 视频人物检索方法、介质、装置和计算设备 |
| CN111476806A (zh) * | 2020-06-23 | 2020-07-31 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN112101410A (zh) * | 2020-08-05 | 2020-12-18 | 中国科学院空天信息创新研究院 | 一种基于多模态特征融合的图像像素语义分割方法及系统 |
| CN112767303A (zh) * | 2020-08-12 | 2021-05-07 | 腾讯科技（深圳）有限公司 | 一种图像检测方法、装置、设备及计算机可读存储介质 |
| CN112183203A (zh) * | 2020-08-26 | 2021-01-05 | 北京工业大学 | 一种基于多尺度像素特征融合的实时交通标志检测方法 |
| CN112232258A (zh) * | 2020-10-27 | 2021-01-15 | 腾讯科技（深圳）有限公司 | 一种信息处理方法、装置及计算机可读存储介质 |
| CN112801238A (zh) * | 2021-04-15 | 2021-05-14 | 中国科学院自动化研究所 | 一种图像分类方法、装置、电子设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| KUN ZHAN等: "Multimodal image seamless fusion", 《JOURNAL OF ELECTRONIC IMAGING》, vol. 28, no. 2, pages 1 - 9 * |
| NAHED TAWFIK等: "Hybrid pixel-feature fusion system for multimodal medical images", 《JOURNAL OF AMBIENT INTELLIGENCE AND HUMANIZED COMPUTING》, vol. 12, pages 6001 - 6018, XP037478745, DOI: 10.1007/s12652-020-02154-0 * |
| 谢沅格: "快速空域图像融合", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2018, no. 12, pages 138 - 1405 * |
| 谢蓉: "基于代数多重网格的多聚焦图像融合算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2020, no. 1, pages 138 - 2124 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663737A (zh) * | 2022-05-20 | 2022-06-24 | 浪潮电子信息产业股份有限公司 | 物体识别方法、装置、电子设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113449770B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232719B (zh) | 一种医学图像的分类方法、模型训练方法和服务器 | |
| WO2021051965A1 (zh) | 图像处理方法及装置、电子设备、存储介质和计算机程序 | |
| US11900647B2 (en) | Image classification method, apparatus, and device, storage medium, and medical electronic device | |
| Kou et al. | Microaneurysms segmentation with a U-Net based on recurrent residual convolutional neural network | |
| CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| CN110837572B (zh) | 图像检索方法、装置、可读存储介质及电子设备 | |
| CN115115855A (zh) | 图像编码器的训练方法、装置、设备及介质 | |
| CN115115856A (zh) | 图像编码器的训练方法、装置、设备及介质 | |
| WO2024108663A1 (zh) | 肿瘤生存预测方法、装置、电子设备及存储介质 | |
| CN116206164A (zh) | 基于半监督对比学习的多相期ct分类系统及构建方法 | |
| CN113449770B (zh) | 图像检测方法以及电子设备、存储装置 | |
| CN110827963A (zh) | 针对病理图像的语义分割方法和电子设备 | |
| Venkatesvara Rao et al. | Real-time video object detection and classification using hybrid texture feature extraction | |
| Kharrat et al. | Classification of brain tumors using personalized deep belief networks on MRImages: PDBN-MRI | |
| Sun et al. | Deep blur detection network with boundary-aware multi-scale features | |
| Lee et al. | Assessment of diagnostic image quality of computed tomography (CT) images of the lung using deep learning | |
| Arega et al. | Automatic myocardial scar segmentation from multi-sequence cardiac MRI using fully convolutional densenet with inception and squeeze-excitation module | |
| CN113344028A (zh) | 乳腺超声序列图像分类方法及装置 | |
| CN116703837B (zh) | 一种基于mri图像的肩袖损伤智能识别方法及装置 | |
| KR102036052B1 (ko) | 인공지능 기반으로 비규격화 피부 이미지의 의료 영상 적합성을 판별 및 변환하는 장치 | |
| CN115761371A (zh) | 医学影像分类方法、装置、存储介质及电子设备 | |
| CN113269783A (zh) | 一种基于三维注意力机制的肺结节分割方法及装置 | |
| EP4208873A1 (en) | Systems and methods for automatically managing image data | |
| WO2020230972A1 (ko) | 훈련된 심층 신경망 모델의 재현 성능을 개선하는 방법 및 이를 이용한 장치 | |
| KR20200131722A (ko) | 훈련된 심층 신경망 모델의 재현 성능을 개선하는 방법 및 이를 이용한 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |