CN116563302B - 智慧医疗信息管理系统及其方法 - Google Patents

智慧医疗信息管理系统及其方法 Download PDF

Info

Publication number
CN116563302B
CN116563302B CN202310620574.8A CN202310620574A CN116563302B CN 116563302 B CN116563302 B CN 116563302B CN 202310620574 A CN202310620574 A CN 202310620574A CN 116563302 B CN116563302 B CN 116563302B
Authority
CN
China
Prior art keywords
medical image
feature
image block
matrix
matrixes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310620574.8A
Other languages
English (en)
Other versions
CN116563302A (zh
Inventor
郑栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wanxu Health Technology Co ltd
Original Assignee
Shanghai Wanxu Health Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wanxu Health Technology Co ltd filed Critical Shanghai Wanxu Health Technology Co ltd
Priority to CN202310620574.8A priority Critical patent/CN116563302B/zh
Publication of CN116563302A publication Critical patent/CN116563302A/zh
Application granted granted Critical
Publication of CN116563302B publication Critical patent/CN116563302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

公开了一种智慧医疗信息管理系统及其方法。其首先对待处理医疗影像数据进行图像块切分再分别通过包含双向注意力机制的卷积神经网络模型以得到多个医疗影像图像块特征矩阵，接着，对所述多个医疗影像图像块特征矩阵进行特征分布优化以得到多个优化后医疗影像图像块特征矩阵，然后，将所述多个优化后医疗影像图像块特征矩阵按照图像块切分的位置排列为医疗影像全局特征矩阵，接着，将所述医疗影像全局特征矩阵通过非局部神经网络模型以得到解码特征矩阵，最后，将所述解码特征矩阵通过解码器以得到生成医疗影像数据。这样，可以降低噪声的干扰。

Description

智慧医疗信息管理系统及其方法
技术领域
本申请涉及智能化管理领域，且更为具体地，涉及一种智慧医疗信息管理系统及其方法。
背景技术
智慧医疗信息管理系统是一种利用信息技术和人工智能，对医疗机构的各项业务进行集成、优化和协调的系统。随着医学影像技术的不断发展和应用，医学影像数据已经成为医疗信息管理系统中不可或缺的一部分。然而，由于医学影像数据的特殊性，常常会出现图像质量不佳、噪声干扰等问题，从而影响到医生的诊断，因此传统的医学影像处理方法已经不能满足医疗领域的需求。
因此，期望一种优化的智慧医疗信息管理系统。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种智慧医疗信息管理系统及其方法。其首先对待处理医疗影像数据进行图像块切分再分别通过包含双向注意力机制的卷积神经网络模型以得到多个医疗影像图像块特征矩阵，接着，对所述多个医疗影像图像块特征矩阵进行特征分布优化以得到多个优化后医疗影像图像块特征矩阵，然后，将所述多个优化后医疗影像图像块特征矩阵按照图像块切分的位置排列为医疗影像全局特征矩阵，接着，将所述医疗影像全局特征矩阵通过非局部神经网络模型以得到解码特征矩阵，最后，将所述解码特征矩阵通过解码器以得到生成医疗影像数据。这样，可以降低噪声的干扰。
根据本申请的一个方面，提供了一种智慧医疗信息管理系统，其包括：医疗影像数据采集模块，用于获取待处理医疗影像数据；图像切分模块，用于对所述待处理医疗影像数据进行图像块切分以得到医疗影像图像块的序列；图像特征提取模块，用于将所述医疗影像图像块的序列中的各个医疗影像图像块分别通过包含双向注意力机制的卷积神经网络模型以得到多个医疗影像图像块特征矩阵；特征优化模块，用于对所述多个医疗影像图像块特征矩阵进行特征分布优化以得到多个优化后医疗影像图像块特征矩阵；全局排列模块，用于将所述多个优化后医疗影像图像块特征矩阵按照图像块切分的位置排列为医疗影像全局特征矩阵；全局特征关联模块，用于将所述医疗影像全局特征矩阵通过非局部神经网络模型以得到解码特征矩阵；以及医疗影像数据生成模块，用于将所述解码特征矩阵通过解码器以得到生成医疗影像数据。
在上述的智慧医疗信息管理系统中，所述图像特征提取模块，包括：降维单元，用于计算所述医疗影像图像块的序列中的各个医疗影像图像块的各个位置沿通道维度的均值以得到医疗影像图像块矩阵的序列；双向池化单元，用于将所述医疗影像图像块矩阵的序列中的各个医疗影像图像块矩阵分别沿着水平方向和垂直方向进行池化以得到多个第一向池化向量和多个第二向池化向量；池化关联编码单元，用于对所述多个第一向池化向量和所述多个第二向池化向量进行关联编码以得到多个医疗影像双向关联矩阵；激活单元，用于将所述多个医疗影像双向关联矩阵输入Sigmoid激活函数以得到多个医疗影像注意力矩阵；矩阵展开单元，用于将所述医疗影像图像块矩阵的序列中的各个医疗影像图像块矩阵和所述多个医疗影像注意力矩阵分别展开为特征向量以得到多个医疗影像图像块向量和多个医疗影像注意力向量；优化特征融合单元，用于融合所述多个医疗影像图像块向量和所述多个医疗影像注意力向量以得到医疗影像融合关联向量；以及维度重构单元，用于将所述医疗影像融合关联向量进行维度重构以得到所述多个医疗影像图像块特征矩阵。
在上述的智慧医疗信息管理系统中，所述特征优化模块，包括：优化因数计算单元，用于分别计算所述各个医疗影像图像块特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个基于凸分解的特征几何度量的逐片近似因数；以及加权优化单元，用于以所述多个基于凸分解的特征几何度量的逐片近似因数作为加权系数对所述多个医疗影像图像块特征矩阵进行加权优化以得到多个优化后医疗影像图像块特征矩阵。
在上述的智慧医疗信息管理系统中，所述优化因数计算单元，用于：以如下优化公式分别计算所述各个医疗影像图像块特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到所述多个基于凸分解的特征几何度量的逐片近似因数；其中，所述优化公式为：，其中，/>是第/>个所述医疗影像图像块特征矩阵的第/>个行向量或者列向量，/>表示/>函数，/>表示/>函数，/>表示将各个向量级联，且/>表示向量的二范数的平方，表示所述多个基于凸分解的特征几何度量的逐片近似因数中第/>个基于凸分解的特征几何度量的逐片近似因数。
在上述的智慧医疗信息管理系统中，所述全局特征关联模块，包括：第一点卷积单元，用于将所述医疗影像全局特征矩阵通过所述非局部神经网络模型的第一点卷积层以得到第一特征图；第二点卷积单元，用于将所述医疗影像全局特征矩阵通过所述非局部神经网络模型的第二点卷积层以得到第二特征图；第三点卷积单元，用于将所述医疗影像全局特征矩阵通过所述非局部神经网络模型的第三点卷积层以得到第三特征图；第一融合单元，用于计算所述第一特征图和所述第二特征图的按位置加权和以得到第一融合特征图；归一化单元，用于将所述第一融合特征图通过Softmax函数以对所述第一融合特征图中各个位置的特征值进行归一化处理以得到归一化第一融合特征图；第二融合单元，用于计算所述归一化第一融合特征图和所述第三特征图之间的按位置加权和以得到第二融合特征图；全局感知单元，用于以嵌入高斯相似性函数计算所述第二融合特征图中各个位置间的相似性度量值以得到全局感知特征矩阵；以及第三融合单元，用于计算所述全局感知特征矩阵和所述医疗影像全局特征矩阵的按位置加权和以得到所述解码特征矩阵。
在上述的智慧医疗信息管理系统中，所述医疗影像数据生成模块，用于：使用所述解码器的多个全连接层以如下解码回归公式对所述解码特征矩阵进行解码回归以获得所述生成医疗影像数据，其中，所述解码回归公式为：，其中，/>是所述解码特征矩阵，/>是所述生成医疗影像数据，/>是权重矩阵，/>表示矩阵乘。
根据本申请的另一个方面，提供了一种智慧医疗信息管理方法，其包括：获取待处理医疗影像数据；对所述待处理医疗影像数据进行图像块切分以得到医疗影像图像块的序列；将所述医疗影像图像块的序列中的各个医疗影像图像块分别通过包含双向注意力机制的卷积神经网络模型以得到多个医疗影像图像块特征矩阵；对所述多个医疗影像图像块特征矩阵进行特征分布优化以得到多个优化后医疗影像图像块特征矩阵；将所述多个优化后医疗影像图像块特征矩阵按照图像块切分的位置排列为医疗影像全局特征矩阵；将所述医疗影像全局特征矩阵通过非局部神经网络模型以得到解码特征矩阵；以及将所述解码特征矩阵通过解码器以得到生成医疗影像数据。
在上述的智慧医疗信息管理方法中，将所述医疗影像图像块的序列中的各个医疗影像图像块分别通过包含双向注意力机制的卷积神经网络模型以得到多个医疗影像图像块特征矩阵，包括：计算所述医疗影像图像块的序列中的各个医疗影像图像块的各个位置沿通道维度的均值以得到医疗影像图像块矩阵的序列；将所述医疗影像图像块矩阵的序列中的各个医疗影像图像块矩阵分别沿着水平方向和垂直方向进行池化以得到多个第一向池化向量和多个第二向池化向量；对所述多个第一向池化向量和所述多个第二向池化向量进行关联编码以得到多个医疗影像双向关联矩阵；将所述多个医疗影像双向关联矩阵输入Sigmoid激活函数以得到多个医疗影像注意力矩阵；将所述医疗影像图像块矩阵的序列中的各个医疗影像图像块矩阵和所述多个医疗影像注意力矩阵分别展开为特征向量以得到多个医疗影像图像块向量和多个医疗影像注意力向量；融合所述多个医疗影像图像块向量和所述多个医疗影像注意力向量以得到医疗影像融合关联向量；以及将所述医疗影像融合关联向量进行维度重构以得到所述多个医疗影像图像块特征矩阵。
在上述的智慧医疗信息管理方法中，对所述多个医疗影像图像块特征矩阵进行特征分布优化以得到多个优化后医疗影像图像块特征矩阵，包括：分别计算所述各个医疗影像图像块特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个基于凸分解的特征几何度量的逐片近似因数；以及以所述多个基于凸分解的特征几何度量的逐片近似因数作为加权系数对所述多个医疗影像图像块特征矩阵进行加权优化以得到多个优化后医疗影像图像块特征矩阵。
在上述的智慧医疗信息管理方法中，分别计算所述各个医疗影像图像块特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个基于凸分解的特征几何度量的逐片近似因数，包括：以如下优化公式分别计算所述各个医疗影像图像块特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到所述多个基于凸分解的特征几何度量的逐片近似因数；其中，所述优化公式为：，其中，是第/>个所述医疗影像图像块特征矩阵的第/>个行向量或者列向量，/>表示/>函数，/>表示/>函数，/>表示将各个向量级联，且/>表示向量的二范数的平方，/>表示所述多个基于凸分解的特征几何度量的逐片近似因数中第/>个基于凸分解的特征几何度量的逐片近似因数。
与现有技术相比，本申请提供的智慧医疗信息管理系统及其方法，其首先对待处理医疗影像数据进行图像块切分再分别通过包含双向注意力机制的卷积神经网络模型以得到多个医疗影像图像块特征矩阵，接着，对所述多个医疗影像图像块特征矩阵进行特征分布优化以得到多个优化后医疗影像图像块特征矩阵，然后，将所述多个优化后医疗影像图像块特征矩阵按照图像块切分的位置排列为医疗影像全局特征矩阵，接着，将所述医疗影像全局特征矩阵通过非局部神经网络模型以得到解码特征矩阵，最后，将所述解码特征矩阵通过解码器以得到生成医疗影像数据。这样，可以降低噪声的干扰。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1为根据本申请实施例的智慧医疗信息管理系统的应用场景图。
图2为根据本申请实施例的智慧医疗信息管理系统的框图示意图。
图3为根据本申请实施例的智慧医疗信息管理系统中的所述图像特征提取模块的框图示意图。
图4为根据本申请实施例的智慧医疗信息管理系统中的所述特征优化模块的框图示意图。
图5为根据本申请实施例的智慧医疗信息管理系统中的所述全局特征关联模块的框图示意图。
图6为根据本申请实施例的智慧医疗信息管理方法的流程图。
图7为根据本申请实施例的智慧医疗信息管理方法的系统架构的示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
如上所述，随着医学影像技术的不断发展和应用，医学影像数据已经成为医疗信息管理系统中不可或缺的一部分。然而，由于医学影像数据的特殊性，常常会出现图像质量不佳、噪声干扰等问题，从而影响到医生的诊断，因此传统的医学影像处理方法已经不能满足医疗领域的需求。因此，期望一种优化的智慧医疗信息管理系统。
相应地，考虑到在实际进行智慧医疗信息的管理过程中，为了避免因医学影像数据质量不佳而影响到医生的诊断，在本申请的技术方案中，期望通过对医疗影像数据进行分析和特征捕捉，并基于生成网络来提高医学影像的图像质量，以此来帮助医生和病人更好地获取、管理和利用医学影像数据，优化智慧医疗信息管理系统。但是，考虑到由于所述医疗影像数据中存在有大量的信息，而关于医疗影像质量的特征为小尺度的隐含特征信息，难以进行捕捉提取，导致对于医疗影像数据的优化效果较差。因此，在此过程中，难点在于如何进行所述医疗影像数据中关于医疗影像的隐含特征分布信息的充分表达，以此来有效地提高医学影像的图像质量，为医疗领域提供更加准确、可靠的医学影像数据，以此来优化智慧医疗信息管理系统。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述医疗影像数据中关于医疗影像的隐含特征分布信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，获取待处理医疗影像数据。接着，考虑到由于在所述待处理医疗影像数据中，医学影像数据通常具有较高的分辨率和复杂的结构，而且数据量也很大。因此，为了更好地处理这些数据，需要将所述待处理医疗影像数据进行分块处理，以将所述待处理医疗影像数据分成多个小尺寸医疗影像图像块。也就是，具体地，对所述待处理医疗影像数据进行图像块切分以得到医疗影像图像块的序列，这样能够更好地提取医学影像的特征信息，减少噪声干扰，同时也可以更好地保留医学影像的细节信息，有利于后续进行特征的捕捉和医疗影像数据的优化。
进一步地，考虑到由于医疗影像数据中存在的影像特征复杂多样,保留和传递浅层细节特征对提高算法分割准确率非常重要。因此，在U-Net网络中,期望通过跳跃连接将编码器的特征信息直接传递到解码器,实现浅层特征与深层特征融合,补充解码器细节特征信息,但这种在同尺度之间特征直接传递的方式过于简单，没有对医疗影像数据中的医疗影像信息进行筛选,进而无法有效对医疗影像特征进行刻画。因此，在本申请的技术方案中，进一步使用双向注意力机制模块来粉笔对所述医疗影像图像块的序列中的各个医疗影像图像块进行处理以得到多个医疗影像图像块特征矩阵。这样，能够充分利用上下文信息来增强医疗影像的特征响应和抑制背景特征响应。具体地，所述双向注意力模块分别从水平方向和垂直方向对整个医疗影像图像块的注意力权重校准并获取复杂特征关系,从而能够从空间的全局特征中获取局部特征信息，以此来更好地关注所述各个医疗影像图像块中的重要信息和特征，从而提高模型的精度和效果。
然后，考虑到所述各个医疗影像图像块中关于医疗影像的特征信息之间具有着基于所述待处理医疗影像数据整体的关联关系，因此，在本申请的技术方案中，进一步将所述多个医疗影像图像块特征矩阵按照图像块切分的位置排列为医疗影像全局特征矩阵，以将不同的医疗影像图像块的特征矩阵组合成一个完整的医疗影像的特征矩阵，以便进行更深入和全局的医学影像处理和分析。这样，能够在后续处理和医疗影像数据质量优化时更好地反映医疗影像的全局特征，从而提高医学影像处理和分析的准确性和可靠性。
应可以理解，考虑到由于卷积是典型的局部操作，其只能提取图像局部特征，而无法关注全局，会影响医疗影像数据质量优化的效果。并且，对于所述各个医疗影像图像块来说，所述各个医疗影像图像块之间并非是孤立存在的，所述各个医疗影像图像块特征分布间的关联性产生前景目标。因此，在本申请的技术方案中，为了更有效地提取出医疗影像的全局特征信息，以进行医疗影像数据的优化，在本申请的技术方案中，进一步使用非局部神经网络模型来进行所述医疗影像全局特征矩阵的特征提取以得到解码特征矩阵。也就是，将所述医疗影像全局特征矩阵通过非局部神经网络模型，以通过非局部神经网络模型来扩展特征感受野，从而得到所述解码特征矩阵。特别地，这里，所述非局部神经网络模型通过计算所述各个医疗影像图像块特征间的相似度捕获隐藏的依赖信息，进而建模上下文特征，使网络关注所述各个医疗影像图像块特征间的全局整体内容，进而在后续解码任务中提升主干网络特征提取能力。
接着，进一步再将所述解码特征矩阵通过解码器中进行解码回归，以得到生成医疗影像数据。也就是说，利用所述医疗影像数据的全局关联特征信息来进行解码，从而基于所述医疗影像数据的全局特征生成优化后的医疗影像数据，以此有效地提高医学影像的图像质量，为医疗领域提供更加准确、可靠的医学影像数据。
特别地，在本申请的技术方案中，对所述待处理医疗影像数据进行图像块切分后，所得到的每个医疗影像图像块具有彼此不同的源图像语义，因而在通过包含双向注意力机制的卷积神经网络模型进行基于行和列空间注意力加权的局部空间强化特征提取之后，所得到的多个医疗影像图像块特征矩阵之间的整体特征分布具有较高的不一致性，由此在将所述多个医疗影像图像块特征矩阵按照图像块切分的位置排列为所述医疗影像全局特征矩阵后，尽管通过非局部神经网络模型进行全局特征的提取，但是得到的所述解码特征矩阵在其与多个医疗影像图像块特征矩阵对应的局部特征分布之间仍然具有较高的高维特征流形的流形几何不一致性，从而提升了所述解码特征矩阵通过解码器进行解码回归时的收敛难度，从而降低了训练速度和收敛到的解码结果的准确性。
因此，本申请的申请人分别计算每个医疗影像图像块特征矩阵的基于凸分解的特征几何度量的逐片近似因数，表示为：，其中，是每个医疗影像图像块特征矩阵/>的第/>个行向量或者列向量，/>表示将各个向量级联，且/>表示向量的二范数的平方。
具体地，所述基于凸分解的特征几何度量的逐片近似因数可以通过的平滑最大函数来定义每个医疗影像图像块特征矩阵的高维特征流形的局部几何形状间的符号化距离度量，以基于高维特征流形的凸多面体（convex polytope）分解来获得每个凸多面体对象的可微的凸指示符（convex indicator），并进而以/>函数确定用于表达高维特征流形的可学习的逐片凸分解的超平面距离参数，以近似地度量特征几何。这样，通过以所述基于凸分解的特征几何度量的逐片近似因数对各个医疗影像图像块特征矩阵进行加权，就可以提升所述解码特征矩阵与多个医疗影像图像块特征矩阵对应的局部特征分布之间的高维特征流形的流形几何一致性，从而降低了所述解码特征矩阵通过解码器进行解码回归时的收敛难度，改进了训练速度和收敛到的解码结果的准确性。这样，能够有效地提高医学影像的图像质量，为医疗领域提供更加准确、可靠的医学影像数据，以此来优化智慧医疗信息管理系统。
图1为根据本申请实施例的智慧医疗信息管理系统的应用场景图。如图1所示，在该应用场景中，首先，获取待处理医疗影像数据（例如，图1中所示意的D），然后，将所述待处理医疗影像数据输入至部署有智慧医疗信息管理算法的服务器中（例如，图1中所示意的S），其中，所述服务器能够使用所述智慧医疗信息管理算法对所述待处理医疗影像数据进行处理以得到医疗影像数据。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
图2为根据本申请实施例的智慧医疗信息管理系统的框图示意图。如图2所示，根据本申请实施例的智慧医疗信息管理系统100，包括：医疗影像数据采集模块110，用于获取待处理医疗影像数据；图像切分模块120，用于对所述待处理医疗影像数据进行图像块切分以得到医疗影像图像块的序列；图像特征提取模块130，用于将所述医疗影像图像块的序列中的各个医疗影像图像块分别通过包含双向注意力机制的卷积神经网络模型以得到多个医疗影像图像块特征矩阵；特征优化模块140，用于对所述多个医疗影像图像块特征矩阵进行特征分布优化以得到多个优化后医疗影像图像块特征矩阵；全局排列模块150，用于将所述多个优化后医疗影像图像块特征矩阵按照图像块切分的位置排列为医疗影像全局特征矩阵；全局特征关联模块160，用于将所述医疗影像全局特征矩阵通过非局部神经网络模型以得到解码特征矩阵；以及，医疗影像数据生成模块170，用于将所述解码特征矩阵通过解码器以得到生成医疗影像数据。
更具体地，在本申请实施例中，所述医疗影像数据采集模块110，用于获取待处理医疗影像数据。在实际进行智慧医疗信息的管理过程中，为了避免因医学影像数据质量不佳而影响到医生的诊断，可以通过对医疗影像数据进行分析和特征捕捉，并基于生成网络来提高医学影像的图像质量，以此来帮助医生和病人更好地获取、管理和利用医学影像数据，优化智慧医疗信息管理系统。
更具体地，在本申请实施例中，所述图像切分模块120，用于对所述待处理医疗影像数据进行图像块切分以得到医疗影像图像块的序列。由于在所述待处理医疗影像数据中，医学影像数据通常具有较高的分辨率和复杂的结构，而且数据量也很大。因此，为了更好地处理这些数据，需要将所述待处理医疗影像数据进行分块处理，以将所述待处理医疗影像数据分成多个小尺寸医疗影像图像块。这样能够更好地提取医学影像的特征信息，减少噪声干扰，同时也可以更好地保留医学影像的细节信息，有利于后续进行特征的捕捉和医疗影像数据的优化。
更具体地，在本申请实施例中，所述图像特征提取模块130，用于将所述医疗影像图像块的序列中的各个医疗影像图像块分别通过包含双向注意力机制的卷积神经网络模型以得到多个医疗影像图像块特征矩阵。这样，能够充分利用上下文信息来增强医疗影像的特征响应和抑制背景特征响应。具体地，所述双向注意力模块分别从水平方向和垂直方向对整个医疗影像图像块的注意力权重校准并获取复杂特征关系,从而能够从空间的全局特征中获取局部特征信息，以此来更好地关注所述各个医疗影像图像块中的重要信息和特征，从而提高模型的精度和效果。
应可以理解，卷积神经网络(Convolutional Neural Network，CNN)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。
相应地，在一个具体示例中，如图3所示，所述图像特征提取模块130，包括：降维单元131，用于计算所述医疗影像图像块的序列中的各个医疗影像图像块的各个位置沿通道维度的均值以得到医疗影像图像块矩阵的序列；双向池化单元132，用于将所述医疗影像图像块矩阵的序列中的各个医疗影像图像块矩阵分别沿着水平方向和垂直方向进行池化以得到多个第一向池化向量和多个第二向池化向量；池化关联编码单元133，用于对所述多个第一向池化向量和所述多个第二向池化向量进行关联编码以得到多个医疗影像双向关联矩阵；激活单元134，用于将所述多个医疗影像双向关联矩阵输入Sigmoid激活函数以得到多个医疗影像注意力矩阵；矩阵展开单元135，用于将所述医疗影像图像块矩阵的序列中的各个医疗影像图像块矩阵和所述多个医疗影像注意力矩阵分别展开为特征向量以得到多个医疗影像图像块向量和多个医疗影像注意力向量；优化特征融合单元136，用于融合所述多个医疗影像图像块向量和所述多个医疗影像注意力向量以得到医疗影像融合关联向量；以及，维度重构单元137，用于将所述医疗影像融合关联向量进行维度重构以得到所述多个医疗影像图像块特征矩阵。
更具体地，在本申请实施例中，所述特征优化模块140，用于对所述多个医疗影像图像块特征矩阵进行特征分布优化以得到多个优化后医疗影像图像块特征矩阵。
相应地，在一个具体示例中，如图4所示，所述特征优化模块140，包括：优化因数计算单元141，用于分别计算所述各个医疗影像图像块特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个基于凸分解的特征几何度量的逐片近似因数；以及，加权优化单元142，用于以所述多个基于凸分解的特征几何度量的逐片近似因数作为加权系数对所述多个医疗影像图像块特征矩阵进行加权优化以得到多个优化后医疗影像图像块特征矩阵。
特别地，在本申请的技术方案中，对所述待处理医疗影像数据进行图像块切分后，所得到的每个医疗影像图像块具有彼此不同的源图像语义，因而在通过包含双向注意力机制的卷积神经网络模型进行基于行和列空间注意力加权的局部空间强化特征提取之后，所得到的多个医疗影像图像块特征矩阵之间的整体特征分布具有较高的不一致性，由此在将所述多个医疗影像图像块特征矩阵按照图像块切分的位置排列为所述医疗影像全局特征矩阵后，尽管通过非局部神经网络模型进行全局特征的提取，但是得到的所述解码特征矩阵在其与多个医疗影像图像块特征矩阵对应的局部特征分布之间仍然具有较高的高维特征流形的流形几何不一致性，从而提升了所述解码特征矩阵通过解码器进行解码回归时的收敛难度，从而降低了训练速度和收敛到的解码结果的准确性。因此，本申请的申请人分别计算每个医疗影像图像块特征矩阵的基于凸分解的特征几何度量的逐片近似因数。
相应地，在一个具体示例中，所述优化因数计算单元141，用于：以如下优化公式分别计算所述各个医疗影像图像块特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到所述多个基于凸分解的特征几何度量的逐片近似因数；其中，所述优化公式为：，其中，/>是第/>个所述医疗影像图像块特征矩阵的第/>个行向量或者列向量，/>表示/>函数，/>表示/>函数，/>表示将各个向量级联，且/>表示向量的二范数的平方，表示所述多个基于凸分解的特征几何度量的逐片近似因数中第/>个基于凸分解的特征几何度量的逐片近似因数。
具体地，所述基于凸分解的特征几何度量的逐片近似因数可以通过的平滑最大函数来定义每个医疗影像图像块特征矩阵的高维特征流形的局部几何形状间的符号化距离度量，以基于高维特征流形的凸多面体分解来获得每个凸多面体对象的可微的凸指示符，并进而以/>函数确定用于表达高维特征流形的可学习的逐片凸分解的超平面距离参数，以近似地度量特征几何。这样，通过以所述基于凸分解的特征几何度量的逐片近似因数对各个医疗影像图像块特征矩阵进行加权，就可以提升所述解码特征矩阵与多个医疗影像图像块特征矩阵对应的局部特征分布之间的高维特征流形的流形几何一致性，从而降低了所述解码特征矩阵通过解码器进行解码回归时的收敛难度，改进了训练速度和收敛到的解码结果的准确性。这样，能够有效地提高医学影像的图像质量，为医疗领域提供更加准确、可靠的医学影像数据，以此来优化智慧医疗信息管理系统。
更具体地，在本申请实施例中，所述全局排列模块150，用于将所述多个优化后医疗影像图像块特征矩阵按照图像块切分的位置排列为医疗影像全局特征矩阵。以将不同的医疗影像图像块的特征矩阵组合成一个完整的医疗影像的特征矩阵，以便进行更深入和全局的医学影像处理和分析。这样，能够在后续处理和医疗影像数据质量优化时更好地反映医疗影像的全局特征，从而提高医学影像处理和分析的准确性和可靠性。
更具体地，在本申请实施例中，所述全局特征关联模块160，用于将所述医疗影像全局特征矩阵通过非局部神经网络模型以得到解码特征矩阵。考虑到由于卷积是典型的局部操作，其只能提取图像局部特征，而无法关注全局，会影响医疗影像数据质量优化的效果。并且，对于所述各个医疗影像图像块来说，所述各个医疗影像图像块之间并非是孤立存在的，所述各个医疗影像图像块特征分布间的关联性产生前景目标。因此，在本申请的技术方案中，为了更有效地提取出医疗影像的全局特征信息，以进行医疗影像数据的优化，在本申请的技术方案中，进一步使用非局部神经网络模型来进行所述医疗影像全局特征矩阵的特征提取以得到解码特征矩阵。也就是，将所述医疗影像全局特征矩阵通过非局部神经网络模型，以通过非局部神经网络模型来扩展特征感受野，从而得到所述解码特征矩阵。特别地，这里，所述非局部神经网络模型通过计算所述各个医疗影像图像块特征间的相似度捕获隐藏的依赖信息，进而建模上下文特征，使网络关注所述各个医疗影像图像块特征间的全局整体内容，进而在后续解码任务中提升主干网络特征提取能力。
相应地，在一个具体示例中，如图5所示，所述全局特征关联模块160，包括：第一点卷积单元161，用于将所述医疗影像全局特征矩阵通过所述非局部神经网络模型的第一点卷积层以得到第一特征图；第二点卷积单元162，用于将所述医疗影像全局特征矩阵通过所述非局部神经网络模型的第二点卷积层以得到第二特征图；第三点卷积单元163，用于将所述医疗影像全局特征矩阵通过所述非局部神经网络模型的第三点卷积层以得到第三特征图；第一融合单元164，用于计算所述第一特征图和所述第二特征图的按位置加权和以得到第一融合特征图；归一化单元165，用于将所述第一融合特征图通过Softmax函数以对所述第一融合特征图中各个位置的特征值进行归一化处理以得到归一化第一融合特征图；第二融合单元166，用于计算所述归一化第一融合特征图和所述第三特征图之间的按位置加权和以得到第二融合特征图；全局感知单元167，用于以嵌入高斯相似性函数计算所述第二融合特征图中各个位置间的相似性度量值以得到全局感知特征矩阵；以及，第三融合单元168，用于计算所述全局感知特征矩阵和所述医疗影像全局特征矩阵的按位置加权和以得到所述解码特征矩阵。
更具体地，在本申请实施例中，所述医疗影像数据生成模块170，用于将所述解码特征矩阵通过解码器以得到生成医疗影像数据。也就是，利用所述医疗影像数据的全局关联特征信息来进行解码，从而基于所述医疗影像数据的全局特征生成优化后的医疗影像数据，以此有效地提高医学影像的图像质量，为医疗领域提供更加准确、可靠的医学影像数据。
相应地，在一个具体示例中，所述医疗影像数据生成模块170，用于：使用所述解码器的多个全连接层以如下解码回归公式对所述解码特征矩阵进行解码回归以获得所述生成医疗影像数据，其中，所述解码回归公式为：，其中，/>是所述解码特征矩阵，/>是所述生成医疗影像数据，/>是权重矩阵，/>表示矩阵乘。
综上，基于本申请实施例的智慧医疗信息管理系统100被阐明，其首先对待处理医疗影像数据进行图像块切分再分别通过包含双向注意力机制的卷积神经网络模型以得到多个医疗影像图像块特征矩阵，接着，对所述多个医疗影像图像块特征矩阵进行特征分布优化以得到多个优化后医疗影像图像块特征矩阵，然后，将所述多个优化后医疗影像图像块特征矩阵按照图像块切分的位置排列为医疗影像全局特征矩阵，接着，将所述医疗影像全局特征矩阵通过非局部神经网络模型以得到解码特征矩阵，最后，将所述解码特征矩阵通过解码器以得到生成医疗影像数据。这样，可以降低噪声的干扰。
如上所述，根据本申请实施例的基于本申请实施例的智慧医疗信息管理系统100可以实现在各种终端设备中，例如具有基于本申请实施例的智慧医疗信息管理算法的服务器等。在一个示例中，基于本申请实施例的智慧医疗信息管理系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本申请实施例的智慧医疗信息管理系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本申请实施例的智慧医疗信息管理系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于本申请实施例的智慧医疗信息管理系统100与该终端设备也可以是分立的设备，并且该智慧医疗信息管理系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图6为根据本申请实施例的智慧医疗信息管理方法的流程图。如图6所示，根据本申请实施例的智慧医疗信息管理方法，其包括：S110，获取待处理医疗影像数据；S120，对所述待处理医疗影像数据进行图像块切分以得到医疗影像图像块的序列；S130，将所述医疗影像图像块的序列中的各个医疗影像图像块分别通过包含双向注意力机制的卷积神经网络模型以得到多个医疗影像图像块特征矩阵；S140，对所述多个医疗影像图像块特征矩阵进行特征分布优化以得到多个优化后医疗影像图像块特征矩阵；S150，将所述多个优化后医疗影像图像块特征矩阵按照图像块切分的位置排列为医疗影像全局特征矩阵；S160，将所述医疗影像全局特征矩阵通过非局部神经网络模型以得到解码特征矩阵；以及，S170，将所述解码特征矩阵通过解码器以得到生成医疗影像数据。
图7为根据本申请实施例的智慧医疗信息管理方法的系统架构的示意图。如图7所示，在所述智慧医疗信息管理方法的系统架构中，首先，获取待处理医疗影像数据；接着，对所述待处理医疗影像数据进行图像块切分以得到医疗影像图像块的序列；然后，将所述医疗影像图像块的序列中的各个医疗影像图像块分别通过包含双向注意力机制的卷积神经网络模型以得到多个医疗影像图像块特征矩阵；接着，对所述多个医疗影像图像块特征矩阵进行特征分布优化以得到多个优化后医疗影像图像块特征矩阵；然后，将所述多个优化后医疗影像图像块特征矩阵按照图像块切分的位置排列为医疗影像全局特征矩阵；接着，将所述医疗影像全局特征矩阵通过非局部神经网络模型以得到解码特征矩阵；最后，将所述解码特征矩阵通过解码器以得到生成医疗影像数据。
在一个具体示例中，在上述智慧医疗信息管理方法中，将所述医疗影像图像块的序列中的各个医疗影像图像块分别通过包含双向注意力机制的卷积神经网络模型以得到多个医疗影像图像块特征矩阵，包括：计算所述医疗影像图像块的序列中的各个医疗影像图像块的各个位置沿通道维度的均值以得到医疗影像图像块矩阵的序列；将所述医疗影像图像块矩阵的序列中的各个医疗影像图像块矩阵分别沿着水平方向和垂直方向进行池化以得到多个第一向池化向量和多个第二向池化向量；对所述多个第一向池化向量和所述多个第二向池化向量进行关联编码以得到多个医疗影像双向关联矩阵；将所述多个医疗影像双向关联矩阵输入Sigmoid激活函数以得到多个医疗影像注意力矩阵；将所述医疗影像图像块矩阵的序列中的各个医疗影像图像块矩阵和所述多个医疗影像注意力矩阵分别展开为特征向量以得到多个医疗影像图像块向量和多个医疗影像注意力向量；融合所述多个医疗影像图像块向量和所述多个医疗影像注意力向量以得到医疗影像融合关联向量；以及，将所述医疗影像融合关联向量进行维度重构以得到所述多个医疗影像图像块特征矩阵。
在一个具体示例中，在上述智慧医疗信息管理方法中，对所述多个医疗影像图像块特征矩阵进行特征分布优化以得到多个优化后医疗影像图像块特征矩阵，包括：分别计算所述各个医疗影像图像块特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个基于凸分解的特征几何度量的逐片近似因数；以及，以所述多个基于凸分解的特征几何度量的逐片近似因数作为加权系数对所述多个医疗影像图像块特征矩阵进行加权优化以得到多个优化后医疗影像图像块特征矩阵。
在一个具体示例中，在上述智慧医疗信息管理方法中，分别计算所述各个医疗影像图像块特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个基于凸分解的特征几何度量的逐片近似因数，包括：以如下优化公式分别计算所述各个医疗影像图像块特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到所述多个基于凸分解的特征几何度量的逐片近似因数；其中，所述优化公式为：，其中，/>是第/>个所述医疗影像图像块特征矩阵的第/>个行向量或者列向量，/>表示/>函数，/>表示/>函数，/>表示将各个向量级联，且/>表示向量的二范数的平方，表示所述多个基于凸分解的特征几何度量的逐片近似因数中第/>个基于凸分解的特征几何度量的逐片近似因数。
在一个具体示例中，在上述智慧医疗信息管理方法中，将所述医疗影像全局特征矩阵通过非局部神经网络模型以得到解码特征矩阵，包括：将所述医疗影像全局特征矩阵通过所述非局部神经网络模型的第一点卷积层以得到第一特征图；将所述医疗影像全局特征矩阵通过所述非局部神经网络模型的第二点卷积层以得到第二特征图；将所述医疗影像全局特征矩阵通过所述非局部神经网络模型的第三点卷积层以得到第三特征图；计算所述第一特征图和所述第二特征图的按位置加权和以得到第一融合特征图；将所述第一融合特征图通过Softmax函数以对所述第一融合特征图中各个位置的特征值进行归一化处理以得到归一化第一融合特征图；计算所述归一化第一融合特征图和所述第三特征图之间的按位置加权和以得到第二融合特征图；以嵌入高斯相似性函数计算所述第二融合特征图中各个位置间的相似性度量值以得到全局感知特征矩阵；以及，计算所述全局感知特征矩阵和所述医疗影像全局特征矩阵的按位置加权和以得到所述解码特征矩阵。
在一个具体示例中，在上述智慧医疗信息管理方法中，将所述解码特征矩阵通过解码器以得到生成医疗影像数据，包括：使用所述解码器的多个全连接层以如下解码回归公式对所述解码特征矩阵进行解码回归以获得所述生成医疗影像数据，其中，所述解码回归公式为：，其中，/>是所述解码特征矩阵，/>是所述生成医疗影像数据，是权重矩阵，/>表示矩阵乘。
这里，本领域技术人员可以理解，上述智慧医疗信息管理方法中的各个步骤的具体操作已经在上面参考图1到图5的智慧医疗信息管理系统100的描述中得到了详细介绍，并因此，将省略其重复描述。
根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (8)

1.一种智慧医疗信息管理系统，其特征在于，包括：
医疗影像数据采集模块，用于获取待处理医疗影像数据；
图像切分模块，用于对所述待处理医疗影像数据进行图像块切分以得到医疗影像图像块的序列；
图像特征提取模块，用于将所述医疗影像图像块的序列中的各个医疗影像图像块分别通过包含双向注意力机制的卷积神经网络模型以得到多个医疗影像图像块特征矩阵；
特征优化模块，用于对所述多个医疗影像图像块特征矩阵进行特征分布优化以得到多个优化后医疗影像图像块特征矩阵；
全局排列模块，用于将所述多个优化后医疗影像图像块特征矩阵按照图像块切分的位置排列为医疗影像全局特征矩阵；
全局特征关联模块，用于将所述医疗影像全局特征矩阵通过非局部神经网络模型以得到解码特征矩阵；以及
医疗影像数据生成模块，用于将所述解码特征矩阵通过解码器以得到生成医疗影像数据；
其中，所述特征优化模块，包括：
优化因数计算单元，用于分别计算所述各个医疗影像图像块特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个基于凸分解的特征几何度量的逐片近似因数；以及
加权优化单元，用于以所述多个基于凸分解的特征几何度量的逐片近似因数作为加权系数对所述多个医疗影像图像块特征矩阵进行加权优化以得到多个优化后医疗影像图像块特征矩阵。
2.根据权利要求1所述的智慧医疗信息管理系统，其特征在于，所述图像特征提取模块，包括：
降维单元，用于计算所述医疗影像图像块的序列中的各个医疗影像图像块的各个位置沿通道维度的均值以得到医疗影像图像块矩阵的序列；
双向池化单元，用于将所述医疗影像图像块矩阵的序列中的各个医疗影像图像块矩阵分别沿着水平方向和垂直方向进行池化以得到多个第一向池化向量和多个第二向池化向量；
池化关联编码单元，用于对所述多个第一向池化向量和所述多个第二向池化向量进行关联编码以得到多个医疗影像双向关联矩阵；
激活单元，用于将所述多个医疗影像双向关联矩阵输入Sigmoid激活函数以得到多个医疗影像注意力矩阵；
矩阵展开单元，用于将所述医疗影像图像块矩阵的序列中的各个医疗影像图像块矩阵和所述多个医疗影像注意力矩阵分别展开为特征向量以得到多个医疗影像图像块向量和多个医疗影像注意力向量；
优化特征融合单元，用于融合所述多个医疗影像图像块向量和所述多个医疗影像注意力向量以得到医疗影像融合关联向量；以及
维度重构单元，用于将所述医疗影像融合关联向量进行维度重构以得到所述多个医疗影像图像块特征矩阵。
3.根据权利要求2所述的智慧医疗信息管理系统，其特征在于，所述优化因数计算单元，用于：
以如下优化公式分别计算所述各个医疗影像图像块特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到所述多个基于凸分解的特征几何度量的逐片近似因数；
其中，所述优化公式为：
，
其中，是第/>个所述医疗影像图像块特征矩阵的第/>个行向量或者列向量，表示/>函数，/>表示/>函数，/>表示将各个向量级联，且/>表示向量的二范数的平方，/>表示所述多个基于凸分解的特征几何度量的逐片近似因数中第/>个基于凸分解的特征几何度量的逐片近似因数。
4.根据权利要求3所述的智慧医疗信息管理系统，其特征在于，所述全局特征关联模块，包括：
第一点卷积单元，用于将所述医疗影像全局特征矩阵通过所述非局部神经网络模型的第一点卷积层以得到第一特征图；
第二点卷积单元，用于将所述医疗影像全局特征矩阵通过所述非局部神经网络模型的第二点卷积层以得到第二特征图；
第三点卷积单元，用于将所述医疗影像全局特征矩阵通过所述非局部神经网络模型的第三点卷积层以得到第三特征图；
第一融合单元，用于计算所述第一特征图和所述第二特征图的按位置加权和以得到第一融合特征图；
归一化单元，用于将所述第一融合特征图通过Softmax函数以对所述第一融合特征图中各个位置的特征值进行归一化处理以得到归一化第一融合特征图；
第二融合单元，用于计算所述归一化第一融合特征图和所述第三特征图之间的按位置加权和以得到第二融合特征图；
全局感知单元，用于以嵌入高斯相似性函数计算所述第二融合特征图中各个位置间的相似性度量值以得到全局感知特征矩阵；以及
第三融合单元，用于计算所述全局感知特征矩阵和所述医疗影像全局特征矩阵的按位置加权和以得到所述解码特征矩阵。
5.根据权利要求4所述的智慧医疗信息管理系统，其特征在于，所述医疗影像数据生成模块，用于：
使用所述解码器的多个全连接层以如下解码回归公式对所述解码特征矩阵进行解码回归以获得所述生成医疗影像数据，其中，所述解码回归公式为：，其中，是所述解码特征矩阵，/>是所述生成医疗影像数据，/>是权重矩阵，/>表示矩阵乘。
6.一种智慧医疗信息管理方法，其特征在于，包括：
获取待处理医疗影像数据；
对所述待处理医疗影像数据进行图像块切分以得到医疗影像图像块的序列；
将所述医疗影像图像块的序列中的各个医疗影像图像块分别通过包含双向注意力机制的卷积神经网络模型以得到多个医疗影像图像块特征矩阵；
对所述多个医疗影像图像块特征矩阵进行特征分布优化以得到多个优化后医疗影像图像块特征矩阵；
将所述多个优化后医疗影像图像块特征矩阵按照图像块切分的位置排列为医疗影像全局特征矩阵；
将所述医疗影像全局特征矩阵通过非局部神经网络模型以得到解码特征矩阵；以及
将所述解码特征矩阵通过解码器以得到生成医疗影像数据；
其中，对所述多个医疗影像图像块特征矩阵进行特征分布优化以得到多个优化后医疗影像图像块特征矩阵，包括：
分别计算所述各个医疗影像图像块特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个基于凸分解的特征几何度量的逐片近似因数；以及
以所述多个基于凸分解的特征几何度量的逐片近似因数作为加权系数对所述多个医疗影像图像块特征矩阵进行加权优化以得到多个优化后医疗影像图像块特征矩阵。
7.根据权利要求6所述的智慧医疗信息管理方法，其特征在于，将所述医疗影像图像块的序列中的各个医疗影像图像块分别通过包含双向注意力机制的卷积神经网络模型以得到多个医疗影像图像块特征矩阵，包括：
计算所述医疗影像图像块的序列中的各个医疗影像图像块的各个位置沿通道维度的均值以得到医疗影像图像块矩阵的序列；
将所述医疗影像图像块矩阵的序列中的各个医疗影像图像块矩阵分别沿着水平方向和垂直方向进行池化以得到多个第一向池化向量和多个第二向池化向量；
对所述多个第一向池化向量和所述多个第二向池化向量进行关联编码以得到多个医疗影像双向关联矩阵；
将所述多个医疗影像双向关联矩阵输入Sigmoid激活函数以得到多个医疗影像注意力矩阵；
将所述医疗影像图像块矩阵的序列中的各个医疗影像图像块矩阵和所述多个医疗影像注意力矩阵分别展开为特征向量以得到多个医疗影像图像块向量和多个医疗影像注意力向量；
融合所述多个医疗影像图像块向量和所述多个医疗影像注意力向量以得到医疗影像融合关联向量；以及
将所述医疗影像融合关联向量进行维度重构以得到所述多个医疗影像图像块特征矩阵。
8.根据权利要求7所述的智慧医疗信息管理方法，其特征在于，分别计算所述各个医疗影像图像块特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到多个基于凸分解的特征几何度量的逐片近似因数，包括：
以如下优化公式分别计算所述各个医疗影像图像块特征矩阵的基于凸分解的特征几何度量的逐片近似因数以得到所述多个基于凸分解的特征几何度量的逐片近似因数；
其中，所述优化公式为：
，
其中，是第/>个所述医疗影像图像块特征矩阵的第/>个行向量或者列向量，表示/>函数，/>表示/>函数，/>表示将各个向量级联，且/>表示向量的二范数的平方，/>表示所述多个基于凸分解的特征几何度量的逐片近似因数中第/>个基于凸分解的特征几何度量的逐片近似因数。
CN202310620574.8A 2023-05-30 2023-05-30 智慧医疗信息管理系统及其方法 Active CN116563302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310620574.8A CN116563302B (zh) 2023-05-30 2023-05-30 智慧医疗信息管理系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310620574.8A CN116563302B (zh) 2023-05-30 2023-05-30 智慧医疗信息管理系统及其方法

Publications (2)

Publication Number Publication Date
CN116563302A CN116563302A (zh) 2023-08-08
CN116563302B true CN116563302B (zh) 2023-12-12

Family

ID=87500011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310620574.8A Active CN116563302B (zh) 2023-05-30 2023-05-30 智慧医疗信息管理系统及其方法

Country Status (1)

Country Link
CN (1) CN116563302B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117094895B (zh) * 2023-09-05 2024-03-26 杭州一隅千象科技有限公司 图像全景拼接方法及其系统
CN117457142A (zh) * 2023-11-17 2024-01-26 浙江飞图影像科技有限公司 用于报告生成的医学影像处理系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419184A (zh) * 2020-11-19 2021-02-26 重庆邮电大学 一种综合局部信息和全局信息的空间注意力图像去噪方法
CN115115523A (zh) * 2022-08-26 2022-09-27 中加健康工程研究院(合肥)有限公司 一种融合CNN和Transformer的医学图像深度信息提取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419184A (zh) * 2020-11-19 2021-02-26 重庆邮电大学 一种综合局部信息和全局信息的空间注意力图像去噪方法
CN115115523A (zh) * 2022-08-26 2022-09-27 中加健康工程研究院(合肥)有限公司 一种融合CNN和Transformer的医学图像深度信息提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Attention Mechanisms in Medical Image Segmentation: A Survey;Yutong Xie et al.;arXiv.org;全文 *
Attention-based generative adversarial network in medical imaging: A narrative review;Jing Zhao et al.;Computers in Biology and Medicine;全文 *
NON-LOCAL ATTENTION LEARNING FOR MEDICAL IMAGE CLASSIFICATION;Yang Wen et al.;2021 IEEE International Conference on Multimedia and Expo (ICME);全文 *

Also Published As

Publication number Publication date
CN116563302A (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN116563302B (zh) 智慧医疗信息管理系统及其方法
CN111429464B (zh) 医学图像分割方法、医学图像分割装置及终端设备
CN115203380A (zh) 基于多模态数据融合的文本处理系统及其方法
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
CN116758341B (zh) 一种基于gpt的髋关节病变智能诊断方法、装置及设备
CN111027681B (zh) 时序数据处理模型训练方法、数据处理方法、装置及存储介质
CN113780326A (zh) 一种图像处理方法、装置、存储介质及电子设备
CN113592769B (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
CN116091414A (zh) 一种基于深度学习的心血管图像识别方法及其系统
CN115579141A (zh) 一种可解释疾病风险预测模型构建方法以及疾病风险预测装置
CN115994558A (zh) 医学影像编码网络的预训练方法、装置、设备及存储介质
CN113850182A (zh) 基于DAMR_3DNet的动作识别方法
CN116486465A (zh) 用于人脸结构分析的图像识别方法及其系统
CN113689527B (zh) 一种人脸转换模型的训练方法、人脸图像转换方法
CN116431004A (zh) 康复机器人交互行为的控制方法及系统
CN116933051A (zh) 一种用于模态缺失场景的多模态情感识别方法及系统
CN115640418B (zh) 基于残差语义一致性跨域多视角目标网站检索方法及装置
CN116433654A (zh) 一种改进的U-Net网络实现脊柱整体分割方法
CN116467485A (zh) 一种视频图像检索构建系统及其方法
WO2023108418A1 (zh) 脑图谱构建及神经环路检测的方法和相关产品
CN112836485A (zh) 一种基于神经机器翻译的相似病历预测方法
CN116704498A (zh) 基于机器视觉的菜品识别方法及其系统
CN117352120A (zh) 基于gpt的膝关节病变诊断智能自生成方法、装置及设备
CN116596742A (zh) 图像配准模型的训练方法、装置、设备及存储介质
Alves et al. Enhancing Brazilian Sign Language Recognition through Skeleton Image Representation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20231120

Address after: 200439 Room A-1316, Building 1, No. 188 Changyi Road, Baoshan District, Shanghai

Applicant after: Shanghai wanxu Health Technology Co.,Ltd.

Address before: 311100 Room 109-B, Building 23, No. 1399, Liangmu Road, Cangqian Street, Yuhang District, Hangzhou City, Zhejiang Province

Applicant before: Hangzhou medical Ruilian Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant