CN115412202A - 一种基于医学图像的语义通信方法及相关设备 - Google Patents
一种基于医学图像的语义通信方法及相关设备 Download PDFInfo
- Publication number
- CN115412202A CN115412202A CN202210917842.8A CN202210917842A CN115412202A CN 115412202 A CN115412202 A CN 115412202A CN 202210917842 A CN202210917842 A CN 202210917842A CN 115412202 A CN115412202 A CN 115412202A
- Authority
- CN
- China
- Prior art keywords
- knowledge
- medical
- semantic
- medical image
- joint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006854 communication Effects 0.000 title claims abstract description 73
- 238000004891 communication Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013528 artificial neural network Methods 0.000 claims abstract description 74
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 61
- 230000006870 function Effects 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 230000000717 retained effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 210000004204 blood vessel Anatomy 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/391—Modelling the propagation channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Quality & Reliability (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Electromagnetism (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于医学图像的语义通信方法及相关设备，所述基于医学图像的语义通信方法包括：基于深度学习获取医学图像中的医学知识；将所述医学图像和所述医学知识输入到编码器神经网络，以获得第一联合语义特征，所述第一联合语义特征包括图像特征和知识特征，所述第一联合语义特征经过信道传输后，输出为第二联合语义特征；基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识。本发明中通过编码器神经网络独立编码医学图像和医学知识，最大限度保留医学图像中的医学知识，使得接收端能够接收并恢复携带准确医学知识的医学图像，进而提高语义通信过程中接收端接收到的医学图像的准确性。
Description
技术领域
本发明涉及语义通信技术领域，尤其涉及的是一种基于医学图像的语义通信方法、系统、智能终端及计算机存储介质。
背景技术
随着现代医学的发展，医学诊疗工作越来越多依赖于医学图像的检查，而随着移动通信技术的迅速发展，信息传递模式也从传统的“比特传输”逐渐向“达意传输”转变，致使语义通信得到了快速的发展，通过语义通信对医学图像进行传输为远距离医学诊断和治疗带来了极大的便利。
现有技术中图片级别的语义通信系统由于缺乏对医学知识的保护，接收端恢复的医学图像会损失医学知识，导致语义通信过程中接收端接收到的医学图像的准确性低。
因此，现有技术还有待改进和发展。
发明内容
本发明的主要目的在于提供一种基于医学图像的语义通信方法、系统、智能终端及计算机存储介质，旨在解决现有技术中图片级别的语义通信系统由于缺乏对医学知识的保护，接收端恢复的医学图像会损失医学知识，导致语义通信过程中接收端接收到的医学图像的准确性低的问题。
为了实现上述目的，本发明第一方面提供一种基于医学图像的语义通信方法，所述基于医学图像的语义通信方法包括：基于深度学习获取医学图像中的医学知识；将所述医学图像和所述医学知识输入到编码器神经网络，以获得第一联合语义特征，所述第一联合语义特征包括图像特征和知识特征，所述第一联合语义特征经过信道传输后，输出为第二联合语义特征；基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识。
可选的，所述编码器神经网络包括图像编码块和知识编码块，所述将所述医学图像和所述医学知识输入到编码器神经网络，以获取第一联合语义特征，具体包括：基于所述图像编码块提取所述医学图像的图像特征；基于所述知识编码块提取所述医学知识的知识特征；将所述图像特征和所述知识特征进行拼接融合，获得所述第一联合语义特征。
可选的，所述解码器神经网络包括知识解码块和联合解码块，所述基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识，具体包括：从所述第二联合语义特征中分离出第一知识特征；将所述第一知识特征作为所述知识解码块的输入，通过所述知识解码块对所述第一知识特征进行解码，输出知识数值矩阵，恢复所述知识数值矩阵获得所述医学知识；将所述第二联合语义特征作为所述联合解码块的输入，通过所述联合解码块对所述第二联合语义特征进行解码，输出图像数值矩阵，恢复所述图像数值矩阵获得所述医学图像。
可选的，所述知识解码块为多级知识解码块，所述基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识，具体还包括：将每一级知识解码块的输出作为下一级知识解码块的输入，直到输出的知识数值矩阵满足预设要求，输出并恢复所述知识数值矩阵，获得所述医学知识。
可选的，所述联合解码块为多级联合解码块，所述基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识，具体还包括：将每一级知识解码块的输出与每一级联合解码块的输出进行拼接作为下一级联合解码块的输入，直到输出的图像数值矩阵满足预设要求，输出并恢复所述图像数值矩阵，获得所述医学图像。
可选的，所述基于医学图像的语义通信方法还包括：基于联合损失函数对联合神经网络进行训练，所述联合神经网络由所述编码器神经网络和所述解码器神经网络组成。
可选的，所述基于医学图像的语义通信方法还包括：基于随机梯度下降法优化所述联合神经网络的联合损失函数，所述联合损失函数为输入和输出医学图像的均方误差与输入和输出医学知识的均方误差之和。
本发明第二方面提供一种基于医学图像的语义通信系统，所述基于医学图像的语义通信系统包括：
获取模块，用于基于深度学习获取医学图像中的医学知识；
编码模块，用于将所述医学图像和所述医学知识输入到编码器神经网络，以获得第一联合语义特征，所述第一联合语义特征包括图像特征和知识特征，所述第一联合语义特征经过信道传输后，输出为第二联合语义特征；
解码模块，用于基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识。
本发明第三方面提供一种智能终端，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于医学图像的语义通信程序，所述基于医学图像的语义通信程序被所述处理器执行时实现如上所述基于医学图像的语义通信方法的步骤。
本发明第四方面提供一种计算机存储介质，其特征在于，所述计算机存储介质上存储有基于医学图像的语义通信程序，所述基于医学图像的语义通信程序被处理器执行时实现如上所述基于医学图像的语义通信方法的步骤。
由上可见，本发明方案公开了一种基于医学图像的语义通信方法，所述基于医学图像的语义通信方法包括：基于深度学习获取医学图像中的医学知识；将所述医学图像和所述医学知识输入到编码器神经网络，以获得第一联合语义特征，所述第一联合语义特征包括图像特征和知识特征，所述第一联合语义特征经过信道传输后，输出为第二联合语义特征；基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识。与现有技术中相比，本发明中通过编码器神经网络独立编码医学图像和医学知识，最大限度保留医学图像中的医学知识，使得接收端能够接收并恢复携带准确医学知识的医学图像，进而提高语义通信过程中接收端接收到的医学图像的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的基于医学图像的语义通信方法的流程示意图；
图2是本发明实施例提供的基于眼底图的语义通信方法的流程示意图；
图3是本发明实施例提供的知识解码块和联合解码块的拼接示意图；
图4是本发明实施例提供的基于医学图像的语义通信系统的一种结构示意图；
图5是本发明实施例提供的基于医学图像的语义通信系统的另一种结构示意图；
图6是本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
语义通信是指从信源中提取语义信息并编码，在有噪信道中传输的通信方式，语义通信系统包括发送端和接收端，具体的，在发送端进行语义信息提取和语义编码，然后进行信道编码，经过无线信道传输后到达接收端，接收端进行信道译码，再进行语义译码和语义信息恢复，对医学图像进行语义通信传输可以方便各个医疗机构进行数据交换，为远距离医学诊断和治疗带来便利。现有技术中图片级别的语义通信系统缺乏对医学知识的保护，使得接收端恢复的图片会损失医学知识，导致语义通信过程中接收端接收到的医学图像的准确性低。
为了解决现有技术中存在的问题，本实施例中，提出一种基于医学图像的语义通信方法，能够保留医学图像中的医学知识，使得接收端能够接收并恢复出携带准确医学知识的医学图像。
示例性方法
如图1所示，本发明实施例提供一种基于医学图像的语义通信方法，具体的，所述方法包括如下步骤：
步骤S100，基于深度学习获取医学图像中的医学知识。
本实施例中，通过深度学习技术，例如语义分割、目标检测提取医学图像中蕴含的医学知识，所述医学知识根据接收端的预设任务确定。具体的，通过语义分割网络(U-Net)提取医学图像中的医学知识，所述医学知识为医学图像中概念级别的、和人类理解有关、和接收端的下游任务相关的信息，在医学图像中，医学知识可以为解剖、病灶和属性等相关知识。
步骤S200，将所述医学图像和所述医学知识输入到编码器神经网络，以获得第一联合语义特征，所述第一联合语义特征包括图像特征和知识特征，所述第一联合语义特征经过信道传输后，输出为第二联合语义特征。
本实施例中，所述编码器神经网络包括图像编码块和知识编码块，所述步骤S200具体包括：基于所述图像编码块提取所述医学图像的图像特征；基于所述知识编码块提取所述医学知识的知识特征；将所述图像特征和所述知识特征进行拼接融合，获得所述第一联合语义特征。
本实施例中，所述第一联合语义特征的特征矩阵如表达式(1)所示：
ye＝Tθ(x，x′) (1)；
其中，ye表示所述第一联合语义特征的特征矩阵，Tθ(·)表示编码器神经网络的映射函数，(x，x′)表示输入的医学图像及其对应的医学知识对。
所述第一联合语义特征在信道传输过程中经过信道噪声和干扰的影响后，输出为所述第二联合语义特征，所述第二联合语义特征的特征矩阵如表达式(2)所示：
其中，
表示所述第二联合语义特征的特征矩阵，h表示信道参数，ye表示所述第一联合语义特征的特征矩阵，η表示高斯噪声。所述第一联合语义特征经过无线信道的噪声、干扰等影响后输出为所述第二联合语义特征，与所述第一联合语义特征的特征矩阵相比，所述第二联合语义特征的特征矩阵中一些数值会发生扰动，但特征矩阵的维度不会发生改变。
本实施例中通过表达式(2)将无线信道建模成编码器和解码器之间的一层不可训练噪声层，通过端到端训练降低图片重建以及知识重建的均方误差。
步骤S300，基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识。
本实施例中，以第二联合语义特征的特征矩阵
作为解码器神经网络的输入，在经过解码器神经网络解码后，输出重构的医学图像及其对应的医学知识对如表达式(3)所示：
其中，
表示重构的医学图像及其对应的医学知识对，Rψ(·)代表解码器的映射函数，
表示第二联合语义特征的特征矩阵。
本实施例中，所述解码器神经网络包括知识解码块和联合解码块，所述步骤S300具体包括：从所述第二联合语义特征中分离出第一知识特征；将所述第一知识特征作为所述知识解码块的输入，通过所述知识解码块对所述第一知识特征进行解码，输出知识数值矩阵，恢复所述知识数值矩阵获得所述医学知识；将所述第二联合语义特征作为所述联合解码块的输入，通过所述联合解码块对所述第二联合语义特征进行解码，输出图像数值矩阵，恢复所述图像数值矩阵获得所述医学图像。
本实施例中，所述知识解码块为多级知识解码块，所述基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识，具体还包括：将每一级知识解码块的输出作为下一级知识解码块的输入，直到输出的知识数值矩阵满足预设要求，输出并恢复所述知识数值矩阵，获得所述医学知识。
本实施例中，所述联合解码块为多级联合解码块，所述基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识，具体还包括：将每一级知识解码块的输出与每一级联合解码块的输出进行拼接作为下一级联合解码块的输入，直到输出的图像数值矩阵满足预设要求，输出并恢复所述图像数值矩阵，获得所述医学图像。其中，解码器神经网络以级为单位融合图像特征和知识特征，最大限度的放大和保护知识特征，直到最后恢复出携带准确医学知识的医学图像。
本实施例中，所述基于医学图像的语义通信方法还包括：基于联合损失函数对联合神经网络进行训练，所述联合神经网络由所述编码器神经网络和所述解码器神经网络组成；基于随机梯度下降法优化所述联合神经网络的联合损失函数，所述联合损失函数为输入和输出医学图像的均方误差与输入和输出医学知识的均方误差之和。
本实施例中，所述联合损失函数如表达式(4)所示：
其中，θ*表示编码器神经网络的解，ψ*表示解码器神经网络的解，LMSE表示最小均方误差算法，θ表示编码器神经网络的待求解，ψ表示解码器神经网络的待求解，α表示连接两个损失的权重，N表示医学图像的矩阵尺寸，xi表示输入的第i个医学图像，
表示输出的第i个医学图像，x′j表示输入的第j个医学知识，
表示输出的第j个医学知识。
需要说明的是，基于随机梯度下降法优化所述联合神经网络的联合损失函数，直到联合损失函数不再下降。在实际应用中，可以根据实际情况通过预设时间或预设次数控制优化次数和优化时间。
本实施例中，如图2所示，以眼底图作为医学图像进行语义通信。具体的，根据接收端的任务，通过语义分割网络(U-Net)提取眼底图中的血管树作为医学知识，其中，眼底图使用Kaggle眼底图数据集，且根据在DRIVE数据集上训练好的U-Net模型分割出Kaggle眼底图的血管树，血管树作为眼底图中的医学知识。
将所述医学图像和所述医学知识输入到编码器神经网络，以获得第一联合语义特征，所述编码器神经网络包括图像编码块和知识编码块，所述图像编码块和所述知识编码块由卷积层、批标准化层和非线性激活层组成，所述图像编码块和所述知识编码块可以包括不同的参数。图像编码块用来提取医学图像的语义特征，知识编码块用来提取医学知识的语义特征，以保护更加完整的医学知识。
所述图像编码块和所述知识编码块可以为多级图像编码块和多级知识编码块，在分别经过最后一级图像编码块和知识编码块后，获得图像特征(图2中的图像特征1)和知识特征(图2中的知识特征1)，将所述图像特征和所述知识特征进行拼接融合，获得所述第一联合语义特征(图2中的联合特征1)。
本实施例中，编码器神经网络包括5个图像编码块和5个知识编码块，具体结构如表1所示，其中Conv为卷积层，BNorm为批标准化层，LeakyReLU和ReLU为两种非线性激活层。
表1
| 图像编码块 | 知识编码块 | |
| 编码块1结构 | 4×4Conv(3,64),LeakyReLU | 4×4Conv(1,64)LeaklyReLU |
| 编码块2结构 | 4×4Conv(64,128),BNorm,LeakyReLU | 4×4Conv(64,128)BNorm,LeakyReLU |
| 编码块3结构 | 4×4Conv(128,256),BNorm,LeakyReLU | 4×4Conv(128,256)BNorm,LeakyReLU |
| 编码块4结构 | 4×4Conv(256,256),BNorm,LeakyReLU | 4×4Conv(256,256)BNorm,LeakyReLU |
| 编码块5结构 | 1×1Conv(256,16)ReLU | 1×1Conv(256,16)ReLU |
以图像编码块1为例，输入的彩色眼底图表示为256(长度)x256(宽度)x3(通道数)的数值矩阵，经过编码块1的4×4Conv(3,64)层和LeakyReLU层后，输出通道数为64的3维数值矩阵，以此类推，输出的数值矩阵依次通过图像编码块2至图像编码块5，直到最后输出大小为16x16x16的3维图像特征1，最后一维为通道数。综上，编码是一个不断下采样的过程。
以知识编码块1为例，输入的黑白血管树分割图表示为256(长度)x256(宽度)x1(通道数)的数值矩阵，经过编码块1的4×4Conv(1,64)层和LeakyReLU层后，输出通道数为64的3维数值矩阵，以此类推，输出的数值矩阵依次通过知识编码块2至知识编码块5，直到最后输出大小为16x16x16的3维知识特征1。
将编码后的图像特征1和知识特征1在通道数的维度上进行拼接，获得的联合特征1为16x16x32的数值矩阵。
联合特征1的特征矩阵经过无线信道的噪声、干扰等影响，联合特征1的特征矩阵中一些元素发生扰动后，输出为图2中的联合特征2，联合特征2仍然为16x16x32的矩阵，与联合特征1相比，联合特征2中的数值会发生变化。
如图2所示，从联合特征2中分离出知识特征2；将知识特征2作为所述知识解码块的输入，通过知识解码块对知识特征2进行解码，输出知识数值矩阵，恢复知识数值矩阵获得所述医学知识；将联合特征2作为所述联合解码块的输入，通过联合解码块对联合特征2进行解码，输出图像数值矩阵，恢复所述图像数值矩阵获得所述医学图像。进一步地，如图2所示，所述知识解码块为多级知识解码块，将每一级知识解码块的输出作为下一级知识解码块的输入，直到输出的知识数值矩阵满足预设要求，输出并恢复所述知识数值矩阵，获得所述医学知识。进一步地，如图2所示，所述联合解码块为多级联合解码块，将每一级知识解码块的输出与每一级联合解码块的输出进行拼接作为下一级联合解码块的输入，直到输出的图像数值矩阵满足预设要求，输出并恢复所述图像数值矩阵，获得所述医学图像。
本实施例中，所述知识解码块和所述联合解码块由反卷积层，批标准化层和非线性激活层组成，解码块进行与知识编码块和图像编码块相反的操作，其目的是恢复医学图像和医学知识，解码的次数可根据参数进行调整，不需要与编码次数完全一致，其中，所述联合解码块和所述知识解码块可以包括不同的参数。与编码器神经网络独立编码的方式不同，每一级知识解码块的输出会添加到每一级联合解码块的输出上，通过每级的特征融合，来放大和保护知识特征，直到最后一级输出恢复的医学图像和医学知识。
在本实施例中，解码器神经网络包括5个联合解码块和5个知识解码块，具体结构如表2所示，其中ConvTran为反卷积层，BNorm为批标准化层，Sigmoid和ReLU为两种非线性激活层。
表2
| 联合解码块 | 知识解码块 | |
| 解码块1结构 | 1×1ConvTran(32,256),BNorm,ReLU | 1×1ConvTran(16,256)BNorm,ReLU |
| 解码块2结构 | 4×4ConvTran(512,128),BNorm,ReLU | 4×4ConvTran(256,128)BNorm,ReLU |
| 解码块3结构 | 4×4ConvTran(256,64),BNorm,ReLU | 4×4ConvTran(128,64)BNorm,ReLU |
| 解码块4结构 | 4×4ConvTran(128,32),BNorm,ReLU | 4×4ConvTran(64,32)BNorm,ReLU |
| 解码块5结构 | 4×4ConvTran(64,3),Sigmoid | 4×4ConvTran(32,1)Sigmoid |
以联合解码块1为例，输入大小为16x16x32的联合特征2，经过联合解码块1的1×1ConvTran(32,256)层、BNorm层和ReLU层后，输出通道数为256的3维数值矩阵，记作a。
以知识解码块1为例，输入为大小为16x16x16的知识特征2，经过知识解码块1的1×1ConvTran(16,256)层、BNorm层和ReLU层后，输出通道数为256的3维数值矩阵，记作b。
如图3所示，将知识解码块1输出的b在通道数维度拼接到联合解码块输出的a上，获得通道数为512的3维矩阵a+b作为联合解码块2的输入，b作为知识解码块2的输入。
将每一级知识解码块的输出作为下一级知识解码块的输入，直到输出的知识数值矩阵满足预设要求，输出并恢复所述知识数值矩阵，获得所述医学知识。
将每一级知识解码块的输出与每一级联合解码块的输出进行拼接作为下一级联合解码块的输入，直到输出的图像数值矩阵满足预设要求，输出并恢复所述图像数值矩阵，获得所述医学图像。综上，解码是一个不断上采样的过程。
通过联合损失函数训练编码器神经网络和解码器神经网络组成的联合神经网络进行训练，并通过随机梯度下降法更新联合神经网络的参数，直到损失函数不再下降。训练结束后，可以得到编码器神经网络参数Tθ(·)和解码器神经网络参数Rψ(·)，之后对新输入的医学图像进行准确的恢复。
由上可见，本发明方案公开了一种基于医学图像的语义通信方法，所述基于医学图像的语义通信方法包括：基于深度学习获取医学图像中的医学知识；将所述医学图像和所述医学知识输入到编码器神经网络，以获得第一联合语义特征，所述第一联合语义特征包括图像特征和知识特征，所述第一联合语义特征经过信道传输后，输出为第二联合语义特征；基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识。与现有技术中相比，本发明中通过编码器神经网络独立编码医学图像和医学知识，最大限度保留医学图像中的医学知识，使得接收端能够接收并恢复携带准确医学知识的医学图像，进而提高语义通信过程中接收端接收到的医学图像的准确性，促进医学图像和医学知识的传输与交换，实现异地医学图像和医学知识的共享。
示例性设备
如图4所示，对应于所述基于医学图像的语义通信方法，本发明实施例还提供一种基于医学图像的语义通信系统，所述基于医学图像的语义通信系统包括：
获取模块401，用于基于深度学习获取医学图像中的医学知识；
编码模块402，用于将所述医学图像和所述医学知识输入到编码器神经网络，以获得第一联合语义特征，所述第一联合语义特征包括图像特征和知识特征，所述第一联合语义特征经过信道传输后，输出为第二联合语义特征；
解码模块403，用于基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识。
具体的，如图5所示，通过获取模块401提取医学图像x中的医学知识x′；通过编码模块402提取医学图像和医学知识中的语义特征，获得医学特征和知识特征；将图像特征和知识特征进行拼接融合，获得第一联合语义特征ye；第一联合语义特征ye经过信道后退化为第二联合语义特征
通过解码模块403对第二联合语义特征
进行解码后，重构出包含医学知识的医学图像
本实施例中，上述基于医学图像的语义通信系统及其各个模块的具体功能还可以参照上述基于医学图像的语义通信方法中的对应描述，在此不再赘述。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图6所示。所述智能终端包括处理器及存储器。该智能终端的存储器包括基于医学图像的语义通信程序，存储器为基于医学图像的语义通信程序的运行提供环境。该基于医学图像的语义通信程序被处理器执行时针对实现上述任意一种基于医学图像的语义通信方法的步骤。
本领域技术人员可以理解，图6中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体地智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，上述基于医学图像的语义通信程序被上述处理器执行时进行以下操作指令：
基于深度学习获取医学图像中的医学知识；
将所述医学图像和所述医学知识输入到编码器神经网络，以获得第一联合语义特征，所述第一联合语义特征包括图像特征和知识特征，所述第一联合语义特征经过信道传输后，输出为第二联合语义特征；
基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识。
本发明实施例还提供一种计算机存储介质，上述计算机存储介质上存储有基于医学图像的语义通信程序，上述基于医学图像的语义通信程序被处理器执行时实现本发明实施例提供的任意一种基于医学图像的语义通信方法的步骤。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于医学图像的语义通信方法，其特征在于，所述基于医学图像的语义通信方法包括：
基于深度学习获取医学图像中的医学知识；
将所述医学图像和所述医学知识输入到编码器神经网络，以获得第一联合语义特征，所述第一联合语义特征包括图像特征和知识特征，所述第一联合语义特征经过信道传输后，输出为第二联合语义特征；
基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识。
2.根据权利要求1所述的基于医学图像的语义通信方法，其特征在于，所述编码器神经网络包括图像编码块和知识编码块；
所述将所述医学图像和所述医学知识输入到编码器神经网络，以获取第一联合语义特征，具体包括：
基于所述图像编码块提取所述医学图像的图像特征；
基于所述知识编码块提取所述医学知识的知识特征；
将所述图像特征和所述知识特征进行拼接融合，获得所述第一联合语义特征。
3.根据权利要求1所述的基于医学图像的语义通信方法，其特征在于，所述解码器神经网络包括知识解码块和联合解码块；
所述基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识，具体包括：
从所述第二联合语义特征中分离出第一知识特征；
将所述第一知识特征作为所述知识解码块的输入，通过所述知识解码块对所述第一知识特征进行解码，输出知识数值矩阵，恢复所述知识数值矩阵获得所述医学知识；
将所述第二联合语义特征作为所述联合解码块的输入，通过所述联合解码块对所述第二联合语义特征进行解码，输出图像数值矩阵，恢复所述图像数值矩阵获得所述医学图像。
4.根据权利要求3所述的基于医学图像的语义通信方法，其特征在于，所述知识解码块为多级知识解码块；
所述基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识，还包括：
将每一级知识解码块的输出作为下一级知识解码块的输入，直到输出的知识数值矩阵满足预设要求，输出并恢复所述知识数值矩阵，获得所述医学知识。
5.根据权利要求4所述的基于医学图像的语义通信方法，其特征在于，所述联合解码块为多级联合解码块；
所述基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识，还包括：
将每一级知识解码块的输出与每一级联合解码块的输出进行拼接作为下一级联合解码块的输入，直到输出的图像数值矩阵满足预设要求，输出并恢复所述图像数值矩阵，获得所述医学图像。
6.根据权利要求1所述的基于医学图像的语义通信方法，其特征在于，所述基于医学图像的语义通信方法还包括：
基于联合损失函数对联合神经网络进行训练，所述联合神经网络由所述编码器神经网络和所述解码器神经网络组成。
7.根据权利要求6所述的基于医学图像的语义通信方法，其特征在于，所述基于医学图像的语义通信方法还包括：
基于随机梯度下降法优化所述联合神经网络的联合损失函数，所述联合损失函数为输入和输出医学图像的均方误差与输入和输出医学知识的均方误差之和。
8.一种基于医学图像的语义通信系统，其特征在于，所述基于医学图像的语义通信系统包括：
获取模块，用于基于深度学习获取医学图像中的医学知识；
编码模块，用于将所述医学图像和所述医学知识输入到编码器神经网络，以获得第一联合语义特征，所述第一联合语义特征包括图像特征和知识特征，所述第一联合语义特征经过信道传输后，输出为第二联合语义特征；
解码模块，用于基于解码器神经网络对所述第二联合语义特征进行解码，获得所述医学图像和所述医学知识。
9.一种智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于医学图像的语义通信程序，所述基于医学图像的语义通信程序被所述处理器执行时实现如权利要求1-7任意一项所述基于医学图像的语义通信方法的步骤。
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有基于医学图像的语义通信程序，所述基于医学图像的语义通信程序被处理器执行时实现如权利要求1-7任意一项所述基于医学图像的语义通信方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210917842.8A CN115412202B (zh) | 2022-08-01 | 2022-08-01 | 一种基于医学图像的语义通信方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210917842.8A CN115412202B (zh) | 2022-08-01 | 2022-08-01 | 一种基于医学图像的语义通信方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115412202A true CN115412202A (zh) | 2022-11-29 |
| CN115412202B CN115412202B (zh) | 2023-06-16 |
Family
ID=84159522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210917842.8A Active CN115412202B (zh) | 2022-08-01 | 2022-08-01 | 一种基于医学图像的语义通信方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115412202B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116029340A (zh) * | 2023-01-13 | 2023-04-28 | 香港中文大学（深圳） | 一种基于深度学习网络的图像及语义信息传输方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9928448B1 (en) * | 2016-09-23 | 2018-03-27 | International Business Machines Corporation | Image classification utilizing semantic relationships in a classification hierarchy |
| CN109559799A (zh) * | 2018-10-12 | 2019-04-02 | 华南理工大学 | 医学图像语义描述方法、描述模型的构建方法及该模型 |
| CN114170475A (zh) * | 2021-11-01 | 2022-03-11 | 云鹏智汇(深圳)科技有限公司 | 一种用于图像分类的模型训练方法、设备及存储介质 |
| CN114549394A (zh) * | 2021-11-22 | 2022-05-27 | 北京知见生命科技有限公司 | 一种基于深度学习的肿瘤病灶区域语义分割方法及系统 |
-
2022
- 2022-08-01 CN CN202210917842.8A patent/CN115412202B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9928448B1 (en) * | 2016-09-23 | 2018-03-27 | International Business Machines Corporation | Image classification utilizing semantic relationships in a classification hierarchy |
| CN109559799A (zh) * | 2018-10-12 | 2019-04-02 | 华南理工大学 | 医学图像语义描述方法、描述模型的构建方法及该模型 |
| CN114170475A (zh) * | 2021-11-01 | 2022-03-11 | 云鹏智汇(深圳)科技有限公司 | 一种用于图像分类的模型训练方法、设备及存储介质 |
| CN114549394A (zh) * | 2021-11-22 | 2022-05-27 | 北京知见生命科技有限公司 | 一种基于深度学习的肿瘤病灶区域语义分割方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 张克军;刘哲;: "图像理解原理的数学评价", 计算机工程与设计 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116029340A (zh) * | 2023-01-13 | 2023-04-28 | 香港中文大学（深圳） | 一种基于深度学习网络的图像及语义信息传输方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115412202B (zh) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114066902A (zh) | 一种基于卷积和transformer融合的医学图像分割方法、系统、装置 | |
| CN110544275B (zh) | 生成配准的带病灶分割标签的多模态mri的方法、系统及介质 | |
| CN111340814A (zh) | 一种基于多模态自适应卷积的rgb-d图像语义分割方法 | |
| CN112602114B (zh) | 图像处理方法及装置、神经网络及训练方法、存储介质 | |
| CN112258488A (zh) | 一种医疗影像病灶分割方法 | |
| CN114511798B (zh) | 基于transformer的驾驶员分心检测方法及装置 | |
| CN114283158A (zh) | 一种视网膜血管图像分割方法、装置及计算机设备 | |
| CN111369565A (zh) | 一种基于图卷积网络的数字病理图像的分割与分类方法 | |
| CN110189260B (zh) | 一种基于多尺度并行门控神经网络的图像降噪方法 | |
| CN109670491A (zh) | 鉴别人脸图像的方法、装置、设备和存储介质 | |
| CN110738660A (zh) | 基于改进U-net的脊椎CT图像分割方法及装置 | |
| CN116433914A (zh) | 一种二维医学图像分割方法及系统 | |
| CN112765370A (zh) | 知识图谱的实体对齐方法、装置、计算机设备和存储介质 | |
| CN113421187B (zh) | 一种超分辨率重建方法、系统、存储介质、设备 | |
| CN115412202B (zh) | 一种基于医学图像的语义通信方法及相关设备 | |
| CN114782686A (zh) | 一种图像分割方法、装置、终端设备及存储介质 | |
| CN111784699A (zh) | 一种对三维点云数据进行目标分割方法、装置及终端设备 | |
| CN110599495B (zh) | 一种基于语义信息挖掘的图像分割方法 | |
| CN117828534A (zh) | 基于隐式标签推理的情感意图语义关联方法、系统及设备 | |
| CN111862049B (zh) | 基于深度学习的脑胶质瘤分割网络系统及分割方法 | |
| CN116721315B (zh) | 活体检测模型的训练方法、装置、介质及电子设备 | |
| KR20210038027A (ko) | 신경망 압축 훈련 방법 및 압축된 신경망을 이용하는 방법 | |
| CN114494782B (zh) | 图像处理方法、模型训练方法、相关装置及电子设备 | |
| CN109102496B (zh) | 基于变分生成对抗模型识别乳腺肿瘤区域的方法及装置 | |
| CN112633285A (zh) | 领域适应方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |