CN115578370B - 一种基于脑影像的代谢区域异常检测方法及装置 - Google Patents
一种基于脑影像的代谢区域异常检测方法及装置 Download PDFInfo
- Publication number
- CN115578370B CN115578370B CN202211340350.3A CN202211340350A CN115578370B CN 115578370 B CN115578370 B CN 115578370B CN 202211340350 A CN202211340350 A CN 202211340350A CN 115578370 B CN115578370 B CN 115578370B
- Authority
- CN
- China
- Prior art keywords
- image
- pet
- layer
- brain
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 173
- 238000001514 detection method Methods 0.000 title claims abstract description 96
- 230000002503 metabolic effect Effects 0.000 title claims abstract description 86
- 230000005856 abnormality Effects 0.000 title claims abstract description 51
- 230000006371 metabolic abnormality Effects 0.000 claims abstract description 55
- 238000006243 chemical reaction Methods 0.000 claims abstract description 38
- 238000004458 analytical method Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims description 102
- 238000005070 sampling Methods 0.000 claims description 64
- 230000004927 fusion Effects 0.000 claims description 50
- 238000011176 pooling Methods 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 14
- 210000002569 neuron Anatomy 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000012636 positron electron tomography Methods 0.000 description 187
- 230000002159 abnormal effect Effects 0.000 description 14
- 230000004060 metabolic process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 208000021959 Abnormal metabolism Diseases 0.000 description 5
- 238000012879 PET imaging Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000001652 frontal lobe Anatomy 0.000 description 3
- 210000003478 temporal lobe Anatomy 0.000 description 3
- 206010062767 Hypophysitis Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 210000004560 pineal gland Anatomy 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 201000011240 Frontotemporal dementia Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004958 brain cell Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004153 glucose metabolism Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000004796 pathophysiological change Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/037—Emission tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Pulmonology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及医学图片分析技术领域，揭露了一种基于脑影像的代谢区域异常检测方法及装置，包括：对病人脑部执行PET和CT两种拍摄操作得到PET影像和CT影像，其中CT影像为黑白类型，PET影像为RGB类型，计算所述PET影像中R通道、G通道及B通道共三个通道的像素均值，根据三个通道的像素均值计算PET影像从RGB类型转为黑白类型的转化因子，利用所述转化因子将所述PET影像转化为黑白类型，将黑白类型的PET影像和CT影像执行脑部区域分割，得到多组不同脑部区域的PET影像和CT影像，对每组脑部区域的PET影像和CT影像均执行代谢区域异常分析操作，得到每组脑部区域的代谢分析结果。本发明可以解决基于脑部CT影像或PET影像判断代谢异常不够准确的问题。
Description
技术领域
本发明涉及一种基于脑影像的代谢区域异常检测方法及装置，属于医学图片分析技术领域。
背景技术
脑部的代谢检测具有重要作用，脑部代谢主要是通过大脑葡萄糖代谢情况来反映脑细胞的活性,已经被证实具有广泛应用，包括辅助鉴定阿尔兹海默病，额颞叶痴呆，癫痫等疾病的临床诊断。
目前常用的脑部代谢诊断可通过CT成像辅助判断，但由于CT技术不能准确表示出脑部结构变化，因此精确度有待提高。伴随科学技术发展，PET成像设备也逐渐在医院中得到普及，特别是PET成像对脑部代谢分析具有重要作用，但由于医生经验不足，无法根据脑部PET影像准确判断出代谢异常区域，存在较大主观性。因此缺乏一种可以克服CT成像缺点并结合PET影像辅助医生寻找出脑部代谢区域异常的方法。
发明内容
本发明提供一种基于脑影像的代谢区域异常检测方法、装置及计算机可读存储介质，其主要目的在于解决基于脑部CT影像或PET影像判断代谢异常不够准确的问题。
为实现上述目的，本发明提供的一种基于脑影像的代谢区域异常检测方法，包括：
根据接收的代谢区域异常检测指令，对病人脑部执行PET和CT两种拍摄操作得到PET影像和CT影像，其中CT影像为黑白类型，PET影像为RGB类型；
计算所述PET影像中R通道、G通道及B通道共三个通道的像素均值，根据三个通道的像素均值计算PET影像从RGB类型转为黑白类型的转化因子，利用所述转化因子将所述PET影像转化为黑白类型；
将黑白类型的PET影像和CT影像执行脑部区域分割，得到多组不同脑部区域的PET影像和CT影像，对每组脑部区域的PET影像和CT影像均执行如下操作：
将每组脑部区域的PET影像输入至预训练完成的代谢异常检测模型中，其中代谢异常检测模型按照对影像处理的先后顺序包括第一采样层、第一池化层、自注意力层、融合层、第二采样层、第二池化层、全连接层及预测层；
利用所述第一采样层、第一池化层及自注意力层提取所述PET影像的影像特征得到PET特征，并在所述融合层内将所述PET特征与CT影像执行融合，得到第一融合特征；
利用所述第二采样层、第二池化层对所述第一融合特征再次执行特征提取，得到第二融合特征；
将所述第二融合特征输入至全连接层和预测层，分析该脑部区域是否发生代谢异常，得到代谢分析结果；
汇总每组脑部区域的代谢分析结果，得到病人脑部的总代谢检测结果。
可选地，所述计算所述PET影像中R通道、G通道及B通道共三个通道的像素均值，包括：
采用如下公式计算得到三个通道的像素均值：
其中，M×N表示PET影像的影像规格为M行N列，Imn R，Imn G及Imn B分别表示PET影像中R通道、G通道及B通道的像素值，
及
分别表示PET影像中R通道、G通道及B通道的像素均值。
可选地，所述根据三个通道的像素均值计算PET影像从RGB类型转为黑白类型的转化因子，包括：
统计PET影像三个通道的所有像素值，得到三通道像素集；
计算所述三通道像素集的像素均值和像素方差；
根据所述像素均值和像素方差依次计算PET影像中每个通道的转化因子，其中转化因子的计算方法如下所示：
其中，αR，αG及αB分别表示PET影像中R通道、G通道及B通道的转化因子，
为三通道像素集的像素均值，λ为三通道像素集的像素方差，k为PET影像的像素总数。
可选地，所述利用所述转化因子将所述PET影像转化为黑白类型，包括：
将PET影像中每个通道的转化因子等比例映射为0-1区间，得到三组通道的比例系数；
根据三组通道的比例系数将所述PET影像转化为黑白类型，其中转化方法如下所示：
其中，Imn gray表示PET影像转化为黑白类型的像素值，
及
为R通道、G通道及B通道转为黑白类型的比例系数。
可选地，所述将黑白类型的PET影像和CT影像执行脑部区域分割，得到多组不同脑部区域的PET影像和CT影像，包括：
构建8mm半高宽的高斯核对黑白类型的PET影像和CT影像执行平滑处理，得到平滑PET影像和CT影像；
基于人脑的结构解剖标签对平滑PET影像和CT影像执行脑部区域分割，得到多组不同脑部区域的PET影像和CT影像。
可选地，所述利用所述第一采样层、第一池化层及自注意力层提取所述PET影像的影像特征得到PET特征，包括：
将所述PET影像输入至所述第一采样层执行采样操作，得到采样影像；
将所述采样影像在第一池化层内执行最大化池化操作，得到池化影像；
根据所述池化影像的像素矩阵，构建出三组矩阵，分别称问题矩阵、回答矩阵及信息矩阵；
基于所述问题矩阵、回答矩阵及信息矩阵执行自注意力运算，得到所述PET特征。
可选地，所述将所述PET影像输入至所述第一采样层执行采样操作，得到采样影像，包括：
获取第一采样层所包括的卷积层数量，其中每一层卷积层的卷积计算方法相同，卷积计算方法如下所示：
其中，
表示第l层卷积层执行卷积操作时第j个神经元的输出，
表示第l-1层卷积层执行卷积操作时第j个神经元的输出，Wi (l)表示第l层卷积层的卷积核，
表示第l层卷积层的偏置项，S为预构建的卷积核及偏置项的集合，f为非线性变化函数；
直至完成所述第一采样层内所有卷积层的卷积计算，并汇总所有神经元的输出得到所述采样影像。
可选地，所述根据所述池化影像的像素矩阵，构建出三组矩阵，分别称问题矩阵、回答矩阵及信息矩阵，包括：
根据所述代谢异常检测模型内置的三组权重矩阵分别与所述像素矩阵相乘，得到问题矩阵、回答矩阵及信息矩阵，相乘方法如下所示：
Q＝WqA
K＝WkA
V＝WvA
其中，Q、K和V分别表示问题矩阵、回答矩阵及信息矩阵，Wq、Wk及Wv分别表示三组权重矩阵，A为所述像素矩阵。
可选地，所述基于所述问题矩阵、回答矩阵及信息矩阵执行自注意力运算，得到所述PET特征，包括：
将所述回答矩阵执行转置，并将问题矩阵和转置后的回答矩阵相乘得到搭配矩阵，其中相乘方法如下所示：
其中，S为搭配矩阵，KT为转置后的回答矩阵，D为问题矩阵的矩阵维度；
根据搭配矩阵和信息矩阵并结合如下公式计算得到所述PET特征：
其中，B为所述PET特征。
为了解决上述问题，本发明还提供一种基于脑影像的代谢区域异常检测装置，所述装置包括：
影像拍摄，用于根据接收的代谢区域异常检测指令，对病人脑部执行PET和CT两种拍摄操作得到PET影像和CT影像，其中CT影像为黑白类型，PET影像为RGB类型；
影像色彩转化模块，用于计算所述PET影像中R通道、G通道及B通道共三个通道的像素均值，根据三个通道的像素均值计算PET影像从RGB类型转为黑白类型的转化因子，利用所述转化因子将所述PET影像转化为黑白类型；
脑部区域分割模块，用于将黑白类型的PET影像和CT影像执行脑部区域分割，得到多组不同脑部区域的PET影像和CT影像；
模型判断模块，用于对每组脑部区域的PET影像和CT影像均执行如下操作：
将每组脑部区域的PET影像输入至预训练完成的代谢异常检测模型中，其中代谢异常检测模型按照对影像处理的先后顺序包括第一采样层、第一池化层、自注意力层、融合层、第二采样层、第二池化层、全连接层及预测层；
利用所述第一采样层、第一池化层及自注意力层提取所述PET影像的影像特征得到PET特征，并在所述融合层内将所述PET特征与CT影像执行融合，得到第一融合特征；
利用所述第二采样层、第二池化层对所述第一融合特征再次执行特征提取，得到第二融合特征；
将所述第二融合特征输入至全连接层和预测层，分析该脑部区域是否发生代谢异常，得到代谢分析结果；
代谢分析模块，用于汇总每组脑部区域的代谢分析结果，得到病人脑部的总代谢检测结果。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以实现上述所述的基于脑影像的代谢区域异常检测方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于脑影像的代谢区域异常检测方法。
相比于背景技术所述问题，本发明实施例对病人脑部执行PET和CT两种拍摄操作得到PET影像和CT影像，其中CT影像为黑白类型，PET影像为RGB类型，CT影像虽然为黑白类型，对脑部细节结构展现不够精细，但可准确表示出脑部框架和结构，此外PET影像可详细展示出脑部细节区域，因此将PET影像和CT影像结合并利用深度学习判断模型，可实现对脑部代谢的智能化检测，提高代谢异常检测准确率，由于PET影像为RGB类型，为统一数据格式，本发明实施例计算所述PET影像中R通道、G通道及B通道共三个通道的像素均值，根据三个通道的像素均值计算PET影像从RGB类型转为黑白类型的转化因子，利用所述转化因子将所述PET影像转化为黑白类型，由此统一了PET影像和CT影像的数据格式，进一步地，通过预训练完成的代谢异常检测模型，特别是代谢异常检测模型的第一采样层、第一池化层、自注意力层提取出PET影像的影像特征，并将影像特征与CT影像结合后继续执行采样和池化，并最终利用全连接层和预测层实现对脑部区域的代谢异常智能化检测，因此本发明提出的基于脑影像的代谢区域异常检测方法、装置、电子设备及计算机可读存储介质，可以解决基于脑部CT影像或PET影像判断代谢异常不够准确的问题。
附图说明
图1为本发明一实施例提供的基于脑影像的代谢区域异常检测方法的流程示意图；
图2为图1中其中一个实施例的脑部代谢区域异常检测结果示意图；
图3为本发明一实施例提供的基于脑影像的代谢区域异常检测装置的功能模块图；
图4为本发明一实施例提供的实现所述基于脑影像的代谢区域异常检测方法的电子设备的结构示意图。
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种基于脑影像的代谢区域异常检测方法。所述基于脑影像的代谢区域异常检测方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于脑影像的代谢区域异常检测方法可以由安装在终端设备或服务端设备的软件或硬件来执行。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
实施例1：
参照图1所示，为本发明一实施例提供的基于脑影像的代谢区域异常检测方法的流程示意图。在本实施例中，所述基于脑影像的代谢区域异常检测方法包括：
S1、根据接收的代谢区域异常检测指令，对病人脑部执行PET和CT两种拍摄操作得到PET影像和CT影像，其中CT影像为黑白类型，PET影像为RGB类型。
需解释的是，CT全称电子计算机X射线断层扫描技术。原理是根据人体不同组织对X线的吸收与透过率的不同，应用灵敏度极高的仪器对人体进行测量，然后将测量所获取的数据输入电子计算机，电子计算机对所获取的数据进行处理后即可摄下人体被检查部位的断面或立体的图像，从而发现检查部位是否发生异常。示例性，本发明实施例的被检查部位即为脑部，想要通过PET和CT技术发现脑部各区域是否有代谢异常的现象。
PET和CT区别在于PET除具备CT功能外，还可反映病灶的病理生理变化及形态结构，因此一般PET影像为彩色的RGB类型，而CT影像因目的性的不同，一般为黑白类型。
需解释的是，虽然PET影像相比于CT影像在功能上更多元，但并不意味PET影像全面领先与CT影像，特别是深度学习发展推动了人体部位异常的自动监测方案的背景下，PET影像反映了人体部位的细致特征，而CT影像反映了人体部位的框架特征，因此从脑部影像来说，CT影像反映了脑部的基本特征，是基于深度学习实现代谢区域异常检测的基础，而PET影像反映脑部的细致特征，有利于深度学习提高代谢区域异常检测的精准度。需强调的是，将PET影像和CT影像结合实现代谢区域异常检测是本发明实施例其中一个重要创新点。
S2、计算所述PET影像中R通道、G通道及B通道共三个通道的像素均值，根据三个通道的像素均值计算PET影像从RGB类型转为黑白类型的转化因子，利用所述转化因子将所述PET影像转化为黑白类型。
可理解的是，由于PET影像为彩色的RGB类型，而CT影像为黑白类型，因此本发明实施例第一步是需保证PET影像的影像特征不流失的情况下，将PET影像从RGB类型转为黑白类型。传统的RGB类型转为黑白类型因为会流失重要的影像特征，因此本发明实施例提出一种新的PET影像从彩色转为黑白的方法。
详细地，所述计算所述PET影像中R通道、G通道及B通道共三个通道的像素均值，包括：
采用如下公式计算得到三个通道的像素均值：
其中，M×N表示PET影像的影像规格为M行N列，Imn R，Imn G及Imn B分别表示PET影像中R通道、G通道及B通道的像素值，
及
分别表示PET影像中R通道、G通道及B通道的像素均值。
示例性的，如病人A的脑部执行PET拍摄操作所得到的PET影像为100*100，即M行N列均为100，依次计算100行100列共10000个像素在RGB上三个通道的像素均值Imn R，Imn G及Imn B。
进一步地，所述根据三个通道的像素均值计算PET影像从RGB类型转为黑白类型的转化因子，包括：
统计PET影像三个通道的所有像素值，得到三通道像素集；
计算所述三通道像素集的像素均值和像素方差；
根据所述像素均值和像素方差依次计算PET影像中每个通道的转化因子，其中转化因子的计算方法如下所示：
其中，αR，αG及αB分别表示PET影像中R通道、G通道及B通道的转化因子，
为三通道像素集的像素均值，λ为三通道像素集的像素方差，k为PET影像的像素总数。
需解释的是，三个通道均对应有像素集，本发明实施例将PET影像三个通道的所有像素值汇总得到三通道像素集，由于脑部中受限于结构、细胞组成的差异，因此PET成像效果各不相同，进而导致不同像素之间具有差异性，因此通过正态分布的计算方法，可计算出满足三通道像素集的像素分布的像素均值和像素方差。
进而利用本发明实施例所提出的上述计算方法，可计算得到每个通道的转化因子。进一步地，所述利用所述转化因子将所述PET影像转化为黑白类型，包括：
将PET影像中每个通道的转化因子等比例映射为0-1区间，得到三组通道的比例系数；
根据三组通道的比例系数将所述PET影像转化为黑白类型，其中转化方法如下所示：
其中，Imn gray表示PET影像转化为黑白类型的像素值，
及
为R通道、G通道及B通道转为黑白类型的比例系数。
S3、将黑白类型的PET影像和CT影像执行脑部区域分割，得到多组不同脑部区域的PET影像和CT影像。
本发明实施例中，在执行脑部区域分割之前，还包括对黑白类型的PET影像和CT影像执行预处理的操作，详细地，所述将黑白类型的PET影像和CT影像执行脑部区域分割，得到多组不同脑部区域的PET影像和CT影像，包括：
构建8mm半高宽的高斯核对黑白类型的PET影像和CT影像执行平滑处理，得到平滑PET影像和CT影像；
基于人脑的结构解剖标签对平滑PET影像和CT影像执行脑部区域分割，得到多组不同脑部区域的PET影像和CT影像。
需解释的是，本发明实施例的结构解剖标签可使用AAL标签体系(AutomatedAnatomical Labeling，AAL)，该标签内置的AAL模板把大脑分割成多个脑区(最多可分为116个脑部区域)，通过AAL模板的像素分割区域可对比的将PET影像和CT影像执行对应划分，得到多组不同脑部区域的PET影像和CT影像。
S4、对每组脑部区域的PET影像和CT影像均执行代谢区域异常分析操作，得到每组脑部区域的代谢分析结果。
详细地，所述对每组脑部区域的PET影像和CT影像均执行代谢区域异常分析操作，得到每组脑部区域的代谢分析结果，包括：
将每组脑部区域的PET影像输入至预训练完成的代谢异常检测模型中，其中代谢异常检测模型按照对影像处理的先后顺序包括第一采样层、第一池化层、自注意力层、融合层、第二采样层、第二池化层、全连接层及预测层；
利用所述第一采样层、第一池化层及自注意力层提取所述PET影像的影像特征得到PET特征，并在所述融合层内将所述PET特征与CT影像执行融合，得到第一融合特征；
利用所述第二采样层、第二池化层对所述第一融合特征再次执行特征提取，得到第二融合特征；
将所述第二融合特征输入至全连接层和预测层，分析该脑部区域是否发生代谢异常，得到代谢分析结果。
详细地，所述利用所述第一采样层、第一池化层及自注意力层提取所述PET影像的影像特征得到PET特征，包括：
将所述PET影像输入至所述第一采样层执行采样操作，得到采样影像；
将所述采样影像在第一池化层内执行最大化池化操作，得到池化影像；
根据所述池化影像的像素矩阵，构建出三组矩阵，分别称问题矩阵、回答矩阵及信息矩阵；
基于所述问题矩阵、回答矩阵及信息矩阵执行自注意力运算，得到所述PET特征。
可理解的是，PET影像相比于CT影像，具有更加细致的脑部信息，因此本发明实施例先基于代谢异常检测模型提取出PET影像的特征信息。进一步地，所述将所述PET影像输入至所述第一采样层执行采样操作，得到采样影像，包括：
获取第一采样层所包括的卷积层数量，其中每一层卷积层的卷积计算方法相同，卷积计算方法如下所示：
其中，
表示第l层卷积层执行卷积操作时第j个神经元的输出，
表示第l-1层卷积层执行卷积操作时第j个神经元的输出，Wi (l)表示第l层卷积层的卷积核，
表示第l层卷积层的偏置项，S为预构建的卷积核及偏置项的集合，f为非线性变化函数；
直至完成所述第一采样层内所有卷积层的卷积计算，并汇总所有神经元的输出得到所述采样影像。
可理解的是，卷积核及最大化池化均为卷积神经网络的基本结构，在此不再赘述。进一步地，所述根据所述池化影像的像素矩阵，构建出三组矩阵，分别称问题矩阵、回答矩阵及信息矩阵，包括：
根据所述代谢异常检测模型内置的三组权重矩阵分别与所述像素矩阵相乘，得到问题矩阵、回答矩阵及信息矩阵，相乘方法如下所示：
Q＝WqA
K＝WkA
V＝WvA
其中，Q、K和V分别表示问题矩阵、回答矩阵及信息矩阵，Wq、Wk及Wv分别表示三组权重矩阵，A为所述像素矩阵。
可以发现，问题矩阵、回答矩阵及信息矩阵是由池化影像的像素矩阵相乘得到，当通过后续的自注意运算反复提取问题矩阵、回答矩阵及信息矩阵内的信息特征后，即可得到PET特征。详细地，所述基于所述问题矩阵、回答矩阵及信息矩阵执行自注意力运算，得到所述PET特征，包括：
将所述回答矩阵执行转置，并将问题矩阵和转置后的回答矩阵相乘得到搭配矩阵，其中相乘方法如下所示：
其中，S为搭配矩阵，KT为转置后的回答矩阵，D为问题矩阵的矩阵维度；
根据搭配矩阵和信息矩阵并结合如下公式计算得到所述PET特征：
其中，B为所述PET特征。
由此可见，根据对第一采样层、第一池化层及自注意力层的技术描述可得到PET特征，此时PET特征可精确的表示出对应的脑部区域，因此将PET特征与CT影像执行融合，得到第一融合特征。需解释的是，PET特征与CT影像本质上依然属于矩阵信息，因此融合可按照矩阵维度首尾连接或对应位置相加的方式执行融合。
此外，第二采样层、第二池化层与第一采样层、第一池化层的方式相同，在此不再赘述。且全连接层为公开揭露技术，另外预测层本发明实施例采用softmax函数执行预测，从而得到对应的脑部区域是否发生代谢异常的预测概率。
本发明实施例设定阈值概率为0.65，即通过预测层分析脑部区域是否发生代谢异常得到预测概率以后，将预测概率与阈值概率执行大小对比，当预测概率大于阈值概率时，表示该区域发生了代谢异常。
进一步需解释的是，代谢异常检测模型在执行代谢区域异常检测之前需经预训练。其中所述代谢异常检测模型的预训练包括：
接收代谢正常的脑部区域的PET影像集和CT影像集，及代谢异常的脑部区域的PET影像集和CT影像集；
设定代谢异常检测模型在训练过程的损失函数；
将所述代谢正常及代谢异常的PET影像集和CT影像集输入至代谢异常检测模型中，利用所述损失函数优化所述代谢异常检测模型的内部参数，直至满足训练条件得到预训练完成的代谢异常检测模型。
需解释的是，代谢异常检测模型的训练过程与传统深度学习训练相同，其中代谢正常及代谢异常的主要区别方法可通过人工区分，即：人为判定每组PET影像和CT影像是否代谢正常或异常。
S5、汇总每组脑部区域的代谢分析结果，得到病人脑部的总代谢检测结果。
根据上述可知，本发明实施例将脑部分为多个区域，如松果体、下垂体、额叶区、颞叶区等。可能出现的分析结果为松果体、下垂体代谢正常，额叶区、颞叶区代谢异常，因此本发明实施例进一步地，将代谢异常的脑部区域用特定颜色标注(可参阅图2所示，额叶区、颞叶区为代谢异常区域，通过加黑处理标注)，从而实现病人脑部的总代谢检测结果。
相比于背景技术所述问题，本发明实施例对病人脑部执行PET和CT两种拍摄操作得到PET影像和CT影像，其中CT影像为黑白类型，PET影像为RGB类型，CT影像虽然为黑白类型，对脑部细节结构展现不够精细，但可准确表示出脑部框架和结构，此外PET影像可详细展示出脑部细节区域，因此将PET影像和CT影像结合并利用深度学习判断模型，可实现对脑部代谢的智能化检测，提高代谢异常检测准确率，由于PET影像为RGB类型，为统一数据格式，本发明实施例计算所述PET影像中R通道、G通道及B通道共三个通道的像素均值，根据三个通道的像素均值计算PET影像从RGB类型转为黑白类型的转化因子，利用所述转化因子将所述PET影像转化为黑白类型，由此统一了PET影像和CT影像的数据格式，进一步地，通过预训练完成的代谢异常检测模型，特别是代谢异常检测模型的第一采样层、第一池化层、自注意力层提取出PET影像的影像特征，并将影像特征与CT影像结合后继续执行采样和池化，并最终利用全连接层和预测层实现对脑部区域的代谢异常智能化检测，因此本发明提出的基于脑影像的代谢区域异常检测方法、装置、电子设备及计算机可读存储介质，可以解决基于脑部CT影像或PET影像判断代谢异常不够准确的问题。
实施例2：
如图3所示，是本发明一实施例提供的基于脑影像的代谢区域异常检测装置的功能模块图。
本发明所述基于脑影像的代谢区域异常检测装置100可以安装于电子设备中。根据实现的功能，所述基于脑影像的代谢区域异常检测装置100可以包括影像拍摄101、影像色彩转化模块102、脑部区域分割模块103、模型判断模块104及代谢分析模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
所述影像拍摄101，用于根据接收的代谢区域异常检测指令，对病人脑部执行PET和CT两种拍摄操作得到PET影像和CT影像，其中CT影像为黑白类型，PET影像为RGB类型；
所述影像色彩转化模块102，用于计算所述PET影像中R通道、G通道及B通道共三个通道的像素均值，根据三个通道的像素均值计算PET影像从RGB类型转为黑白类型的转化因子，利用所述转化因子将所述PET影像转化为黑白类型；
所述脑部区域分割模块103，用于将黑白类型的PET影像和CT影像执行脑部区域分割，得到多组不同脑部区域的PET影像和CT影像；
所述模型判断模块104，用于对每组脑部区域的PET影像和CT影像均执行如下操作：
将每组脑部区域的PET影像输入至预训练完成的代谢异常检测模型中，其中代谢异常检测模型按照对影像处理的先后顺序包括第一采样层、第一池化层、自注意力层、融合层、第二采样层、第二池化层、全连接层及预测层；
利用所述第一采样层、第一池化层及自注意力层提取所述PET影像的影像特征得到PET特征，并在所述融合层内将所述PET特征与CT影像执行融合，得到第一融合特征；
利用所述第二采样层、第二池化层对所述第一融合特征再次执行特征提取，得到第二融合特征；
将所述第二融合特征输入至全连接层和预测层，分析该脑部区域是否发生代谢异常，得到代谢分析结果；
所述代谢分析模块105，用于汇总每组脑部区域的代谢分析结果，得到病人脑部的总代谢检测结果。
详细地，本发明实施例中所述基于脑影像的代谢区域异常检测装置100中的所述各模块在使用时采用与上述的图1中所述的基于脑影像的代谢区域异常检测方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
实施例3：
如图4所示，是本发明一实施例提供的实现基于脑影像的代谢区域异常检测方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11、总线12和通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如基于脑影像的代谢区域异常检测程序。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如基于脑影像的代谢区域异常检测程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如基于脑影像的代谢区域异常检测程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图4仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图4示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的基于脑影像的代谢区域异常检测程序是多个指令的组合，在所述处理器10中运行时，可以实现：
根据接收的代谢区域异常检测指令，对病人脑部执行PET和CT两种拍摄操作得到PET影像和CT影像，其中CT影像为黑白类型，PET影像为RGB类型；
计算所述PET影像中R通道、G通道及B通道共三个通道的像素均值，根据三个通道的像素均值计算PET影像从RGB类型转为黑白类型的转化因子，利用所述转化因子将所述PET影像转化为黑白类型；
将黑白类型的PET影像和CT影像执行脑部区域分割，得到多组不同脑部区域的PET影像和CT影像，对每组脑部区域的PET影像和CT影像均执行如下操作：
将每组脑部区域的PET影像输入至预训练完成的代谢异常检测模型中，其中代谢异常检测模型按照对影像处理的先后顺序包括第一采样层、第一池化层、自注意力层、融合层、第二采样层、第二池化层、全连接层及预测层；
利用所述第一采样层、第一池化层及自注意力层提取所述PET影像的影像特征得到PET特征，并在所述融合层内将所述PET特征与CT影像执行融合，得到第一融合特征；
利用所述第二采样层、第二池化层对所述第一融合特征再次执行特征提取，得到第二融合特征；
将所述第二融合特征输入至全连接层和预测层，分析该脑部区域是否发生代谢异常，得到代谢分析结果；
汇总每组脑部区域的代谢分析结果，得到病人脑部的总代谢检测结果。
具体地，所述处理器10对上述指令的具体实现方法可参考图1至图3对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
根据接收的代谢区域异常检测指令，对病人脑部执行PET和CT两种拍摄操作得到PET影像和CT影像，其中CT影像为黑白类型，PET影像为RGB类型；
计算所述PET影像中R通道、G通道及B通道共三个通道的像素均值，根据三个通道的像素均值计算PET影像从RGB类型转为黑白类型的转化因子，利用所述转化因子将所述PET影像转化为黑白类型；
将黑白类型的PET影像和CT影像执行脑部区域分割，得到多组不同脑部区域的PET影像和CT影像，对每组脑部区域的PET影像和CT影像均执行如下操作：
将每组脑部区域的PET影像输入至预训练完成的代谢异常检测模型中，其中代谢异常检测模型按照对影像处理的先后顺序包括第一采样层、第一池化层、自注意力层、融合层、第二采样层、第二池化层、全连接层及预测层；
利用所述第一采样层、第一池化层及自注意力层提取所述PET影像的影像特征得到PET特征，并在所述融合层内将所述PET特征与CT影像执行融合，得到第一融合特征；
利用所述第二采样层、第二池化层对所述第一融合特征再次执行特征提取，得到第二融合特征；
将所述第二融合特征输入至全连接层和预测层，分析该脑部区域是否发生代谢异常，得到代谢分析结果；
汇总每组脑部区域的代谢分析结果，得到病人脑部的总代谢检测结果。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种基于脑影像的代谢区域异常检测方法，其特征在于，所述方法包括：
根据接收的代谢区域异常检测指令，对病人脑部执行PET和CT两种拍摄操作得到PET影像和CT影像，其中CT影像为黑白类型，PET影像为RGB类型；
计算所述PET影像中R通道、G通道及B通道共三个通道的像素均值，根据三个通道的像素均值计算PET影像从RGB类型转为黑白类型的转化因子，利用所述转化因子将所述PET影像转化为黑白类型；
将黑白类型的PET影像和CT影像执行脑部区域分割，得到多组不同脑部区域的PET影像和CT影像，对每组脑部区域的PET影像和CT影像均执行如下操作：
将每组脑部区域的PET影像输入至预训练完成的代谢异常检测模型中，其中代谢异常检测模型按照对影像处理的先后顺序包括第一采样层、第一池化层、自注意力层、融合层、第二采样层、第二池化层、全连接层及预测层；
利用所述第一采样层、第一池化层及自注意力层提取所述PET影像的影像特征得到PET特征，并在所述融合层内将所述PET特征与CT影像执行融合，得到第一融合特征；
利用所述第二采样层、第二池化层对所述第一融合特征再次执行特征提取，得到第二融合特征；
将所述第二融合特征输入至全连接层和预测层，分析该脑部区域是否发生代谢异常，得到代谢分析结果；
汇总每组脑部区域的代谢分析结果，得到病人脑部的总代谢检测结果。
2.如权利要求1所述的基于脑影像的代谢区域异常检测方法，其特征在于，所述计算所述PET影像中R通道、G通道及B通道共三个通道的像素均值，包括：
采用如下公式计算得到三个通道的像素均值：
其中，M×N表示PET影像的影像规格为M行N列，Imn R，Imn G及Imn B分别表示PET影像中R通道、G通道及B通道的像素值，及分别表示PET影像中R通道、G通道及B通道的像素均值。
3.如权利要求2所述的基于脑影像的代谢区域异常检测方法，其特征在于，所述根据三个通道的像素均值计算PET影像从RGB类型转为黑白类型的转化因子，包括：
统计PET影像三个通道的所有像素值，得到三通道像素集；
计算所述三通道像素集的像素均值和像素方差；
根据所述像素均值和像素方差依次计算PET影像中每个通道的转化因子，其中转化因子的计算方法如下所示：
其中，αR，αG及αB分别表示PET影像中R通道、G通道及B通道的转化因子，为三通道像素集的像素均值，λ为三通道像素集的像素方差，k为PET影像的像素总数。
4.如权利要求3所述的基于脑影像的代谢区域异常检测方法，其特征在于，所述利用所述转化因子将所述PET影像转化为黑白类型，包括：
将PET影像中每个通道的转化因子等比例映射为0-1区间，得到三组通道的比例系数；
根据三组通道的比例系数将所述PET影像转化为黑白类型，其中转化方法如下所示：
其中，Imn gray表示PET影像转化为黑白类型的像素值，及为R通道、G通道及B通道转为黑白类型的比例系数。
5.如权利要求1所述的基于脑影像的代谢区域异常检测方法，其特征在于，所述将黑白类型的PET影像和CT影像执行脑部区域分割，得到多组不同脑部区域的PET影像和CT影像，包括：
构建8mm半高宽的高斯核对黑白类型的PET影像和CT影像执行平滑处理，得到平滑PET影像和CT影像；
基于人脑的结构解剖标签对平滑PET影像和CT影像执行脑部区域分割，得到多组不同脑部区域的PET影像和CT影像。
6.如权利要求1所述的基于脑影像的代谢区域异常检测方法，其特征在于，所述利用所述第一采样层、第一池化层及自注意力层提取所述PET影像的影像特征得到PET特征，包括：
将所述PET影像输入至所述第一采样层执行采样操作，得到采样影像；
将所述采样影像在第一池化层内执行最大化池化操作，得到池化影像；
根据所述池化影像的像素矩阵，构建出三组矩阵，分别称问题矩阵、回答矩阵及信息矩阵；
基于所述问题矩阵、回答矩阵及信息矩阵执行自注意力运算，得到所述PET特征。
7.如权利要求6所述的基于脑影像的代谢区域异常检测方法，其特征在于，所述将所述PET影像输入至所述第一采样层执行采样操作，得到采样影像，包括：
获取第一采样层所包括的卷积层数量，其中每一层卷积层的卷积计算方法相同，卷积计算方法如下所示：
其中，表示第l层卷积层执行卷积操作时第j个神经元的输出，表示第l-1层卷积层执行卷积操作时第j个神经元的输出，Wi (l)表示第l层卷积层的卷积核，表示第l层卷积层的偏置项，S为预构建的卷积核及偏置项的集合，f为非线性变化函数；
直至完成所述第一采样层内所有卷积层的卷积计算，并汇总所有神经元的输出得到所述采样影像。
8.如权利要求6所述的基于脑影像的代谢区域异常检测方法，其特征在于，所述根据所述池化影像的像素矩阵，构建出三组矩阵，分别称问题矩阵、回答矩阵及信息矩阵，包括：
根据所述代谢异常检测模型内置的三组权重矩阵分别与所述像素矩阵相乘，得到问题矩阵、回答矩阵及信息矩阵，相乘方法如下所示：
Q＝WqA
K＝WkA
V＝WvA
其中，Q、K和V分别表示问题矩阵、回答矩阵及信息矩阵，Wq、Wk及Wv分别表示三组权重矩阵，A为所述像素矩阵。
9.如权利要求8所述的基于脑影像的代谢区域异常检测方法，其特征在于，所述基于所述问题矩阵、回答矩阵及信息矩阵执行自注意力运算，得到所述PET特征，包括：
将所述回答矩阵执行转置，并将问题矩阵和转置后的回答矩阵相乘得到搭配矩阵，其中相乘方法如下所示：
其中，S为搭配矩阵，KT为转置后的回答矩阵，D为问题矩阵的矩阵维度；
根据搭配矩阵和信息矩阵并结合如下公式计算得到所述PET特征：
其中，B为所述PET特征。
10.一种基于脑影像的代谢区域异常检测装置，其特征在于，所述装置包括：
影像拍摄模块，用于根据接收的代谢区域异常检测指令，对病人脑部执行PET和CT两种拍摄操作得到PET影像和CT影像，其中CT影像为黑白类型，PET影像为RGB类型；
影像色彩转化模块，用于计算所述PET影像中R通道、G通道及B通道共三个通道的像素均值，根据三个通道的像素均值计算PET影像从RGB类型转为黑白类型的转化因子，利用所述转化因子将所述PET影像转化为黑白类型；
脑部区域分割模块，用于将黑白类型的PET影像和CT影像执行脑部区域分割，得到多组不同脑部区域的PET影像和CT影像；
模型判断模块，用于对每组脑部区域的PET影像和CT影像均执行如下操作：
将每组脑部区域的PET影像输入至预训练完成的代谢异常检测模型中，其中代谢异常检测模型按照对影像处理的先后顺序包括第一采样层、第一池化层、自注意力层、融合层、第二采样层、第二池化层、全连接层及预测层；
利用所述第一采样层、第一池化层及自注意力层提取所述PET影像的影像特征得到PET特征，并在所述融合层内将所述PET特征与CT影像执行融合，得到第一融合特征；
利用所述第二采样层、第二池化层对所述第一融合特征再次执行特征提取，得到第二融合特征；
将所述第二融合特征输入至全连接层和预测层，分析该脑部区域是否发生代谢异常，得到代谢分析结果；
代谢分析模块，用于汇总每组脑部区域的代谢分析结果，得到病人脑部的总代谢检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211340350.3A CN115578370B (zh) | 2022-10-28 | 2022-10-28 | 一种基于脑影像的代谢区域异常检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211340350.3A CN115578370B (zh) | 2022-10-28 | 2022-10-28 | 一种基于脑影像的代谢区域异常检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115578370A CN115578370A (zh) | 2023-01-06 |
| CN115578370B true CN115578370B (zh) | 2023-05-09 |
Family
ID=84586510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211340350.3A Active CN115578370B (zh) | 2022-10-28 | 2022-10-28 | 一种基于脑影像的代谢区域异常检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115578370B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6490476B1 (en) * | 1999-10-14 | 2002-12-03 | Cti Pet Systems, Inc. | Combined PET and X-ray CT tomograph and method for using same |
| US10304193B1 (en) * | 2018-08-17 | 2019-05-28 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
| CN112215291A (zh) * | 2020-10-19 | 2021-01-12 | 中国计量大学 | 级联神经网络下医学图像特征提取和分类方法 |
| WO2021022752A1 (zh) * | 2019-08-07 | 2021-02-11 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
| DE202021105895U1 (de) * | 2021-10-28 | 2021-12-08 | Gondesi Anand | System zur Morphologie-Segmentierung von Gehirn-MRI-Modalitäten auf Basis von E-Fuzzy Merkmalen und Schwellenwerten |
| CN114298234A (zh) * | 2021-12-31 | 2022-04-08 | 深圳市铱硙医疗科技有限公司 | 脑部医学影像分类方法、装置、计算机设备和存储介质 |
| CN114612373A (zh) * | 2020-12-09 | 2022-06-10 | 航天信息股份有限公司 | 一种图像识别方法及服务器 |
| CN114782350A (zh) * | 2022-04-14 | 2022-07-22 | 浙江工业大学 | 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法 |
| CN114999629A (zh) * | 2022-04-28 | 2022-09-02 | 安徽大学 | 一种基于多特征融合的ad早期预测方法、系统、装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10162927A1 (de) * | 2001-12-20 | 2003-07-17 | Siemens Ag | Auswerten von mittels funktionaler Magnet-Resonanz-Tomographie gewonnenen Bildern des Gehirns |
| US9754371B2 (en) * | 2014-07-31 | 2017-09-05 | California Institute Of Technology | Multi modality brain mapping system (MBMS) using artificial intelligence and pattern recognition |
| US10928472B2 (en) * | 2016-01-14 | 2021-02-23 | Technion Research & Development Foundation Limited | System and method for brain state classification |
| CN109872328B (zh) * | 2019-01-25 | 2021-05-07 | 腾讯科技（深圳）有限公司 | 一种脑部图像分割方法、装置和存储介质 |
| US11361436B2 (en) * | 2019-05-10 | 2022-06-14 | Sunnybrook Research Institute | Systems and methods for metabolite topography of the brain with magnetic resonance imaging |
| CN110866908B (zh) * | 2019-11-12 | 2021-03-26 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、服务器及存储介质 |
| CN113673584A (zh) * | 2021-07-30 | 2021-11-19 | 浙江大华技术股份有限公司 | 一种图像检测方法及相关装置 |
-
2022
- 2022-10-28 CN CN202211340350.3A patent/CN115578370B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6490476B1 (en) * | 1999-10-14 | 2002-12-03 | Cti Pet Systems, Inc. | Combined PET and X-ray CT tomograph and method for using same |
| US10304193B1 (en) * | 2018-08-17 | 2019-05-28 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
| WO2021022752A1 (zh) * | 2019-08-07 | 2021-02-11 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
| CN112215291A (zh) * | 2020-10-19 | 2021-01-12 | 中国计量大学 | 级联神经网络下医学图像特征提取和分类方法 |
| CN114612373A (zh) * | 2020-12-09 | 2022-06-10 | 航天信息股份有限公司 | 一种图像识别方法及服务器 |
| DE202021105895U1 (de) * | 2021-10-28 | 2021-12-08 | Gondesi Anand | System zur Morphologie-Segmentierung von Gehirn-MRI-Modalitäten auf Basis von E-Fuzzy Merkmalen und Schwellenwerten |
| CN114298234A (zh) * | 2021-12-31 | 2022-04-08 | 深圳市铱硙医疗科技有限公司 | 脑部医学影像分类方法、装置、计算机设备和存储介质 |
| CN114782350A (zh) * | 2022-04-14 | 2022-07-22 | 浙江工业大学 | 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法 |
| CN114999629A (zh) * | 2022-04-28 | 2022-09-02 | 安徽大学 | 一种基于多特征融合的ad早期预测方法、系统、装置 |
Non-Patent Citations (3)
| Title |
|---|
| Exploring Task Structure for Brain Tumor Segmentation from Multi-modality MR Images;Dingwen Zhang 等;《IEEE Transactions on Image Processing》;第9032 – 9043页 * |
| PET代谢融合影像导航下胶质瘤外科治疗现状;王群;徐兴华;张家墅;孙国臣;陈晓雷;许百男;;世界复合医学(第01期);第91-96页 * |
| 基于深度学习的多模态医学影像分割研究综述;杨鸿杰 等;《计算机应用研究》;第第39卷 卷(第第05期期);第1297-1306页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115578370A (zh) | 2023-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11935644B2 (en) | Deep learning automated dermatopathology | |
| CN111047609B (zh) | 肺炎病灶分割方法和装置 | |
| WO2022121156A1 (zh) | 图像中目标物检测方法、装置、电子设备及可读存储介质 | |
| CN113159147B (zh) | 基于神经网络的图像识别方法、装置、电子设备 | |
| CN111932547B (zh) | 图像中目标物的分割方法、装置、电子设备及存储介质 | |
| CN111932482A (zh) | 图像中目标物的检测方法、装置、电子设备及存储介质 | |
| CN110660055B (zh) | 疾病数据预测方法、装置、可读存储介质及电子设备 | |
| CN110969623B (zh) | 一种肺部ct多征象自动检测方法、系统、终端及存储介质 | |
| WO2021114817A1 (zh) | 基于神经网络的oct图像病灶检测方法、装置及介质 | |
| CN111754453A (zh) | 基于胸透图像的肺结核检测方法、系统和存储介质 | |
| CN113808738B (zh) | 一种基于自识别影像的疾病识别系统 | |
| CN113065609B (zh) | 图像分类方法、装置、电子设备及可读存储介质 | |
| CN112308853A (zh) | 电子设备、医学图像指标生成方法、装置及存储介质 | |
| CN111275707A (zh) | 肺炎病灶分割方法和装置 | |
| CN111476760B (zh) | 医学图像的生成方法、装置、电子设备及介质 | |
| CN112614573A (zh) | 基于病理图像标注工具的深度学习模型训练方法及装置 | |
| CN113516639B (zh) | 基于全景x光片的口腔异常检测模型的训练方法及装置 | |
| CN115206512A (zh) | 基于物联网的医院信息管理方法及装置 | |
| CN117274278B (zh) | 基于模拟感受野的视网膜图像病灶部位分割方法及系统 | |
| CN116824670A (zh) | 基于微表情的问诊辅助方法、装置、设备及介质 | |
| CN115578370B (zh) | 一种基于脑影像的代谢区域异常检测方法及装置 | |
| CN110570425A (zh) | 一种基于深度强化学习算法的肺结节分析方法及装置 | |
| CN113436743A (zh) | 基于表示学习的多结局疗效预测方法、装置及存储介质 | |
| CN114400089A (zh) | 基于大数据的阅片数据分析方法、装置、设备及存储介质 | |
| Mohandas et al. | An Intelligent System for Dental Disease Detection Using Smart R-CNN Technique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |