CN116831528A - 一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法 - Google Patents

一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法 Download PDF

Info

Publication number
CN116831528A
CN116831528A CN202310779702.3A CN202310779702A CN116831528A CN 116831528 A CN116831528 A CN 116831528A CN 202310779702 A CN202310779702 A CN 202310779702A CN 116831528 A CN116831528 A CN 116831528A
Authority
CN
China
Prior art keywords
hyperspectral
foot
model
camera
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310779702.3A
Other languages
English (en)
Inventor
董立泉
赵露霞
孔令琴
赵跃进
褚旭红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze River Delta Research Institute Of Beijing University Of Technology Jiaxing
Beijing Institute of Technology BIT
Original Assignee
Yangtze River Delta Research Institute Of Beijing University Of Technology Jiaxing
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangtze River Delta Research Institute Of Beijing University Of Technology Jiaxing, Beijing Institute of Technology BIT filed Critical Yangtze River Delta Research Institute Of Beijing University Of Technology Jiaxing
Priority to CN202310779702.3A priority Critical patent/CN116831528A/zh
Publication of CN116831528A publication Critical patent/CN116831528A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法,属于生理信号检测领域。其方法特征是:所述光谱超分辨重建算法数据采集由普通工业相机与高光谱相机及镜头完成;所述照明光源为白光光源。本发明在可见光波段光源照明条件下,分别用可将光相机和高光谱相机获取糖尿病患者同一角度下的足部溃疡图片,使用深度学习的方法完成从可见光图像到高光谱图像的超分辨率重建,再从重建高光谱中提取与微循环相关的生理参数,随后将上述特征参数结合病患的相关临床数据作为模型的输入建立糖尿病足愈合情况的神经网络预测模型。

Description

一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法
技术领域
本发明属于人体健康检测技术领域,涉及生物医学光子学领域,涉及图像处理、计算机视觉等领域。
背景技术
糖尿病足是糖尿病患者常见的并发症之一,主要由微循环病变引起。糖尿病患者血液中持续的高血糖水平会导致血管内皮细功能异常和基底膜增厚,使微血管病变和微循环受损,从而引起血液微循环障碍,出现足部组织缺氧缺血、营养不良等状况。糖尿病足通常表现为下肢溃疡、感染和坏疽等病变,严重时可能导致截肢甚至死亡,具有高复发率、治疗周期长、治疗费用高的特点。及时筛查、早期干预,是降低糖尿病足溃疡程度、提高患者生活质量的关键。
目前,糖尿病足的预测方法主要包括了激光多普勒技术、红外热成像技术、高光谱成像技术。其中,激光多普勒技术使用激光和探头探测血液在微血管中的流速和血流量,定量分析血流速度、血流量、容积和血流分布等指标来判断局部区域的微循环灌注情况,进而实现糖尿病足的预测。然而这种方法通常需要在皮肤表面放置传感器,容易受测量位置的限制,且无法评估特定区域深层组织的微循环状态。其次,激光多普勒设备的高成本、操作的复杂性都限制了其在某些临床环境中的应用。红外热成像技术可以实时地显示皮肤表面的温度分布,通过皮肤温度的变化来间接评估局部微循环功能。但这种方法只能测量皮肤表面的温度分布,不能直接观察皮肤下深层组织的微循环情况,并且它对测量环境(温度、湿度等)的变化较敏感,可能导致测量结果的不准确性。近年来,高光谱技术作为一种先进的、非接触式的生物光子学成像技术,在糖尿病足的预测和评估中显示出了巨大的潜力。高光谱技术具有高灵敏度和高分辨率的优点,可以提供足部组织的光学信息,从而帮助研究者了解足部组织的生理状态。通过高光谱技术,可以获得局部组织的反射光谱,并从中提取多个生理参数,如血氧饱和度、组织氧饱和度、血红蛋白浓度等。这些生理参数可以反映足部微循环状态和组织代谢水平,从而用于预测糖尿病足的愈合情况。然而,利用高光谱预测糖尿病足愈合大多是通过量化组织中脱氧血红蛋白和含氧血红蛋白的浓度反映组织的氧合状态,预测模型的输入参数较为单一,需要进一步提高预测的准确性;其次,预测模型的性能通常受限于训练数据的数量和多样性,由于缺少相关公开的、统一标准的高光谱数据集,使得预测结果的泛化能力较低。
针对上述问题,本发明提出了一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法,该方法通过可见光相机和高光谱相机对特定足部皮肤区域分别进行可见光成像和高光谱成像,制作成一一匹配的数据集,使用深度学习完成从可见光图像到高光谱图像的超分辨率重建;然后从重建高光谱中提取能反应微循环功能的特征参数,将这些特征参数与相关临床数据结合,最后使用全连接神经网络建立特征值与糖尿病足愈合情况的回归模型,完成对糖尿病愈合情况的预测。
发明内容
本发明提出了一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法。在可见光波段光源照明条件下,分别用可将光相机和高光谱相机获取糖尿病患者同一角度下的足部溃疡图片,完成从可见光图像到高光谱图像的超分辨率重建,再从重建高光谱中提取与微循环相关的生理参数,随后将上述特征参数结合病患的相关临床数据作为模型的输入建立糖尿病足愈合情况的神经网络回归模型。
所述拍摄设备距离患者足部20-40cm,实现了非接触式测量,避免了接触式仪器的使用带来的感染风险。
所述光源为白光光源。
所述超分辨率重建包括但不限于使用了残差密集结构的生成对抗网神经网络、MST++网络、分层回归网络。
所述与微循环相关的生理参数包括但不限于组织氧饱和度、血液容积分数、组织血红蛋白指数等。
所述相关临床数据包括但不限于年龄、性别、ABI、血糖水平、溃疡大小和深度等。
所述预测模型包括但不限于多元线性回归或全连接神经网络。
所述从高光谱图像提取特征参数预测糖尿病足愈合情况包含以下步骤:
步骤1、采集数据集训练超分辨重建网络;
1)、启动白光光源,照射到糖尿病患者足部溃疡部位。
2)、启动工业相机与高光谱相机,保证无其他光线射入影响成像设备采集数据。
3)、调整两个相机的相对角度使拍摄到的图像画面大致一致。
4)、将足部待测区域放置在光源与成像设备夹角的位置,使皮肤组织的漫反射光刚好进入相机,保持静止10s左右,同时采集RGB图像与高光谱图像。
5)、将RGB图像和高光谱图像分别作为神经网络的输入和输出,训练重建网络。
步骤2、从重建高光谱中提取与微循环有关的生理参数;
1)、确定漫反射光谱模拟所需的光学模型和皮肤组织模型,其中光学模型包括光的传输、散射和吸收等物理传输过程,皮肤组织模型包括不同病情阶段的糖尿病患者足部组织的分布和组成等信息,在这一步需要考虑足部组织的生理结构、组织中的血液分布、脱氧血红蛋白和含氧血红蛋白含量等因素。
2)、使用蒙特卡洛方法建立光在足部组织中传输的正向模型,生成多组高光谱模拟数据。
3)、利用反演算法反演组织的生理参数。反演算法基于计算机模型和数学方法,将高光谱图像的光谱信息与组织生理参数进行关联,通过最小化实际测量光谱和模拟光谱之间的差异,反演出组织生理参数的值。
步骤3、根据特征参数建立预测模型;
1)、建立基于全连接神经网络的预测模型。
2)、用步骤2得到的特征值融合相关临床数据作为回归模型的输入,预测糖尿病足患者的愈合情况。
3)、将多组预测值与真值进行对照,计算出准确率、特异性和敏感度。
较佳的,融合数据过程中还可以结合红外热成像的数据。
有益效果
1.本发明的一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法不需要与患者皮肤接触,避免了接触式测量带来的伤口感染的风险。
2.本发明的一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法融合了多尺度的信息,能量化局部微循环功能,使得预测效果更准确。
3.本发明的一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法的输入设备只需要一个普通工业相机,无需额外设备,成本较低。
附图说明
图1是本发明所述方法的实验装置示意图。
图2是本发明所述基于图基于高光谱重建的预测糖尿病足愈合方法的流程图。
其中,1-白光光源,2-高光谱图像成像设备,3-工业相机,4-信号采集处理设备,3-被测对象。
具体实施方式
为使本发明的目的、优点和特征更加清楚,以下结合附图和具体实施例对本发明提出的一种基于高光谱重建的预测糖尿病足愈合的方法作进一步详细说明。需要说明的是:附图均采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目的,附图所展示的结构是实际结构的一部分;本发明图像信号的获取部位不局限于人体足部部分,其他部位同样适用。本发明中所采用的高光谱图像重建算法不局限于某种算法。本发明所采用的回归预测算法也不局限于某种算法。
本发明实施例以糖尿病患者作为受试者。
本实施例公开的一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法,图像采集示意图如图1所示,执行流程如附图2所示,具体内容如下。
步骤1,用高光谱相机和普通工业相机同时采集多个糖尿病患者的足部皮肤组织的高光谱图像和RGB图像,训练超分辨重建模型;
步骤1-1,隔绝杂光后启动白色光源,测试者保持静止,确定光源均匀地照射在足部溃疡区域(没有溃疡则选取较易成像的足部区域)上。
步骤1-2,同时启动工业相机与高光谱相机,对焦至最清晰处,对高光谱相机进行白板校准。
步骤1-3,将足部放于指定位置,与高光谱相机及工业相机保持20-40cm距离,静止10-15S,同时采集高光谱图像与RGB图像。
步骤1-4,将采集到的RGB图像与高光谱图像经预处理后作为训练集,输入超分辨模型。高光谱图像和RGB图像的映射关系可以表示为:
式中:SR(k)、SG(k)、SB(k)对应RGB和高光谱图像不同通道的转换矩阵。高光谱图像到RGB图像可以简化表示为一个积分过程:
I=SIH (2)
式中:代表含有RGB三通道值的向量;/>代表含有高光谱N个通道像素值的向量;/>代表两者转换的转换矩阵。根据公式2可以看出,通过RGB图像进行高光谱重建的过程可以表示为:
IH=S-1I=TI (3)
由公式3可知用RGB图像重建高光谱图像就是求解T矩阵。
对重建的高光谱数据与源数据进行对比评价,一般有如下四种评价指标:
其中G(x)为生成的高光谱图像,y为原图像,R为相机的响应函数,N为重建高光谱图像的像素数。MRAE是平均相对绝对误差,RMSE是均方根误差,BPRMSE是反向映射均方根误差,代表了真实值和重建值反向投影后的均方根误差,BPSSIM反应了真实值和重建值反向投影后图片的结构相似度,式中T(k)和R(k)分别为原始高光谱图像和重建高光谱图像在空域中的离散傅里叶变换系数,和/>为它们的相位角。BPSSIM值越接近1,表示重建高光谱图像质量越好。
步骤2,从重建高光谱中提取能反映微循环功能的参数;
步骤2-1,使用蒙特卡洛分析模拟足部高光谱,获得不同组织氧饱和度、血液容积分数、血红蛋白浓度下的漫反射谱。
步骤2-2,通过比较实际测量的高光谱图像与蒙特卡洛正向模型模拟的光谱图像,建立反演算法,反演出组织中的吸收系数、散射系数等光学参数。
步骤2-3,根据反演出的光学参数反推出所需的生理参数。
步骤3,建立与微循环功能有关的特征参数与糖尿病足愈合情况的神经网络回归模型;
步骤3-1,使用一个全连接网络作为预测模型,将特征参数结合临床数据作为网络的输入,糖尿足患者的愈合结果作为网络的输出。
步骤3-2,不断调整模型的参数,以达到一个较好的准确率。
步骤3-3,从灵敏度、特异性和受试者工作特征曲线等多角度评价预测模型的效果。
综上所述,以上仅为本发明所提供的较佳实施例而已,并非用于限定本发明的保护范围。凡在发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法,其特征在于,该方法由光谱超分辨重建模型、基于蒙特卡洛分析的生理参数提取模型与回归预测模型构成,其基本步骤如下:
步骤1:采集数据集训练超分辨重建网络;
步骤2:从重建高光谱中提取与微循环有关的生理参数;
步骤3:根据特征参数建立预测模型。
2.如权利要求1所述的一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法,其特征在于,所述采集数据集训练超分辨重建网络的具体实现步骤为:
(1)启动白光光源,照射到糖尿病患者足部溃疡部位;
(2)启动工业相机与高光谱相机,保证无其他光线射入影响成像设备采集数据;
(3)调整两个相机的相对角度使拍摄到的图像画面大致一致;
(4)将足部待测区域放置在光源与成像设备夹角的位置,使皮肤组织的漫反射光刚好进入相机,保持静止10s左右,同时采集RGB图像与高光谱图像
(5)将RGB图像和高光谱图像分别作为神经网络的输入和输出,训练超分辨重建网络。
3.如权利要求1所述的一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法,其特征在于,所述从重建高光谱中提取与微循环有关的生理参数的具体实现步骤为:
(1)确定漫反射光谱模拟所需的光学模型和皮肤组织模型,其中光学模型包括光的传输、散射和吸收等物理传输过程,皮肤组织模型包括不同病情阶段的糖尿病患者足部组织的分布和组成等信息,在这一步需要考虑足部组织的生理结构、组织中的血液分布、脱氧血红蛋白和含氧血红蛋白含量等因素;
(2)使用蒙特卡洛方法建立光在足部组织中传输的正向模型,生成多组高光谱模拟数据;
(3)利用反演算法反演组织的生理参数。反演算法基于计算机模型和数学方法,将高光谱图像的光谱信息与组织生理参数进行关联,通过最小化实际测量光谱和模拟光谱之间的差异,反演出组织生理参数的值。
4.如权利要求1所述的一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法,其特征在于,所述根据特征参数建立预测模型的具体实现步骤为:
(1)建立基于全连接神经网络的预测模型;
(2)用步骤2得到的特征值融合相关临床数据作为回归模型的输入,预测糖尿病足患者的愈合情况;
(3)将多组预测值与真值进行对照,计算出准确率、特异性和敏感度。
CN202310779702.3A 2023-06-29 2023-06-29 一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法 Pending CN116831528A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310779702.3A CN116831528A (zh) 2023-06-29 2023-06-29 一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310779702.3A CN116831528A (zh) 2023-06-29 2023-06-29 一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法

Publications (1)

Publication Number Publication Date
CN116831528A true CN116831528A (zh) 2023-10-03

Family

ID=88164637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310779702.3A Pending CN116831528A (zh) 2023-06-29 2023-06-29 一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法

Country Status (1)

Country Link
CN (1) CN116831528A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117694885A (zh) * 2024-02-04 2024-03-15 北京航空航天大学 肌肉组织血氧相关参数的检测方法、装置、系统和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117694885A (zh) * 2024-02-04 2024-03-15 北京航空航天大学 肌肉组织血氧相关参数的检测方法、装置、系统和介质
CN117694885B (zh) * 2024-02-04 2024-05-24 北京航空航天大学 肌肉组织血氧相关参数的检测方法、装置、系统和介质

Similar Documents

Publication Publication Date Title
Zherebtsov et al. Hyperspectral imaging of human skin aided by artificial neural networks
RU2648029C2 (ru) Устройство и способ измерения кровяного давления
KR20170009085A (ko) 레이저 스펙클 대조도 이미징 시스템 및 방법, 이를 적용한 장치
CA2355892A1 (en) Time-resolved optical backscattering tomographic image reconstruction in scattering turbid media
US9498133B2 (en) Optoacoustic-ultrasonic system for coregistered functional and morphological imaging of placentas
Yoshida et al. Multispectral imaging of absorption and scattering properties of in vivo exposed rat brain using a digital red-green-blue camera
CN116831528A (zh) 一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法
CN110960219A (zh) 一种皮肤溃疡创面智能辅助诊断系统
Ewerlöf et al. Multispectral snapshot imaging of skin microcirculatory hemoglobin oxygen saturation using artificial neural networks trained on in vivo data
CN110403611A (zh) 血液成分值预测方法、装置、计算机设备和存储介质
Jiang et al. 2.5 Hz sample rate time-domain near-infrared optical tomography based on SPAD-camera image tissue hemodynamics
Hao et al. A quantitative laser speckle-based velocity prediction approach using machine learning
Li et al. Hybrid D1DCnet using forehead iPPG for continuous and noncontact blood pressure measurement
Else et al. Effects of skin tone on photoacoustic imaging and oximetry
Manojlović et al. Rapid extraction of skin physiological parameters from hyperspectral images using machine learning
Hultman et al. Speed-resolved perfusion imaging using multi-exposure laser speckle contrast imaging and machine learning
Huang et al. Second derivative multispectral algorithm for quantitative assessment of cutaneous tissue oxygenation
CN115062359B (zh) 非接触实时血氧成像用滤光片光谱响应设计方法、滤光片
CN115474930A (zh) 一种基于高光谱图像重建的无创血红蛋白检测方法
Kong et al. High-precision hemoglobin detection based on hyperspectral reconstruction of RGB images
Maity et al. SpeckleCam: high-resolution computational speckle contrast tomography for deep blood flow imaging
Wang et al. Non-invasive blood glucose measurement based on visible light and embedded system
Kedir et al. Spectranet: A deep model for skin oxygenation measurement from multi-spectral data
KR20230064693A (ko) 초분광 피부 화상 심도 분석 장치 및 방법
Hsu et al. Non-contact PPG measurement system incorporating image analyzed photoplethysmogram signals and deep learning algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination