CN112168180B - 一种基于两阶段空间映射的组织血氧成像检测方法 - Google Patents
一种基于两阶段空间映射的组织血氧成像检测方法 Download PDFInfo
- Publication number
- CN112168180B CN112168180B CN202011018040.0A CN202011018040A CN112168180B CN 112168180 B CN112168180 B CN 112168180B CN 202011018040 A CN202011018040 A CN 202011018040A CN 112168180 B CN112168180 B CN 112168180B
- Authority
- CN
- China
- Prior art keywords
- tissue
- blood oxygen
- dimensional
- mapping
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
- G06F18/21375—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps involving differential geometry, e.g. embedding of pattern manifold
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- Optics & Photonics (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种基于两阶段空间映射的组织血氧成像检测方法,包括以下步骤:术前构建组织结构模型;设定组织中物质种类及光学参数;进行反射式光学成像模拟,得到高维全光谱信息;基于照明光源和成像相机的光谱特性,得到低维RGB通道的映射数据集;使用流形降维算法,以血氧饱和度为主参数实现高维光谱数据的降维,并构建第一核函数,实现降维后数据集与低维RGB通道数据集的映射;基于L1优化策略,得到第一核函数的逆运算映射关系;对术中实际的待检测组织成像,通过调整后的逆运算映射关系实时计算得到血氧饱和度的估计值。与现有技术相比,本发明利用两阶段空间映射关系,能够有效增加血氧参数估计的准确性,同时保证成像检测的实时性。
Description
技术领域
本发明涉及成像检测技术领域,尤其是涉及一种基于两阶段空间映射的组织血氧成像检测方法,以直接利用术中白光视野RGB图像实现术中组织血氧的实时准确检测,其目的不是为了获得诊断结果、健康状态或治疗手段。
背景技术
大量的临床手术实践已经表明实时血氧信息检测的重要性,尤其在外科手术领域,实时监测血氧分布和变化情况,能够有效降低手术风险、改善手术愈后。为实现含(去)氧血红蛋白含量、血容量、血氧饱和度等生理参数的检测,目前常采用组织灌注的方式,组织灌注是一种借助造影剂的荧光成像方法,但造影剂的注射会给患者带来一定的风险,同时增加操作复杂性。发展无需造影剂的血氧成像和检测方法是临床所需,在传统光学成像中,可以使用内源光信号成像(optical intrinsic signal imaging,OISI)技术,通过外加2至3种独立单波长光源(可见光波段,使用白光滤波、LED或激光获得)对成像区域进行照明,记录不同波长下组织的反射图像,并利用朗伯比尔定律计算出相对血红蛋白的浓度等参数。然而在实际应用中,不同波长的单独照明会影响手术正常的白光视野,给手术操作带来干扰,因此,该方法无法满足术中应用的需求。
若直接利用术中白光视野的RGB图像实现组织区域血氧信息的检测,不改变原有手术操作环境和视野环境,将极大方便术中应用。近年来,出现了一些基于该策略的检测方法,比如针对哺乳动物的结膜,Sen Abhishek等提出用彩色图像的RGB或HSV值直接反映结膜处的血红蛋白分布等。这些方法对应用场景有较强的限制,普适性和准确性均无法达到实际临床应用的要求。其主要原因是,这些方法将手术视野内组织等效于成分单一(含氧和去氧血红蛋白)的理想组织,组织的解剖结构信息和其他成分均被忽略;此外,直接使用朗伯比尔定律构建方程组,等效于透射成像的分析求解,并未考虑到实际反射式成像中,检测到的光子其经过组织多次散射扩散传播的特性,这无疑会降低检测结果的实时准确性。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于两阶段空间映射的组织血氧成像检测方法,能够直接利用术中白光视野RGB图像实现术中组织血氧检测的目的,且能保证检测结果的实时性和准确性。
本发明的目的可以通过以下技术方案来实现:一种基于两阶段空间映射的组织血氧成像检测方法,包括以下步骤:
S1、根据组织的解剖学特征和个体影像学数据,构建组织模型,并确定组织结构参数,若没有个体影像学数据,则需对组织结构参数的可变范围进行设定;
S2、确定组织中含有物质的种类,并对各物质种类的光学参数可变范围进行设定,其中,光学参数包括吸收系数、散射系数、折射率和各向异性参数;
S3、通过蒙特卡洛仿真的方式,对组织模型进行反射式光学成像模拟,得到不同血氧含量条件下,组织结构参数以及各物质种类的光学参数在可变范围内各种组合对应的组织全光谱信息,至此构建得到第一阶段从低维(血氧含量)到高维(组织结构参数和各物质种类的光学参数)的映射数据集;
S4、基于照明光源的光谱分布以及相机RGB通道的光谱响应特性,得到高维光谱数据到低维RGB通道的映射数据集;
S5、采用流形降维算法,以血氧饱和度作为主参数,对高维光谱数据进行降维处理,并构建第一核函数,进一步实现降维后数据集与低维RGB通道数据集的映射;
S6、基于L1范数优化算法,分别得到RGB三个通道的第一核函数的逆运算映射关系,至此完成第二阶段高维到低维的映射,以得到血氧饱和度的估计值;
S7、实时获取术中组织区域监控视频,并基于步骤S6得到的逆运算映射关系,实时转换得到血氧含量的检测图像。
进一步地,所述步骤S1中组织模型至少包括两层:第一层为组织边界外的空气层,第二层为组织层。
进一步地,所述步骤S2中组织中含有物质的种类包括含氧血红蛋白、脱氧血红蛋白、水、脂肪和吸光物质,所述光学参数可变范围具体为1%~20%。
进一步地,所述步骤S3具体包括以下步骤:
S31、以一组包含不同波长且数目一定的光子作为入射光源,设定光子的初始权重为1,之后执行步骤S32,开始模拟光子在组织模型中传播的过程;
S32、使光子从上方垂直进入组织模型;
S33、计算光子的补偿以及下一个传输位置坐标;
S34、光子与组织模型发生吸收作用,使得光子权重衰减;
S35、光子与组织模型发生散射作用,使得光子传播方向发生改变;
S36、当光子权重衰减至0或者光子逸出组织模型,则认为光子已消亡,终止模拟过程;
S37、统计组织模型入射侧各波长下光子的数量,获得组织模型在不同光波长下的反射光谱分布,根据组织模型中光学特性参数的可变范围进行多次模拟过程,最终得到具有一定变化范围区间的组织模型的反射光谱。
进一步地,所述步骤S4具体是分别获取照明光源的光谱功率分布以及相机的光谱敏感曲线,以计算得到组织模型各空间位置处经相机拍摄获得的RGB三通道光强值组合,即得到高维光谱数据到低维RGB通道的映射数据集。
进一步地,所述步骤S5具体包括以下步骤:
S52、构建邻接图G——基于输入空间M中流形G上的邻近点对i,j之间的欧式距离dx(i,j),选取每个样本点距离最近的K个点或在样本点选定半径为常数ε的圆内所有点为该样本点的邻近点,将这些邻近点用边连接,将流形G构建为一个反映邻近关系的带权流通图G;
S53、计算所有点对之间的最短路径——通过计算邻接图G上任意两点之间的最短路径逼近流形上的测地距离矩阵DG={dG(i,j)},最短路径的实现可由Floyd算法获得;
上式的全局最优解具体是通过将坐标向量yi设置为距离矩阵DG前d个特征值对应的特征向量来得到;
S55、根据全体T个高维光谱数据与RGB通道数据的对应关系,对于R通道、G通道和B通道分别构建相应的第一核函数,实现低维空间Y与R、Y与G、Y与B的映射。
进一步地,所述步骤S6具体包括以下步骤:
S61、针对一组实际的RGB光强值的组合{Ii}(i=1,2,3),基于L1范数优化算法,计算与其差异度最小的Y值所属的光强值范围组合;
S62、再基于L1范数优化算法,选取出该RGB通道光强值所对应的Y值中差异度最小的Y值,以实现第一核函数的逆运算操作,即得到RGB值与降维后的Y集合的映射,以此得到血氧饱和度的估计值。
进一步地,所述步骤S61中差异度的计算公式为:
其中,l为特定的Yi与全部Y值组合之间的差异度,Yi为RGB三通道光强值对应的低维空间数据。
进一步地,所述步骤S7具体包括以下步骤:
S71、通过调整逆运算映射中的变量参数,以对血氧饱和度的估计值进行修正,直至血氧饱和度的估计值的相对误差在5%范围内;
S72、利用相机对待检测组织进行成像,得到待检测组织的RGB图像及对应的三通道光强值,根据调整后的逆运算映射关系,得到待检测组织的血氧饱和度的估计值,并将不同的血氧饱和度估计值对应于不同的颜色,即可由血氧饱和度的估计值生成对应的伪彩图像。
进一步地,所述步骤S71中相对误差的计算公式为:
与现有技术相比,本发明具有以下优点:
一、本发明基于低维空间与高维空间的映射理论,实现了从普通的组织彩色RGB图像到多维反射光谱信息、再到组织中血氧饱和度的两阶段空间映射过程,通过引入高维光谱信息,能够保留更多图像信息,从而有效提高估算准确度,此外,两阶段映射关系的构建可以在术前完成,因此实际外科手术过程中仅需要根据映射关系进行变换计算,即可获得血氧参数的估计和可视化,极大地保证了运算速度和术中观测的实时性。
二、本发明通过设定组织模型中各物质种类光学特性参数的可变范围,能够保证组织模型的普适性,本发明在进行第二阶段映射时,由于三通道RGB信息属于三维空间,低维空间向量集通常难以划分,很难直接从RGB光强值中直接分离得到所述组织的相关生理参数信息,因此基于第一核函数的逆运算,将低维RGB空间的信息映射到高维反射谱空间的降维后空间,即以血氧饱和度为主参数(标签)的Y空间集合,从而实现准确估计血氧饱和度的目的。
三、本发明提供的方法无需特定波长的光源进行照明,也不需要光谱仪、滤光片等复杂的设备和操作,极大地简化了获取组织血氧参数的过程,本发明对于给定的人体组织彩色图像,只需要根据给定的成像系统相关参数,即可实现对组织血氧饱和度的估计,方法实施简单,因此可应用于多种临床场景,尤其是手术中的实时观测,且可以方便地集成于任何现有的包含成像设备的医用仪器中,例如外科手术显微镜等。
附图说明
图1为本发明的方法流程示意图;
图2为实施例的含氧血红蛋白和脱氧血红蛋白的摩尔消光系数曲线;
图3为实施例中蒙特卡洛仿真过程示意图;
图4为实施例中成像相机的光谱敏感曲线;
图5为实施例中宽谱照明光源的光谱功率分布示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示,一种基于两阶段空间映射的组织血氧成像检测方法,包括以下步骤:
S1、根据组织的解剖学特征和个体影像学数据,构建组织模型,并确定组织结构参数,若没有个体影像学数据,则需对组织结构参数的可变范围进行设定;
S2、确定组织中含有物质的种类,并对各物质种类的光学参数可变范围进行设定,其中,光学参数包括吸收系数、散射系数、折射率和各向异性参数;
S3、通过蒙特卡洛仿真的方式,对组织模型进行反射式光学成像模拟,得到不同血氧含量条件下,组织结构参数以及各物质种类的光学参数在可变范围内各种组合对应的组织全光谱信息,至此构建得到第一阶段从低维(血氧含量)到高维(组织结构参数和各物质种类的光学参数)的映射数据集;
S4、基于照明光源的光谱分布以及相机RGB通道的光谱响应特性,得到高维光谱数据到低维RGB通道的映射数据集;
S5、采用流形降维算法,以血氧饱和度作为主参数,对高维光谱数据进行降维处理,并构建第一核函数,进一步实现降维后数据集与低维RGB通道数据集的映射;
S6、基于L1范数优化算法,分别得到RGB三个通道的第一核函数的逆运算映射关系,至此完成第二阶段高维到低维的映射,以得到血氧饱和度的估计值;
S7、实时获取术中组织区域监控视频,并基于步骤S6得到的逆运算映射关系,实时转换得到血氧含量的检测图像。
本发明的核心思路是,术前根据手术部位组织的解剖学特征和个性化的影像学数据,构建手术部位的组织结构模型(若无个性化影像学资料,则需要对组织结构参数的可变范围进行设定);同时对组织中含有物质的种类及其光学参数(包括吸收系数、散射系数、折射率、各向异性参数等)的可变范围进行设定。利用光学蒙特卡洛仿真,进行反射式成像仿真,获得不同血氧含量的条件下,结构参数和其他成分光学参数在可变范围内的各种组合对应的RGB值的集合,构建第一阶段从低维(血氧含量)到高维(结构参数和其他成分光学参数)的映射数据集;
在高维空间中,应用流形聚类算法,以血氧饱和度为主变量,计算获得主变量RGB属性值的最优可区分流形曲面,实现第二阶段由高维信息映射为低维RGB参数的第一核函数并对其基于L1优化求解逆映射;
经过两个阶段的空间映射,得到血氧含量与RGB值的映射,从而可直接利用术中白光视野RGB图像,对组织血氧含量进行实时的、准确的估计。
由此可知,本发明提出的方法包括:第一阶段低维到高维的仿真数据集构建、第二阶段高维到低维的流形降维映射和基于L1优化的逆映射求解、术中实时成像检测应用。
其中,第一阶段构建低维到高维映射的仿真数据集主要包括术前组织结构建模、光学参数范围设定和蒙特卡洛仿真计算三个部分:
术前组织结构建模对应于上述的步骤S1——根据手术部位组织的解剖学特征和病人个性化的影像学特征,构建手术部位的组织结构模型,若无个性化影像学资料,则需要对组织结构参数的可变范围进行设定,并增加相应维度,具体的,对于特定的手术部位,如脑皮层、皮肤、肝脏等,根据其解剖学特征和病人个性化的影像资料,设定组织模型的具体结构,包括组织的区域大小、厚度、分层、主要包含的物质等。组织模型的区域大小可根据实际手术需要进行设定,组织厚度根据病人情况特异性设定。为便于后续的仿真模拟,组织模型至少包括两层:第一层为组织边界外的空气层,第二层为组织层。组织模型中考虑的物质主要包括:含氧血红蛋白(HbO)和脱氧血红蛋白(HbR)、水(H2O)和脂肪(Fat)。对于不同的组织模型,还需考虑其中特异的吸光物质,如针对皮肤组织,需考虑皮肤中黑色素。
光学参数范围设定对应于上述的步骤S2——对手术部位组织中含有物质的种类及其光学参数包括吸收系数、散射系数、折射率、各向异性参数等的可变范围(1%~20%)进行设定,具体的,组织模型中光学特性参数包括:吸收系数μa、散射系数μs、折射率n、各向异性因子g等,针对不同的组织模型及同一组织的不同层,由于组织内吸光物质的种类、浓度不同,光学特性参数均有所差异,因此需根据实际情况对模拟组织模型的参数进行设定和调整,起到较大影响作用的包括血流相关的参数,如血液的体积分数、总血红蛋白含量(HbT)、血氧饱和度(StO2)等,同时,对光学特性参数保留1%~20%的扰动范围,以实现模型的普适性。
蒙特卡洛仿真对应于上述的步骤S3——利用蒙特卡洛仿真,对组织模型进行反射式光学成像模拟,获得不同血氧含量的条件下,结构参数和其他成分光学参数在可变范围内的各种组合所对应的组织全光谱信息,具体的,对组织模型,基于蒙特卡洛仿真的原理,模拟光子在组织中传播的过程。入射光源以一组包含不同波长的一定数目的光子来表示,光子的初始权重为1,当光子进入组织并与各层组织相互作用时,光子就会失去部分权重,并根据各向异性因子和散射、吸收系数等所确定的方向发生权重的衰减和传播方向的改变。在模拟结束时根据位于入射侧的所有漫反射光子即可得到组织模型的反射光谱。
光子传播过程可简要分为以下步骤(如图3所示):(1)光子由上方垂直于组织平面进入组织模型;(2)计算光子的步长及下一个传输位置坐标;(3)光子与组织发生吸收作用,光子权重衰减;(4)光子与组织发生散射作用,改变传播方向;(5)当光子权重为0或经传播而逸出组织时,认为光子消亡,模拟终止。
在基于蒙特卡洛的仿真过程结束后,收集位于组织的入射侧的不同波长的全部光子,可获得组织模型在不同光波长下的反射光谱分布,用r(λ)表示,其中λ为波长。对于不同的组织模型,因其结构、光学特性的不同,其经过仿真模拟得到的反射光谱也存在差异。由于组织的光学特性参数存在1%~20%的变化范围,得到的反射光谱也包括一定的范围变化区间。
第二阶段高维到低维的映射包括结合照明光源光谱分布和相机RGB通道光谱响应特性,得到高维到低维映射数据集;对高维数据集进行流形降维,获得高维到低维映射到第一核函数;基于L1优化方法得到第一核函数的逆映射求解。
构建高维到低维映射数据集对应于上述的步骤S4——基于照明光源的光谱分布和相机RGB通道的光谱响应特性,得到高维光谱数据到低维RGB通道的映射数据集,具体的,根据高维反射光谱,对于彩色相机的第i(i=1,2,3)个通道,即R、G或B通道,空间位置(x,y)处的相机响应值vi(x,y)可通过如下公式得到映射关系:
vi(x,y)=∫ui(λ)E(λ)S(λ)r(x,y;λ)dλ (1)
式(1)中,λ表示光的波长,ui(λ)表示第i个通道滤光片的光谱透过率,E(λ)表示照明光源的光谱功率分布函数,S(λ)表示成像设备的光谱敏感函数,r(x,y;λ)表示在空间位置(x,y)处组织的光谱反射率。
为便于后续计算,公式(1)可用向量表示为:
v=Fr (2)
式(2)中,v是3×1维的相机响应向量,r是k×1维的向量,对应图像中某一像素点处的反射光谱,F是3×k维的光谱响应函数矩阵,具体表示为:
F=UES (3)
式(3)中,U、E、S分别为公式(1)中ui(λ)、E(λ)、S(λ)的矩阵表示形式。
对于固定的成像系统,采用普通的宽谱照明方式,光源的光谱功率分布已知且固定,成像相机的光谱敏感函数由相机制造商给出,因此F矩阵是固定的。
利用成像系统对组织模型进行模拟成像,可得到组织模型各个位置处对应的RGB三通道光强值,并形成组织模型的彩色图像。
由于反射光谱存在一定的变化范围区间,根据上述映射关系得到的所有三通道光强值组合也分别在一定范围内波动,将位置(x,y)处反射光谱所对应的第i(i=1,2,3)个通道的光强值用{Ii}(i=1,2,3)表示。
对高维数据集进行流形降维对应于上述的步骤S5——使用流形降维算法,以血氧饱和度为主参数(标签)实现高维光谱数据的降维,并进一步构建第一核函数,实现降维后数据集与低维RGB通道数据集的映射,具体的,设高维数据集的维度为N,则高维光谱数据集合为共T个数据。在高维空间中,将每一个数据点作为流形几何中图的点,点与其邻近点之间使用边来连接,经过以下步骤实现降维,获得降维后的数据集
步骤1:构建邻接图G
基于输入空间M中流形G上的邻近点对i,j之间的欧式距离dx(i,j),选取每个样本点距离最近的K个点或在样本点选定半径为常数ε的圆内所有点为该样本点的邻近点,将这些邻近点用边连接,将流形G构建为一个反映邻近关系的带权流通图G;
步骤2:计算所有点对之间的最短路径
通过计算邻接图G上任意两点之间的最短路径逼近流形上的测地距离矩阵DG={dG(i,j)},最短路径的实现可由Floyd算法获得;
步骤3:构建k维坐标向量
根据距离矩阵DG={dG(i,j)}使用经典MDS算法在d维空间Y中构造数据的嵌入坐标表示,选择低维空间Y的任意两个嵌入坐标向量yi与yj使得代价函数最小:
式(4)的全局最优解可以通过将坐标向量yi设置为距离矩阵DG前d个特征值对应的特征向量来得到。
根据全体T个高维光谱数据与RGB通道数据的对应关系,对于R通道、G通道和B通道分别构建相应的第一核函数,实现低维空间Y与R、Y与G、Y与B的映射。
基于L1优化的逆映射求解则对应于上述的步骤S6——基于L1优化的算法,分别得到步骤S5中RGB三个通道的第一核函数的逆运算映射关系,具体的,对于某一组实际的R、G和B光强值的组合{Ii}(i=1,2,3),基于L1优化的策略,根据S5中RGB三通道光强分别对应的{Yi}(i=1,2,3)值,确定其最优估计的Y值。特定的Yi与全部Y值组合之间的差异度l可根据以下公式确定:
取得到的差异度l中的最小值,即可确定R、G、B光强值对应的Y所属的光强值范围组合,在确定的光强值范围中,基于L1策略,找到变化范围[minY(x,y),maxY(x,y)]内差异度最小的光强值:
根据式(6)和式(7),分别计算Yi与范围的最小值、最大值之间的差异度lmin、lmax。
选取该RGB通道光强值所对应的Y值中的差异度最小的Y值,实现第一核函数的逆运算操作,即形成RGB值与降维后的Y集合的映射。
三通道RGB信息属于三维空间,低维空间向量集通常难以划分,很难直接从RGB光强值中直接分离得到组织的相关生理参数信息。因此本发明基于第一核函数的逆运算,将低维RGB空间的信息映射到高维反射谱空间的降维后空间,即以血氧饱和度为主参数(标签)的Y空间集合。
最后的术中实时成像应用对应于上述的步骤S7——使用步骤S6中获得的逆映射关系,实时获取术中组织区域监控视频并转换得到血氧含量的检测图像,进而可视化显示,具体的,为减少患者个体差异的影响,在进行术中估计之前,对上述两阶段空间映射法进行预操作,将计算得到的血氧饱和度估计值与患者真实的血氧参数值(可借助抽血采样等方法精准测定)进行比较,调整步骤S6中的第一核函数逆映射的变量参数,对血氧饱和度的估计值进行修正,至相对误差小于5%,相对误差计算公式如下:
由此,在外科手术过程中,利用彩色相机对待测组织进行成像,得到待测组织的RGB彩色图像及对应的三通道光强值。应用针对患者特异性调整后的逆映射关系,由三通道光强信息得到待测组织区域的血氧饱和度的估计值等血氧代谢相关参数。
将不同的血氧饱和度的值对应于不同的颜色,即可由血氧饱和度的估计值生成伪彩图像,实现组织的血氧代谢情况的可视化,便于观察和临床应用。
本实施例模拟人体的脑灰质组织,相关参数如表1所示。根据常见组织的解剖结构,将组织模型分为两层,其中第一层为空气层,层厚设定为0.5mm,第二层为脑灰质,厚度设定为2.5mm。
表1
之后对手术部位组织中含有物质的种类及其光学参数的可变范围(1%~20%)进行设定:
模拟脑灰质组织模型中的包含物质类型及相关参数范围如表1所示。灰质中血液的体积分数设置为0.05,按照血液中血细胞比容为44%,则模拟组织中总的血红蛋白含量为116.3μM。整个组织区域随机设置0%~100%之间不同的血氧饱和度值,即对应含氧血红蛋白含量范围在0~116.3μM,脱氧血红蛋白含量范围在116.3~0μM。其他组织成分(水、脂肪)含量设定如表1所示。组织模型的吸收系数μa、散射系数μs由各个吸光物质对光的吸收、散射特性共同决定,其中血红蛋白起到主要贡献,组织中含氧血红蛋白和脱氧血红蛋白的摩尔消光系数曲线如图2所示。另外,根据文献资料,将组织的折射率n设为1.4。
利用蒙特卡洛仿真,对组织模型进行反射式光学成像模拟,获得不同血氧含量的条件下,结构参数和其他成分光学参数在可变范围内的各种组合所对应的组织全光谱信息:
利用基于MATLAB平台的模拟光子在组织中传播的蒙特卡洛方法程序,对前面建立的脑灰质组织模型进行模拟。
通过分析组织的光谱反射率变化情况和传统血氧饱和度计算方法中的照明光波长,本实施例选取的入射光子波长λ范围覆盖400~700nm的可见光波段,每隔10nm发射一组光子,即总计31组不同波长的光子。发射光子的总数量设定为5,000,000个,仿真过程的主要步骤如图3所示。
对脑灰质组织模型的光学参数进行上下1%的浮动变化,再次进行蒙特卡洛模拟。每次模拟终止后,统计各波长下入射侧光子的数量,最终得到具有一定变化范围区间的组织模型的反射光谱r(λ)。
基于照明光源的光谱分布和相机RGB通道的光谱响应特性,得到高维光谱数据到低维RGB通道的映射数据集:
本实施例中所使用的相机参数即为实际拍摄组织图像时选用的成像相机参数,该相机的光谱敏感曲线如图4,由此获得公式(1)中的S(λ)。照明光源模拟标准D65白光光源,该光源的光谱功率分布如图5,由此获得公式(1)中的E(λ)。根据公式(1)~(3),计算得到脑灰质组织模型各空间位置处经由相机拍摄获得的R、G、B三通道光强值组合{Ii}。
使用流形降维算法,以血氧饱和度为主参数(标签)实现高维光谱数据的降维,并进一步构建第一核函数,实现降维后数据集与低维RGB通道数据集的映射:
本实施例中,高维光谱数据集的维度N=31,构建流形空间中的邻接图G,由Floyd算法获得流形上的距离矩阵DG,并根据公式(4)求解低维空间Y中对应的嵌入坐标向量yi与yj。经全部高维光谱数据与RGB通道数据的对应关系,对于R通道、G通道和B通道分别构建相应的第一核函数,实现低维空间Y与R、Y与G、Y与B的映射。
基于L1优化策略,分别得到前面RGB三个通道的第一核函数的逆运算映射关系:
针对一组实际的光强值Ii(i=1,2,3),根据公式(5),确定与其差异度最小的Y值所属的光强值范围组合。再基于L1策略,根据公式(6)~(7),选取该RGB通道光强值所对应的Y值中的差异度最小的Y值,对每个空间位置(x,y),实现第一核函数的逆运算操作,即形成RGB值与降维后的Y集合的映射,得到血氧饱和度的估计值。
使用获得的逆运算映射关系,实时获取术中组织区域监控视频并转换得到血氧含量的检测图像,进而可视化显示:
术前对手术患者的脑皮层区域血氧参数的估计进行校正,微调逆运算映射中的变量参数,使估计值相对误差在5%范围内。
修正完成后,即可使用前面的图像采集设备和照明光源,对手术中真实的脑灰质组织进行成像,获得手术区域组织的RGB图像及三通道光强值。直接应用针对患者的调整后的逆映射运算关系,由三通道光强信息得到待测组织区域的血氧饱和度的估计值等血氧代谢相关参数。采用伪彩方法对组织的血氧饱和度进行可视化,显示给医生,为手术操作和判断手术效果等提供参考。
综上所述,本发明基于低维空间与高维空间的映射理论,实现了从普通的组织彩色RGB图像到多维反射光谱信息、再到组织中血氧饱和度的两阶段映射方法,保留更多图像信息,提高估算准确度;
本发明提供的方法中无需特定波长的光源进行照明,也不需要光谱仪、滤光片等复杂的设备和操作,只需要普通宽谱照明条件、数字CCD/CMOS相机进行图像采集,极大的简化了获取组织血氧参数的过程;
本发明提供的方法可特异性地应用于不同患者的多种组织,如脑皮层、皮肤等,对于不同病人不同的组织特性,只需对构建模型时的相关组织参数和映射函数中的相关参数进行修改和调整;
本发明不限定特殊的成像、照明系统和设备,可根据不同成像相机、照明光场分布,调整成像模型中的照明光源光谱功率分布函数E(λ)和成像设备的光谱敏感函数S(λ),这两个函数均可由设备生产商处查询得到,便于获取;
由于本发明对于给定的人体组织彩色图像,只需要根据给定的成像系统相关参数,即可实现对组织血氧饱和度的估计,方法实施简单,因此可应用于多种临床场景,尤其是手术中的实时观测,且可以方便地集成于任何现有的包含成像设备的医用仪器中,例如外科手术显微镜等;
本发明提供的方法中,两阶段映射关系的构建可以在术前完成,因此实际外科手术过程中仅需要根据映射关系进行变换计算,即可获得血氧参数的估计和可视化,极大地保证了运算速度和术中观测的实时性。本发明成果对医疗领域具有重要的理论价值和现实意义。
Claims (9)
1.一种基于两阶段空间映射的组织血氧成像检测方法,其特征在于,包括以下步骤:
S1、根据组织的解剖学特征和个体影像学数据,构建组织模型,并确定组织结构参数,若没有个体影像学数据,则需对组织结构参数的可变范围进行设定,其中,组织结构参数包括组织的区域大小、厚度及分层;
S2、确定组织中含有物质的种类,并对各物质种类的光学参数可变范围进行设定,其中,组织中含有物质包括:含氧血红蛋白、脱氧血红蛋白、水和脂肪,所述光学参数包括吸收系数、散射系数、折射率和各向异性参数,并对光学特性参数保留1%~20%的扰动范围;
S3、通过蒙特卡洛仿真的方式,对组织模型进行反射式光学成像模拟,得到不同血氧含量条件下,组织结构参数以及各物质种类的光学参数在可变范围内各种组合对应的组织全光谱信息,至此构建得到第一阶段从低维的血氧含量到高维的组织结构参数和各物质种类的光学参数的映射数据集;
S4、基于照明光源的光谱分布以及相机RGB通道的光谱响应特性,得到高维光谱数据到低维RGB通道的映射数据集,其中,所述RGB通道包括R通道、G通道和B通道;
S5、采用流形降维算法,以血氧饱和度作为主参数,对高维光谱数据进行降维处理,并构建第一核函数,进一步实现降维后数据集与低维RGB通道数据集的映射;
S6、基于L1范数优化算法,分别得到RGB三个通道的第一核函数的逆运算映射关系,至此完成第二阶段高维到低维的映射,以得到血氧饱和度的估计值;
S7、实时获取术中组织区域监控视频,并基于步骤S6得到的逆运算映射关系,实时转换得到血氧含量的检测图像。
2.根据权利要求1所述的一种基于两阶段空间映射的组织血氧成像检测方法,其特征在于,所述步骤S1中组织模型至少包括两层:第一层为组织边界外的空气层,第二层为组织层。
3.根据权利要求1所述的一种基于两阶段空间映射的组织血氧成像检测方法,其特征在于,所述步骤S3具体包括以下步骤:
S31、以一组包含不同波长且数目一定的光子作为入射光源,设定光子的初始权重为1,之后执行步骤S32,开始模拟光子在组织模型中传播的过程;
S32、使光子从上方垂直进入组织模型;
S33、计算光子的补偿以及下一个传输位置坐标;
S34、光子与组织模型发生吸收作用,使得光子权重衰减;
S35、光子与组织模型发生散射作用,使得光子传播方向发生改变;
S36、当光子权重衰减至0或者光子逸出组织模型,则认为光子已消亡,终止模拟过程;
S37、统计组织模型入射侧各波长下光子的数量,获得组织模型在不同光波长下的反射光谱分布,根据组织模型中光学特性参数的可变范围进行多次模拟过程,最终得到具有一定变化范围区间的组织模型的反射光谱。
4.根据权利要求3所述的一种基于两阶段空间映射的组织血氧成像检测方法,其特征在于,所述步骤S4具体是分别获取照明光源的光谱功率分布以及相机的光谱敏感曲线,以计算得到组织模型各空间位置处经相机拍摄获得的RGB三通道光强值组合,即得到高维光谱数据到低维RGB通道的映射数据集。
5.根据权利要求4所述的一种基于两阶段空间映射的组织血氧成像检测方法,其特征在于,所述步骤S5具体包括以下步骤:
S51、设定高维数据集的维度为N,则高维光谱数据集合为共T个数据,其中,为实数,在高维空间中,将每一个数据点作为流形几何中图的点,点与其邻近点之间使用边来连接,经过步骤S52~S54实现降维,获得降维后的数据集
S52、构建邻接图G:根据高维光谱数据集合M的空间映射,得到对应的输入空间,基于输入空间中流形上的邻近点对i,j之间的欧式距离dx(i,j),选取每个样本点距离最近的K个点或在样本点选定半径为常数ε的圆内所有点为该样本点的邻近点,将这些邻近点用边连接,将流形构建为一个反映邻近关系的带权流通图;
S53、计算所有点对之间的最短路径:通过计算邻接图G上任意两点之间的最短路径逼近流形上的测地距离矩阵DG={dG(i,j)},最短路径由Floyd算法获得;
S54、构建k维坐标向量:根据距离矩阵DG={dG(i,j)},使用经典MDS算法在降维后的数据集Y对应的一维空间中构造数据的嵌入坐标表示,选择一维空间的任意两个嵌入坐标向量yi与yj,使得代价函数最小化:
上式的全局最优解具体是通过将坐标向量yi设置为距离矩阵DG前一个特征值对应的特征向量来得到;
S55、根据全体T个高维光谱数据与RGB通道数据的对应关系,对于所述R通道、所述G通道和所述B通道分别构建相应的第一核函数,实现一维空间与所述R通道、一维空间与所述G通道、一维空间与所述B通道的映射。
6.根据权利要求5所述的一种基于两阶段空间映射的组织血氧成像检测方法,其特征在于,所述步骤S6具体包括以下步骤:
S61、针对一组实际的RGB光强值的组合{Ii}(i=1,2,3),基于L1范数优化算法,从降维后的数据集Y中,计算筛选得到与{Ii}差异度最小的Y值,并得到该Y值所属的光强值范围组合;
S62、再基于L1范数优化算法,选取出该RGB通道光强值所对应的Y值中差异度最小的Y值,以实现第一核函数的逆运算操作,即得到RGB值与降维后的数据集Y的映射,以此得到血氧饱和度的估计值。
8.根据权利要求7所述的一种基于两阶段空间映射的组织血氧成像检测方法,其特征在于,所述步骤S7具体包括以下步骤:
S71、通过调整逆运算映射中的变量参数,以对血氧饱和度的估计值进行修正,直至血氧饱和度的估计值的相对误差在5%范围内;
S72、利用相机对待检测组织进行成像,得到待检测组织的RGB图像及对应的三通道光强值,根据调整后的逆运算映射关系,得到待检测组织的血氧饱和度的估计值,并将不同的血氧饱和度估计值对应于不同的颜色,即可由血氧饱和度的估计值生成对应的伪彩图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011018040.0A CN112168180B (zh) | 2020-09-24 | 2020-09-24 | 一种基于两阶段空间映射的组织血氧成像检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011018040.0A CN112168180B (zh) | 2020-09-24 | 2020-09-24 | 一种基于两阶段空间映射的组织血氧成像检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112168180A CN112168180A (zh) | 2021-01-05 |
CN112168180B true CN112168180B (zh) | 2022-01-18 |
Family
ID=73957023
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011018040.0A Active CN112168180B (zh) | 2020-09-24 | 2020-09-24 | 一种基于两阶段空间映射的组织血氧成像检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112168180B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113288087B (zh) * | 2021-06-25 | 2022-08-16 | 成都泰盟软件有限公司 | 一种基于生理信号的虚实联动实验系统 |
CN114295586A (zh) * | 2021-12-29 | 2022-04-08 | 之江实验室 | 一种高精度三光谱血氧饱和度分布成像方法 |
CN115062359B (zh) * | 2022-04-24 | 2024-08-23 | 上海交通大学 | 非接触实时血氧成像用滤光片光谱响应设计方法、滤光片 |
CN114839795B (zh) * | 2022-04-24 | 2023-03-31 | 上海交通大学 | 一种具备血氧信息增强功能的眼镜滤光片设计方法、眼镜 |
CN115553764A (zh) * | 2022-08-23 | 2023-01-03 | 国科温州研究院(温州生物材料与工程研究所) | 基于人工智能的无创实时非接触式抗干扰血氧实时成像系统及成像方法 |
CN118070079B (zh) * | 2024-02-22 | 2024-08-23 | 齐鲁工业大学(山东省科学院) | 基于可穿戴设备持续监测的老人健康监控系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002096282A3 (en) * | 2001-05-31 | 2003-01-16 | Isis Innovation | Patient condition display |
CN105009173A (zh) * | 2013-03-13 | 2015-10-28 | 皇家飞利浦有限公司 | 用于确定对象的血氧饱和度的设备和方法 |
CN106264554A (zh) * | 2015-06-09 | 2017-01-04 | 中国科学院软件研究所 | 一种基于可见光的血氧饱和度检测方法及系统 |
CN107510461A (zh) * | 2017-07-07 | 2017-12-26 | 广州医软智能科技有限公司 | 组织活力、血氧变化及血氧饱和度检测方法及智能终端 |
CN109497977A (zh) * | 2019-01-07 | 2019-03-22 | 华东交通大学 | 人体心率和血氧饱和度检测方法和装置 |
CN110755090A (zh) * | 2019-11-15 | 2020-02-07 | 合肥师范学院 | 一种基于网络摄像头的人体血氧饱和度测量方法 |
CN110826431A (zh) * | 2019-10-23 | 2020-02-21 | 南京航空航天大学 | 基于蒙特卡洛的可见光静脉显像方法 |
CN111035396A (zh) * | 2019-12-27 | 2020-04-21 | 杭州传一科技有限公司 | 智能脑功能血氧饱和度监护测量模拟算法 |
WO2020184763A1 (ko) * | 2019-03-08 | 2020-09-17 | 민원기 | 지문 센서를 포함하는 디바이스의 안티-스푸핑 방법 및 시스템 |
-
2020
- 2020-09-24 CN CN202011018040.0A patent/CN112168180B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002096282A3 (en) * | 2001-05-31 | 2003-01-16 | Isis Innovation | Patient condition display |
CN105009173A (zh) * | 2013-03-13 | 2015-10-28 | 皇家飞利浦有限公司 | 用于确定对象的血氧饱和度的设备和方法 |
CN106264554A (zh) * | 2015-06-09 | 2017-01-04 | 中国科学院软件研究所 | 一种基于可见光的血氧饱和度检测方法及系统 |
CN107510461A (zh) * | 2017-07-07 | 2017-12-26 | 广州医软智能科技有限公司 | 组织活力、血氧变化及血氧饱和度检测方法及智能终端 |
CN109497977A (zh) * | 2019-01-07 | 2019-03-22 | 华东交通大学 | 人体心率和血氧饱和度检测方法和装置 |
WO2020184763A1 (ko) * | 2019-03-08 | 2020-09-17 | 민원기 | 지문 센서를 포함하는 디바이스의 안티-스푸핑 방법 및 시스템 |
CN110826431A (zh) * | 2019-10-23 | 2020-02-21 | 南京航空航天大学 | 基于蒙特卡洛的可见光静脉显像方法 |
CN110755090A (zh) * | 2019-11-15 | 2020-02-07 | 合肥师范学院 | 一种基于网络摄像头的人体血氧饱和度测量方法 |
CN111035396A (zh) * | 2019-12-27 | 2020-04-21 | 杭州传一科技有限公司 | 智能脑功能血氧饱和度监护测量模拟算法 |
Also Published As
Publication number | Publication date |
---|---|
CN112168180A (zh) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112168180B (zh) | 一种基于两阶段空间映射的组织血氧成像检测方法 | |
US11278220B2 (en) | Determining peripheral oxygen saturation (SpO2) and hemoglobin concentration using multi-spectral laser imaging (MSLI) methods and systems | |
Holmer et al. | Hyperspectral imaging in perfusion and wound diagnostics–methods and algorithms for the determination of tissue parameters | |
US9795303B2 (en) | Medical hyperspectral imaging for evaluation of tissue and tumor | |
CN107735015A (zh) | 使用彩色图像传感器的用于组织的激光散斑成像的方法和系统 | |
US10013811B2 (en) | Hyperspectral image visualization in patients with medical conditions | |
EP3243068A1 (en) | Multi-spectral laser imaging (msli) methods and systems for blood flow and perfusion imaging and quantification | |
CN112218576A (zh) | 用于采集和分析皮肤的图像的装置和方法 | |
JP6353145B2 (ja) | 組織酸素付与測定システム及び方法 | |
JP2002200050A (ja) | 肌色測定装置および肌色診断装置ならびに顔画像処理装置 | |
CN107405094A (zh) | 用于使用成像技术来可视化解剖结构以及血流和灌注生理机能的方法、系统和计算机程序产品 | |
CN106725263B (zh) | 应用于内窥镜系统的成像方法 | |
CN107411705A (zh) | 多光谱摄像和投影装置及方法 | |
Bauer et al. | A spectral filter array camera for clinical monitoring and diagnosis: Proof of concept for skin oxygenation imaging | |
US20040024296A1 (en) | System, method and computer program product for screening a spectral image | |
Tsumura et al. | Mapping pigmentation in human skin by multi-visible-spectral imaging by inverse optical scattering technique | |
JP4098542B2 (ja) | 肌色測定装置 | |
CN115062359B (zh) | 非接触实时血氧成像用滤光片光谱响应设计方法、滤光片 | |
CN116012484A (zh) | 一种基于黑色素体积含量的皮肤白斑盆地状呈现方法 | |
CN113038868A (zh) | 医疗图像处理系统 | |
JP6183030B2 (ja) | 皮膚色素濃度測定方法 | |
CN113261953B (zh) | 一种多光谱面诊测量方法 | |
Nishidate et al. | RGB camera-based simultaneous measurements of percutaneous arterial oxygen saturation, tissue oxygen saturation, pulse rate, and respiratory rate | |
KR101730414B1 (ko) | 인도시아닌그린 약물동역학을 이용한 당뇨성 혈관 질환의 특징 추출방법 | |
CN114041737B (zh) | 应用于内窥镜的成像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |