CN106580294B - 基于多模态成像技术的生理信号远程监控系统及应用 - Google Patents

Abstract

本发明提供了一种基于多模态成像技术的生理信号远程监控系统及应用，包括集成成像模块、高光谱成像模块和控制终端，所述高光谱成像模块设置于集成成像模块的上方，所述集成成像模块和高光谱成像模块分别与控制终端通信连接。本发明整合了高光谱、可见光、近红外、远红外、激光生物散斑5种成像模式，可以实现高精度的生理信号提取和分析。同时，本发明可以进行多模态设备间的协作数据获取和数据间的协同处理分析，以满足睡眠监控和病猪筛选等不同的应用需求。

Description

基于多模态成像技术的生理信号远程监控系统及应用

技术领域

本发明涉及成像及图像处理技术领域，具体地，涉及一种基于多模态成像技术的生理信号高精度远程监控系统及其应用。

背景技术

生理信号是衡量生命体实时生理情况及其运作状态的功能性指标群。生理信号指标群主要包括心率、呼吸速率、温度和血氧含量等，其值受生命体的年龄、性别、体重、运动情况和身体状态的影响特别大。因此，对生理信号的监控在医学上已经得到十分广泛的应用。此外，较新的研究表明生理信号可以作为心理状态的表观反映指标之一，故在心理学领域也得到了极大的关注。

现有的生理信号测量方法大多都是接触式的，其主要包括用于呼吸速率测量的呼吸带传感器、用于心率测量的心电图和用于血氧含量测量的血氧饱和度仪。目前已有两通道的半接触式心电图测量系统(申请号：201510845944.3)、基于电信号的生理信号采集贴片(申请号：201511024925.0)和腕带式生理信号感测装置(申请号：201410522683.7)等基于传统方法改进的专利。以上接触式的方法虽然所得的结果比较准确，但是会给待测试的对象带来不适乃至身心上的痛苦，因此不适用于长时间的测量。

为了解决接触式生理信号测量方法存在的问题，很多非接触式的方法被采纳用于远程生理信号的获取。多普勒雷达通过发射雷达信号来估测胸腔的位移从而获得呼吸信号，但这种方法对轻微运动的干扰非常敏感，同时也受到待测试对象衣着等外界因素的影响(Scalise，et al.，2011)。也有学者采用超声波的方式来测量呼吸速率，但是这种方法同样受制于前述影响因素(Min，et al.，2010)。可见光相机也在生理信号的测量中得到了不少尝试，Bal，2015在自然光照下采用普通的数码相机对人的心率和血氧含量进行了非接触测量。但是常规的相机在测量过程中受光照等因素影响较大。因此，有学者采用被动式无源的成像方式如热成像技术来对体温、呼吸速率和心率进行远程测量(Nakayama，et a1.，2015；Basu，et a1.，2016)。现有的非接触式监控的专利有基于图像流技术的血氧含量方法(申请号：201310201579.3)和基于视频拍摄技术的心率测量方法(申请号：201310172275.9)等。

以上基于单模态的非接触式生理信号测量方法存在信息获取单一、干扰因素较多和测量指标不全面等不足之处。Zhang，et al.，2016采用两个单色相机、一个RGB相机和一个热成像相机对人体的呼吸速率和心率进行了非接触测量，但是该文献的方法需要对测试对象进行补光并且未能对多模态信息进行融合分析。Gupta，etal.，2016同样用三模态的成像方式对人体的生理信号进行测量，但是他们采用的热成像相机分辨率太低，只有64个像素点，因此未能将热成像的优势较好地发挥出来。现有的专利采用光学多模态成像系统(申请号：201310689751.4；201610481809.X)主要用于解剖结构和生理学功能的检测研究，还未见有将多模态成像技术用于生理信号监控的专利和报道。

由于在特定的场景下，人们对生理信号测量设备的精度要求较高，并且对测量方法的鲁棒性要求也较高。因此，亟待开发能满足各种应用需求的基于多模态成像的高精度远程生理信号监控系统。

目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容

为了解决以上提及的问题，满足人们对非接触式远程生理信号的高精度测量需求，本发明提供了一种基于热成像、可见光成像、近红外成像、高光谱成像和激光生物散斑成像技术的基于多模态成像技术的生理信号远程监控系统。该基于多模态成像技术的生理信号远程监控系统可以实现心率、呼吸速率、体表温度和血氧含量的远程测量。此外，通过多层次的传感器信息融合，可以满足特定条件下对测量结果的高精度要求。

为实现上述目的，本发明是通过以下技术方案实现的。

根据本发明的一个方面，提供了一种基于多模态成像技术的生理信号远程监控系统，包括集成成像模块、高光谱成像模块和控制终端，所述高光谱成像模块设置于集成成像模块的上方，所述集成成像模块和高光谱成像模块分别与控制终端通信连接。

优选地，所述集成成像模块包括集成的热成像装置、可见光成像装置、近红外成像装置和激光生物散斑成像装置，所述热成像装置、可见光成像装置、近红外成像装置和激光生物散斑成像装置并排排列，相邻两个装置之间紧密设置；其中：

所述热成像装置，结合可见光成像装置和近红外成像装置进行感兴趣区域的定位和追踪，并用于提取夜晚条件下心率、体表温度、呼吸速率和血氧含量的热成像图像；

所述可见光成像装置用于提取心率和血氧含量的可见光图像以及增强热成像装置、近红外成像装置和/或激光生物散斑成像装置提取图像的分辨率；

所述近红外成像装置用于提取光照不足情况下的心率和血氧含量的近红外图像以及增强其他成像装置提取图像的分辨率；

所述激光生物散斑成像装置用于获得心率和血氧含量在多模态下的生物散斑图像序列。

优选地，所述热成像装置采用远红外相机，所述热成像装置提取的热成像图像具有光照不变性。

优选地，所述可见光成像装置采用RGB相机，所述RGB相机可在光照充足的情况下有较好的细节分辨能力，可以与其他模态的相机相辅相成使用。

优选地，所述近红外成像装置包括近红外相机和LED阵列，所述LED阵列设置于近红外相机的周围。

优选地，所述LED阵列采用850nm的红外LED阵列，该阵列的光为肉眼不可见，可以适应于无光照或弱光照的应用场景。

优选地，所述激光生物散斑成像装置包括可见光-近红外相机和多个不同波段的激光器，多个不同波段的激光器分别设置于可见光-近红外相机的周边。

优选地，多个不同波段的激光器分别为：点状绿光激光器、点状红光激光器、点状蓝光激光器以及点状红外激光器。

优选地，所述点状绿光激光器的波长为532nm，所述点状红光激光器的波长为655nm，所述点状蓝光激光器的波长为450nm，所述点状红外激光器的波长为850nm。前三个波段分别对应绿、红、蓝三原色，可以扩宽系统的使用范围；850nm波段下的激光为肉眼不可见，可以同时适用于白天和夜晚情况下的生理信号获取。

优选地，所述激光生物散斑成像装置还包括移动平台，多个不同波段的激光器分别设置于移动平台上。该移动平台可以根据待测物体的移动而使激光生物散斑成像装置相应移动，从而使该模块适用于待测物体运动的情况。

优选地，所述高光谱成像模块包括集成的高光谱成像装置；其中，

所述高光谱成像装置用于提取心率和血氧含量的高光谱图像堆。

优选地，所述控制终端包括图像接收模块、图像转换模块和分析模块，所述图像接收模块用于接收集成成像模块和高光谱成像模块获取的图像并发送至图像转换模块；所述图像转换模块用于将图像转换为生理信号数据，所述分析模块用于对生理信号数据进行多模态信号融合分析。

优选地，所述图像接收模块包括：图像内容复杂度计算单元、图像质量评价单元、生物散斑判断单元以及调配单元；所述图像内容复杂度计算单元用于接收可见光成像装置获取的可见光图像并生成图像复杂度计算信号发送至调配单元，所述图像质量评价单元用于接收热成像装置、近红外成像装置和高光谱成像装置获取的图像并生成图像质量评价信号发送至调配单元，所述生物散斑判断单元用于接收激光生物散斑成像装置获取的生物散斑图像序列并生成散斑数量判断信号发送至调配单元，所述调配单元用于根据图像内容复杂度计算单元、图像质量评价单元以及生物散斑判断单元发出的信号调整热成像装置、可见光成像装置、近红外成像装置、激光生物散斑成像装置和高光谱成像装置。

优选地，所述可见光成像装置首先获得可见光图像，再通过图像内容复杂度计算单元进行图像复杂度计算，如果得到光线不足的结论，则生成光线不足的图像复杂度计算信号发送至调配单元，调配单元控制系统自动开启近红外成像装置，获得近红外图像；

然后，远红外成像装置和高光谱成像装置开启并分别获取热成像图像和高光谱图像堆，近红外图像、热成像图像和高光谱图像堆分别通过图像质量评价单元进行图像质量评价，如果得到图像质量不合格的结论，则生成图像质量不合格的图像质量评价信号发送至调配单元，调配单元控制系统进行软硬件自校正，控制热成像装置、近红外成像装置和高光谱成像装置重新获得图像，直至图像质量满足要求；

此后，热成像图像获得后经由近红外图像的协助进行分辨率增强，再结合近红外图像进行感兴趣区域的定位和追踪，最后通过图像转换模块提取相应感兴趣区域的生理信号数据，并发送至分析模块对生理信号数据进行多模态信号融合分析；高光谱图像堆协调近红外图像进行感兴趣区域的定位和追踪，并通过图像转换模块提取相应感兴趣区域的生理信号数据，并发送至分析模块对生理信号数据进行多模态信号融合分析；

根据近红外图像和热成像图像的定位，激光生物散斑成像装置的激光器选择各自的感兴趣区域进行照射，激光生物散斑成像装置的可见光-近红外相机开启，并获取各个激光器模态下的生物散斑图像序列，生物散斑图像序列发送至生物散斑判断单元进行生物散斑判断，如果得到未包含与激光器数量相等的生物散斑的结论，则生成不合格的散斑数量判断信号发送至调配单元，调配单元控制系统进行软硬件自校正，重新获取生物散斑图像，直至满足要求；

最后，生物散斑图像序列通过图像转换模块提取生理信号数据，并发送至分析模块对生理信号数据进行多模态信号融合分析。

优选地，所述集成成像模块和/或高光谱成像模块与图像接收模块之间设有预处理模块，所述获取的图像经过预处理模块发送至图像接收模块。

优选地，所述预处理模块采用数据降维模块。

优选地，所述生理信号数据包括：心率数据、血氧含量数据、体表温度数据以及呼吸速率数据。

优选地，所述控制终端还包括：报警器，所述报警器内设置阈值，当生理信号数据的指标值低于设定阈值，启动报警器进行报警。

优选地，所述多模态信号融合分析包括特征提取步骤和模式识别或回归分析步骤；所述多模态信号融合分析通过以下任一种方式实现：

-数据层融合：在原始信号端对生理信号数据进行直接整合，然后再进行特征提取以及模式识别或回归分析；

-特征提取层融合：先在原始信号端对生理信号数据进行初步分析，再分别进行特征提取，然后对多个模态的信号特征进行融合，最后进行模式识别或回归分析；

-决策层融合：只在模式识别或回归分析步骤对生理信号数据进行融合，最终得到最优的整合决策。

根据本发明的第二个方面，提供了一种基于多模态成像技术的生理信号远程监控系统，应用于睡眠监控系统，进行睡眠时生理信号远程监控。

根据本发明的第三个方面，提供了一种基于多模态成像技术的生理信号远程监控系统，应用于病体筛查系统，进行健康状况生理信号远程判断。

与现有技术相比，本发明具有如下有益效果：

1)本发明提供的基于多模态成像技术的生理信号测量系统，为高精度的非接触式生理信号监控提供了一种解决思路，这是以往科技报道和相关文献中没有涉及的；

2)本发明采用多层次的信息融合技术，高度地整合了不同模态间和不同过程中的数据，可以较大程度地提高系统的准确度和鲁棒性，从而满足不同的应用需求；

3)本发明可以实现多个生理信号的同时测量，包括心率、呼吸速率、体表温度和血氧含量；

4)本发明提供的系统和方法可以根据实际要求进行相关调整，从而能够满足不同场景的应用需求；

5)本发明涉及图像处理、信号分析、模式识别、生物医学工程和农业工程等多学科交叉，整合了高光谱、可见光、近红外、远红外、激光生物散斑5种成像模式，可以实现高精度的生理信号提取和分析；同时，可以进行多模态设备间的协作数据获取和数据间的协同处理分析，以满足睡眠监控和病猪筛选等不同的应用需求。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明的基于多模态成像技术生理信号非接触式测量系统的布局图；

图2是本发明控制终端相机校正和图像配准流程图；

图3是本发明的多模态生理信号数据的融合层次图；

图4是本发明实施例2的应用场景示意图；

图5是本发明实施例3的应用场景示意图；

图中：1为远红外相机，2为近红外相机，3为RGB相机，4为点状绿光激光器，5为点状红光激光器，6为点状蓝光激光器，7为点状红外激光器，8为可见光-近红外相机，9为集成成像模块，10为高光谱成像装置，11为高光谱成像模块，12为控制终端，13为基于多模态成像技术的生理信号高精度远程监控，14为天花板，15为待测对象，16为床，17为警报器，18为围栏，19为待测猪，20为LED阵列。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

实施例1

本实施例提供了一种基于多模态成像技术的生理信号远程监控系统，基于多模态成像技术，包括热成像装置、可见光成像装置、近红外成像装置、激光生物散斑成像装置和高光谱成像装置。为使系统更为紧凑、小巧和便携，前四者被置于系统的集成成像模块9内，高光谱成像装置由于设备相对较大，被单独置于一个高光谱成像模块11之内。具体布局图如图1所示。

1)热成像装置：采用远红外相机1，热成像图像由远红外相机1获得，热成像装置被置于集成成像模块9中。热成像图像可以用于心率、体表温度、呼吸速率和血氧含量生理信号数据的提取，但由于其细节分辨较差，故需要结合近红外成像装置提取的近红外图像和可见光成像装置提取的可见光图像进行感兴趣区域的定位和追踪。远红外相机1可用于夜晚条件下生理信号的测量，并且采集的热成像图像具体光照不变性。

2)可见光成像装置：采用RGB相机3，可见光图像由RGB相机3获取，可见光成像装置被置于集成成像模块9中。可见光图像可以用于心率和血氧含量生理信号数据的测量。可见光图像的分辨率高，因此可用于其他模态图像的分辨率增强。

3)近红外成像装置：采用近红外相机2，近红外图像由近红外相机2获取，近红外成像装置被置于集成成像模块9中。近红外图像可用于心率和血氧含量生理信号数据的测量，其主要用于光照不足的应用情况下(如睡眠监控)，但应用时需要850nmLED阵列3的辅助。近红外图像的分辨率较高，因此可用于其他模态图像(如远红外图像)的分辨率增强。

4)激光生物散斑成像装置：激光生物散斑成像装置获取的激光生物散斑可用于心率和血氧含量生理信号数据的测量，其采集(可见光-近红外相机8)和照明(激光器)设备被置于集成成像模块9中。激光生物散斑成像装置获取的激光生物散斑可获得4个模态下的图像序列，其分别需要532nm点状绿光激光器4、655nm点状红光激光器5、450nm点状蓝光激光器6和850nm点状红外激光器7的照明。由于采用了850nm点状红外激光器7，因此数据采集设备采用可见光-近红外相机8。4个激光器分别放置于可见光一近红外相机8的四周，由于可见光-近红外相机8一次摄像需同时采集4种散斑，因此还需要位移平台的协同布置激光器的光斑照射点。

5)高光谱成像装置：高光谱成像装置10被置于高光谱成像模块11之中。高光谱成像装置获取的高光谱图像堆图像，可以用于心率和血氧含量生理信号数据的测量。

以上装置采集的数据或经相关模块预处理后的数据经过WIFI等无线传输的方式与控制终端12进行信息通信。

控制终端12的主要功能如图2和3所示。

如图2所示：

所述可见光成像装置首先获得可见光图像，再通过图像内容复杂度计算单元进行图像复杂度计算，如果得到光线不足的结论，则生成光线不足的图像复杂度计算信号发送至调配单元，调配单元控制系统自动开启近红外成像装置，获得近红外图像；

然后，远红外成像装置和高光谱成像装置开启并分别获取热成像图像和高光谱图像堆，近红外图像、热成像图像和高光谱图像堆分别通过图像质量评价单元进行图像质量评价，如果得到图像质量不合格的结论，则生成图像质量不合格的图像质量评价信号发送至调配单元，调配单元控制系统进行软硬件自校正，控制热成像装置、近红外成像装置和高光谱成像装置重新获得图像，直至图像质量满足要求；

此后，热成像图像获得后经由近红外图像的协助进行分辨率增强，再结合近红外图像进行感兴趣区域的定位和追踪，最后通过图像转换模块提取相应感兴趣区域的生理信号数据，并发送至分析模块对生理信号数据进行多模态信号融合分析；高光谱图像堆协调近红外图像进行感兴趣区域的定位和追踪，并通过图像转换模块提取相应感兴趣区域的生理信号数据，并发送至分析模块对生理信号数据进行多模态信号融合分析；

根据近红外图像和热成像图像的定位，激光生物散斑成像装置的激光器选择各自的感兴趣区域进行照射，激光生物散斑成像装置的可见光-近红外相机开启，并获取各个激光器模态下的生物散斑图像序列，生物散斑图像序列发送至生物散斑判断单元进行生物散斑判断，如果得到未包含与激光器数量相等的生物散斑的结论，则生成不合格的散斑数量判断信号发送至调配单元，调配单元控制系统进行软硬件自校正，重新获取生物散斑图像，直至满足要求；

最后，生物散斑图像序列通过图像转换模块提取生理信号数据，并发送至分析模块对生理信号数据进行多模态信号融合分析。

以图2而言，本实施例中所涉及的系统校正方法包括相机参数校正和图像配准。本实施例所涉及的图像配准的数据处理方法主要有协同图像增强、图像质量评价、图像复杂度计算、图像处理、生物散斑信号分析和光谱分析。

图3为多模态生理信号数据的融合层次简要示意图，图3中所述的5个传感器即5个成像装置。

如图3所示，本实施例所涉及的多模态信号融合分析包括特征提取步骤和模式识别或回归分析步骤；所述多模态信号融合分析通过以下任一种方式实现：

数据层融合；

特征提取层融合；

决策层融合。

三种多模态信号融合分析方法的使用需根据具体的应用案例进行适当调整和组合。

关于三种多模态信号融合分析方法的具体叙述如下：

数据层融合：指在原始信号端对生理信号数据进行直接整合，然后再进行特征提取和模式识别或回归分析。

特征提取层融合：指先在原始信号端对生理信号数据进行初步分析，再分别进行特征提取，然后对多个模态的信号特征进行融合，最后进行模式识别或回归分析。

决策层融合：指只在模式识别或回归分析步骤对生理信号数据进行融合，最终得到最优的整合决策。

在本实施例中：

热成像装置、可见光成像装置、近红外成像装置、激光生物散斑成像装置被集成到如图1所示的集成成像模块9，四个成像装置紧挨着并排排列。高光谱成像装置10被集成到高光谱成像模块11中，并置于集成成像模块9的上方。五个成像装置所获取的图像原始数据可通过无线传输方式与控制终端12进行通信，或经过相应预处理模块(如数据降维模块)再与之进行通信。

激光生物散斑成像模块包含4个不同波段的激光器，分别置于可见光-近红外相机周边。其选用的激光器个数及其波段不仅限于此处所列。以下两个简例用于具体说明。(1)在对贴壁细胞生理信号的研究中，由于待研究细胞群体会有一些荧光特征，所以我们可以选用紫外波段(255nm)的激光来实现荧光的激励，从而获得更为准确的信息；(2)在对海产品的质量与安全分析当中，我们在监测海产品生理状态的同时，还对其污染指标如重金属含量较为关注，此时，我们可以选用对重金属响应能力较强的中红外波段(3.8μm)的激光器进行研究。

多模态成像技术不局限本发明所列的5种，同时总体系统架构也不局限于附图1所示，应包含一切与之相关或相类似的变形。如根据具体的安装环境将外观调整为圆形和三角形等。

本实施例采用多模态图像或视频协同处理的方法，用于生命体生理信号的提取和分析，例如跨模态的图像增强和定位追踪识别等。

实施例2

本实施例给出了一种实施例1提供的基于多模态成像技术的生理信号远程监控系统的应用实例。

如图4所示，提供了一种睡眠监控系统，采用实施例1所提供的基于多模态成像技术的生理信号远程监控系统，进行睡眠时的生理信号远程监控。

在本实施例中，实施例1提供的基于多模态成像技术的生理信号远程监控系统13(以下简称多模态成像系统，布局图如图1所示)被固定于房间的天花板14上。该睡眠监控系统的工作过程为：

待测对象15躺在床16上处于睡眠状态。多模态成像系统(13)中的RGB相机3首先获得图像，再进行图像内容复杂度计算，得到光线不足的结论，然后多模态成像系统自动开启近红外相机2及其850nmLED阵列20，获得近红外图像并进行生理信号的提取。此后，远红外相机1和高光谱成像装置10开启并获取图像。远红外图像获得后经由近红外图像的协助进行分辨率增强，再结合近红外图像进行感兴趣区域的定位和追踪(此例为人脸)，最后提取相关感兴趣区域的生理信号。高光谱图像协调近红外图像进行感兴趣区域的定位和追踪，并提取相应区域的生理信号。以上三种模态的图像如经图像质量评价步骤不合格，则多模态成像系统进行软硬件自校正，然后重新获得图像，重复该步骤直至图像质量满足要求。根据近红外图像和远红外图像的定位，4个激光器选择各自的感兴趣区域进行照射，接着可见光-近红外相机8开启，并获取4个模态下的生物散斑图像序列并提取生理信号。如多模态成像系统判定图像中未包含4个光斑，则重新调整多模态成像系统的软硬件，重新获取生物散斑图像，以至满足要求。

所得的图像集经由图2和图3的流程进行分析，最后得出心率、呼吸速率、体表温度和血氧含量数据，同时在多模态成像系统中内置上下阈值，当所得的指标值低于设定值，则启动警报器17进行报警。

实施例3

本实施例给出了另一种实施例1提供的基于多模态成像技术的生理信号远程监控系统的应用实例。

如图5所示，本实施例提供了一种病体筛查系统，采用实施例1提供的基于多模态成像技术的生理信号远程监控系统，采集生理信号判断健康状况。

以养猪场的病猪实时筛查和状态监控为例，根据由多模态成像系统13远程获取的生理信号来判断围栏18里面的待测猪19的健康状况，从而及时防疫防控来提升经济效益和最终消费者的利益。

本实施例提供的病体筛查系统，其实际执行步骤与实施例2相似，此处不再赘述。

本技术领域中的技术人员应当认识到，以上的实施例仅是用来说明本发明的目的，而并非用作对本发明的限定，只要在本发明权利要求书的相当含义和实质范围内作任何改变，及对以上所述实施例的变化、变型都将落在本发明的权利要求的范围内。

Claims (9)

1.一种基于多模态成像技术的生理信号远程监控系统，其特征在于：包括集成成像模块、高光谱成像模块和控制终端，所述高光谱成像模块设置于集成成像模块的上方，所述集成成像模块和高光谱成像模块分别与控制终端通信连接；

所述集成成像模块包括集成的热成像装置、可见光成像装置、近红外成像装置和激光生物散斑成像装置，所述热成像装置、可见光成像装置、近红外成像装置和激光生物散斑成像装置并排排列，相邻两个装置之间紧密设置；其中：

所述热成像装置，结合可见光成像装置和近红外成像装置进行感兴趣区域的定位和追踪，并用于提取夜晚条件下心率、体表温度、呼吸速率和血氧含量的热成像图像；

所述可见光成像装置用于提取心率和血氧含量的可见光图像以及增强热成像装置、近红外成像装置和/或激光生物散斑成像装置提取图像的分辨率；

所述近红外成像装置用于提取光照不足情况下的心率和血氧含量的近红外图像以及增强其他成像装置提取图像的分辨率；

所述激光生物散斑成像装置用于获得心率和血氧含量在多模态下的生物散斑图像序列；

所述高光谱成像模块包括集成的高光谱成像装置；其中：所述高光谱成像装置用于提取心率和血氧含量的高光谱图像堆；

所述控制终端包括图像接收模块、图像转换模块和分析模块，所述图像接收模块用于接收集成成像模块和高光谱成像模块获取的图像并发送至图像转换模块；所述图像转换模块用于将图像转换为生理信号数据，所述分析模块用于对生理信号数据进行多模态信号融合分析；

所述热成像装置采用远红外相机，所述热成像装置提取的图像具有光照不变性；

所述可见光成像装置采用RGB相机；

所述近红外成像装置包括近红外相机和LED阵列，所述LED阵列设置于近红外相机的周围；

所述激光生物散斑成像装置包括可见光-近红外相机和多个不同波段的激光器，多个不同波段的激光器分别设置于可见光-近红外相机的周边；

所述图像接收模块包括：图像内容复杂度计算单元、图像质量评价单元、生物散斑判断单元以及调配单元；所述图像内容复杂度计算单元用于接收可见光成像装置获取的可见光图像并生成图像复杂度计算信号发送至调配单元，所述图像质量评价单元用于接收热成像装置、近红外成像装置和高光谱成像装置获取的图像并生成图像质量评价信号发送至调配单元，所述生物散斑判断单元用于接收激光生物散斑成像装置获取的生物散斑图像序列并生成散斑数量判断信号发送至调配单元，所述调配单元用于根据图像内容复杂度计算单元、图像质量评价单元以及生物散斑判断单元发出的信号调整热成像装置、可见光成像装置、近红外成像装置、激光生物散斑成像装置和高光谱成像装置；其中：

所述可见光成像装置首先获得可见光图像，再通过图像内容复杂度计算单元进行图像复杂度计算，如果得到光线不足的结论，则生成光线不足的图像复杂度计算信号发送至调配单元，调配单元控制系统自动开启近红外成像装置，获得近红外图像；

然后，远红外成像装置和高光谱成像装置开启并分别获取热成像图像和高光谱图像堆，近红外图像、热成像图像和高光谱图像堆分别通过图像质量评价单元进行图像质量评价，如果得到图像质量不合格的结论，则生成图像质量不合格的图像质量评价信号发送至调配单元，调配单元控制系统进行软硬件自校正，控制热成像装置、近红外成像装置和高光谱成像装置重新获得图像，直至图像质量满足要求；

此后，热成像图像获得后经由近红外图像的协助进行分辨率增强，再结合近红外图像进行感兴趣区域的定位和追踪，最后通过图像转换模块提取相应感兴趣区域的生理信号数据，并发送至分析模块对生理信号数据进行多模态信号融合分析；高光谱图像堆协调近红外图像进行感兴趣区域的定位和追踪，并通过图像转换模块提取相应感兴趣区域的生理信号数据，并发送至分析模块对生理信号数据进行多模态信号融合分析；

根据近红外图像和热成像图像的定位，激光生物散斑成像装置的激光器选择各自的感兴趣区域进行照射，激光生物散斑成像装置的可见光-近红外相机开启，并获取各个激光器模态下的生物散斑图像序列，生物散斑图像序列发送至生物散斑判断单元进行生物散斑判断，如果得到未包含与激光器数量相等的生物散斑的结论，则生成不合格的散斑数量判断信号发送至调配单元，调配单元控制系统进行软硬件自校正，重新获取生物散斑图像，直至满足要求；

最后，生物散斑图像序列通过图像转换模块提取生理信号数据，并发送至分析模块对生理信号数据进行多模态信号融合分析；

所述多模态信号融合分析通过以下任一种方式实现：

- 数据层融合：在原始信号端对生理信号数据进行直接整合，然后再进行特征提取，最后进行模式识别或回归分析；

- 特征提取层融合：先在原始信号端对生理信号数据进行初步分析，再分别进行特征提取，然后对多个模态的信号特征进行融合，最后进行模式识别或回归分析；

- 决策层融合：只在模式识别或回归分析步骤对生理信号数据进行融合，最终得到最优的整合决策。

2.根据权利要求1所述的基于多模态成像技术的生理信号远程监控系统，其特征在于：所述LED阵列采用850nm的红外LED阵列。

3.根据权利要求1所述的基于多模态成像技术的生理信号远程监控系统，其特征在于：多个不同波段的激光器分别为：点状绿光激光器、点状红光激光器、点状蓝光激光器以及点状红外激光器；其中：

所述点状绿光激光器的波长为532nm，所述点状红光激光器的波长为655nm，所述点状蓝光激光器的波长为450nm，所述点状红外激光器的波长为850nm。

4.根据权利要求1所述的基于多模态成像技术的生理信号远程监控系统，其特征在于：所述激光生物散斑成像装置还包括移动平台，多个不同波段的激光器分别设置于移动平台上。

5.根据权利要求1-4任一项所述的基于多模态成像技术的生理信号远程监控系统，其特征在于：所述集成成像模块、高光谱成像模块中的一个或两个与图像接收模块之间设有预处理模块，所述获取的图像经过预处理模块发送至图像接收模块。

6.根据权利要求5所述的基于多模态成像技术的生理信号远程监控系统，其特征在于：所述预处理模块采用数据降维模块。

7.根据权利要求1-4任一项所述的基于多模态成像技术的生理信号远程监控系统，其特征在于：所述控制终端还包括：报警器，所述报警器内设置阈值，当生理信号数据的指标值低于设定阈值，启动报警器进行报警。

8.根据权利要求1至4中任一项所述的基于多模态成像技术的生理信号远程监控系统，其特征在于：该系统应用于病体筛查系统，进行健康状况生理信号远程判断。

9.一种权利要求1至7中任一项所述的基于多模态成像技术的生理信号远程监控系统的应用，其特征在于：应用于睡眠监控系统，进行睡眠时生理信号远程监控。

Images