CN113143297B - 一种病灶检测系统和方法 - Google Patents

Abstract

本申请适用于检测技术领域，提供了一种病灶检测系统和方法，病灶检测方法包括：获取对象的肌电信息和肌氧信息；根据所述肌电信息和所述肌氧信息判断所述对象是否存在病灶。本申请实施例根据多源信息判别对象是否存在病灶，提高了检测结果的精度。

Description

一种病灶检测系统和方法

技术领域

本申请属于检测技术领域，尤其涉及一种病灶检测系统和方法。

背景技术

吞咽是一种神经肌肉反射性协同运动，需要口腔、咽、喉和食管等器官协同配合。吞咽是一项极其复杂的生理反射过程，分为口腔期、咽期和食管期三个阶段，涉及面部、颈部大量肌肉的协同配合，来将食物从口腔处递送到胃中。吞咽使食团从口腔进入胃，是人类维持生命所需营养和能量的主要途径，是一种影响人类身心健康的复杂功能，是最复杂的躯体反射之一。

吞咽障碍指由多种原因引起的、发生于不同部位的吞咽时咽下困难。吞咽障碍的病因有很多，任何疾病或病理状态，凡可暂时地或持久地导致吞咽通道(口腔、咽部、食管)的阻塞和狭窄、肌肉收缩力减弱或不协调、腺体分泌减少等情况时均可出现吞咽障碍。相关数据表明，吞咽障碍是多种疾病的并发症之一，包括脑卒中、鼻咽癌等。吞咽障碍在任何年龄段人群中都有可能发生，在老年人中较为常见，不仅影响进食和生活质量，更可能引发吸入性肺炎、脱水和营养不良等并发症，甚至危及生命。

因此，对吞咽障碍患者吞咽功能及时准确的诊断、病灶区域精准的定位，对于把握吞咽障碍治疗时间、实现最优干预能效尤为重要，具有重要的临床价值和社会意义。

发明内容

本申请实施例提供了一种病灶检测系统和方法，可以解决病灶检测准确度不高的技术问题。

第一方面，本申请实施例提供了一种病灶检测系统，包括：第一电子设备，所述第一电子设备用于获取对象的肌电信息和肌氧信息，所述第一电子设备还用于根据所述肌电信息和所述肌氧信息判断所述对象是否存在病灶。

本申请实施例获取与对象相关的肌电信息和肌氧信息，并根据所述肌电信息和肌氧信息判断该对象是否存在病灶。本申请实施例结合多源信息对待检对象是否存在病灶进行可行并有效地判断，获得了精准的判别结果，为后续治疗提供了精确参考，在临床上有着重要意义。

在第一方面的一种可能的实现方式中，所述第一电子设备还用于根据所述对象的生理解剖图、所述肌电信息和所述肌氧信息判断所述对象是否存在病灶。

在第一方面的一种可能的实现方式中，所述第一电子设备具体用于：根据所述肌电信息生成所述对象的肌电地形图；根据所述肌氧信息生成所述对象的肌氧地形图；将所述对象的生理解剖图、所述肌电地形图和所述肌氧地形图进行融合，获得生理关联图；利用预设的神经网络模型判断所述生理关联图是否异常。

在第一方面的一种可能的实现方式中，所述将所述对象的生理解剖图、所述肌电地形图和所述肌氧地形图进行融合，获得生理关联图，包括：

将所述对象的生理解剖图与所述肌电地形图进行配准，或，将所述对象的生理解剖图与所述肌氧地形图进行配准，得到配准后的生理解剖图；

将所述配准后的生理解剖图、所述肌电地形图和所述肌氧地形图中对应各像素位置的像素点值进行加权平均计算，获得生理关联图各像素位置的像素点值。

在第一方面的一种可能的实现方式中，所述第一电子设备还用于若确定所述对象存在病灶，则定位所述对象的病灶区域。

在第一方面的一种可能的实现方式中，所述第一电子设备具体用于利用预设的图像分割模型定位所述对象的病灶区域。

在第一方面的一种可能的实现方式中，所述肌电信息包括多通道肌电信息，所述肌氧信息包括多通道肌氧信息，所述生理关联图包括动态生理关联图。

在第一方面的一种可能的实现方式中，还包括第二电子设备，所述第二电子设备包括肌电电极片，近红外探头和柔性透明基底，多个所述肌电电极片和多个所述近红外探头分别阵列排布在所述柔性透明基底的两侧。

第二方面，本申请实施例提供了一种病灶检测装置，包括：

获取模块，用于获取对象的肌电信息和肌氧信息；

检测模块，用于根据所述肌电信息和所述肌氧信息判断所述对象是否存在病灶。

在第二方面的一种可能的实现方式中，所述检测模块包括：

信号预处理模块，用于对肌电信息和肌氧信息进行预处理。

生理关联图处理模块，用于根据预处理后的肌电信息生成肌电地形图，根据预处理后的肌氧信息生成肌氧地形图；将肌电地形图、肌氧地形图和生理解剖图进行融合，生成生理关联图。

病灶判别模块，用于利用预设的神经网络模型分析生理关联图，判断所述生理关联图是否异常。

在第二方面的一种可能的实现方式中，所述检测模块还包括病灶定位模块。

病灶定位模块，用于若确定所述对象存在病灶，则定位所述对象的病灶区域。

在第二方面的一种可能的实现方式中，该病灶检测装置还包括：显示执行模块。

显示执行模块，用于显示病灶检测结果、生理关联图、病灶区域定位结果等中的一个或多个。

第三方面，本申请实施例提供了一种终端设备，包括：包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：

获取对象的肌电信息和肌氧信息；

根据所述肌电信息和所述肌氧信息判断所述对象是否存在病灶。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取对象的肌电信息和肌氧信息；

根据所述肌电信息和所述肌氧信息判断所述对象是否存在病灶。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行如下步骤：

获取对象的肌电信息和肌氧信息；

根据所述肌电信息和所述肌氧信息判断所述对象是否存在病灶。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的病灶检测系统的结构示意图；

图2是本申请另一实施例提供的病灶检测系统的结构示意图；

图3是本申请一实施例提供的柔性透明高密度电极片的结构示意图；

图4是本申请一实施例提供的近红外探头与柔性透明高密度电极片的结构示意图；

图5是本申请一实施例提供的上位机的结构示意图

图6是本申请一实施例提供的病灶检测方法的流程示意图；

图7是本申请一实施例提供的训练神经网络模型的过程示意图；

图8是本申请一实施例提供的步骤S620的具体实现流程示意图；

图9是本申请一实施例提供的步骤S623的具体实现过程示意图；

图10是本申请另一实施例提供的病灶检测方法的流程示意图；

图11是本申请一实施例提供的病灶检测装置的结构示意图；

图12是本申请另一实施例提供的病灶检测装置的结构示意图；

图13是本申请另一实施例提供的病灶检测装置的结构示意图；

图14是本申请另一实施例提供的病灶检测装置的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“若”可以依据上下文被解释为“如果”或“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“若确定”可以依据上下文被解释为意指“如果检测到[所描述条件或事件]”或“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

请参阅图1，图1是本申请实施例提供的一种病灶检测系统的结构示意图。该病灶检测系统包括：下位机101和上位机102。下位机101与上位机102通过有线和/或无线网络进行通信。

其中，下位机101用于采集对象的肌电信息和肌氧信息。下位机101将采集到的肌电信息和肌氧信息发送给上位机102。上位机102用于根据获取到的肌电信息和肌氧信息判断对象是否存在病灶。

本实施例中上位机102获取下位机101发送的肌电信息和肌氧信息，基于对象的肌电信息和肌氧信息判别该对象是否存在病灶。本申请实施例基于多源信息提供了一种可行且有效地判断是否存在病灶的方案，提高了判别结果的准确性。

在其他一些实施例中，进一步地，上位机102还用于若确定对象存在病灶，则定位对象的病灶区域。

这些实施例在检测对象存在病灶之后，精确定位了受损区域，例如肌肉或肌肉群，为后续患者的治疗提供精确参考。

需要说明的是，在一些实施例中，上位机102可以包括手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备，本申请实施例对上位机102的具体类型不作任何限制。

还需要说明的是，在一些实施例中，对象可以是受试对象或待检对象等。对象可以是人体，也可以是动物。对象还可以是人体或动物的某个或多个部位、组织、或器官等。例如，对象可以是与吞咽过程相关的面部和颈部肌群；又如，对象可以是与吞咽过程相关的面部、颈部和腹部肌群；再如，对象可以是与消化过程相关的肠胃器官等。

为了更好地描述本申请的实施例，在后续的示例中以人体中与吞咽过程相关的面部和颈部肌群作为对象的示例进行描述。应理解，示例性描述不能解释为对本申请实施例的具体限制。

在一个实施例中，作为病灶检测系统的一示例性描述，如图2所示，下位机101包括肌电信号采集模块1011和近红外光谱采集模块1012；上位机102包括病灶检测装置，病灶检测装置包括信号预处理模块1021，生理关联图处理模块1022，病灶判别模块1023和显示执行模块1024。

本申请还提供了上位机102的另一种优选的实施例，在本实施例中，上位机102还包括处理器，该处理器用于执行存在存储器的以下程序模块：信号预处理模块1021，生理关联图处理模块1022，病灶判别模块1023和显示执行模块1024。

肌电信号采集模块1011采集对象的肌电信息，近红外光谱采集模块1012采集对象的肌氧信息。

在本申请一非限制性示例中，肌电信号采集模块1011包括高密度表面肌电数据采集装置。高密度表面肌电数据采集装置采集受试者吞咽过程中面部和颈部吞咽肌群的肌电信息。例如，可以采用表面肌电图法(surface electromyography,sEMG)采集机电信息。sEMG是从肌肉表面通过电极引导、记录下来的神经肌肉系统活动时的生物电信号，它与肌肉的活动状态和功能状态之间存在着不同程度的关联性，在一定程度上能反映神经肌肉的活动。sEMG具有无创、操作简单、易于接受等特点。吞咽过程中相关肌肉会相应地收缩、舒张，产生生理电信号，利用sEMG方法能够捕捉到吞咽时肌肉的活动情况，记录肌肉的能量动态变化。表面肌电信号是一种更加准确、实时、有效的吞咽障碍机理探索、检测和康复的新手段。

高密度表面肌电数据采集装置包括柔性透明高密度电极片和无线采集电路。

作为一非限制性示例，如图3所示，柔性透明高密度电极片包括电极301和柔性透明基座302。电极个数可根据实际需要进行设置，可增减，最多可达120通道。所有电极可以为相同大小的圆形或方形镀金，等间距附着在柔性透明基底上，形成可弯曲、与皮肤紧密贴合的阵列电极片，阵列电极片可以方便、舒适地获取面部和颈部的皮肤表面的多通道、高密度肌电信息。

作为一非限制性示例，无线采集电路包括集成无线局域网(wireless localareanetworks，WLAN)(如Wi-Fi网络)功能的微控制器(MCU)、右腿驱动电路、模数转换电路、独立同步时钟、前置信号滤波放大电路、电源等。阵列电极片将采集的多通道肌电信息传输至右腿驱动电路，通过右腿驱动电路减少共模干扰，然后通过前置信号滤波放大电路进行信号滤波，滤除工频等噪声干扰，且进行信号放大后再传输给模数转换电路，并利用独立同步时钟控制实现多路肌电同步实时采集，最后将肌电信号传输到微控制器并通过Wi-Fi网络发送给上位机。电源可以采用低噪声电源。根据实际情况，电源可以为微控制器或独立同步时钟等供电。

在其他非限制性示例中，集成Wi-Fi功能的微控制器可以用处理器和通信模块替代。处理器可以包括中央处理器、应用处理器(application processor，AP)、基带处理器等处理器中的一种或多种。处理器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。处理器通过运行存储在存储器的指令，从而执行各种功能应用以及数据处理。通信模块可以提供包括WLAN(如Wi-Fi网络)，蓝牙，Zigbee，移动通信网络，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等通信的解决方案。通信模块可以是集成至少一个通信处理模块的一个或多个器件。

需要说明的是，高密度表面肌电数据采集装置可以包括更多或更少的部件，或者组合某些部件，或者不同的部件。例如存储器，存储器可以用于存储计算机可执行程序代码，可执行程序代码包括指令。存储器可以包括存储程序区和存储数据区。存储器可以是双倍速率同步动态随机存储器或闪存等。

应理解，根据实际情况，电源可以为处理器、存储器、通信模块等供电。

在本申请一非限制性示例中，近红外光谱采集模块1012包括近红外光谱仪。使用近红外光谱仪同步获取吞咽过程面部和颈部相同位置的光吸收量变化。血氧饱和度是生物组织状况的重要参数，是血液浓度微循环的重要表现。近红外光谱技术(near infraredspectrum instrument，NIRS)可无损检测局部组织的血氧水平波动，可反映被测组织的代谢活动，可用于吞咽功能评估。近红外光谱仪包括近红外探头。近红外探头等间距置于柔性透明高密度电极片的外侧。作为一非限制性示例，如图4所示，柔性透明高密度电极片的一面贴在面部和颈部皮肤表面，高密度近红外探头覆盖在柔性透明高密度电极片的另一面，近红外探头与电极一一对应设置，从而可以采集面部和颈部相同位置的肌电信息和肌氧信息。近红外探头的个数可根据实际需要而增减，近红外探头所部署的位置检测到的吸收的光量与血液中的氧含量有关，能较为完整地获取面部和颈部肌氧动态变化信息。作为一非限制性示例，近红外光谱仪还包括数据输入输出接口，肌氧信息可以通过数据线(例如USB数据线)传输到上位机。

信号预处理模块1021，用于对肌电信息和肌氧信息进行预处理。

生理关联图处理模块1022，用于根据预处理后的肌电信息生成肌电地形图，根据预处理后的肌氧信息生成肌氧地形图；将肌电地形图、肌氧地形图和生理解剖图进行融合，生成生理关联图。

病灶判别模块1023，用于利用预设的神经网络模型判断所述生理关联图是否异常。

显示执行模块1024，用于显示所述生理关联图。

在本申请一些实施例中，如图5所示，上位机5可包括：至少一个处理器50(图5中仅示出一个)、存储器51以及存储在所述存储器51中并可在所述至少一个处理器50上运行的计算机程序52，所述处理器50执行所述计算机程序52时实现下述各个病灶检测方法实施例中的步骤。所述处理器50用于执行存在存储器的以下程序模块：信号预处理模块1021，生理关联图处理模块1022，病灶判别模块1023和显示执行模块1024。

本领域技术人员可以理解，图5仅仅是上位机的举例，并不构成对上位机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。例如，输入输出设备包括显示屏或显示器等。

所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，该处理器50还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器51在一些实施例中可以是所述上位机的内部存储单元，例如上位机的硬盘或内存。所述存储器51在另一些实施例中也可以是所述上位机的外部存储设备，例如上位机上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述上位机的内部存储单元也包括外部存储设备。所述存储器51用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

通信模块和数据输入输出接口，通过通信模块接收下位机101发送的肌电信号，通过数据输入输出接口接收下位机101发送的肌氧信息。通信模块可以提供包括WLAN(如Wi-Fi网络)，蓝牙，Zigbee，移动通信网络，GNSS，FM，NFC，IR等通信的解决方案。通信模块可以是集成至少一个通信处理模块的一个或多个器件。数据输入输出接口包括但不限于USB接口，例如，肌氧信息可以通过USB数据线从下位机传输到上位机。

图6示出了本申请一实施例提供的病灶检测方法的示意性流程图，该病灶检测方法可以应用于终端设备中，适用于对对象进行病灶检测的情形。该病灶检测方法可以由病灶检测装置执行，通常情形下，病灶检测装置配置于终端设备中。作为示例而非限定，病灶检测方法可以应用于上述图1或图2所示的上位机102中。如图6所示，病灶检测方法包括步骤S610和S620。为了方便描述病灶检测方法这一实施例，在本实施例的示例性描述中，以吞咽障碍为病灶的示例进行举例说明。相关技术中利用的信号来源单一，例如仅集中于肌电信号的分析，提取的肌肉活动特征不够全面。本示例性描述使用多源信息，具体地，将同步采集的肌电信号和肌氧信号一同分析，从肌肉活动和血氧代谢两个角度展示吞咽过程，更全面地获取吞咽特征，实现更为精准的正常和异常分类。

S610，获取对象的肌电信息和肌氧信息。

具体地，终端设备获取对象目标区域肌群的肌电信息和肌氧信息。

需要说明的是，根据所要判别的病灶，获取对象的目标区域肌群的肌电信息和肌氧信息。

作为一非限制性示例，需要判别对象(如患者)是否存在吞咽障碍时，例如，目标区域包括面部和颈部，终端设备获取患者面部和颈部肌群的肌电信息和肌氧信息。又如，目标区域包括面部，颈部和腹部，终端设备获取患者面部、颈部和腹部肌群的肌电信息和肌氧信息。

作为另一非限制示例，需要判别患者是否存在呼吸障碍时，例如，目标区域包括面部、颈部和胸部，终端设备获取患者面部、颈部和胸部肌群的肌电信息和肌氧信息。

在本实施例的一些实现方式中，终端设备包括通信模块和/或输入输出设备，可以通过通信模块和/或输入输出设备从外部设备，获取对象的肌电信息和肌氧信息。例如，基于图2所示示例的实现方式中，终端设备(如上位机)接收到外部设备(如下位机)通过Wi-Fi传输过来的多通道肌电信号，上位机通过USB数据线接收下位机传输过来的多通道肌氧信号。

需要说明的是，在一些实现方式中，上位机可以主动获取下位机采集的对象的肌电信息和肌氧信息。在其他一些实现方式中，下位机也可以主动发送自身采集的对象的肌电信息和肌氧信息给上位机。

在本实施例的其他一些实现方式中，终端设备包括处理器，终端设备可以从与其处理器耦合的存储器(例如外部存储设备或内部存储单元)中获取对象的肌电信息和肌氧信息。对象的肌电信息和肌氧信息事先存储于存储器中，待需要判别对象的病灶时，终端设备从存储器调用事先存储的肌电信息和肌氧信息。

在本实施例的一些实现方式中，肌电信息可以包括多通道肌电信息，肌氧信息可以包括多通道肌氧信息。具体地，肌氧信息与肌电信息的采集位置相同，例如，可以继续参见图4所示示例。

S620，根据肌电信息和肌氧信息判断所述对象是否存在病灶。

具体地，结合肌电信息和肌氧信息，判断对象是否存在病灶。根据多源信息(包括肌电信息和肌氧信息)判别对象是否存在病灶，获取了更为全面的特征，从而可以获得更为精准的判别结果。

在本实施例一些实现方式中，外部设备采集对象的多通道肌电信息和多通道肌氧信息。终端设备根据多通道肌电信息生成肌电地形图，根据多通道肌氧信息生成肌氧地形图。终端设备结合对象的肌氧地形图和肌电地形图判断对象是否存在病灶。

作为一非限制性示例，终端设备根据多通道肌电信息生成对象的肌电地形图，根据多通道肌氧信息生成对象的肌氧地形图，将对象的肌电地形图和肌氧地形图进行融合，获得生理关联图；利用预设的神经网络模型判断生理关联图是否异常。

在本实施例一些实现方式中，终端设备根据多通道肌电信息生成对象的肌电地形图，根据多通道肌氧信息生成对象的肌氧地形图。终端设备还获取对象的生理解剖图，结合对象的肌电地形图肌、氧地形图和生理解剖图判断对象是否存在病灶。

需要说明的是，对象的生理解剖图可以事先存储在终端设备的存储器中，也可以从外部设备获取。作为一非限制性示例，在终端设备获取面部和颈部的肌氧信息和肌电信息的情形下，终端设备可以获取面部和颈部的肌肉生理解剖图。

在本实施例一些实现方式中，结合对象的肌电地形图、肌氧地形图和生理解剖图判断对象是否存在病灶，可以包括：将对象的生理解剖图、肌电地形图和肌氧地形图进行融合，获得生理关联图；利用预设的神经网络模型判断生理关联图是否异常。

预设的神经网络模型是经训练的神经网络模型。神经网络模型可以包括二分类神经网络模型，二分类结果包括图像正常或图像异常。图像正常反映对象不存在病灶，异常则反映对象存在病灶。例如，在检测是否患吞咽障碍的情形下，对患者面部和颈部肌群的生理解剖图、肌电地形图和肌氧地形图进行融合，获得生理关联图，再将生理关联图输入经训练的神经网络模型得到分类结果，若分类结果为图像异常，则说明患吞咽障碍，若分类结果为图像正常，则说明未患吞咽障碍。这些实现方式同步采集肌电信号和肌氧信号一同分析，从肌肉活动和血氧代谢两个角度展示吞咽过程，更全面地获取吞咽特征。此外，由于肌电信息和肌氧信息都是多通道、多帧的，可以直接利用图像定位算法，将图像输入神经网络模型中，实现吞咽功能判别。

需要说明的是，在一些实施例中，神经网络模型可以包括多分类神经网络模型，在这些实施例中，神经网络模型可以对生理关联图进行更细的分类。例如，对图像异常作进一步细分。本申请对神经网络模型的分类数量不作具体限制。

还需要说明的是，在利用预设的神经网络模型之前，还需要获取经训练的神经网络模型。如图7所示，获取经训练的神经网络模型的过程包括：获取多个患者(例如吞咽障碍患者)的第一类生理关联图，获取多个健康者(例如吞咽健康者)的第二类生理关联图，将两类生理关联图分成训练集和测试集，利用训练集训练神经网络模型，然后用测试集图像对神经网络模型进行测试，直至经训练的神经网络满足预设条件为止，得到经训练的神经网络模型。这样，经训练的神经网络模型可以实现生理关联图的正常和异常分类，也就是说，经训练的神经网络模型可以用于识别生理关联图是否异常。应理解，获取第一类生理关联图和第二类生理关联图，即获取训练样本的过程，与对对象进行病灶检测时生成的生理关联图过程类似。

作为一非限制性示例，可以通过图1或图2所示示例的下位机采集多个患者(例如吞咽障碍患者)的面颈部的肌电信息和肌氧信息，采集多个健康者(例如吞咽健康者)面颈部的肌电信息和肌氧信息。然后，上位机结合每个吞咽障碍患者面颈部的肌电信息、肌氧信息和生理解剖图，生成第一类生理关联图；上位机结合每个吞咽健康者面颈部的肌电信息、肌氧信息和生理解剖图，生成第二类生理关联图。上位机将两类生理关联图分成训练集和测试集，对神经网络模型进行训练，得到经训练的神经网络模型。

作为一非限制性示例，神经网络模型可以包括卷积神经网络(convolutionalneural networks，CNN)模型、全连接神经网络模型等。

在本实施例的一些实现方式中，如图8所示，步骤S620包括步骤S621至S624。

S621，对肌电信息和肌氧信息进行预处理。

在一些实现方式中，上位机通过预处理模块对多通道肌电信号和多通道肌氧信号进行预处理。预处理包括但不限于滤除干扰信号、得到中间结果等。

作为一非限制性示例，一方面，预处理模块包括高通滤波器、低通滤波器或带阻滤波器等。需要说明的是，视实际噪声类型可以选用合适的滤波器，如滤除低频噪声用高通滤波器，滤除高频噪声用低通滤波器，滤除工频噪声用带阻滤波器。本示例通过高通、低通或带阻滤波器等初步滤除工频干扰、基线漂移、心电、伪迹等干扰信号，提高肌电信号的质量和可靠性。另一方面，上位机通过预处理模块计算肌氧信息中吸收的第一红光光谱(660纳米)和第二红外光谱(940纳米)，并将计算得到的光谱结果与存在存储器里的饱和度数值表里的数值进行比较，从而得出对象的血氧饱和度信息。

S622，根据预处理后的肌电信息生成肌电地形图，根据预处理后的肌氧信息生成肌氧地形图。

在一些实现方式中，对预处理后的多通道肌电信号进行分析，生成肌电地形图。作为一非限制性示例，对预处理后的多通道肌电信号提取时域特征(例如均方根等)，并加窗处理得到能够反应肌电能量强度的特征值，对特征值归一化后变成0至1之间的数值，从而生成肌电地形图。在肌电地形图中，可以用不同颜色表示不同数值，例如，红色表示1，蓝色表示0，越接近1越红，越接近0越蓝。利用通道位置的空间排列实现空间可视化，此外，利用时间变化时的特征值实现时间可视化。在本实现方式中，可以将反应肌电能量强度的数值与色彩相对应，形成面颈部三维能量分布图，实现时间和空间特征可视化。

在一些实现方式中，对预处理后的肌氧信号，即血氧饱和度信息进行标准化，生成肌氧地形图。在肌氧地形图中，可以将血氧饱和度标准化数值与颜色对应，利用近红外探头位置的空间排列实现血氧饱和度空间可视化，利用时间变化实现时间可视化。

S623，将肌电地形图、肌氧地形图和生理解剖图进行融合，生成生理关联图。

在一些实施例中，终端设备可以从存储器或其他设备获取与吞咽功能相关的肌肉生理解剖图。图9所示为步骤S623的实现过程示意图，参见图9所示，将肌电地形图或肌氧地形图，与生理解剖图进行图像配准，得到配准后的生理解剖图。

作为一非限制性示例，可以基于双线性近似算法进行图像配准，双线性近似算法公式如下：

x＝c₁v+c₂w+c₃vw+c₄ (1)

y＝c₅v+c₆w+c₇vw+c₈ (2)

其中，(v,w)和(x,y)分别是生理解剖图和肌电地形图或肌氧地形图中约束点的坐标，c₁至c₈是8个未知参数。由于肌电通道和肌氧通道在相同位置，所以肌电地形图和肌氧地形图无需进行配准，且这里只需选用其中一种地形图(肌电地形图或肌氧地形图)与生理解剖图进行配准。以生理解剖图作为输入图像，肌电地形图或肌氧地形图作为参考图像，进行图像配准。如果在两幅图像输入图像和参考图像中有4对相应的约束点，则可以解出8个未知参数，即得到输入图像到参考图像的映射关系。这样构成简单模型，从而可以把生理解剖图的像素变换为肌电地形图或肌氧地形图的像素位置。

作为其他非限制性示例，还可以采用基于模板的配准方法、多角度图像配准方法、时间序列图像配准方法将一幅图像的像素变换为另一幅图像的像素位置。也就是说，可以采用基于模板的配准方法、多角度图像配准方法、时间序列图像配准方法将生理解剖图的像素变换为肌电地形图或肌氧地形图的像素位置。本申请对图像配准方法不做限制。

继续参见图9所示，经过图像配准后，将三者，即肌电地形图、肌氧地形图和配准后的生理解剖图，对应各像素位置的像素点值通过加权平均方法计算出各像素位置的新的像素值，得到生理关联图。这样各像素位置的像素点值都进行融合后形成一幅新的融合图像，三者实现了像素级融合。由于肌电信号和肌氧信号在时间上的连续性和空间上的分布性，可建立动态生理关联图。

作为一非限制性示例，下位机可以在不同采样时刻采样一系列(即多帧)多通道肌氧信号和多通道肌电信号，然后上位机可以生成时间连续的多帧肌氧地形图和多帧肌电地形图，再结合生理解剖图，可以得到多帧生理关联图，即动态生理关联图。需要说明的是，通过这种方式，还可以获取大量的训练样本用于训练神经网络模型。

在一些实现方式中，利用下位机(包括高密度表面肌电采集装置)采集对象面部和颈部吞咽肌群的肌电信息，并使用近红外光谱仪同步获取相同位置的血液动力学变化信息，结合吞咽过程中面、颈部肌肉的生理解剖图，建立动态生理关联图。进一步地，可以通过生理关联图中颜色深浅和范围比例的变化情况来实时地反应吞咽过程中肌肉活动的变化情况，建立可视化动态生理关联图。

S624，利用预设的神经网络模型判断所述生理关联图是否异常。

具体地，将生理关联图输入经训练的神经网络模型，得到生理关联图正常或异常的分类结果。若正常，则说明对象未存在病灶；若异常，则说明对象存在病灶。

如图10所示，本申请另一实施例提供了一种病灶检测方法，在图6所示实施例的基础上做了进一步限定。如图10所示，该病灶检测方法包括步骤S610至S630。图10所示实施例与图6所示实施例的相同步骤此处不再赘述，请参见前述。

S610，获取对象的肌电信息和肌氧信息。

S620，根据肌电信息和肌氧信息判断所述对象是否存在病灶。

S630，若确定对象存在病灶，则定位所述对象的病灶区域。

本实施例在步骤S620确定对象存在病灶后，增加了定位病灶区域的步骤。

在一些实现方式中，可以对分类结果为异常的生理关联图使用图像分割技术定位出病灶区域。

作为一非限制性示例，可以使用预设的图像分割模型对分类结果为异常的生理关联图进行图像分割，在异常的生理关联图中定位出患者的病灶区域，为后续吞咽障碍治疗提供精确参考。例如，将分类结果为异常的生理关联图输入预设的U-Net++模型或预设的全连接网络(fully connected network，FCN)模型，输出定位了病灶区域的生理关联图。

需要说明的是，预设的U-Net++模型或FCN模型为经训练的U-Net++模型或FCN模型。U-Net++模型或FCN模型的训练数据包括标注了病灶区域的生理关联图。U-Net++模型或FCN模型的训练过程可以采用与训练CNN模型相类似的过程，不同之处在于所采用的训练样本不同，此处不再赘述。

还需要说明的是，若确定对象不存在病灶，则不需要执行定位所述对象的病灶区域的步骤。

现有治疗吞咽障碍的技术有冰刺激、电刺激以及康复训练等，取得了一定的效果，但这些技术是盲目的针对一片区域进行刺激的，不能做到对受损肌肉进行针对性治疗。而吞咽障碍并不是与吞咽相关的所有肌肉全部都不能正常收缩的结果，大部分情况是单个或部分肌肉得不到有效的神经控制、不能正常收缩的结果，因此盲目的针对一片肌肉采用电刺激等康复手段效果并不理想。针对相关技术出现的这一问题，本申请实施例可以精准定位病灶区域，从而给后续治疗提供准确参考。

在图6、图8或图10所示实施例中，获取了肌电信息和肌氧信息，在这些实施例的基础上，在其他一些实施例中，病灶检测方法还可以获取其他来源的信息，例如形态影像等。形态影像例如X线片、计算机断层扫描(Computed Tomography，CT)图像或超声图像等。

根据前述实施例，应理解，在这些实施例中，同样需要将形态影像等与肌电地形图或肌氧地形图进行配准。然后，可以生成融合更多特征的生理关联图，基于生理关联图可以得到更准确的病灶检测结果。这些实施例与前述实施例相同或相似之处，此处不再赘述。

进一步地，在其他一些实施例中，还可以在确定对象存在病灶的情形下，定位对象的病灶区域。这些实施例与前述实施例相同或相似之处，此处不再赘述。

作为一非限制性示例，以检测对象是否患吞咽障碍作为示例。在图6、图8或图10所示实施例的基础上，终端设备还可以获取钡餐造影图像。钡餐造影是用口服的途径摄入造影剂，对整个消化道在X线照射下拍摄造影图像，通过钡餐造影图像显示有无病变。钡餐造影图像与肌电和肌氧信息可以同步采集。在一些实现方式中，待测者戴好肌电电极和近红外电极进入医院X光室，然后同步采集数据。

在这个示例中，类似于生理解剖图的配准，也需要将获取到的钡餐造影图像进行配准，得到配准后的钡餐造影图像。然后，将配准后的生理解剖图、配准后的钡餐造影图像、肌电地形图和肌氧地形图进行融合，获得生理关联图。最后，利用预设的神经网络模型判断生理关联图是否异常。在其他示例中，还可在判定生理关联图异常后，定位病灶区域。

在图6、图8或图10所示实施例的基础上，在其他一些实施例中，病灶检测方法还包括显示生理关联图、是否存在病灶的检测结果等中的一个或多个。

具体地，终端设备还包括显示屏或显示器。通过显示屏或显示器显示生理关联图。此外，在其他一些实施例中，还可以显示病灶区域定位结果，例如在生理关联图上对定位的病灶区域进行标识。

在其他一些实现例中，通过显示屏或显示器可以实时显示肌电地形图、肌氧地形图、生理关联图等中的任一个或多个。在其他一些实现例中，通过显示屏还可以将肌电波形、面颈部能量分布、肌电频谱分布、面颈部能量分布比、肌肉协同分布、血氧浓度等特征值、动态生理关联图等中的一个或多个进行显示。在其他一些实施例中，终端设备可以至少将吞咽过程中的动态生理关联图显示在显示屏上。通过显示屏达到可视化的效果，方便后续治疗等。此外，还可以在生理关联图上对定位出的病灶区域进行标识，例如用明显的图形框出来，方便患者根据位置进行反馈治疗。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例所述的病灶检测方法，图11示出了本申请实施例提供的病灶检测装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图11，该病灶检测装置包括：获取模块1010和检测模块1020。

获取模块1010，用于获取对象的肌电信息和肌氧信息。

判断模块1020，用于根据肌电信息和肌氧信息判断对象是否存在病灶。

在一些实现方式中，如图12所示，所述检测模块1020包括：

信号预处理模块1021，用于对肌电信息和肌氧信息进行预处理。

生理关联图处理模块1022，用于根据预处理后的肌电信息生成肌电地形图，根据预处理后的肌氧信息生成肌氧地形图；将肌电地形图、肌氧地形图和生理解剖图进行融合，生成生理关联图。

病灶判别模块1023，用于利用预设的神经网络模型判断所述生理关联图是否异常。

在其他一些实现方式中，如图12所示实现方式的基础上，如图13所示，所述检测模块1020还包括病灶定位模块1024。

病灶定位模块1024，用于若确定所述对象存在病灶，则定位所述对象的病灶区域。

在其他一些实现方式中，在图12或图13所示实现方式的基础上，该病灶检测装置还包括：显示执行模块。此处以在图13所示实现方式基础上进行改进为例，如图14所示，该病灶检测装置还包括：显示执行模块1030。

显示执行模块1030，用于显示病灶检测结果、生理关联图、病灶区域定位结果等中的一个或多个。

在其他一些实施例中，显示执行模块，可以用于显示肌电地形图、肌氧地形图、生理关联图等中的任一个或多个。或者，用于显示肌电波形、面颈部能量分布、肌电频谱分布、面颈部能量分布比、肌肉协同分布、血氧浓度等特征值、动态生理关联图等中的一个或多个。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种终端设备，该终端设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个病灶检测方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个病灶检测方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备可实现上述各个病灶检测方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(read-only memory，ROM)、随机存取存储器(random accessmemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种病灶检测系统，其特征在于，包括：第一电子设备，所述第一电子设备用于获取对象的肌电信息和肌氧信息，所述肌电信息和肌氧信息的采集位置相同，所述第一电子设备还用于根据所述肌电信息和所述肌氧信息判断所述对象是否存在病灶；

所述第一电子设备具体用于：根据所述肌电信息生成所述对象的肌电地形图；根据所述肌氧信息生成所述对象的肌氧地形图；将所述对象的生理解剖图、所述肌电地形图和所述肌氧地形图进行融合，获得生理关联图；利用预设的神经网络模型判断所述生理关联图是否异常；

其中，所述将所述对象的生理解剖图、所述肌电地形图和所述肌氧地形图进行融合，获得生理关联图，包括：

将所述对象的生理解剖图与所述肌电地形图进行配准，或，将所述对象的生理解剖图与所述肌氧地形图进行配准，得到配准后的生理解剖图；

将所述配准后的生理解剖图、所述肌电地形图和所述肌氧地形图中对应各像素位置的像素点值进行加权平均计算，获得生理关联图各像素位置的像素点值。

2.如权利要求1所述的病灶检测系统，其特征在于，所述第一电子设备还用于若确定所述对象存在病灶，则定位所述对象的病灶区域。

3.如权利要求2所述的病灶检测系统，其特征在于，所述第一电子设备具体用于利用预设的图像分割模型定位所述对象的病灶区域。

4.如权利要求1所述的病灶检测系统，其特征在于，所述肌电信息包括多通道肌电信息，所述肌氧信息包括多通道肌氧信息，所述生理关联图包括动态生理关联图。

5.如权利要求1所述的病灶检测系统，其特征在于，还包括第二电子设备，所述第二电子设备包括肌电电极片，近红外探头和柔性透明基底，多个所述肌电电极片和多个所述近红外探头分别阵列排布在所述柔性透明基底的两侧。

6.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如下步骤：

获取对象的肌电信息和肌氧信息，所述肌电信息和肌氧信息的采集位置相同；

根据所述肌电信息和所述肌氧信息判断所述对象是否存在病灶；

还具体实现：根据所述肌电信息生成所述对象的肌电地形图；根据所述肌氧信息生成所述对象的肌氧地形图；将所述对象的生理解剖图、所述肌电地形图和所述肌氧地形图进行融合，获得生理关联图；利用预设的神经网络模型判断所述生理关联图是否异常；

其中，所述将所述对象的生理解剖图、所述肌电地形图和所述肌氧地形图进行融合，获得生理关联图，包括：

将所述对象的生理解剖图与所述肌电地形图进行配准，或，将所述对象的生理解剖图与所述肌氧地形图进行配准，得到配准后的生理解剖图；

将所述配准后的生理解剖图、所述肌电地形图和所述肌氧地形图中对应各像素位置的像素点值进行加权平均计算，获得生理关联图各像素位置的像素点值。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下步骤：

获取对象的肌电信息和肌氧信息，所述肌电信息和肌氧信息的采集位置相同；

根据所述肌电信息和所述肌氧信息判断所述对象是否存在病灶；

还具体实现：根据所述肌电信息生成所述对象的肌电地形图；根据所述肌氧信息生成所述对象的肌氧地形图；将所述对象的生理解剖图、所述肌电地形图和所述肌氧地形图进行融合，获得生理关联图；利用预设的神经网络模型判断所述生理关联图是否异常；

其中，所述将所述对象的生理解剖图、所述肌电地形图和所述肌氧地形图进行融合，获得生理关联图，包括：

将所述对象的生理解剖图与所述肌电地形图进行配准，或，将所述对象的生理解剖图与所述肌氧地形图进行配准，得到配准后的生理解剖图；

将所述配准后的生理解剖图、所述肌电地形图和所述肌氧地形图中对应各像素位置的像素点值进行加权平均计算，获得生理关联图各像素位置的像素点值。

Images