发明内容
本发明的目的在于提供一种精准电阻抗层析成像方法、装置、系统、介质及设备,解决现有技术中EIT系统只能够支持固定的通用前向模型和定性成像方法的技术问题。
为了实现上述目的,本发明提出一种精准电阻抗层析成像方法,所述精准电阻抗层析成像方法包括:
将待检测对象的几何结构信息发送至云端平台;
从所述云端平台获取基于所述几何结构信息训练的精准图像重建模型;
获取待检测对象的实时边界电压测量向量;
将所述实时边界电压测量向量输入所述图像重建模型以进行电阻抗层析成像以获取待检测对象的目标图像。
进一步地,所述云端平台获取基于所述几何结构信息训练的精准图像重建模型的方式如下:
获取待检测对象的几何结构信息;
根据所述待检测对象获取多个辅助诊断信息;
根据所述几何结构信息以及多个所述辅助诊断信息生成训练集以及验证集;
通过所述训练集和所述验证集对神经网络模型进行训练以得到精准图像重建模型。
进一步地,所述获取待检测对象的几何结构信息的步骤包括:
获取待检测对象的辅助成像信息;
根据所述辅助成像信息确定所述待检测对象的几何结构信息。
进一步地,所述神经网络模型由以下方式获取:
对所述几何结构信息进行前向模型定制化以获取神经网络模型。
进一步地,所述图像重建模型包括初始猜测单元和去噪单元:所述将所述实时边界电压测量向量输入所述图像重建模型以获取待检测对象的目标图像的步骤包括:
将所述实时边界电压测量向量输入所述初始猜测单元进行矩阵运算以生成初始向量;
将所述初始向量输入所述去噪单元进行连续电导率图像重建以获取待检测对象的目标图像。
进一步地,所述初始猜测单元包括至少一个全连接层,所述全连接层的激活函数为ReLU函数;
所述去噪单元包括至少三级收缩层、至少三级扩张层以及卷积层;所述卷积层具有1*1核以及ReLU激活函数;
每一级所述收缩层均包括依次串行的两个卷积层以及一个池化层;
每一级所述扩张层均包括依次串行的两个卷积层以及一个上采样层。
进一步地,所述将所述实时边界电压测量向量输入所述图像重建模型以进行电阻抗层析成像以获取待检测对象的目标图像之后还包括:
通过级联分析算法对所述目标图像进行诊断分析。
为了实现上述目的,本发明还提出一种精准电阻抗层析成像系统,所述精准电阻抗层析成像系统包括:
可配置的EIT硬件电路架构,用于采集待检测对象的实时边界电压测量向量;
人工智能边缘计算平台,所述人工智能边缘计算平台用于实现如上所述的精准电阻抗层析成像方法。
为了实现上述目的,本发明还提出一种精准电阻抗层析成像装置,所述精准电阻抗层析成像装置包括:
采集模块,获取待检测对象的几何结构信息以及获取待检测对象的实时边界电压测量向量,并根据所述待检测对象获取多个辅助诊断信息;
数据生成模块,根据所述几何结构信息以及多个所述辅助诊断信息生成训练集以及验证集;
训练模块,通过所述训练集和所述验证集对神经网络模型进行训练以得到图像重建模型;
执行模块,将所述实时边界电压测量向量输入所述图像重建模型以进行电阻抗层析成像以获取待检测对象的目标图像。
为了实现上述目的,本发明还提出一种介质,所述介质中存储有至少一可执行指令,所述可执行指令在设备上运行时,使得设备执行如上所述的精准电阻抗层析成像方法的操作。
为了实现上述目的,本发明还提出一种设备,包括:包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上所述的精准电阻抗层析成像方法
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如上所述的精准电阻抗层析成像方法的操作。
本发明的精准电阻抗层析成像方法在云端平台针对待检测对象训练出特定的精准图像重建模型,由于精准图像重建模型是根据待检测对象的几何结构信息辅助诊断信息实时训练而成,从而提高了训练后的精准图像重建模型与所述待检测对象的匹配度,从而保证了后续实时边界电压测量向量输入所述图像重建模型获取待检测对象的目标图像的准确性,使得EIT系统的前向模型和精准图像重建模型可以根据待检测对象进行精准匹配,并通过本申请的方法实现实时精准图像重建,从而解决现有EIT系统实时图像重建质量低、只能进行定性成像的技术问题。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决现有技术中EIT系统实时图像重建质量低、只能进行定性成像的技术问题,本发明提出一种精准电阻抗层析成像方法以及装置、介质及设备。
在一实施例中,如图1所示,所述精准电阻抗层析成像方法包括:
S100、将待检测对象的几何结构信息发送至云端平台;
其中,几何结构信息是指包括了待检测对象大小以及轮廓的信息。待检测对象可以是某个器官组织类型,例如肺部、胸部、胃肠、乳腺以及脑部等部位。
S200、从所述云端平台获取基于所述几何结构信息训练的精准图像重建模型;
S300、获取待检测对象的用实时边界电压测量向量;
其中,实时边界电压测量向量可以通过EIT传感器进行获取。
S400、将所述实时边界电压测量向量输入所述精准图像重建模型以进行电阻抗层析成像以获取待检测对象的目标图像。
上述实施例中,在云端平台针对待检测对象训练出特定的精准图像重建模型,由于精准图像重建模型是根据待检测对象的几何结构信息训练而成,从而提高了训练后的精准图像重建模型与所述待检测对象的匹配度,从而保证了后续实时边界电压测量向量(输入EIT测量向量)输入所述精准图像重建模型获取待检测对象的目标图像的准确性,使得EIT系统的前向模型和精准图像重建模型可以根据待检测对象进行精准匹配,并通过上述方案,实现实时精准图像重建,从而解决现有EIT系统实时图像重建质量低、只能进行定性成像的技术问题。
可选地,本申请的精准电阻抗层析成像方法可以特地设置有一个人工智能边缘计算平台,人工智能边缘计算平台将在云端平台训练好的神经网络模型下载(实施/集成)在人工智能边缘计算平台上,该计算平台从可配置EIT电路实时获取测量电压向量,并输入给训练好的神经网络模型,从而实现实时、精准图像重建。如果没有人工智能边缘计算平台,则只能在云端平台实现离线精准成像,而非实时成像。
在一实施例中,所述云端平台获取基于所述几何结构信息训练的精准图像重建模型的方式如下:
获取待检测对象的几何结构信息;
其中,几何结构信息是指包括了待检测对象大小以及轮廓的信息。待检测对象可以是某个器官组织类型,例如肺部、胸部、胃肠、乳腺以及脑部等部位。
根据所述待检测对象获取多个辅助诊断信息;
其中,当待检测对象为肺部,此时的辅助诊断信息为多种肺部表现为各种状态的边界电压测量向量,此时的辅助诊断信息可以通过预先建立的数据库获取,各种状态实际是指肺部处于不同病变状态下,或者处于正常状态下。
根据所述几何结构信息以及多个所述辅助诊断信息生成训练集以及验证集;
其中,根据所述几何结构信息以及多个所述辅助诊断信息生成训练集以及验证集,可以提升数据生成训练集以及验证集的可靠性。
可选地,可以通过对采集待检测对象的EIT传感器进行有限元仿真并计算其前向问题获得大量的仿真数据集。辅助诊断信息在此过程中为有限元建模和仿真提供成像对象和传感器的准确几何分布/特征。此实施例的仿真过程使用相邻电流注入和测量模式,电导率空间分布通过对1至4个具有随机位置、尺寸,且电导率分布在0.0001S/m至0.05S/m之间的圆形物体进行仿真而建立。背景电导率设置为0.05S/m。训练集由6000个各种类型、各种数量的圆形辅助诊断信息组成,验证集由每种类型各500个辅助诊断信息组成,而测试集则由535个包含1个物体的样本,798个包含2个物体的样本,1000个包含3个物体的样本和1000个包含四个物体的样本组成。
需要说明的是,以上仅仅例举了一种验证集以及训练集的生成方式,但是在实际应用过程中并不仅仅局限于这一种。
可选地,另外,考虑在实际应用场景中测量系统噪声的影响,在训练集和验证集中均加入了高斯噪声来使模型变得更为稳健。
通过所述训练集和所述验证集对神经网络模型进行训练以得到图像重建模型;
在上述实施方案中,通过获取待检测对象的几何结构信息以进一步获取多个辅助诊断信息,然后根据所述几何结构信息以及多个所述辅助诊断信息生成训练集以及验证集;并通过所述训练集和所述验证集对神经网络模型进行训练以得到图像重建模型,从而使得在待检测对象改变时,可以针对待检测对象训练出特定的图像重建模型,由于训练集以及验证集并不是通用训练集,而是根据几何结构信息以及多个所述辅助诊断信息生成,从而提高了训练后的图像重建模型与所述待检测对象的匹配度。
在一实施例中,所述获取待检测对象的几何结构信息的步骤包括:
获取待检测对象的辅助成像信息;
其中,待检测对象可以是的某个器官组织类型,例如肺部、胸部、胃肠、乳腺以及脑部等部位。辅助成像信息可以是辅助成像模态如CT、MRI、光学等获取的信息。
根据所述辅助成像信息确定所述待检测对象的几何结构信息。
在上述实施例中,可以对所述辅助成像信息进行图像预处理来确定待检测对象的几何结构信息,而在获取待检测对象的辅助成像信息时,是获取的待检测对象的CT、MRI、光学检测的图像,具有唯一对象性,可以提高几何结构信息的准确度。从而可以使得后续确定的几何结构信息无限贴合对应的待检测对象的实际状态,从而可以保证几何结构信息与待检测对象的匹配度极高。
需要说明的是,图像预处理对输入图像进行特征抽取、分割和匹配前所进行的处理,因此可以通过图像预处理来确定待检测对象的几何结构信息。
在一实施例中,所述神经网络模型由以下方式获取:
对所述几何结构信息进行前向模型定制化以获取神经网络模型。
其中,前向模型定制化实际是指一种建模方法,可以根据几何结构信息来建立更为贴合的EIT前向模型,从而提高EIT前向模型对待检测对象的匹配度,减少个体化差异较大的成像对象造成的模型误差。
在一实施例中,所述图像重建模型包括初始猜测单元和去噪单元:所述将所述实时边界电压测量向量输入所述图像重建模型以获取待检测对象的目标图像的步骤包括:
将所述实时边界电压测量向量输入所述初始猜测单元进行矩阵运算以生成初始向量;
将所述实时边界电压测量向量输入所述去噪单元进行连续图像重建以获取待检测对象的目标图像。
其中,通过上述方案,可以将图像重建模型分为两部分,进一步实现实时定量成像,保证成像质量,提高几何信息与电导率分布的准确程度。
在一实施例中,参考图6所示,所述初始猜测单元包括至少一个全连接层(FullyConnected),所述全连接层由ReLU激活函数组成;其可以为初始向量的生成提供矩阵运算。
所述去噪单元包括至少三级收缩层、至少三级扩张层以及卷积层;所述卷积层具有1*1核(Conv)以及ReLU激活函数;
其中,ReLU激活函数被用来提供连续电导率的图像重建能力。
每一级所述收缩层均包括依次串行的两个卷积层以及一个池化层(MaxPooling);
其中,收缩层的卷积层具有3*3核(Conv)以及ReLU激活函数。
每一级所述扩张层均包括依次串行的两个卷积层以及一个上采样层(Upsample)。
扩张层的卷积层具有3*3核(Conv)以及ReLU激活函数。
其中,卷积层可以对特征进行提取,每一所述收缩层的两次卷积之后的特征图输出至对应的所述扩张层的两个卷积层的输入端,如图6所示的copy箭头所指示的输入方向,也即前一层的上采样层之后,通过上述方案,可以极大程度上提高图像重建模型的特征提取能力,从而增强目标图像的重建能力,提高其精确度。实现定量成像以及精准EIT成像。
可选地,上采样层具有如下PyTorch参数:mode='bilinear'和align_corners=False。
进行定量成像,提高成像质量,实现精准的EIT成像。
在一实施例中,所述将所述实时边界电压测量向量输入所述图像重建模型以进行电阻抗层析成像以获取待检测对象的目标图像之后还包括:
通过级联分析算法对所述目标图像进行诊断分析。
其中,级联分析算法可以针对目标图像进行诊断分析,能够精准的提取相关成像对象的信息。
可选地,本实施例应用了轮廓识别算法,该算法基于Suzuki和Abe等人提出的二值图像边界跟随算法。OpenCV库中的函数findContours()被用于实现这一算法。
神经网络的目标图像输出是一个64*64的NumPy数组,其值在0和1之间,数据格式为float32,其通过级联分析算法对所述目标图像进行诊断分析的过程为:
步骤1:对图片进行形态学开运算来去除其上的白色噪声。
步骤2:应用OpenCV库中的阈值函数threshold()将图像转换为二值图像。当阈值被选定之后,低于其值的像素被设置为0(黑色),而高于其值的像素被设置为1(白色)。本发明中阈值的默认值为0.1,但通过UI界面其值可以被人为设定。
步骤3:将二值图像随后被转换为灰度图像,这是因为OpenCV库中的findContours()函数只能用于灰度图像。为了完成这一转换,二值图像中的每个像素值均被乘以255,最终生成的数组被继续转为unit8数据格式。因为这一转换并没有在视觉上改变图像,因此图中没有单独展示这一过程。
步骤4:将findContours()函数被用于该灰度图像上以提取轮廓。
findContours()函数函数具有两种使用方法:
1)模式:即轮廓提取模式,其可以设置为RETR_TREE,从而使该函数提取图片中的全部轮廓并将其整理为一个完整的轮廓层级。
2)方法:即轮廓近似方法,其可以设置为CHAIN_APPROX_SIMPLE,从而对横向、纵向和斜向的片段进行压缩而仅将其终点留下,从而节省内存空间。与之相对的是CHAIN_APPROX_NONE会存储每个轮廓的所有点。
步骤5:将轮廓随后按照面积递增的顺序排序,因为UI界面只能展示一定数量的轮廓,所以很自然地更希望首先展示那些大轮廓的信息。
步骤6:按照轮廓列表的顺序进行迭代处理,每个轮廓的外接矩形通过OpenCV库中的boundingRect()函数计算得到。生成的图像通过环形掩模进行处理,以使得其与EIT传感器的形状一致,最终的图像被展示在UI界面中。
本实施例证明本发明提出的人工智能驱动的EIT系统相比传统EIT系统和方法,能够实时、精准的重建物体的电导率空间分布,并再此基础上可以通过级联图像分析算法,进一步提取相关成像对象的信息。
为了解决上述问题,本发明还提出一种精准电阻抗层析成像系统,如图2所示,所述精准电阻抗层析成像系统包括:
可配置的EIT硬件电路架构,用于采集待检测对象的实时边界电压测量向量;
人工智能边缘计算平台,所述人工智能边缘计算平台用于实现如上所述的精准电阻抗层析成像方法。
可选地,可配置的EIT硬件电路架构可支持多频(10kHz-1MHz)双16电极传感器并行测量、单32电极串行测量以及任意组合的阻抗测量策略。
可选地,如图2所示,可配置的EIT硬件电路架构的构成包括两个可配置的EIT电极阵列(其中每个电极阵列包括16个电极接口,且每个电极接口可根据可编程控制器模块的控制命令独立、任意地连接到正电流激励、负电流激励、高阻态、正电压测量端或负电压测量端);除此之外,还包括两个并行的测量通道和电流源模块,其中每个电流源模块和测量通道模块和对应的可配置EIT电极阵列配合。此配置可以并行支持使用16电极EIT传感器进行两个不同测量对象的同时成像,此外,还可以通过调整EIT硬件上的跳线使任意测量通道和电流源和两个可配置的EIT电极阵列进行配合,进而支持任意测量模式的32电极EIT传感器测量。
可配置的EIT测量电路的核心控制模块由可编程控制器(如FPGA)实现,其具体内部核心功能模块包括但不限于数据命令解析模块、通信接口模块、核心状态机模块、多频正弦信号发生模块、电流异常监控模块、高精度电阻网络校准计算模块、开关阵列控制模块、模拟数字转换器(ADC)接口模块以及多频数字解调模块。
可配置的EIT测量电路的电流监控模块对两路并行的电流源的输出电流进行实时测量并通过核心控制模块对电流安全幅值和异常进行判断和预警。当系统输出电流超出国家标准规定的安全阈值时,或电流波形出现异常时,核心控制模块即时将电流源输出切断(置零)。
可配置的EIT测量电路的校准网络由一系列板上高精度电阻构成。EIT系统预先存储高精度电阻值,并间歇性对电阻网络进行测量并与预存值进行对比,进而计算出测量系统的校正系数,对系统的实时阻抗测量进行校准。该操作可极大改善漂移和板上杂散、寄生电容对EIT长期测量稳定性的影响。
可配置的EIT测量电路的数据通信部分支持串口、蓝牙、USB2.0以及以太网通信。EIT测量电路整体供电设计架构参见图3。
通过上述方案,可以提高边界电压测量的准确性、稳定性、灵活性以及安全性。
为了解决上述问题,本发明还提出一种精准电阻抗层析成像装置300,所述精准电阻抗层析成像装置包括:
采集模块310,获取待检测对象的几何结构信息以及获取待检测对象的实时边界电压测量向量,并根据所述待检测对象获取多个辅助诊断信息;
数据生成模块320,根据所述几何结构信息以及多个所述辅助诊断信息生成训练集以及验证集;
训练模块330,通过所述训练集和所述验证集对神经网络模型进行训练以得到图像重建模型;
执行模块340,将所述实时边界电压测量向量输入所述图像重建模型以进行电阻抗层析成像以获取待检测对象的目标图像。
通过获取待检测对象的几何结构信息以进一步获取多个辅助诊断信息,然后根据所述几何结构信息以及多个所述辅助诊断信息生成训练集以及验证集;并通过所述训练集和所述验证集对神经网络模型进行训练以得到图像重建模型,从而使得在待检测对象改变时,可以针对待检测对象训练出特定的图像重建模型,由于训练集以及验证集并不是通用训练集,而是根据几何结构信息以及多个所述辅助诊断信息生成,从而提高了训练后的图像重建模型与所述待检测对象的匹配度,从而保证了后续实时边界电压测量向量输入所述图像重建模型获取待检测对象的目标图像的准确性,使得EIT系统的前向模型和图像重建模型可以根据待检测对象进行精准匹配,并通过人工智能边缘计算平台,实现实时精准图像重建,从而解决现有EIT系统实时图像重建质量低、只能进行定性成像的技术问题。
为了解决上述问题,本发明还提出一种介质,所述介质中存储有至少一可执行指令,所述可执行指令在设备上运行时,使得设备执行如上所述的精准电阻抗层析成像方法的操作。
需要说明的是,由于本申请的介质包含上述精准电阻抗层析成像方法的所有步骤,因此,介质也可以实现精准电阻抗层析成像方法的所有方案,并具有同样的有益效果,在此不再赘述。
执行上述方法实施例中的一种精准电阻抗层析成像方法。以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存15储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
为了解决上述问题,本发明还提出一种设备6,包括:包括存储器61、处理器60以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62,其特征在于,所述处理器60执行所述计算机程序时实现如上所述的精准电阻抗层析成像方法。
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如上所述的精准电阻抗层析成像方法的操作。
需要说明的是,由于本申请的设备包含上述精准电阻抗层析成像方法的所有步骤,因此,设备也可以实现精准电阻抗层析成像方法的所有方案,并具有同样的有益效果,在此不再赘述。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。请输入具体实施内容部分。