CN114187582A - 一种基于人工神经网络技术的人工心肺机数据记录方法 - Google Patents

一种基于人工神经网络技术的人工心肺机数据记录方法 Download PDF

Info

Publication number
CN114187582A
CN114187582A CN202111362663.4A CN202111362663A CN114187582A CN 114187582 A CN114187582 A CN 114187582A CN 202111362663 A CN202111362663 A CN 202111362663A CN 114187582 A CN114187582 A CN 114187582A
Authority
CN
China
Prior art keywords
image
screen
module
parameters
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111362663.4A
Other languages
English (en)
Other versions
CN114187582B (zh
Inventor
杨路
欧阳东
谭瑞
程序
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202111362663.4A priority Critical patent/CN114187582B/zh
Publication of CN114187582A publication Critical patent/CN114187582A/zh
Application granted granted Critical
Publication of CN114187582B publication Critical patent/CN114187582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人工神经网络技术的人工心肺机数据记录方法，先获取人工心肺机各屏幕图像并初始化屏幕模版库与对应分割模版，再搭建并训练姿态估计网络PoseNet，然后通过PoseNet对待检测图像进行姿态调整，最后通过OCR文字识别技术自动化地获取人工心肺机手术全程的监测数据，并按HL7格式编码并实时传输至医院信息中心，以便医院为抢救病人做出实时反应。

Description

一种基于人工神经网络技术的人工心肺机数据记录方法
技术领域
本发明属于人工心肺机智能化处理技术领域，更为具体地讲，涉及一种基于人工神经网络技术的人工心肺机数据记录方法。
背景技术
医疗问题一直以来都是人民最关心的问题之一，而心血管疾病与肺部疾病由于其高死亡率、高发病率，一直以来都严重威胁着人类的生命健康。根据世界卫生组织发布的《2020年世界卫生统计报告》，非传染性疾病占总死亡人数的71％，其中首位的致死原因是心血管疾病。此外，数据显示，进入21世纪后世界老龄化速度明显加快，心血管疾病危险因素流行趋势明显，导致心血管发病人数持续增加。
人工心肺机作为暂时性替代自然心脏和肺功能的装置，用于对重症心肺功能衰竭患者提供持续体外呼吸与循环，是一种重要的临时性人工器官。据统计，2019年全球范围内有430家ECMO中心，与2004年相比增长264％；而ECMO辅助例数2019年全球为12850例，比2004年增长568％。在covid-19治疗过程中，人工心肺机也发挥了极为重要的作用。
人工心肺机主要由系统面板、悬挂泵、压力传感器等部分组成。在治疗过程中，人工心肺机实时监测患者的身体特征，并将数据反映在显示上。其中，悬挂泵与系统面板上都会显示相应的的参数。在重大疾病的治疗过程中，人体特征参数的监控尤为重要。因此，医疗人员需要实时监控并记录人工心肺机的参数及其变化情况，以便对治疗方案做出及时调整。
实际操作中，为了准确及时记录人工心肺机的参数，医疗工作者通常采用手工记录的方式，在一定时间间隔内对面板上显示的数据进行摘抄。而当前阶段，我国存在医患比例低，医护工作量大的情况。医生和护士每天还需面对很多突发情况。人工记录数据需要耗费大量精力。此外，医院环境较为复杂，对人眼观察数据造成较大的影响。所以现在急需一种辅助方法帮助准确记录人工心肺机的数据，更好的帮助医生完成医疗任务。
OCR技术通常称为光学字符识别(OCR,Optical Character Recognition),由计算机来实现。其核心作用是将图片转化为文字，以满足用户需求。随着深度学习的广泛运用，OCR技术在识别速度、识别准确率方面取得了大幅提高。与传统人工录入相比，OCR技术在速度方面有着巨大的优势，可以大幅度节省人力资源，资源配置得到优化。
近些年，计算机视觉与OCR相结合的技术在图像文字信息识别与处理方面展现了巨大的优势，可以通过计算机视觉技术提取显示面板中信息并采用OCR技术帮助医生识别与记录人工心肺机的数据。考虑到医院的特殊环境，设计一个轻型人工心肺机数据记录装置是需要完成的目标。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于人工神经网络技术的人工心肺机数据记录方法，通过拍摄人工心肺机显示面板的图像并经过人工神经网络和计算机视觉技术的处理，利用OCR技术对图像中的字符进行识别，再从中提取所需的人体特征参数信息，完成对人工心肺机的数据记录。
为实现上述发明目的，本发明一种基于人工神经网络技术的人工心肺机数据记录方法，其特征在于，包括以下步骤：
(1)、获取人工心肺机各屏幕图像；
对人工心肺机的四块屏幕进行编号，记为A、B、C、D；利用相机分别正对每块屏幕进行拍摄，每块屏幕拍摄k张正立图像，且每张图像拍摄时其显示的数据互不相同，最后将所有的正立图像按序编号记为Si，i＝1,2,…,4k；
(2)、初始化屏幕模版库与对应分割模版；
将各屏幕拍摄的每一张图像依次输入至特征提取网络ResNet-18，得到各屏幕相对应的特征序列，共计4k条特征序列，最后将这4k条特征序列作为屏幕模版库；
根据各屏幕数据显示区域，为各屏幕人为框选出固定位置的目标分割模版，并依据框选区域尺寸和数显字号预设各区域相应的放缩超参数；
(3)、搭建并训练姿态估计网络PoseNet；
(3.1)、获取PoseNet的训练数据；
将每一张正立图像Si通过有条件的随机选取变换参数来生成变换矩阵Mi，且每一张正立图像Si重复操作N次，从而得到4k*N个变换矩阵；
其中，有条件的随机选取变换参数的限制条件为：屏幕中心不变、不进行放缩、扭曲范围在30％以内；
将4k*N个变换矩阵依次作为反透视变换函数的参数，然后利用透视变换函数进行透视变换，获得4k*N张带有形变的图像，记为Pj，j＝1,2,…,4k*N；
(3.2)、搭建PoseNet的模型结构；
PoseNet包括分割提取网络SENet和解码网络DNet；
所述SENet分两条路径对输入图像进行分割提取，得到屏幕各数据区域R和基于类似图像不同数据区域等效的纹理的特征向量V；
其中，生成特征向量V的路径结构为：卷积层1-激活层1-池化层1-卷积层2-激活层2-丢弃层-池化层2-卷积层3-激活层3-池化层3-正则层-全连接层1；各卷积层均采用卷积模块torch.nn.Conv2d，卷积模块参数为：隐藏层数为2，隐藏节点数为50，输入输出维度设置为令图像通道数依次递增50％；各激活层均采用激活模块torch.nn.RELU，激活模块参数为：池化层采用最大值池化模块torch.nn.MaxPool2d，该模块的参数核长度设为与参数步长相等且令图像尺寸依次递减30％；丢弃层采用丢弃模块torch.nn.Dropout，丢弃模块参数为：丢弃概率为0.2；正则层采用正则模块torch.nn.BatchNorm2d，全连接层采用线性模块torch.nn.Linear，模块参数为：归化维度为128；
生成屏幕各数据区域R的路径的前一部分与上述路径结构共享，在上述路径的正则层输出之后分开，接入如下路径结构：卷积层4-上采样层1-卷积层5-上采样层2-卷积层6-上采样层3，并且4、5、6号卷积层所生成的特征图都会拼接源自于之前相应卷积层生成的特征图，即3与4、2与5、1与6的特征图拼接；其中各网络层具体实现模块为：各卷积层均采用卷积模块torch.nn.Conv2d，模块参数为：隐藏层数为2，隐藏节点数为50，输入输出维度设置为令图像通道数依次递减50％；上采样层均采用最近邻插值上采样模块torch.nn.UpsamplingNearest2d，模块参数设置为输入输出参数设为令图像尺寸依次递增30％；
Dnet的结构为GRU+全连接，其中，GRU采用门控循环单元模块torch.nn.GRU，该模块参数为两个隐藏层和50个隐藏节点；全连接层采用线性模块torch.nn.Linear，参数为：单层网络，归化维度为16；DNet接收SENet输出的中间结果R和V，输出用于将初始输入图像变为正视图像的透视变换矩阵M；
(3.3)、训练PoseNet；
(3.3.1)、将图像Pj送入至PoseNet，从而输出的预测变换矩阵
Figure BDA0003359469220000041
(3.3.2)、将图像Pj对应的变换矩阵Mj与预测变换矩阵
Figure BDA0003359469220000042
求取损失值
Figure BDA0003359469220000043
mτ为Mj中第τ个元素的值，
Figure BDA0003359469220000044
为
Figure BDA0003359469220000045
中第τ个元素的值；
(3.3.3)、将损失值MSELoss进行反向传播求微分，从而更新PoseNet的参数，待参数更新完成后返回步骤(3.3.1)继续输入下一张图像；
(3.3.4)、当输入至PoseNet的图像数量达到λ张后，完成本轮训练，并计算本轮训练中对应的λ个损失值的均值；
(3.3.5)、比较相邻两轮训练后损失值的均值的差值是否小于预设阈值，如果小于阈值，则表示网络收敛，迭代停止，得到训练完成的PoseNet；否则，返回步骤(3.3.1)继续下一轮的训练；
(4)、待检测图像的姿态调整；
将倾斜的待检测图像P输入至训练完成的PoseNet，从而输出预测变换矩阵
Figure BDA0003359469220000046
将预测变换矩阵
Figure BDA0003359469220000047
作为反透视变换函数的参数，然后利用透视变换函数进行透视变换，获得带有形变的图像
Figure BDA0003359469220000048
(5)、匹配屏幕类型；
将图像
Figure BDA0003359469220000049
输入至特征提取网络ResNet-18，得到特征序列
Figure BDA00033594692200000410
将特征序列
Figure BDA00033594692200000411
与屏幕模版库中的各条特征序列依次进行相似度比对：
依次求解两特征序列的欧式距离d，
Figure BDA00033594692200000412
其中，fμ为屏幕模版库中特征序列F的第μ个元素值，
Figure BDA00033594692200000413
为特征序列
Figure BDA00033594692200000414
的第μ个元素值；
最后选取欧式距离最小的特征序列所对应的屏幕为图像所属；
(6)、图像区域分割；
依据步骤(5)中屏幕类别匹配结果调用目标分割模版，从图像中分割出若干待识别的区域，以及每个区域相应的放缩超参数；
(7)、基于OCR技术的数据识别及处理；
将(6)中的区域及其相应放缩超参数传入至预训练好的OCR网络模型，从而输出各待识别区域所对应的实时数据；最后再将识别结果按HL7格式编码并实时传输至医院信息中心，以便医院为抢救病人做出实时反应。
本发明的发明目的是这样实现的：
本发明基于人工神经网络技术的人工心肺机数据记录方法，先获取人工心肺机各屏幕图像并初始化屏幕模版库与对应分割模版，再搭建并训练姿态估计网络PoseNet，然后通过PoseNet对待检测图像进行姿态调整，最后通过OCR文字识别技术自动化地获取人工心肺机手术全程的监测数据，并按HL7格式编码并实时传输至医院信息中心，以便医院为抢救病人做出实时反应。
同时，本发明基于人工神经网络技术的人工心肺机数据记录方法还具有以下有益效果：
(1)、使用神经网络结构，自动识别屏幕区域及相机拍摄角度，实现手术间复杂操作场景的灵活使用；
(2)、结合计算机视觉技术承上启下，利用神经网络所得姿态信息矫正含透视畸变的屏幕图像，为识别文字数据奠定基础；
(3)、本发明通过OCR文字识别技术使得医生可以自动化地获取人工心肺机手术全程的监测数据，确保最终识别所得的监测数据的有效性，同时免去人工记录的繁琐和低效；
(4)、在实际手术间考虑到手术辅助人员频繁的操作人工心肺机的需求，限制了相机获取屏幕的距离和视角，在数据识别之前引入与神经网络之图片姿态估计结合的计算机视觉之变换矫正技术，使得本发明能真正地应用在手术间，并能根据操作人员的需求灵活改变相机放置角度，给医护人员带来实在的便利。
附图说明
图1是本发明基于人工神经网络技术的人工心肺机数据记录方法流程图；
图2是屏幕A悬挂泵上的触摸屏示意图；
图3是屏幕B系统面板上的触摸屏SAT/HCT传感器模块VENOUS；
图4是屏幕C系统面板上的触摸屏气泡探头条及停跳液控制显示条；
图5是屏幕D系统面板上的触摸屏压力控制器及时间温度监测面板；
图6是屏幕A的框选区域示意图；
图7是屏幕B的框选区域示意图；
图8是屏幕C的框选区域示意图；
图9是屏幕D的框选区域示意图；
图10是屏幕A的区域分割示意图；
图11是屏幕B的区域分割示意图；
图12是屏幕C的区域分割示意图；
图13是屏幕D的区域分割示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明基于人工神经网络技术的人工心肺机数据记录方法流程图。
在本实施例中，如图1所示，本发明一种基于人工神经网络技术的人工心肺机数据记录方法，包括以下步骤：
S1、获取人工心肺机各屏幕图像；
对人工心肺机的四块屏幕进行编号，记为A、B、C、D；利用相机分别正对每块屏幕进行拍摄，每块屏幕拍摄5张正立图像，且每张图像拍摄时其显示的数据互不相同，最后将所有的正立图像按序编号记为Si，i＝1,2,…,20；
在本实施例中，目前常用的人工心肺机上，有四个触摸屏会显示参数。其中，悬挂泵上有一个触摸屏，系统面板上有三个触摸屏，共包含13个待识别参数，具体的待识别参数如下：
(1)、如图2所示，屏幕A：悬挂泵上的触摸屏，有流量和泵速两个待识别参数；
(2)、如图3所示，屏幕B:系统面板上SAT/HCT传感器模块VENOUS包含静脉血氧饱和度、红细胞压积和静脉温度三个待识别参数；
(3)、如图4所示，屏幕C:气泡探头条及停跳液控制显示条包含单次剂量显示、停跳液计时器显示和总剂量显示三个待识别参数；
(4)、如图5所示，屏幕D:压力控制器及时间温度监测面板共有五个待识别的参数，分别为：压力1显示、压力2显示、计时器1显示、计时器2显示及计时器3显示。
考虑到医院特殊的环境，识别系统的设计有几个设计原则。首先，为保护医院数据，识别系统不连接公网，防止患者隐私泄漏。其次，摄像头等外部硬件的摆放不能遮挡人工心肺机及其他医疗设备的屏幕，不能影响医护人员的人工操作。此外，识别系统采用边缘计算，以节约空间。基于以上考虑，本发明中所使用的硬件设备包括摄像头、路由器、监护仪与主机。摄像头通过支架连接到同一个主机，可以通过支架调节摄像头的拍摄方向，实现远距离拍摄。
其次，识别记录装置的摆放需要基于医院的具体环境。首先，需要了解设备的尺寸限制，以保证设备的摆放不会影响到医院的正常工作；第二，确定摄像头的拍摄距离，以及在使用过程中是否需要移动；第三，了解医院内的供电和通信线路，以便更好的部署识别装置；其次，要确定室内光照情况，光照是否稳定；
S2、初始化屏幕模版库与对应分割模版；
将各屏幕拍摄的每一张图像依次输入至特征提取网络ResNet-18，得到各屏幕相对应的特征序列，共计20条特征序列，最后将这20条特征序列作为屏幕模版库；
根据各屏幕数据显示区域，为各屏幕人为框选出固定位置的目标分割模版，并依据框选区域尺寸和数显字号预设各区域相应的放缩超参数；在本实施例中，四块屏幕实拍的框选区域示意图，如6-图9所示；
S3、搭建并训练姿态估计网络PoseNet；
S3.1、获取PoseNet的训练数据；
将每一张正立图像Si通过有条件的随机选取变换参数来生成变换矩阵Mi，且每一张正立图像Si重复操作1000次，从而得到20000个变换矩阵；
其中，有条件的随机选取变换参数的限制条件为：屏幕中心不变、不进行放缩、扭曲范围在30％以内；
将20000个变换矩阵依次作为反透视变换函数的参数，然后利用透视变换函数进行透视变换，获得20000张带有形变的图像，记为Pj，j＝1,2,…,20000；
S3.2、搭建PoseNet的模型结构；
PoseNet包括分割提取网络SENet和解码网络DNet；
所述SENet分两条路径对输入图像进行分割提取，得到屏幕各数据区域R和基于类似图像不同数据区域等效的纹理的特征向量V；
其中，生成特征向量V的路径结构为：卷积层1-激活层1-池化层1-卷积层2-激活层2-丢弃层-池化层2-卷积层3-激活层3-池化层3-正则层-全连接层1；各卷积层均采用卷积模块torch.nn.Conv2d，卷积模块参数为：隐藏层数为2，隐藏节点数为50，输入输出维度设置为令图像通道数依次递增50％；各激活层均采用激活模块torch.nn.RELU，激活模块参数为：池化层采用最大值池化模块torch.nn.MaxPool2d，该模块的参数核长度设为与参数步长相等且令图像尺寸依次递减30％；丢弃层采用丢弃模块torch.nn.Dropout，丢弃模块参数为：丢弃概率为0.2；正则层采用正则模块torch.nn.BatchNorm2d，全连接层采用线性模块torch.nn.Linear，模块参数为：归化维度为128；
生成屏幕各数据区域R的路径的前一部分与上述路径结构共享，在上述路径的正则层输出之后分开，接入如下路径结构：卷积层4-上采样层1-卷积层5-上采样层2-卷积层6-上采样层3，并且4、5、6号卷积层所生成的特征图都会拼接源自于之前相应卷积层生成的特征图，即3与4、2与5、1与6的特征图拼接；其中各网络层具体实现模块为：各卷积层均采用卷积模块torch.nn.Conv2d，模块参数为：隐藏层数为2，隐藏节点数为50，输入输出维度设置为令图像通道数依次递减50％，即与之前所述卷积层通道数改变对应相反；上采样层均采用最近邻插值上采样模块torch.nn.UpsamplingNearest2d，模块参数设置为输入输出参数设为令图像尺寸依次递增30％，即与之前所述池化层尺寸改变对应相反；
Dnet的结构为GRU+全连接，其中，GRU采用门控循环单元模块torch.nn.GRU，该模块参数为两个隐藏层和50个隐藏节点；全连接层采用线性模块torch.nn.Linear，参数为：单层网络，归化维度为16；DNet接收SENet输出的中间结果R和V，输出用于将初始输入图像变为正视图像的透视变换矩阵M；
S3.3、训练PoseNet；
S3.3.1、将图像Pj送入至PoseNet，从而输出的预测变换矩阵
Figure BDA0003359469220000091
S3.3.2、将图像Pj对应的变换矩阵Mj与预测变换矩阵
Figure BDA0003359469220000092
求取损失值
Figure BDA0003359469220000093
mτ为Mj中第τ个元素的值，
Figure BDA0003359469220000094
为
Figure BDA0003359469220000095
中第τ个元素的值；
S3.3.3、将损失值MSELoss进行反向传播求微分，从而更新PoseNet的参数，待参数更新完成后返回步骤S3.3.1继续输入下一张图像；
S3.3.4、当输入至PoseNet的图像数量达到λ张后，完成本轮训练，并计算本轮训练中对应的λ个损失值的均值；
S3.3.5、比较相邻两轮训练后损失值的均值的差值是否小于预设阈值，如果小于阈值，则表示网络收敛，迭代停止，得到训练完成的PoseNet；否则，返回步骤S3.3.1继续下一轮的训练；
S4、待检测图像的姿态调整；
将倾斜的待检测图像P输入至训练完成的PoseNet，从而输出预测变换矩阵
Figure BDA0003359469220000096
将预测变换矩阵
Figure BDA0003359469220000097
作为反透视变换函数的参数，然后利用透视变换函数进行透视变换，获得带有形变的图像
Figure BDA0003359469220000098
S5、匹配屏幕类型；
将图像
Figure BDA0003359469220000099
输入至特征提取网络ResNet-18，得到特征序列
Figure BDA00033594692200000910
将特征序列
Figure BDA00033594692200000911
与屏幕模版库中的各条特征序列依次进行相似度比对：
依次求解两特征序列的欧式距离d，
Figure BDA00033594692200000912
其中，fμ为屏幕模版库中特征序列F的第μ个元素值，
Figure BDA00033594692200000913
为特征序列
Figure BDA00033594692200000914
的第μ个元素值；
最后选取欧式距离最小的特征序列所对应的屏幕为图像所属；
S6、图像区域分割；
依据步骤S5中屏幕类别匹配结果调用目标分割模版，从图像中分割出若干待识别的区域，以及每个区域相应的放缩超参数；
在本实施例中，人工心肺机的四块屏幕A、B、C、D进行区域分割后，其分割的示意图如图10——图13所示，各图中分割后的矩形框即为待识别的区域；
S7、基于OCR技术的数据识别及处理；
将S6中的区域及其相应放缩超参数传入至预训练好的OCR网络模型，从而输出各待识别区域所对应的实时数据，其中，OCR网络模型具体采用开源的ChineseOCR模型；最后再将识别结果按HL7格式编码，编码完成后如表1所示，最后将编码后的结构实时传输至医院信息中心，以便医院为抢救病人做出实时反应。
参数 数值
流量(l/min) 0.00
泵速(rpm) 0
静脉血氧饱和度(％) 75.0
红细胞压积(％) 35
静脉温度(摄氏度) 24.4
单次剂量(l) 0.000
停跳液计时(秒) 00:00
总剂量(l) 0.000
压力1(mmHg) 105
压力2(mmHg) 80
计时器1(秒) 0:00
计时器2(秒) 75:55
计时器3(秒) 35:05
表1
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于人工神经网络技术的人工心肺机数据记录方法，其特征在于，包括以下步骤：
(1)、获取人工心肺机各屏幕图像；
对人工心肺机的四块屏幕进行编号，记为A、B、C、D；利用相机分别正对每块屏幕进行拍摄，每块屏幕拍摄k张正立图像，且每张图像拍摄时其显示的数据互不相同，最后将所有的正立图像按序编号记为Si，i＝1,2,…,4k；
(2)、初始化屏幕模版库与对应分割模版；
将各屏幕拍摄的每一张图像依次输入至特征提取网络ResNet-18，得到各屏幕相对应的特征序列，共计4k条特征序列，最后将这4k条特征序列作为屏幕模版库；
根据各屏幕数据显示区域，为各屏幕人为框选出固定位置的目标分割模版，并依据框选区域尺寸和数显字号预设各区域相应的放缩超参数；
(3)、搭建并训练姿态估计网络PoseNet；
(3.1)、获取PoseNet的训练数据；
将每一张正立图像Si通过有条件的随机选取变换参数来生成变换矩阵Mi，且每一张正立图像Si重复操作N次，从而得到4k*N个变换矩阵；
其中，有条件的随机选取变换参数的限制条件为：屏幕中心不变、不进行放缩、扭曲范围在30％以内；
将4k*N个变换矩阵依次作为反透视变换函数的参数，然后利用透视变换函数进行透视变换，获得4k*N张带有形变的图像，记为Pj，j＝1,2,…,4k*N；
(3.2)、搭建PoseNet的模型结构；
PoseNet包括分割提取网络SENet和解码网络DNet；
所述SENet分两条路径对输入图像进行分割提取，得到屏幕各数据区域R和基于类似图像不同数据区域等效的纹理的特征向量V；
其中，生成特征向量V的路径结构为：卷积层1-激活层1-池化层1-卷积层2-激活层2-丢弃层-池化层2-卷积层3-激活层3-池化层3-正则层-全连接层1；各卷积层均采用卷积模块torch.nn.Conv2d，卷积模块参数为：隐藏层数为2，隐藏节点数为50，输入输出维度设置为令图像通道数依次递增50％；各激活层均采用激活模块torch.nn.RELU，激活模块参数为：池化层采用最大值池化模块torch.nn.MaxPool2d，该模块的参数核长度设为与参数步长相等且令图像尺寸依次递减30％；丢弃层采用丢弃模块torch.nn.Dropout，丢弃模块参数为：丢弃概率为0.2；正则层采用正则模块torch.nn.BatchNorm2d，全连接层采用线性模块torch.nn.Linear，模块参数为：归化维度为128；
生成屏幕各数据区域R的路径的前一部分与上述路径结构共享，在上述路径的正则层输出之后分开，接入如下路径结构：卷积层4-上采样层1-卷积层5-上采样层2-卷积层6-上采样层3，并且4、5、6号卷积层所生成的特征图都会拼接源自于之前相应卷积层生成的特征图，即3与4、2与5、1与6的特征图拼接；其中各网络层具体实现模块为：各卷积层均采用卷积模块torch.nn.Conv2d，模块参数为：隐藏层数为2，隐藏节点数为50，输入输出维度设置为令图像通道数依次递减50％；上采样层均采用最近邻插值上采样模块torch.nn.UpsamplingNearest2d，模块参数设置为输入输出参数设为令图像尺寸依次递增30％；
Dnet的结构为GRU+全连接，其中，GRU采用门控循环单元模块torch.nn.GRU，该模块参数为两个隐藏层和50个隐藏节点；全连接层采用线性模块torch.nn.Linear，参数为：单层网络，归化维度为16；DNet接收SENet输出的中间结果R和V，输出用于将初始输入图像变为正视图像的透视变换矩阵M；
(3.3)、训练PoseNet；
(3.3.1)、将图像Pj送入至PoseNet，从而输出的预测变换矩阵
Figure FDA0003359469210000021
(3.3.2)、将图像Pj对应的变换矩阵Mj与预测变换矩阵
Figure FDA0003359469210000022
求取损失值
Figure FDA0003359469210000023
mτ为Mj中第τ个元素的值；
(3.3.3)、将损失值MSELoss进行反向传播求微分，从而更新PoseNet的参数，待参数更新完成后返回步骤(3.3.1)继续输入下一张图像；
(3.3.4)、当输入至PoseNet的图像数量达到λ张后，完成本轮训练，并计算本轮训练中对应的λ个损失值的均值；
(3.3.5)、比较相邻两轮训练后损失值的均值的差值是否小于预设阈值，如果小于阈值，则表示网络收敛，迭代停止，得到训练完成的PoseNet；否则，返回步骤(3.3.1)继续下一轮的训练；
(4)、待检测图像的姿态调整；
将倾斜的待检测图像P输入至训练完成的PoseNet，从而输出预测变换矩阵
Figure FDA0003359469210000031
将预测变换矩阵
Figure FDA0003359469210000032
作为反透视变换函数的参数，然后利用透视变换函数进行透视变换，获得带有形变的图像
Figure FDA0003359469210000033
(5)、匹配屏幕类型；
将图像
Figure FDA0003359469210000034
输入至特征提取网络ResNet-18，得到特征序列
Figure FDA0003359469210000035
将特征序列
Figure FDA0003359469210000036
与屏幕模版库中的各条特征序列依次进行相似度比对：
依次求解两特征序列的欧式距离d，
Figure FDA0003359469210000037
其中，fμ为屏幕模版库中特征序列F的第μ个元素值，
Figure FDA0003359469210000038
为特征序列
Figure FDA0003359469210000039
的第μ个元素值；
最后选取欧式距离最小的特征序列所对应的屏幕为图像所属；
(6)、图像区域分割；
依据步骤(5)中屏幕类别匹配结果调用目标分割模版，从图像中分割出若干待识别的区域，以及每个区域相应的放缩超参数；
(7)、基于OCR技术的数据识别及处理；
将(6)中的区域及其相应放缩超参数传入至预训练好的OCR网络模型，从而输出各待识别区域所对应的实时数据；最后再将识别结果按HL7格式编码并实时传输至医院信息中心，以便医院为抢救病人做出实时反应。
CN202111362663.4A 2021-11-17 2021-11-17 一种基于人工神经网络技术的人工心肺机数据记录方法 Active CN114187582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111362663.4A CN114187582B (zh) 2021-11-17 2021-11-17 一种基于人工神经网络技术的人工心肺机数据记录方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111362663.4A CN114187582B (zh) 2021-11-17 2021-11-17 一种基于人工神经网络技术的人工心肺机数据记录方法

Publications (2)

Publication Number Publication Date
CN114187582A true CN114187582A (zh) 2022-03-15
CN114187582B CN114187582B (zh) 2023-04-21

Family

ID=80540231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111362663.4A Active CN114187582B (zh) 2021-11-17 2021-11-17 一种基于人工神经网络技术的人工心肺机数据记录方法

Country Status (1)

Country Link
CN (1) CN114187582B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620337A (zh) * 2022-10-11 2023-01-17 深圳市谷奇创新科技有限公司 一种用于生命体征的光纤传感器监测方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126881A (zh) * 2008-03-26 2016-11-16 赛拉诺斯股份有限公司 表征对象的临床结果的计算机系统
CN109598727A (zh) * 2018-11-28 2019-04-09 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法
US20200250826A1 (en) * 2019-02-03 2020-08-06 Nec Corporation Of America Systems and methods for processing data extracted from frames captured from video signals
CN111522269A (zh) * 2020-04-21 2020-08-11 腾讯科技（深圳）有限公司 一种实验监控方法和相关装置
CN111950396A (zh) * 2020-07-27 2020-11-17 江苏大学 一种仪表读数神经网络识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126881A (zh) * 2008-03-26 2016-11-16 赛拉诺斯股份有限公司 表征对象的临床结果的计算机系统
CN109598727A (zh) * 2018-11-28 2019-04-09 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法
US20200250826A1 (en) * 2019-02-03 2020-08-06 Nec Corporation Of America Systems and methods for processing data extracted from frames captured from video signals
CN111522269A (zh) * 2020-04-21 2020-08-11 腾讯科技（深圳）有限公司 一种实验监控方法和相关装置
CN111950396A (zh) * 2020-07-27 2020-11-17 江苏大学 一种仪表读数神经网络识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KULKAMI S等: "cnn-based LCD transcription of blood pressure from a mobile phone camera" *
张春丽等: "大数据分析技术及其在医药领域中的应用" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620337A (zh) * 2022-10-11 2023-01-17 深圳市谷奇创新科技有限公司 一种用于生命体征的光纤传感器监测方法和系统

Also Published As

Publication number Publication date
CN114187582B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
EP3968222A1 (en) Classification task model training method, apparatus and device and storage medium
US20220148191A1 (en) Image segmentation method and apparatus and storage medium
US11967151B2 (en) Video classification method and apparatus, model training method and apparatus, device, and storage medium
US11922638B2 (en) Medical image segmentation method and apparatus, computer device, and readable storage medium
CN111310707B (zh) 基于骨骼的图注意力网络动作识别方法及系统
JP7476428B2 (ja) 画像の視線補正方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム
US12067690B2 (en) Image processing method and apparatus, device, and storage medium
WO2020107847A1 (zh) 基于骨骼点的跌倒检测方法及其跌倒检测装置
KR20200087780A (ko) 뉴럴 네트워크들에 대한 멀티-태스크 학습을 위한 메타-학습
CN109697741A (zh) 一种pet图像重建方法、装置、设备及介质
CN111222486B (zh) 手部姿态识别模型的训练方法、装置、设备及存储介质
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
US12008793B2 (en) Object behavior analysis method, information display method, and electronic device
WO2007059477A2 (en) Virtual patient simulator
WO2022252929A1 (zh) 医学图像中组织结构的层级分割方法、装置、设备及介质
KR102385150B1 (ko) 영상 및 딥러닝 기반의 심폐소생술 실시간 술기 평가방법
CN113888541B (zh) 一种腹腔镜手术阶段的图像识别方法、装置及存储介质
US11475568B2 (en) Method for controlling display of abnormality in chest x-ray image, storage medium, abnormality display control apparatus, and server apparatus
CN114187582A (zh) 一种基于人工神经网络技术的人工心肺机数据记录方法
CN116994695A (zh) 报告生成模型的训练方法、装置、设备及存储介质
CN114724251A (zh) 一种在红外视频下基于骨架序列的老人行为识别方法
CN116386129A (zh) 一种基于轻量化GLnet网络的手语识别方法及系统
KR20230128182A (ko) 인공지능 기반 어깨 회전근 개 근육 지방 변성 질환 판독 방법, 장치 및 프로그램
CN109508668A (zh) 一种镜头类型信息识别方法及装置
Li et al. Automatic pulmonary vein and left atrium segmentation for TAPVC preoperative evaluation using V-net with grouped attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant