CN116994746B - 智能化aed急救辅助方法及系统、装置、可读存储介质 - Google Patents

智能化aed急救辅助方法及系统、装置、可读存储介质 Download PDF

Info

Publication number
CN116994746B
CN116994746B CN202311256171.6A CN202311256171A CN116994746B CN 116994746 B CN116994746 B CN 116994746B CN 202311256171 A CN202311256171 A CN 202311256171A CN 116994746 B CN116994746 B CN 116994746B
Authority
CN
China
Prior art keywords
cpr
emergency
patient
implementation
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311256171.6A
Other languages
English (en)
Other versions
CN116994746A (zh
Inventor
荆伟
黄华
陈宜琳
刘思行
吴群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pumikon Jiangsu Medical Technology Co ltd
Original Assignee
Pumikon Jiangsu Medical Technology Co ltd
Suzhou Yuyue Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pumikon Jiangsu Medical Technology Co ltd, Suzhou Yuyue Medical Technology Co Ltd filed Critical Pumikon Jiangsu Medical Technology Co ltd
Priority to CN202311256171.6A priority Critical patent/CN116994746B/zh
Publication of CN116994746A publication Critical patent/CN116994746A/zh
Application granted granted Critical
Publication of CN116994746B publication Critical patent/CN116994746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种智能化AED急救辅助方法及系统、装置、可读存储介质。方法包括：根据CPR动作标准标识训练并建立CPR映射关系，输出CPR映射模型、CPR实施前识别急救条件是否符合标准，使用训练好的CPR映射模型输出CPR动作标准反馈，以进行CPR动作规范指导，引导CPR过程的实施；系统包括智能化AED装置、急救平台服务器、急救医护端。本方案结合了深度学习、CPR实施前后重要模型的构建以及全急救流程伴随人工智能辅助指引的智能化AED急救辅助，能够降低在紧急情况下对于实施者的专业程度需求，确保在突发状态且不具备专业人员的情况下也能快速、有效地对患者进行CPR急救。

Description

智能化AED急救辅助方法及系统、装置、可读存储介质
技术领域
本发明涉及心肺复苏技术领域，特别涉及一种全急救流程伴随人工智能辅助指引的智能化AED急救辅助方法及系统、装置、可读存储介质。
背景技术
本部分的陈述仅仅是提供了与本申请相关的背景技术信息，不必然构成在先技术。
心脏骤停病人早期85％～90％是室颤，治疗室颤最有效的方法是及早使用AED（Automated External Defibrillator，自动体外心脏除颤器）除颤。室颤发生后，最有效的是在3-5分钟内除颤，除颤每推迟1分钟，存活率降低7％～10％。在公共场合放置AED急救设备是降低心脏骤停猝死的重要措施。AED体外除颤是CPR（Cardio PulmonaryResuscitation，心肺复苏术）当中的一个重要步骤。使用AED的人为AED，CPR的实施者（以下简称实施者），接受AED体外除颤的人为AED，CPR的接受者（以下简称患者）。
目前，AED已经被广泛应用在医院之外的公共场所配置中，用于及时救助由于突发心脏骤停的患者，AED主要结构分为电能存储、主控单元、放电单元、电极片等。由于AED设备是事关患者生命安危的专业设备，通常需要经受频度较高的基础生命支持培训的实施者以及专业的医护人员来进行急救操作，但是在公共场所出现突发心脏骤停的患者后，并不是都能具备专业的急救员及医护人员来操作AED，因此需要有能够对AED操作过程中提供急救辅助的方法及装置，来对AED，CPR的实施者进行相应的急救辅助，所需的急救辅助至少要包括提供引导和指示。
在实现本发明的过程中，申请人发现针对AED使用提供引导和指示的方案中，现有技术还至少存在有以下问题：
1、目前现有的AED结合CPR急救过程中，仅包含CPR传感器的AED有对应的CPR反馈，无CPR传感器的AED针对CPR过程中的引导和指示是远远不够的。
2、目前现有的CPR辅助技术，特别是使用图像的人工智能技术，大多仅关注对于CPR过程的引导和指示环节，而对于结合使用AED的CPR准备及除颤阶段的引导和环境判断环节仍有不足。
3、目前现有辅助方法对于CPR实施阶段的辅助主要侧重使用图像识别技术对实施者的姿态进行识别，用于解决CPR实施动作要求的规范化，而忽略了CPR接受主体，也就是患者在CPR下的反馈，不当或者过度的CPR都可能导致患者的二次伤害。
因此，如何解决上述的AED在心肺复苏过程中存在的问题，便成为本发明所要研究解决的课题。
发明内容
本发明的目的是提供一种智能化AED急救辅助方法及系统、装置、可读存储介质。
为达到上述目的，本发明的第一方面提出了一种智能化AED急救辅助方法，所述急救辅助方法包含以下步骤：
S100、训练建立CPR映射模型，以实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，根据CPR动作标准标识训练并建立CPR映射关系，输出CPR映射模型；
S200、CPR实施前识别急救条件是否符合标准，启用智能化AED装置后，在CPR实施前进行前景和背景的分离，针对环境背景识别并判断当前急救环境是否符合急救标准，针对人体前景识别并判断患者人体位置特征是否满足符合急救标准；
S300、CPR实施时提供CPR动作规范指导和引导，在CPR实施时，使用人体姿态识别模型对实施者的关键点进行定位并获得实施者人体姿态关键点检测定位特征，建立人体皮肤反射模型并对患者的CPR反馈在患者血流动力学参数特征上进行实时反馈，结合实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，使用训练好的CPR映射模型输出CPR动作标准反馈，以进行CPR动作规范指导，引导CPR过程的实施。
本发明的第二方面提出了一种智能化AED急救辅助系统，用于第一方面所述的方法中的中的智能化AED急救辅助，其创新点在于，该系统包括：智能化AED装置、急救平台服务器、急救医护端；
所述智能化AED装置为用于带有AI识别模块的用于体外除颤的装置，所述AI识别模块中部署有接合实施者人体姿态关键点检测定位特征和患者血流动力学参数特征、根据CPR动作标准标识训练并建立CPR映射关系后所输出的CPR映射模型，所述AI识别模块用于CPR实施前识别急救条件是否符合标准、CPR实施时提供CPR动作规范指导和引导；
所述急救平台服务器与智能化AED装置通过远距离无线方式进行通信，所述急救平台服务器用于接收到智能化AED装置上传的数据，储存并转急救医生所需的数据发到所述急救医护端；
所述急救医护端用于展示接收到的数据并与所述智能化AED装置进行实时音视频通话。
本发明的第三方面提出了一种智能化AED急救辅助装置，用于第一方面所述的方法中的中的智能化AED急救辅助，所述智能化AED急救辅助装置包括主控模块、唤醒检测模块、视频采集模块、音频采集模块、电源模块、通信模块、AI识别模块、存储模块、语音播报模块、视频展示模块，预警模块；
所述主控模块用于信息集中、存储、分析和决策；
所述唤醒检测模块用于在智能化AED装置使用时自动唤醒AED数据采集；
所述音频采集模块用于采集现场实时音频；
所述视频采集模块用于采集现场实时视频；
所述电源模块用于为其它模块供电；
所述AI识别模块用于识别电极片安装位置、急救环境干扰因素，进行CPR质量分析，识别患者的生理数据并输出纠错结果信息；
所述存储模块用于存储AED运行信息、治疗信息、检测信息、AI识别反馈信息；
所述通信模块用于负责与急救平台服务器、急救医护端进行通信；
所述语音播报模块用于播报语音提示与视频通话的音频；
所述视频展示模块用于展示视频提示与视频通话的视频；
所述预警模块用于负责医护急救端未对急救事件做出响应时的报警。
本发明的第四方面提出了一种可读存储介质，所述可读存储介质上存储有控制程序，所述控制程序被AI识别模块执行时，使得所述AI识别模块执行如第一方面所述智能化AED急救辅助方法的步骤。
本发明的有关内容解释如下：
1.通过本发明的上述技术方案的实施，在部署智能化AED装置之前先以实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，根据CPR动作标准标识训练并建立CPR映射关系，以此来为后续CPR实施时提供CPR映射模型，在训练建立CPR映射模型的过程中，即考虑实施者的CPR动作的规范、又重视患者在CPR下的反馈，以使为后续CPR实施时提供正确、良好的CPR动作规范指导和引导，此为深度学习的过程，可以根据训练量的增加、智能化AED急救辅助方法应用次数的增加逐渐提高准确性、识别速度；而在CPR实施前进行前景和背景的分离，可以快速地进行识别，针对环境背景识别并判断当前急救环境是否符合急救标准，针对人体前景识别并判断患者人体位置特征是否满足符合急救标准，并且提供相应的引导和提示，以此来确保CPR环境是安全的、患者姿势状态能够满足急救要求，为CPR的展开提供必要的技术识别、引导，避免患者受二次伤害，避免造成CPR效果降低或无效；而在CPR实施时，再使用人体姿态识别模型对实施者的关键点进行定位并获得实施者人体姿态关键点检测定位特征，这是对施救者的操作体位、CPR按压位置、CPR按压姿势、CPR按压深度、CPR按压频率、CPR按压次数等是否标准来提供相应的特征参数，建立人体皮肤反射模型并对患者的CPR反馈在患者血流动力学参数特征上进行实时反馈，这是对患者在被实施CPR时非常重要的人体心脏活动以及血流活动状态来提供相应的特征参数，并结合实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，实时反馈也可让实施者以外的第三方介入，以更好地根据患者的人体心脏活动以及血流活动状态来提供另外的指导和配合，在使用训练好的CPR映射模型输出CPR动作标准反馈，以此来进行CPR动作规范指导，引导CPR过程的实施。以上方案的实施，是结合了深度学习、CPR实施前后重要模型的构建以及全急救流程伴随人工智能辅助指引的智能化AED急救辅助，能够降低在紧急情况下对于实施者的专业程度需求，使经受频度较低的基础生命支持培训的实施者也能快速对患者实施CPR急救，从而确保在突发状态且不具备专业人员的情况下也能快速、有效地对患者进行CPR急救，提高患者存活率和急救效果，也为后续治疗提供准确、完整的救治信息，以此进一步确保患者的生命安全、健康保障。
2.在上述技术方案的第一方面中，所述急救辅助方法还包括在启用智能化AED装置后启动远程AI急救功能，智能化AED装置通过急救平台服务器连接远程医生，并将CPR实施前的前景数据、背景数据以及在CPR实施时的实施者数据、患者数据上传至急救平台服务器，由远程医生在CPR实施前和CPR实施时全程音视频参与CPR急救，由远程医生远程指导现场的实施者执行有效的CPR与正确使用AED等操作，以此来弥补急救现场比较紧急、实施者无法顾全所有情况的发生，且作为全称参与CPR急救的专业的远程医生，可以在为经过CPR急救的患者后续的治疗提供参考和相关意见，进一步确保患者的人身健康能被进行良好的治疗。
3.在上述技术方案的第一方面中，启用智能化AED装置后自动唤醒AED数据采集，并进行前景数据、背景数据、实施者数据、患者数据的AI标识，根据AI标识结果对应CPR映射模型进行标识输出，在进行CPR动作规范指导中提供语音指引和屏幕展示，以让在远程的远程医生能够同步看到在急救现场有关急救环境、急救条件、实施者的动作、患者的反馈等一些列有关急救的数据，更加直观、快速，能让远程医生第一时间了解相关急救过程，以让远程医生能够更全面地参与CPR急救，同时这些标识和输出，也能让在急救现场的实施者也能够被得到更全面、更准确、迅速的CPR指引，以此来为患者提供更加专业的AED急救。
4.在上述技术方案的第一方面中，在S200CPR实施前识别急救条件是否符合标准的步骤中，包含以下步骤：
S210、采集CPR实施前的视频图像，在CPR实施前采集AED设备所处环境的视频图像以及患者人体的视频图像；
S220、CPR实施前视频图像的预处理，将采集到的AED设备所处环境的视频图像以及患者人体的视频图像进行灰度化和滤波预处理；
S230、进行CPR实施前的前景和背景分离，将环境背景与前景人体进行分离；
S240、判断当前急救环境是否符合急救标准，根据环境背景计算CPR实施前的环境干扰反馈标识，判断环境背景是否符合急救标准；
S250、判断患者人体位置特征是否满足符合急救标准，提取前景人体的患者人体位置特征，根据患者人体位置特征判断患者是否满足符合急救标准；
S260、输出CPR实施前的前景和背景的判断标识。
通过以上在CPR实施前的流程的实施，可以为实施者在进行CPR前智能判断急救条件是否符合标准，确保实施者的急救环境安全，避免患者受到二次伤害，为在紧急情况下实施CPR的实施者提供正确的智能辅助，以此来减少实施者的负担。同时，以上的CPR实施前的流程，可以更加快速、准确地将前景、背景进行分离并分别进行判断、识别，准确率高，可排除很多干扰因素，以进一步保障急救环境的安全。
5.在上述技术方案的第一方面中，在S220数据预处理步骤中，包含以下步骤：
在S230进行CPR实施前的前景和背景分离的步骤中，使用深度低秩模型进行前景和背景分离；以残差分量提取背景，并比较除颤期间背景残差变化；以低秩分量自动描记患者人体位置特征；
在S240判断当前急救环境是否符合急救标准的步骤中，根据环境干扰反馈标识来判断输出摄像距离是否合适、环境是否安全干燥；
在S250判断患者人体位置特征是否满足符合急救标准的步骤中，根据患者人体位置特征来判断患者姿势是否满足要求、衣物是否满足要求、电极片摆放位置是否正确。
通过以上在CPR实施前的流程的实施，进一步增强了前景、背景分离的精度、准确性及效率，采用了更加合理、快速的手段来在CPR实施前识别急救条件是否符合标准，
6.在上述技术方案的第一方面中，在S210采集CPR实施前的视频图像的步骤中，输 入，其中X表示采集到的视频图像矩阵；
在S220CPR实施前视频图像的预处理的步骤中，将中的每一帧都转 化为(0，255)的灰度矩阵，并进行滤波预处理；
在S230进行CPR实施前的前景和背景分离的步骤中，将使用低秩分 解理论进行前景和背景的提取，；Az表示低秩分解后得到的前景部分，前景部分；E表示采集到的视频图像矩阵减去前景人体轮廓所描述的背景部 分，背景部分，以残差分量提取背景，并比较除颤期间背景残差变化；
在S240判断当前急救环境是否符合急救标准的步骤中，各个t时刻背景Et与总体背景E进行匹配，以判断背景环境是否存在干扰；
在S250判断患者人体位置特征是否满足符合急救标准的步骤中，使用纹理提取、 人体定位点技术对人体轮廓的特征图像表示进行关键点的定位和特征提 取；
在S260、输出CPR实施前的前景和背景的判断标识的步骤中，输出前景人体关键点定位，着衣判断，输出背景环境干扰判断标识。
通过以上在CPR实施前的具体流程的实施，可以准确、有效地计算CPR实施前的环境干扰反馈标识、提取前景人体的患者人体位置特征，以为智能化AED急救辅助提供助力。
7.在上述技术方案的第一方面中，在S230进行CPR实施前的前景和背景分离的步 骤中，将公式进行非线性化，并使用Frobenius范数用于约束矩阵的低秩，将实 时的矩阵分解求解过程转化为Frobenius范数下的极值问题进行求解：
；
其中，表示为非线性函数；
再使用深度网络对上述公式的非线性表示和求解，具体为多层神经网络进行低秩分解模型，如下：
；
其中，xt表示某时刻t的图像灰度矩阵；
在多层神经网络的前向传播过程中，人体轮廓的建立过程为，其中，表示单层神经网络的激活函数，表示神经网络深度，表示单层神经网络的参数集合，如下：
；
其中分别表示单层神经网络的权重，表示单层神经网络的偏置参数，在多 层神经网络中的单层神经网络的非线性表示具体为：；
在多层神经网络的前向传播过程中，某时刻t的背景残差可以计算为：；
在S240判断当前急救环境是否符合急救标准的步骤中，总体平均背景通过总体背 景E的平均所表示，即平均背景，通过计算各个t时刻背景Et与平均背景的差量进行判断 是否当前时刻存在干扰，如下：
；
如果差量ε大于系统设定的阈值，则我们判断此时背景存在环境干扰，反之则不存在环境干扰；
在S250判断患者人体位置特征是否满足符合急救标准的步骤中，使用尺度不变特征转换计算机视觉算法模型来侦测与描述影像中的局部性特征，在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，用于表示人体和设备佩戴的关键点结果，以获得患者人体位置特征。
通过以上在CPR实施前的具体流程的实施，可以更加准确、有效地计算CPR实施前的环境干扰反馈标识、提取前景人体的患者人体位置特征，以为智能化AED急救辅助提供更大助力。
8.在上述技术方案的第一方面中，在S240判断当前急救环境是否符合急救标准的 步骤中，根据智能化AED装置的使用更新判别阈值，其过程如下：
深度低秩模型通过以下推断过程得到前景人体部分的结果为：
；
深度低秩模型通过以下推断过程得到环境背景部分的结果为：
；
获取实施者实际启动操作所对应的视频帧；
根据该视频帧所对应的时刻计算当前时刻背景：
；
计算平均背景：
；
根据当前时刻背景和平均背景来更新判别阈值：
。
9.在上述技术方案的第一方面中，在S100训练建立CPR映射模型的步骤中，包含有以下步骤：
S110、采集训练数据集合，采集训练时实施者、患者的视频图像，并集合CPR动作标准标识；
S120、训练视频图像预处理，对采集到的视频图像进行灰度化和滤波预处理；
S130、获取训练时实施者人体姿态关键点检测定位特征，进行实施者人体姿态关键点检测定位，并获取实施者人体姿态关键点检测定位特征；
S140、建立训练时患者的人体皮肤反射模型，使用光学rPPG技术建立训练时的人体皮肤反射模型；
S150、获取训练时患者血流动力学参数特征，使用人体皮肤反射模型进一步计算获取训练时的患者血流动力学参数特征；
S160、训练并建立CPR映射关系，以训练时实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，根据CPR动作标准标识进行训练并建立的CPR映射关系；
S170、输出CPR映射模型参数，根据CPR映射关系输出CPR映射模型参数。
通过以上训练建立CPR映射模型的过程的实施，解决了CPR实施动作要求的规范化过程中忽略患者在CPR下的反馈，使得在输出的CPR映射模型参数中结合了实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，并且是以使用光学rPPG技术建立训练时的人体皮肤反射模型，使得训练结果更加贴合实际CPR急救实施时实施者和患者会出现的各种情况，进而让最后得到的CPR映射模型更加合理、准确，在进行CPR急救时提供更好的智能化AED急救辅助。
10.在上述技术方案的第一方面中，在S300CPR实施时提供CPR动作规范指导和引导的步骤中，包含以下步骤：
S310、采集CPR实施时的视频图像，在CPR实施时采集实施者的视频图像和患者的视频图像；
S320、CPR实施时视频图像的预处理，将采集到的实施者的视频图像和患者的视频图像进行灰度化和滤波预处理；
S330、获取CPR实施时实施者人体姿态关键点检测定位特征，进行实施者人体姿态关键点检测定位，并获取CPR实施时实施者人体姿态关键点检测定位特征；
S340、建立CPR实施时患者的人体皮肤反射模型，使用光学rPPG技术建立CPR实施时的人体皮肤反射模型；
S350、获取CPR实施时患者血流动力学参数特征，使用人体皮肤反射模型进一步计算获取CPR实施时的患者血流动力学参数特征；
S360、计算CPR动作标准反馈，以CPR实施时的实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，使用训练好的CPR映射模型计算CPR动作标准反馈；
S370、输出CPR动作标准反馈，将CPR动作标准反馈给正在实施CPR的实施者，进行CPR动作规范指导，引导CPR过程的实施。
通过以上在CPR实施时提供CPR动作规范指导和引导的具体实施，可以更好得去获取在实际CPR实施时实施者的动作、患者的反应，并以此结合CPR映射模型获取更加合理、精确的反馈，以此来进行正确、快速的CPR动作规范指导，降低实施者的专业要求，确保患者能够被正确施救。
11.在上述技术方案的第一方面中，对于人体皮肤反射模型的建立，是基于远程光电容积脉搏波通过使用摄像头中多波长RGB相机，检测人体皮肤表面脉冲引起的细微颜色变化，实现对人体心脏活动以及血流动力学参数的非接触式监测，以建立人体皮肤反射模型。使用rPPG技术建立皮肤反射光学模型的原理通过皮肤漫反射所构成的光源，通过相机对其光谱和颜色通道灵敏度进行接收，这种颜色由于RPC实施者的操作引起的皮肤形变/镜面反射的变化和脉冲引起的细微的颜色变化。这种颜色变化，即皮肤漫反射光谱，由皮肤表皮组织和内部骨骼不同程度的吸收和反射，可以反映人体血流活动状态，使用人工智能方法对接收光进行分析可以得到人体血流动力学参数的反馈。
12.在上述技术方案的第一方面中，对于人体皮肤反射模型的建立，首先基于二色 反射模型，将记录的图像序列中每个皮肤像素的反射定义为RGB通道中的时变函数：，其中，Ck(t)表示第k个皮肤像素在t时刻的像素值，I (t)表示光照强度，Vs(t)表示镜面反射，Vd(t)表示漫反射，Vn(t)表示相机的量化噪声；
镜面反射Vs定义为：，其中，Us代表由相机捕捉的镜面反射 光光谱的单位颜色向量，S0代表镜面反射的直流部分的光强，s(t)代表镜面反射的交流部 分的光强；
漫反射Vd(t)定义为：，其中，Ud表示皮肤表皮组织的单 位颜色向量，d0表示固有的漫反射的强度，Up代表脉搏信号中不同颜色通道的贡献程度，p (t)表示脉搏信号的强度；
镜面反射Vs和漫反射Vd中都包含不随时间改变的静止部分和随时间改变的动态部 分，将两种反射的静态部分组合起来，表示为：，式中，Uc表示皮肤 固有反射的单位颜色向量；c0表示固有反射的光照强度；
光照强度I(t)也分为固有光强I0以及随时间变化的光强I0·i(t)，I0和I0·i(t) 具有相同的方向，表示为：；
由此得到患者的人体皮肤反射模型如下：。
13.在上述技术方案的第一方面中，通过对每一帧ROI区域中的像素点进行空间平均来构成时域信号，获取足够像素点的空间平均来有效降低相机的量化噪声，以此来忽略相机的量化噪声Vn(t)，同时，相比于相机捕捉的直流分量，交流分量的强度很小，交流分量的乘积项也忽略，以此来将得到的人体皮肤反射模型展开，可得到:
；
在展开的人体皮肤反射光学模型下，观测值Ck(t)变成是一个直流分量和三个交流源信号i(t)、s(t)和p(t)的线性混合，分别为：表示直流分量的I0·Uc·c0，表示光照强度交流分量的I0·Uc·c0·i(t)，表示镜面反射分量的I0·Us·s(t)，以及表示脉搏信号分量的I0·Up·p(t)。
14.在上述技术方案的第一方面中，对于患者血流动力学参数特征的获取步骤中， 先将展开的人体皮肤反射模型中k个皮肤像素进行加权平均计算远程光电容积脉搏波的一 维脉冲信号：，各项患者血流动力学参数特征的计算包括：
心率：一维脉冲信号的最高峰值表示信号的吸收峰，一维脉冲信号中两次吸收峰之间的时间间隔为脉搏波信号中的峰峰值间期PPI，计算脉搏波信号中的峰峰值间期PPI以计算心率；
HRV：HRV表示心率变异性，用脉搏波信号中的峰峰值间期PPI代替心电信号中的RRI来进行HRV的计算；
SV：SV表示每搏输出量，使用脉冲巡回分析方法计算脉搏冲程容积，，其中，C'(t)表示C(t)信号的一次完整周期；
CO：CO表示左或右心室每分钟泵出的心输出量，为每搏输出量和心率的乘积。
15.在上述技术方案的第一方面中，训练并建立CPR映射关系的步骤或者计算CPR动作标准反馈的步骤，是结合实施者人体姿态关键点检测定位特征和患者血流动力学参数特征、以CPR动作标准为反馈的CPR映射关系的过程，该过程如下：
输入特征：
；
；
其中特征集X由两组特征和组成，表示矩阵向量的拼接，表示实施者人体 姿态关键点检测定位特征，表示患者血流动力学参数特征，Y表示CPR动作标准标识；
CPR映射关系为通过大量实验的方式并结合观察和统计决定来建立，或者采用机器学习和深度学习的方法计算来建立，其中用于训练的CPR动作标准标识Y由人工进行标记并建立训练数据集；
然后通过多元回归模型，建立CPR映射关系：
；
；
在上式中，W和b分别表示CPR映射模型的参数权重；
15.在上述技术方案的第一方面中，在S100训练建立CPR映射模型的步骤中，根据计算得到的特征集X，以及训练数据集中包含的CPR动作标准标识Y，进行训练得到模型参数W和b；
在S300CPR实施时提供CPR动作规范指导和引导的步骤中，通过实时计算得到的特征集X，以及训练的模型参数W和b，来计算CPR动作标准标识Y。
在S360计算CPR动作标准反馈的步骤中，根据智能化AED装置的使用更新模型参数W和b，其过程如下：
获取CPR动作标准标识Y；
获取实施者根据CPR动作规范指导后实际进行的操作转换为CPR数值标识；
以CPR数值标识作为目标输出，将采集到的特征集X作为模型输入对模型参数W和 b进行更新；
通过以下方式更新原有的模型参数W和b：
，其中为矩阵的转置操作运算。
由于上述方案的运用，本发明与现有技术相比具有以下优点和效果：
1、通过本发明技术方案的实施，在部署智能化AED装置之前先以实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，根据CPR动作标准标识训练并建立CPR映射关系，以此来为后续CPR实施时提供CPR映射模型，在训练建立CPR映射模型的过程中，即考虑实施者的CPR动作的规范、又重视患者在CPR下的反馈，以使为后续CPR实施时提供正确、良好的CPR动作规范指导和引导，此为深度学习的过程，可以根据训练量的增加、智能化AED急救辅助方法应用次数的增加逐渐提高准确性、识别速度。
2、通过本发明技术方案的实施，在CPR实施前进行前景和背景的分离，可以快速地进行识别，针对环境背景识别并判断当前急救环境是否符合急救标准，针对人体前景识别并判断患者人体位置特征是否满足符合急救标准，并且提供相应的引导和提示，以此来确保CPR环境是安全的、患者姿势状态能够满足急救要求，为CPR的展开提供必要的技术识别、引导，避免患者受二次伤害，避免造成CPR效果降低或无效。
3、通过本发明技术方案的实施，在CPR实施时，再使用人体姿态识别模型对实施者的关键点进行定位并获得实施者人体姿态关键点检测定位特征，这是对施救者的操作体位、CPR按压位置、CPR按压姿势、CPR按压深度、CPR按压频率、CPR按压次数等是否标准来提供相应的特征参数，建立人体皮肤反射模型并对患者的CPR反馈在患者血流动力学参数特征上进行实时反馈，这是对患者在被实施CPR时非常重要的人体心脏活动以及血流活动状态来提供相应的特征参数，并结合实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，实时反馈也可让实施者以外的第三方介入，以更好地根据患者的人体心脏活动以及血流活动状态来提供另外的指导和配合，在使用训练好的CPR映射模型输出CPR动作标准反馈，以此来进行CPR动作规范指导，引导CPR过程的实施。
4、综上所述，以上方案的实施，是结合了深度学习、CPR实施前后重要模型的构建以及全急救流程伴随人工智能辅助指引的智能化AED急救辅助，能够降低在紧急情况下对于实施者的专业程度需求，使经受频度较低的基础生命支持培训的实施者也能快速对患者实施CPR急救，从而确保在突发状态且不具备专业人员的情况下也能快速、有效地对患者进行CPR急救，同时也全程结合患者的实时身体反馈，提高患者存活率和急救效果，也为后续治疗提供准确、完整的救治信息，以此进一步确保患者的生命安全、健康保障。
附图说明
图1为本发明实施例智能化AED急救辅助方法的流程示意图；
图2为本发明实施例智能化AED急救辅助方法的详细流程示意图；
图3为本发明实施例智能化AED急救辅助系统的示意图；
图4为本发明实施例智能化AED急救辅助装置的示意图；
图5为本发明实施例的系统工作流程图；
图6为彩色相机采集人体rPPG信号的示意图；
图7为二色反射模型的示意图；
图8为ECG和PPG波形图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似改进，因此本申请不受下面公开的具体实施例的限制。
本文的用语只为描述特定实施例，而无意为本案的限制。单数形式如“一”、“这”、“此”、“本”以及“该”，如本文所用，同样也包含复数形式。
关于本文中所使用的“第一”、“第二”等，并非特别指称次序或顺位的意思，亦非用以限定本案，其仅为了区别以相同技术用语描述的组件或操作。
关于本文中所使用的“连接”或“定位”，均可指二或多个组件或装置相互直接作实体接触，或是相互间接作实体接触，亦可指二或多个组件或装置相互操作或动作。
关于本文中所使用的“包含”、“包括”、“具有”等，均为开放性的用语，即意指包含但不限于。
关于本文中所使用的用词（terms），除有特别注明外，通常具有每个用词使用在此领域中、在本案内容中与特殊内容中的平常意义。某些用以描述本案的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本案描述上额外的引导。
本发明旨在提供全急救流程伴随人工智能辅助指引的智能化AED急救辅助，结合了深度学习、CPR实施前后重要模型的构建，能够降低在紧急情况下对于实施者的专业程度需求，使经受频度较低的基础生命支持培训的实施者也能快速对患者实施CPR急救，从而确保在突发状态且不具备专业人员的情况下也能快速、有效地对患者进行CPR急救，同时也全程结合患者的实时身体反馈，提高患者存活率和急救效果。
实施例一，如图1所示，本发明实施例一提出了一种智能化AED急救辅助方法，所述智能化AED急救辅助方法包含以下步骤：
S100、训练建立CPR映射模型，以实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，根据CPR动作标准标识训练并建立CPR映射关系，输出CPR映射模型；
S200、CPR实施前识别急救条件是否符合标准，启用智能化AED装置后，在CPR实施前进行前景和背景的分离，针对环境背景识别并判断当前急救环境是否符合急救标准，针对人体前景识别并判断患者人体位置特征是否满足符合急救标准；
S300、CPR实施时提供CPR动作规范指导和引导，在CPR实施时，使用人体姿态识别模型对实施者的关键点进行定位并获得实施者人体姿态关键点检测定位特征，建立人体皮肤反射模型并对患者的CPR反馈在患者血流动力学参数特征上进行实时反馈，结合实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，使用训练好的CPR映射模型输出CPR动作标准反馈，以进行CPR动作规范指导，引导CPR过程的实施。
在上述的S100训练建立CPR映射模型的步骤中，在部署智能化AED装置之前先以实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，根据CPR动作标准标识训练并建立CPR映射关系，以此来为后续CPR实施时提供CPR映射模型，在训练建立CPR映射模型的过程中，即考虑实施者的CPR动作的规范、又重视患者在CPR下的反馈，以使为后续CPR实施时提供正确、良好的CPR动作规范指导和引导，此为深度学习的过程，可以根据训练量的增加、智能化AED急救辅助方法应用次数的增加逐渐提高准确性、识别速度。
在上述S200CPR实施前识别急救条件是否符合标准的步骤中，在CPR实施前进行前景和背景的分离，可以快速地进行识别，针对环境背景识别并判断当前急救环境是否符合急救标准，针对人体前景识别并判断患者人体位置特征是否满足符合急救标准，并且提供相应的引导和提示，以此来确保CPR环境是安全的、患者姿势状态能够满足急救要求，为CPR的展开提供必要的技术识别、引导，避免患者受二次伤害，避免造成CPR效果降低或无效。
在上述S300CPR实施时提供CPR动作规范指导和引导的步骤中，在CPR实施时，再使用人体姿态识别模型对实施者的关键点进行定位并获得实施者人体姿态关键点检测定位特征，这是对施救者的操作体位、CPR按压位置、CPR按压姿势、CPR按压深度、CPR按压频率、CPR按压次数等是否标准来提供相应的特征参数，建立人体皮肤反射模型并对患者的CPR反馈在患者血流动力学参数特征上进行实时反馈，这是对患者在被实施CPR时非常重要的人体心脏活动以及血流活动状态来提供相应的特征参数，并结合实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，实时反馈也可让实施者以外的第三方介入，以更好地根据患者的人体心脏活动以及血流活动状态来提供另外的指导和配合，在使用训练好的CPR映射模型输出CPR动作标准反馈，以此来进行CPR动作规范指导，引导CPR过程的实施。
在本发明实施例一中，所述急救辅助方法还包括在启用智能化AED装置后启动远程AI急救功能，智能化AED装置通过急救平台服务器连接远程医生，并将CPR实施前的前景数据、背景数据以及在CPR实施时的实施者数据、患者数据上传至急救平台服务器，由远程医生在CPR实施前和CPR实施时全程音视频参与CPR急救，由远程医生远程指导现场的实施者执行有效的CPR与正确使用AED等操作，以此来弥补急救现场比较紧急、实施者无法顾全所有情况的发生，且作为全称参与CPR急救的专业的远程医生，可以在为经过CPR急救的患者后续的治疗提供参考和相关意见，进一步确保患者的人身健康能被进行良好的治疗。
具体的，启用智能化AED装置后自动唤醒AED数据采集，并进行前景数据、背景数据、实施者数据、患者数据的AI标识，根据AI标识结果对应CPR映射模型进行标识输出，在进行CPR动作规范指导中提供语音指引和屏幕展示，以让在远程的远程医生能够同步看到在急救现场有关急救环境、急救条件、实施者的动作、患者的反馈等一些列有关急救的数据，更加直观、快速，能让远程医生第一时间了解相关急救过程，以让远程医生能够更全面地参与CPR急救，同时这些标识和输出，也能让在急救现场的实施者也能够被得到更全面、更准确、迅速的CPR指引，以此来为患者提供更加专业的AED急救。
下面再以更加详细的其中一种较佳实施例来对本发明实施例一进行进一步的说明。
该较佳实施例的智能化AED急救辅助方法包含如图2所示的以下各详细步骤。
S100、训练建立CPR映射模型，以实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，根据CPR动作标准标识训练并建立CPR映射关系，输出CPR映射模型。
在S100训练建立CPR映射模型的步骤中，具体包含有以下步骤：
S110、采集训练数据集合，采集训练时实施者、患者的视频图像，并集合CPR动作标准标识；
S120、训练视频图像预处理，对采集到的视频图像进行灰度化和滤波预处理；
S130、获取训练时实施者人体姿态关键点检测定位特征，进行实施者人体姿态关键点检测定位，并获取实施者人体姿态关键点检测定位特征；
S140、建立训练时患者的人体皮肤反射模型，使用光学rPPG技术建立训练时的人体皮肤反射模型；
S150、获取训练时患者血流动力学参数特征，使用人体皮肤反射模型进一步计算获取训练时的患者血流动力学参数特征；
S160、训练并建立CPR映射关系，以训练时实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，根据CPR动作标准标识进行训练并建立的CPR映射关系；
S170、输出CPR映射模型参数，根据CPR映射关系输出CPR映射模型参数。
S200、CPR实施前识别急救条件是否符合标准，启用智能化AED装置后，在CPR实施前进行前景和背景的分离，针对环境背景识别并判断当前急救环境是否符合急救标准，针对人体前景识别并判断患者人体位置特征是否满足符合急救标准。
在S200CPR实施前识别急救条件是否符合标准的步骤中，具体包含以下步骤：
S210、采集CPR实施前的视频图像，在CPR实施前采集AED设备所处环境的视频图像以及患者人体的视频图像；
S220、CPR实施前视频图像的预处理，将采集到的AED设备所处环境的视频图像以及患者人体的视频图像进行灰度化和滤波预处理；
S230、进行CPR实施前的前景和背景分离，将环境背景与前景人体进行分离；在S230进行CPR实施前的前景和背景分离的步骤中，使用深度低秩模型进行前景和背景分离；以残差分量提取背景，并比较除颤期间背景残差变化；以低秩分量自动描记患者人体位置特征；
S240、判断当前急救环境是否符合急救标准，根据环境背景计算CPR实施前的环境干扰反馈标识，判断环境背景是否符合急救标准；在S240判断当前急救环境是否符合急救标准的步骤中，根据环境干扰反馈标识来判断输出摄像距离是否合适、环境是否安全干燥；
S250、判断患者人体位置特征是否满足符合急救标准，提取前景人体的患者人体位置特征，根据患者人体位置特征判断患者是否满足符合急救标准；在S250判断患者人体位置特征是否满足符合急救标准的步骤中，根据患者人体位置特征来判断患者姿势是否满足要求、衣物是否满足要求、电极片摆放位置是否正确。
S260、输出CPR实施前的前景和背景的判断标识。
S300、CPR实施时提供CPR动作规范指导和引导，在CPR实施时，使用人体姿态识别模型对实施者的关键点进行定位并获得实施者人体姿态关键点检测定位特征，建立人体皮肤反射模型并对患者的CPR反馈在患者血流动力学参数特征上进行实时反馈，结合实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，使用训练好的CPR映射模型输出CPR动作标准反馈，以进行CPR动作规范指导，引导CPR过程的实施。
在S300CPR实施时提供CPR动作规范指导和引导的步骤中，具体包含以下步骤：
S310、采集CPR实施时的视频图像，在CPR实施时采集实施者的视频图像和患者的视频图像；
S320、CPR实施时视频图像的预处理，将采集到的实施者的视频图像和患者的视频图像进行灰度化和滤波预处理；
S330、获取CPR实施时实施者人体姿态关键点检测定位特征，进行实施者人体姿态关键点检测定位，并获取CPR实施时实施者人体姿态关键点检测定位特征；
S340、建立CPR实施时患者的人体皮肤反射模型，使用光学rPPG技术建立CPR实施时的人体皮肤反射模型；
S350、获取CPR实施时患者血流动力学参数特征，使用人体皮肤反射模型进一步计算获取CPR实施时的患者血流动力学参数特征；
S360、计算CPR动作标准反馈，以CPR实施时的实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，使用训练好的CPR映射模型计算CPR动作标准反馈；
S370、输出CPR动作标准反馈，将CPR动作标准反馈给正在实施CPR的实施者，进行CPR动作规范指导，引导CPR过程的实施。
对于步骤S100和S300中的人体皮肤反射模型的建立，是基于远程光电容积脉搏波通过使用摄像头中多波长RGB相机，检测人体皮肤表面脉冲引起的细微颜色变化，实现对人体心脏活动以及血流动力学参数的非接触式监测，以建立人体皮肤反射模型。使用rPPG技术建立皮肤反射光学模型的原理通过皮肤漫反射所构成的光源，通过相机对其光谱和颜色通道灵敏度进行接收，这种颜色由于RPC实施者的操作引起的皮肤形变/镜面反射的变化和脉冲引起的细微的颜色变化。这种颜色变化，即皮肤漫反射光谱，由皮肤表皮组织和内部骨骼不同程度的吸收和反射，可以反映人体血流活动状态，使用人工智能方法对接收光进行分析可以得到人体血流动力学参数的反馈。
实施例二，如图3所示，本发明实施例二提出了一种智能化AED急救辅助系统，该系统包括：智能化AED装置、急救平台服务器、急救医护端；
所述智能化AED装置为用于带有AI识别模块的用于体外除颤的装置，所述AI识别模块中部署有接合实施者人体姿态关键点检测定位特征和患者血流动力学参数特征、根据CPR动作标准标识训练并建立CPR映射关系后所输出的CPR映射模型，所述AI识别模块用于CPR实施前识别急救条件是否符合标准、CPR实施时提供CPR动作规范指导和引导；
所述急救平台服务器与智能化AED装置通过远距离无线方式进行通信，所述急救平台服务器用于接收到智能化AED装置上传的数据，储存并转急救医生所需的数据发到所述急救医护端；
所述急救医护端用于展示接收到的数据并与所述智能化AED装置进行实时音视频通话。
在本发明实施例二中，对于远距离无线方式，包括不限于蜂窝网络、Wi-Fi等方式。急救医护端可以是移动终端，例如智能手机、平板电脑等，具有实时联网通信和视频通话功能，也可以是笔记本电脑、安装有摄像头麦克风的PC机，用于远程指导现场人员执行有效的CPR与使用AED等操作。并在医护急救端配有报警装置，负责医护急救端未对急救事件做出响应时的报警。
实施例三，如图4所示，本发明实施例三提出了一种智能化AED急救辅助装置，用于本发明实施例一所述的方法中的中的智能化AED急救辅助，所述智能化AED急救辅助装置包括主控模块、唤醒检测模块、视频采集模块、音频采集模块、电源模块、通信模块、AI识别模块、存储模块、语音播报模块、视频展示模块，预警模块；
所述主控模块用于信息集中、存储、分析和决策；
所述唤醒检测模块用于在智能化AED装置使用时自动唤醒AED数据采集；
所述音频采集模块用于采集现场实时音频；
所述视频采集模块用于采集现场实时视频；
所述电源模块用于为其它模块供电；
所述AI识别模块用于识别电极片安装位置、急救环境干扰因素，进行CPR质量分析，识别患者的生理数据并输出纠错结果信息；
所述存储模块用于存储AED运行信息、治疗信息、检测信息、AI识别反馈信息；
所述通信模块用于负责与急救平台服务器进行通信；
所述语音播报模块用于播报语音提示与视频通话的音频；
所述视频展示模块用于展示视频提示与视频通话的视频；
所述预警模块用于负责医护急救端未对急救事件做出响应时的报警。
实施例四，本发明实施例四还提出了一种可读存储介质，所述可读存储介质上存储有控制程序，所述控制程序被AI识别模块执行时，使得所述AI识别模块执行如本发明实施例一所述智能化AED急救辅助方法的步骤。
下面结合图5所示的系统工作流程对本发明智能化AED急救辅助系统的实际应用进行说明。
智能化AED急救辅助系统的系统工作流程如下：
（1）打开智能化AED急救辅助装置后，自动唤醒AED数据采集，启动远程AI急救功能。
（2）开启智能急救辅助功能后，自动开启智能化AED急救辅助装置的AI识别模块，通过360度可移动摄像头获取急救场景的多角度实时影像，为AI图像识别采集相关数据。
（3）智能化AED急救辅助装置启用后，紧急事件通过急救平台服务器传至急救医护端，通过短信、系统消息提醒等方式通知医生，报警装置为医生快速响应紧急事件提供双重保险。
（4）AI识别模块判断患者当前是否需要CPR操作，如果不需要CPR操作则直接进行AED除颤。
（5）当患者需要进行CPR操作时，AI识别模块首先识别当下急救环境是否符合标准。
（6）确认当下急救环境符合急救标准后，AI识别模块识别患者电极片是否摆放正确。
（7）CPR过程中，AI识别模块将结合多个算法模型对实施者的CPR操作进行是否符合标准的识别。
（8）语音播报模块和视频展示模块将对AI算法模型数据处理后反馈的纠错进行语音与视频提示。
（9）急救过程中智能化AED急救辅助装置通过急救平台服务器与急救医护端建立视频通话。
（10）远程医生可以在急救医护端的屏幕上实时看到AI数据处理分析的结果并做出正确的决策。
（11）存储模块实时存储AED运行信息、治疗信息、检测信息、AI识别反馈信息。
（12）通信模块将采集的AED运行数据、监测数据、现场实时音视频数据、AI识别模块反馈的数据、定位数据实时上传到急救平台服务器并转发到急救医护端。
（13）急救医护端实时显示AED智能模块发送的音视频信息、定位信息、AED数据与AI识别模块反馈的信息，并通过急救平台服务器向AED发送音视频数据。
（14）智能模块通过通信模块与急救平台服务器进行数据通信，获取急救平台服务器发送的音视频数据，通过语音播报模块进行播报、视频展示模块进行展示。
下面再对智能化AED装置中的AI识别模块进行详细介绍。
结合AED的CPR过程主要是流程（5）、（6）所对应的识别当下急救环境是否符合标准与识别患者电极片是否摆放正确以及流程（7）所对应的识别CPR操作是否符合标准。
AI识别模块的主要功能包括：
1、针对CPR实施前阶段，使用深度低秩模型进行前景和背景分离，分别提取前景患者人体轮廓，以低秩分量自动描记人体位置特征，根据这些特征输出患者姿势是否满足要求、是否衣物、电极片摆放位置是否正确；以残差分量提取背景，并比较除颤期间背景残差变化，计算环境干扰反馈标识，并根据标识输出摄像距离是否合适、环境是否安全干燥。
2、针对CPR实时阶段，分别使用人体姿态关键点模型对实施者的关键点进行定位，使用光学rPPG技术建立人体皮肤反射模型，对患者的CPR反馈在血流动力学参数进行实时反馈，包括CO、BVR、SV等。并结合操作者的人体关键点定位和患者的血流动力学参数为特征，根据预训练的映射模型输出CPR动作规范指导，引导CPR过程的实施。
因此将AI识别模块的功能划分为AI模块1和AI模块2。
AI模块1和AI模块2所提供的具体功能如表1所示：
表1
对于AI识别模块中的AI模块1技术的实现方式，是通过前景背景分离模型实现的。
CPR过程中的AED使用，需要对患者的状态，以及设备的佩戴进行规范，并且也需要保证患者在电极除颤期间不受外界环境的影响。使用基于人工智能图像的前景和背景分离技术，分离前景人体和背景环境，分别对前景所表示的患者上半身人体轮廓以定位人体关键点位置，是否穿戴衣物，人体躺卧姿态等信息进行判断；以及背景所表示的患者人体以及AED设备所处的外界环境，进行匹配计算，以排除除颤期间进入环境的干扰。
基于深度图像前景和背景分离技术的CPR准备阶段辅助流程可以参考表2所示，如下：
表2
对于其中的S230，基于低秩分解理论对连续采集的视频进行前景和背景的分离和提取，如下：
； 式(1)
其中，X表示采集到的视频图像矩阵，每一幅图像都需要转化为(0, 255)的灰度矩阵；Az表示低秩分解后得到的前景部分，是低秩表示矩阵和低秩系数矩阵的乘积。而z和A分别的含义如下，z表示低秩表征矩阵，在图像视频应用，低秩表征矩阵用于表示特征图像，在这个场景中，特征图像与人体的定位点直接相关；A表示低秩系数矩阵，用于表示前景的动态系数变化。E表示采集到的视频图像矩阵减去前景人体轮廓所描述的背景部分。
现实采集的图像和视频表示的是三维空间的流形结构，为了进一步增强低秩分解的非线性特性，我们将式(1)进行非线性化，并使用Frobenius范数用于约束矩阵的低秩，将实时的矩阵分解求解过程转化为Frobenius范数下的极值问题进行求解：
； 式（2）
其中，表示为非线性函数，通常，我们使用深度网络进行式(2)的非线性表示和求 解，具体为多层神经网络进行低秩分解模型，如下：
；式（3）
其中，xt表示某时刻t的图像灰度矩阵；在网络的前向传播过程中，人体轮廓的建 立过程为。在这个表示中，表示单层神经网 络的激活函数，表示神经网络深度，表示单层神经网络的参数集合，如 下：
； 式（4）
其中分别表示单层神经网络的权重和偏置参数。因此，在式(3)中单层神 经网络的非线性表示具体为：
； 式（5）
在式(2)中，在网络的前向传播过程中，某时刻t的背景残差可以计算为：
； 式（6）
对于其中的S240，我们使用尺度不变特征转换即SIFT(Scale-invariant featuretransform)计算机视觉算法模型，它用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，用于表示人体和设备佩戴的关键点结果。
对齐其中的S250，总体平均背景可以通过总体背景E的平均所表示，即，我们通过 计算各个t时刻背景Et与平均背景的差量进行判断是否当前时刻存在干扰，如下：
； 式（7）
如果差量ε大于系统设定的阈值，则我们判断此时背景存在环境干扰，反之则不存在环境干扰。
对于低秩模型进行前景和背景的分离算法迭代过程，主要是根据用户的使用更新 判别阈值的过程，如下：
1、用户在实际的使用过程中，模型通过下式的推断过程得到的前景和背景分离部分结果分别为：
；
；
2、用户根据系统提示，用户实际启动操作所对应的视频帧为。
3、根据对应时刻计算得到的当前时刻背景和平均背景分别为：
；
；
4、根据此时的背景和平均背景差更新判别阈值：
。
对于AI识别模块中的AI模块2技术的实现方式，是结合了人体皮肤反馈光学模型的CPR引导来实现的。
现有辅助方法对于CPR实施阶段的辅助主要侧重使用图像识别技术对实施者的姿态进行识别，用于解决CPR实施动作要求的规范化。例如人体姿态关键点检测技术被广泛应用于CPR智能图像辅助应用中，被广泛使用的模型包括Pose Landmark Model用于人体关键点定位和监测模型、ResNet-18、ResNet-50等残差网络等模型。这些模型用于人体关键点特征提取，提取操作者的动作等。
但是以上方法忽略了CPR接受主体，也就是患者在CPR下的反馈，不当或者过度的CPR可能导致患者的二次伤害。针对以上问题，本发明的方案提出基于rPPG技术建立皮肤反射光学模型，用于结合患者血流动力学参数反馈改进当前的人体姿态关键点检测模型。
AI模块2功能的实现的主要过程分为训练过程和在线推断过程，分别如下：
训练过程（即训练建立S100CPR映射模型）可参考表3：
表3
在线推断过程（即训练建立S300CPR实施时提供CPR动作规范指导和引导）可参考表4：
表4
对于训练和在线推断过程中的步骤S130和S330：使用Pose Landmark Model模型用于对操作者身体的33个关键点进行监测和定位。
对于训练和在线推断过程中的步骤S140和S340：我们基于远程光电容积脉搏波(rPPG)通过使用摄像头中多波长RGB相机，检测人体皮肤表面脉冲引起的细微颜色变化，实现对人体心脏活动以及血流动力学参数的非接触式监测。
使用rPPG技术建立皮肤反射光学模型的原理通过皮肤漫反射所构成的光源，通过相机对其光谱和颜色通道灵敏度进行接收，这种颜色由于RPC实施者的操作引起的皮肤形变/镜面反射的变化和脉冲引起的细微的颜色变化。这种颜色变化，即皮肤漫反射光谱，由皮肤表皮组织和内部骨骼不同程度的吸收和反射，可以反映人体血流活动状态，使用人工智能方法对接收光进行分析可以得到人体血流动力学参数的反馈。
使用彩色相机采集rPPG信号的示意可参考图6所示，考虑一个光源照射一块含有脉动血液的人体皮肤组织和一个记录这幅图像的远程彩色相机。假设光源具有恒定的光谱成分，但强度是变化的（在相机处观察到的强度取决于光源到皮肤组织和相机传感器的距离）。相机测量的皮肤有一种特定的颜色（相机测量的肤色是光源（例如强度和光谱）、固有肤色和相机颜色通道灵敏度的组合），这种颜色会随着时间的推移而变化，这是由于运动引起的强度/镜面反射的变化和脉冲引起的细微的颜色变化。这些时间变化与亮度强度水平成正比。
因此，在本发明对于皮肤反射光学模型的建立中，是采用二色反射模型建立的，如图7所示，镜面反射是皮肤表面反射的镜面状光，不含脉动信息。因此，它的光谱组成与光源的光谱组成相当。身体运动会影响光源、皮肤表面和相机之间的几何结构，并且具有时间依赖性。漫反射与光在皮肤组织中的吸收和散射有关。皮肤组织中的血红蛋白和黑色素含量决定色度。
基于二色反射模型，记录的图像序列中每个皮肤像素的反射可以定义为RGB通道中的时变函数：
； 式(8)
其中，Ck(t)表示第k个皮肤像素在t时刻的像素值；I(t)表示光照强度，它由光源本身亮度变化以及光源、皮肤组织和相机之间的距离决定，它受到Vs(t)和Vd(t)两种反射的调制，其中，Vs(t)表示镜面反射，代表由皮肤发出类似镜面的反射光；Vd(t)表示漫反射，代表皮肤组织散射和吸收的光；而Vn(t)表示相机的量化噪声。
镜面反射Vs是来自皮肤表面的，类似于镜面的光照反射，由于大部分光线均被皮 肤表面反射，只有少部分光线进入皮肤组织内，因此镜面反射是两种反射成分的主要部分， 且它不包含任何脉搏信息。但由于CPR操作产生的患者皮肤形变导致光线、皮肤表面和相机 的角度和距离发生变化，所以镜面反射也包含变化的成分，由此，镜面反射可以定义为：
； 式(9)
式中，Us代表由相机捕捉的镜面反射光光谱的单位颜色向量，即红绿蓝三种颜色对镜面反射光强的贡献程度；S0和s(t)分别代表镜面反射的直流部分和交流部分的光强。
漫反射Vd与被皮肤组织吸收和反射的光线有关，是脉搏信号的主要成分。皮肤组织对光照反射的影响主要与皮肤表皮组织的色素沉着，如黑色素，胡萝卜素，以及血液中血红蛋白的浓度有关。其中，黑色素，胡萝卜素等影响皮肤的固有反射，随时间保持不变。而血红蛋白浓度随心脏活动而发生周期性变化，因此，经血红蛋白反射的光线强度也会产生周期性变化，从而反映脉搏信息。由此，漫反射Vd(t)可以定义为：
； 式(10)
式中，Ud表示皮肤表皮组织的单位颜色向量，其方向主要由色素沉着决定，和肤色的深浅有关；d0表示固有的漫反射的强度。由于血液对不同颜色光线的吸收程度不同，因此Up代表脉搏信号中不同颜色通道的贡献程度，p(t)表示脉搏信号的强度。
可以看出，镜面反射Vs和漫反射Vd中都包含不随时间改变的静止部分和随时间改变的动态部分，将两种反射的静态部分组合起来，可表示为：
； 式(11)
式中，Uc表示皮肤固有反射的单位颜色向量；c0表示固有反射的光照强度。
同样地，式(8)中的光照强度I(t)也可以分为固有光强I0以及随时间变化的光强I0·i(t)，I0和I0·i(t)具有相同的方向，可表示为:
； 式(12)
将式(10)和式(11)代入式(8)所表示的模型，得到CPR患者皮肤反射模型如下：
； 式(13)
现有的rPPG方法大多是通过对每一帧ROI区域中的像素点进行空间平均来构成时域信号，而足够像素点的空间平均能有效降低相机的量化噪声（即可忽略Vn(t)）。同时，相比于相机捕捉的直流分量，交流分量的强度很小，因此，交流分量的乘积项，如i(t)·s(t)、i(t)·p(t)等可以忽略不计。考虑以上两点，并将式(13)展开，可得到:
； 式(14)
在皮肤反射光学模型下，观测值Ck(t)变成是一个直流分量和三个交流源信号i(t)、s(t)和p(t)的线性混合。分别为：表示直流分量的I0·Uc·c0，表示光照强度交流分量I0·Uc·c0·i(t)，镜面反射分量I0·Us·s(t)，以及脉搏信号分量I0·Up·p(t)。
对于训练和在线推断过程中的步骤S150和S350：我们先将式(14)中k个皮肤像素进行加权平均计算rPPG的一维脉冲信号：
； 式(15)
由式(14)可见C(t)是一个与时间相关的一维信号，主要包含两个部分信息，一个部分来自于光照和光源影响，包括I0·Uc·c0、I0·Uc·c0·i(t)和I0·Us·s(t)；另一部分来源于脉搏分离信号I0·Up·p(t)，脉搏分量信号的表现了心室的供血过程，心脏周期性的收缩舒张活动使血液从心脏射入动脉，再由静脉返回心脏，形成了有机的循环。脉搏波就是心脏的搏动沿动脉血管和血流向外周传播而形成的，心室的舒张和收缩对应于信号的舒张峰和吸收峰。因此，C(t)与血液动力学参数是直接相关的。典型的血液动力学参数可以通过以下方法进行计算：
心率：信号的最高峰值表示式(15)中一维脉冲信号的吸收峰，对应于心室的收缩过程。与ECG信号计算RRI的方式类似，计算两次吸收峰之间的时间间隔（PPI）可以计算心率。
HRV：心率变异性（HRV）是指连续窦性心动周期之间时间上的微小差异。在生理条件下，HRV的产生主要是由于心脏窦房结自律活动产生的心脏每搏间期一般存在几十毫秒的差异。而CPR期间的HRV直接反应了患者压力反射变化和呼吸活动的调节。脉搏波每分钟搏动的次数（即脉率）和心率是一致的。因此，可以用脉搏波信号中的峰峰值间期（PPI，peak-to-peak interval）代替心电信号中的RRI（R波间期，R-R Interval）来进行HRV的计算。
SV：每搏输出量（stroke volume）指一次心搏，一侧心室射出的血量，简称搏出量，在CPR期间SV与操作者的按压是直接相关的。我们使用脉冲巡回分析方法计算脉搏冲程容积，如下：
； 式(16)
上式C'(t)表示C(t)信号的一次完整周期。根据从舒张末期到收缩末期的信号变化积分来估计卒中量（SV），即C(t)信号的收缩峰之后的收缩部分，直到主动脉瓣关闭过程。
CO：CO是指左或右心室每分钟泵出的血液量，即每搏输出量和心率的乘积，在CPR期间具有重要的监测意义。
参考图8所示的ECG和PPG波形图，心电图ECG的峰值（R波群）来自于心室的收缩，而PPG的峰值（主波）来自于血管收缩，其中血液自心脏送出后到达量测部位的传输时间，通过脉搏波传递时间Pulse Transit Time (PTT)反应。心率变异性HRV可以通过计算ECG信号R波之间的间隔（RRI, R-R Interval），也可以通过计算PPG主峰之间的间隔进行计算。
对于训练和在线推断过程中的步骤S160和S360：根据实施者施救动作和患者的血流状态反馈引导CPR动作规范的过程，就是模型建立实施者人体关键点定位和患者血流动力学参数作为特征，以CPR动作实施规范标识为反馈的映射关系的过程，如下：
；
; 式(17)
其中输入特征X由两组特征和组成，表示矩阵向量的拼接。和分别表示实 施者人体关键点定位点特征，以及患者血流动力学参数特征。Y表示CPR的动作实施规范数 值化标识。
这种映射关系可以通过大量实验的方式，结合观察和统计决定；也可以采用机器学习和深度学习的方法计算得到，用于训练的CPR动作规范标识需要人工进行标记。
以下我们通过多元回归模型，示例建立以上映射关系：
;
; 式(18)
在上式中，W和b分别表示模型的参数权重。对于模型参数在本发明的实施例中主要包括：
在训练过程中，我们主要通过步骤S130至步骤S150计算得到的X，以及训练数据集中包含的CPR动作标准标识Y，进行训练得到模型参数W和b；
在实时推断过程中，我们通过步骤S330至步骤S350实时计算得到表示实施者施救动作和患者的血流状态反馈特征集X，以及训练的模型参数W和b，通过式(18)计算CPR动作标准标识Y。
同时，本发明还提出了对CPR映射关系模型的算法进行迭代的方案，对于CPR映射关系模型的算法迭代过程如下：
1、用户在实际的使用过程中，模型通过下式的推断过程得到CPR动作标准标识Y：
；
；
2、用户根据系统提示，将实际进行的操作转化为数值标识为。
3、模型将作为目标输出，将采集的图像数据X作为模型输入对模型参数进行更 新。
4、我们将模型参数更新问题转化为最小二乘问题进行求解，具体模型通过下式更新原有的模型参数W和b实现对模型的更新：
；
其中为矩阵的转置操作运算。
通过对前景和背景的分离算法迭代以及对CPR映射关系模型的算法迭代，可以进一步将在实际使用智能化AED装置时所采集的数据、实施者所做的对应动作对相关模型算法进行迭代更新，以此来使该智能化AED装置的智能引导功能能够更加贴合实际操作的实施者的真实操作，也让相关模型算法本身得以时时更新，随着本发明方案的推广、使用，可以更加智能。
由以上各实施例的实施，达成了本发明的目的，其结合了深度学习、CPR实施前后重要模型的构建以及全急救流程伴随人工智能辅助指引的智能化AED急救辅助，能够降低在紧急情况下对于实施者的专业程度需求，使经受频度较低的基础生命支持培训的实施者也能快速对患者实施CPR急救，从而确保在突发状态且不具备专业人员的情况下也能快速、有效地对患者进行CPR急救，提高患者存活率和急救效果，也为后续治疗提供准确、完整的救治信息，以此进一步确保患者的生命安全、健康保障。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (19)

1.一种智能化AED急救辅助方法，其特征在于，所述急救辅助方法包含以下步骤：
S100、训练建立CPR映射模型，以实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，根据CPR动作标准标识训练并建立CPR映射关系，输出CPR映射模型；
S200、CPR实施前识别急救条件是否符合标准，启用智能化AED装置后，在CPR实施前进行前景和背景的分离，针对环境背景识别并判断当前急救环境是否符合急救标准，针对人体前景识别并判断患者人体位置特征是否符合急救标准；
S300、CPR实施时提供CPR动作规范指导和引导，在CPR实施时，使用人体姿态识别模型对实施者的关键点进行定位并获得实施者人体姿态关键点检测定位特征，建立人体皮肤反射模型并对患者在患者血流动力学参数特征上进行实时反馈，结合实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，使用训练好的CPR映射模型输出CPR动作标准反馈，以进行CPR动作规范指导，引导CPR过程的实施。
2.根据权利要求1所述的智能化AED急救辅助方法，其特征在于：所述急救辅助方法还包括在启用智能化AED装置后启动远程AI急救功能，智能化AED装置通过急救平台服务器连接远程医生，并将CPR实施前的前景数据、背景数据以及在CPR实施时的实施者数据、患者数据上传至急救平台服务器，由远程医生在CPR实施前和CPR实施时全程音视频参与CPR急救。
3.根据权利要求2所述的智能化AED急救辅助方法，其特征在于：启用智能化AED装置后自动唤醒AED数据采集，并进行前景数据、背景数据、实施者数据、患者数据的AI标识，根据AI标识结果对应CPR映射模型进行标识输出，在进行CPR动作规范指导中提供语音指引和屏幕展示。
4.根据权利要求1所述的智能化AED急救辅助方法，其特征在于，在S200CPR实施前识别急救条件是否符合标准的步骤中，包含以下步骤：
S210、采集CPR实施前的视频图像，在CPR实施前采集智能化AED装置所处环境的视频图像以及患者人体的视频图像；
S220、CPR实施前视频图像的预处理，将采集到的智能化AED装置所处环境的视频图像以及患者人体的视频图像进行灰度化和滤波预处理；
S230、进行CPR实施前的前景和背景分离，将环境背景与人体前景进行分离；
S240、判断当前急救环境是否符合急救标准，根据环境背景计算CPR实施前的环境干扰反馈标识，判断环境背景是否符合急救标准；
S250、判断患者人体位置特征是否符合急救标准，提取人体前景的患者人体位置特征，根据患者人体位置特征判断患者是否符合急救标准；
S260、输出CPR实施前的前景和背景的判断标识。
5.根据权利要求4所述的智能化AED急救辅助方法，其特征在于：
在S230进行CPR实施前的前景和背景分离的步骤中，使用深度低秩模型进行前景和背景分离；以残差分量提取背景，并比较除颤期间背景残差变化；以低秩分量自动描记患者人体位置特征；
在S240判断当前急救环境是否符合急救标准的步骤中，根据环境干扰反馈标识来判断输出摄像距离是否合适、环境是否安全干燥；
在S250判断患者人体位置特征是否符合急救标准的步骤中，根据患者人体位置特征来判断患者姿势是否满足要求、衣物是否满足要求、电极片摆放位置是否正确。
6.根据权利要求4所述的智能化AED急救辅助方法，其特征在于：
在S210采集CPR实施前的视频图像的步骤中，输入，其中X表示采集到的视频图像矩阵；
在S220CPR实施前视频图像的预处理的步骤中，将中的每一帧都转化为(0，255)的灰度矩阵，并进行滤波预处理；
在S230进行CPR实施前的前景和背景分离的步骤中，将使用低秩分解理论进行前景和背景的提取，/>；Az表示低秩分解后得到的前景部分，前景部分；E表示采集到的视频图像矩阵减去人体前景轮廓所描述的背景部分，背景部分/>，以残差分量提取背景，并比较除颤期间背景残差变化；
在S240判断当前急救环境是否符合急救标准的步骤中，各个t时刻背景Et与总体背景E进行匹配，以判断背景环境是否存在干扰；
在S250判断患者人体位置特征是否符合急救标准的步骤中，使用纹理提取、人体定位点技术对人体轮廓的特征图像表示进行关键点的定位和特征提取；
在S260、输出CPR实施前的前景和背景的判断标识的步骤中，输出人体前景的人体姿态关键点检测定位特征、着衣判断，输出背景环境干扰判断标识。
7.根据权利要求6所述的智能化AED急救辅助方法，其特征在于：
在S230进行CPR实施前的前景和背景分离的步骤中，将公式进行非线性化，并使用Frobenius范数用于约束矩阵的低秩，将实时的矩阵分解求解过程转化为Frobenius范数下的极值问题进行求解：
，
其中，表示为非线性函数，z表示为低秩表征矩阵，A表示为低秩系数矩阵；
再使用深度网络对上述公式的非线性表示和求解，基于多层神经网络进行低秩分解，如下：
，
其中，xt表示某时刻t的图像灰度矩阵；
在多层神经网络的前向传播过程中，人体轮廓的建立过程为，其中，/>表示单层神经网络的激活函数，/>表示神经网络深度，/>表示单层神经网络的参数集合，如下：，
其中表示单层神经网络的权重，/>表示单层神经网络的偏置参数，在多层神经网络中的单层神经网络的非线性表示具体为：/>；
在多层神经网络的前向传播过程中，某时刻t的背景残差计算为：；
在S240判断当前急救环境是否符合急救标准的步骤中，总体平均背景通过总体背景E的平均所表示，即平均背景，通过计算各个t时刻背景Et与平均背景/>的差量进行判断是否当前时刻存在干扰，如下：
，
如果差量ε大于系统设定的阈值，则我们判断此时背景存在环境干扰，反之则不存在环境干扰；
在S250判断患者人体位置特征是否符合急救标准的步骤中，使用尺度不变特征转换计算机视觉算法模型来侦测与描述影像中的局部性特征，在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，用于表示人体和设备佩戴的关键点结果，以获得患者人体位置特征。
8.根据权利要求7所述的智能化AED急救辅助方法，其特征在于，在S240判断当前急救环境是否符合急救标准的步骤中，根据智能化AED装置的使用更新判别阈值，其过程如下：
深度低秩模型通过以下推断过程得到人体前景部分的结果为：
；
深度低秩模型通过以下推断过程得到环境背景部分的结果为：
；
获取实施者实际启动操作所对应的视频帧；
根据该视频帧所对应的时刻计算当前时刻背景：
；
计算平均背景：
；
根据当前时刻背景和平均背景/>来更新判别阈值：
。
9.根据权利要求1所述的智能化AED急救辅助方法，其特征在于：在S100训练建立CPR映射模型的步骤中，包含有以下步骤：
S110、采集训练数据集合，采集训练时实施者、患者的视频图像，并采集CPR动作标准标识；
S120、视频图像预处理，对采集到的视频图像进行灰度化和滤波预处理；
S130、获取训练时实施者人体姿态关键点检测定位特征，进行实施者人体姿态关键点检测定位，并获取实施者人体姿态关键点检测定位特征；
S140、建立训练时患者的人体皮肤反射模型，使用光学rPPG技术建立训练时的人体皮肤反射模型；
S150、获取训练时患者血流动力学参数特征，使用人体皮肤反射模型进一步计算获取训练时的患者血流动力学参数特征；
S160、训练并建立CPR映射关系，以训练时实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，根据CPR动作标准标识进行训练并建立CPR映射关系；
S170、输出CPR映射模型参数，根据CPR映射关系输出CPR映射模型参数。
10.根据权利要求9所述的智能化AED急救辅助方法，其特征在于：在S300CPR实施时提供CPR动作规范指导和引导的步骤中，包含以下步骤：
S310、采集CPR实施时的视频图像，在CPR实施时采集实施者的视频图像和患者的视频图像；
S320、CPR实施时视频图像的预处理，将采集到的实施者的视频图像和患者的视频图像进行灰度化和滤波预处理；
S330、获取CPR实施时实施者人体姿态关键点检测定位特征，进行实施者人体姿态关键点检测定位，并获取CPR实施时实施者人体姿态关键点检测定位特征；
S340、建立CPR实施时患者的人体皮肤反射模型，使用光学rPPG技术建立CPR实施时的人体皮肤反射模型；
S350、获取CPR实施时患者血流动力学参数特征，使用人体皮肤反射模型进一步计算获取CPR实施时的患者血流动力学参数特征；
S360、计算CPR动作标准反馈，以CPR实施时的实施者人体姿态关键点检测定位特征和患者血流动力学参数特征，使用训练好的CPR映射模型计算CPR动作标准反馈；
S370、输出CPR动作标准反馈，将CPR动作标准反馈给正在实施CPR的实施者，进行CPR动作规范指导，引导CPR过程的实施。
11.根据权利要求10所述的智能化AED急救辅助方法，其特征在于：对于人体皮肤反射模型的建立，是基于远程光电容积脉搏波通过使用摄像头中多波长RGB相机，检测人体皮肤表面脉冲引起的细微颜色变化，实现对人体心脏活动以及血流动力学参数的非接触式监测，以建立人体皮肤反射模型。
12.根据权利要求11所述的智能化AED急救辅助方法，其特征在于，对于人体皮肤反射模型的建立，首先基于二色反射模型，将记录的图像序列中每个皮肤像素的反射定义为RGB通道中的时变函数：，其中，Ck(t)表示第k个皮肤像素在t时刻的像素值，I(t)表示光照强度，Vs(t)表示镜面反射，Vd(t)表示漫反射，Vn(t)表示相机的量化噪声；
镜面反射Vs(t)定义为：，其中，Us代表由相机捕捉的镜面反射光光谱的单位颜色向量，s0代表镜面反射的直流部分的光强，s(t)代表镜面反射的交流部分的光强；
漫反射Vd(t)定义为：，其中，Ud表示皮肤表皮组织的单位颜色向量，d0表示固有的漫反射的强度，Up代表脉搏信号中不同颜色通道的贡献程度，p(t)表示脉搏信号的强度；
镜面反射Vs(t)和漫反射Vd(t)中都包含不随时间改变的静止部分和随时间改变的动态部分，将两种反射的静态部分组合起来，表示为：，式中，Uc表示皮肤固有反射的单位颜色向量；c0表示固有反射的光照强度；
光照强度I(t)也分为固有光强I0以及随时间变化的光强I0·i(t)，I0和I0·i(t)具有相同的方向，表示为：；
由此得到患者的人体皮肤反射模型如下：。
13.根据权利要求12所述的智能化AED急救辅助方法，其特征在于，通过对每一帧ROI区域中的像素点进行空间平均来构成时域信号，获取足够像素点的空间平均来有效降低相机的量化噪声，以此来忽略相机的量化噪声Vn(t)，同时，相比于相机捕捉的直流分量，交流分量的强度很小，交流分量的乘积项也忽略，以此来将得到的人体皮肤反射模型展开，可得到:
；
在展开的人体皮肤反射模型下，观测值Ck(t)变成是一个直流分量和三个交流源信号i(t)、s(t)和p(t)的线性混合，分别为：表示直流分量的I0·Uc·c0，表示光照强度交流分量的I0·Uc·c0·i(t)，表示镜面反射分量的I0·Us·s(t)，以及表示脉搏信号分量的I0·Up·p(t)。
14.根据权利要求13所述的智能化AED急救辅助方法，其特征在于，对于患者血流动力学参数特征的获取步骤中，先将展开的人体皮肤反射模型中k个皮肤像素进行加权平均计算远程光电容积脉搏波的一维脉冲信号：，各项患者血流动力学参数特征的计算包括：
心率：一维脉冲信号的最高峰值表示信号的吸收峰，一维脉冲信号中两次吸收峰之间的时间间隔为脉搏波信号中的峰峰值间期PPI，计算脉搏波信号中的峰峰值间期PPI以计算心率；
HRV：HRV表示心率变异性，用脉搏波信号中的峰峰值间期PPI代替心电信号中的RRI来进行HRV的计算；
SV：SV表示每搏输出量，使用脉冲巡回分析方法计算脉搏冲程容积，，其中，C'(t)表示C(t)信号的一次完整周期；
CO：CO表示左或右心室每分钟泵出的心输出量，为每搏输出量和心率的乘积。
15.根据权利要求14所述的智能化AED急救辅助方法，其特征在于，训练并建立CPR映射关系的步骤或者计算CPR动作标准反馈的步骤，是结合实施者人体姿态关键点检测定位特征和患者血流动力学参数特征、以CPR动作标准为反馈的CPR映射关系的过程，该过程如下：
输入特征：
；
；
其中特征集X由两组特征和/>组成，/>表示矩阵向量的拼接，/>表示实施者人体姿态关键点检测定位特征，/>表示患者血流动力学参数特征，Y表示CPR动作标准标识；
CPR映射关系为通过大量实验的方式并结合观察和统计决定来建立，或者采用机器学习和深度学习的方法计算来建立，其中用于训练的CPR动作标准标识Y由人工进行标记并建立训练数据集；
然后通过多元回归模型，建立CPR映射关系：
；
；
在上式中，W表示CPR映射模型的特征权重，b表示CPR映射模型的偏置项；
在S100训练建立CPR映射模型的步骤中，根据计算得到的特征集X，以及训练数据集中包含的CPR动作标准标识Y，进行训练得到模型参数W和b；
在S300CPR实施时提供CPR动作规范指导和引导的步骤中，通过实时计算得到的特征集X，以及训练的模型参数W和b，来计算CPR动作标准标识Y。
16.根据权利要求15所述的智能化AED急救辅助方法，其特征在于，在S360计算CPR动作标准反馈的步骤中，根据智能化AED装置的使用更新模型参数W和b，其过程如下：
获取CPR动作标准标识Y；
获取实施者根据CPR动作规范指导后实际进行的操作转换为CPR数值标识；
以CPR数值标识作为目标输出，将采集到的特征集X作为模型输入对模型参数W和b进行更新；
通过以下方式更新原有的模型参数W和b：
，其中/>为矩阵的转置操作运算。
17.一种智能化AED急救辅助系统，用于权利要求1至权利要求16任一项所述的方法中的智能化AED急救辅助，其特征在于，该系统包括：智能化AED装置、急救平台服务器、急救医护端；其中，
所述智能化AED装置为带有AI识别模块的用于体外除颤的装置，所述AI识别模块中部署有结合实施者人体姿态关键点检测定位特征和患者血流动力学参数特征、根据CPR动作标准标识训练并建立CPR映射关系后所输出的CPR映射模型，所述AI识别模块用于CPR实施前识别急救条件是否符合标准、CPR实施时提供CPR动作规范指导和引导；
所述急救平台服务器与智能化AED装置通过远距离无线方式进行通信，所述急救平台服务器用于接收智能化AED装置上传的数据，储存并将急救医生所需的数据发到所述急救医护端；
所述急救医护端用于展示接收到的数据并与所述智能化AED装置进行实时音视频通话。
18.一种智能化AED急救辅助装置，用于权利要求1至权利要求16任一项所述的方法中的智能化AED急救辅助，其特征在于，该装置包括主控模块、唤醒检测模块、视频采集模块、音频采集模块、电源模块、通信模块、AI识别模块、存储模块、语音播报模块、视频展示模块，预警模块；其中，
所述主控模块用于信息集中、存储、分析和决策；
所述唤醒检测模块用于在智能化AED装置使用时自动唤醒AED数据采集；
所述音频采集模块用于采集现场实时音频；
所述视频采集模块用于采集现场实时视频；
所述电源模块用于为其它模块供电；
所述AI识别模块用于识别电极片安装位置、急救环境干扰因素，进行CPR质量分析，识别患者的生理数据并输出纠错结果信息；
所述存储模块用于存储AED运行信息、治疗信息、检测信息、AI识别反馈信息；
所述通信模块用于负责与急救平台服务器进行通信；
所述语音播报模块用于播报语音提示与视频通话的音频；
所述视频展示模块用于展示视频提示与视频通话的视频；
所述预警模块用于负责急救医护端未对急救事件做出响应时的报警。
19.一种可读存储介质，其特征在于：所述可读存储介质上存储有控制程序，所述控制程序被AI识别模块执行时，使得所述AI识别模块执行如权利要求1至16任一项所述的方法的步骤。
CN202311256171.6A 2023-09-27 2023-09-27 智能化aed急救辅助方法及系统、装置、可读存储介质 Active CN116994746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311256171.6A CN116994746B (zh) 2023-09-27 2023-09-27 智能化aed急救辅助方法及系统、装置、可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311256171.6A CN116994746B (zh) 2023-09-27 2023-09-27 智能化aed急救辅助方法及系统、装置、可读存储介质

Publications (2)

Publication Number Publication Date
CN116994746A CN116994746A (zh) 2023-11-03
CN116994746B true CN116994746B (zh) 2024-01-30

Family

ID=88523601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311256171.6A Active CN116994746B (zh) 2023-09-27 2023-09-27 智能化aed急救辅助方法及系统、装置、可读存储介质

Country Status (1)

Country Link
CN (1) CN116994746B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107625627A (zh) * 2017-09-07 2018-01-26 中国人民解放军军事医学科学院卫生装备研究所 一种心肺复苏辅助系统
CN110364254A (zh) * 2019-07-15 2019-10-22 珠海威泓急救云科技有限公司 一种自动体外除颤器智能辅助系统及方法
CN110960795A (zh) * 2019-12-24 2020-04-07 久心医疗科技（苏州）有限公司 一种aed远程辅助急救装置及方法
CN111091732A (zh) * 2019-12-25 2020-05-01 塔普翊海（上海）智能科技有限公司 一种基于ar技术的心肺复苏指导器及指导方法
CN112233515A (zh) * 2020-10-12 2021-01-15 萱闱(北京)生物科技有限公司 一种应用于医生cpr考核的无人值考和智能评分方法
KR102274034B1 (ko) * 2020-10-26 2021-07-09 주식회사 예쉬컴퍼니 증강 현실을 이용한 심폐소생술 가이드 방법, 장치 및 컴퓨터프로그램
CN113545978A (zh) * 2021-07-28 2021-10-26 苏州圣泽医疗科技有限公司 一种心肺复苏cpr参数反馈的方法及装置
CN214752528U (zh) * 2021-03-16 2021-11-16 敖然 一种便携式心肺复苏指导装置
CN114283662A (zh) * 2021-11-15 2022-04-05 成都泰盟软件有限公司 一种心肺复苏模型的生理反馈系统及方法
KR102385150B1 (ko) * 2021-01-14 2022-04-08 강원대학교산학협력단 영상 및 딥러닝 기반의 심폐소생술 실시간 술기 평가방법
CN115670901A (zh) * 2022-09-08 2023-02-03 湖州市第一人民医院 心肺复苏动作规范辅助方法、装置及佩戴设备
CN115910381A (zh) * 2022-11-17 2023-04-04 天津大学温州安全(应急)研究院 一种心肺复苏操作流程的规范性确定方法及系统
CN116019443A (zh) * 2022-12-30 2023-04-28 东南大学 一种心肺复苏胸外按压合规性检测系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10134307B2 (en) * 2013-12-12 2018-11-20 Koninklijke Philips N.V. Software application for a portable device for CPR guidance using augmented reality
US11311456B2 (en) * 2015-06-12 2022-04-26 Zoll Medical Corporation Assisting a CPR treatment
US20230237677A1 (en) * 2022-01-27 2023-07-27 Xuanwu Hospital Capital Medical University Cpr posture evaluation model and system

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107625627A (zh) * 2017-09-07 2018-01-26 中国人民解放军军事医学科学院卫生装备研究所 一种心肺复苏辅助系统
CN110364254A (zh) * 2019-07-15 2019-10-22 珠海威泓急救云科技有限公司 一种自动体外除颤器智能辅助系统及方法
CN110960795A (zh) * 2019-12-24 2020-04-07 久心医疗科技（苏州）有限公司 一种aed远程辅助急救装置及方法
CN111091732A (zh) * 2019-12-25 2020-05-01 塔普翊海（上海）智能科技有限公司 一种基于ar技术的心肺复苏指导器及指导方法
CN112233515A (zh) * 2020-10-12 2021-01-15 萱闱(北京)生物科技有限公司 一种应用于医生cpr考核的无人值考和智能评分方法
KR102274034B1 (ko) * 2020-10-26 2021-07-09 주식회사 예쉬컴퍼니 증강 현실을 이용한 심폐소생술 가이드 방법, 장치 및 컴퓨터프로그램
KR102385150B1 (ko) * 2021-01-14 2022-04-08 강원대학교산학협력단 영상 및 딥러닝 기반의 심폐소생술 실시간 술기 평가방법
CN214752528U (zh) * 2021-03-16 2021-11-16 敖然 一种便携式心肺复苏指导装置
CN113545978A (zh) * 2021-07-28 2021-10-26 苏州圣泽医疗科技有限公司 一种心肺复苏cpr参数反馈的方法及装置
CN114283662A (zh) * 2021-11-15 2022-04-05 成都泰盟软件有限公司 一种心肺复苏模型的生理反馈系统及方法
CN115670901A (zh) * 2022-09-08 2023-02-03 湖州市第一人民医院 心肺复苏动作规范辅助方法、装置及佩戴设备
CN115910381A (zh) * 2022-11-17 2023-04-04 天津大学温州安全(应急)研究院 一种心肺复苏操作流程的规范性确定方法及系统
CN116019443A (zh) * 2022-12-30 2023-04-28 东南大学 一种心肺复苏胸外按压合规性检测系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
优化急诊急救流程在院外心肺复苏中的效果观察;张火英;;基层医学论坛;第24卷(第21期);第3033-3034页 *
案例导入对在校学生心肺复苏技术培训的影响;林娟 等;岭南急诊医学杂志;第21卷(第03期);第301-302页 *

Also Published As

Publication number Publication date
CN116994746A (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
Couderc et al. Detection of atrial fibrillation using contactless facial video monitoring
US10004410B2 (en) System and methods for measuring physiological parameters
US9892505B2 (en) Method and device for determining vital parameters
US20160213331A1 (en) Mobile terminal having functions of measuring biometric signals and estimating and monitoring blood pressure in real time based on measured biometric signals
CN105473065B (zh) 确定在cpr期间的自主循环恢复
Jin et al. Predicting cardiovascular disease from real-time electrocardiographic monitoring: An adaptive machine learning approach on a cell phone
Villarroel et al. Non-contact vital sign monitoring in the clinic
Qiao et al. Measuring heart rate and heart rate variability with smartphone camera
KR101888677B1 (ko) 드론으로 수집한 영상을 이용한 구조 정보 생성 방법
Blackford et al. Measuring pulse rate variability using long-range, non-contact imaging photoplethysmography
Shoushan et al. Non-contact HR monitoring via smartphone and webcam during different respiratory maneuvers and body movements
US20230048327A1 (en) Systems and methods of use for a wearable ultrasound blood flow sensor
Capdevila et al. HRV based health&sport markers using video from the face
CN112469333A (zh) 用于检测对象的脉搏的设备、系统和方法
CN116994746B (zh) 智能化aed急救辅助方法及系统、装置、可读存储介质
Malasinghe et al. A comparative study of common steps in video-based remote heart rate detection methods
Qayyum et al. Estimation of non-contact smartphone video-based vital sign monitoring using filtering and standard color conversion techniques
Kyal et al. A method to detect cardiac arrhythmias with a webcam
Couderc et al. Pulse harmonic strength of facial video signal for the detection of atrial fibrillation
JP7132568B2 (ja) 生体情報計測装置及び生体情報計測方法
CN116098596A (zh) 一种基于深度学习的生命体征监测方法与装置
Islam et al. A non-invasive technique of early heart diseases prediction from photoplethysmography signal
CN114762611A (zh) 肌体多动态参数的处理方法及在射血分数上的应用
Lumyong et al. Skin video-based blood pressure approximation using CHROM with LSTM-NN
Itagi et al. Analysis of blood pressure through video Techniques imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 212300 No. 1 Baisheng Road, Danyang Development Zone, Zhenjiang City, Jiangsu Province

Applicant after: Pumikon (Jiangsu) Medical Technology Co.,Ltd.

Applicant after: SUZHOU YUYUE MEDICAL TECHNOLOGY Co.,Ltd.

Address before: 215000 9 Jinfeng Road, high tech Zone, Suzhou City, Jiangsu Province

Applicant before: SUZHOU YUYUE MEDICAL TECHNOLOGY Co.,Ltd.

Applicant before: Pumikon (Jiangsu) Medical Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240816

Address after: 212300 No. 1 Baisheng Road, Danyang Development Zone, Zhenjiang City, Jiangsu Province

Patentee after: Pumikon (Jiangsu) Medical Technology Co.,Ltd.

Country or region after: China

Address before: 212300 No. 1 Baisheng Road, Danyang Development Zone, Zhenjiang City, Jiangsu Province

Patentee before: Pumikon (Jiangsu) Medical Technology Co.,Ltd.

Country or region before: China

Patentee before: SUZHOU YUYUE MEDICAL TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right