CN113577555A - 基于多模态数据的配置信息获取装置及相关设备 - Google Patents

基于多模态数据的配置信息获取装置及相关设备 Download PDF

Info

Publication number
CN113577555A
CN113577555A CN202110874804.4A CN202110874804A CN113577555A CN 113577555 A CN113577555 A CN 113577555A CN 202110874804 A CN202110874804 A CN 202110874804A CN 113577555 A CN113577555 A CN 113577555A
Authority
CN
China
Prior art keywords
real
patient
time
data
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110874804.4A
Other languages
English (en)
Inventor
王倩
唐建东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sceneray Co Ltd
Original Assignee
Sceneray Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sceneray Co Ltd filed Critical Sceneray Co Ltd
Priority to CN202110874804.4A priority Critical patent/CN113577555A/zh
Publication of CN113577555A publication Critical patent/CN113577555A/zh
Priority to PCT/CN2022/092818 priority patent/WO2023005353A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/18Applying electric currents by contact electrodes
    • A61N1/32Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/3605Implantable neurostimulators for stimulating central or peripheral nerve system
    • A61N1/36128Control systems
    • A61N1/36135Control systems using physiological parameters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/18Applying electric currents by contact electrodes
    • A61N1/32Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/3605Implantable neurostimulators for stimulating central or peripheral nerve system
    • A61N1/36128Control systems
    • A61N1/36142Control systems for improving safety
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Urology & Nephrology (AREA)
  • Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请提供了一种基于多模态数据的配置信息获取装置、电子设备、程控系统及计算机可读存储介质,所述装置包括:生物电获取模块,用于获取患者的实时生物电数据;图像获取模块,用于利用摄像头拍摄所述患者,得到所述患者的实时图像数据;状态获取模块,用于基于所述患者的实时生物电数据和实时图像数据,获取所述患者的实时状态信息;配置获取模块,用于基于所述患者的实时状态信息,获取所述患者的配置信息,所述患者的配置信息用于控制所述患者体内的刺激器施加电刺激。该装置能够全面获取患者的生物电数据和实时状态信息,并能准确地对患者施加电刺激。

Description

基于多模态数据的配置信息获取装置及相关设备
技术领域
本申请涉及植入式医疗设备技术领域,尤其涉及基于多模态数据的配置信息获取装置、电子设备、程控系统及计算机可读存储介质。
背景技术
近年来植入式神经刺激器在临床上的应用越来越广泛,在利用植入式神经刺激器治疗的过程中,医生可以通过远程控制相关电子设备,进而对刺激器进行控制,对患者施加相应的电刺激达到治疗疾病的目的。
然而,如果医生在对患者进行远程程控时,仅仅通过视频观察患者的状态,进行参数的调控,难免会对患者的病情把握不准确,不能正确对患者施加电刺激,尤其是对于植入式神经刺激器来说,其将电刺激直接作用于使用者的体内神经,一旦出现故障,可能会对人体造成不可逆转的伤害,而给患者带来风险,因此,提供一种获取患者的生物电数据和掌握患者的实时状态信息,并能准确地对患者施加电刺激的装置非常重要。
发明内容
本申请的目的在于提供基于多模态数据的配置信息获取装置、电子设备、程控系统及计算机可读存储介质,基于患者的实时生物电数据和实时图像数据,获取患者的实时状态信息,进而获取患者的配置信息,以控制患者体内的刺激器施加电刺激。
本申请的目的采用以下技术方案实现:
第一方面,本申请提供了一种基于多模态数据的配置信息获取方法,所述方法包括:获取患者的实时生物电数据,所述生物电数据包括以下至少一种:实时脑电数据;实时心电数据;实时肌电数据;利用摄像头拍摄所述患者,得到所述患者的实时图像数据;基于所述患者的实时生物电数据和实时图像数据,获取所述患者的实时状态信息;基于所述患者的实时状态信息,获取所述患者的配置信息,所述患者的配置信息用于控制所述患者体内的刺激器施加电刺激。该技术方案的有益效果在于,通过获取患者生物电数据、实时脑电数据、实时心电数据和实时肌电数据中的一种或几种,结合利用摄像头拍摄得到的实时图像数据,得到患者的实时状态信息,再由此实时状态信息进一步得到配置信息,由于所得到的患者的信息是实时的,因而这种方法具有时效性;同时所获取的患者的信息可以是多种的,因而具有综合性;因此利用此配置信息控制患者体内的刺激器施加电刺激,更具有可靠性。
在一些可选的实施例中,所述基于所述患者的实时生物电数据和实时图像数据,获取所述患者的实时状态信息,包括:利用医生设备显示所述患者的实时生物电数据和实时图像数据;利用所述医生设备接收状态输入操作;响应于所述状态输入操作,确定所述患者的实时状态信息。该技术方案的有益效果在于,医生根据患者的实时生物电数据和实时图像数据,结合自身的经验,得出患者的实时状态信息,由此,医生可以方便地操作医生设备,确定患者的实时状态信息。
在一些可选的实施例中,所述基于所述患者的实时生物电数据和实时图像数据,获取所述患者的实时状态信息,可以包括:将所述患者的实时生物电数据和实时图像数据输入状态分类模型,得到所述患者的实时状态信息。该技术方案的有益效果在于,将患者的实时生物电数据和实时图像数据输入状态分类模型,获取患者的实时状态信息,不需要医生手动设置,节省了医生的操作步骤,智能化程度高;另外,医生的判断存在较强的主观性,而状态分类模型可以通过大量数据的训练实现较高精度,对患者状态判断的准确性更高。
在一些可选的实施例中,获取所述状态分类模型的方法,可以包括:获取多个状态样本对象的训练数据,每个状态样本对象的训练数据包括所述状态样本对象的实时生物电数据和实时图像数据及对应的实时状态信息,所述实时状态信息同时对应于实时生物电数据和实时图像数据;利用所述多个状态样本对象的训练数据训练第一深度学习模型,得到所述状态分类模型;将所述患者的实时生物电数据和实时图像数据输入所述状态分类模型,得到所述患者的实时状态信息。该技术方案的有益效果在于,一方面,可以利用多个样本对象的训练数据训练第一深度学习模型,得到状态分类模型,只要将目标对象的实时生物电数据和实时图像数据输入状态分类模型,即可得到目标对象的实时状态信息,尤其是当训练用的样本数量足够多时,准确度可以达到极高的水平,相对于用常规的检测设备检测患者的实时状态信息的方式,智能化程度较高,且效率较高,适用范围广泛,另一方面,可以将目标对象的实时状态信息发送至用户设备,使得用户设备的使用者知晓目标对象的实时状态信息,从而可以随时监测目标对象的健康状况。
在一些可选的实施例中,所述基于所述患者的实时状态信息,获取所述患者的配置信息,包括:利用医生设备显示所述患者的实时状态信息;利用所述医生设备接收配置输入操作;响应于所述配置输入操作,确定所述患者的配置信息。该技术方案的有益效果在于,利用医生设备显示患者的实时状态信息,结合医生的经验,医生手动操作确定患者的配置信息,操作便捷。
在一些可选的实施例中,所述基于所述患者的实时状态信息,获取所述患者的配置信息,包括:将所述患者的实时状态信息输入配置获取模型,得到所述患者的配置信息。该技术方案的有益效果在于,将患者的实时状态信息输入配置获取模型,得到该关注的配置信息,不需要医生手动设置,智能化程度高;一般而言,医生手动配置刺激器的刺激参数时存在较强的主观性,而配置获取模型可以通过大量数据的训练实现较高精度,所配置的刺激参数的准确性更高。
在一些可选的实施例中,获取所述配置获取模型的方法,包括:获取多个配置样本对象的训练数据,每个配置样本对象的训练数据包括所述配置样本对象的实时状态信息及其对应的配置信息;利用所述多个配置样本对象的训练数据训练第二深度学习模型,得到所述配置获取模型;将所述患者的实时状态信息输入所述配置获取模型,得到所述患者的配置信息。该技术方案的有益效果在于,获取多个配置样本对象的训练数据,每个配置样本对象的训练数据包括所述配置样本对象的实时状态信息及其对应的配置信息,再利用多个配置样本对象的训练数据训练第二深度学习模型,得到配置获取模型,配置获取模型的精确度高,利用该配置获取模型预测患者的配置信息,预测结果更加准确;而且该配置获取模型一旦形成,可以适用于不同的患者、不同的状态,适用范围广泛,使用方便,智能化程度高。
第二方面,本申请提供了一种基于多模态数据的配置信息获取装置,所述装置包括:生物电获取模块,用于获取患者的实时生物电数据,所述生物电数据包括以下至少一种:实时脑电数据;实时心电数据;实时肌电数据;图像获取模块,用于利用摄像头拍摄所述患者,得到所述患者的实时图像数据;状态获取模块,用于基于所述患者的实时生物电数据和实时图像数据,获取所述患者的实时状态信息;配置获取模块,用于基于所述患者的实时状态信息,获取所述患者的配置信息,所述患者的配置信息用于控制所述患者体内的刺激器施加电刺激。该技术方案的有益效果在于,通过获取患者生物电数据、实时脑电数据、实时心电数据和实时肌电数据中的一种或几种,结合利用摄像头拍摄得到的实时图像数据,得到患者的实时状态信息,再由此实时状态信息进一步得到配置信息,由于所得到的患者的信息是实时的,因而这种方法具有时效性;同时所获取的患者的信息可以是多种的,因而具有综合性;因此利用此配置信息控制患者体内的刺激器施加电刺激,更具有可靠性。
在一些可选的实施例中,所述状态获取模块包括:第一显示单元,利用医生设备显示所述患者的实时生物电数据和实时图像数据;第一接收单元,利用所述医生设备接收状态输入操作;状态确定单元,响应于所述状态输入操作,确定所述患者的实时状态信息。该技术方案的有益效果在于,医生根据患者的实时生物电数据和实时图像数据,结合自身的经验,得出患者的实时状态信息,由此,医生可以方便地操作医生设备,确定患者的实时状态信息。
在一些可选的实施例中,所述状态获取模块用于将所述患者的实时生物电数据和实时图像数据输入状态分类模型,得到所述患者的实时状态信息。该技术方案的有益效果在于,将患者的实时生物电数据和实时图像数据输入状态分类模型,获取患者的实时状态信息,不需要医生的手动参与设置,节省了医生的操作步骤,智能化程度高;另外,医生的判断存在较强的主观性,而状态分类模型可以通过大量数据的训练实现较高精度,对患者状态判断的准确性更高。
在一些可选的实施例中,所述状态获取模块包括:状态样本单元,用于获取多个状态样本对象的训练数据,每个状态样本对象的训练数据包括所述状态样本对象的实时生物电数据和实时图像数据及对应的实时状态信息;第一训练单元,用于利用所述多个状态样本对象的训练数据训练第一深度学习模型,得到所述状态分类模型;获取状态单元,用于将所述患者的实时生物电数据和实时图像数据输入所述状态分类模型,得到所述患者的实时状态信息。该技术方案的有益效果在于,一方面,可以利用多个样本对象的训练数据训练第一深度学习模型,得到状态分类模型,只要将目标对象的实时生物电数据和实时图像数据输入状态分类模型,即可得到目标对象的实时状态信息,尤其是当训练用的样本数量足够多时,准确度可以达到极高的水平,相对于用常规的检测设备检测患者的实时状态信息的方式,智能化程度较高,且效率较高,适用范围广泛,另一方面,可以将目标对象的实时状态信息发送至用户设备,使得用户设备的使用者知晓目标对象的实时状态信息,从而随时监测目标对象的健康状况。
在一些可选的实施例中,所述配置获取模块包括:第二显示单元,用于利用医生设备显示所述患者的实时状态信息;第二接收单元,用于利用所述医生设备接收配置输入操作;配置确定单元,用于响应于所述配置输入操作,确定所述患者的配置信息。该技术方案的有益效果在于,利用医生设备显示患者的实时状态信息,结合医生的经验,医生手动操作确定患者的配置信息,操作便捷。
在一些可选的实施例中,所述配置获取模块用于将所述患者的实时状态信息输入配置获取模型,得到所述患者的配置信息。该技术方案的有益效果在于,将患者的实时状态信息输入配置获取模型,得到该关注的配置信息,不需要医生手动设置,智能化程度高;一般而言,医生手动配置刺激器的刺激参数时存在较强的主观性,而配置获取模型可以通过大量数据的训练实现较高精度,所配置的刺激参数的准确性更高。
在一些可选的实施例中,所述配置获取模块包括:配置样本单元,用于获取多个配置样本对象的训练数据,每个配置样本对象的训练数据包括所述配置样本对象的实时状态信息及其对应的配置信息;第二训练单元,用于利用所述多个配置样本对象的训练数据训练第二深度学习模型,得到所述配置获取模型;获取配置单元,用于将所述患者的实时状态信息输入所述配置获取模型,得到所述患者的配置信息。该技术方案的有益效果在于,获取多个配置样本对象的训练数据,每个配置样本对象的训练数据包括所述配置样本对象的实时状态信息及其对应的配置信息,再利用多个配置样本对象的训练数据训练第二深度学习模型,得到配置获取模型,配置获取模型的精确度高,利用该配置获取模型预测患者的配置信息,预测结果更加准确;而且该配置获取模型一旦形成,可以适用于不同的患者、不同的状态,适用范围广泛,使用方便,智能化程度高。
第三方面,本申请提供了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器包括:
生物电获取模块,用于获取患者的实时生物电数据,所述生物电数据包括以下至少一种:实时脑电数据;实时心电数据;实时肌电数据;
图像获取模块,用于利用摄像头拍摄所述患者,得到所述患者的实时图像数据;
状态获取模块,用于基于所述患者的实时生物电数据和实时图像数据,获取所述患者的实时状态信息;
配置获取模块,用于基于所述患者的实时状态信息,获取所述患者的配置信息,所述患者的配置信息用于控制所述患者体内的刺激器施加电刺激。
在一些可选的实施例中,所述电子设备还设置有显示屏。
第四方面,本申请提供了一种程控系统,所述程控系统包括医生设备和第三方面所述的电子设备。
第五方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
获取患者的实时生物电数据,所述生物电数据包括以下至少一种:实时脑电数据;实时心电数据;实时肌电数据;
利用摄像头拍摄所述患者,得到所述患者的实时图像数据;
基于所述患者的实时生物电数据和实时图像数据,获取所述患者的实时状态信息;
基于所述患者的实时状态信息,获取所述患者的配置信息,所述患者的配置信息用于控制所述患者体内的刺激器施加电刺激。
附图说明
下面结合附图和实施例对本申请进一步说明。
图1是本申请实施例提供的一种基于多模态数据的配置信息获取方法的流程示意图;
图2是本申请实施例提供的一种确定患者的实时状态信息的流程示意图;
图3是本申请实施例提供的另一种确定患者的实时状态信息的流程示意图;
图4是本申请实施例提供的一种确定患者的配置信息的流程示意图;
图5是本申请实施例提供的另一种确定患者的配置信息的流程示意图;
图6是本申请实施例提供的一种基于多模态数据的配置信息获取装置的结构示意图;
图7是本申请实施例提供的一种状态获取模块的结构示意图;
图8是本申请实施例提供的另一种状态获取模块的结构示意图;
图9是本申请实施例提供的一种配置获取模块的结构示意图;
图10是本申请实施例提供的另一种配置获取模块的结构示意图;
图11是本申请实施例提供的一种电子设备的结构示意图;
图12是本申请实施例提供的一种用于实现基于多模态数据的配置信息获取方法的程序产品的结构示意图。
具体实施方式
下面,结合附图以及具体实施方式,对本申请做进一步描述,需要说明的是,在不相冲突的前提下,以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
参见图1,本申请实施例提供了一种基于多模态数据的配置信息获取方法,所述方法包括步骤S101~S104。
本申请实施例提供的基于多模态数据的配置信息获取方法可以适用于线上的远程程控场景,也可以适用于线下的程控场景。
步骤S101:获取患者的实时生物电数据,所述生物电数据包括以下至少一种:实时脑电数据;实时心电数据;实时肌电数据。其中,人体内部的大部分信息是以生物电的形式来传递的,生物电数据还可以包括以下至少一种:实时胃电信号,实时视网膜电信号。
本申请实施例对患者的疾病类型不做限定,所述患者可以是以下任意一种:帕金森病患者;抑郁症患者;成瘾性疾病患者;强迫症患者;躁郁症患者。其中,成瘾性疾病患者包括药物成瘾性疾病患者和/或毒品成瘾性疾病患者(即戒毒人员)。特别是帕金森患者大多行动不便,远程程控的需求很大。需要注意的是,除了上述列举的病症之外,其他所能治疗的病症均在本申请实施例的保护范围内,包括精神类疾病和其他成瘾性疾病患者。
生物电数据采集设备,可以集成脑电采集模块、心电采集模块和实时肌电采集模块中的一种或多种,分别采集患者的实时脑电数据、实时心电数据、实时肌电数据中的一种或多种,并分别进行相关的预处理,得到相应的结果数据。在实际应用中,生物电数据采集设备可以集成脑电采集模块、心电采集模块和实时肌电采集模块。
一般而言,在具体应用中,为了能获得更加全面的患者信息,还可以获取所述患者的历史生物电数据,包括文字信息和/或图像信息。
步骤S102:利用摄像头拍摄所述患者,得到所述患者的实时图像数据。利用摄像头拍摄患者,得到实时图像数据,与生物电数据相辅相成,更能全面地反映患者的状态。
步骤S103:基于所述患者的实时生物电数据和实时图像数据,获取所述患者的实时状态信息。
参见图2,在具体实施中,所述步骤S103可以包括步骤S201~S203。
步骤S201:利用医生设备显示所述患者的实时生物电数据和实时图像数据。其中,医生设备例如是手机、平板电脑、笔记本电脑、台式计算机或者智能穿戴设备等,医生设备还可以是体外程控仪、程控器等。在具体实施中,当医生远程程控时,医生设备例如是平板电脑;当医生线下程控时,医生设备例如是体外程控仪。体外程控仪例如是专利CN105709336B公开的体外程控仪,或者是专利CN207412517U公开的植入式神经刺激器程控仪。程控器例如是专利CN100469401C公开的一种植入式神经电脉冲刺激系统中的程控器,或者是专利CN201894778U公开的具有安全保密功能的医生程控器。
步骤S202:利用所述医生设备接收状态输入操作。
步骤S203:响应于所述状态输入操作,确定所述患者的实时状态信息。
由此,医生根据患者的实时生物电数据和实时图像数据,结合自身的经验,得出患者的实时状态信息,由此,医生可以方便地操作医生设备,确定患者的实时状态信息。
在具体实施中,所述步骤S103可以包括:将所述患者的实时生物电数据和实时图像数据输入状态分类模型,得到所述患者的实时状态信息。由此,将患者的实时生物电数据和实时图像数据输入状态分类模型,获取患者的实时状态信息,不需要医生手动设置,节省了医生的操作步骤,智能化程度高;另外,医生的判断存在较强的主观性,而状态分类模型可以通过大量数据的训练实现较高精度,对患者状态判断的准确性更高。
参见图3,在具体实施中,获取所述状态分类模型的方法可以包括步骤S301~S303。
步骤S301:获取多个状态样本对象的训练数据,每个状态样本对象的训练数据包括所述状态样本对象的实时生物电数据和实时图像数据及对应的实时状态信息。所述实时状态信息同时对应于实时生物电数据和实时图像数据。
步骤S302:利用所述多个状态样本对象的训练数据训练第一深度学习模型,得到所述状态分类模型。
步骤S303:将所述患者的实时生物电数据和实时图像数据输入所述状态分类模型,得到所述患者的实时状态信息。
由此,一方面,可以利用多个样本对象的训练数据训练第一深度学习模型,得到状态分类模型,只要将目标对象的实时生物电数据和实时图像数据输入状态分类模型,即可得到目标对象的实时状态信息,尤其是当训练用的样本数量足够多时,准确度可以达到极高的水平,相对于用常规的检测设备检测患者的实时状态信息的方式,智能化程度较高,且效率较高,适用范围广泛,另一方面,可以将目标对象的实时状态信息发送至用户设备,使得用户设备的使用者知晓目标对象的实时状态信息,从而可以随时监测目标对象的健康状况。。
步骤S104:基于所述患者的实时状态信息,获取所述患者的配置信息,所述患者的配置信息用于控制所述患者体内的刺激器施加电刺激。
刺激器可以是植入式神经电刺激装置、植入式心脏电刺激系统(又称心脏起搏器)、植入式药物输注装置(Implantable Drug Delivery System,简称I DDS)和导线转接装置中的任意一种。植入式神经电刺激装置例如是脑深部电刺激系统(Deep BrainStimulation,简称DBS),植入式脑皮层刺激系统(Cortical Nerve Stimulation,简称CNS),植入式脊髓电刺激系统(Spinal Cord Stimulation,简称SCS),植入式骶神经电刺激系统(Sacral Nerve Stimulation,简称SNS),植入式迷走神经电刺激系统(Vagus NerveStimulation,简称VNS)等。刺激器设置于患者体内,用于提供电刺激。
本申请的以上步骤,通过获取患者生物电数据,实时脑电数据,实时心电数据和实时肌电数据中的一种或几种,结合利用摄像头拍摄的实时图像数据,得到患者的实时状态信息,再由此实时状态信息进一步得到配置信息,由于所得到的患者的信息是实时的,因而这种方法具有时效性;同时所获取的患者的信息可以是多种的,因而具有综合性;因此利用此配置信息控制患者体内的刺激器施加电刺激,具有可靠性。
参见图4,在具体实施中,所述步骤S104可以包括步骤S401~S403。
步骤S401:利用医生设备显示所述患者的实时状态信息。
步骤S402:利用所述医生设备接收配置输入操作;
步骤S403:响应于所述配置输入操作,确定所述患者的配置信息。
由此,利用医生设备显示患者的实时状态信息,结合医生的经验,医生手动操作确定患者的配置信息,操作便捷。
在具体实施中,所述步骤S104可以包括:将所述患者的实时状态信息输入配置获取模型,得到所述患者的配置信息。由此,将患者的实时状态信息输入配置获取模型,得到该关注的配置信息,不需要医生手动设置,智能化程度高;一般而言,医生手动配置刺激器的刺激参数时存在较强的主观性,而配置获取模型可以通过大量数据的训练实现较高精度,所配置的刺激参数的准确性更高。
参见图5,在具体实施中,获取所述配置获取模型的方法,可以包括步骤S501~S503。
步骤S501:获取多个配置样本对象的训练数据,每个配置样本对象的训练数据包括所述配置样本对象的实时状态信息及其对应的配置信息。
步骤S502:利用所述多个配置样本对象的训练数据训练第二深度学习模型,得到所述配置获取模型。
步骤S503:将所述患者的实时状态信息输入所述配置获取模型,得到所述患者的配置信息。
由此,获取多个配置样本对象的训练数据,每个配置样本对象的训练数据包括所述配置样本对象的实时状态信息及其对应的配置信息,再利用多个配置样本对象的训练数据训练第二深度学习模型,得到配置获取模型,配置获取模型的精确度高,利用该配置获取模型预测患者的配置信息,结果更加准确;而且该配置获取模型一旦形成,可以适用于不同的患者、不同的状态,适用范围广泛,使用方便,智能化程度高。
参见图6,本申请实施例还提供了一种基于多模态数据的配置信息获取装置,其具体实现方式与上述方法的实施例中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
所述装置包括:生物电获取模块101,用于获取患者的实时生物电数据,所述生物电数据包括以下至少一种:实时脑电数据;实时心电数据;实时肌电数据;图像获取模块102,用于利用摄像头拍摄所述患者,得到所述患者的实时图像数据;状态获取模块103,用于基于所述患者的实时生物电数据和实时图像数据,获取所述患者的实时状态信息;配置获取模块104,用于基于所述患者的实时状态信息,获取所述患者的配置信息,所述患者的配置信息用于控制所述患者体内的刺激器施加电刺激。
参见图7,在具体实施中,所述状态获取模块103可以包括:第一显示单元201,利用医生设备显示所述患者的实时生物电数据和实时图像数据;第一接收单元202,利用所述医生设备接收状态输入操作;状态确定单元203,响应于所述状态输入操作,确定所述患者的实时状态信息。
在具体实施中,所述状态获取模块103可以用于将所述患者的实时生物电数据和实时图像数据输入状态分类模型,得到所述患者的实时状态信息。
参见图8,在具体实施中,所述状态获取模块103可以包括:状态样本单元301,用于获取多个状态样本对象的训练数据,每个状态样本对象的训练数据包括所述状态样本对象的实时生物电数据和实时图像数据及对应的实时状态信息;第一训练单元302,用于利用所述多个状态样本对象的训练数据训练第一深度学习模型,得到所述状态分类模型;获取状态单元303,用于将所述患者的实时生物电数据和实时图像数据输入所述状态分类模型,得到所述患者的实时状态信息。
参见图9,在具体实施中,所述配置获取模块104可以包括:第二显示单元401,用于利用医生设备显示所述患者的实时状态信息;第二接收单元402,用于利用所述医生设备接收配置输入操作;配置确定单元403,用于响应于所述配置输入操作,确定所述患者的配置信息。
在具体实施中,所述配置获取模块104可以用于将所述患者的实时状态信息输入配置获取模型,得到所述患者的配置信息。
参见图10,在具体实施中,所述配置获取模块104可以包括:配置样本单元501,用于获取多个配置样本对象的训练数据,每个配置样本对象的训练数据包括所述配置样本对象的实时状态信息及其对应的配置信息;第二训练单元502,用于利用所述多个配置样本对象的训练数据训练第二深度学习模型,得到所述配置获取模型;获取配置单元503,用于将所述患者的实时状态信息输入所述配置获取模型,得到所述患者的配置信息。
参见图11,本申请实施例还提供了一种电子设备200,电子设备200包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。
存储器210可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)211和/或高速缓存存储器212,还可以进一步包括只读存储器(ROM)213。
其中,存储器210还存储有计算机程序,计算机程序可以被处理器220执行,使得处理器220执行本申请实施例中基于多模态数据的配置信息获取方法的步骤,其具体实现方式与上述基于多模态数据的配置信息获取方法的实施例中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
存储器210还可以包括具有至少一个程序模块215的实用工具214,这样的程序模块215包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
相应的,处理器220可以执行上述计算机程序,以及可以执行实用工具214。
总线230可以为表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信,还可与一个或者多个能够与该电子设备200交互的设备通信,和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入输出接口250进行。并且,电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备200使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
其中,处理器包括:生物电获取模块,用于获取患者的实时生物电数据,所述生物电数据包括以下至少一种:实时脑电数据;实时心电数据;实时肌电数据;图像获取模块,用于利用摄像头拍摄所述患者,得到所述患者的实时图像数据;状态获取模块,用于基于所述患者的实时生物电数据和实时图像数据,获取所述患者的实时状态信息;配置获取模块,用于基于所述患者的实时状态信息,获取所述患者的配置信息,所述患者的配置信息用于控制所述患者体内的刺激器施加电刺激。
在具体实施中,所述电子设备还可以设置有显示屏。所述显示屏例如是触摸显示屏。
本申请实施例还提供了一种程控系统,所述程控系统包括医生设备和上述电子设备。
在具体实施中,医生设备和电子设备可以集成为一体。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质用于存储计算机程序,所述计算机程序被执行时实现本申请实施例中基于多模态数据的配置信息获取方法的步骤,其具体实现方式与上述基于多模态数据的配置信息获取方法的实施例中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
图12示出了本实施例提供的用于实现上述基于多模态数据的配置信息获取方法的程序产品300,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品300不限于此,在本申请中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等,或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,程序设计语言包括面向对象的程序设计语言诸如Java、C++等,还包括常规的过程式程序设计语言诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在关联设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本申请从使用目的上,效能上,进步及新颖性等观点进行阐述,已符合专利法所强调的功能增进及使用要件,本申请以上的说明书及说明书附图,仅为本申请的较佳实施例而已,并非以此局限本申请,因此,凡一切与本申请构造,装置,特征等近似、雷同的,即凡依本申请专利申请范围所作的等同替换或修饰等,皆应属本申请的专利申请保护的范围之内。

Claims (10)

1.一种基于多模态数据的配置信息获取装置,其特征在于,所述装置包括:
生物电获取模块,用于获取患者的实时生物电数据,所述生物电数据包括以下至少一种:实时脑电数据;实时心电数据;实时肌电数据;
图像获取模块,用于利用摄像头拍摄所述患者,得到所述患者的实时图像数据;
状态获取模块,用于基于所述患者的实时生物电数据和实时图像数据,获取所述患者的实时状态信息;
配置获取模块,用于基于所述患者的实时状态信息,获取所述患者的配置信息,所述患者的配置信息用于控制所述患者体内的刺激器施加电刺激。
2.根据权利要求1所述的基于多模态数据的配置信息获取装置,其特征在于,所述状态获取模块包括:
第一显示单元,利用医生设备显示所述患者的实时生物电数据和实时图像数据;
第一接收单元,利用所述医生设备接收状态输入操作;
状态确定单元,响应于所述状态输入操作,确定所述患者的实时状态信息。
3.根据权利要求1所述的基于多模态数据的配置信息获取装置,其特征在于,所述状态获取模块用于将所述患者的实时生物电数据和实时图像数据输入状态分类模型,得到所述患者的实时状态信息。
4.根据权利要求3所述的基于多模态数据的配置信息获取装置,其特征在于,所述状态获取模块包括:状态样本单元,用于获取多个状态样本对象的训练数据,每个状态样本对象的训练数据包括所述状态样本对象的实时生物电数据和实时图像数据及对应的实时状态信息;第一训练单元,用于利用所述多个状态样本对象的训练数据训练第一深度学习模型,得到所述状态分类模型;获取状态单元,用于将所述患者的实时生物电数据和实时图像数据输入所述状态分类模型,得到所述患者的实时状态信息。
5.根据权利要求1所述的基于多模态数据的配置信息获取装置,其特征在于,所述配置获取模块包括:第二显示单元,用于利用医生设备显示所述患者的实时状态信息;第二接收单元,用于利用所述医生设备接收配置输入操作;配置确定单元,用于响应于所述配置输入操作,确定所述患者的配置信息。
6.根据权利要求1所述的基于多模态数据的配置信息获取装置,其特征在于,所述配置获取模块用于将所述患者的实时状态信息输入配置获取模型,得到所述患者的配置信息。
7.根据权利要求6所述的基于多模态数据的配置信息获取装置,其特征在于,所述配置获取模块包括:配置样本单元,用于获取多个配置样本对象的训练数据,每个配置样本对象的训练数据包括所述配置样本对象的实时状态信息及其对应的配置信息;第二训练单元,用于利用所述多个配置样本对象的训练数据训练第二深度学习模型,得到所述配置获取模型;获取配置单元,用于将所述患者的实时状态信息输入所述配置获取模型,得到所述患者的配置信息。
8.一种电子设备,其特征在于,所述电子设备还包括存储器和处理器,所述存储器存储有计算机程序,所述处理器包括:
生物电获取模块,用于获取患者的实时生物电数据,所述生物电数据包括以下至少一种:实时脑电数据;实时心电数据;实时肌电数据;
图像获取模块,用于利用摄像头拍摄所述患者,得到所述患者的实时图像数据;
状态获取模块,用于基于所述患者的实时生物电数据和实时图像数据,获取所述患者的实时状态信息;
配置获取模块,用于基于所述患者的实时状态信息,获取所述患者的配置信息,所述患者的配置信息用于控制所述患者体内的刺激器施加电刺激。
9.一种程控系统,其特征在于,所述程控系统包括医生设备和权利要求8所述的电子设备。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
获取患者的实时生物电数据,所述生物电数据包括以下至少一种:实时脑电数据;实时心电数据;实时肌电数据;
利用摄像头拍摄所述患者,得到所述患者的实时图像数据;
基于所述患者的实时生物电数据和实时图像数据,获取所述患者的实时状态信息;
基于所述患者的实时状态信息,获取所述患者的配置信息,所述患者的配置信息用于控制所述患者体内的刺激器施加电刺激。
CN202110874804.4A 2021-07-30 2021-07-30 基于多模态数据的配置信息获取装置及相关设备 Pending CN113577555A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110874804.4A CN113577555A (zh) 2021-07-30 2021-07-30 基于多模态数据的配置信息获取装置及相关设备
PCT/CN2022/092818 WO2023005353A1 (zh) 2021-07-30 2022-05-13 基于多模态数据的配置信息获取装置及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110874804.4A CN113577555A (zh) 2021-07-30 2021-07-30 基于多模态数据的配置信息获取装置及相关设备

Publications (1)

Publication Number Publication Date
CN113577555A true CN113577555A (zh) 2021-11-02

Family

ID=78253284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110874804.4A Pending CN113577555A (zh) 2021-07-30 2021-07-30 基于多模态数据的配置信息获取装置及相关设备

Country Status (2)

Country Link
CN (1) CN113577555A (zh)
WO (1) WO2023005353A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019948A (zh) * 2022-06-28 2022-09-06 苏州景昱医疗器械有限公司 控制设备、远程会诊系统和计算机可读存储介质
CN115054828A (zh) * 2022-07-25 2022-09-16 苏州景昱医疗器械有限公司 脉冲发生器、医疗系统及计算机可读存储介质
WO2023005353A1 (zh) * 2021-07-30 2023-02-02 苏州景昱医疗器械有限公司 基于多模态数据的配置信息获取装置及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105792741A (zh) * 2013-12-06 2016-07-20 心脏起搏器股份公司 使用分类器融合的心力衰竭事件预测
US20170177827A1 (en) * 2015-12-16 2017-06-22 Brainlab Ag Simulating a Target Coverage for Deep Brain Stimulation
KR20180099434A (ko) * 2017-02-28 2018-09-05 삼성전자주식회사 환자를 모니터링하는 방법 및 장치
CN110522983A (zh) * 2018-05-23 2019-12-03 深圳先进技术研究院 基于人工智能的脑刺激系统、方法、设备和存储介质
CN111012326A (zh) * 2018-10-09 2020-04-17 深圳市理邦精密仪器股份有限公司 盆底校准方法、设备及计算机可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106621041A (zh) * 2016-12-21 2017-05-10 北京品驰医疗设备有限公司 一种迷走神经刺激器电子处方配置系统
CN108392795B (zh) * 2018-02-05 2019-11-01 哈尔滨工程大学 一种基于多信息融合的康复机器人多模态控制方法
CN109864750A (zh) * 2019-01-31 2019-06-11 华南理工大学 基于经颅刺激的精神状态评估与调节系统及其工作方法
CN111481830A (zh) * 2020-04-24 2020-08-04 上海交通大学 闭环神经电刺激系统和设置闭环神经电刺激参数的方法
CN112120716A (zh) * 2020-09-02 2020-12-25 中国人民解放军军事科学院国防科技创新研究院 一种可穿戴式多模态情绪状态监测装置
CN113577555A (zh) * 2021-07-30 2021-11-02 苏州景昱医疗器械有限公司 基于多模态数据的配置信息获取装置及相关设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105792741A (zh) * 2013-12-06 2016-07-20 心脏起搏器股份公司 使用分类器融合的心力衰竭事件预测
US20170177827A1 (en) * 2015-12-16 2017-06-22 Brainlab Ag Simulating a Target Coverage for Deep Brain Stimulation
KR20180099434A (ko) * 2017-02-28 2018-09-05 삼성전자주식회사 환자를 모니터링하는 방법 및 장치
CN110522983A (zh) * 2018-05-23 2019-12-03 深圳先进技术研究院 基于人工智能的脑刺激系统、方法、设备和存储介质
CN111012326A (zh) * 2018-10-09 2020-04-17 深圳市理邦精密仪器股份有限公司 盆底校准方法、设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
余俊武 等: "《骨盆功能障碍与康复治疗》", 31 March 2019, 《吉林科学技术出版社》, pages: 47 *
常青 等: "《助产理论与实践 第3版》", 30 June 2020, 《河南科学技术出版社》, pages: 363 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023005353A1 (zh) * 2021-07-30 2023-02-02 苏州景昱医疗器械有限公司 基于多模态数据的配置信息获取装置及相关设备
CN115019948A (zh) * 2022-06-28 2022-09-06 苏州景昱医疗器械有限公司 控制设备、远程会诊系统和计算机可读存储介质
CN115054828A (zh) * 2022-07-25 2022-09-16 苏州景昱医疗器械有限公司 脉冲发生器、医疗系统及计算机可读存储介质
CN115054828B (zh) * 2022-07-25 2022-11-01 苏州景昱医疗器械有限公司 脉冲发生器、医疗系统及计算机可读存储介质
WO2024021960A1 (zh) * 2022-07-25 2024-02-01 景昱医疗科技(苏州)股份有限公司 脉冲发生器、医疗系统及计算机可读存储介质

Also Published As

Publication number Publication date
WO2023005353A1 (zh) 2023-02-02

Similar Documents

Publication Publication Date Title
CN113577555A (zh) 基于多模态数据的配置信息获取装置及相关设备
US9717920B1 (en) Movement disorder therapy system, devices and methods, and intelligent methods of tuning
CN204169837U (zh) 对患者状况进行监视并且对治疗的管理进行控制的设备
CN113362946A (zh) 视频处理装置、电子设备及计算机可读存储介质
US20170252570A1 (en) Systems and methods for communication during remote programming
CN115054828B (zh) 脉冲发生器、医疗系统及计算机可读存储介质
CN113397503B (zh) 家用医疗设备的控制方法及相关装置
CN113244533A (zh) 参数调整方法、装置、电子设备及计算机可读存储介质
CN113856040A (zh) 植入式神经刺激器和植入式神经刺激系统
CN115501481A (zh) 应急程控设备、医疗系统及计算机可读存储介质
WO2024001723A1 (zh) 控制设备、医疗系统及计算机可读存储介质
CN113515561B (zh) 参数比对方法、装置、电子设备及计算机可读存储介质
CN115145776A (zh) 自动化测试方法、装置、设备、系统及存储介质
WO2024001695A1 (zh) 数据采集方法、装置、系统及计算机可读存储介质
WO2023185410A1 (zh) 刺激电极导线的成像识别方法及相关装置
CN114849063B (zh) 体外充电器、程控系统和计算机可读存储介质
US20230058842A1 (en) Systems and methods for providing digital health services
US20220184405A1 (en) Systems and methods for labeling data in active implantable medical device systems
CN115430053A (zh) 脉冲发生器、刺激器、医疗系统及计算机可读存储介质
US20140065580A1 (en) Method and System of Emulating a Patient Programmer
CN113599699B (zh) 推荐刺激电极组合的方法和系统
CN115019948B (zh) 控制设备、远程会诊系统和计算机可读存储介质
WO2022125499A1 (en) Systems and methods for labeling data in active implantable medical device systems
Shelke et al. Telehealth of cardiac devices for CVD treatment
CN115063505A (zh) 局部图形更新装置、医疗系统及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 215000 building C16, bio nano Park, 218 Xinghu street, Suzhou Industrial Park, Jiangsu Province

Applicant after: Jingyu Medical Technology (Suzhou) Co.,Ltd.

Address before: 215000 building C16, bio nano Park, 218 Xinghu street, Suzhou Industrial Park, Jiangsu Province

Applicant before: SCENERAY Co.,Ltd.