CN108647645B - 一种基于视频分析的多模态癫痫诊断系统和方法 - Google Patents

一种基于视频分析的多模态癫痫诊断系统和方法 Download PDF

Info

Publication number
CN108647645B
CN108647645B CN201810450552.0A CN201810450552A CN108647645B CN 108647645 B CN108647645 B CN 108647645B CN 201810450552 A CN201810450552 A CN 201810450552A CN 108647645 B CN108647645 B CN 108647645B
Authority
CN
China
Prior art keywords
video
unit
analysis
module
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810450552.0A
Other languages
English (en)
Other versions
CN108647645A (zh
Inventor
陈劲全
田菁
余卫宇
林俊科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Elon Technology Co ltd
Original Assignee
Guangzhou Feeyy Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Feeyy Intelligent Technology Co ltd filed Critical Guangzhou Feeyy Intelligent Technology Co ltd
Priority to CN201810450552.0A priority Critical patent/CN108647645B/zh
Publication of CN108647645A publication Critical patent/CN108647645A/zh
Application granted granted Critical
Publication of CN108647645B publication Critical patent/CN108647645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4094—Diagnosing or monitoring seizure diseases, e.g. epilepsy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明的基于视频分析的多模态癫痫诊断系统，包括网络交换机、摄像头、网络硬盘录相机、台式机和多模态监控分析模块和EEG脑电图检查设备；多模态监控分析模块包括视频分析子模块，EEG脑电图分析子模块，智能管理子模块；视频分析子模块包括动作检测单元、动作识别单元；EEG脑电图分析子模块包括特征提取单元，特征分类单元；智能管理子模块包括视频存储单元、取证单元和报警单元；诊断方法包括EEG脑电图检查设备将检测到的脑电图发送多模态监控分析模块，摄像头拍摄患者视频信息发送台式机和多模态监控分析模块，多模态监控分析模块建立判断模型，多模态监控分析模块对视频进行分析。

Description

一种基于视频分析的多模态癫痫诊断系统和方法
技术领域
本发明涉及人工智能计算机视觉技术领域，具体涉及一种基于视频分析的多模态癫痫诊断系统和方法。
背景技术
癫痫是一种神经失调症，在中国癫痫已经成为神经科的第二大常见病。传统的癫痫病检测采用的时接触式手段，操作复杂，且不可以进行实时检测；当患者病发时不可以及时的进行监控和预警，影响病情控制，不便于医护人员的监护；
由于癫痫发作历时短暂,临床工作中诊断较为困难,临床医师很难目睹就诊每位患者发作时的状况,而远程视频脑电监测可以实时同步观察患者发作时的情形和脑电图改变情况较准确地做到对癫痫的诊断、鉴别诊断及发作类型的分类,同时也为外科术前评估提供了可靠的依据。视频脑电监测结果可以为临床抗癫痫药物选择以及后续药物的合理调整提供有力的依据。同时对非痫性发作事件的准确识别起到了其他检查无可替代的作用,对发作性疾病的诊断及鉴别诊断有着重要的临床决策价值。
因此，需要提供一种可以实时的对患者进行监控，实时分析视频数据，自动监测患者是否发病；自动分析视频中的患者动作，识别病状类型的诊断系统。
发明内容
本发明的目的在于提供一种基于视频分析的多模态癫痫诊断系统和方法，用以解决现在监控诊断设备不可以对患者进行实时监护和病情诊断的问题。
为实现上述目的，本发明的技术方案为
一种基于视频分析的多模态癫痫诊断系统，包括网络交换机、摄像头、网络硬盘录相机、台式机和多模态监控分析模块和EEG脑电图检查设备；
所述摄像头用于采集患者的视频信息并发送所述网络交换机；
所述网络交换机用于将接收到的视频信息发送网络硬盘录相机和台式机；
所述网络硬盘录相机用于录制并存储接收到的视频信息；
所述台式机用于存储、管理、查询和浏览接收到的视频信息；
所述EEG脑电图检查设备用于检测脑电图并发送到所述多模态监控分析模块；
所述多模态监控分析模块用于监控癫痫发病和对癫痫病进行诊断；
所述多模态监控分析模块包括视频分析子模块、EEG脑电图分析子模块和智能管理子模块；
所述视频分析子模块包括动作检测单元和动作识别单元；
所述EEG脑电图分析子模块包括特征提取单元和特征分类识别单元；
所述智能管理子模块包括视频存储单元、智能学习单元、取证单元和报警单元。
其中，所述摄像头包括旋转盘，于所述旋转盘的外侧套设有安装框架；
沿着垂直于所述旋转盘的方向于其上侧螺纹旋接有圆杆状的第一传动轴，于所述第一传动轴的上端螺纹旋接有第一电机，于所述安装框架的上侧卡接有ARM控制器；于所述第一电机上电连接有第一电机驱动器；
于所述旋转盘的下侧卡接有LED灯、光照强度传感器和蓄电池；
于所述旋转盘的下侧的边缘处螺纹旋接有半球状的外罩；
于所述外罩的内壁上枢接有第二摄像头；
于所述外罩的内壁上螺栓固定有第二电机，于所述第二电机上电连接有第二电机驱动器；于所述第二电机的端部螺纹旋接有圆杆状的第二传动轴，于所述第二传动轴的另一端螺纹旋接有圆盘状的旋转盘，于所述旋转盘的边缘处铰接有侧杆；
于所述侧杆的远离所述旋转盘的一端卡接有圆杆状的顶紧杆，于所述顶紧杆的端部螺纹旋接有夹紧件；于两个所述夹紧件之间夹紧有第一摄像头。
其中，所述夹紧件包括外壳；于所述外壳内穿设有调节腔，于所述调节腔内滑动的穿设有圆弧状的拉杆；
于所述外壳的内侧壁上穿设有调节孔，两个所述调节孔分别处于所述外壳的两侧靠近边缘处；所述调节孔和所述调节腔连通；
于所述调节孔内滑动穿设有卡紧块；于所述卡紧块的侧壁上螺纹旋接有半球状的旋接头；所述拉杆的两端分别用螺纹旋接于两个所述旋接头上；所述卡紧块的侧壁为曲面；
于所述外壳的内侧壁上卡接有定位座，沿着所述定位座的轴向于其内穿设有定位孔，所述定位孔和所述调节腔连通；沿着所述定位孔的轴向于内滑动穿设有圆杆状的卡接杆，所述卡接杆的一端用螺纹旋接于所述拉杆上；于所述拉杆上套设有弹簧，于所述弹簧滑动的穿设于所述调节腔内。
其中，所述动作检测单元利用监控摄像机获得患者的监控视频数据，并实时进行视频处理，利用深度学习技术分析人体目标在视频中的动作，当患者发病时自动报警；
所述动作识别单元用于自动分析视频中人体目标的动作，根据身体部位和运动特征提供18个维度的动作分析，利用深度学习技术自动识别9种病状类型。
其中，所述特征提取单元用于对数据库的训练数据提取多尺度小波域变换特征；
所述特征分类识别单元用于对采集的EEG脑电图利用机器学习的方法根据发病症状建立相应的判断模型。
其中，所述视频存储单元用于存储并管理接收到的视频和图像信息；
所述智能学习单元用于对采集的EEG脑电图和视频分析结果利用机器学习的方法根据发病症状建立相应的判断模型；
所述取证单元用于在接收到所述视频分析子模块发送的触发信号后开始拍摄视频进行取证；
所述报警单元用于在接收到所述视频分析子模块发送的触发信号后发送报警信息到预存的联系方式。
一种诊断方法，用于所述基于视频分析的多模态癫痫诊断系统，包括步骤：
步骤1：所述EEG脑电图检查设备将检测到的脑电图发送所述多模态监控分析模块；
步骤2：所述摄像头拍摄患者视频信息并经过所述网络交换机转发所述台式机和所述多模态监控分析模块；
步骤3：所述多模态监控分析模块根据从所述EEG脑电图检查设备接收的脑电图建立判断模型；
步骤4：所述多模态监控分析模块根据所述判断模型对从所述摄像头接收的视频进行重建和分析，以诊断患者病情。
其中，所述多模态监控分析模块根据从所述EEG脑电图检查设备接收的脑电图建立判断模型包括：
步骤3.1：所述视频存储单元存储从所述EEG脑电图检查设备接收的脑电图；
步骤3.2：所述智能学习单元对所述脑电图利用机器学习的方法根据发病症状建立相应的判断模型。
其中，所述多模态监控分析模块根据所述判断模型对从所述摄像头接收的视频进行重建和分析，以诊断患者病情包括步骤：
步骤4.1：所述动作检测单元利用监控摄像机获得患者的监控视频数据并实时进行视频处理，利用深度学习技术分析人体目标在视频中的动作；
步骤4.2：所述动作识别单元用于自动分析视频中人体目标的动作，根据身体部位和运动特征提供18个维度的动作分析，利用深度学习技术自动识别9种病状类型；
步骤4.3：所述视频分析子模块根据所述判断模型对接收到的视频进行分析以判断患者当前是否发病，如果患者当前发病则发送触发信号到取证单元和报警单元；
步骤4.4：所述取证单元在接收到所述视频分析子模块发送的触发信号后开始拍摄视频进行取证；
步骤4.5：所述报警单元在接收到所述视频分析子模块发送的触发信号后发送报警信息到预存的联系方式。
其中，所述摄像头拍摄患者视频信息并经过所述网络交换机转发所述台式机和所述多模态监控分析模块包括步骤：
步骤1.1：所述ARM控制器预设光照强度、被监控患者的照片、第一预设角度和第二预设角度；
步骤1.2：所述光照强度传感器采集实际光照强度并发送到所述ARM控制器；如果所述实际光照强度小于预设光照强度，则所述ARM控制器控制所述LED灯发光；
步骤1.3：所述ARM控制器发送拍摄视频命令到所述第一摄像头；所述第一摄像头将拍摄的视频信息发送到所述ARM控制器与被监控患者的照片进行比对；
步骤1.4：如果，所述视频信息内的患者图像与所述被监控患者的照片不一致，则所述ARM控制器发送转动命令到所述第一电机驱动器和第二电机驱动器；
步骤1.5：所述第一电机驱动器驱动所述第一电机旋转第一预设角度，所述第一电机带动所述旋转盘、所述第二电机和所述第一摄像头沿着水平方向旋转第一预设角度；
步骤1.6：所述第二电机驱动器驱动所述第二电机旋转第二预设角度；所述第二电机带动所述第一摄像头在竖直方向上旋转所述第二预设角度；之后，返回步骤1.3。
本发明方法具有如下优点：
本发明的基于视频分析的多模态癫痫诊断系统，包括网络交换机、摄像头、网络硬盘录相机、台式机和多模态监控分析模块和EEG脑电图检查设备；
所述摄像头用于采集患者的视频信息并发送所述网络交换机；所述网络交换机用于将接收到的视频信息发送网络硬盘录相机和台式机；所述网络硬盘录相机用于录制并存储接收到的视频信息；所述台式机用于存储、管理、查询和浏览接收到的视频信息；所述EEG脑电图检查设备用于检测脑电图并发送到所述多模态监控分析模块；所述多模态监控分析模块用于监控癫痫发病和对癫痫病进行诊断；所述多模态监控分析模块包括视频分析子模块、EEG脑电图分析子模块和智能管理子模块；所述视频分析子模块包括动作检测单元和动作识别单元；所述EEG脑电图分析子模块包括特征提取单元和特征分类识别单元；
所述智能管理子模块包括视频存储单元、智能学习单元、取证单元和报警单元；
本发明的诊断方法，用于所述基于视频分析的多模态癫痫诊断系统，包括步骤：步骤1：所述EEG脑电图检查设备将检测到的脑电图发送所述多模态监控分析模块；步骤2：所述摄像头拍摄患者视频信息并经过所述网络交换机转发所述台式机和所述多模态监控分析模块；步骤3：所述多模态监控分析模块根据从所述EEG脑电图检查设备接收的脑电图建立判断模型；步骤4：所述多模态监控分析模块根据所述判断模型对从所述摄像头接收的视频进行重建和分析，以诊断患者病情；
所述视频分析子模块利用监控摄像机，实时分析视频数据，自动监测患者是否发病；自动分析视频中的患者动作，识别病状类型；
所述智能管理子模块对采集的EEG脑电图利用机器学习的方法根据发病症状建立相应的判断模型，并根据所述判断模型对采集的患者视频进行判断，根据判断结果向医护人员和患者家属发送报警信息且采集视频信息作为证据。
附图说明
图1是本发明的基于视频分析的多模态癫痫诊断系统的功能模块图。
图2是本发明的摄像头的结构示意图。
图3是本发明的夹紧件的结构示意图。
1-网络交换机；2-摄像头；21-第一电机；22-第一传动轴；23-安装框架；24-旋转盘；25-外罩；26-第二电机；27-第二传动轴；28-旋转盘；29-侧杆；210-顶紧杆；211-夹紧件；21101-外壳；21102-卡紧块；21103-卡接杆；21104-定位座；21105-弹簧；21106-拉杆；21107-旋接头；212-第一摄像头；213-第二摄像头；214-光照强度传感器；215-LED灯；216-ARM控制器；217-蓄电池；3-网络硬盘录相机；4-台式机；5-多模态监控分析模块；6-EEG脑电图检查设备。
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1
本实施例1的基于视频分析的多模态癫痫诊断系统，包括网络交换机1、摄像头2、网络硬盘录相机3、台式机4和多模态监控分析模块5和EEG脑电图检查设备6；所述摄像头2用于采集患者的视频信息并发送所述网络交换机1；所述网络交换机1用于将接收到的视频信息发送网络硬盘录相机3和台式机4；所述网络硬盘录相机3用于录制并存储接收到的视频信息；所述台式机4用于存储、管理、查询和浏览接收到的视频信息；所述EEG脑电图检查设备6用于检测脑电图并发送到所述多模态监控分析模块5；所述多模态监控分析模块5用于监控癫痫发病和对癫痫病进行诊断；所述多模态监控分析模块5包括视频分析子模块、EEG脑电图分析子模块和智能管理子模块；所述视频分析子模块包括动作检测单元和动作识别单元；所述EEG脑电图分析子模块包括特征提取单元和特征分类识别单元；所述智能管理子模块包括视频存储单元、智能学习单元、取证单元和报警单元。
所述智能管理子模块可以对采集的EEG脑电图利用机器学习的方法根据发病症状建立相应的判断模型，并根据所述判断模型对采集的患者视频进行判断，根据判断结果向医护人员和患者家属发送报警信息且采视频证据信息。
所述视频存储单元存储并管理接收到的视频和图像信息；所述智能学习单元对采集的EEG脑电图利用机器学习的方法根据发病症状建立相应的判断模型；所述视频分析子模块根据所述判断模型对接收到的视频进行分析以判断患者当前是否发病，如果患者当前发病则发送触发信号到取证单元和报警单元；所述取证单元在接收到所述视频分析子模块发送的触发信号后开始拍摄视频进行取证；所述报警单元在接收到所述视频分析子模块发送的触发信号后发送报警信息到预存的联系方式。
本发明的基于视频分析的多模态癫痫诊断系统可以自动的采集患者的发病视频，且可以对视频进行分析，并根据分析结果做出诊断，且可以进行远程监护。
实施例2
进一步，在实施例1的基础上：
所述摄像头2包括旋转盘24，于所述旋转盘24的外侧套设有安装框架23；
沿着垂直于所述旋转盘24的方向于其上侧螺纹旋接有圆杆状的第一传动轴22，于所述第一传动轴22的上端螺纹旋接有第一电机21，于所述安装框架23的上侧卡接有ARM控制器216；于所述第一电机21上电连接有第一电机驱动器；于所述旋转盘24的下侧卡接有LED灯215、光照强度传感器214和蓄电池217；
于所述旋转盘24的下侧的边缘处螺纹旋接有半球状的外罩25；于所述外罩25的内壁上枢接有第二摄像头213；于所述外罩25的内壁上螺栓固定有第二电机26，于所述第二电机26上电连接有第二电机驱动器；于所述第二电机26的端部螺纹旋接有圆杆状的第二传动轴27，于所述第二传动轴27的另一端螺纹旋接有圆盘状的旋转盘28，于所述旋转盘28的边缘处铰接有侧杆29；于所述侧杆29的远离所述旋转盘28的一端卡接有圆杆状的顶紧杆210，于所述顶紧杆210的端部螺纹旋接有夹紧件211；于两个所述夹紧件211之间夹紧有第一摄像头212。
所述夹紧件211包括外壳21101；于所述外壳21101内穿设有调节腔，于所述调节腔内滑动的穿设有圆弧状的拉杆21106；于所述外壳21101的内侧壁上穿设有调节孔，两个所述调节孔分别处于所述外壳21101的两侧靠近边缘处；所述调节孔和所述调节腔连通；
于所述调节孔内滑动穿设有卡紧块21102；于所述卡紧块21102的侧壁上螺纹旋接有半球状的旋接头21107；所述拉杆21106的两端分别用螺纹旋接于两个所述旋接头21107上；所述卡紧块21102的侧壁为曲面；
于所述外壳21101的内侧壁上卡接有定位座21104，沿着所述定位座21104的轴向于其内穿设有定位孔，所述定位孔和所述调节腔连通；沿着所述定位孔的轴向于内滑动穿设有圆杆状的卡接杆21103，所述卡接杆21103的一端用螺纹旋接于所述拉杆21106上；于所述拉杆21106上套设有弹簧21105，于所述弹簧21105滑动的穿设于所述调节腔内。
所述动作检测单元利用监控摄像机获得患者的监控视频数据，并实时进行视频处理，利用深度学习技术分析人体目标在视频中的动作，当患者发病时自动报警；
所述动作识别单元用于自动分析视频中人体目标的动作，根据身体部位和运动特征提供18个维度的动作分析，利用深度学习技术自动识别9种病状类型。
所述特征提取单元用于对数据库的训练数据提取多尺度小波域变换特征；所述特征分类识别单元用于对采集的EEG脑电图利用机器学习的方法根据发病症状建立相应的判断模型。
所述视频存储单元用于存储并管理接收到的视频和图像信息；
所述智能学习单元用于对采集的EEG脑电图和视频分析结果利用机器学习的方法根据发病症状建立相应的判断模型；
所述取证单元用于在接收到所述视频分析子模块发送的触发信号后开始拍摄视频进行取证；
所述报警单元用于在接收到所述视频分析子模块发送的触发信号后发送报警信息到预存的联系方式。
实施例3
进一步，在实施例2的基础上：
本实施例1的诊断方法，用于所述基于视频分析的多模态癫痫诊断系统，包括步骤：
步骤1：所述EEG脑电图检查设备6将检测到的脑电图发送所述多模态监控分析模块5；
步骤2：所述摄像头2拍摄患者视频信息并经过所述网络交换机1转发所述台式机4和所述多模态监控分析模块5；
步骤3：所述多模态监控分析模块5根据从所述EEG脑电图检查设备6接收的脑电图建立判断模型；
步骤4：所述多模态监控分析模块5根据所述判断模型对从所述摄像头2接收的视频进行重建和分析，以诊断患者病情。
所述多模态监控分析模块5根据从所述EEG脑电图检查设备6接收的脑电图建立判断模型包括：
步骤3.1：所述视频存储单元存储从所述EEG脑电图检查设备6接收的脑电图；
步骤3.2：所述智能学习单元对所述脑电图利用机器学习的方法根据发病症状建立相应的判断模型。
所述多模态监控分析模块5根据所述判断模型对从所述摄像头2接收的视频进行重建和分析，以诊断患者病情包括步骤：
步骤4.1：所述动作检测单元利用监控摄像机获得患者的监控视频数据并实时进行视频处理，利用深度学习技术分析人体目标在视频中的动作；
步骤4.2：所述动作识别单元用于自动分析视频中人体目标的动作，根据身体部位和运动特征提供18个维度的动作分析，利用深度学习技术自动识别9种病状类型；
步骤4.3：所述视频分析子模块根据所述判断模型对接收到的视频进行分析以判断患者当前是否发病，如果患者当前发病则发送触发信号到取证单元和报警单元；
步骤4.4：所述取证单元在接收到所述视频分析子模块发送的触发信号后开始拍摄视频进行取证；
步骤4.5：所述报警单元在接收到所述视频分析子模块发送的触发信号后发送报警信息到预存的联系方式。
所述摄像头2拍摄患者视频信息并经过所述网络交换机1转发所述台式机4和所述多模态监控分析模块5包括步骤：
步骤1.1：所述ARM控制器216预设光照强度、被监控患者的照片、第一预设角度和第二预设角度；
步骤1.2：所述光照强度传感器214采集实际光照强度并发送到所述ARM控制器216；如果所述实际光照强度小于预设光照强度，则所述ARM控制器216控制所述LED灯215发光；
步骤1.3：所述ARM控制器216发送拍摄视频命令到所述第一摄像头212；所述第一摄像头212将拍摄的视频信息发送到所述ARM控制器216与被监控患者的照片进行比对；
步骤1.4：如果，所述视频信息内的患者图像与所述被监控患者的照片不一致，则所述ARM控制器216发送转动命令到所述第一电机驱动器和第二电机驱动器；
步骤1.5：所述第一电机驱动器驱动所述第一电机21旋转第一预设角度，所述第一电机21带动所述旋转盘24、所述第二电机26和所述第一摄像头212沿着水平方向旋转第一预设角度；
步骤1.6：所述第二电机驱动器驱动所述第二电机26旋转第二预设角度；所述第二电机26带动所述第一摄像头212在竖直方向上旋转所述第二预设角度；之后，返回步骤1.3。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (4)

1.一种基于视频分析的多模态癫痫诊断系统，其特征在于，包括网络交换机(1)、摄像头(2)、网络硬盘录相机(3)、台式机(4)和多模态监控分析模块(5)和EEG脑电图检查设备(6)；
所述摄像头(2)用于采集患者的视频信息并发送所述网络交换机(1)；
所述网络交换机(1)用于将接收到的视频信息发送网络硬盘录相机(3)和台式机(4)；
所述网络硬盘录相机(3)用于录制并存储接收到的视频信息；
所述台式机(4)用于存储、管理、查询和浏览接收到的视频信息；
所述EEG脑电图检查设备(6)用于检测脑电图并发送到所述多模态监控分析模块(5)；
所述多模态监控分析模块(5)用于监控癫痫发病和对癫痫病进行诊断；
所述多模态监控分析模块(5)包括视频分析子模块、EEG脑电图分析子模块和智能管理子模块；
所述视频分析子模块包括动作检测单元和动作识别单元；
所述EEG脑电图分析子模块包括特征提取单元和特征分类识别单元；
所述智能管理子模块包括视频存储单元、智能学习单元、取证单元和报警单元；
所述摄像头(2)包括旋转盘(24)，于所述旋转盘(24)的外侧套设有安装框架(23)；
沿着垂直于所述旋转盘(24)的方向于其上侧螺纹旋接有圆杆状的第一传动轴(22)，于所述第一传动轴(22)的上端螺纹旋接有第一电机(21)，于所述安装框架(23)的上侧卡接有ARM控制器(216)；于所述第一电机(21)上电连接有第一电机驱动器；
于所述旋转盘(24)的下侧卡接有LED灯(215)、光照强度传感器(214)和蓄电池(217)；
于所述旋转盘(24)的下侧的边缘处螺纹旋接有半球状的外罩(25)；
于所述外罩(25)的内壁上枢接有第二摄像头(213)；
于所述外罩(25)的内壁上螺栓固定有第二电机(26)，于所述第二电机(26)上电连接有第二电机驱动器；于所述第二电机(26)的端部螺纹旋接有圆杆状的第二传动轴(27)，于所述第二传动轴(27)的另一端螺纹旋接有圆盘状的旋转盘(28)，于所述旋转盘(28)的边缘处铰接有侧杆(29)；
于所述侧杆(29)的远离所述旋转盘(28)的一端卡接有圆杆状的顶紧杆(210)，于所述顶紧杆(210)的端部螺纹旋接有夹紧件(211)；于两个所述夹紧件(211)之间夹紧有第一摄像头(212)；
所述夹紧件(211)包括外壳(21101)；于所述外壳(21101)内穿设有调节腔，于所述调节腔内滑动的穿设有圆弧状的拉杆(21106)；
于所述外壳(21101)的内侧壁上穿设有调节孔，两个所述调节孔分别处于所述外壳(21101)的两侧靠近边缘处；所述调节孔和所述调节腔连通；
于所述调节孔内滑动穿设有卡紧块(21102)；于所述卡紧块(21102)的侧壁上螺纹旋接有半球状的旋接头(21107)；所述拉杆(21106)的两端分别用螺纹旋接于两个所述旋接头(21107)上；所述卡紧块(21102)的侧壁为曲面；
于所述外壳(21101)的内侧壁上卡接有定位座(21104)，沿着所述定位座(21104)的轴向于其内穿设有定位孔，所述定位孔和所述调节腔连通；沿着所述定位孔的轴向于内滑动穿设有圆杆状的卡接杆(21103)，所述卡接杆(21103)的一端用螺纹旋接于所述拉杆(21106)上；于所述拉杆(21106)上套设有弹簧(21105)，于所述弹簧(21105)滑动的穿设于所述调节腔内。
2.根据权利要求1所述基于视频分析的多模态癫痫诊断系统，其特征在于，所述动作检测单元利用监控摄像机获得患者的监控视频数据，并实时进行视频处理，利用深度学习技术分析人体目标在视频中的动作，当患者发病时自动报警；
所述动作识别单元用于自动分析视频中人体目标的动作，根据身体部位和运动特征提供18个维度的动作分析，利用深度学习技术自动识别9种病状类型。
3.根据权利要求2所述基于视频分析的多模态癫痫诊断系统，其特征在于，
所述特征提取单元用于对数据库的训练数据提取多尺度小波域变换特征；
所述特征分类识别单元用于对采集的EEG脑电图利用机器学习的方法根据发病症状建立相应的判断模型。
4.根据权利要求3所述基于视频分析的多模态癫痫诊断系统，其特征在于，所述视频存储单元用于存储并管理接收到的视频和图像信息；
所述智能学习单元用于对采集的EEG脑电图和视频分析结果利用机器学习的方法根据发病症状建立相应的判断模型；
所述取证单元用于在接收到所述视频分析子模块发送的触发信号后开始拍摄视频进行取证；
所述报警单元用于在接收到所述视频分析子模块发送的触发信号后发送报警信息到预存的联系方式。
CN201810450552.0A 2018-05-11 2018-05-11 一种基于视频分析的多模态癫痫诊断系统和方法 Active CN108647645B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810450552.0A CN108647645B (zh) 2018-05-11 2018-05-11 一种基于视频分析的多模态癫痫诊断系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810450552.0A CN108647645B (zh) 2018-05-11 2018-05-11 一种基于视频分析的多模态癫痫诊断系统和方法

Publications (2)

Publication Number Publication Date
CN108647645A CN108647645A (zh) 2018-10-12
CN108647645B true CN108647645B (zh) 2020-10-09

Family

ID=63754658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810450552.0A Active CN108647645B (zh) 2018-05-11 2018-05-11 一种基于视频分析的多模态癫痫诊断系统和方法

Country Status (1)

Country Link
CN (1) CN108647645B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670479B (zh) * 2018-12-29 2020-07-28 天津理工大学 一种智能监控方法及系统
CN110477907B (zh) * 2019-07-16 2022-05-03 华南师范大学 一种智能辅助识别痫性发作的建模方法
CN111557809B (zh) * 2020-06-09 2021-11-30 首都医科大学宣武医院 一种伸缩式防护报警床档
CN111557813B (zh) * 2020-06-09 2021-11-23 首都医科大学宣武医院 用于儿童癫痫监测的围栏系统
CN115778330A (zh) * 2023-02-07 2023-03-14 之江实验室 一种基于视频脑电的癫痫发作自动检测系统及装置
CN117224080A (zh) * 2023-09-04 2023-12-15 深圳市维康致远科技有限公司 大数据的人体数据监测方法装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102389306A (zh) * 2011-06-27 2012-03-28 北京高懋电子信息技术有限公司 脑电图伪差自动识别方法和采用该方法的自动识别脑电图仪
CN106874694A (zh) * 2017-03-20 2017-06-20 江南大学 一种面向癫痫脑电信号识别的智能诊断系统
CN206323464U (zh) * 2016-12-26 2017-07-11 天津凡创科技有限公司 一种可录播并将录像视频投影自动跟踪摄像头
CN107874756A (zh) * 2017-11-21 2018-04-06 博睿康科技（常州）股份有限公司 脑电采集系统和视频采集系统的精确同步方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8075499B2 (en) * 2007-05-18 2011-12-13 Vaidhi Nathan Abnormal motion detector and monitor
US10561333B2 (en) * 2016-06-10 2020-02-18 Mocxa Health Private Limited Procedure and a portable apparatus for diagnosis of seizures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102389306A (zh) * 2011-06-27 2012-03-28 北京高懋电子信息技术有限公司 脑电图伪差自动识别方法和采用该方法的自动识别脑电图仪
CN206323464U (zh) * 2016-12-26 2017-07-11 天津凡创科技有限公司 一种可录播并将录像视频投影自动跟踪摄像头
CN106874694A (zh) * 2017-03-20 2017-06-20 江南大学 一种面向癫痫脑电信号识别的智能诊断系统
CN107874756A (zh) * 2017-11-21 2018-04-06 博睿康科技（常州）股份有限公司 脑电采集系统和视频采集系统的精确同步方法

Also Published As

Publication number Publication date
CN108647645A (zh) 2018-10-12

Similar Documents

Publication Publication Date Title
CN108647645B (zh) 一种基于视频分析的多模态癫痫诊断系统和方法
US7885706B2 (en) System and device for seizure detection
US8364255B2 (en) Method and device for removing EEG artifacts
WO2019079310A1 (en) SYSTEMS, DEVICES AND METHODS FOR NON-INVASIVE HEMATOLOGICAL MEASUREMENTS
US10561333B2 (en) Procedure and a portable apparatus for diagnosis of seizures
CN112150759A (zh) 基于视频算法的实时监测与预警系统及方法
EP3547901B1 (en) System and computer program for monitoring cardiac activity of a user
Cunha et al. A novel portable, low-cost kinect-based system for motion analysis in neurological diseases
Ali et al. Video-based behavior understanding of children for objective diagnosis of autism
US20180279948A1 (en) Method and system for pupillometric assessment of toxin exposure
CN114677826B (zh) 一种基于个体行为与生理特征的精神病人暴力预警系统
Bazi et al. Real-time mobile-based electrocardiogram system for remote monitoring of patients with cardiac arrhythmias
WO2023012818A1 (en) A non-invasive multimodal screening and assessment system for human health monitoring and a method thereof
CN107427210A (zh) 用于颅内压的无创评估的方法和设备
CN1466852A (zh) 数据记录器
Lai et al. Enabling saccade latency measurements with consumer-grade cameras
Aghaei et al. Epileptic seizure detection based on video and EEG recordings
CN110148110B (zh) 一种自发性眼震智能诊断系统
US20220160291A1 (en) System for recording of seizures
CN106055874B (zh) 近红外脑成像仪图谱采集及分析系统
CN213934917U (zh) 考生行为监控装置
CN114141390A (zh) 一种远程icu数据网络系统
CN114847872A (zh) 一种基于物联网技术的医疗诊断系统及其实施方法
CN217408819U (zh) 基于近红外光谱和动态视觉追踪的意识检测及评价系统
RU2624803C1 (ru) Устройство для конъюнктивальной микроскопии

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220921

Address after: 510725 Shop 1308-G2, No. 3889 Huangpu East Road, Huangpu District, Guangzhou, Guangdong, China

Patentee after: Guangzhou Elon Technology Co.,Ltd.

Address before: A401, No. 471, Dashi Section, 105 National Road, Dashi Street, Panyu District, Guangzhou City, Guangdong Province, 511430

Patentee before: GUANGZHOU FEEYY INTELLIGENT TECHNOLOGY CO.,LTD.