CN116035564A - 一种噎食与误吸智能检测方法、装置及电子设备 - Google Patents

一种噎食与误吸智能检测方法、装置及电子设备 Download PDF

Info

Publication number
CN116035564A
CN116035564A CN202211557244.0A CN202211557244A CN116035564A CN 116035564 A CN116035564 A CN 116035564A CN 202211557244 A CN202211557244 A CN 202211557244A CN 116035564 A CN116035564 A CN 116035564A
Authority
CN
China
Prior art keywords
data
target object
physiological information
facial expression
limb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211557244.0A
Other languages
English (en)
Inventor
李靖
于喜媚
闫雯
孙晨璐
秦逗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shunyuan Chenchen Technology Development Co ltd
Original Assignee
Beijing Shunyuan Chenchen Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shunyuan Chenchen Technology Development Co ltd filed Critical Beijing Shunyuan Chenchen Technology Development Co ltd
Priority to CN202211557244.0A priority Critical patent/CN116035564A/zh
Publication of CN116035564A publication Critical patent/CN116035564A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Dentistry (AREA)
  • Pulmonology (AREA)
  • Computational Linguistics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种噎食与误吸智能检测方法、装置及电子设备，其方法包括：获取目标对象的视频数据；基于视频数据确定当前场景是否符合第一场景，若是，则获取目标对象的面部表情数据、肢体动作数据及生理信息数据；确定面部表情数据、肢体动作数据及生理信息数据中任一是否满足用于判断是否出现噎食或误吸的预设条件；响应于面部表情数据、肢体动作数据及生理信息数据中任一满足预设条件，确定目标对象出现噎食或误吸，进行预警提醒。本申请基于面部表情、肢体动作和生理信息进行快速识别，不只依赖于单一数据，更实现了对面部表情、肢体动作和生理信息的快速融合，能高效地分析目标对象的健康状况，提高了噎食与误吸检测的精准度。

Description

一种噎食与误吸智能检测方法、装置及电子设备
技术领域
本发明涉及数据处理技术领域，具体涉及一种噎食与误吸智能检测方法、装置及电子设备。
背景技术
误吸是口咽或胃内容物经声门进入下呼吸道的过程。临床上可分为显性误吸和隐性误吸，显性误吸是指误吸发生后，用户即刻出现刺激性呛咳、气急甚至发绀、窒息等表现，继而发生急性支气管炎、支气管哮喘、吸入性肺炎(化学性和细菌性)等并发症，另外，气管分泌物中或痰液中出现胃内容物或食物也代表发生了误吸；隐性误吸是在发生微量误吸时，用户当时没有刺激性呛咳、气急等症状，但长期反复发生隐性误吸可导致慢性咳嗽、慢性支气管炎、肺间质纤维化等病症。
噎食，指食物堵塞咽喉部或卡在食道的第一狭窄处，甚至误入气管，引起呼吸窒息。
现有的误吸检测方法是在医院进行胸片检查等，方法存在较长时间的延迟，影响用户误吸的及时发现与治疗。同时，误吸也会导致支气管、肺部感染，严重损害健康。误吸经常发生于衰弱老人、婴儿、孩童、吞咽障碍病人、智障残疾人等人群。这就导致看护这些用户需要耗费大量的人力、物力，也难以达到理想效果；且看护用户吃饭，给用户带来一定的心理压力，有碍尊严。其中老人最容易发生误吸，并难以及时发现，成为影响老人健康的重要隐患。因此，及时发现和治疗误吸对于用户预后具有重要意义。
如何提高现有的确定目标对象是否出现噎食与误吸的精准度，是待解决的技术问题。
发明内容
基于此，有必要针对现有的确定目标对象出现噎食与误吸的精准度低的问题，提供一种噎食与误吸智能检测方法、装置和电子设备。
第一方面，本申请实施例提供了一种噎食与误吸智能检测方法，所述方法包括：
获取目标对象的视频数据；
基于所述目标对象的视频数据确定当前场景是否符合第一场景，并在确定出当前场景符合所述第一场景时，获取所述目标对象的面部表情数据、肢体动作数据及生理信息数据；
确定所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据是否满足用于判断所述目标对象是否出现噎食或误吸的预设条件；
响应于所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据满足所述预设条件，确定所述目标对象出现噎食或误吸，以通过预警装置进行预警提醒。
优选地，响应于所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据不满足所述预设条件，对所述目标对象的面部表情数据、肢体动作数据及生理信息数据进行多模态信息融合处理，得到对应的综合信息；
响应于所述综合信息满足所述预设条件，确定所述目标对象出现噎食或误吸，以通过预警装置进行预警提醒。
优选地，所述基于所述目标对象的视频数据确定当前场景是否符合第一场景，包括：
根据预先采集的多个包含预设动作的视频数据建立第一数据集进行增强训练，生成用于第一场景识别的第一深度学习模型；
根据第一深度学习模型对获取的目标对象视频数据进行识别，若识别出预设动作，则确定当前场景是否符合第一场景；
所述预设动作包括进食动作、饮用动作或吞咽动作。
优选地，所述确定所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据是否满足用于判断所述目标对象是否出现噎食或误吸的预设条件，包括：
确定所述目标对象的面部表情数据是否满足所述预设条件；和/或，
确定所述目标对象的肢体动作数据是否满足所述预设条件；和/或，
确定所述目标对象的生理信息数据是否满足所述预设条件。
优选地，所述确定所述目标对象的面部表情数据是否满足所述预设条件，包括：
根据预先采集的多个包含面部表情的视频数据建立第二数据集进行增强训练，生成用于面部表情识别的第二深度学习模型；
根据第二深度学习模型对获取的目标对象视频数据进行识别，若识别出危险面部表情，则确定所述目标对象的面部表情数据满足所述预设条件。
优选地，所述确定所述目标对象的肢体动作数据是否满足所述预设条件，包括：
根据预先采集的多个包含肢体动作的视频数据建立第三数据集进行增强训练，生成用于肢体动作识别的第三深度学习模型；
根据第三深度学习模型对获取的目标对象视频数据进行识别，若识别出危险肢体动作，则确定所述目标对象的肢体动作数据满足所述预设条件。
优选地，所述确定所述目标对象的生理信息数据是否满足所述预设条件，包括：
根据预先采集的多个包含生理信息参数的生理信息数据建立第四数据集进行增强训练，生成用于生理信息数据识别的第四深度学习模型；
根据第四深度学习模型对获取的目标对象生理信息数据进行识别，若识别出所述生理信息参数处于异常状态，则确定所述目标对象的生理信息数据满足所述预设条件。
优选地，所述响应于所述综合信息满足所述预设条件，确定所述目标对象出现噎食或误吸，包括：
通过机器学习分类模型对目标对象的面部表情数据、肢体动作数据和生理信息数据进行多模态信息融合得到综合信息；
响应于所述综合信息满足所述预设条件，确定所述目标对象出现噎食或误吸。
第二方面，本申请实施例提供了一种噎食与误吸智能检测装置，所述装置包括：
第一获取模块，用于获取目标对象的视频数据；
第一确定模块，用于基于所述目标对象的视频数据确定当前场景是否符合第一场景；
第二获取模块，用于在确定出当前场景符合所述第一场景时，获取所述目标对象的面部表情数据、肢体动作数据及生理信息数据；
第二确定模块，用于确定所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据是否满足用于判断所述目标对象是否出现噎食或误吸的预设条件；
第三确定模块，用于响应于所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据满足所述预设条件，确定所述目标对象出现噎食或误吸，以通过预警装置进行预警提醒。
第三方面，本申请实施例提供一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现上述的方法步骤。
本申请公开的实施例，具有以下有益效果：
1、本发明将目标对象的面部表情、肢体动作和生理信息进行快速识别，方法不再是仅仅依靠于某一项数据来分析目标对象的健康状况，实现了对目标对象面部表情、肢体动作和生理信息的快速集成，从而达到更快更好地分析目标对象的健康状况；通过分析目标对象的面部表情、肢体动作和生理信息，得到目标对象的健康数据，看护人员依靠获得的这些健康数据来对目标对象进行护理，大大提高了工作效率，一定程度上缓解了看护人员不足的问题。
2、本发明将得到的面部表情、肢体动作和生理信息等数据进行融合，综合分析这些数据得到目标对象的健康状况，将目标对象多方面的数据融合在一起，可以更准确更全面的分析目标对象的健康状况，提高了对目标对象噎食或误吸检测的精准度。
3、本发明相对于智能穿戴与智能机器人的护理方案，本发明成本少，不用目标对象穿戴设备，易于实现，具有推广和使用价值。
4、本发明的优势在于当某一项数据无法检测到时，仍有其他数据可以采集用来检测目标对象的健康状况，较全面的实现了对目标对象健康情况的分析，从而在目标对象出现危险情况时，看护人员能够及时做出反应，进一步提高了对目标对象噎食或误吸检测的精准度，保障了目标对象的生命健康，同时减轻了看护人员的工作压力。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请一示例性实施例提供的方法的流程图；
图2为根据本申请一示例性实施例提供的装置200的结构示意图；
图3为根据本申请一示例性实施例提供的装置的结构示意图；
图4示出了本申请一示例性实施例提供的一种电子设备的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
另外，术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例提供一种方法、一种电子设备以及计算机可读介质，下面结合附图进行说明。
请参考图1，其示出了本申请的一些实施方式所提供的一种方法的流程图，如图所示，方法可以包括以下步骤：
步骤S101：获取目标对象的视频数据；
具体地，通过监控设备获取目标对象的视频数据，优选地，监控设备设置角度以能够检测到目标对象的上半身的全部动作和表情为宜。进一步地，监控设备可以是智能平板的摄像头、专用监控摄像头、放置在室内滑轨上的摄像头或轮椅托盘上的摄像头。
步骤S102：基于所述目标对象的视频数据确定当前场景是否符合第一场景，并在确定出当前场景符合所述第一场景时，获取所述目标对象的面部表情数据、肢体动作数据及生理信息数据；
具体地，根据采集的目标对象视频数据，识别目标对象是否处于第一场景，第一场景指的是目标对象有可能发生噎食或误吸的场景，如进食及包含饮用或吞咽动作的所有场景。当识别出符合第一场景时，根据预先采集的多个包含预设动作的视频数据建立第一数据集进行增强训练，生成用于第一场景识别的第一深度学习模型；根据第一深度学习模型对获取的目标对象视频数据进行识别，若识别出预设动作，则目标对象所处的场景符合第一场景；其中，预设动作为指示发生噎食或误吸的进食动作、饮用动作或吞咽动作。
步骤S103：确定所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据是否满足用于判断所述目标对象是否出现噎食或误吸的预设条件；
具体地，所述确定所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据是否满足用于判断所述目标对象是否出现噎食或误吸的预设条件，包括：
确定所述目标对象的面部表情数据是否满足所述预设条件；和/或，
确定所述目标对象的肢体动作数据是否满足所述预设条件；和/或，
确定所述目标对象的生理信息数据是否满足所述预设条件。
具体地，目标对象的面部表情数据是否满足所述预设条件的判断过程如下：
根据预先采集的多个包含面部表情的视频数据建立第二数据集进行增强训练，生成用于面部表情识别的第二深度学习模型；
根据第二深度学习模型对获取的目标对象视频数据进行识别，若识别出危险面部表情，则确定所述目标对象的面部表情数据满足所述预设条件。
进一步地，发生噎食或误吸后，用户的危险面部表情包括流泪、发呆、窒息、气急、痛苦、扭曲、尝试咳嗽、嘴巴张大、面部胀红、瞳孔放大或恐惧等。
具体地，目标对象的肢体动作数据是否满足所述预设条件的判断过程如下：
根据预先采集的多个包含肢体动作的视频数据建立第三数据集进行增强训练，生成用于肢体动作识别的第三深度学习模型；
根据第三深度学习模型对获取的目标对象视频数据进行识别，若识别出危险肢体动作，则确定所述目标对象的肢体动作数据满足所述预设条件。
进一步地，发生噎食或误吸后，用户的危险肢体动作可以包括伸手求救、手臂不断摆动、身体大幅后仰、手中物体滑落、痉挛、抽搐、连接咳嗽、刺激性呛咳、昏厥、摔倒、身体无力等。
具体地，目标对象的生理信息数据是否满足所述预设条件的判断过程如下：
根据预先采集的多个包含生理信息参数的生理信息数据建立第四数据集进行增强训练，生成用于生理信息数据识别的第四深度学习模型；
根据第四深度学习模型对获取的目标对象生理信息数据进行识别，若识别出所述生理信息参数处于异常状态，则确定所述目标对象的生理信息数据满足所述预设条件。
进一步地，通过生理信息采集器采集生理信息参数，具体包括如心电ECG、脉搏波、呼吸、心率、血压、血氧、体温等信号，这些信号可以通过用户体周智能设备(如智能手环、智能手表等)内的传感器来采集。当用户发生噎食或误吸时，生理信息参数会发生短时而又快速的变化，此时就判定为异常状态。
步骤S104：响应于所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据满足所述预设条件，确定所述目标对象出现噎食或误吸，以通过预警装置进行预警提醒。
具体地，判断面部表情数据、肢体动作数据及生理信息数据中任一数据满足所述预设条件时，预警装置就发出预警提醒，通知看护人员查看目标对象的状态。
请参考图2，其示出了本申请的一些实施方式所提供的另一种方法的流程图，如图所示，方法可以包括以下步骤：
步骤S201：获取目标对象的视频数据；
步骤S202：基于所述目标对象的视频数据确定当前场景是否符合第一场景，并在确定出当前场景符合所述第一场景时，获取所述目标对象的面部表情数据、肢体动作数据及生理信息数据；
具体地，根据采集的目标对象视频数据，识别目标对象是否处于第一场景，第一场景指的是目标对象有可能发生噎食或误吸的场景，如进食及包含饮用或吞咽动作的所有场景。当识别出符合第一场景时，根据预先采集的多个包含预设动作的视频数据建立第一数据集进行增强训练，生成用于第一场景识别的第一深度学习模型；根据第一深度学习模型对获取的目标对象视频数据进行识别，若识别出预设动作，则目标对象所处的场景符合第一场景；其中，预设动作为指示发生噎食或误吸的进食动作、饮用动作或吞咽动作。
步骤S203：确定所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据是否满足用于判断所述目标对象是否出现噎食或误吸的预设条件；
具体地，所述确定所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据是否满足用于判断所述目标对象是否出现噎食或误吸的预设条件，包括：
确定所述目标对象的面部表情数据是否满足所述预设条件；和/或，
确定所述目标对象的肢体动作数据是否满足所述预设条件；和/或，
确定所述目标对象的生理信息数据是否满足所述预设条件。
具体地，目标对象的面部表情数据是否满足所述预设条件的判断过程如下：
根据预先采集的多个包含面部表情的视频数据建立第二数据集进行增强训练，生成用于面部表情识别的第二深度学习模型；
根据第二深度学习模型对获取的目标对象视频数据进行识别，若识别出危险面部表情，则确定所述目标对象的面部表情数据满足所述预设条件。
进一步地，发生噎食或误吸后，用户的危险面部表情包括流泪、发呆、窒息、气急、痛苦、扭曲、尝试咳嗽、嘴巴张大、面部胀红、瞳孔放大或恐惧等。
具体地，目标对象的肢体动作数据是否满足所述预设条件的判断过程如下：
根据预先采集的多个包含肢体动作的视频数据建立第三数据集进行增强训练，生成用于肢体动作识别的第三深度学习模型；
根据第三深度学习模型对获取的目标对象视频数据进行识别，若识别出危险肢体动作，则确定所述目标对象的肢体动作数据满足所述预设条件。
进一步地，发生噎食或误吸后，用户的危险肢体动作可以包括伸手求救、手臂不断摆动、身体大幅后仰、手中物体滑落、痉挛、抽搐、连接咳嗽、刺激性呛咳、昏厥、摔倒、身体无力等。
具体地，目标对象的生理信息数据是否满足所述预设条件的判断过程如下：
根据预先采集的多个包含生理信息参数的生理信息数据建立第四数据集进行增强训练，生成用于生理信息数据识别的第四深度学习模型；
根据第四深度学习模型对获取的目标对象生理信息数据进行识别，若识别出所述生理信息参数处于异常状态，则确定所述目标对象的生理信息数据满足所述预设条件。
进一步地，通过生理信息采集器采集生理信息参数，具体包括如心电ECG、脉搏波、呼吸、心率、血压、血氧、体温等信号，这些信号可以通过用户体周智能设备(如智能手环、智能手表等)内的传感器来采集。当用户发生噎食或误吸时，生理信息参数会发生短时而又快速的变化，此时就判定为异常状态。
步骤S204：响应于所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据满足所述预设条件，确定所述目标对象出现噎食或误吸，以通过预警装置进行预警提醒。
步骤S205：响应于所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据不满足所述预设条件，对所述目标对象的面部表情数据、肢体动作数据及生理信息数据进行多模态信息融合处理，得到对应的综合信息；
响应于所述综合信息满足所述预设条件，确定所述目标对象出现噎食或误吸，以通过预警装置进行预警提醒。
所述响应于所述综合信息满足所述预设条件，确定所述目标对象出现噎食或误吸，包括：
通过机器学习分类模型对目标对象的面部表情数据、肢体动作数据和生理信息数据进行多模态信息融合得到综合信息；
响应于所述综合信息满足所述预设条件，确定所述目标对象出现噎食或误吸。
具体地，如果面部表情、肢体动作和生理信息都未出现异常或都不是明显异常时，就将采集的面部表情数据、肢体动作数据和生理信息参数进行多模态融合得到综合信息；
进一步地，进行多模态融合的方式可以有多种，一种可以是如公式(1)中训练一种机器学习分类模型：
其中，Y为输出的类别，具体包含正常进食或不同级别噎食或误吸，f(·)为非线性函数，例如softmax函数；Ci为输入的多种模态数据的特征，其中，i＝1,2…,n，分别为对应面部表情、肢体动作、血氧、心跳、脉搏波等生理信号特征的编号，Wi为学习的权重，b为偏置。
另一种多模态信号融合的方法可以为：根据经验预设在服务器中存储噎食或误吸情况下用户的面部表情数据表、肢体动作数据库和生理信息数据库，将上述三种的信息进行不同的加权公式得到融合数据表，根据用户的当前状态识别出每种数据参数进行加权后并与融合数据表进行对比，得出最终结果的判断。
本发明上述公开的示例中的方法，具有以下有益效果：
1、本发明将目标对象的面部表情、肢体动作和生理信息进行快速识别，方法不再是仅仅依靠于某一项数据来分析目标对象的健康状况，实现了对目标对象面部表情、肢体动作和生理信息的快速集成，从而达到更快更好地分析目标对象的健康状况；通过分析目标对象的面部表情、肢体动作和生理信息，得到目标对象的健康数据，看护人员依靠获得的这些健康数据来对目标对象进行护理，大大提高了工作效率，一定程度上缓解了看护人员不足的问题。
2、本发明将得到的面部表情、肢体动作和生理信息等数据进行融合，综合分析这些数据得到目标对象的健康状况，将目标对象多方面的数据融合在一起，可以更准确更全面的分析目标对象的健康状况，提高了对目标对象噎食或误吸检测的精准度。
3、本发明相对于智能机器人与智能穿戴的护理方案，本发明成本少，不用目标对象穿戴设备，易于实现，具有推广和使用价值。
4、本发明的优势在于当某一项数据无法检测到时，仍有其他数据可以采集用来检测目标对象的健康状况，较全面的实现了对目标对象健康情况的分析，从而在目标对象出现危险情况时，看护人员能够及时做出反应，进一步提高了对目标对象噎食或误吸检测的精准度，保障了目标对象的生命健康，同时减轻了看护人员的工作压力。
请参考图3，其示出了本申请的一些实施方式所提供的一种装置的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
如图3所示，装置300可以包括：
第一获取模块301，用于获取目标对象的视频数据；
第一确定模块302，用于基于所述目标对象的视频数据确定当前场景是否符合第一场景；
第二获取模块303，用于在确定出当前场景符合所述第一场景时，获取所述目标对象的面部表情数据、肢体动作数据及生理信息数据；
第二确定模块304，用于确定所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据是否满足用于判断所述目标对象是否出现噎食或误吸的预设条件；
第三确定模块305，用于响应于所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据满足所述预设条件，确定所述目标对象出现噎食或误吸，以通过预警装置进行预警提醒。
在本申请实施例的一些实施方式中，所述装置300，还可以包括：
第四确定模块(图中未示出)，用于响应于所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据不满足所述预设条件，对所述目标对象的面部表情数据、肢体动作数据及生理信息数据进行多模态信息融合处理，得到对应的综合信息；
第五确定模块(图中未示出)，用于响应于所述综合信息满足所述预设条件，确定所述目标对象出现噎食或误吸，以通过预警装置进行预警提醒。
在本申请实施例的一些实施方式中本申请实施例提供的装置300，与本申请前述实施例提供的方法出于相同的发明构思，具有相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的方法对应的电子设备，所述电子设备可以是用于服务端的电子设备，例如服务器，包括独立的服务器和分布式服务器集群等，以执行上述方法；所述电子设备也可以是用于客户端的电子设备，例如手机、笔记本电脑、平板电脑、台式机电脑等，以执行上述方法。
请参考图4，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图4所示，所述电子设备40包括：处理器400，存储器401，总线402和通信接口403，所述处理器400、通信接口403和存储器401通过总线402连接；所述存储器401中存储有可在所述处理器400上运行的计算机程序，所述处理器400运行所述计算机程序时执行本申请前述方法。
其中，存储器401可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口403(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线402可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器401用于存储程序，所述处理器400在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的方法可以应用于处理器400中，或者由处理器400实现。
处理器400可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器400中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器400可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器401，处理器400读取存储器401中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，其均应涵盖在本申请的权利要求和说明书的范围当中。

Claims (10)

1.一种噎食与误吸智能检测方法，其特征在于，包括：
获取目标对象的视频数据；
基于所述目标对象的视频数据确定当前场景是否符合第一场景，并在确定出当前场景符合所述第一场景时，获取所述目标对象的面部表情数据、肢体动作数据及生理信息数据；
确定所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据是否满足用于判断所述目标对象是否出现噎食或误吸的预设条件；
响应于所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据满足所述预设条件，确定所述目标对象出现噎食或误吸，以通过预警装置进行预警提醒。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据不满足所述预设条件，对所述目标对象的面部表情数据、肢体动作数据及生理信息数据进行多模态信息融合处理，得到对应的综合信息；
响应于所述综合信息满足所述预设条件，确定所述目标对象出现噎食或误吸，以通过预警装置进行预警提醒。
3.根据权利要求1所述的方法，其特征在于，所述基于所述目标对象的视频数据确定当前场景是否符合第一场景，包括：
根据预先采集的多个包含预设动作的视频数据建立第一数据集进行增强训练，生成用于第一场景识别的第一深度学习模型；
根据第一深度学习模型对获取的目标对象视频数据进行识别，若识别出预设动作，则确定当前场景是否符合第一场景；
所述预设动作包括进食动作、饮用动作或吞咽动作。
4.根据权利要求1所述的方法，其特征在于，所述确定所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据是否满足用于判断所述目标对象是否出现噎食或误吸的预设条件，包括：
确定所述目标对象的面部表情数据是否满足所述预设条件；和/或，
确定所述目标对象的肢体动作数据是否满足所述预设条件；和/或，
确定所述目标对象的生理信息数据是否满足所述预设条件。
5.根据权利要求4所述的方法，其特征在于，所述确定所述目标对象的面部表情数据是否满足所述预设条件，包括：
根据预先采集的多个包含面部表情的视频数据建立第二数据集进行增强训练，生成用于面部表情识别的第二深度学习模型；
根据第二深度学习模型对获取的目标对象视频数据进行识别，若识别出危险面部表情，则确定所述目标对象的面部表情数据满足所述预设条件。
6.根据权利要求4所述的方法，其特征在于，所述确定所述目标对象的肢体动作数据是否满足所述预设条件，包括：
根据预先采集的多个包含肢体动作的视频数据建立第三数据集进行增强训练，生成用于肢体动作识别的第三深度学习模型；
根据第三深度学习模型对获取的目标对象视频数据进行识别，若识别出危险肢体动作，则确定所述目标对象的肢体动作数据满足所述预设条件。
7.根据权利要求4所述的方法，其特征在于，所述确定所述目标对象的生理信息数据是否满足所述预设条件，包括：
根据预先采集的多个包含生理信息参数的生理信息数据建立第四数据集进行增强训练，生成用于生理信息数据识别的第四深度学习模型；
根据第四深度学习模型对获取的目标对象生理信息数据进行识别，若识别出所述生理信息参数处于异常状态，则确定所述目标对象的生理信息数据满足所述预设条件。
8.根据权利要求2所述的方法，其特征在于，所述响应于所述综合信息满足所述预设条件，确定所述目标对象出现噎食或误吸，包括：
通过机器学习分类模型对目标对象的面部表情数据、肢体动作数据和生理信息数据进行多模态信息融合得到综合信息；
响应于所述综合信息满足所述预设条件，确定所述目标对象出现噎食或误吸。
9.一种噎食与误吸智能检测装置，其特征在于，包括：
第一获取模块，用于获取目标对象的视频数据；
第一确定模块，用于基于所述目标对象的视频数据确定当前场景是否符合第一场景；
第二获取模块，用于在确定出当前场景符合所述第一场景时，获取所述目标对象的面部表情数据、肢体动作数据及生理信息数据；
第二确定模块，用于确定所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据是否满足用于判断所述目标对象是否出现噎食或误吸的预设条件；
第三确定模块，用于响应于所述目标对象的面部表情数据、肢体动作数据及生理信息数据中任一数据满足所述预设条件，确定所述目标对象出现噎食与误吸，以通过预警装置进行预警提醒。
10.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现上述权利要求1至8中任一项所述的方法。
CN202211557244.0A 2022-12-06 2022-12-06 一种噎食与误吸智能检测方法、装置及电子设备 Pending CN116035564A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211557244.0A CN116035564A (zh) 2022-12-06 2022-12-06 一种噎食与误吸智能检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211557244.0A CN116035564A (zh) 2022-12-06 2022-12-06 一种噎食与误吸智能检测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN116035564A true CN116035564A (zh) 2023-05-02

Family

ID=86126298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211557244.0A Pending CN116035564A (zh) 2022-12-06 2022-12-06 一种噎食与误吸智能检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116035564A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205548578U (zh) * 2016-03-03 2016-09-07 广州军区广州总医院 一种防误吸预警系统
CN110458101A (zh) * 2019-08-12 2019-11-15 南京邮电大学 基于视频与设备结合的服刑人员体征监测方法及设备
CN111311466A (zh) * 2020-01-23 2020-06-19 深圳市大拿科技有限公司 安全控制方法及装置
CN113191212A (zh) * 2021-04-12 2021-07-30 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种驾驶员路怒风险预警方法及系统
CN113822192A (zh) * 2021-09-18 2021-12-21 山东大学 一种基于Transformer的多模态特征融合的在押人员情感识别方法、设备及介质
CN114283494A (zh) * 2021-12-14 2022-04-05 联仁健康医疗大数据科技股份有限公司 一种用户跌倒预警方法、装置、设备和存储介质
CN115063740A (zh) * 2022-06-10 2022-09-16 嘉洋智慧安全生产科技发展（北京）有限公司 安全监测方法、装置、设备及计算机可读存储介质
US20220309836A1 (en) * 2020-01-22 2022-09-29 Tencent Technology (Shenzhen) Company Limited Ai-based face recognition method and apparatus, device, and medium
WO2022227764A1 (zh) * 2021-04-28 2022-11-03 北京百度网讯科技有限公司 事件检测的方法、装置、电子设备以及可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205548578U (zh) * 2016-03-03 2016-09-07 广州军区广州总医院 一种防误吸预警系统
CN110458101A (zh) * 2019-08-12 2019-11-15 南京邮电大学 基于视频与设备结合的服刑人员体征监测方法及设备
US20220309836A1 (en) * 2020-01-22 2022-09-29 Tencent Technology (Shenzhen) Company Limited Ai-based face recognition method and apparatus, device, and medium
CN111311466A (zh) * 2020-01-23 2020-06-19 深圳市大拿科技有限公司 安全控制方法及装置
CN113191212A (zh) * 2021-04-12 2021-07-30 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种驾驶员路怒风险预警方法及系统
WO2022227764A1 (zh) * 2021-04-28 2022-11-03 北京百度网讯科技有限公司 事件检测的方法、装置、电子设备以及可读存储介质
CN113822192A (zh) * 2021-09-18 2021-12-21 山东大学 一种基于Transformer的多模态特征融合的在押人员情感识别方法、设备及介质
CN114283494A (zh) * 2021-12-14 2022-04-05 联仁健康医疗大数据科技股份有限公司 一种用户跌倒预警方法、装置、设备和存储介质
CN115063740A (zh) * 2022-06-10 2022-09-16 嘉洋智慧安全生产科技发展（北京）有限公司 安全监测方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US11033221B2 (en) Method and device for swallowing impairment detection
US11069435B2 (en) Wellness management method and system by wellness mode based on context-awareness platform on smartphone
Kalantarian et al. A survey of diet monitoring technology
US9697740B2 (en) Wellness management method and system by wellness mode based on context-awareness platform on smartphone
CN110168658B (zh) 患者监测系统和方法
CN109480868B (zh) 一种智能婴儿监护系统
JP7197475B2 (ja) 患者モニタリング・システムおよび方法
Molfenter et al. The swallowing profile of healthy aging adults: comparing noninvasive swallow tests to videofluoroscopic measures of safety and efficiency
Barata et al. Automatic recognition, segmentation, and sex assignment of nocturnal asthmatic coughs and cough epochs in smartphone audio recordings: observational field study
US10658080B2 (en) Method for monitoring behaviour of a patient in real-time using patient monitoring device
CN109887568A (zh) 基于医嘱的健康管理系统
CN108806765A (zh) 一种智能婴儿监护系统
CN107595259A (zh) 一种报警方法、装置、穿戴设备及存储介质
Takahashi et al. Factors associated with successful decannulation in pediatric tracheostomy patients
Ghazal et al. An integrated caregiver-focused mHealth framework for elderly care
CN117173784B (zh) 婴幼儿翻身动作检测方法、装置、设备及存储介质
CN111768863B (zh) 一种基于人工智能的婴幼儿发展监测系统及其方法
CN116035564A (zh) 一种噎食与误吸智能检测方法、装置及电子设备
JP6915175B1 (ja) 対象の嚥下のモニタリング
Mertes et al. Detection of chewing motion using a glasses mounted accelerometer towards monitoring of food intake events in the elderly
WO2023235777A2 (en) Techniques for measuring atypical neurodevelopment in neonates based on short video
US20220254241A1 (en) Ai-based video tagging for alarm management
WO2022222465A1 (zh) 空调系统控制方法、装置、电子设备和存储介质
CN115188454A (zh) 一种消化科的住院护理监管方法、系统及电子设备
US11257246B2 (en) Image detection method and image detection device for selecting representative image of user

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination