CN116631063A - 基于用药行为识别的老人智能看护方法、装置及设备 - Google Patents

基于用药行为识别的老人智能看护方法、装置及设备 Download PDF

Info

Publication number
CN116631063A
CN116631063A CN202310649816.6A CN202310649816A CN116631063A CN 116631063 A CN116631063 A CN 116631063A CN 202310649816 A CN202310649816 A CN 202310649816A CN 116631063 A CN116631063 A CN 116631063A
Authority
CN
China
Prior art keywords
old
real
time
medicine taking
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310649816.6A
Other languages
English (en)
Other versions
CN116631063B (zh
Inventor
陈辉
熊章
张智
雷奇文
艾伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Xingxun Intelligent Technology Co ltd
Original Assignee
Wuhan Xingxun Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Xingxun Intelligent Technology Co ltd filed Critical Wuhan Xingxun Intelligent Technology Co ltd
Priority to CN202310649816.6A priority Critical patent/CN116631063B/zh
Publication of CN116631063A publication Critical patent/CN116631063A/zh
Application granted granted Critical
Publication of CN116631063B publication Critical patent/CN116631063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及老人看护技术领域，解决了现有技术中无法准确地识别出老人用药行为，及时提供有效的老人智能看护的问题，提供了一种基于用药行为识别的老人智能看护方法、装置及设备。该方法包括：获取老人看护场景下的实时图像数据和实时音频数据；依据所述实时图像数据中的手部运动信息，结合所述实时音频数据中的音频特征信息，对老人取药动作进行检测；当检测到所述老人取药动作时，依据老人手部和嘴部之间的第一相对位置信息，对老人用药行为进行检测；当检测到所述老人用药行为时，对老人用药情况进行评估，发出适宜当前老人用药情况的看护提醒。本发明提升了老人用药行为识别的准确度，为老人提供了及时的智能看护。

Description

基于用药行为识别的老人智能看护方法、装置及设备
技术领域
本发明涉及老人看护技术领域，尤其涉及一种基于用药行为识别的老人智能看护方法、装置及设备。
背景技术
现有技术中，通常利用智能手环或腕表对老人用药行为进行识别，具体方案为：智能手环或腕表内置多种传感器，如加速度计、心率传感器和皮肤温度传感器等，用于获取监测老人的活动、睡眠和生理指标等信息，将传感器获取的数据通过智能手环或腕表内部的处理器进行实时处理，并存储在设备内或通过连接的手机应用程序进行远程存储，通过分析采集到的数据，如活动量、睡眠质量、心率变异性等指标，推断老人的用药行为。然而，虽然智能手环或腕表可以监测多种生理指标和活动信息，但数据的准确性可能受到传感器的限制或佩戴位置的影响，产生的数据误差可能导致老人用药识别结果的不准确性，进而影响老人用药行为监控的效果。
为此，如何准确地识别出老人用药行为，及时提供有效的老人智能看护是亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种基于用药行为识别的老人智能看护方法、装置及设备，用以解决现有技术中无法准确地识别出老人用药行为，及时提供有效的老人智能看护的问题。
本发明采用的技术方案是：
第一方面，本发明提供了一种基于用药行为识别的老人智能看护方法，所述方法包括：
S1：获取老人看护场景下的实时图像数据和实时音频数据；
S2：依据所述实时图像数据中的手部运动信息，结合所述实时音频数据中的音频特征信息，对老人取药动作进行检测；
S3：当检测到所述老人取药动作时，依据老人手部和嘴部之间的第一相对位置信息，对老人用药行为进行检测；
S4：当检测到所述老人用药行为时，对老人用药情况进行评估，发出适宜当前老人用药情况的看护提醒。
优选地，所述S2包括：
S21：对所述实时图像数据进行分析，依据所述手部运动信息，识别老人手部接触预设目标的动作，其中，所述预设目标至少包括以下之一：药瓶和药片；
S22：对所述实时音频数据进行分析，依据所述音频特征信息，识别与老人取药行为相关的声音事件；
S23：依据所述老人手部接触预设目标的动作和所述与老人取药行为相关的声音事件，对老人取药动作进行检测。
优选地，所述S21包括：
S211：将所述实时图像数据输入预训练的第一目标检测模型中，得出所述预设目标的第一位置信息；
S212：对连续多帧图像中提取出的手部区域特征点进行跟踪，得出手部运动信息；
S213：依据所述手部运动信息和所述第一位置信息，得出手部与预设目标之间的第二相对位置信息；
S214：依据所述第二相对位置信息，识别所述老人手部接触预设目标的动作。
优选地，所述S22包括：
S221：对所述实时音频数据中的原始音频信号进行滤波处理，得出滤波后的目标音频信号；
S222：对所述目标音频信号进行短时傅里叶变换，提取出目标音频信号的时频特征；
S223：对所述时频特征进行归一化处理，得出所述目标音频信号的谱熵特征；
S224：利用滑动窗口法，结合所述谱熵特征，对实时音频数据中的异常声音事件进行检测；
S225：将检测出的异常声音事件输入预训练的目标分类模型中进行特征提取和分类，识别出所述与老人取药行为相关的声音事件。
优选地，所述S224包括：
S2241：依据所述谱熵特征，获取预设滑动窗口内各音频帧的谱熵值；
S2242：对各谱熵值进行计算，得出预设滑动窗口内各谱熵值的局部均值和标准差；
S2243：依据预设的检测灵敏度阈值，结合所述局部均值和标准差，对所述异常声音事件进行检测。
优选地，所述S3包括：
S31：若识别到所述老人手部接触预设目标的动作且识别到所述与老人取药行为相关的声音事件时，则检测到所述老人取药动作；
S32：将所述实时图像数据输入预训练的第二目标检测模型中，得出实时图像中预设人体部位的第二位置信息，其中所述预设人体部位至少包括以下之一：嘴部和头部；
S33：依据所述手部运动信息，获取手部位置信息；
S34：依据所述第二位置信息和所述手部位置信息，得出所述第一相对位置信息。
优选地，所述S4包括：
S41：若依据所述第一相对位置信息，判断手部与所述预设人体部位之间的距离小于预设的距离阈值时，则检测到所述老人用药行为；
S42：获取老人用药行为中实时的药物标签信息和用药时间；
S43：当所述药物标签信息与预设标签未匹配上时和/或所述用药时间与预设时间未匹配上时，发出报警信息。
第二方面，本发明提供了一种基于用药行为识别的老人智能看护装置，所述装置包括：
数据获取模块，用于获取老人看护场景下的实时图像数据和实时音频数据；
老人取药动作检测模块，用于依据所述实时图像数据中的手部运动信息，结合所述实时音频数据中的音频特征信息，对老人取药动作进行检测；
老人用药行为检测模块，用于当检测到所述老人取药动作时，依据老人手部和嘴部之间的第一相对位置信息，对老人用药行为进行检测；
看护提醒发出模块，用于当检测到所述老人用药行为时，对老人用药情况进行评估，发出适宜当前老人用药情况的看护提醒。
第三方面，本发明实施例还提供了一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
第四方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
综上所述，本发明的有益效果如下：
本发明提供的基于用药行为识别的老人智能看护方法、装置及设备，所述方法包括：获取老人看护场景下的实时图像数据和实时音频数据；依据所述实时图像数据中的手部运动信息，结合所述实时音频数据中的音频特征信息，对老人取药动作进行检测；当检测到所述老人取药动作时，依据老人手部和嘴部之间的第一相对位置信息，对老人用药行为进行检测；当检测到所述老人用药行为时，对老人用药情况进行评估，发出适宜当前老人用药情况的看护提醒。本发明依据图像数据中的手部运动信息，结合所述实时音频数据中的音频特征信息，将视觉与听觉相结合，实现了对老人取药和用药的动态过程检测，提升了老人用药行为识别的准确度，同时，当检测到所述老人用药行为时，对老人用药情况进行评估，发出适宜当前老人用药情况的看护提醒，为老人提供了及时的智能看护。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。
图1为本发明实施例1中基于用药行为识别的老人智能看护方法的整体工作的流程示意图；
图2为本发明实施例1中对老人取药动作进行检测的流程示意图；
图3为本发明实施例1中识别老人手部接触预设目标的动作的流程示意图；
图4为本发明实施例1中识别与老人取药行为相关的声音事件的流程示意图；
图5为本发明实施例1中对实时音频数据中的异常声音事件进行检测的流程示意图；
图6为本发明实施例1中对老人用药动作进行检测的流程示意图；
图7为本发明实施例1中对老人用药动作进行评估的流程示意图；
图8为本发明实施例2中基于用药行为识别的老人智能看护装置的结构框图；
图9为本发明实施例3中电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
实施例1
请参见图1，本发明实施例1公开了一种基于用药行为识别的老人智能看护方法，所述方法包括：
S1：获取老人看护场景下的实时图像数据和实时音频数据；
具体地，获取当前老人看护场景下摄像头抓拍的实时图像数据和麦克风采集的实时音频数据，其中，所述摄像头应当摆放在能够捕捉到老人用药行为的位置，例如位于智能药盒或药瓶的正前方，所述老人看护场景至少包括以下场景之一：睡眠、吃饭、如厕、用药和运动；此时，需要对所述实时图像数据和所述实时音频数据进行分析和处理，识别出老人用药行为，帮助用户对老人的用药行为进行科学地智能化监控，提升用户的老人看护体验。
S2：依据所述实时图像数据中的手部运动信息，结合所述实时音频数据中的音频特征信息，对老人取药动作进行检测；
具体地，获取所述实时图像数据中的手部运动信息包括：将所述实时图像数据输入基于yolov8s结构的手部检测模型中，得出手部位置信息，依据所述手部位置信息，提取出实时图像数据中第一帧图像的手部区域特征点，并对后续多帧图像中所述手部区域特征点进行跟踪，得出手部区域特征点对应的第一运动向量，依据所述第一运动向量，计算得出手部区域中心点对应的第二运动向量，将所述第一运动向量和所述第二运动向量作为所述手部运动信息，依据所述手部运动信息，结合所述实时音频数据中的音频特征信息，对老人取药动作进行检测，其中，所述音频特征信息包括：实时音频数据中音频信号的谱熵特征。通过将视觉上的手部运动信息与听觉上的音频特征信息相结合，实现了对老人取药的动态过程检测，提升了老人取药行为识别的准确度。
在一实施例中，请参见图2，所述S2包括：
S21：对所述实时图像数据进行分析，依据所述手部运动信息，识别老人手部接触预设目标的动作，其中，所述预设目标至少包括以下之一：药瓶和药片；
具体地，对所述实时图像数据进行分析，依据所述第一运动向量，对老人手部的运动情况进行监测，当识别到老人手部靠近预设目标时，依据老人手部中心对应的所述第二运动向量对老人与预设目标之间的接触情况进行监测，识别老人手部接触预设目标的动作，通过所述第一运动向量和第二运动向量，对老人手部靠近预设目标到接触预设目标的动态过程进行有效监测，其中，所述预设目标至少包括以下之一：药瓶和药片，通过对上述动态过程的监测，有效地提升了老人取药动作的识别准确度。
在一实施例中，请参见图3，所述S21包括：
S211：将所述实时图像数据输入预训练的第一目标检测模型中，得出所述预设目标的第一位置信息；
具体地，将所述实时图像数据分解为多帧图像输入预训练的基于yolov8s结构的目标检测模型中，得出所述预设目标的第一位置信息，其中，所述预设目标还包括：老人手部，所述预训练的过程为：收集大量的训练图像数据集，并对训练图像数据集中的老人手部、药瓶和药片进行预处理和标注，得出标注图像数据集。预处理可能包括图像的大小调整、亮度和对比度调整，以及数据增强操作如旋转、翻转等，将标注图像数据集输入基于yolov8s结构的目标检测模型中提取出图像特征并进行目标检测，预先定义一个损失函数来度量目标检测模型的预测结果与标注结果之间的差异，常见的损失函数包括交叉熵损失和均方误差损失，通过多次迭代训练，当损失函数小于预设的损失阈值时，得出预训练完成的基于yolov8s结构的目标检测模型，所述第一位置信息包括：老人手部坐标、药瓶坐标和药片坐标。
S212：对连续多帧图像中提取出的手部区域特征点进行跟踪，得出手部运动信息；
具体地，首先，在第一帧中需要提取所述目标检测模型检测出的老人手部区域内的特征点，这些特征点通过特征提取算法(如Harris角点检测、SIFT、SURF等)来获取。这些特征点应该位于手部区域内，以便跟踪手部的运动。然后，在后续的图像帧中，需要跟踪这些特征点的运动。LK光流法基于一个假设：在局部小区域内，邻近像素的亮度不发生变化。根据这个假设，LK光流法通过在两个相邻帧图像之间的局部小区域内进行亮度匹配，来估计特征点的运动向量。对于特征点在第i帧的位置P_i和在第(i+1)帧的位置P_(i+1)，可以通过LK光流法计算它们的第一运动向量V_i，如下所示：V_i＝P_(i+1)-P_i，这个第一运动向量表示了特征点在两个相邻帧之间的位移量，可以用来表示手部的运动信息；同时，通过所述目标检测模型检测出的老人手部的最小外接矩形框的中心点在第i帧的位置为C_i，第i+1帧的位置为C_(i+1)，则手部中心点的第二运动向量U_i可计算为：U_i＝C_(i+1)-C_i，将所述第一运动向量和第二运动向量作为所述手部运动信息。第一运动向量表示了手部区域内特征点的细微运动，而第二运动向量则关注手部的整体运动，通过结合这两个运动向量，可以获得手部运动的全局和局部信息，更全面地描述手部的动态变化。同时，第一运动向量和第二运动向量从不同的角度描述手部运动，第一运动向量关注手部区域内细节的微小变化，适合用于追踪手指、手腕等细小部分的运动；而第二运动向量关注手部整体的移动和姿态变化，适合用于捕捉手部的整体运动特征。将这两种运动信息结合使用可以提供更丰富的手部运动描述。通过同时使用第一运动向量和第二运动向量，可以提高运动估计的鲁棒性和稳定性，由于LK光流法基于亮度匹配进行运动估计，对于一些场景或光照变化较大的情况，可能会出现光流估计的偏差。然而，通过结合手部区域内特征点和手部中心点的运动信息，可以降低光流估计的误差，并提高运动估计的准确性。综上所述，将第一运动向量和第二运动向量作为手部运动信息的组合，可以综合考虑手部的局部细微运动和整体移动特征，提高运动估计的准确性和稳定性，从而更好地捕捉手部的运动信息。
S213：依据所述手部运动信息和所述第一位置信息，得出手部与预设目标之间的第二相对位置信息；
具体地，获取所述预训练的基于yolov8s结构的目标检测模型输出的第一位置信息，其中，所述第一位置信息包括：药瓶位置信息或药片位置信息，依据所述第一运动向量，当识别老人手部靠近药瓶或药片的动作时，依据手部中心点的第二运动向量，得出手部与预设目标之间的距离，并将所述距离与预设的距离阈值进行对比，得出第二相对位置信息。通过结合目标检测模型输出的第一位置信息、第一运动向量和手部中心点的第二运动向量，可以获得手部与目标之间的位置和距离信息，从而更好地理解老人的动作意图并采取相应的措施，例如提醒、辅助或安全保障。
S214：依据所述第二相对位置信息，识别所述老人手部接触预设目标的动作。
具体地，当依据所述第二相对位置信息，得出手部与预设目标之间的距离小于预设的距离阈值时，识别为老人正在接触药瓶或药片，将计算得到的距离与预设的距离阈值进行比较，判断手部与目标之间的距离是否在合理的范围内，这可以用于触发相应的操作或提醒，例如当手部距离药瓶过远时，可能需要提醒老人靠近药瓶以便取用药物。
S22：对所述实时音频数据进行分析，依据所述音频特征信息，识别与老人取药行为相关的声音事件；
具体地，对所述实时音频数据进行分析，提取出音频特征信息，其中所述音频特征信息包括：音频信号的时频特征和谱熵特征，依据提取出的音频特征信息，识别老人取药过程中出现的声音事件，其中，所述声音事件包括：药瓶开关声和药瓶内药片摇晃声。通过分析音频数据，可以实时监测老人在取药过程中的声音事件。这可以提供对药物使用情况的监测，确保老人按时、正确地取用药物；通过识别特定声音事件，如药瓶开关声和药瓶内药片摇晃声，系统可以根据需要提醒老人或提供辅助。例如，当检测到药瓶开关声时，可以提醒老人按照医嘱正确开关药瓶；当检测到药瓶内药片摇晃声时，可以提醒老人摇晃药瓶以混合药物；通过记录和分析音频数据，系统可以自动生成关于药物使用情况的记录和报告。这有助于老人、护理人员或医护人员了解药物的使用频率和方式，为评估治疗效果、提供个性化护理或进行药物调整提供依；综上，将音频数据分析与声音事件识别相结合，可以提供实时的药物使用监测和提醒，帮助老人正确、安全地使用药物，并提供数据支持和自动化记录，以提供更好的老人健康护理和监护。
在一实施例中，请参见图4，所述S22包括：
S221：对所述实时音频数据中的原始音频信号进行滤波处理，得出滤波后的目标音频信号；
具体地，对音频信号进行预处理，使用带通滤波器滤除音频信号中的低频噪声和高频干扰。设原始音频信号为x(t)，滤波后的音频信号为y(t)，则滤波过程可以表示为：y(t)＝H(x(t))，其中，H表示带通滤波器；低频噪声通常包括来自电源线、电器设备或环境的低频干扰。这些噪声可能降低音频信号的质量并影响声音事件的识别和分析，通过使用带通滤波器，可以选择性地去除低频噪声，提高音频信号的清晰度和可靠性；高频干扰包括来自电磁干扰、信号采集设备或其他无关信号的高频噪声。这些干扰可能导致音频信号的失真和不良影响，使声音事件的识别和分析变得困难。通过带通滤波器，可以去除高频干扰，提高音频信号的准确性和可靠性；带通滤波器可以选择性地保留关键频率范围内的音频信息，以确保声音事件的重要特征得以保留。对于声音事件识别，一些特定频率范围内的信息可能是关键的，通过带通滤波器可以将这些频率范围内的信号保留下来，增强声音事件的识别性能。综上，通过使用带通滤波器对音频信号进行预处理，可以有效去除低频噪声和高频干扰，提高音频信号的质量和清晰度，从而为声音事件的识别和分析提供更好的基础。
S222：对所述目标音频信号进行短时傅里叶变换，提取出目标音频信号的时频特征；
具体地，将所述目标音频信号分成多个窗口，通常采用固定长度的窗口，如汉明窗，对每个窗口应用傅里叶变换，得到该窗口下的频谱表示，对于每个窗口，将频谱表示转换为能量谱(即幅度谱的平方)，选择保留幅度谱的全部或部分频率区间，这样，对于音频信号的每个时间窗口和频率分量，可以得到对应的时频谱矩阵S(t,f)。时频谱揭示了音频信号在不同时间和频率上的能量分布，提供了目标音频信号的频谱特征。
S223：对所述时频特征进行归一化处理，得出所述目标音频信号的谱熵特征；
具体地，对于每个时间窗口t，计算相对能量概率分布P(f|t)：将该窗口的幅度谱标准化，使得每个频率分量的能量和为1；计算每个频率分量f的相对能量概率P(f|t)，即幅度谱中f处的能量与总能量之比；使用计算得到的相对能量概率分布P(f|t)，计算谱熵SE(t)；对于每个频率分量f，计算P(f|t)*log(P(f|t))的乘积，其中，log(P(f|t))表示在时刻t，频率f的相对能量所对应的概率的对数；对所有频率分量进行求和，得到负数值；最终谱熵SE(t)为该负数值的绝对值。这样，针对音频信号的每个时间窗口，可以得到对应的谱熵序列SE(t)。熵反映了音频信号频谱的不均匀性，提供了关于音频信号复杂性和多样性的信息。
S224：利用滑动窗口法，结合所述谱熵特征，对实时音频数据中的异常声音事件进行检测；
具体地，采用滑动窗口法，计算谱熵序列的局部均值和标准差，并根据设定的检测灵敏度阈值来对实时音频数据中的异常声音事件进行检测，滑动窗口法能够实时对实时音频数据进行处理和分析，无需等待全部数据的收集。这样可以在较短的时间内进行异常声音事件的检测和响应，降低系统的延迟；通过设定检测灵敏度阈值，可以根据特定的应用需求和环境条件来调整检测算法的敏感度。这样可以灵活应对不同场景下的异常声音事件，确保检测的准确性和可靠性，有助于提高检测算法的准确性和可靠性，减少误报和漏报的情况。
在一实施例中，请参见图5，所述S224包括：
S2241：依据所述谱熵特征，获取预设滑动窗口内各音频帧的谱熵值；
S2242：对各谱熵值进行计算，得出预设滑动窗口内各谱熵值的局部均值和标准差；
具体地，确定滑动窗口的大小W，表示窗口中包含的谱熵值的数量。对于每个时刻t，计算在t及其前面的W-1个时刻内的谱熵的平均值μ(t)：
μ(t)＝(1/W)*∑(SE(t-i))
并计算在t及其前面的W-1个时刻内的谱熵的标准差σ(t)：
σ(t)＝sqrt((1/W)*∑(SE(t-i)–μ(t))^2)
通过计算局部均值和标准差，可以将异常声音的能量分布与正常声音进行对比，从而更准确地检测和识别异常声音事件。
S2243：依据预设的检测灵敏度阈值，结合所述局部均值和标准差，对所述异常声音事件进行检测。
具体地，对于每个时刻t，根据设定的检测灵敏度阈值α，判断谱熵SE(t)与局部均值μ(t)和标准差σ(t)之间的关系：若|SE(t)-μ(t)|>α*σ(t)，则认为在时刻t处存在声音事件；若|SE(t)-μ(t)|<＝α*σ(t)，则认为在时刻t处没有声音事件。
S225：将检测出的异常声音事件输入预训练的目标分类模型中进行特征提取和分类，识别出所述与老人取药行为相关的声音事件。
具体地，利用预训练的Resnet模型对检测出的异常声音事件进行特征提取和分类，输入为音频信号的时频谱S(t,f)，输出为事件类别概率分布P(c)，其中c表示声音事件类别(如药瓶开关声、药片瓶摇晃声等)；所述Resnet模型的预训练过程为：收集音频数据集，包括训练集和验证集。每个音频训练样本应该包含音频信号的时频谱S(t,f)和对应的事件类别标签，对于每个训练样本，将音频信号的时频谱S(t,f)输入到ResNet模型中进行前向传播。前向传播过程中，音频信号会经过多个卷积层和残差块，逐渐提取抽象的特征表示，在前向传播的过程中，模型会输出最终的特征表示，并通过全连接层得到每个类别的概率分布P(c)。根据任务的类别标签和预测的概率分布，定义一个损失函数来衡量模型输出的预测与真实标签之间的差异，使用反向传播算法计算损失函数对模型参数的梯度。梯度表示了损失函数对于模型参数的变化敏感程度，通过最小化损失函数，可以调整Resnet模型参数以使预测结果更接近真实标签。通过所述事件类别概率分布P(c)，识别出所述与老人取药行为相关的声音事件。利用ResNet模型对音频信号的时频谱进行特征提取和分类，能够获得更具表征能力的特征表示，并能够对声音事件进行准确的分类，为音频事件识别和分类任务提供支持。
S23：依据所述老人手部接触预设目标的动作和所述与老人取药行为相关的声音事件，对老人取药动作进行检测。
具体地，利用基于LK光流法的手部运动信息，可以检测手部是否接触了预设目标(如药瓶或药片)。通过计算特征点的运动向量和手部中心点的运动向量，可以判断手部是否发生了接触动作。例如，当手部接触目标时，特征点的运动向量和手部中心点的运动向量会显示出明显的变化；通过音频分析和特征提取方法，可以提取出与老人取药行为相关的声音事件，如药瓶开关声和药瓶内药片摇晃声。利用阈值或机器学习算法，可以判断是否存在这些声音事件。当检测到这些声音事件时，可以进一步增加对老人取药动作的检测可靠性。通过结合手部接触动作和声音事件的检测，可以提高老人取药动作检测的准确性和鲁棒性。这种综合的检测方法可以更全面地捕捉老人取药的行为，并提供更可靠的反馈和监测，以确保老人的用药安全和健康。
S3：当检测到所述老人取药动作时，依据老人手部和嘴部之间的第一相对位置信息，对老人用药行为进行检测；
在一实施例中，请参见图6，所述S3包括：
S31：若识别到所述老人手部接触预设目标的动作且识别到所述与老人取药行为相关的声音事件时，则检测到所述老人取药动作；
S32：将所述实时图像数据输入预训练的第二目标检测模型中，得出实时图像中预设人体部位的第二位置信息，其中所述预设人体部位至少包括以下之一：嘴部和头部；
S33：依据所述手部运动信息，获取手部位置信息；
S34：依据所述第二位置信息和所述手部位置信息，得出所述第一相对位置信息。
具体地，将所述实时图像数据输入预训练的第二目标检测模型中，获取手部中心点的位置和嘴部中心点的位置。计算它们之间的相对位置，可以使用欧氏距离或其他适当的距离度量方法来衡量手部和嘴部之间的空间距离。根据具体应用需求，设定一个合适的阈值来判断手部和嘴部之间的距离是否满足用药行为的条件。例如，可以根据实际场景测量手部和嘴部之间的平均距离，并在此基础上设置一个容许范围作为阈值。当手部和嘴部之间的距离小于设定的阈值时，认为老人正在进行用药行为。这意味着老人将手部移动到嘴部附近，可能是为了取药或者将药品送入口中。通过利用手部和嘴部之间的第一相对位置信息，可以在检测到老人取药动作后进一步判断是否发生了实际的用药行为。这种细粒度的检测可以提供更准确的反馈和监测，确保老人正确使用药物，并及时发现异常情况。
S4：当检测到所述老人用药行为时，对老人用药情况进行评估，发出适宜当前老人用药情况的看护提醒。
具体地，当检测到所述老人用药行为时，对老人用药情况进行评估，通过实时监测药物标签信息和用药时间，并进行匹配和比对，可以确保老人正确使用药物。当药物标签或用药时间与预设不符时，系统能够及时发出报警信息，以便采取相应的纠正措施，保障老人用药的准确性和安全性。
在一实施例中，请参见图7，所述S4包括：
S41：若依据所述第一相对位置信息，判断手部与所述预设人体部位之间的距离小于预设的距离阈值时，则检测到所述老人用药行为；
具体地，当根据第一相对位置信息判断手部与预设人体部位之间的距离小于预设的距离阈值时，表示检测到老人正在进行用药行为。这意味着老人的手部接近了预设的人体部位(如嘴部)，可能正在进行用药操作。
S42：获取老人用药行为中实时的药物标签信息和用药时间；
具体地，在检测到老人用药行为后，系统可以获取实时的药物标签信息和用药时间。这可以通过相关的传感器或设备来获取，例如扫描药瓶上的二维码或条形码来获取药物标签信息，或者记录用药操作的时间戳。
S43：当所述药物标签信息与预设标签未匹配上时和/或所述用药时间与预设时间未匹配上时，发出报警信息。
具体地，一旦获取到药物标签信息和用药时间，系统可以将其与预设的标签和时间进行匹配。如果药物标签与预设标签不匹配，或者用药时间与预设时间不匹配，系统可以触发报警机制。报警可以采取不同形式，例如发出声音警报、发送警报通知给相关人员或医护人员，或者触发紧急联系系统。
实施例2
请参见图8，本发明实施例2还提供了一种基于用药行为识别的老人智能看护装置，所述装置包括：
数据获取模块，用于获取老人看护场景下的实时图像数据和实时音频数据；
老人取药动作检测模块，用于依据所述实时图像数据中的手部运动信息，结合所述实时音频数据中的音频特征信息，对老人取药动作进行检测；
老人用药行为检测模块，用于当检测到所述老人取药动作时，依据老人手部和嘴部之间的第一相对位置信息，对老人用药行为进行检测；
看护提醒发出模块，用于当检测到所述老人用药行为时，对老人用药情况进行评估，发出适宜当前老人用药情况的看护提醒。
具体地，采用本发明实时例提供的基于用药行为识别的老人智能看护装置，所述装置包括：数据获取模块，用于获取老人看护场景下的实时图像数据和实时音频数据；老人取药动作检测模块，用于依据所述实时图像数据中的手部运动信息，结合所述实时音频数据中的音频特征信息，对老人取药动作进行检测；老人用药行为检测模块，用于当检测到所述老人取药动作时，依据老人手部和嘴部之间的第一相对位置信息，对老人用药行为进行检测；看护提醒发出模块，用于当检测到所述老人用药行为时，对老人用药情况进行评估，发出适宜当前老人用药情况的看护提醒。本装置依据图像数据中的手部运动信息，结合所述实时音频数据中的音频特征信息，将视觉与听觉相结合，实现了对老人取药和用药的动态过程检测，提升了老人用药行为识别的准确度，同时，当检测到所述老人用药行为时，对老人用药情况进行评估，发出适宜当前老人用药情况的看护提醒，为老人提供了及时的智能看护。
实施例3
另外，结合图1描述的本发明实施例1的基于用药行为识别的老人智能看护方法可以由电子设备来实现。图9示出了本发明实施例3提供的电子设备的硬件结构示意图。
电子设备可以包括处理器以及存储有计算机程序指令的存储器。
具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种基于用药行为识别的老人智能看护方法。
在一个示例中，电子设备还可包括通信接口和总线。其中，如图9所示，处理器、存储器、通信接口通过总线连接并完成相互间的通信。
通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线包括硬件、软件或两者，将所述设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
实施例4
另外，结合上述实施例1中的基于用药行为识别的老人智能看护方法，本发明实施例4还可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于用药行为识别的老人智能看护方法。
综上所述，本发明实施例提供了一种基于用药行为识别的老人智能看护方法、装置及设备。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于用药行为识别的老人智能看护方法，其特征在于，所述方法包括：
S1：获取老人看护场景下的实时图像数据和实时音频数据；
S2：依据所述实时图像数据中的手部运动信息，结合所述实时音频数据中的音频特征信息，对老人取药动作进行检测；
S3：当检测到所述老人取药动作时，依据老人手部和嘴部之间的第一相对位置信息，对老人用药行为进行检测；
S4：当检测到所述老人用药行为时，对老人用药情况进行评估，发出适宜当前老人用药情况的看护提醒。
2.根据权利要求1所述的基于用药行为识别的老人智能看护方法，其特征在于，所述S2包括：
S21：对所述实时图像数据进行分析，依据所述手部运动信息，识别老人手部接触预设目标的动作，其中，所述预设目标至少包括以下之一：药瓶和药片；
S22：对所述实时音频数据进行分析，依据所述音频特征信息，识别与老人取药行为相关的声音事件；
S23：依据所述老人手部接触预设目标的动作和所述与老人取药行为相关的声音事件，对老人取药动作进行检测。
3.根据权利要求2所述的基于用药行为识别的老人智能看护方法，其特征在于，所述S21包括：
S211：将所述实时图像数据输入预训练的第一目标检测模型中，得出所述预设目标的第一位置信息；
S212：对连续多帧图像中提取出的手部区域特征点进行跟踪，得出手部运动信息；
S213：依据所述手部运动信息和所述第一位置信息，得出手部与预设目标之间的第二相对位置信息；
S214：依据所述第二相对位置信息，识别所述老人手部接触预设目标的动作。
4.根据权利要求2所述的基于用药行为识别的老人智能看护方法，其特征在于，所述S22包括：
S221：对所述实时音频数据中的原始音频信号进行滤波处理，得出滤波后的目标音频信号；
S222：对所述目标音频信号进行短时傅里叶变换，提取出目标音频信号的时频特征；
S223：对所述时频特征进行归一化处理，得出所述目标音频信号的谱熵特征；
S224：利用滑动窗口法，结合所述谱熵特征，对实时音频数据中的异常声音事件进行检测；
S225：将检测出的异常声音事件输入预训练的目标分类模型中进行特征提取和分类，识别出所述与老人取药行为相关的声音事件。
5.根据权利要求4所述的基于用药行为识别的老人智能看护方法，其特征在于，所述S224包括：
S2241：依据所述谱熵特征，获取预设滑动窗口内各音频帧的谱熵值；
S2242：对各谱熵值进行计算，得出预设滑动窗口内各谱熵值的局部均值和标准差；
S2243：依据预设的检测灵敏度阈值，结合所述局部均值和标准差，对所述异常声音事件进行检测。
6.根据权利要求2所述的基于用药行为识别的老人智能看护方法，其特征在于，所述S3包括：
S31：若识别到所述老人手部接触预设目标的动作且识别到所述与老人取药行为相关的声音事件时，则检测到所述老人取药动作；
S32：将所述实时图像数据输入预训练的第二目标检测模型中，得出实时图像中预设人体部位的第二位置信息，其中所述预设人体部位至少包括以下之一：嘴部和头部；
S33：依据所述手部运动信息，获取手部位置信息；
S34：依据所述第二位置信息和所述手部位置信息，得出所述第一相对位置信息。
7.根据权利要求1所述的基于用药行为识别的老人智能看护方法，其特征在于，所述S4包括：
S41：若依据所述第一相对位置信息，判断手部与所述预设人体部位之间的距离小于预设的距离阈值时，则检测到所述老人用药行为；
S42：获取老人用药行为中实时的药物标签信息和用药时间；
S43：当所述药物标签信息与预设标签未匹配上时和/或所述用药时间与预设时间未匹配上时，发出报警信息。
8.一种基于用药行为识别的老人智能看护装置，其特征在于，所述装置包括：
数据获取模块，用于获取老人看护场景下的实时图像数据和实时音频数据；
老人取药动作检测模块，用于依据所述实时图像数据中的手部运动信息，结合所述实时音频数据中的音频特征信息，对老人取药动作进行检测；
老人用药行为检测模块，用于当检测到所述老人取药动作时，依据老人手部和嘴部之间的第一相对位置信息，对老人用药行为进行检测；
看护提醒发出模块，用于当检测到所述老人用药行为时，对老人用药情况进行评估，发出适宜当前老人用药情况的看护提醒。
9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202310649816.6A 2023-05-31 2023-05-31 基于用药行为识别的老人智能看护方法、装置及设备 Active CN116631063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310649816.6A CN116631063B (zh) 2023-05-31 2023-05-31 基于用药行为识别的老人智能看护方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310649816.6A CN116631063B (zh) 2023-05-31 2023-05-31 基于用药行为识别的老人智能看护方法、装置及设备

Publications (2)

Publication Number Publication Date
CN116631063A true CN116631063A (zh) 2023-08-22
CN116631063B CN116631063B (zh) 2024-05-07

Family

ID=87591800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310649816.6A Active CN116631063B (zh) 2023-05-31 2023-05-31 基于用药行为识别的老人智能看护方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116631063B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109545188A (zh) * 2018-12-07 2019-03-29 深圳市友杰智新科技有限公司 一种实时语音端点检测方法及装置
KR102133943B1 (ko) * 2020-01-16 2020-07-14 가천대학교 산학협력단 시니어의 건강을 위한 홈 헬스케어 제공방법 및 제공장치
WO2021143599A1 (zh) * 2020-01-15 2021-07-22 荣耀终端有限公司 基于场景识别的语音处理方法及其装置、介质和系统
CN113823376A (zh) * 2021-08-12 2021-12-21 平安国际智慧城市科技股份有限公司 智能服药提醒方法、装置、设备及存储介质
CN115171335A (zh) * 2022-06-17 2022-10-11 南京邮电大学 一种融合图像和语音的独居老人室内安全保护方法及装置
CN115458120A (zh) * 2022-09-30 2022-12-09 西安电子科技大学广州研究院 一种用药监测系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109545188A (zh) * 2018-12-07 2019-03-29 深圳市友杰智新科技有限公司 一种实时语音端点检测方法及装置
WO2021143599A1 (zh) * 2020-01-15 2021-07-22 荣耀终端有限公司 基于场景识别的语音处理方法及其装置、介质和系统
KR102133943B1 (ko) * 2020-01-16 2020-07-14 가천대학교 산학협력단 시니어의 건강을 위한 홈 헬스케어 제공방법 및 제공장치
CN113823376A (zh) * 2021-08-12 2021-12-21 平安国际智慧城市科技股份有限公司 智能服药提醒方法、装置、设备及存储介质
CN115171335A (zh) * 2022-06-17 2022-10-11 南京邮电大学 一种融合图像和语音的独居老人室内安全保护方法及装置
CN115458120A (zh) * 2022-09-30 2022-12-09 西安电子科技大学广州研究院 一种用药监测系统

Also Published As

Publication number Publication date
CN116631063B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
Hsu et al. Deep learning with time-frequency representation for pulse estimation from facial videos
US9036902B2 (en) Detector for chemical, biological and/or radiological attacks
Yu et al. A posture recognition-based fall detection system for monitoring an elderly person in a smart home environment
CN107767874B (zh) 一种婴儿啼哭声识别提示方法及系统
Min et al. Automatic characterization and detection of behavioral patterns using linear predictive coding of accelerometer sensor data
CN114469076B (zh) 一种融合身份特征的独居老人跌倒识别方法及系统
Qiu et al. Counting bites and recognizing consumed food from videos for passive dietary monitoring
CN111643092A (zh) 一种癫痫报警装置及癫痫检测方法
CN113035241A (zh) 多特征融合识别婴儿哭声类别的方法、装置及设备
CN112967733A (zh) 智能识别婴儿哭声类别的方法及装置
CN113257415A (zh) 健康数据收集装置和系统
Bahador et al. Deep learning–based multimodal data fusion: Case study in food intake episodes detection using wearable sensors
Alvarez et al. Multimodal monitoring of Parkinson's and Alzheimer's patients using the ICT4LIFE platform
CN117173784B (zh) 婴幼儿翻身动作检测方法、装置、设备及存储介质
CN116631063B (zh) 基于用药行为识别的老人智能看护方法、装置及设备
CN117272155A (zh) 基于智能手表的驾驶人路怒症检测方法
Khan et al. Video analytic for fall detection from shape features and motion gradients
Pahar et al. Accelerometer-based bed occupancy detection for automatic, non-invasive long-term cough monitoring
Siedel et al. Contactless interactive fall detection and sleep quality estimation for supporting elderly with incipient dementia
Soman et al. A Novel Fall Detection System using Mediapipe
Babu et al. Eye blink to speech conversion for paralyzed (mnd) patients using ml based algorithm
CN114373142A (zh) 基于深度学习的行人跌倒检测方法
CN113012716A (zh) 婴儿哭声类别识别方法、装置及设备
Mekruksavanich et al. Pre-Impact Fall Detection Based on Wearable Inertial Sensors using Hybrid Deep Residual Neural Network
Xu et al. Fall detection based on person detection and multi-target tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant