CN113221709A - 用于识别用户运动的方法、装置及热水器 - Google Patents

用于识别用户运动的方法、装置及热水器 Download PDF

Info

Publication number
CN113221709A
CN113221709A CN202110485134.7A CN202110485134A CN113221709A CN 113221709 A CN113221709 A CN 113221709A CN 202110485134 A CN202110485134 A CN 202110485134A CN 113221709 A CN113221709 A CN 113221709A
Authority
CN
China
Prior art keywords
motion
layer
user
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110485134.7A
Other languages
English (en)
Other versions
CN113221709B (zh
Inventor
刘亚涛
魏中科
全永兵
吴启军
陈世穷
袁伟龙
陈蔚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Midea Group Co Ltd
Wuhu Midea Kitchen and Bath Appliances Manufacturing Co Ltd
Original Assignee
Midea Group Co Ltd
Wuhu Midea Kitchen and Bath Appliances Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Midea Group Co Ltd, Wuhu Midea Kitchen and Bath Appliances Manufacturing Co Ltd filed Critical Midea Group Co Ltd
Priority to CN202110485134.7A priority Critical patent/CN113221709B/zh
Publication of CN113221709A publication Critical patent/CN113221709A/zh
Application granted granted Critical
Publication of CN113221709B publication Critical patent/CN113221709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/589—Velocity or trajectory determination systems; Sense-of-movement determination systems measuring the velocity vector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明实施例提供一种用于识别用户运动的方法、处理器、装置、热水器及存储介质。方法包括：获取毫米波雷达装置采集到的用户运动数据，运动数据包括用户的运动加速度；将运动数据输入至运动识别模型，运动识别模型包括多层卷积神经网络和分类器；多层卷积神经网络将根据输入的运动数据产生结果并将结果输入至分类器；分类器根据输入的结果对用户的运动类型进行分类；分类器根据分类结果确定用户的类型。利用雷达装置的特性，通过设计机器学习的相关算法来实现识别人体的运动特征，从而实现检测人体运动形式的目的，进而检测出人体是否跌倒等行为，再与热水器进行通信以指示报警装置根据运动识别模型的识别结果确定是否报警。

Description

用于识别用户运动的方法、装置及热水器
技术领域
本发明涉及家电技术领域，具体地涉及一种用于识别用户运动的方法、处理器、装置及热水器。
背景技术
随着老龄化时代的到来，洗浴过程因环境湿滑容易造成跌倒，尤其老人或残疾人士更容易在洗浴时发生跌倒，进而导致发生意外事故，但是，相关技术目前存在的问题是，难以判断用户在洗浴的过程中是否发生跌倒行为。
发明内容
本发明实施例的目的是提供一种用于识别用户运动的方法、装置、处理器及热水器。
为了实现上述目的，本发明第一方面提供一种用于识别用户运动的方法，包括：
获取毫米波雷达装置采集到的用户运动数据，运动数据包括用户的运动加速度；
将运动数据输入至运动识别模型，运动识别模型包括多层卷积神经网络和分类器；
多层卷积神经网络将根据输入的运动数据产生结果并将结果输入至分类器；
分类器根据输入的结果对用户的运动类型进行分类；分类器根据分类结果确定用户的类型。
在本发明实施例中，多层卷积神经网络的层数为三层，每层卷积神经网络依次包括卷积层、池化层和批量标准化层。
在本发明实施例中，多层卷积神经网络将根据输入的运动数据产生结果并将结果输入至分类器包括：将运动数据输入至第一层卷积神经网络，以输出第一尺寸的第一参数；将第一参数输入至第二层卷积神经网络，以输出第一尺寸的第二参数；将第二参数输入至第三层卷积神经网络，以输出第一尺寸的第三参数；将第一层卷积神经网络的第一卷积层、第二层卷积神经网络的第二卷积层、第三层卷积神经网络的第三卷积层输出的参数进行级联，以得到第二尺寸的融合参数；将第三参数和融合参数作为结果输入至分类器。
在本发明实施例中，第一参数、第二参数和第三参数均为[128,128]，融合参数为[512,128]。
在本发明实施例中，将运动数据输入至运动识别模型包括：从运动数据中选取预设时间区间的运动数据输入至运动识别模型；其中，预设时间区间大于雷达装置的数据采集周期。
在本发明实施例中，运动加速度包括彼此相交的三个方向的加速度，或三个方向的用户的速度。
在本发明实施例中，上述用于识别用户运动的方法应用于热水器。
在本发明实施例中，用于识别用户运动的方法还包括：在确定用户的运动类型为跌倒类型的情况下，与热水器进行通信以指示热水器报警。
本发明第二方面提供一种处理器，被配置成执行上述的用于识别用户运动的方法。
本发明第三方面提供一种用于识别用户运动的装置，包括上述被配置成执行用于识别用户运动的方法的处理器。
本发明第四方面提供一种热水器，包括：雷达装置，用于采集雷达数据；以及上述的用于识别用户运动的装置。
在本发明实施例中，上述热水器还包括报警装置，用于根据用于识别用户运动的装置的识别结果进行报警。
本发明第五方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器被配置成执行上述的用于识别用户运动的方法。
上述技术方案，通过利用雷达装置检测到人体运动速度方向和加速度，当用户在移动过程中可以很方便的检测到人体的位置和路线，本发明利用雷达装置的特性，通过设计机器学习的相关算法来实现识别人体的运动特征，从而实现检测人体运动形式的目的，同时也提供了一种具备雷达装置的智能热水器的人体运动识别模型，该识别模型根据预先使用雷达装置采集的人体运动的加速度数据，进行特征学习实现分类出不同的运动动作，从而检测出人体是否跌倒等行为，再与热水器进行通信以指示报警装置根据运动识别模型的识别结果确定是否报警，从而实现了对浴室用户运动形式的识别，尤其是识别年龄较大的用户以及残疾人士在洗浴时是否发生跌倒行为，避免了意外事故的发生。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1示意性示出了根据本发明实施例的用于识别用户运动的方法的流程示意图；
图2示意性示出了根据本发明实施例的雷达装置采用毫米波雷达时所获取的用户加速度曲线图；
图3-a示意性示出了根据本发明实施例的多层卷积神经网络算法模型设计的结构示意图；
图3-b示意性示出了根据本发明实施例的数据处理流程示意图。
图4示意性示出了根据本发明实施例的分类器分类效果图；
图5示意性示出了根据本发明实施例的用于识别用户运动的装置结构示意图；
图6示意性示出了根据本发明实施例的热水器结构示意图；
图7示意性示出了根据本发明实施例的计算机设备的内部结构图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
图1示意性示出了根据本发明实施例的用于识别用户运动的方法的流程示意图。如图1所示，在本发明一实施例中，提供了一种用于识别用户运动的方法，包括以下步骤：
步骤101，获取毫米波雷达装置采集到的用户运动数据，运动数据包括用户的运动加速度。
步骤102，将运动数据输入至运动识别模型，运动识别模型包括多层卷积神经网络和分类器。
步骤103，多层卷积神经网络将根据输入的运动数据产生结果并将结果输入至分类器。
步骤104，分类器根据输入的结果对用户的运动类型进行分类。
步骤105，分类器根据分类结果确定用户的类型。
运动数据包括用户的运动方式与用户的位置信息记录。具体地涉及用户的运动速度与运动加速度。其中，用速度这一物理量来描述被测用户相对运动参考系移动快慢的体现，通常用v表示。一般情况下是以地球或地面为运动参考系。而运动速度的类别还包括相对速度和绝对速度，物理学中一般将质点对地或对地面上静止物体的运动速度称为相对速度。质点对运动的参考系的运动速度称为绝对速度，而运动参考系对地的运动速度称为牵连速度。其中绝对速度＝牵连速度+相对速度，在本申请的技术方案中，被测用户相当于质点，浴室地面相当于参考系，而雷达装置采集到的运动速度是指被测用户相对于浴室地面的绝对速度。
运动加速度是指运动速度变化量与发生这一变化所用时间的比值，是描述被测用户速度变化快慢的物理量，通常用a表示。一般情况下，加速度是个瞬时概念。
雷达装置包括雷达，其工作原理是通过无线电探测和测距，即用无线电的方法发现目标并测定它们的空间位置。因此，雷达也被称为无线电定位。雷达是利用电磁波探测目标的电子设备。雷达发射电磁波对目标进行照射并接收其回波，由此获得目标至电磁波发射点的距离、距离变化率(径向速度)、方位、高度等信息。在本申请实施例中，通过雷达装置中雷达发射无线电波，对浴室内用户进行照射并接受返回的电磁波以获取用户的运动数据。
在一个实施例中，运动数据还包括三个方向的用户速度，运动加速度包括彼此相交的三个方向的加速度。
在雷达装置采集数据的过程中，采集的数据可以包括人体运动速度和人体运动加速度。其中运动速度包括三个方向的用户运动速度vx、vy和vz。具体地，x、y、z是空间直角坐标系中的x轴、y轴和z轴，代表着横轴、纵轴和竖轴。与空间解析几何相似，为了确定空间中任意一点的位置，需要在空间中引进坐标系，最常用的坐标系是空间直角坐标系。其中运动加速度包括彼此相交的三个方向的加速度ax、ay和az，在被测用户不同的运动状态下，雷达装置采集到的运动曲线也不相同。
对雷达数据的采集还可以通过数据预处理中的PCA技术提取主要的数据维度，为被测用户在不同的运动模式下，运动加速度不同的特征下进行建模。其中PCA(PrincipalComponent Analysis)是一种常见的数据分析方式，指主成分分析技术，又称主分量分析。旨在利用降维的思想，把多指标转化为少数几个综合指标，可用于提取数据的主要特征分量。
如图2所示，图2示意性示出了根据本发明实施例的雷达装置采用毫米波雷达时所获取的用户加速度曲线图。其中曲线accx、曲线accy和曲线accz分别代表了彼此相交的三个方向的加速度ax、ay和az的变化曲线。
在一个实施例中，多层卷积神经网络的层数为三层，每层卷积神经网络依次包括卷积层、池化层和批量标准化层。
在本申请的技术方案中，通过卷积层生成对数据的采样空间，对采集到的雷达运动数据进行升维处理。其中卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。
卷积层还涉及不同的卷积层参数，卷积层参数包括卷积核大小、步长和填充，三者共同决定了卷积层输出特征图的尺寸，是卷积神经网络的超参数。其中，卷积核大小可以指定为小于输入图像尺寸的任意值，卷积核越大，可提取的输入特征越复杂。卷积步长定义了卷积核相邻两次扫过特征图时位置的距离，卷积步长为1时，卷积核会逐个扫过特征图的元素，步长为n时会在下一次扫描跳过n-1个像素。
由卷积核的交叉相关计算可知，随着卷积层的堆叠，特征图的尺寸会逐步减小，例如16×16的输入图像在经过单位步长、无填充的5×5的卷积核后，会输出12×12的特征图。为此，填充是在特征图通过卷积核之前人为增大其尺寸以抵消计算中尺寸收缩影响的方法。常见的填充方法为按0填充和重复边界值填充。
进一步地，可以通过池化层对采样空间经行降维处理，选择通过卷积层生成的采样空间中最大的数据。其中池化(Pooling)是卷积神经网络中另一个重要的概念，它实际上是一种形式的降采样。有多种不同形式的非线性池化函数，池化层的工作原理是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。在直观的层面上，这种机制能够有效地原因在于，在发现一个特征之后，它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。通常来说，卷积神经网络中的卷积层之间会采取周期性地插入池化层的技术手段。
最后，在卷积神经网络中加入批量标准化层防止数据过拟合，达到局部最优的效果。其中批量标准化(Batch Normalization)简称BN算法，是为了克服神经网络层数加深导致难以训练而诞生的一个算法。当训练集的样本数据和目标样本集分布不一致的时候，训练得到的模型无法很好的泛化。而在卷积神经网络中，每一层的输入在经过层内操作之后必然会导致与原来对应的输入信号分布不同，并且前层神经网络的增加会被后面的神经网络不断的累积放大。这个问题的一个解决思路就是根据训练样本与目标样本的比例对训练样本进行一个矫正，而BN算法(批量标准化)则可以用来规范化某些层或者所有层的输入，从而固定每层输入信号的均值与方差。
卷积神经网络包括输入层和隐含层，随着输入数据在隐含层内的逐级传递，其均值和标准差会发生改变，产生协变漂移现象。批量标准化以引入额外学习参数为代价部分解决了此类问题，其策略是在隐含层中首先将特征标准化，然后使用两个线性参数将标准化的特征放大作为新的输入，神经网络会在学习过程中更新其BN参数。卷积神经网络中的BN参数与卷积核参数具有相同的性质，即特征图中同一个通道的像素共享一组BN参数。此外使用BN时卷积层不需要偏差项，其功能由BN参数代替。
在一个实施例中，多层卷积神经网络将根据输入的运动数据产生结果并将结果输入至分类器包括：将运动数据输入至第一层卷积神经网络，以输出第一尺寸的第一参数；将第一参数输入至第二层卷积神经网络，以输出第一尺寸的第二参数；将第二参数输入至第三层卷积神经网络，以输出第一尺寸的第三参数；将第一层卷积神经网络的第一卷积层、第二层卷积神经网络的第二卷积层、第三层卷积神经网络的第三卷积层输出的参数进行级联，以得到第二尺寸的融合参数；将第三参数和融合参数作为结果输入至分类器。
如图3-a所示，图3-a示意性示出了根据本发明实施例的多层卷积神经网络算法模型设计的结构示意图。
其中，CNN1指示第一层卷积神经网络的卷积层，POOLING1指示第一层卷积神经网络的池化层，BN1指示第一层卷积神经网络的批量标准化层。相应地，CNN2指示第二层卷积神经网络的卷积层，POOLING2指示第二层卷积神经网络的池化层，BN2指示第二层卷积神经网络的批量标准化层；CNN3指示第三层卷积神经网络的卷积层，POOLING3指示第三层卷积神经网络的池化层，BN3指示第三层卷积神经网络的批量标准化层。Softmax为分类器；concat函数语句用于连接两个或多个数组，该函数语句不会改变现有的数组，而仅仅会返回被连接数组的一个副本。在本申请技术方案中，concat函数用于将第一层卷积神经网络的第一卷积层、第二层卷积神经网络的第二卷积层、第三层卷积神经网络的第三卷积层输出的参数进行级联，以得到第二尺寸的融合参数。
具体地，将雷达装置获取的运动数据输入至第一层卷积神经网络时，获取输出的第一尺寸为128*128的第一参数；将第一参数输入至第二层卷积神经网络时，获取输出的第一尺寸为128*128的第二参数；将第二参数输入值第三层卷积神经网络时，获取输出第一尺寸为128*128的第三参数。重要的是，当运动数据经过每一层卷积神经网络时都会丢失部分参数信息，而此时将第一参数、第二参数和第三参数经过concat函数语句经行级联，形成第二尺寸为384*128的融合参数，concat函数语句在运动数据已经丢失部分信息的情况下能够恢复更多的已损失信息。
运动数据经过图3-a中所示的多层卷积神经网络算法模型变化情况如下表1所示：
表1
CNN1 POOL1 BN1 CNN2 POOL2 BN2 CNN3 POOL3 BN3 CONCAT
1*128 1*128 128*128 128*128 128*128 128*128 128*128 128*128 128*128 384*128
在一个实施例中，第一参数、第二参数和第三参数均为[128,128]，融合参数为[512,128]。
如图3-b所示，图3-b示意性示出了根据本发明实施例的数据处理流程示意图。
将毫米波雷达装置采集到速度和加速度数据进行预处理后，预处理主要通过数据归一化以及PCA特征提取，数据归一化是将多尺度的数据都压缩到(0,1)之间，目的是减少运算过程因为数据不统一造成的误差以及计算量，PCA(特征降维)特征提取的目的是提取更有效的数据维度信息特征，降低无效特征，增加在训练过程的精度和降低计算量。
毫米波雷达装置采集到的数据预处理后为[3,128,1,1]的首先经过该全卷积神经网络的第一层，得到第一轮CNN1[1,128]的权重参数，经过POOLING1(BN1)得到[128,128],作为输入进入到FCN(全卷积神经网络)第二个单元的CNN2和POOLING2(BN2)从而得到第二组神经网络权重参数，数据维度相同。最后经过CNN3和POOLING3(BN3)得到最后输出的权重参数数据维度也是[128,128]，然后为了防止在卷积学习过程中得到数据维度的丢失，将三组通过全卷机模块学习到内容进行一次相加，同时和最后一组数据一起组成一个[512,128]数据进入到分类器softmax中，从而匹配出预测结果。
在一个实施例中，将运动数据输入至运动识别模型包括：从运动数据中选取预设时间区间的运动数据输入至运动识别模型。其中，预设时间区间大于雷达装置的数据采集周期。
一般来说，雷达数据处理主要是指对雷达信号的匹配滤波处理。例如对线性调频信号的脉冲压缩。数字脉冲压缩技术可以通过硬件的可编程技术，实现统一处理器对多种信号形式的匹配处理，如线性调频信号、非线性调频信号和编码信号的匹配。杂波抑制处理也就是要剔除雷达回波中固定的或运动的杂波。比如地物、森林、云雨等。信号处理的最终目标是进行信号的检测，提取目标的参数。常用的处理有恒虚警率处理、脉冲串检测等。其中，预设时间区间是指在雷达采集装置中设置一段时间间隔以保证采集数据的容量满足运动识别的需求，要求预设时间区间要大于雷达装置的数据采集周期。
例如，设置雷达采集装置的间隔时间为50ms，同时设置每150s的区间作为预设时间区间对被测用户的运动进行识别。
当雷达装置采取毫米波雷达时，根据毫米波雷达的特点，毫米波雷达能实现以下功能：高精度多维搜索测量，包括进行高精度距离、方位、频率和空间位置的测量定位；毫米波雷达天线尺寸小、重量轻，能够满足安装在浴室环境中的条件；能够通过高分辨力和多普勒频率响应以及较短的波长易获得目标细节特征和清晰轮廓成像等特点实现被测目标的特征提取和分类处理；小目标和近距离探测：毫米波短波长对应的光学区尺寸较小，相对微波雷达更适于小目标探测。除特殊的空间目标观测等远程毫米波雷达外，一般毫米波雷达更适用于近距离探测，这也符合浴室较小空间的检测条件。
concat函数用于将第一层卷积神经网络的第一卷积层、第二层卷积神经网络的第二卷积层、第三层卷积神经网络的第三卷积层输出的参数进行级联，以得到第二尺寸的融合参数。在获取第二尺寸的融合参数后，通过Softmax分类器接运动数据的参数信息。
分类是数据挖掘的一种非常重要的方法。分类的概念是在已有数据的基础上学会一个分类函数或构造出一个分类器(也称分类模型)。该函数或模型能够把数据库中的数据纪录映射到给定类别中的某一个，从而可以应用于数据预测。具体地，分类器是数据挖掘中对样本进行分类的方法的统称，包含决策树、逻辑回归、朴素贝叶斯、神经网络系列算法。
分类器的工作原理与构建包括以下步骤：首先选定样本(包含正样本和负样本)，其中正样本是指属于某一类别的样本，负样本是指不属于某一类别的样本。将所有样本分成训练样本和测试样本两部分；在训练样本上执行分类器算法，生成分类模型。在测试样本上执行分类模型，生成预测结果。根据预测结果，计算必要的评估指标，评估分类模型的性能。在本申请技术方案中，通过分类器接收多层卷积神经网络输出的第二尺寸的融合参数，根据参数信息对用户的运动类别进行类别分析，将同一类别的运动形式统一处理。当分类器采用Softmax分类器时，Softmax用于多分类过程中，它将多个神经元的输出，映射到(0，1)区间内，可以看成概率来理解，假设有一个数组，V，Vi表示V中的第i个元素，那么这个元素的Softmax值就是
Figure BDA0003050399220000091
Softmax的作用将原来输入的函数值通过映射关系输出为成为区间在(0,1)内的值，而这些输出值的累加和大小为1(满足概率的性质)，此时在Softmax分类器作用下的输出值也就是识别后的结果概率值，在最后选取分类结果时，选取概率最大(也就是值对应最大的)的输出值作为分类结果。
如图4所示，图4示意性示出了根据本发明实施例的分类器分类效果图，分别对应不同的用户运动类型，一种为行走状态，另一种为跌倒状态。
在一个实施例中，上述用于识别用户运动的方法应用于热水器。
在用户的洗浴过程中容易因为浴室环境湿滑，很容易造成摔倒的情况，导致意外事故的发生。而在热水器中运用上述识别用户运动的方法，首先通过雷达装置采集到用户的运动数据信息，进而通过运动识别模型的处理确定用户的运动形式。
在一个实施例中，用于识别用户运动的方法还包括：在确定用户的运动类型为跌倒类型的情况下，与热水器进行通信以指示热水器报警。
用户的运动类型包括多种，例如行走、静止、下蹲以及跌倒，当运动识别模型中的雷达装置采用带24G或者更高频率的毫米波雷达时，24G毫米波雷达的探测距离短，探测角度大，在中短距离有明显优势，尤其是在浴室内的较小环境中。毫米波雷达传感器基于多普勒原理确定用户的运动数据，其中毫米波雷达设置预设采集周期时间小于预设时间区间，以保证在预设时间区间内可以采集到用户的运动特征。
在毫米波雷达传感器采集数值之后将用户运动数据传输至运动识别模型，其中用户运动数据包含三个维度的运动速度数据与加速度数据。通过速度数据描述用户在浴室内部运动的快慢程度，通过加速度数据来确定用户运动速度的变化趋势。在将运动数据传输至运动识别模型之前对数据进行预处理，对采集到的运动数据进行分类或分组前所做的审核、筛选、排序等必要的处理，提高运动识别模型内部识别效率。
经过预处理后的运动数据输入至运动识别模型中的多层卷积神经网络，其中每层卷积神经网络包括卷积层、池化层和批量标准化层。进一步地，运动数据输入至卷积层时，通过卷积层对运动数据进行升维处理，生成数据的采样空间；当运动数据通过卷积层进入池化层时，池化层对运动数据进行降维处理，选择在卷积层生成的采样空间中最大的数据；最后通过批量标准化层对池化层输出的运动数据进行归一化，解决数据分布不一致的问题。
运动数据在多层卷积神经网络处理后被输入至分类器，通过分类器确定用户的运动类型，在浴室的环境下，当分类器确定用户的运动类型指示跌倒时，热水器中包含运动识别模块的装置与报警装置进行云端连接，报警装置根据识别结果进行报警。其中通过热水器与报警装置的云端连接通讯解决了通信设备使用复杂的问题，同时可以实现跨平台进行报警，也不会受到隐私泄露的此类问题，在报警装置发出报警警示时，能够使得在洗浴过程中跌倒的用户安全问题得到保护。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述用于识别用户运动的方法。
在一个实施例中，如图5所示，提供了一种用于识别用户运动的装置，包括数据采样模块、特征提取模块、运动分类模块以及上述用于识别用户运动的处理器，其中：
数据采样模块501，用于对运动数据经行采样处理；
特征提取模块502，用于提取数据的主要特征分量；
运动分类模块503，对不同的运动类型进行分类；以及
用于识别用户运动的处理器。
本发明实施例还提供了一种热水器600，包括：
雷达装置601，用于采集雷达数据；
上述用于识别用户运动的装置602；以及
报警装置603，根据用于识别用户运动的装置的识别结果进行报警。
用于运动识别的装置包括处理器和存储器，上述数据采样模块、特征提取模块和运动分类模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序模块中实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现对用户运动的识别。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述用于识别用户运动的方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、存储器(图中未示出)和数据库(图中未示出)。其中，该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A04。该非易失性存储介质A04存储有操作系统B01、计算机程序B02和数据库(图中未示出)。该内存储器A03为非易失性存储介质A04中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序B02被处理器A01执行时以实现一种用于识别用户运动的方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取毫米波雷达装置采集到的用户运动数据，运动数据包括用户的运动加速度；将运动数据输入至运动识别模型，运动识别模型包括多层卷积神经网络和分类器；多层卷积神经网络将根据输入的运动数据产生结果并将结果输入至分类器；分类器根据输入的结果对用户的运动类型进行分类；分类器根据分类结果确定用户的类型。
在一个实施例中，多层卷积神经网络的层数为三层，每层卷积神经网络依次包括卷积层、池化层和批量标准化层。
在一个实施例中，多层卷积神经网络将根据输入的运动数据产生结果并将结果输入至分类器包括：将运动数据输入至第一层卷积神经网络，以输出第一尺寸的第一参数；将第一参数输入至第二层卷积神经网络，以输出第一尺寸的第二参数；将第二参数输入至第三层卷积神经网络，以输出第一尺寸的第三参数；将第一层卷积神经网络的第一卷积层、第二层卷积神经网络的第二卷积层、第三层卷积神经网络的第三卷积层输出的参数进行级联，以得到第二尺寸的融合参数；将第三参数和融合参数作为结果输入至分类器。
在一个实施例中，第一参数、第二参数和第三参数均为[128,128]，融合参数为[512,128]。
在一个实施例中，将运动数据输入至运动识别模型包括：从运动数据中选取预设时间区间的运动数据输入至运动识别模型；其中，预设时间区间大于雷达装置的数据采集周期。
在一个实施例中，运动加速度包括彼此相交的三个方向的加速度或三个方向的用户的速度。用户的速度。
在一个实施例中，上述用于识别用户运动的方法应用于热水器，且在确定用户的运动类型为跌倒类型的情况下，与热水器进行通信以指示热水器报警。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种用于识别用户运动的方法，其特征在于，所述方法包括：
获取毫米波雷达装置采集到的用户运动数据，所述运动数据包括所述用户的运动加速度；
将所述运动数据输入至运动识别模型，所述运动识别模型包括多层卷积神经网络和分类器；
所述多层卷积神经网络根据输入的运动数据产生结果并将所述结果输入至所述分类器；
所述分类器根据输入的结果对所述用户的运动类型进行分类；
所述分类器根据所述分类结果确定所述用户的类型。
2.根据权利要求1所述的用于识别用户运动的方法，其特征在于，所述多层卷积神经网络的层数为三层，每层卷积神经网络依次包括卷积层、池化层和批量标准化层。
3.根据权利要求2所述的用于识别用户运动的方法，其特征在于，所述多层卷积神经网络将根据输入的运动数据产生结果并将所述结果输入至所述分类器包括：
将所述运动数据输入至第一层卷积神经网络，以输出第一尺寸的第一参数；
将所述第一参数输入至第二层卷积神经网络，以输出第一尺寸的第二参数；
将所述第二参数输入至第三层卷积神经网络，以输出第一尺寸的第三参数；将所述第一层卷积神经网络的第一卷积层、所述第二层卷积神经网络的第二卷积层、所述第三层卷积神经网络的第三卷积层输出的参数进行级联，以得到第二尺寸的融合参数；
将所述第三参数和所述融合参数作为所述结果输入至分类器。
4.根据权利要求3所述的用于识别用户运动的方法，其特征在于，所述第一参数、所述第二参数和所述第三参数均为[128,128]，所述融合参数为[512,128]。
5.根据权利要求1所述的用于识别用户运动的方法，其特征在于，所述将所述运动数据输入至运动识别模型包括：
从所述运动数据中选取预设时间区间的运动数据输入至所述运动识别模型；
其中，所述预设时间区间大于所述雷达装置的数据采集周期。
6.根据权利要求1所述的用于识别用户运动的方法，其特征在于，所述运动加速度包括彼此相交的三个方向的加速度或所述三个方向的所述用户的速度。
7.根据权利要求1所述的用于识别用户运动的方法，其特征在于，所述方法应用于热水器。
8.根据权利要求1所述的用于识别用户运动的方法，其特征在于，所述方法还包括：
在确定所述用户的运动类型为跌倒类型的情况下，与热水器进行通信以指示所述热水器报警。
9.一种处理器，其特征在于，被配置成执行根据权利要求1至8中任意一项所述的用于识别用户运动的方法。
10.一种用于识别用户运动的装置，其特征在于，包括根据权利要求9所述的处理器。
11.一种热水器，其特征在于，所述热水器包括：
雷达装置，用于采集雷达数据；以及
根据权利要求10所述的用于识别用户运动的装置。
CN202110485134.7A 2021-04-30 2021-04-30 用于识别用户运动的方法、装置及热水器 Active CN113221709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110485134.7A CN113221709B (zh) 2021-04-30 2021-04-30 用于识别用户运动的方法、装置及热水器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110485134.7A CN113221709B (zh) 2021-04-30 2021-04-30 用于识别用户运动的方法、装置及热水器

Publications (2)

Publication Number Publication Date
CN113221709A true CN113221709A (zh) 2021-08-06
CN113221709B CN113221709B (zh) 2022-11-25

Family

ID=77090633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110485134.7A Active CN113221709B (zh) 2021-04-30 2021-04-30 用于识别用户运动的方法、装置及热水器

Country Status (1)

Country Link
CN (1) CN113221709B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793478A (zh) * 2021-10-11 2021-12-14 厦门狄耐克物联智慧科技有限公司 一种微波感应卫生间跌倒报警系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510707A (zh) * 2017-02-27 2018-09-07 芜湖美的厨卫电器制造有限公司 电热水器及浴室内基于电热水器的跌倒提示方法和装置
CN109581361A (zh) * 2018-11-22 2019-04-05 九牧厨卫股份有限公司 一种检测方法、检测装置、终端以及检测系统
CN110084311A (zh) * 2019-05-05 2019-08-02 西安电子科技大学 基于三元权值卷积神经网络的高光谱图像波段选择方法
CN110246566A (zh) * 2019-04-24 2019-09-17 中南大学湘雅二医院 基于卷积神经网络的品行障碍确定方法、系统和存储介质
CN110262653A (zh) * 2018-03-12 2019-09-20 东南大学 一种基于卷积神经网络的毫米波传感器手势识别方法
US20200334504A1 (en) * 2017-10-18 2020-10-22 Hangzhou Hikvision Digital Technology Co., Ltd. Image object recognition method, apparatus, and computer device
CA3080916A1 (en) * 2019-05-16 2020-11-16 Bank Of Montreal Deep-learning-based system and process for image recognition
CN211953287U (zh) * 2020-04-21 2020-11-17 芜湖美的厨卫电器制造有限公司 热水器
CN112001270A (zh) * 2020-08-03 2020-11-27 南京理工大学 基于一维卷积神经网络的地面雷达自动目标分类识别方法
CN112200062A (zh) * 2020-09-30 2021-01-08 广州云从人工智能技术有限公司 一种基于神经网络的目标检测方法、装置、机器可读介质及设备
AU2020104006A4 (en) * 2020-12-10 2021-02-18 Naval Aviation University Radar target recognition method based on feature pyramid lightweight convolutional neural network
CN112541398A (zh) * 2020-11-17 2021-03-23 芜湖美的厨卫电器制造有限公司 基于步态识别用户的方法、装置、处理器及热水器
CN112581723A (zh) * 2020-11-17 2021-03-30 芜湖美的厨卫电器制造有限公司 用于识别用户姿态的方法、装置、处理器及热水器
CN112698288A (zh) * 2020-11-17 2021-04-23 芜湖美的厨卫电器制造有限公司 用于识别姿态的方法、装置、处理器、热水器及监测系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510707A (zh) * 2017-02-27 2018-09-07 芜湖美的厨卫电器制造有限公司 电热水器及浴室内基于电热水器的跌倒提示方法和装置
US20200334504A1 (en) * 2017-10-18 2020-10-22 Hangzhou Hikvision Digital Technology Co., Ltd. Image object recognition method, apparatus, and computer device
CN110262653A (zh) * 2018-03-12 2019-09-20 东南大学 一种基于卷积神经网络的毫米波传感器手势识别方法
US20200166611A1 (en) * 2018-11-22 2020-05-28 Jomoo Kitchen & Bath Co., Ltd Detection method, detection device, terminal and detection system
CN109581361A (zh) * 2018-11-22 2019-04-05 九牧厨卫股份有限公司 一种检测方法、检测装置、终端以及检测系统
CN110246566A (zh) * 2019-04-24 2019-09-17 中南大学湘雅二医院 基于卷积神经网络的品行障碍确定方法、系统和存储介质
CN110084311A (zh) * 2019-05-05 2019-08-02 西安电子科技大学 基于三元权值卷积神经网络的高光谱图像波段选择方法
CA3080916A1 (en) * 2019-05-16 2020-11-16 Bank Of Montreal Deep-learning-based system and process for image recognition
CN211953287U (zh) * 2020-04-21 2020-11-17 芜湖美的厨卫电器制造有限公司 热水器
CN112001270A (zh) * 2020-08-03 2020-11-27 南京理工大学 基于一维卷积神经网络的地面雷达自动目标分类识别方法
CN112200062A (zh) * 2020-09-30 2021-01-08 广州云从人工智能技术有限公司 一种基于神经网络的目标检测方法、装置、机器可读介质及设备
CN112541398A (zh) * 2020-11-17 2021-03-23 芜湖美的厨卫电器制造有限公司 基于步态识别用户的方法、装置、处理器及热水器
CN112581723A (zh) * 2020-11-17 2021-03-30 芜湖美的厨卫电器制造有限公司 用于识别用户姿态的方法、装置、处理器及热水器
CN112698288A (zh) * 2020-11-17 2021-04-23 芜湖美的厨卫电器制造有限公司 用于识别姿态的方法、装置、处理器、热水器及监测系统
AU2020104006A4 (en) * 2020-12-10 2021-02-18 Naval Aviation University Radar target recognition method based on feature pyramid lightweight convolutional neural network

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARYAM RAHNEMOONFAR等: "SPATIO-TEMPORAL CONVOLUTIONAL NEURAL NETWORK FOR ELDERLY FALL", 《2018 IEEE INTERNATIONAL CONFERENCE ON BIG DATA》 *
田凯新: "基于多层特征融合的地铁行人检测与识别算法研究", 《中国优秀硕士学位论文全文数据库工程科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793478A (zh) * 2021-10-11 2021-12-14 厦门狄耐克物联智慧科技有限公司 一种微波感应卫生间跌倒报警系统

Also Published As

Publication number Publication date
CN113221709B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
Rußwurm et al. Self-attention for raw optical satellite time series classification
Boulila A top-down approach for semantic segmentation of big remote sensing images
CN106559749B (zh) 一种基于射频层析成像的多目标被动式定位方法
CN110826379B (zh) 一种基于特征复用与YOLOv3的目标检测方法
CN116027324B (zh) 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备
EP3938806A1 (en) Radar data collection and labeling for machine-learning
US20220026557A1 (en) Spatial sensor system with background scene subtraction
Hamedianfar et al. Synergistic use of particle swarm optimization, artificial neural network, and extreme gradient boosting algorithms for urban LULC mapping from WorldView-3 images
CN115761534A (zh) 一种空中背景下红外无人机小目标检测及跟踪方法
CN107025445A (zh) 基于类信息熵的多源遥感图像组合选择方法
CN115937659A (zh) 基于Mask-RCNN的室内复杂环境下多目标检测方法
Solonskaya et al. Signal processing in the intelligence systems of detecting low-observable and low-doppler aerial targets
CN113221709B (zh) 用于识别用户运动的方法、装置及热水器
Kwon et al. Human detection by deep neural networks recognizing micro-Doppler signals of radar
Vakil et al. Feature level sensor fusion for passive RF and EO information integration
CN116842827A (zh) 一种无人机飞控系统电磁性能边界模型构建方法
CN114859351A (zh) 一种基于神经网络的地表形变场异常检测的方法
Turgut et al. Performance analysis of machine learning and deep learning classification methods for indoor localization in Internet of things environment
Horn et al. Motion classification and height estimation of pedestrians using sparse radar data
Gal et al. Tracking objects using PHD filter for USV autonomous capabilities
CN112257750B (zh) 一种面向复合式探测节点的分布式融合系统
CN116964472A (zh) 用于借助于雷达传感器系统的反射信号来探测环境的至少一个对象的方法
Shibi et al. Target object detection using chicken social‐based deep belief network with hyperspectral imagery
Ran et al. Fuzzy fusion approach for object tracking
CN113537299B (zh) 基于期望最大化高斯混合缩减的分布式贝叶斯滤波器目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant