CN115345908A - 一种基于毫米波雷达的人体姿态识别方法 - Google Patents
一种基于毫米波雷达的人体姿态识别方法 Download PDFInfo
- Publication number
- CN115345908A CN115345908A CN202211270627.XA CN202211270627A CN115345908A CN 115345908 A CN115345908 A CN 115345908A CN 202211270627 A CN202211270627 A CN 202211270627A CN 115345908 A CN115345908 A CN 115345908A
- Authority
- CN
- China
- Prior art keywords
- target
- point
- millimeter wave
- wave radar
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000033001 locomotion Effects 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 238000001228 spectrum Methods 0.000 claims abstract description 15
- 230000008859 change Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000036544 posture Effects 0.000 claims description 42
- 238000012544 monitoring process Methods 0.000 claims description 9
- 230000003068 static effect Effects 0.000 claims description 7
- 230000036541 health Effects 0.000 claims description 6
- 238000007664 blowing Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000000241 respiratory effect Effects 0.000 claims 1
- 230000009471 action Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
- A61B5/1117—Fall detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Cardiology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Dentistry (AREA)
- Pulmonology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于毫米波雷达的人体姿态识别方法,涉及信号处理技术领域,包括以下步骤:步骤1、对待测空间范围通过毫米波雷达发射电磁波信号,基于回波信号得到目标点迹;步骤2、针对目标点迹,将点迹凝聚为不同区域,按条件匹配给已知航迹,得到目标的运动轨迹;步骤3、根据目标点云在3维空间的坐标位置(x,y,z),以及各个点的信噪比强度(l);步骤4、分别计算动态多普勒谱的速度、距离以及高度变化,并提取动态多普勒谱的运动特征;步骤5、提出滑窗目标区域检测算法,在目标区域内进行目标检测;步骤6、将获取到的运动特征、点迹强度的RGB及其姿态标签输入到神经网络进行训练学习进行识别。
Description
技术领域
本发明涉及信号处理技术领域,具体涉及一种基于毫米波雷达的人体姿态识别方法。
背景技术
近两年,国内外毫米波雷达传感器头部厂商,推出了适用于居家监测场景的毫米波雷达产品。作为一种传感器,毫米波雷达健康监测对于物联网技术有天然的亲和力。全屋智能搭载毫米波雷达,用以追踪人体位置、行动轨迹,以实现屋内空调、灯光等的智能调控。借助智能家居行业既有参与者的力量,或许可成为毫米波雷达进入健康监测领域的关键。相较于过往健康监测产品的毫米波雷达具有更舒适,更好保护隐私,能够同时捕捉行动、身体姿势、心率、呼吸等多种类型数据的优势。
在智能家居监测的过程中,人体姿态识别尤为重要,比如我们在夜晚关灯的情况下,毫米波雷达能够根据人体起身动作时所发生的速度、角度、位置变化进行判定,从而判断是翻身还是起身,然后再作为数据范本交由AI系统判定下一步将进行开启夜灯还是开启房间灯的判定,大大提高了准确性也让用户体验更加智能。
又比如,深夜晚归如何不影响在家中熟睡的家人,在回家开门的同时,通过毫米波雷达对数据的收集,能够主动调整光源的亮度,或者开启某一个范围的灯,在确保光源的情况下降低对另一个人的影响;夏天使用空调时,毫米波雷达通过感知人体的位置控制空调的方向,避免直吹;
在卫浴中判断如厕的行为来开启排风或者风暖等等。这都是经由毫米波所收集、传递的信息,再通过AI智能判定,联动不同家居产品所达到的效果,在让人们体验到真正的智能家居同时,也更加绿色环保,低碳节能。所以基于上述思想,围绕居家环境中最频繁出现的一些姿态(躺下、坐下、还是行走),用可行的算法对其进行准确识别,达到对室内空调风扇的启闭以及电灯的启闭提供一些重要的依据。
发明内容
本发明的目的在于提供一种基于毫米波雷达的人体姿态识别方法,以期解决背景技术中存在的技术问题。
为了实现上述目的,本发明采用以下技术方案:
一种基于毫米波雷达的人体姿态识别方法,包括以下步骤:
步骤1、对待测空间范围通过毫米波雷达发射电磁波信号,接受回波信号,并对回波信号进行处理,得到目标点迹;
步骤2、针对目标点迹,将点迹凝聚为不同区域,将凝聚好的点迹区域按条件匹配给已知航迹,得到目标的运动轨迹,从而跟踪目标区域内的人员运动状态;
步骤3、根据目标点云在3维空间的坐标位置(x,y,z),以及各个点的信噪比强度,表示为l,表征成两张RGB图,分别为(x,y,l)和(x,z,l);
步骤4、对检测到的目标点,分别计算动态多普勒谱的速度、距离以及高度变化,在此基础上提取了动态多普勒谱的运动特征;
步骤5、在距离多普勒谱的基础上提出了滑窗目标区域检测算法,在目标区域内进行目标检测;
步骤6、将获取到的运动特征、点迹强度的RGB及其姿态标签输入到神经网络进行训练学习,然后对未带标签类的数据进行识别。
进一步的,步骤1中,具体包括如下步骤:
所述对回波信号进行处理为去除静态杂波,排除静态物体产生杂波对目标回波的噪声干扰;
对处理后回波信号做一维快速傅里叶变换,结合CFAR检测,得到目标点云的距离、信噪比(SNR)强度;
接着对获取目标距离bin后数据再次做一次快速傅里叶变换,即二维傅里叶变换,再结合CFAR检测获取到目标的多普勒信息;
根据所述目标的距离信息,由天线阵列确定的方向导引矢量,先确定目标的方位角,然后根据恒虚警率算法提取出有效目标的角度,然后再由方向导引矢量算出所提取出的目标的俯仰角;将距离、方位角、俯仰角结合,求解目标点云的横、纵坐标以及高度的三维信息。
进一步的,步骤2中,所述将点迹凝聚为不同区域,即先利用点迹的位置,再利用点迹信噪比值信息找出信噪比峰值点,再对点迹进行聚类,将点迹分为不同区域;
该步骤的有益效果是获取跟踪人员的运动状态,判断轨迹是否有速度,是静止还是运动。
进一步的,步骤3中,所述根据目标点云在3维空间的坐标位置(x,y,z),以及各个点的信噪比强度,表示为l,表征成两张RGB图,具体包括如下步骤:
由步骤1中已经获取了每个点的3维坐标(x,y,z)以及各个点的信噪比强度,在一个水平面xoy平面获取目标的位置信息以及信号强度(x,y,l),在竖直平面xoz平面获取目标的高度信息以及信号强度(x,z,l),将这两种位置与信号强度的特征转换为RGB的表征形式,即将每一个数值转换为(0-255)的范围内并对应RGB三基色的值。
进一步的,步骤4中,所述提取动态多普勒谱的运动特征具体包括如下步骤:
点云数据累计一定时间后,比如10s,会形成一个关于目标的距离多普勒的运动轨迹谱图;
与此同时,也会形成一个关于目标的高度变化谱图;
以上两个谱图均为目标的运动特征。
进一步的,步骤5中,所述滑窗目标区域检测算法具体包括如下步骤:
使用滑窗法进行目标区域选择,窗长、窗宽选择需要根据经验确定,通过滑窗内轨迹达到一个完整姿态轨迹的4/5时,即选取目标所在中心区域。
进一步的,步骤6中,所述将获取到的运动特征、点迹强度的RGB及其姿态标签输入到神经网络进行训练学习并对未带标签类的数据进行识别具体包括如下步骤:
所述姿态包括行走、坐下以及躺下或者跌倒三类标签,躺下或者跌倒归为一类;
划分后的标签可以做以下几种处理,如果划分为行走,则辅助查看步骤2中人员的运动状态,判定无误,即可在行走的位置开启对应的灯;如果划分为坐,则开启对应区域的空调,且避免对人直吹;如果划分为躺或者跌倒,则优先根据躺下的高度位置,再做判断,高度小于阈值,则判定为跌倒,启动报警装置,否则即为躺下,可以开启呼吸心率等健康监测。
所述神经网络为卷积神经网络,层数为5层;
所述对未带标签类的数据进行识别就是将网络训练好后,可对实时数据做实时的判断,并给出姿态的类型,以及做出相应的处理。
本申请所提供的一种基于毫米波雷达的人体姿态识别方法具有的有益效果包括但不限于:
本发明所述的一种基于毫米波雷达的人体姿态识别方法,结合跟踪信息和机器学习算法,能比较方便且较为准确的提供智慧家庭所需的人员状态信息,对出现的突发情况,该设备能够及时进行预警,并且其代码复杂度低,计算速度快,计算准确率高,隐私机制保护的好,也能够适应独居公寓或者医院病人监护等诸多场景。
附图说明
图1是实施例1中的人员跟踪的算法流程图。
图2是实施例1中的RGB形成示意图。
图3是实施例1中的姿态识别流程图。
图4是实施例1中的姿态识别后处理示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请的优选实施例中的附图,对本申请实施例中的技术方案进行更加详细的描述。在附图中,自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。所描述的实施例是本申请一部分实施例,而不是全部的实施例。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下将结合图1-图4,对本申请实施例所涉及的一种基于毫米波雷达的人体姿态识别方法进行详细说明。值得注意的是,以下实施例,仅仅用于解释本申请,并不构成对本申请的限定。
本申请提供的一种基于毫米波雷达的人体姿态识别方法,可以应用于住宅、公寓、医院或养老院,但不限于这些地方。
实施例1:
一种基于毫米波雷达的人体姿态识别方法,包括以下内容:
步骤1、对待测空间范围通过毫米波雷达发射电磁波信号,接受回波信号,并对回波信号进行处理,得到目标点迹;
步骤2、针对目标点迹,将点迹凝聚为不同区域,将凝聚好的点迹区域按条件匹配给已知航迹,得到目标的运动轨迹,从而跟踪目标区域内的人员运动状态;
步骤3、根据目标点云在3维空间的坐标位置(x,y,z),以及各个点的信噪比强度,表示为l,表征成两张RGB图,分别为(x,y,l)和(x,z,l);
步骤4、对检测到的目标点,分别计算动态多普勒谱的速度、距离以及高度变化,在此基础上提取了动态多普勒谱的运动特征;
步骤5、在多普勒谱的基础上提出了滑窗目标区域检测算法,在目标区域内进行目标检测;步骤6、将获取到的运动特征、点迹强度的RGB及其姿态标签输入到神经网络进行训练学习,然后对未带标签类的数据进行识别。
本实施例的姿态识别是结合人员跟踪实现的,对应本实施例中的步骤1和步骤2,人员跟踪的算法流程如图1所示,具体处理方法为,收到待测空间传回的回波信号后先去除静态杂波,排除静态物体产生杂波对目标回波的噪声干扰;接着,对去杂波后的信号做一维傅里叶变换(1D-FFT),这就能得出目标所在的距离单元以及信号强度(SNR);再接着,在该距离单元通过capon-BF,求解目标所在的角度信息。
获取角度后,通过CFAR算法滤除非目标干扰,锁定真正的目标点;再接着,对选取的目标点进行多普勒维的FFT(doppler-FFT),得到目标的速度信息,至此目标点的距离、角度(水平角和俯仰角)、速度以及信噪比(SNR)都已得到;然后,通过DBSCAN聚类算法,将这一类目标点聚为一簇点云,并划分为一个区域,将凝聚好的点迹区域按条件匹配给已知航迹,得到目标的运动轨迹,从而跟踪目标区域内的人员运动状态。
其中,目标点的距离、角度(水平角和俯仰角)、速度以及信噪比(SNR)已知后,是很容易根据正弦或者余弦定理求解出目标的具体3维坐标位置(x,y,z),其中z的值一般表征高度。
通过对毫米波雷达的回波信号进行信号处理,得到待测区域的运动目标距离多普勒方位角信息、目标的高度信息、信噪比信息和跟踪信息,在此基础上提取了动态多普勒谱和高度变化的运动特征和表征位置强度的RGB特征,通过滑窗目标区域检测算法,在目标区域内进行目标检测,将获取到目标的运动特征、RGB及其姿态标签输入到神经网络进行训练学习,然后对未带标签类的数据进行识别,根据得到的标签姿态做出相应的响应。
在步骤3中,xoy平面以及xoz平面的表征点云位置及信号强度的RGB形成如图2所示,由上述步骤已经获取了每个点的3维坐标(x,y,z)以及各个点的信噪比强度(用l表示),在一个水平面xoy平面获取目标的位置信息以及信号强度(x,y, l),在竖直平面xoz平面获取目标的高度信息以及信号强度(x,z, l),将这两种位置与信号强度的特征转换为RGB的表征形式,即将每一个数值通过取整转换为(0-255)的范围内并对应RGB三基色的值。
步骤4中,对检测到的目标点,其点云数据累计一定时间后,比如10s,会形成一个关于目标的多普勒的运动轨迹谱图;与此同时,也会形成一个关于目标的高度变化(z的变化)谱图;以上两个谱图均表征目标的运动特征;
步骤5中,所述滑窗目标区域检测算法是指在输入神经网络训练前使用滑窗法进行目标区域选择,选择可以强有力的表征坐、站、躺(跌)3种姿态的多普勒谱图,其窗长、窗宽选择需要根据经验确定,通过滑窗内轨迹达到一个完整姿态轨迹的4/5时,即可选取为目标谱图,不满足条件的谱图放弃;多普勒谱图确定,姿态持续的时间段也就确定,与此时间段相对应的高度变化图也可选定;因为多普勒谱图一定包含了一个完整姿态轨迹的4/5,所以谱图中心的那一帧所对应的姿态一定是可以表征这个姿态的一些信息的,这一帧的点云就被获取并且转换为RGB特征图。
步骤6中,所述将获取到的运动特征、RGB及其姿态标签输入到神经网络进行训练学习并对未带标签类的数据进行识别如图3所示,多普勒谱图、高度图以及RGB图的选取在步骤5中已说明,所述神经网络为卷积神经网络,层数为5层,如图3所示,包含3个卷积层和两个全连接层,做识别前需要先训练网络,本实施例用了16万个样本,识别正确率达到90%以上。
所述检测结果为多分类,包括行走、坐下以及躺下或者跌倒三类标签,因为躺这个动作属于类跌倒动作,容易误判为跌倒,所以就将躺下或者跌倒归为一类,然后再辅助高度变化做进一步的区分。一旦识别为跌到则触发呼叫系统。
所述对未带标签类的数据进行识别就是将网络训练好后,可对实时数据做实时的判断,并给出姿态的类型,以及做出相应的处理。
划分后的标签可以做以下几种处理,如图4所示,但不限于这些处理。如果划分为行走,则辅助查看步骤2中人员的运动状态,确实是有一个常规行走的多普勒速度,则认为判定无误,即可在行走的位置开启对应的灯;如果划分为坐,则开启对应区域的空调,且避免对人直吹;如果划分为躺或者跌倒,则优先根据躺下的高度位置,再做判断,高度小于一定阈值,则判定为跌倒,启动报警装置,否则即为躺下,可以开启呼吸心率等健康监测。
具体而言,通过对毫米波雷达的回波信号进行信号处理,得到待测区域的运动目标距离多普勒方位角信息、目标的高度信息、信噪比信息和跟踪信息,在此基础上提取了动态多普勒谱和高度变化的运动特征和表征位置强度的RGB特征,通过滑窗目标区域检测算法,在目标区域内进行目标检测,将获取到目标的运动特征、RGB及其姿态标签输入到神经网络进行训练学习,然后对未带标签类的数据进行识别,根据得到的标签姿态做出相应的响应。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于毫米波雷达的人体姿态识别方法,其特征在于,包括以下步骤:
步骤1、对待测空间范围通过毫米波雷达发射电磁波信号,接受回波信号,并对回波信号进行处理,得到目标点迹;
步骤2、针对目标点迹,将点迹凝聚为不同区域,将凝聚好的点迹区域按条件匹配给已知航迹,得到目标的运动轨迹,跟踪目标区域内的人员运动状态;
步骤3、根据目标点云在3维空间的坐标位置(x,y,z),以及各个点的信噪比强度(l),表征成两张RGB图,分别为(x,y,l)和(x,z,l);
步骤4、对检测到的目标点,分别计算动态多普勒谱的速度、距离以及高度变化,并提取动态多普勒谱的运动特征;
步骤5、基于多普勒谱的基础上提出滑窗目标区域检测算法,在目标区域内进行目标检测;
步骤6、将获取到的运动特征、点迹强度的RGB及其姿态标签输入到神经网络进行训练学习,然后对未带标签类的数据进行识别。
2.根据权利要求1所述的一种基于毫米波雷达的人体姿态识别方法,其特征在于,步骤1具体包括以下步骤:
步骤1.1:回波信号后先去除静态杂波,排除静态物体产生杂波对目标回波的噪声干扰;
步骤1.2:对去杂波后的信号做一维傅里叶变换,得出目标所在的距离单元以及信号强度;
步骤1.3:在该距离单元通过capon-BF,求解目标所在的角度信息;
步骤1.4:通过CFAR算法滤除非目标干扰,锁定真正的目标点;
步骤1.5:对选取的目标点进行多普勒维的FFT,得到目标的速度信息。
3.根据权利要求1所述的一种基于毫米波雷达的人体姿态识别方法,其特征在于,步骤2具体包括以下步骤:
步骤2.1:通过DBSCAN聚类算法,将这一类目标点聚为一簇点云,并划分为一个区域;
步骤2.2:将凝聚好的点迹区域按条件匹配给已知航迹,得到目标的运动轨迹。
4.根据权利要求1所述的一种基于毫米波雷达的人体姿态识别方法,其特征在于,步骤3具体包括以下步骤:
步骤3.1: 将目标点云xoy平面点云位置及信号强度的3维表示(x,y,l)表征成RGB形式;
步骤3.2:将目标点云xoz平面点云位置及信号强度的3维表示(x,z,l)表征成RGB形式。
5.根据权利要求1所述的一种基于毫米波雷达的人体姿态识别方法,其特征在于,步骤4具体包括以下步骤:
对检测到的目标点,其点云数据累计后,会形成一个关于目标的多普勒的运动轨迹谱图;以及一个关于目标的高度变化谱图;两个谱图均表征目标的运动特征。
6.根据权利要求1所述的一种基于毫米波雷达的人体姿态识别方法,其特征在于,步骤5所述滑窗目标区域检测算法是指在输入神经网络训练前使用滑窗法进行目标区域选择,选择强有力的表征坐、站、躺3种姿态的多普勒谱图;
其中,通过滑窗内轨迹达到一个完整姿态轨迹的4/5时,即选取为目标谱图,不满足条件的谱图放弃;
基于多普勒谱图确定姿态持续的时间段,以及与此时间段相对应的高度变化图。
7.根据权利要求1所述的一种基于毫米波雷达的人体姿态识别方法,其特征在于,步骤6具体包括以下步骤:
A.所述将获取到的运动特征、RGB及其姿态标签输入到神经网络进行训练学习;
B.对未带标签类的数据进行识别。
8.根据权利要求7所述的一种基于毫米波雷达的人体姿态识别方法,其特征在于,所述神经网络为卷积神经网络,至少包含3个卷积层和两个全连接层;
检测的结果为多分类,至少包括行走、坐下以及躺下或者跌倒三类标签;
将躺下或者跌倒归为一类,辅助高度变化进行区分,一旦识别为跌到则触发呼叫系统。
9.根据权利要求7所述的一种基于毫米波雷达的人体姿态识别方法,其特征在于,所述对未带标签类的数据进行识别为将网络训练好后,可对实时数据做实时的判断,并给出姿态的类型,以及做出相应的处理。
10.根据权利要求9所述的一种基于毫米波雷达的人体姿态识别方法,其特征在于,所述处理至少包括以下几类:
如果划分为行走,则辅助查看步骤2中人员的运动状态,有一个常规行走的多普勒速度,则认为判定无误,即可在行走的位置开启对应的灯;
如果划分为坐,则开启对应区域的空调;且避免对人直吹;
如果划分为躺或者跌倒,则优先根据躺下的高度位置,再做判断,高度小于阈值,则判定为跌倒,启动报警装置,否则即为躺下,开启呼吸心率健康监测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211270627.XA CN115345908B (zh) | 2022-10-18 | 2022-10-18 | 一种基于毫米波雷达的人体姿态识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211270627.XA CN115345908B (zh) | 2022-10-18 | 2022-10-18 | 一种基于毫米波雷达的人体姿态识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115345908A true CN115345908A (zh) | 2022-11-15 |
CN115345908B CN115345908B (zh) | 2023-03-07 |
Family
ID=83957569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211270627.XA Active CN115345908B (zh) | 2022-10-18 | 2022-10-18 | 一种基于毫米波雷达的人体姿态识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115345908B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115542308A (zh) * | 2022-12-05 | 2022-12-30 | 德心智能科技(常州)有限公司 | 基于毫米波雷达的室内人员探测方法、装置、设备及介质 |
CN115736872A (zh) * | 2022-12-05 | 2023-03-07 | 四川启睿克科技有限公司 | 一种基于毫米波雷达实时计算心率的方法 |
CN115968080A (zh) * | 2023-03-17 | 2023-04-14 | 森思泰克河北科技有限公司 | 基于雷达的夜灯控制方法、装置、雷达及存储介质 |
CN116106855A (zh) * | 2023-04-13 | 2023-05-12 | 中国科学技术大学 | 摔倒检测方法及摔倒检测装置 |
CN116602663A (zh) * | 2023-06-02 | 2023-08-18 | 深圳市震有智联科技有限公司 | 一种基于毫米波雷达的智能监测方法及系统 |
CN117281498A (zh) * | 2023-11-24 | 2023-12-26 | 北京清雷科技有限公司 | 一种基于毫米波雷达的健康风险预警方法及设备 |
CN117908018A (zh) * | 2024-03-19 | 2024-04-19 | 清澜技术(深圳)有限公司 | 一种挥手告警方法、系统、设备及存储介质 |
Citations (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190011534A1 (en) * | 2017-07-07 | 2019-01-10 | Infineon Technologies Ag | System and Method for Identifying a Target Using Radar Sensors |
US20190074569A1 (en) * | 2017-09-07 | 2019-03-07 | Nidec Corporation | Directional coupler |
US20200073480A1 (en) * | 2018-08-31 | 2020-03-05 | Qualcomm Incorporated | GESTURE CLASSIFICATION AND CONTROL USING mm WAVE RADAR |
CN110988861A (zh) * | 2019-10-31 | 2020-04-10 | 复旦大学 | 基于毫米波雷达的人体姿态识别系统 |
CN111289954A (zh) * | 2020-03-31 | 2020-06-16 | 四川长虹电器股份有限公司 | 用于毫米波雷达目标跟踪的点云划分与航迹匹配方法 |
CN111580060A (zh) * | 2020-04-21 | 2020-08-25 | 北京航空航天大学 | 目标姿态识别的方法、装置和电子设备 |
CN111650582A (zh) * | 2020-07-27 | 2020-09-11 | 四川长虹电器股份有限公司 | 一种基于mimo毫米波雷达的手势识别方法 |
US20200341114A1 (en) * | 2017-03-28 | 2020-10-29 | Sri International | Identification system for subject or activity identification using range and velocity data |
WO2021068470A1 (zh) * | 2020-04-09 | 2021-04-15 | 浙江大学 | 一种基于雷达信号的身份及手势识别方法 |
CN113050797A (zh) * | 2021-03-26 | 2021-06-29 | 深圳市华杰智通科技有限公司 | 一种通过毫米波雷达实现手势识别的方法 |
CN113093170A (zh) * | 2021-06-07 | 2021-07-09 | 长沙莫之比智能科技有限公司 | 一种基于knn算法的毫米波雷达室内人员检测方法 |
CN113296087A (zh) * | 2021-05-25 | 2021-08-24 | 沈阳航空航天大学 | 一种基于数据增强的调频连续波雷达人体动作识别方法 |
US20210270936A1 (en) * | 2020-02-27 | 2021-09-02 | Samsung Electronics Co., Ltd. | Method and apparatus of radar-based activity detection |
CN113391282A (zh) * | 2021-05-12 | 2021-09-14 | 南京航空航天大学 | 一种基于雷达多维特征融合的人体姿态识别方法 |
CN113406629A (zh) * | 2021-05-12 | 2021-09-17 | 北京理工大学 | 基于雷达长时间观测的天体目标转动估计与三维重建方法 |
CN113454481A (zh) * | 2019-02-28 | 2021-09-28 | 谷歌有限责任公司 | 在存在饱和的情况下检测用户姿势的基于智能设备的雷达系统 |
AU2021105639A4 (en) * | 2020-11-11 | 2021-10-21 | China National Institute Of Standardization | Head and face type classification method based on three-dimensional point cloud coordinates |
CN114002663A (zh) * | 2021-10-29 | 2022-02-01 | 四川启睿克科技有限公司 | 一种基于毫米波雷达的有无人检测方法 |
CN114114223A (zh) * | 2021-12-01 | 2022-03-01 | 长春理工大学 | 一种基于卷积神经网络的毫米波坐姿检测智慧台灯 |
CN114167382A (zh) * | 2021-12-03 | 2022-03-11 | 四川启睿克科技有限公司 | 一种毫米波雷达点云分堆方法 |
CN114217308A (zh) * | 2021-12-07 | 2022-03-22 | 德心智能科技(常州)有限公司 | 一种基于毫米波雷达的室内人员跌倒检测方法 |
US20220155432A1 (en) * | 2020-11-19 | 2022-05-19 | Xidian University | Method of target feature extraction based on millimeter-wave radar echo |
WO2022121695A1 (zh) * | 2020-12-09 | 2022-06-16 | 同方威视技术股份有限公司 | 三维成像方法和装置、以及三维成像设备 |
CN114660606A (zh) * | 2022-05-19 | 2022-06-24 | 西安电子科技大学 | 低信噪比isar图像序列匹配搜索的空间目标姿态反演方法 |
CN114677758A (zh) * | 2022-03-23 | 2022-06-28 | 华南理工大学 | 一种基于毫米波雷达点云的步态识别方法 |
WO2022141720A1 (zh) * | 2020-12-31 | 2022-07-07 | 罗普特科技集团股份有限公司 | 一种基于三维热图的三维点云目标检测方法和装置 |
CN114724094A (zh) * | 2022-04-01 | 2022-07-08 | 中通服咨询设计研究院有限公司 | 一种基于三维图像与雷达技术的闸道口车内人数计量系统 |
CN114779205A (zh) * | 2022-06-23 | 2022-07-22 | 北京海兰信数据科技股份有限公司 | 一种基于雷达目标多状态参数航迹匹配处理方法及系统 |
CN114814832A (zh) * | 2022-04-13 | 2022-07-29 | 西安理工大学 | 基于毫米波雷达的人体跌倒行为实时监测系统及监测方法 |
CN114859339A (zh) * | 2022-04-29 | 2022-08-05 | 电子科技大学 | 一种基于毫米波雷达的多目标跟踪方法 |
CN115100741A (zh) * | 2022-06-16 | 2022-09-23 | 清华大学 | 一种点云行人距离风险检测方法、系统、设备和介质 |
US20220326367A1 (en) * | 2019-10-30 | 2022-10-13 | Google Llc | Smart-Device-Based Radar System Performing Gesture Recognition Using a Space Time Neural Network |
-
2022
- 2022-10-18 CN CN202211270627.XA patent/CN115345908B/zh active Active
Patent Citations (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200341114A1 (en) * | 2017-03-28 | 2020-10-29 | Sri International | Identification system for subject or activity identification using range and velocity data |
US20190011534A1 (en) * | 2017-07-07 | 2019-01-10 | Infineon Technologies Ag | System and Method for Identifying a Target Using Radar Sensors |
US20190074569A1 (en) * | 2017-09-07 | 2019-03-07 | Nidec Corporation | Directional coupler |
US20200073480A1 (en) * | 2018-08-31 | 2020-03-05 | Qualcomm Incorporated | GESTURE CLASSIFICATION AND CONTROL USING mm WAVE RADAR |
CN113454481A (zh) * | 2019-02-28 | 2021-09-28 | 谷歌有限责任公司 | 在存在饱和的情况下检测用户姿势的基于智能设备的雷达系统 |
US20220326367A1 (en) * | 2019-10-30 | 2022-10-13 | Google Llc | Smart-Device-Based Radar System Performing Gesture Recognition Using a Space Time Neural Network |
CN110988861A (zh) * | 2019-10-31 | 2020-04-10 | 复旦大学 | 基于毫米波雷达的人体姿态识别系统 |
US20210270936A1 (en) * | 2020-02-27 | 2021-09-02 | Samsung Electronics Co., Ltd. | Method and apparatus of radar-based activity detection |
CN111289954A (zh) * | 2020-03-31 | 2020-06-16 | 四川长虹电器股份有限公司 | 用于毫米波雷达目标跟踪的点云划分与航迹匹配方法 |
WO2021068470A1 (zh) * | 2020-04-09 | 2021-04-15 | 浙江大学 | 一种基于雷达信号的身份及手势识别方法 |
CN111580060A (zh) * | 2020-04-21 | 2020-08-25 | 北京航空航天大学 | 目标姿态识别的方法、装置和电子设备 |
CN111650582A (zh) * | 2020-07-27 | 2020-09-11 | 四川长虹电器股份有限公司 | 一种基于mimo毫米波雷达的手势识别方法 |
AU2021105639A4 (en) * | 2020-11-11 | 2021-10-21 | China National Institute Of Standardization | Head and face type classification method based on three-dimensional point cloud coordinates |
US20220155432A1 (en) * | 2020-11-19 | 2022-05-19 | Xidian University | Method of target feature extraction based on millimeter-wave radar echo |
WO2022121695A1 (zh) * | 2020-12-09 | 2022-06-16 | 同方威视技术股份有限公司 | 三维成像方法和装置、以及三维成像设备 |
WO2022141720A1 (zh) * | 2020-12-31 | 2022-07-07 | 罗普特科技集团股份有限公司 | 一种基于三维热图的三维点云目标检测方法和装置 |
CN113050797A (zh) * | 2021-03-26 | 2021-06-29 | 深圳市华杰智通科技有限公司 | 一种通过毫米波雷达实现手势识别的方法 |
CN113391282A (zh) * | 2021-05-12 | 2021-09-14 | 南京航空航天大学 | 一种基于雷达多维特征融合的人体姿态识别方法 |
CN113406629A (zh) * | 2021-05-12 | 2021-09-17 | 北京理工大学 | 基于雷达长时间观测的天体目标转动估计与三维重建方法 |
CN113296087A (zh) * | 2021-05-25 | 2021-08-24 | 沈阳航空航天大学 | 一种基于数据增强的调频连续波雷达人体动作识别方法 |
CN113093170A (zh) * | 2021-06-07 | 2021-07-09 | 长沙莫之比智能科技有限公司 | 一种基于knn算法的毫米波雷达室内人员检测方法 |
CN114002663A (zh) * | 2021-10-29 | 2022-02-01 | 四川启睿克科技有限公司 | 一种基于毫米波雷达的有无人检测方法 |
CN114114223A (zh) * | 2021-12-01 | 2022-03-01 | 长春理工大学 | 一种基于卷积神经网络的毫米波坐姿检测智慧台灯 |
CN114167382A (zh) * | 2021-12-03 | 2022-03-11 | 四川启睿克科技有限公司 | 一种毫米波雷达点云分堆方法 |
CN114217308A (zh) * | 2021-12-07 | 2022-03-22 | 德心智能科技(常州)有限公司 | 一种基于毫米波雷达的室内人员跌倒检测方法 |
CN114677758A (zh) * | 2022-03-23 | 2022-06-28 | 华南理工大学 | 一种基于毫米波雷达点云的步态识别方法 |
CN114724094A (zh) * | 2022-04-01 | 2022-07-08 | 中通服咨询设计研究院有限公司 | 一种基于三维图像与雷达技术的闸道口车内人数计量系统 |
CN114814832A (zh) * | 2022-04-13 | 2022-07-29 | 西安理工大学 | 基于毫米波雷达的人体跌倒行为实时监测系统及监测方法 |
CN114859339A (zh) * | 2022-04-29 | 2022-08-05 | 电子科技大学 | 一种基于毫米波雷达的多目标跟踪方法 |
CN114660606A (zh) * | 2022-05-19 | 2022-06-24 | 西安电子科技大学 | 低信噪比isar图像序列匹配搜索的空间目标姿态反演方法 |
CN115100741A (zh) * | 2022-06-16 | 2022-09-23 | 清华大学 | 一种点云行人距离风险检测方法、系统、设备和介质 |
CN114779205A (zh) * | 2022-06-23 | 2022-07-22 | 北京海兰信数据科技股份有限公司 | 一种基于雷达目标多状态参数航迹匹配处理方法及系统 |
Non-Patent Citations (7)
Title |
---|
GUANGCHENG ZHANG等: ""Comprehensive mPoint:A Method for 3D Point Cloud Generation of Human Bodies Utilizing FMCW MIMO mm-Wave Radar"", 《SENSORS》 * |
ZHEN MENG等: ""Gait Recognition for Co-Existing Multiple People Using Millimeter Wave Sensing"", 《THE THIRTY-FOURTH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》 * |
ZHONGPING CAO等: ""A Joint Global-Local Network for Human Pose Estimation with Millimeter Wave Radar"", 《IEEE INTERNET OF THINGS JOURNAL》 * |
夏燕超等: ""用于人体姿态检测的微波雷达研制"", 《南华大学学报(自然科学版)》 * |
李瑞伟等: ""基于欧式距离的无人艇载毫米波雷达点迹凝聚方法"", 《水下无人系统学报》 * |
梁庆真等: ""毫米波雷达在皮沙发干扰下的有无人检测方法"", 《电子技术应用》 * |
黄李波等: ""车用成像毫米波雷达点云目标分类"", 《电子技术与软件工程》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115542308A (zh) * | 2022-12-05 | 2022-12-30 | 德心智能科技(常州)有限公司 | 基于毫米波雷达的室内人员探测方法、装置、设备及介质 |
CN115736872A (zh) * | 2022-12-05 | 2023-03-07 | 四川启睿克科技有限公司 | 一种基于毫米波雷达实时计算心率的方法 |
CN115968080A (zh) * | 2023-03-17 | 2023-04-14 | 森思泰克河北科技有限公司 | 基于雷达的夜灯控制方法、装置、雷达及存储介质 |
CN116106855A (zh) * | 2023-04-13 | 2023-05-12 | 中国科学技术大学 | 摔倒检测方法及摔倒检测装置 |
CN116602663A (zh) * | 2023-06-02 | 2023-08-18 | 深圳市震有智联科技有限公司 | 一种基于毫米波雷达的智能监测方法及系统 |
CN116602663B (zh) * | 2023-06-02 | 2023-12-15 | 深圳市震有智联科技有限公司 | 一种基于毫米波雷达的智能监测方法及系统 |
CN117281498A (zh) * | 2023-11-24 | 2023-12-26 | 北京清雷科技有限公司 | 一种基于毫米波雷达的健康风险预警方法及设备 |
CN117281498B (zh) * | 2023-11-24 | 2024-02-20 | 北京清雷科技有限公司 | 一种基于毫米波雷达的健康风险预警方法及设备 |
CN117908018A (zh) * | 2024-03-19 | 2024-04-19 | 清澜技术(深圳)有限公司 | 一种挥手告警方法、系统、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115345908B (zh) | 2023-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115345908B (zh) | 一种基于毫米波雷达的人体姿态识别方法 | |
Luo et al. | Temporal convolutional networks for multiperson activity recognition using a 2-d lidar | |
CN109522793B (zh) | 基于机器视觉的多人异常行为检测与识别方法 | |
Jalal et al. | Robust human activity recognition from depth video using spatiotemporal multi-fused features | |
Xu et al. | A people counting system based on head-shoulder detection and tracking in surveillance video | |
CN110837768B (zh) | 一种面向珍稀动物保护的在线检测与识别方法 | |
CN108596009A (zh) | 一种用于农机自动驾驶的障碍物检测方法和系统 | |
CN111738060A (zh) | 基于毫米波雷达的人体步态识别系统 | |
CN110456320B (zh) | 一种基于自由空间步态时序特征的超宽带雷达身份识别方法 | |
CN106570490B (zh) | 一种基于快速聚类的行人实时跟踪方法 | |
WO2022116467A1 (zh) | 一种基于毫米波雷达的非接触式身份识别方法及系统 | |
CN107679516B (zh) | 基于多尺度高斯-马尔科夫随机场模型的下肢运动识别方法 | |
CN107564035B (zh) | 基于重要区域识别和匹配的视频跟踪方法 | |
CN114818788A (zh) | 基于毫米波感知的追踪目标状态识别方法和装置 | |
CN108171278A (zh) | 一种基于运动训练数据的运动模式识别方法和系统 | |
CN114469076B (zh) | 一种融合身份特征的独居老人跌倒识别方法及系统 | |
CN112711979A (zh) | 基于生物雷达的慢速随机运动下非接触生命体征监测 | |
CN114814832A (zh) | 基于毫米波雷达的人体跌倒行为实时监测系统及监测方法 | |
CN116311497A (zh) | 一种基于机器视觉的隧道工人异常行为检测方法及系统 | |
CN111507361B (zh) | 基于微波雷达的动作识别装置、方法及系统 | |
Raeis et al. | InARMS: Individual activity recognition of multiple subjects with FMCW radar | |
CN109670391A (zh) | 基于机器视觉的智慧照明装置及动态识别数据处理方法 | |
CN116520315A (zh) | 一种目标识别系统、目标识别方法以及目标识别装置 | |
CN115841707A (zh) | 基于深度学习的雷达人体姿态识别方法及相关设备 | |
CN113283415B (zh) | 一种基于深度相机的久坐久卧检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |