CN113326788B - 基于室内声场扰动识别的室内人群密度估计方法 - Google Patents

基于室内声场扰动识别的室内人群密度估计方法 Download PDF

Info

Publication number
CN113326788B
CN113326788B CN202110627666.XA CN202110627666A CN113326788B CN 113326788 B CN113326788 B CN 113326788B CN 202110627666 A CN202110627666 A CN 202110627666A CN 113326788 B CN113326788 B CN 113326788B
Authority
CN
China
Prior art keywords
indoor
crowd density
indoor environment
density estimation
acoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110627666.XA
Other languages
English (en)
Other versions
CN113326788A (zh
Inventor
王海涛
张琳
曾向阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202110627666.XA priority Critical patent/CN113326788B/zh
Publication of CN113326788A publication Critical patent/CN113326788A/zh
Application granted granted Critical
Publication of CN113326788B publication Critical patent/CN113326788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明提出一种基于室内声场扰动识别的室内人群密度估计方法,首先针对需要进行人群估计的特定室内环境,预测场景中可能会出现的人群最大数量,分别测量不同数量的人置于室内的任意位置时的声学信道,并对测量信号进行特征提取,得出不同数量的人所对应的声学信道特征,组成特征样本库;在对该特定室内环境进行实际人群密度估计时,对该特定室内环境进行声学信道测量,并对测量信号进行特征提取,将提取的特征与步骤1得到的特征样本库进行协同处理,得到人群密度估计结果。本发明充分利用了房间通道的声学信息,计算简便,定位效率较高。在封闭以及环境变化不大的空间中,可以取得较好的密度等级评估的效果。

Description

基于室内声场扰动识别的室内人群密度估计方法
技术领域
本发明涉及人群密度估计技术领域,具体为一种基于室内声场扰动识别的室内人群密度估计方法。
背景技术
人群密度估计是指利用一定的设备采集样本及提取样本特征后,通过深度学习,机器学习等方法来对室内或室外的人群密集程度进行估计,获得一个人群密度等级评估结果。密度等级可以划分为极低、低、中等、高、极高五个等级,每个等级对应数量范围不同的人群。
人群密度估计在日常生活中的用处非常广泛,主要包括交通调度,市场调查,人群调查等方面。对公交站、地铁站和火车站等区域的乘客数量进行估计,分析不同时段的客流情况,有助于相关部门制定更加有效的车次安排、调度计划以及为工作人员制定合理的工作计划。对于商场来说,对货架前顾客的密度进行估计,可以知道顾客对哪些商品比较感兴趣,有助于管理者合理安排货物摆放顺序,不仅可以减轻人工调查的工作量,还能进一步提高货品销售量。对一些容易发生人群聚集的公共场所如大型广场、大型体育场、大型娱乐中心、医院、电影院进行实时的人群密度检测,有利于减少踩踏,对于提高人群安全具有十分重要意义。
目前,室内环境中的人群密度估计主要采用计算机视觉方法实现,即通过捕捉实时环境中的图像,来对图像中的人群特点进行分析,继而得到关于人群密度的估计。基于计算机视觉的人群密度估计方法主要是通过利用机器学习和深度学习的方法来对提取特征进行训练,来达到密度估计的目的。
基于计算机视觉的人群密度估计方法都需要对人群图像进行特征提取,在存在障碍物物遮挡,亮度昏暗,透视失真等情况下,监控设备无法捕捉到清晰的人群图像,人群图像的提取特征的精度会大大降低,致使最后得到的人群密度估计结果不太理想。
发明内容
虽然基于计算机视觉的人群密度估计方法都已取得了一定的成功及应用,但是在室内环境当中多有应用不便之处。而我们熟知的声场可以不受昏暗环境和障碍物的影响,完美地克服了传统人群密度估计方法的缺陷,在人群密度估计方面是一个非常具有研究价值的方法。
在室内环境中,由固定声源发出声波后,经过一定的传播路径向接收点传播的过程有一定的传播模式,声波的传播模式在房间中形成一个声场,当房间内有人出现时,会对房间内的声场发生扰动,而不同数量的人对房间内声场产生扰动的程度也不同。通过对房间内声场扰动的差异进行分析即可实现对室内人群密度的估计。此研究通过声学技术可实现对室内人群密度的非可视估计,为人群密度估计提供了新的研究方向,具有重要的理论意义及工程应用价值。
基于此,本发明提出一种基于室内声场扰动识别的室内人群密度估计方法,包括以下步骤:
步骤1:针对需要进行人群估计的特定室内环境,预测场景中可能会出现的人群最大数量,分别测量不同数量的人置于室内的任意位置时的声学信道,并对测量信号进行特征提取,得出不同数量的人所对应的声学信道特征,组成特征样本库;
步骤2:在对该特定室内环境进行实际人群密度估计时,对该特定室内环境进行声学信道测量,并对测量信号进行特征提取,将提取的特征与步骤1得到的特征样本库进行协同处理,得到人群密度估计结果。
进一步的,所述协同处理采用以下方式,通过机器学习或者深度学习方式对特征样本库中的数据进行学习,再利用学习结果,根据实际测量结果的特征进行人群密度估计。
进一步的,步骤1具有包括以下步骤:
步骤1.1:针对需要进行人群估计的特定室内环境,预测场景中可能会出现的人群最大数量Nmax
步骤1.2:在室内环境内设置麦克风及声源,声源发出声信号s(t),麦克风接收到声信号r(t),得到声学脉冲响应h(t)为
式中fft表示对时域信号进行傅里叶变换,ifft表示对频域信号进行反傅里叶变换;
步骤1.3:根据步骤1.2的测量方法,得到所述特定室内环境内无人时的声学脉冲响应,以及特定室内环境内具有k个人,k=1、2、3……,Nmax,且k个人在室内环境种采用l种位置分布时的声学脉冲响应,共计Nmax*l+1组声学脉冲响应;
步骤1.4:对于每一组声学脉冲响应,提取声学信道特征;并将同一人数不同位置分布所对应的房间脉冲响应的特征进行组合,得到该人数对应的声学信道特征;
步骤1.5:将不同数量的人所对应的声学信道特征,组成特征样本库。
进一步的,所述声学信道特征采用梅尔频率倒谱系数。
进一步的,步骤1.2中进行测量时,室内环境的门窗处于关闭状态。
进一步的,麦克风及声源布置在室内环境中的长距离位置两端。
进一步的,麦克风及声源布置在室内环境的屋顶位置。
进一步的,步骤1中构建特征样本库时,每个样本对应的是人在室内环境下处于站立时的声学信道特征。
有益效果
本发明以声学手段为基础实现室内人群密度估计。该方法较目前广泛使用的人群图像来说,具有对室内环境的亮度和存在障碍物物遮挡的要求极低、利用极少的硬件设备等优点。本发明充分利用了房间通道的声学信息,计算简便,定位效率较高。在封闭以及环境变化不大的空间中,可以取得较好的密度等级评估的效果。通过室内声学信道扰动分析对不同数量的人群进行密度等级评估,可应用于智能办公、室内安保等对人群密度估计要求较高又存在较多障碍物的场景中。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1:本发明人群密度估计方法的流程图。
图2:实施例中的办公室示意图。
具体实施方式
本发明主要针对现有基于计算机视觉的室内人群密度估计方法存在的受昏暗环境和障碍物影响的问题,提出了一种以声学信道分析为技术手段的室内人群密度估计方法。
在室内的封闭空间中,声学信道具有多途传播性的特点,在此基础上,房间内部出现人时,以至于房间内原本的声学信道发生改变,而房间内出现不同数量的人时,对声学信道产生的影响也不同,根据此特点即可实现对室内人群密度的估计。
本发明所提出的人群密度估计方法需要分两个阶段完成,第一个阶段建立数据库,第二个阶段为实际人群密度估计。首先,针对需要进行人群估计的特定室内环境,预测室内环境中可能会出现人群的最大数量,然后分别测量不同数量的人置于室内的任意位置时的声学信道,对测量信号进行特征提取,归纳出不同数量的人所具有的声学特征,将提取到的特征作为特征样本库;在实际人群密度估计的过程中,对该特定室内环境进行声学信道的测量,将得到的测量结果按照相同的特征提取方法进行特征提取,并与特征样本库中的数据进行协同处理,即可达到最终的人群密度估计的目的。例如通过机器学习或者深度学习方式对特征样本库中的数据进行学习,再利用学习结果对实际测量结果的特征进行人群密度估计。
下面结合实例、附图详细描述本发明的人群密度估计方法,所述实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
在此实施例中,人群密度估计室内场景为办公室,共招募8人为实验对象,要求办公室成员在不超过8个人的情况下,在所选取好的办公室场景中的任意位置均能保持较高的密度等级评估的准确率。
特征样本库建立阶段:
步骤1:此实施例中的室内环境为一真实办公室,对办公室内人群数量进行密度估计,办公室的室内环境的平面图如图2所示。首先根据需要进行人群密度估计的室内场景,预测场景中可能会出现人群的最大数量Nmax,用于进行训练数据库的采集。如前所示,本实施例中估计场景内出现的最大人数为8。
步骤2:在室内环境内设置麦克风及声源,分别表示为s,r。声源起到发出声信号的作用,麦克风起到接收声信号的作用,通过二者可得到代表声信道的参数——房间声学脉冲响应。一般而言麦克风及声源的位置可任意选择,分别表示为ps,pr。在面积较小的室内环境中,例如面积小于100m2,为了充分体系障碍物以及不同数量人对环境的声学信道扰动,可以将麦克风及声源置于室内环境的长距离位置,例如对角线位置;而对于面积较大的室内环境,麦克风及声源较远,此时可以将麦克风及声源置于室内环境的屋顶位置,避免障碍物对麦克风及声源的直接遮挡而引起的较大误差。
本实施例中,声源为家用普通音箱,麦克风为家用普通麦克风。
步骤3:由于不同的人在体型上有不同的差异,而且在室内环境的不同位置时,也会对声学信道特征产生影响,所以,需要在采集样本时,可以选取尽可能多的样本,即采集更多的位置分布情况下的样本。本实施例中对于每种人数,均采集了10种位置分布情况下的样本数据。
具体而言:首先,测量房间内无人状态时的房间脉冲响应。测量完毕后,标号为 1号的人进入办公室,1号进入房间内任意选取10个位置,1号处于每个位置时,分别测量一次房间脉冲响应,共测量10组一个人处于办公室内的房间脉冲响应。测量完毕后,2号进入办公室,1号和2号在办公室内分别任意选取10个位置,两人处于每个位置时,各测量一次房间脉冲响应,一共测量10组两人处于办公室内的房间脉冲响应。依次类推,分别测量1~8人同时处于办公室内的80组房间脉冲响应。一共采集到 81组房间脉冲响应数据。测量过程中,门窗处于关闭状态。
测量过程为,对于每一次测量声源发出一段声信号s(t),麦克风接收到声信号r(t),根据室内声学理论,声源所发出的声信号经过多途传播之后,到达麦克风,此过程中声信号传播的信道即为房间声学脉冲响应h(t),利用下式获得:
式中fft表示对时域信号进行傅里叶变换,ifft表示对频域信号进行反傅里叶变换。
这样得到的房间脉冲响应hkl(t),k=1,2,…,8,k代表人数,l=1,2,...,10代表位置分布。
步骤4:对得到的脉冲响应进行特征提取以建立特征样本库。本实施例中采用梅尔频率倒谱系数(Mel Frequency Cepstral Coefficients,MFCC)作为声学信道的特征。MFCC是语音识别领域常用且具有优良效果的一种特征,MFCC特征的获得可采用现有的开源工具包完成。当然特征提取不限定数量和种类,其他公知的声学参数也可以作为脉冲响应的特征。
这里将同一人数不同位置分布所对应的房间脉冲响应的特征进行组合,得到该人数对应的声学信道特征。
本实施例中利用MATLAB编程的开源程序对数据进行整理。在对数据进行梅尔频率倒谱系数特征提取的过程中,需要输入的参数包括采样频率,通常采样频率与麦克风及电脑采集声卡相关,此例中采样频率为44100Hz。
密度估计阶段:
步骤5:在办公室内布置k个人(1≤k≤8),按照步骤3获得此时的声信道,即房间声学脉冲响应。
步骤6:对步骤5得到的脉冲响应按照步骤4进行特征提取。
步骤7:将步骤6得到的测量结果的特征,与特征样本库中的数据进行协同处理,例如本实施例中,采用机器学习算法,具体而言采用支持向量机算法(Support VectorMachine,SVM)对步骤4中的特征样本库进行学习,然后利用学习完成后得到的模型对步骤6得到的特征进行人数预测。SVM算法可利用开源工具包获得,人群密度估计的整体流程如附图1所示。
在较小的室内场景中,人数预测结果即为人群密度估计结果,而在一些较大的室内场景中,根据得到的人数预测结果,进行密度等级评估,最终完成人群密度估计。
在实际测试中,样本测量以及预测状态测量时,人在室内环境中处于站立状态下的估计结果要优于人在椅子或沙发上坐着时的估计结果。因此在实际智能办公、室内安保等应用场景中,建议以人群站立状态作为样本采集状态。
整体而言,本发明提出的以声学手段为基础的室内人群密度估计方法,利用室内环境中的声波传播存在混响效应且全空间分布的特点,通过分析室内人群对声场带来的扰动,实现对人群密度的估计,可应用于智能办公、室内安保等对人群密度估计有较高需求又存在较多障碍物导致传统计算机视觉方法无法应用的场景中。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种基于室内声场扰动识别的室内人群密度估计方法,其特征在于:包括以下步骤:
步骤1:针对需要进行人群估计的特定室内环境,预测场景中可能会出现的人群最大数量,分别测量不同数量的人置于室内的任意位置时的声学信道,并对测量信号进行特征提取,得出不同数量的人所对应的声学信道特征,组成特征样本库:
步骤1.1:针对需要进行人群估计的特定室内环境,预测场景中可能会出现的人群最大数量Nmax
步骤1.2:在室内环境内设置麦克风及声源,声源发出声信号s(t),麦克风接收到声信号r(t),得到声学脉冲响应h(t)为
式中fft表示对时域信号进行傅里叶变换,ifft表示对频域信号进行反傅里叶变换;
步骤1.3:根据步骤1.2的测量方法,得到所述特定室内环境内无人时的声学脉冲响应,以及特定室内环境内具有k个人,k=1、2、3……,Nmax,且k个人在室内环境种采用l种位置分布时的声学脉冲响应,共计Nmax*l+1组声学脉冲响应;
步骤1.4:对于每一组声学脉冲响应,提取声学信道特征;并将同一人数不同位置分布所对应的房间脉冲响应的特征进行组合,得到该人数对应的声学信道特征;
步骤1.5:将不同数量的人所对应的声学信道特征,组成特征样本库;
步骤2:在对该特定室内环境进行实际人群密度估计时,对该特定室内环境进行声学信道测量,并对测量信号进行特征提取,将提取的特征与步骤1得到的特征样本库进行协同处理,得到人群密度估计结果。
2.根据权利要求1所述一种基于室内声场扰动识别的室内人群密度估计方法,其特征在于:所述协同处理采用以下方式:通过机器学习或者深度学习方式对特征样本库中的数据进行学习,再利用学习结果,根据实际测量结果的特征进行人群密度估计。
3.根据权利要求1所述一种基于室内声场扰动识别的室内人群密度估计方法,其特征在于:所述声学信道特征采用梅尔频率倒谱系数。
4.根据权利要求1所述一种基于室内声场扰动识别的室内人群密度估计方法,其特征在于:步骤1.2中进行测量时,室内环境的门窗处于关闭状态。
5.根据权利要求1所述一种基于室内声场扰动识别的室内人群密度估计方法,其特征在于:麦克风及声源布置在室内环境中的长距离位置两端。
6.根据权利要求1所述一种基于室内声场扰动识别的室内人群密度估计方法,其特征在于:麦克风及声源布置在室内环境的屋顶位置。
7.根据权利要求1所述一种基于室内声场扰动识别的室内人群密度估计方法,其特征在于:步骤1中构建特征样本库时,每个样本对应的是人在室内环境下处于站立时的声学信道特征。
CN202110627666.XA 2021-06-05 2021-06-05 基于室内声场扰动识别的室内人群密度估计方法 Active CN113326788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110627666.XA CN113326788B (zh) 2021-06-05 2021-06-05 基于室内声场扰动识别的室内人群密度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110627666.XA CN113326788B (zh) 2021-06-05 2021-06-05 基于室内声场扰动识别的室内人群密度估计方法

Publications (2)

Publication Number Publication Date
CN113326788A CN113326788A (zh) 2021-08-31
CN113326788B true CN113326788B (zh) 2024-05-03

Family

ID=77421148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110627666.XA Active CN113326788B (zh) 2021-06-05 2021-06-05 基于室内声场扰动识别的室内人群密度估计方法

Country Status (1)

Country Link
CN (1) CN113326788B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2466526A1 (en) * 2010-12-16 2012-06-20 BAE Systems PLC Predicting population distributions using measured values
CN107112026A (zh) * 2014-10-20 2017-08-29 奥迪马科斯公司 用于智能语音识别和处理的系统、方法和装置
CN107202559A (zh) * 2017-05-08 2017-09-26 西北工业大学 基于室内声学信道扰动分析的物体识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10068587B2 (en) * 2014-06-30 2018-09-04 Rajeev Conrad Nongpiur Learning algorithm to detect human presence in indoor environments from acoustic signals

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2466526A1 (en) * 2010-12-16 2012-06-20 BAE Systems PLC Predicting population distributions using measured values
CN107112026A (zh) * 2014-10-20 2017-08-29 奥迪马科斯公司 用于智能语音识别和处理的系统、方法和装置
CN107202559A (zh) * 2017-05-08 2017-09-26 西北工业大学 基于室内声学信道扰动分析的物体识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"封闭空间声场重构的多层等效源法";刘延善等;《声学学报》;20200531;第45卷(第3期);全文 *
Indoor Object Identification based on Spectral Subtraction of Acoustic Room Impulse Response;Rohit Agarwal et al.;IEEE SENSORS JOURNAL;第15卷(第3期);摘要,第1-6节 *
局部二值平均熵模式与深度残差网络的人群密度估计;黄丽辉;;科学技术与工程(27);全文 *

Also Published As

Publication number Publication date
CN113326788A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN101494049B (zh) 一种用于音频监控系统中的音频特征参数的提取方法
CN102163427B (zh) 一种基于环境模型的音频异常事件检测方法
Peltonen et al. Computational auditory scene recognition
CN108198562A (zh) 一种用于实时定位辨识动物舍内异常声音的方法及系统
CN109949823A (zh) 一种基于dwpt-mfcc与gmm的车内异响识别方法
CN107202559B (zh) 基于室内声学信道扰动分析的物体识别方法
CN110244204A (zh) 一种多特征值的开关柜故障诊断方法、系统及介质
CN105976827B (zh) 一种基于集成学习的室内声源定位方法
CN108200644B (zh) 一种基于网络可视图的无源室内定位方法
Vacher et al. Sound detection and classification for medical telesurvey
Wan et al. Sound source localization based on discrimination of cross-correlation functions
CN106057210B (zh) 双耳间距下基于频点选择的快速语音盲源分离方法
Guo et al. Localising speech, footsteps and other sounds using resource-constrained devices
Deng et al. Online Blind Reverberation Time Estimation Using CRNNs.
CN112735477B (zh) 语音情感分析方法和装置
CN109997186B (zh) 一种用于分类声环境的设备和方法
CN109584888A (zh) 基于机器学习的鸣笛识别方法
Moore et al. Room identification using roomprints
CN112200238A (zh) 基于声响特征的硬岩拉剪破裂识别方法与装置
Vacher et al. Smart audio sensor for telemedicine
CN113326788B (zh) 基于室内声场扰动识别的室内人群密度估计方法
CN109271896A (zh) 一种基于图像识别的学生测评系统及方法
CN110580915B (zh) 基于可穿戴式设备的声源目标识别系统
Vacher et al. Life sounds extraction and classification in noisy environment
Duangpummet et al. A robust method for blindly estimating speech transmission index using convolutional neural network with temporal amplitude envelope

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant