CN102609689A - 一种基于多帧统计的视频车道背景建模方法 - Google Patents
一种基于多帧统计的视频车道背景建模方法 Download PDFInfo
- Publication number
- CN102609689A CN102609689A CN2012100237605A CN201210023760A CN102609689A CN 102609689 A CN102609689 A CN 102609689A CN 2012100237605 A CN2012100237605 A CN 2012100237605A CN 201210023760 A CN201210023760 A CN 201210023760A CN 102609689 A CN102609689 A CN 102609689A
- Authority
- CN
- China
- Prior art keywords
- matrix
- frame
- video
- background
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于多帧统计的视频车道背景建模方法,通过对多帧视频帧自主统计分析首先建立无车的全背景图像,再次对多帧视频帧进行统计运动对象统计,最终在全背景图像上获取完整的车道背景图像;在全背景图像建立阶段,首先对视频帧上每一个像素按帧进行灰度值统计,通过排序确定该像素的背景灰度值范围,并运用加权平均的方法最后确定背景图像灰度值,进而生成全背景图像;在车道背景建立阶段,对于提取的视频帧运用帧间差分及设定阈值方法标记出车辆的运行位置,通过多次统计确定车辆的运行轨迹,通过车辆的运动轨迹进而最终获取完整的车道背景图像。具有计算量小、抗噪能力和自适应能力强等特点,方法简单且可靠。
Description
技术领域
本发明涉及计算机视频处理、图像分析及交通视频监控领域,尤其是视频车道背景的建模方法,以确定视频中车道的背景区域。
背景技术
近年来,随着城市人口、车辆的日益增加,城市的交通状况也备受关注,视频监控在交通领域得到了非常广泛的应用。准确地从视频流中区分出车道和运动目标,从而实现对运动目标的实时分析、跟踪、判别监控,就显得特别重要和有意义,因此准确的车道检测技术变得尤为重要。
在车道检测技术上,背景建模方法是最为常见的建模方法。常用的背景建模方法一般可分为基于像素的背景建模方法和基于块的背景建模方法。所谓基于像素的背景建模方法主要是根据每个像素在时间域上的分布信息构造其背景模型。 如采用混合髙斯背景建模方法对交通场景进行建模,该建模方法将图像中每个像素的混合高斯概率模型由三个髙斯成分组成,分别对应于道路、车辆及阴影。 此外Elgammal等人提出了一种非参数背景建模算法,该方法不用对背景的概率模型做任何假设,直接利用先前获得的像素值估计当前像素为背景的概率。现有的基于像素的背景建模方法大都仅利用了每个像素在时间域上的分布信息,并没有利用像素在空间域上的分布信息。此外模型学习速度较慢,建模过程较复杂,模型不能反映场景的突然变化,从而使得此类方法对场景的非平稳变化依然比较敏感。基于块的背景建模方法是将每帧图像分割为多个重叠或非重叠的小块,然后使用每个块的特征构造背景模型。与单个像素相比,块能够获得更多的空间分布信息,使得基于块的背景建模方法对场景的局部变化不敏感。如Seki等利用相邻块之间的图像变化在空间上的共同出现的规律,改善对前景目标的检测效果。 Matsuyama 等使用归一化向量距离度量块之间的相关性。基于块的背景减除方法最大缺点是获得的运动目标比较粗糙,不适于对运动目标分割要求较高的应用场合。
发明内容
本发明的目的是为克服上述现有技术的不足,提出了一种基于多帧统计的视频车道背景建模方法,建模过程简单可靠,模型对场景的非平稳变化不敏感,能反映场景的突然变化,适应各种光照条件及适应各种路况条件下的交通视频监控。
为实现上述目的,本发明的技术方案是依次采用如下步骤:(1)将交通道口的n帧连续图像帧转换成灰度图像矩阵,Yi,j=0.299*Ri,j+0.587*Gi,j+0.114*Bi,j,Yi,j是转换得到的像素上的灰度值,Ri,j、Gi,j、Bi,j是图像帧在第i行第j列上的RGB颜色值,0<x<n+1,M是图像帧的总行数,N是图像帧的总列数;(2)建立统计矩阵, 是图像第i行、第j列的像素上灰度值是k的图像帧统计次数,刚开始设置矩阵S为零矩阵;(3)连续取n帧灰度图像矩阵的灰度值Yi,j,在所述统计矩阵S的相应位置上做加1处理,将所述的数值按从高到低顺序取出,将取出的构成一个新的集合,直至为止;(4)按公式得到视频帧第i行j列上的背景像素值,并得到视频帧全背景灰度矩阵;(5)再次读取同一个交通道口的相邻的两帧图像帧,将该相邻的两帧图像帧分别转换成灰度图像矩阵DA、DB,并对灰度图像矩阵DA、DB相减得到差分矩阵 DC;(6)建立一个车道背景图像的统计矩阵DD, 刚开始设置统计矩阵DD为零矩阵;将所述差分矩阵DC中所有灰度小于阈值40的值赋零,对差分矩阵DC中灰度值大于0的位置保留,在统计矩阵DD的相应位置上做加1操作;(7)取所述同一个交通道口的下两帧视频帧,将该下两帧视频帧转换成灰度图像矩阵,并得到一个差分矩阵,重复进行50-150次步骤(6)中的赋零操作和加1操作;得到一个记录连续50-150次帧间差分并标记车道背景矩阵;(8)取所述车道背景矩阵并在所述视频帧全背景矩阵的相应位置上做赋零操作,得到只包含车道背景的灰度矩阵。
本发明采用上述技术方案后具有的有益效果是:只采用简单的视频多帧统计方法,就能有效确定视频中的背景区域,特别是能明确车道背景区域,具有计算量小,抗噪能力和自适应能力强等特点。方法简单、可靠,能适应各种光照条件及适应各种路况条件下的交通视频监控。通过车道背景建模,为后续的车道检测、车辆的检测跟踪等提供帮助。
具体实施方式
本发明应用多帧图像的灰度值统计和判断,通过对连续多个视频帧上每个像素按帧进行自主统计分析,进行基于视频的车道背景图像的生成。为了获得完整的车道背景图像,本发明首先建立无车的全背景图像,再次对多帧视频帧进行统计运动对象统计,最终在全背景图像上获取完整的车道背景图像;在全背景图像建立阶段,首先对视频帧上每一个像素按帧进行灰度值统计,通过排序确定该像素的背景灰度值范围,并运用加权平均的方法最后确定背景图像灰度值,进而生成全背景图像;在车道背景建立阶段,对于提取的视频帧运用帧间差分及设定阈值方法标记出车辆的运行位置,通过多次统计确定车辆的运行轨迹,通过车辆的运动轨迹进而最终获取完整的车道背景图像。整个建模过程包含全背景图像生成和车道背景图像生成两部分,这两部分的具体步骤如下:
第一部分:全背景图像生成
步骤一:从拍摄于某个交通道口的视频中读取n帧连续图像帧,本发明中读取80帧,并将之转换成灰度图像矩阵。将图像帧的某一像素转换成灰度所应用的公式为:Yi,j=0.299*Ri,j+0.587*Gi,j+0.114*Bi,j。其中(Ri,j, Gi,j, Bi,j)为图像帧在第i行第j列上的RGB颜色值,Yi,j是转换得到的该像素上的灰度值。假设得到的第x帧灰度图像矩阵为, M表示图像帧的总行数,N表示图像帧的总列数,x取值范围在1到n之间的数,即0<x<n+1。
步骤三:连续读取n帧灰度图像矩阵的灰度值。如读取第x帧灰度图像矩阵Dx的灰度值,对于Dx上的每一个像素灰度值,如读取第i行j列像素上的灰度值为Yi,j=g(g的取值范围为0到255),在统计矩阵S的相应位置上做加一处理。即假设刚开始为0,当读取第i行j列像素上的灰度值为Yi,j=g时,变为1。
步骤四:经过步骤三得到一个记录连续n帧灰度图像帧的像素点灰度值分布的统计矩阵S,统计矩阵S反映了n帧视频的运动情况。
由于不管多少车,只要是运动的物体,就不可能长期呆在一个地方,该地方长期来看,也就是通过多个视频帧来看,大部分视频帧反映的都是背景,因此,本发明合理地假设大部分视频帧没有运动车辆等运动物体通过,对统计的n个视频帧的任何一个相同像素点来说,大部分视频帧上统计得到的像素值是背景像素值,只有少部分是运动车辆等运动物体的像素值;此外由于光照或风动也会造成背景像素值的变化。为此本发明对统计矩阵S的每一个像素位置进行帧数统计排序,如视频帧第i行j列上多帧统计结果为一个集合,,是的集合,也就是视频帧第i行j列上帧数统计结果,将上256个按照灰度值进行帧数统计的,按照的数值大小排序,按照从高到低顺序将的值取出,直到,将以上经过取出的构成一个新的集合,即,。说明在统计的n帧视频中有超过60%的视频帧参与了统计,而且这些被统计的视频帧在第i行j列像素上都是背景像素。按照下面公式得到视频帧第i行j列上的背景像素值为:; k反映的是图像帧第i行j列像素位置上的第k个灰度。如S5,6,79反映的就是第5行6列像素上灰度79统计的视频帧数。以上公式反映了视频帧的第i行j列像素上在60%以上视频帧的背景像素点灰度值的加权平均变化。该像素点少量运动变化的像素值没有统计在内。
步骤五:经过步骤四最终得到一个视频帧全背景灰度矩阵,该矩阵将在下一阶段车道背景图像生成中被修改,以反映车道背景信息。
第二部分:车道背景图像生成
步骤一:再次读取拍摄于同个交通口的视频帧,从中读取相邻的两帧图像帧并将这两帧图像转换成灰度图像矩阵DA和DB,对两帧相减即进行帧间差分运算,得到一个差分矩阵 DC。接着建立一个用于表示车道背景图像的统计矩阵DD, 刚开始设置DD矩阵为零矩阵,即矩阵所有元素均置零。
步骤二:进行车道背景判断。本发明设定一个阈值40,将差分矩阵DC中所有小于阈值的值进行赋零操作。采取以上操作的原因是,由于相邻两帧获取时间的不同而导致整个视频区域中的像素点的灰度值是有变化的。本发明中认为视频像素的变化只由光照变化等自然因素以及车辆等运动对象的移动这两种因素导致。而车道外的背景区域的灰度差值变化来自于自然因素,其导致的灰度差值较小;而车道内的背景区域内的灰度差值变化来自于自然因素和经过的运动对象这两种因素的叠加,这种灰度差值较大。通过将所有小于阈值的差分矩阵中的值进行赋零操作来达到忽略那些车道外的背景区域灰度变化,而保留那些由于经过的车辆导致的差值。阈值的不同会影响最后得到的车道背景图像中车道的精确程度,阈值越小精度越低,保留的车道越完整但背景保留也越多;相反阈值越高则精度越高,车道保留越少同时背景也保留较少。经过以上差分矩阵DC进行阈值保留后,对保留下来差分矩阵DC灰度值大于0的位置,在统计矩阵DD的相应位置上做加一操作。如差分矩阵DC上第i行j列的灰度值 ,在统计矩阵DD的相应位置Yi,j上做加一操作。灰度值与第一部分全背景图像生成中步骤一的灰度值转换方式相同。
步骤三:读取下两帧视频帧,并将之转换成灰度图像矩阵, 对两帧再次进行帧间差分运算并得到一个差分矩阵,转到步骤二中重复进行车道背景区域的判断。反复进行,直到进行了H次视频车道背景区域判断为止。H的取值范围在50-150之间,在本发明中H设定为60。
步骤四:经过步骤三得到一个记录了连续H次帧间差分并标记车道背景矩阵DD,矩阵DD反映了车辆经过留下的痕迹所组成的车道背景的情况。读取DD 矩阵并对全背景矩阵AG进行处理,如DD矩阵上第i行j列像素上的灰度值为,在全背景矩阵AG的相应位置上做置零操作。类似的,灰度值与第一部分全背景图像生成中步骤一的灰度值转换方式相同。
步骤五:经过步骤四得到一个只包含车道背景的灰度矩阵AG。该矩阵就是最终所得车道背景矩阵。
以下提供本发明的一个实施例:
实施例1
从拍摄于某个交通道口的视频中读取80帧连续图像帧作为生成无车全背景图像用视频帧。因为图像是以RGB形式存在的,首先将RGB图像转换成灰度图像,将图像帧的某一像素转换成灰度所应用的公式为:Yi,j=0.299*Ri,j+0.587*Gi,j+0.114*Bi,j。其中(Ri,j, Gi,j, Bi,j)为图像帧在第i行第j列上的RGB颜色值,Yi,j是转换得到的该像素的灰度值。转换得到80个灰度图像矩阵,其中假设第x帧灰度图像矩阵为,M为1024,N为768。
连续读取80帧灰度图像矩阵的灰度值。如读取第5帧灰度图像矩阵D5的灰度值,对于D5上的每一个像素灰度值,如读取第3行4列像素上的灰度值为Y3,4=100,在统计矩阵S的相应位置上做加1操作,说明这个像素点在第5个图像帧中记录到灰度值为100一次。得到一个记录连续80帧灰度图像帧的像素点灰度值分布的统计矩阵S,矩阵S反映了80帧视频的运动情况。对统计矩阵S的每一个像素位置进行帧数统计排序,如视频帧第6行7列上。将上256个灰度值位置按照数值大小排序,按照从高到低顺序将的值取出,直到,如记录到在,及上数值为24,20,18,说明在统计的80帧视频中有超过48帧的视频帧参与了统计,而且这些被统计的视频帧在第6行7列像素上都是背景像素。将以上经过排序得到的集合按照下面公式得到视频帧第6行7列上的背景像素值为:
再次读取拍摄于同一个交通口的视频帧,如间隔60秒,从中读取相邻的两帧图像帧并将这两帧图像转换成灰度图像矩阵DA和DB。对两帧相减即进行帧间差分运算,得到一个差分矩阵 DC。接着建立一个用于表示车道背景图像的统计矩阵DD, 刚开始设置DD矩阵为零矩阵,即矩阵所有元素均置零。然后进行车道背景判断,将差分矩阵DC中所有小于阈值40的值进行赋零操作。经过以上差分矩阵DC进行阈值保留后,对保留下来差分矩阵DC灰度值大于0的位置,在统计矩阵DD的相应位置上做加1操作。如差分矩阵DC上第8行9列的灰度值,在统计矩阵DD的相应位置上做加1操作。再读取下两帧视频帧,并将之转换成灰度图像矩阵, 对两帧再次进行帧间差分运算并得到一个差分矩阵,如此重复进行车道背景区域的判断。反复进行,直到进行了60次视频车道背景区域判断为止,得到一个记录了连续60次帧间差分并标记车道背景矩阵DD,矩阵DD反映了车辆经过留下的痕迹所组成的车道背景的情况。读取矩阵DD并对全背景矩阵进行处理,如矩阵DD上第9行10列像素上的灰度值为,在全背景矩阵AG的相应位置上做置零操作,最终得到一个只包含车道背景的灰度矩阵,该矩阵就是最终所得车道背景矩阵,将该结果最终转换成灰度图像即反映了所取得的车道背景图像。
Claims (2)
1.一种基于多帧统计的视频车道背景建模方法,其特征是依次采用如下步骤:
(1)将交通道口的n帧连续图像帧转换成灰度图像矩阵Dx={Yi,j,i∈{1,...,M},j∈{1,...,N}},Yi,j=0.299*Ri,j+0.587*Gi,j+0.114*Bi,j,Yi,j是转换得到的像素上的灰度值,Ri,j、Gi,j、Bi,j是图像帧在第i行第j列上的RGB颜色值,0<x<n+1,M是图像帧的总行数,N是图像帧的总列数;
(2)建立统计矩阵S={si,j,k,i∈{1,...,M},j∈{1,...,N},k∈{0,...,255}},si,j,k是图像第i行、第j列的像素上灰度值是k的图像帧统计次数,刚开始设置矩阵S为零矩阵;
(3)连续取n帧灰度图像矩阵Dx的灰度值Yi,j,在所述统计矩阵S的相应位置上做加1处理,将所述si,j,k的数值按从高到低顺序取出,将取出的si,j,k构成一个新的集合ASi,j={si,j,k},直至为止;
(5)再次读取同一个交通道口的相邻的两帧图像帧,将该相邻的两帧图像帧分别转换成灰度图像矩阵DA、DB,并对灰度图像矩阵DA、DB相减得到差分矩阵DC;
(6)建立一个车道背景图像的统计矩阵DD,刚开始设置统计矩阵DD为零矩阵;将所述差分矩阵DC中所有灰度小于阈值40的值赋零,对差分矩阵DC中灰度值大于0的位置保留,在统计矩阵DD的相应位置上做加1操作;
(7)取所述同一个交通道口的下两帧视频帧,将该下两帧视频帧转换成灰度图像矩阵,并得到一个差分矩阵,重复进行50-150次步骤(6)中的赋零操作和加1操作;得到一个记录连续50-150次帧间差分并标记车道背景矩阵;
(8)取所述车道背景矩阵并在所述视频帧全背景矩阵AG的相应位置agi,j上做赋零操作,得到只包含车道背景的灰度矩阵。
2.根据权利要求1所述的一种基于多帧统计的视频车道背景建模方法,其特征是:步骤(7)中,重复进行60次操作,得到一个记录连续60次帧间差分的车道背景矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210023760.5A CN102609689B (zh) | 2012-02-03 | 2012-02-03 | 一种基于多帧统计的视频车道背景建模方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210023760.5A CN102609689B (zh) | 2012-02-03 | 2012-02-03 | 一种基于多帧统计的视频车道背景建模方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102609689A true CN102609689A (zh) | 2012-07-25 |
CN102609689B CN102609689B (zh) | 2016-12-28 |
Family
ID=46527048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210023760.5A Active CN102609689B (zh) | 2012-02-03 | 2012-02-03 | 一种基于多帧统计的视频车道背景建模方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102609689B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104899557A (zh) * | 2015-05-25 | 2015-09-09 | 浙江工业大学 | 一种基于视频的交叉路口背景图像提取方法 |
CN105574896A (zh) * | 2016-02-01 | 2016-05-11 | 衢州学院 | 一种面向高分辨率视频的高效背景建模方法 |
CN110751119A (zh) * | 2019-10-28 | 2020-02-04 | 中国电子科技集团公司第四十四研究所 | 一种车流量统计与车型分类方法及装置 |
CN111028245A (zh) * | 2019-12-06 | 2020-04-17 | 衢州学院 | 一种多模态复合的高清高速视频背景建模方法 |
CN111476336A (zh) * | 2019-01-23 | 2020-07-31 | 阿里巴巴集团控股有限公司 | 服装的计件方法、装置及设备 |
CN111539273A (zh) * | 2020-04-12 | 2020-08-14 | 南京理工大学 | 一种交通视频背景建模方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7460685B2 (en) * | 2002-11-12 | 2008-12-02 | Intellivid Corporation | Method and apparatus for computerized image background analysis |
-
2012
- 2012-02-03 CN CN201210023760.5A patent/CN102609689B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7460685B2 (en) * | 2002-11-12 | 2008-12-02 | Intellivid Corporation | Method and apparatus for computerized image background analysis |
Non-Patent Citations (2)
Title |
---|
李天坤: "基于视频检测技术的车流量检测算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
王圣男: "智能交通系统中基于视频图像处理的车辆检测与跟踪方法综述", 《计算机应用研究》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104899557A (zh) * | 2015-05-25 | 2015-09-09 | 浙江工业大学 | 一种基于视频的交叉路口背景图像提取方法 |
CN104899557B (zh) * | 2015-05-25 | 2017-12-29 | 浙江工业大学 | 一种基于视频的交叉路口背景图像提取方法 |
CN105574896A (zh) * | 2016-02-01 | 2016-05-11 | 衢州学院 | 一种面向高分辨率视频的高效背景建模方法 |
CN105574896B (zh) * | 2016-02-01 | 2018-03-27 | 衢州学院 | 一种面向高分辨率视频的高效背景建模方法 |
CN111476336A (zh) * | 2019-01-23 | 2020-07-31 | 阿里巴巴集团控股有限公司 | 服装的计件方法、装置及设备 |
CN111476336B (zh) * | 2019-01-23 | 2023-06-20 | 阿里巴巴集团控股有限公司 | 服装的计件方法、装置及设备 |
CN110751119A (zh) * | 2019-10-28 | 2020-02-04 | 中国电子科技集团公司第四十四研究所 | 一种车流量统计与车型分类方法及装置 |
CN111028245A (zh) * | 2019-12-06 | 2020-04-17 | 衢州学院 | 一种多模态复合的高清高速视频背景建模方法 |
CN111539273A (zh) * | 2020-04-12 | 2020-08-14 | 南京理工大学 | 一种交通视频背景建模方法及系统 |
CN111539273B (zh) * | 2020-04-12 | 2023-05-16 | 南京理工大学 | 一种交通视频背景建模方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN102609689B (zh) | 2016-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107563372B (zh) | 一种基于深度学习ssd框架的车牌定位方法 | |
CN106875424B (zh) | 一种基于机器视觉的城市环境行驶车辆行为识别方法 | |
Chiu et al. | A robust object segmentation system using a probability-based background extraction algorithm | |
CN104392468B (zh) | 基于改进视觉背景提取的运动目标检测方法 | |
CN102609689A (zh) | 一种基于多帧统计的视频车道背景建模方法 | |
CN103310444B (zh) | 一种基于头顶摄像头的监控行人计数的方法 | |
CN105844229A (zh) | 一种乘客拥挤度的计算方法及其系统 | |
CN111104903A (zh) | 一种深度感知交通场景多目标检测方法和系统 | |
CN103578119A (zh) | 基于超像素的Codebook动态场景中目标检测方法 | |
CN101447082A (zh) | 一种运动目标实时检测方法 | |
CN109684996A (zh) | 基于视频的实时车辆进出识别方法 | |
CN110633678B (zh) | 一种基于视频图像的快速高效的车流量计算方法 | |
CN111709300B (zh) | 基于视频图像的人群计数方法 | |
CN106529419A (zh) | 视频显著性堆栈式聚合的对象自动检测方法 | |
CN113160575A (zh) | 一种非机动车辆及驾驶人的交通违法行为检测方法及系统 | |
CN104978567A (zh) | 基于场景分类的车辆检测方法 | |
CN108648210B (zh) | 一种静态复杂场景下快速多目标检测方法及装置 | |
KR20200010971A (ko) | 광학 흐름 추정을 이용한 이동체 검출 장치 및 방법 | |
Cygert et al. | Style transfer for detecting vehicles with thermal camera | |
CN106056078A (zh) | 一种基于多特征回归式集成学习的人群密度估计方法 | |
CN106127810B (zh) | 一种视频宏块角点光流的录播系统图像跟踪方法和装置 | |
JP7163718B2 (ja) | 干渉領域検出装置と方法及び電子機器 | |
CN108765463A (zh) | 一种结合区域提取与改进纹理特征的运动目标检测方法 | |
CN112258552A (zh) | 一种社区监控场景下行人多目标跟踪方法 | |
Balcilar et al. | Extracting vehicle density from background estimation using Kalman filter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |