CN112115775A - 一种基于计算机视觉的监控场景下的吸烟行为检测方法 - Google Patents

一种基于计算机视觉的监控场景下的吸烟行为检测方法 Download PDF

Info

Publication number
CN112115775A
CN112115775A CN202010789052.7A CN202010789052A CN112115775A CN 112115775 A CN112115775 A CN 112115775A CN 202010789052 A CN202010789052 A CN 202010789052A CN 112115775 A CN112115775 A CN 112115775A
Authority
CN
China
Prior art keywords
frame
detection
human body
smoking
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010789052.7A
Other languages
English (en)
Other versions
CN112115775B (zh
Inventor
王素玉
陶思辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202010789052.7A priority Critical patent/CN112115775B/zh
Publication of CN112115775A publication Critical patent/CN112115775A/zh
Application granted granted Critical
Publication of CN112115775B publication Critical patent/CN112115775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于计算机视觉的监控场景下的吸烟行为检测方法,所述方法包括:采集包含吸烟行为的视频图像,以及相似行为如打电话等行为的视频图像,采用预设计的目标检测网络模型对图像进行对人体位置的检测,对人体检测框使用预设的裁剪算法裁剪,使用预设的分类网络模型进行对裁剪框区域图像信息进行识别,进而得到吸烟识别结果;本发明在实施上具有成本低、实时检测、高准确性等优点。

Description

一种基于计算机视觉的监控场景下的吸烟行为检测方法
技术领域
本发明涉及深度学习中目标检测技术领域、图像分类识别技术领域和一套动作检测规则方法和系统。
背景技术
目前,在视频行为理解的技术条件下,人体行为检测技术可用于监控摄像头下的吸烟检测技术方案主要如下几种:
(1)基于C3D(三维卷积)的方法,采用3D卷积深度网络对整段视频进行时空建模,直接进行吸烟行为识别。
(2)基于CNN-LSTM(卷积神经网络-长短时记忆神经网络)的方法,使用 CNN提取视频中每帧的特征信息,将每帧的特征信息使用LSTM进行处理,最终识别出行为。
(3)基于图像分割以及图像分类的方法,提取图像中手势信息,对手势信息进行识别,进一步得到吸烟行为的识别结果。
(4)基于目标检测-跟踪-识别方法,使用目标检测来对每一帧中的ROI进行跟踪,然后对检测到的动作进行行为识别。
(5)基于视频监控的烟雾检测,将每帧图像使用分类器进行关于含不含香烟烟雾的分类,进而完成吸烟行为识别的检测。
但是,现有的吸烟检测技术,存在着以下的缺点:
(1)以上所述的(1)、(2)、(4)的方法虽然在不同程度上提高了吸烟行为检测/识别的准确率,但由于算法时空复杂度高,所以很难达到实时检测,吸烟检测需要一定的实时性。
(2)以上所述的方法(3)的方法,由于需要近距离捕捉手势信息,很难在监控摄像头条件下进行吸烟行为检测。
(3)以上所述的方法(5)的方法,准确率较低,并且不能对人体进行定位进行精确的行为检测。
发明内容
本发明提供一种可以在一种基于计算机视觉的监控场景下的吸烟行为检测方法,该方法具有成本低、高鲁棒、高实时等优点,很容易部署到PC设备中。
本发明使用目标检测网络。目标检测网络接收视频图像,检测人体位置。分类器接收人体部分ROI区域(感兴趣区域Region ofInteresting),判断人是否吸烟。
为实现上述目的,本发明提供一种实时的检测吸烟行为的方法,所述实时的吸烟行为检测方法包括以下步骤:
S1、获取采集的包含吸烟人的视频图像,逐帧送入预设的目标检测网络中,得到人体位置信息,人体头部位置信息以及人体手部位置信息。
S2、通过S1得到人体ROI,为了使得吸烟检测更加精确,把人体ROI输入预设的裁剪模块,进行局部裁剪,得到人体上半身的区域;
S3、通过S2得到裁剪之后的ROI部分图像,把图像送入预设的分类网络,执行吸烟检测。
与现有技术相比较,本发明具有如下技术效果。
可以从技术原理和本方法实施的角度考虑下,本发明的技术特色以及技术优势所在之处。
1.本发明的算法使用了单阶目标检测网络,以及使用了分组卷积的轻量化主干网络所以时间复杂度和空间复杂相对较低,在使用轻量化的主干网络之后可以达到65FPS(单张图像推理达到15ms)可以做到实时检测。
2.本发明具有较高的鲁棒性,使用了大量的相似行为的图像进行训练,能够在相似行为之间,分辨出吸烟行为,具有较高的鲁棒性,能够很好适应监控摄像头下的俯视场景。
3.本发明,根据视频帧进行训练,是以单张图像为基础进行训练的所以仅仅依赖单张图像信息就可以取得很好的检测结果。
4.本发明可以接收视频,对视频逐帧检测,在使用单张1080TI显卡下可以达到65FPS,所以可以很方便的在本地PC机上部署,不需要高性能服务器。
附图说明
图1是本发明人基于监控摄像头下的吸烟检测方法的流程示意图;
图2是分组卷积结构示意图;
图3是本发明人基于吸烟检测设计的YOLOv3-Lite网络结构示意图;
图4是本发明人预测人体位置信息以及初步筛选的流程示意图;
图5是MobileNet网络基本结构示意图;
图6是本发明人基于MobileNet与APN网络设计的MobileNet-APN网络结构示意图;
图7是本发明人裁剪人体ROI以及进行吸烟识别的流程示意图;
具体实施方式
应当理解,此处所描述的具体实例仅仅用以解释本发明,并不用于限定本发明。本发明经过了算法验证,基于一般监控摄像头下的的实时吸烟行为检测系统包括:GPU、CPU、内存卡、RGB监控摄像头和显示屏。GPU为英伟达 GTX1050Ti,CPU为英特尔第8代酷睿i5;
实施过程:RGB监控摄像头部署在吸烟监控区。RGB监控摄像头与PC机相连,PC机通过RGB监控摄像头逐帧采集图像,采集图像后送入内存卡,之后通过PC机的GPU和CPU系统执行整个算法流程,检测结果将显示在显示屏上。采集图像、图像处理、逻辑运算等计算需要CPU进行处理,神经网络的计算需要使用GPU。
算法框架参考如下:
请参照图1,图1是本发明提出的基于监控摄像头下的吸烟检测实例的流程示意图。
如图1所示,本发明实施里提出一种基于计算机视觉的监控场景下的吸烟行为检测方法,所述的吸烟检测总体上包括以下步骤:
步骤S1,通过监控摄像头在线获取人体视频帧图像,对所述的人体视频帧图像使用目标检测的网络进行特征提取,获取人体检测框、手部检测框和头部检测框。
步骤S2,通过S1得到的人体检测框、手部检测框和头部检测框,进一步进行判断哪些检测框属于同一人体,对属于同一人体的各个检测框进行下一步计算,不属于同一人体的检测框不进行下一步计算。对不包含人手部或者头部的人体框进行剔除。
步骤S3,通过S2得到的属于同一人体的检测框,根据人体、手部、头部位置信息通过本发明独有的方法,具体算法见下方对S3和S4的具体描述,计算出上半身包围框,裁剪掉冗余信息,得到ROI区域。
步骤S4,通过S3得到最终得到的ROI区域,使用分类网络,对这些区域进行有无吸烟行为的检测,分类网络的具体设计如图6,见下方具体介绍。
具体的算法参考如下:
步骤S1、S2具体算法如图4所示,使用YOLOv3-Lite网络对视频图像逐帧检测,得到人体检测框、手部检测框、头部检测框。根据手部、头部的距离,根据预设的距离阈值来判定是否进入下一步,可以大大减小系统工作量。
其中,目标检测网络参考YOLOv3的基本结构,针对吸烟检测任务的自身特点,重新设计了新的轻量化的网络,基础网络采用残差网络结构,以及分组卷积技术,分组卷积操作将输入特征图按照通道数分成g组,g分组数量,每组输入的特征图尺寸为
Figure BDA0002623110780000041
H为输入特征图的高,W为输入特征图的宽, c1为输入特征图的总通道数,g为分组数量,对应的卷积核尺寸为
Figure BDA0002623110780000042
h1为卷积核高度,w1为卷积核的宽度,c1为输入特征图的总通道数,g为通道分组数量,每组的输出特征图尺寸为
Figure BDA0002623110780000043
H为输出特征都的高,W为输出特征图的宽,g为通道分组数量,c2为输出的总通道数,将g组结果拼接,得到最终尺寸的H×W×c2的输出特征图。
分组卷积结构如图2所示,其中BasicBlock中使用了分组卷积,整个主干网络一共使用了20层卷积层,称为SMKNet,目标检测不部分依然采用yolov3的检测方式,构成轻量版本的YOLOv3-Lite。根据需要检测的目标检测框来对 YOLOv3-Lite网络进行有监督的训练,得到YOLOv3-Lite网络,网络结构具体见图3。
步骤S3、S4具体算法如图7所示,根据人体几何分布关系以及已知的人体检测框、手部检测框、头部检测框联合分析,计算得到人体上半身包围框。我们假设代表头部的坐标点H,H为在图像坐标系中的坐标点,x0为坐标点H的横坐标,y0为坐标点H纵坐标,见公式(1)
H=(x0,y0) 公式(1)
代表距离头部较远的手部的坐标点Pf,Pf为在图像坐标系中的坐标点,其中 x1为坐标点Pf的横坐标,y1为坐标点Pf的纵坐标见公式(2)
Pf=(x1,y1) 公式(2)
取人体检测框的顶边作为裁剪框的顶边,顶边宽度W,人体检测框左上点TL, TL为图像坐标系中的坐标点,其中x2为坐标点TL的横坐标,y2为坐标点TL的纵坐标,见公式(3)
TL=(x2,y2) 公式(3)
L1=y0-y2 公式(4)
L1见公式(4)为头部到人体检测框的顶边的距离作为最终裁剪框邻边的补足距离。
Figure BDA0002623110780000051
以L2见公式(5)为裁剪框的长边的主距离,得到裁剪框的右下点坐标BR见公式(6),其中x2为坐标点TL的横坐标,y2为坐标点TL的纵坐标,w为人体检测框的顶边宽度,L1见公式(4),L2见公式(5)。
BR=(x2+w,y2+L1+L2) 公式(6)
得到最终裁剪框的左上点TL和右下点BR,裁剪出最终的ROI。在得到ROI 区域后,将ROI区域使用线性变换映射到预设的图像尺寸(根据实际场景定制图像尺寸),使用MobeileNet_APN进行吸烟识别,最终得到图像中被检测人体的上半身包围框,以及是否吸烟的识别结果(该结果为实时显示到PC显示屏上的检测结果)。
考虑到轻量化、易部署的前提,设计了基于MobileNet-APN的细粒度分类网络,网络结构如图6所示,其中分类网络基础结构如图5所示,输入图像通过分类网络提取特征并进行分类,并得到结果P1,然后attention proposal network (APN)网络基于提取到的特征进行训练得到attention区域信息,再将attention 区域crop出来并放大,再作为第二个scale,作为分类网络的输入,然后得到分类结果P2,这样重复进行两次,就能得到3个scale网络的输出结果P1、P2、 P3,融合三个scale网络的结果可以达到更好的效果。使用固定尺寸大小的图像对MobileNet_APN网络进行有监督的训练,得到MobileNet_APN网络,网络结构具体见图6。

Claims (5)

1.一种基于计算机视觉的监控场景下的吸烟行为检测方法,其特征在于:所述方法包括以下步骤,
步骤S1,在线获取人体视频图像,对所述的视频帧图像使用目标检测的网络进行特征提取,获取人体检测框、手部检测框、头部检测框;
步骤S2,分析人体检测框、手部检测框、头部检测框是否属于同一人体,并且计算当前人手部与头部的距离,初步筛选出不符合的图像;
步骤S3,根据人体、手部、头部位置信息计算出上半身包围框,裁剪掉冗余信息;
步骤S4,使用分类网络对最终得到的ROI进行有无吸烟的检测。
2.根据权利要求1所述的基于监控摄像头场景下的实时吸烟行为检测方法,其特征在于:
步骤S1、S2中,使用YOLOv3-Lite网络对视频图像逐帧检测,得到人体检测框、手部检测框、头部检测框;根据手部、头部的距离和预设的距离阈值来判定是否进入下一步,减小系统工作量。
3.根据权利要求2所述的基于监控摄像头场景下的实时吸烟行为检测方法,其特征在于:重新设计新的主干网络,构建轻量版本的检测网络YOLOv3-Lite;通过有监督训练,得到基于YOLOv3-Lite的目标检测网络模型。
4.根据权利要求1所述的基于监控摄像头场景下的实时吸烟行为检测方法,其特征在于:
步骤S3、S4中,根据人体几何分布关系以及已知的人体检测框、手部检测框、头部检测框联合分析,计算得到人体上半身包围框;根据对检测框的裁剪计算方式,得到最终裁剪框的左上点TL和右下点BR,裁剪出最终的ROI;在得到ROI区域后,将ROI区域使用线性变换映射到预设的图像尺寸,使用MobileNet_APN进行吸烟识别,最终得到图像中被检测人体的上半身包围框,以及是否吸烟的识别结果。
5.根据权利要求4所述的基于监控摄像头场景下的实时吸烟行为检测方法,其特征在于:分类模块参考MobileNet基本结构,针对吸烟识别类似于细粒度分类的特点,联合设计MobeileNet_APN网络,使用固定尺寸大小的图像对MobileNet_APN网络进行有监督的训练,建立吸烟行为的检测与识别模型。
CN202010789052.7A 2020-08-07 2020-08-07 一种基于计算机视觉的监控场景下的吸烟行为检测方法 Active CN112115775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010789052.7A CN112115775B (zh) 2020-08-07 2020-08-07 一种基于计算机视觉的监控场景下的吸烟行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010789052.7A CN112115775B (zh) 2020-08-07 2020-08-07 一种基于计算机视觉的监控场景下的吸烟行为检测方法

Publications (2)

Publication Number Publication Date
CN112115775A true CN112115775A (zh) 2020-12-22
CN112115775B CN112115775B (zh) 2024-06-07

Family

ID=73803746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010789052.7A Active CN112115775B (zh) 2020-08-07 2020-08-07 一种基于计算机视觉的监控场景下的吸烟行为检测方法

Country Status (1)

Country Link
CN (1) CN112115775B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528960A (zh) * 2020-12-29 2021-03-19 之江实验室 一种基于人体姿态估计和图像分类的吸烟行为检测方法
CN112699925A (zh) * 2020-12-23 2021-04-23 国网安徽省电力有限公司检修分公司 一种变电站表计图像分类方法
CN112818913A (zh) * 2021-02-24 2021-05-18 西南石油大学 一种实时吸烟打电话识别方法
CN112836643A (zh) * 2021-02-04 2021-05-25 成都国翼电子技术有限公司 一种特定场景抽烟和打电话识别方法
CN112990153A (zh) * 2021-05-11 2021-06-18 创新奇智(成都)科技有限公司 一种多目标行为识别方法、装置、存储介质以及电子设备
CN113392706A (zh) * 2021-05-13 2021-09-14 上海湃道智能科技有限公司 抽烟及使用手机行为检测装置及方法
CN115147933A (zh) * 2022-09-01 2022-10-04 深圳市爱深盈通信息技术有限公司 人体预设行为的识别方法、装置、设备终端和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960065A (zh) * 2018-06-01 2018-12-07 浙江零跑科技有限公司 一种基于视觉的驾驶行为检测方法
CN110796051A (zh) * 2019-10-19 2020-02-14 北京工业大学 基于货柜场景下的实时存取行为检测方法和系统
CN110837815A (zh) * 2019-11-15 2020-02-25 济宁学院 一种基于卷积神经网络的驾驶员状态监测方法
CN111339970A (zh) * 2020-03-02 2020-06-26 上海化学工业区公共管廊有限公司 一种适用于公共环境下的吸烟行为检测方法
CN111401310A (zh) * 2020-04-08 2020-07-10 天津中科智能识别产业技术研究院有限公司 基于人工智能的厨房卫生安全监督管理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960065A (zh) * 2018-06-01 2018-12-07 浙江零跑科技有限公司 一种基于视觉的驾驶行为检测方法
CN110796051A (zh) * 2019-10-19 2020-02-14 北京工业大学 基于货柜场景下的实时存取行为检测方法和系统
CN110837815A (zh) * 2019-11-15 2020-02-25 济宁学院 一种基于卷积神经网络的驾驶员状态监测方法
CN111339970A (zh) * 2020-03-02 2020-06-26 上海化学工业区公共管廊有限公司 一种适用于公共环境下的吸烟行为检测方法
CN111401310A (zh) * 2020-04-08 2020-07-10 天津中科智能识别产业技术研究院有限公司 基于人工智能的厨房卫生安全监督管理方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699925A (zh) * 2020-12-23 2021-04-23 国网安徽省电力有限公司检修分公司 一种变电站表计图像分类方法
CN112528960A (zh) * 2020-12-29 2021-03-19 之江实验室 一种基于人体姿态估计和图像分类的吸烟行为检测方法
CN112528960B (zh) * 2020-12-29 2023-07-14 之江实验室 一种基于人体姿态估计和图像分类的吸烟行为检测方法
CN112836643A (zh) * 2021-02-04 2021-05-25 成都国翼电子技术有限公司 一种特定场景抽烟和打电话识别方法
CN112818913A (zh) * 2021-02-24 2021-05-18 西南石油大学 一种实时吸烟打电话识别方法
CN112990153A (zh) * 2021-05-11 2021-06-18 创新奇智(成都)科技有限公司 一种多目标行为识别方法、装置、存储介质以及电子设备
CN113392706A (zh) * 2021-05-13 2021-09-14 上海湃道智能科技有限公司 抽烟及使用手机行为检测装置及方法
CN115147933A (zh) * 2022-09-01 2022-10-04 深圳市爱深盈通信息技术有限公司 人体预设行为的识别方法、装置、设备终端和存储介质

Also Published As

Publication number Publication date
CN112115775B (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
CN112115775A (zh) 一种基于计算机视觉的监控场景下的吸烟行为检测方法
CN109166094B (zh) 一种基于深度学习的绝缘子故障定位识别方法
CN108830252B (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN111814638B (zh) 基于深度学习的安防场景火焰检测方法
CN110796051B (zh) 基于货柜场景下的实时存取行为检测方法和系统
CN111401144B (zh) 一种基于视频监控的手扶电梯乘客行为识别方法
CN110263712B (zh) 一种基于区域候选的粗精行人检测方法
CN114582030B (zh) 一种基于服务机器人的行为识别方法
CN110765833A (zh) 一种基于深度学习的人群密度估计方法
CN111241975A (zh) 一种基于移动端边缘计算的人脸识别检测方法及系统
CN111723687A (zh) 基于神经网路的人体动作识别方法和装置
CN115661943A (zh) 一种基于轻量级姿态评估网络的跌倒检测方法
CN111046728A (zh) 一种基于特征金字塔网络的秸秆燃烧检测方法
CN111488805A (zh) 一种基于显著性特征提取的视频行为识别方法
CN114677754A (zh) 行为识别方法、装置、电子设备及计算机可读存储介质
CN108345835B (zh) 一种基于仿复眼感知的目标识别方法
CN115661757A (zh) 一种受电弓拉弧自动检测方法
CN114241542A (zh) 基于图像拼接的人脸识别方法
CN110414430B (zh) 一种基于多比例融合的行人重识别方法及装置
CN113343779A (zh) 环境异常检测方法、装置、计算机设备和存储介质
CN115620178A (zh) 一种用于无人机的电网异常危险行为的实时检测方法
CN112989958A (zh) 基于YOLOv4与显著性检测的安全帽佩戴识别方法
CN112686214A (zh) 一种基于Retinaface算法的人脸口罩检测系统和方法
CN117475353A (zh) 基于视频的异常烟雾识别方法及系统
CN116912670A (zh) 基于改进yolo模型的深海鱼类识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant