CN101720031A - 一种基于差分法的室内视频监控及报警方法 - Google Patents

一种基于差分法的室内视频监控及报警方法 Download PDF

Info

Publication number
CN101720031A
CN101720031A CN200910259454A CN200910259454A CN101720031A CN 101720031 A CN101720031 A CN 101720031A CN 200910259454 A CN200910259454 A CN 200910259454A CN 200910259454 A CN200910259454 A CN 200910259454A CN 101720031 A CN101720031 A CN 101720031A
Authority
CN
China
Prior art keywords
image
pixel
difference
pixel value
calculus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200910259454A
Other languages
English (en)
Inventor
赵清杰
许伟村
田晓亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN200910259454A priority Critical patent/CN101720031A/zh
Publication of CN101720031A publication Critical patent/CN101720031A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于差分法的室内视频监控及报警方法,属于安保监控技术领域。首先采集一幅正常状态下的图像作为背景图像;然后每间隔一段时间拍摄一张图像,并计算该图像与背景图像对应点像素值之差的绝对值,得到差分图像;之后,对差分图像各像素点进行扫描,若某个像素点的像素值大于0,说明此处像素值与背景图像中对应点的像素值相比发生了显著变化,若发生变化的像素点总数n≥事先设定的阈值K,说明该时刻下室内情况异常,此时进行录像,并将视频保存在监控计算机中,并向用户发出报警信息;否则不进行录像,继续进行下一时刻的图像拍摄与处理过程。本方法无需用户时刻关注屏幕,节省了计算机存储空间,能够将报警信息更快发送给用户。

Description

一种基于差分法的室内视频监控及报警方法
技术领域
本发明涉及一种室内监控及报警方法,属于安保监控技术领域。
背景技术
随着社会信息化水平和人们安全意识的提高,以及电子计算机、摄像头、监视器等电子产品价格的下降,特别是计算机互联网的普及使用,不少家庭或单位出于防盗等目的,开始装备室内监控系统,以便当家里或者重要的办公场所无人时起到安保作用。
目前基于视频的室内监控系统中,绝大多数是通过在适当位置处安装摄像头,并通过有线或无线方式与计算机相连,将拍摄到的视频图像存入计算机,可通过互联网传送到远程终端上(如监控者所在位置的计算机或者手机)。例如,中国专利200510018204.9中公布了一种基于无线局域网的家庭智能数字监控系统,中国专利03121934.9和03124212.X各公布了一种远程无线监控系统及其方法,中国专利200810041946.7公布了一种家庭智能监控系统及其监控方法。上述这些系统都采用了拍摄、存储、发送视频图像的功能。
但是,现有的这些监控系统都存在图像存储和传输量大、报警不及时的问题。因为这些系统都要求用户在工作或者忙于其他事情时,要不断地关注计算机或者手机的屏幕。而实际上用户很难一直在屏幕前收看视频信息。如果当用户离开屏幕时恰好有人非法闯入,此时就不能及时提醒用户,也就不能及时地采取相应的处理措施。另外,在日常情况下,室内环境是相对平静的,只有在少数情况下罪犯闯入的事情才可能发生,如果一直连续不停的拍摄和存储视频数据,对存储空间的需求就很高。
发明内容
本发明的目的是为了克服现有技术的缺陷,提供一种新的对存储空间要求低、报警及时的基于差分法的室内视频监控及报警方法。
在正常情况下,当室内无人时,摄像设备拍摄的图像不会有很大差别。一旦有人闯入,则这时图像会发生较大的变化。本发明就是根据这个原理,引入差分法,并依据图像像素值发生显著变化的像素点个数多少来判断危险情况是否发生。
本发明所采用的技术方案如下:
步骤一、启动监控摄像设备,先采集一幅正常状态下的图像作为背景图像,并将该图像保存在监控计算机中。采集时,应确保拍摄区域内的场景是正常场景,即没有人、动物或者临时物品等存在。
如果所采用的是彩色摄像设备,在监控计算机中要先对所拍摄的图像进行灰度化处理。因为对于彩色图像,其每个像素点的像素值包含红R、绿G、蓝B三个分量,因此需要先将彩色图像转化为灰度图。由于灰度图的像素值只含一个分量,可以方便后续计算。
所述灰度化处理方法如下:
用Ct表示在时刻t拍摄的彩色图像,并对Ct进行灰度化处理,得到灰度图像Gt。Gt中任意一个像素点的像素值Gt(i,j)满足如下公式:
Gt(i,j)=0.229R(i,j)+0.587G(i,j)+0.114B(i,j)
其中,(i,j)表示像素点的坐标,R(i,j)、G(i,j)、B(i,j)分别表示图像Ct中坐标为(i,j)的像素点的红、绿、蓝分量的值。
如果采用的是黑白摄像设备,则得到的就是灰度图,无需进行灰度化处理。
步骤二、每间隔一段时间拍摄一张图像,并将其传送至监控计算机中。其中,拍摄的时间间隔m不宜太久(如超过1分钟),但也不宜太短(如1秒钟),优选在3秒-10秒之间选取。该时间间隔能够根据用户实际需要进行调整,且不限于上述范围。同理,如果拍摄的图像是彩色图像,同样要先进行灰度化处理。
步骤三、如果t时刻下拍摄得到的是灰度图像Pt,则直接进行差分计算。如果是彩色图像,则是对灰度化处理后得到的灰度图Gt进行差分计算。
具体计算差分图像It的方法是:计算Pt或Gt和背景图像b0对应像素点的像素值之差的绝对值,即:
It(i,j)=|Pt(i,j)-b0(i,j)|
It(i,j)=|Gt(i,j)-b0(i,j)|
其中,b0表示背景图像,b0(i,j)表示背景图像在(i,j)处的像素值。
步骤四、对差分图像It进行二值化处理。二值化处理是一种将图像中有效点分离出来的方法,二值化处理后的差分图像将变成只有黑白两色的黑白图。具体步骤为:
逐行扫描差分图像It中的像素点。若像素点的像素值It(i,j)≥Ψ,则将该点的像素值重新赋值为255,否则,将其赋值为0。其中,Ψ为正整数,是一个阈值,取值范围为0<Ψ<255。重复此过程,直到差分图像It中所有像素点均被重新赋值,得到二值化处理后的差分图像Jt
步骤五、对二值化处理后得到的差分图像Jt从上到下、从左到右进行扫描,如果其中某个像素点的像素值大于0,则说明此处像素值与背景图像中对应点处的像素值相比发生了显著变化。
Jt中像素值大于0的像素点(也称有效点)的个数n的计算方法如下:
n = Σ 1 ≤ i ≤ w 1 ≤ j ≤ h [ J t ( i , j ) / 255 ]
其中,Jt(i,j)表示Jt在(i,j)处的像素值,w和h分别表示Jt的宽度和高度。
如果n≥阈值K,则说明情况异常,此时开始录像,将视频保存在监控计算机中,并向用户发出报警信息(例如同时通过手机短信报警和Email电子邮件报警);如果n<阈值K,则不进行录像并删除此时刻下拍摄的图像,继续进行下一时刻的图像拍摄与处理过程。
为避免警情误报(例如宠物跑动等),所述阈值K的选取要根据实际视频图像的大小确定,不能太小。优选的,K≥100。
虽然本发明是针对室内监控提出的,但也可将其应用于其它需要监控报警的场合。
有益效果
本发明方法对比现有技术,以差分法图像计算为基础决定危险是否存在,无需用户时刻关注显示屏幕,这比单纯传输图像、靠用户判断更加人性化。同时,只有当危险情况出现时才启动报警程序,既节省了计算机的存储空间,又能够将报警信息更快地发送给用户。
附图说明
图1为本发明具体实施方式的流程图。
具体实施方式
下面结合附图和实施例对本发明的具体实施方式作详细说明。
实施例
一种基于差分法的室内视频监控及报警方法,其流程如图1所示,具体如下:
步骤一、启动监控摄像设备,先采集一幅正常状态下的图像作为背景图像,并将该图像保存在监控计算机中。采集时,要确保拍摄区域内的场景是正常场景,即没有人、动物或者临时物品存在。
本实施例中,采集的图像大小为320×240。
本实施例采用的是彩色摄像设备,因此,在监控计算机中要对所拍摄的图像进行灰度化处理。因为对于彩色图像,其每个像素点的像素值包含红R、绿G、蓝B三个分量,因此需要先将彩色图像转化为灰度图。灰度图的像素值只含一个分量,可以方便后续计算。所述灰度化处理方法如下:
用Ct表示在时刻t拍摄的彩色图像,对Ct进行灰度化处理,得到灰度图像Gt。Gt中任意一个像素点的像素值Gt(i,j)满足如下公式:
Gt(i,j)=0.229R(i,j)+0.587G(i,j)+0.114B(i,j)
其中,(i,j)表示像素点的坐标,R(i,j)、G(i,j)、B(i,j)分别表示图像Ct中坐标为(i,j)的像素点的红、绿、蓝分量的值。
步骤二、每间隔一段时间拍摄一张图像,并将其传送至监控计算机中。其中,拍摄的时间间隔m不宜太久(如超过1分钟),但也不宜太短(如1秒钟),优选在3秒-10秒之间选取。该时间间隔可根据用户实际需要进行调整,且不限于上述范围。因为拍摄的图像是彩色图像,要先对获得的图像进行灰度化处理。本实施例中,时间间隔m选用5秒钟。经检验,5秒钟是最佳的时间间隔。
步骤三、对t时刻下拍摄并经灰度化处理后得到的灰度图Gt进行差分计算。具体计算差分图像It的方法是:计算Gt和背景图像b0对应像素点的像素值之差的绝对值,即:
It(i,j)=|Gt(i,j)-b0(i,j)|
其中,b0表示背景图像,b0(i,j)表示背景图像在(i,j)处的像素值。
步骤四、对差分图像It进行二值化处理。具体步骤为:
逐行扫描差分图像It中的像素点。若像素点的像素值It(i,j)≥Ψ,则将该点的像素值重新赋值为255,否则,将其赋值为0。其中,Ψ为正整数,是一个阈值,取值范围为0<Ψ<255。重复此过程,直到差分图像It中所有像素点均被重新赋值,得到二值化处理后的差分图像Jt。本实施例中,Ψ值选为128。
步骤五、对二值化处理后得到的差分图像Jt从上到下、从左到右进行扫描,如果其中某个像素点的像素值大于0,则说明此处像素值与背景图像上对应点处的像素值相比发生了显著变化。Jt中像素值大于0的像素点(也称有效点)的个数n的计算方法如下:
n = Σ 1 ≤ i ≤ w 1 ≤ j ≤ h [ J t ( i , j ) / 255 ]
其中,Jt(i,j)表示Jt在(i,j)处的像素值,w和h分别表示Jt的宽度和高度。本实施例中,w=320,h=240。
如果n≥阈值K,则说明情况异常,此时开始录像,将视频保存在监控计算机中,并通过手机短信和Email电子邮件向用户发出报警;如果n<阈值K,则不进行录像并删除此时刻下拍摄的图像,继续进行下一时刻的图像拍摄与处理过程。
为避免警情误报(例如宠物跑动等),所述阈值K的选取要根据实际视频图像的大小确定,不能太小。优选的,K≥100。本实施例中,K的值选为200。

Claims (9)

1.一种基于差分法的室内视频监控及报警方法,其特征在于,首先采集一幅正常状态下的图像作为背景图像;然后每间隔一段时间拍摄一张图像,并计算该图像与背景图像对应点像素值之差的绝对值,得到差分图像;之后,对差分图像进行二值化处理,即,对各像素点进行扫描,如果其中某个像素点的像素值大于0,则说明此处像素值与背景图像中对应点的像素值相比发生了显著变化,如果发生显著变化的像素点总数n≥事先设定的阈值K,则说明该时刻下室内情况异常,此时进行录像,将视频保存在监控计算机中,并向用户发出报警信息;如果n<阈值K,则不进行录像,继续进行下一时刻的图像拍摄与处理过程。
2.如权利要求1所述的一种基于差分法的室内视频监控及报警方法,其特征在于,当采集的背景图像以及各时刻下的监控图像是彩色图像时,先对其进行灰度化处理。
3.如权利要求2所述的一种基于差分法的室内视频监控及报警方法,其特征在于,所述灰度化处理的过程如下:
用Ct表示在时刻t拍摄的彩色图像,对Ct进行灰度化处理,得到灰度图像Gt;Gt中任意一个像素点的像素值Gt(i,j)满足如下公式:
Gt(i,j)=0.229R(i,j)+0.587G(i,j)+0.114B(i,j)
其中,(i,j)表示像素点的坐标,R(i,j)、G(i,j)、B(i,j)分别表示图像Ct中坐标为(i,j)的像素点的红、绿、蓝分量的值。
4.如权利要求1所述的一种基于差分法的室内视频监控及报警方法,其特征在于,所述拍摄图像的时间间隔m在3秒-10秒之间选取。
5.如权利要求1所述的一种基于差分法的室内视频监控及报警方法,其特征在于,所述拍摄图像的时间间隔能够根据用户实际需要进行调整。
6.如权利要求1所述的一种基于差分法的室内视频监控及报警方法,其特征在于,所述差分计算过程为:
如果t时刻下拍摄得到的是灰度图像Pt,则直接进行差分计算;如果是彩色图像,则是对灰度化处理后得到的灰度图Gt进行差分计算;
具体计算差分图像It的方法是:计算Pt或Gt和背景图像b0对应像素点的像素值之差的绝对值,即:
It(i,j)=|Pt(i,j)-b0(i,j)|
It(i,j)=|Gt(i,j)-b0(i,j)|
其中,b0表示背景图像,b0(i,j)表示背景图像在(i,j)处的像素值。
7.如权利要求1所述的一种基于差分法的室内视频监控及报警方法,其特征在于,对差分图像It进行二值化处理的方法为:
逐行扫描差分图像It中的像素点;若像素点的像素值It(i,j)≥Ψ,则将该点的像素值重新赋值为255,否则,将其赋值为0;其中,Ψ为正整数,是一个阈值,取值范围为0<Ψ<255;重复此过程,直到差分图像It中所有像素点均被重新赋值,得到二值化处理后的差分图像Jt
8.如权利要求1所述的一种基于差分法的室内视频监控及报警方法,其特征在于,获取发生显著变化的像素点总数n的方法为:
n = Σ 1 ≤ i ≤ w 1 ≤ j ≤ h [ J t ( i , j ) / 255 ]
其中,Jt(i,j)表示Jt在(i,j)处的像素值,w和h分别表示Jt的宽度和高度。
9.如权利要求1所述的一种基于差分法的室内视频监控及报警方法,其特征在于,所述阈值K≥100。
CN200910259454A 2009-12-22 2009-12-22 一种基于差分法的室内视频监控及报警方法 Pending CN101720031A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200910259454A CN101720031A (zh) 2009-12-22 2009-12-22 一种基于差分法的室内视频监控及报警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200910259454A CN101720031A (zh) 2009-12-22 2009-12-22 一种基于差分法的室内视频监控及报警方法

Publications (1)

Publication Number Publication Date
CN101720031A true CN101720031A (zh) 2010-06-02

Family

ID=42434534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910259454A Pending CN101720031A (zh) 2009-12-22 2009-12-22 一种基于差分法的室内视频监控及报警方法

Country Status (1)

Country Link
CN (1) CN101720031A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740107A (zh) * 2011-04-11 2012-10-17 鸿富锦精密工业(深圳)有限公司 影像监控设备的破坏侦测系统及方法
CN103336951A (zh) * 2013-06-28 2013-10-02 深圳市智美达科技有限公司 视频监控目标检测方法和装置
CN103997630A (zh) * 2014-06-13 2014-08-20 中国移动通信集团广东有限公司 基于td-lte网络的主次码流智能切换方法及系统
CN104159076A (zh) * 2014-08-01 2014-11-19 北京奇虎科技有限公司 摄像装置、视频监控系统以及视频监控方法
TWI466068B (zh) * 2011-03-10 2014-12-21 Hon Hai Prec Ind Co Ltd 監控影像偵測系統及方法
CN104320609A (zh) * 2014-09-22 2015-01-28 南开大学 一种基于光学相关的低存储监控方法
CN104702914A (zh) * 2015-01-14 2015-06-10 汉柏科技有限公司 一种监控视频的数据处理方法及系统
CN105957285A (zh) * 2016-07-07 2016-09-21 中国地质大学(武汉) 一种图像监控报警方法
CN106781167A (zh) * 2016-12-29 2017-05-31 深圳新基点智能股份有限公司 监测物体运动状态的方法及设备
CN107544265A (zh) * 2016-06-27 2018-01-05 石飞 无线智能家居系统
CN107613236A (zh) * 2017-09-28 2018-01-19 努比亚技术有限公司 一种音像录制方法及终端、存储介质
CN107993388A (zh) * 2017-12-26 2018-05-04 长春理工大学 一种智能安防装置、方法及系统
CN108881855A (zh) * 2018-08-02 2018-11-23 泸州能源投资有限公司 基于4g网络/ec20充电堆的网覆盖通信系统及方法
CN109461276A (zh) * 2014-04-25 2019-03-12 北京奇虎科技有限公司 智能终端设备防盗方法及智能终端设备
CN109887211A (zh) * 2019-03-01 2019-06-14 深圳市安尼数字技术有限公司 人体侦测方法
CN110197118A (zh) * 2019-04-19 2019-09-03 北京戴纳实验科技有限公司 一种用于实验室工程建设的进度监控系统
CN111355931A (zh) * 2020-03-30 2020-06-30 珠海格力电器股份有限公司 生产线状态监测方法、装置、服务器及存储介质
CN112419371A (zh) * 2019-08-20 2021-02-26 中移物联网有限公司 一种信件检测方法及系统
CN112449147A (zh) * 2019-08-29 2021-03-05 北京天诚同创电气有限公司 光伏电站视频集群监控系统及其图像处理方法
CN112802128A (zh) * 2021-04-08 2021-05-14 中国空气动力研究与发展中心低速空气动力研究所 一种风洞滑雪试验中运动员迎风投影面积测量方法
CN113382233A (zh) * 2021-06-10 2021-09-10 展讯通信(上海)有限公司 检测终端视频录制异常的方法、系统、介质及终端

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI466068B (zh) * 2011-03-10 2014-12-21 Hon Hai Prec Ind Co Ltd 監控影像偵測系統及方法
CN102740107A (zh) * 2011-04-11 2012-10-17 鸿富锦精密工业(深圳)有限公司 影像监控设备的破坏侦测系统及方法
CN103336951A (zh) * 2013-06-28 2013-10-02 深圳市智美达科技有限公司 视频监控目标检测方法和装置
CN103336951B (zh) * 2013-06-28 2016-09-21 深圳市智美达科技股份有限公司 视频监控目标检测方法和装置
CN109461276A (zh) * 2014-04-25 2019-03-12 北京奇虎科技有限公司 智能终端设备防盗方法及智能终端设备
CN103997630A (zh) * 2014-06-13 2014-08-20 中国移动通信集团广东有限公司 基于td-lte网络的主次码流智能切换方法及系统
CN103997630B (zh) * 2014-06-13 2018-11-27 中国移动通信集团广东有限公司 基于td-lte网络的主次码流智能切换方法及系统
CN104159076A (zh) * 2014-08-01 2014-11-19 北京奇虎科技有限公司 摄像装置、视频监控系统以及视频监控方法
CN104320609A (zh) * 2014-09-22 2015-01-28 南开大学 一种基于光学相关的低存储监控方法
CN104702914A (zh) * 2015-01-14 2015-06-10 汉柏科技有限公司 一种监控视频的数据处理方法及系统
CN107544265A (zh) * 2016-06-27 2018-01-05 石飞 无线智能家居系统
CN105957285A (zh) * 2016-07-07 2016-09-21 中国地质大学(武汉) 一种图像监控报警方法
CN106781167A (zh) * 2016-12-29 2017-05-31 深圳新基点智能股份有限公司 监测物体运动状态的方法及设备
CN107613236A (zh) * 2017-09-28 2018-01-19 努比亚技术有限公司 一种音像录制方法及终端、存储介质
CN107993388A (zh) * 2017-12-26 2018-05-04 长春理工大学 一种智能安防装置、方法及系统
CN108881855A (zh) * 2018-08-02 2018-11-23 泸州能源投资有限公司 基于4g网络/ec20充电堆的网覆盖通信系统及方法
CN109887211A (zh) * 2019-03-01 2019-06-14 深圳市安尼数字技术有限公司 人体侦测方法
CN110197118A (zh) * 2019-04-19 2019-09-03 北京戴纳实验科技有限公司 一种用于实验室工程建设的进度监控系统
CN110197118B (zh) * 2019-04-19 2020-04-14 北京戴纳实验科技有限公司 一种用于实验室工程建设的进度监控系统
CN112419371A (zh) * 2019-08-20 2021-02-26 中移物联网有限公司 一种信件检测方法及系统
CN112449147A (zh) * 2019-08-29 2021-03-05 北京天诚同创电气有限公司 光伏电站视频集群监控系统及其图像处理方法
CN112449147B (zh) * 2019-08-29 2023-03-24 北京天诚同创电气有限公司 光伏电站视频集群监控系统及其图像处理方法
CN111355931A (zh) * 2020-03-30 2020-06-30 珠海格力电器股份有限公司 生产线状态监测方法、装置、服务器及存储介质
CN112802128A (zh) * 2021-04-08 2021-05-14 中国空气动力研究与发展中心低速空气动力研究所 一种风洞滑雪试验中运动员迎风投影面积测量方法
CN113382233A (zh) * 2021-06-10 2021-09-10 展讯通信(上海)有限公司 检测终端视频录制异常的方法、系统、介质及终端

Similar Documents

Publication Publication Date Title
CN101720031A (zh) 一种基于差分法的室内视频监控及报警方法
US20170032192A1 (en) Computer-vision based security system using a depth camera
CN106791655B (zh) 一种视频处理方法及装置
CN107036672B (zh) 一种水位监测方法和装置
KR20080043179A (ko) 영상 감시 장치를 포함한 휴대 단말기 및 이를 이용한 영상감시 방법, 및 영상 감시 시스템
TWI426782B (zh) 手持裝置及利用其動態監控特定區域的方法
CN111080968A (zh) 一种独居老人意外发生联动控制预警方法及系统
JP2003240613A (ja) 遠隔監視装置
CN105957285A (zh) 一种图像监控报警方法
US11120676B2 (en) Intrusion detection methods and devices
CN111178241A (zh) 一种基于视频分析的智能监控系统及方法
JP2009540460A (ja) 中央ステーションにおける警報モニターのためのビデオによる確認システム及びその方法
CN117612060A (zh) 基于人工智能检测的视频预警系统、方法、设备及介质
CN205594407U (zh) 一种水位远程无线监测摄像系统
CN117173613A (zh) 一种工程建设项目全过程信息化智能管理系统及方法
CN102142179A (zh) 基于视觉的智能安防系统
JPH0955932A (ja) 異常監視装置の異常検出方法
EP2541356B1 (en) Processing monitoring data in a monitoring system
JP2012124659A (ja) 監視システムおよび監視方法
KR20190028016A (ko) 댁내를 모니터링하는 장치, 방법 및 컴퓨터 프로그램
WO2022009356A1 (ja) 監視システム
CN109284730B (zh) 应用于筛选数据的方法、装置以及监控系统
CN112506104A (zh) 一种湿地资源与生态环境监管方法及系统
TWI807354B (zh) 基於人工智能及影像辨識的火災偵測系統及火災偵測方法
TWI614698B (zh) 四足動物發情偵測方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20100602