CN102930270A - 基于肤色检测与背景消除的手部识别方法及系统 - Google Patents

基于肤色检测与背景消除的手部识别方法及系统 Download PDF

Info

Publication number
CN102930270A
CN102930270A CN2012103535343A CN201210353534A CN102930270A CN 102930270 A CN102930270 A CN 102930270A CN 2012103535343 A CN2012103535343 A CN 2012103535343A CN 201210353534 A CN201210353534 A CN 201210353534A CN 102930270 A CN102930270 A CN 102930270A
Authority
CN
China
Prior art keywords
gesture
algorithm
background
detection
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012103535343A
Other languages
English (en)
Inventor
邓代国
罗笑南
孟思明
薛凯军
罗微晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Institute of Dongguan of Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Institute of Dongguan of Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University, Institute of Dongguan of Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN2012103535343A priority Critical patent/CN102930270A/zh
Publication of CN102930270A publication Critical patent/CN102930270A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了基于肤色检测与背景消除的手部识别系统。手部识别系统被分为三部分,分别是视频输入,手势分析以及手势识别。大多数情况下,手势分析可以分为检测、跟踪,特征提取这三个阶段。首先需要选择适合研究内容的手势模型来确定需要提取的特征数据,然后通过检测算法将手势从输入图像中检测出来,并运用跟踪算法对手部运动进行实时追踪,最后提取被分离出图像的相关特征数据。此外,本发明还公开了一种基于肤色检测与背景消除的手部识别方法。通过该发明的合成手语不仅有助于聋人使用各种信息,而且可以帮助聋人参加各项社会活动,具有十分重要的应用价值和社会意义。

Description

基于肤色检测与背景消除的手部识别方法及系统
技术领域
本发明涉及动作识别技术领域,尤其涉及基于肤色检测与背景消除的手部识别方法及系统。
背景技术
研究出一种可以用于电视、手机上的支持多种语言的手语合成系统。系统可以把电视和手机中以声音和文字形式承载的语言信息转换成手语信息,并通过数字化的虚拟人表示出来。该技术可以让成千上万的聋哑人和正常人一样看电视,使用手机,享受现代化数字技术为人类带来的便捷。手语合成系统是智能人机接口的一个重要研究课题。合成手语不仅有助于聋人使用各种信息,而且可以帮助聋人参加各项社会活动(如观看电视),具有十分重要的应用价值和社会意义。
国内主要研究者有:中科院计算所的高文教授、王兆其教授等研制的“中国手语合成系统”,该系统采用先进的传感器设备,包括6DOF传感器和数据手套,建立中国手语词库,然后应用合成技术,对于给定文本句子,可由健听人话语转换而成,自动合成相应的人体运动数据。最后应用计算机人体动画技术,将这些运动数据应用于虚拟人,由虚拟人完成合成的手语的运动。其他研究者有哈尔滨工业大学宋益波,姚鸿勋等和北京工业大学尹宝才教授。
目前和本发明相关的现有技术有以下几种:
基于ROI分割和相干映射的裸手字母手势识别,该算法结合改进的差分法提出了实用的手部约束条件,从每帧图像中提取手部图像,确定感兴趣区域(ROI,region of interesting),得到较为满意的手部分割结果,再对手部图像特征进行深入分析和提取,利用改进的相干映射算法(VCM,vector coherence mapping)进行跟踪,针对手的运动增加了约束,保证了顽健性。在这个基础上,提出了时间相关的运动预测模型,满足了实时性的要求,保证前后分析结果的一致性。实验结果证明,在不同光照和复杂背景下系统有最高达99%的识别率,与已有的系统相比,性能显著提高。
一种基于最大似然Hausdorff距离的手势识别算法针对字母手势的检测和跟踪问题,文章提出一种基于最大似然准则Hausdorff距离的手势识别算法。该算法首先对字母手势图像进行二值化处理,并由字母手势图像的边缘信息中提取字母手势的关键点指根和指尖;然后采用基于最大似然准则的Hausdorff距离对手势进行识别,搜索策略采用类似于Rucklidge提出的多分辨率搜索方法,在不影响成功率和目标定位精度的情况下,可以显著地缩短搜索时间。实验结果表明此方法可以较好地识别字母手势,同时对部分变形(旋转和缩放)手势也有良好的效果。
一种肤色干扰下的变形手势跟踪方法根据跟踪过程中所用到的基本手势特征,提出了一种基于PGH(成对几何直方图)的静态手势识别方法。为了解决跟踪过程中的肤色干扰问题,实现了基于Kalman滤波器的手势预测跟踪。为了解决跟踪过程中的初始化问题,提出了一种基于层次结构的跟踪初始化解决方案。
基于历史的动态手势识别基于表观建模的方法是当前手势识别的主流,我们采用基于历史的手势表示方法,用皮肤历史图像建立手势表观模型,然后用原型模板匹配的方法进行手势识别,并使用切线距离来进行测试样本与模板之间的相似性度量,以消除视觉敏感问题。实验结果表明,该方法显著地提高了识别准确率。
发明内容
本发明的目的是为了克服现有技术的缺陷,提供一种基于肤色检测与背景消除的手部识别方法及系统。通过肤色检测与背景消除来处理拍摄下来的手势,使用几何矩及指尖相关信息作为特征数据进行选取,然后运用Boosting与Random forest分类器进行识别。
肤色检测采用反向投影的方法进行的,采用codebook背景消除模型进行背景消除。
在特征提取中采用Hu矩作为特征值,通过形态学操作、图像差分及模块匹配来实现指尖特征提取。
一种基于肤色检测与背景消除的手部识别系统,包括视频输入,手势分析以及手势识别,手势分析可以分为检测、跟踪,特征提取这三个阶段;首先需要选择适合研究内容的手势模型来确定需要提取的特征数据,然后通过检测算法将手势从输入图像中检测出来,并运用跟踪算法对手部运动进行实时追踪,最后提取被分离出图像的相关特征数据。
静态手势识别中识别过程则主要依靠机器学习算法,通过对分析过程中提取的数据集进行学习,建立适合该数据特征的判断规则,然后根据这些判断规则对得到的未知数据集进行预测分类,并在输出时结合相应语法规则来形成对手势的描述。
跟踪采用基于Mean-shift开发的camshift算法作为手部跟踪算法,并对camshift的结果进行了改进,选用Hu矩作为特征值,通过形态学操作,图像差分,模板匹配进行指尖特征提取。
本发明技术方案带来的有益效果:手语合成系统是智能人机接口的一个重要研究课题。合成手语不仅有助于聋人使用各种信息,而且可以帮助聋人参加各项社会活动(如观看电视),具有十分重要的应用价值和社会意义。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明中手部识别系统的示意图;
图2是本发明手势软件交互平台示意图;
图3是本发明指尖提取过程示意图;
图4是本发明中反向投影的实验效果图;
图5是本发明中Codebook背景消除法得到的效果图;
图6是本发明中基于肤色与背景消除的双特征检测效果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明回顾了当前基于视觉手势识别的相关技术与理论,着眼于手势识别人机交互应用,设计并开发了手势识别软件模块,提出了基于肤色检测与背景消除算法的双特征手部检测算法,处理拍摄下来的手势的方法,使用几何矩及指尖相关信息作为特征数据,分别运用Boosting与Random forest分类器进行识别,并对比了这两种算法对于相关特征数据的适应性与识别准确率。同时基于手势识别软件模块设计并开发了手势软件交互平台,利用该平台能够实现手势对视频播放软件及电子书阅读软件等相关常用软件的控制。
如图1所示,本发明中,手部识别系统被分为三部分,分别是视频输入,手势分析以及手势识别。大多数情况下,手势分析可以分为检测、跟踪,特征提取这三个阶段。首先需要选择适合研究内容的手势模型来确定需要提取的特征数据,然后通过检测算法将手势从输入图像中检测出来,并运用跟踪算法对手部运动进行实时追踪,最后提取被分离出图像的相关特征数据。静态手势识别中识别过程则主要依靠机器学习算法。通过对分析过程中提取的数据集进行学习,建立适合该数据特征的判断规则,然后根据这些判断规则对得到的未知数据集进行预测分类,并在输出时结合相应语法规则来形成对手势的描述。
本发明中对手部模型的研究围绕三维模型以及基于表观模型这两类模型来展开。三维手部模型主要是根据手部关节约束、肌肉韧带运动功能等特点进行模型构造。三维手势模型可以分成两个类型:骨骼模型和体模型。
骨骼模型:直接利用手指角度运动约束以及掌指长度关系的模型。
体模型:简单的讲,就是通过分析手部三维模型和真实图像的区别,改变三维模型参数来使得模型与真实图像呈现相同的外观显示。被用来描述真实的人手三维表观。
表观模型:即基于真实图片的手部模型。这意味着模型的参数不是直接来自于手的三维空间描述,而是通过利用各种手势的表观特征作为预定义序列来建立模型。
肤色检测:目的在于消除不相关元素,快速地选取到手部方位。运用到得有选择颜色空间和背景消除技术等。
手型检测:手部的形状特性被用来进行手部检测。其大多数信息都是通过提取图片中手部的轮廓来获得的。运用到了边界检测算法,傅立叶描述子等相关技术。
手部跟踪:通过运用检测得到的信息实时的获得手部在图片中的位置。基于手部跟踪的研究理论比较多,包括模板匹配、Mean-shift算法、粒子滤波、运动模板等。本发明主要介绍了模板跟踪理论和Mean-shift算法。
模板跟踪理论:是按照相关策略根据已知模块在搜索图像中寻找逼近模块的匹配过程。
Mean-shift算法:是一种稳定的在相关数据的密度分布里寻找局部峰值的方法。
该发明结合单目视觉识别技术的特点,识别模块将主要分为检测与跟踪、手势模型、特征提取、识别四部分。
检测与跟踪
1、检测
研究运用一种基于肤色与轮廓的双特征检测方法。经实验,该方法能够在负载背景下达到比较好的检测效果。
反向投影:反向投影是肤色检测中较为常用的方法,它能够记录像素点在直方图模型中的分布情况。
不断地改进过程:
A.要获得色度直方图就需要对手部信息进行预采样,预采样可以通过内置肤色直方图以及操作前采样两种方式来进行。该文中模块选择操作前采样这种方式。
B、对于肤色反向投影的这种情况,模块采用背景减除法来获取图像轮廓作为手部检测的第二特征值。采取一种更加高级的背景模型,称为codebook背景消除模型。
C、借助于之前肤色直方图反向投影的结果,将两个操作得到的图像结果进行与运算,可以返回一个比较好的手部检测结果。同时也能够获得了一个较好的手部二值图像来进行特征提取。
反向投射的实验结果如图4所示,Codebook背景消除法得到的效果如图5所示,基于肤色与背景消除的双特征检测效果如图6所示。
基于肤色检测与背景消除算法的手部检测方法,该方法存在的问题,就是当建立完背景模型,手进入摄像头画面时,如果其亮度值与原先整个画面的亮度值有较大差异且占有比较大的画面空间,就会使摄像头所摄画面重新调整曝光,引起整个画面的亮度值变化,从而给检测和分割结果带入较大杂音。解决方法是通过控制用户与摄像头的距离范围。
2、跟踪
采用基于Mean-shift开发的camshift算法作为手部跟踪算法,并对camshift的结果进行了改进。
特征提取
选用Hu矩作为特征值。Hu矩是归一化中心矩的线性组合。它对于轮廓的缩放、旋转和镜像映射具有不变性,较为适合作为手部的轮廓的特征值。
指尖提取
在已经获得手部二值图像的情况下主要可以分为三个步骤:形态学操作,图像差分,模板匹配。如图3所示,为指尖提取过程示意图。
识别算法与实现
该发明中模块实现了两种当前性能比较好的基于机器学习的识别算法Boosting和Random forest。Random forest和Boosting算法的实现分别基于OpenCV的ML库中的CvRTrees以及CvBoost两个类
数据集的建立
研究选用生活中常用代表数字的十个手势以及从美国手语字母中抽取的10个字母共二十个手势作为识别对象。通过将采集到的特征储存到一维数组中,再通过函数writedata将数据集写入文本,然后再由人工加上每条数据的标签。
实验结果
实验识别率比较低,原因在于提取的特征值并不能够很好的反映手势之间的差异。应该可以从手指尖的关系以及手型占搜索框的比例等方面添加特征值来改善识别成功率。
手势软件
如图2所示,手势软件交互平台通过将手势转换成键盘与鼠标的输入命令能够实现对常用软件的控制,比如电子书阅读软件、视频播放软件。手势识别系统平台的核心算法取自上一章实现的手势识别软件模块,采用Random forest学习算法进行数据集的分析与预测。为了加强平台系统的实用性并且节约开发成本,将采用MFC替代C作为平台系统的开发环境,相关移植是容易实现的。需要注意的是OpenCV所使用的图像格式Ipllmage并不为MFC所支持,因此我们需要实现Ipllmage与MFC支持的BitMap文件间的互相转换,才能在MFC环境中使用OpenCV函数库。
系统的建立包括界面设计,软件操作分析,手势识别库的设计,特征设计等。
在特征设计中,为了提高本平台系统应用中的识别率,在指尖数和几何矩作为特征的基础上,针对本交互平台所使用的手势特点还增加了相关特征值。
该文中,利用手势识别软件模块开发了手势软件交互平台系统,能够完成手势与相关常用软件的交互,真正实现了手势识别技术的实际应用,并对8个手势命令具有较高的识别率。
本发明技术方案带来的有益效果:
手语合成系统是智能人机接口的一个重要研究课题。合成手语不仅有助于聋人使用各种信息,而且可以帮助聋人参加各项社会活动(如观看电视),具有十分重要的应用价值和社会意义。
以上对本发明实施例所提供的一种基于肤色检测与背景消除的手部识别方法及系统,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于肤色检测与背景消除的手部识别方法,其特征在于,通过肤色检测与背景消除来处理拍摄下来的手势,使用几何矩及指尖相关信息作为特征数据进行选取,然后运用Boosting与Random forest分类器进行识别。
2.如权利要求1所述的方法,其特征在于,肤色检测采用反向投影的方法进行的,采用codebook背景消除模型进行背景消除。
3.如权利要求1所述的方法,其特征在于,在特征提取中采用Hu矩作为特征值,通过形态学操作、图像差分及模块匹配来实现指尖特征提取。
4.一种基于肤色检测与背景消除的手部识别系统,其特征在于,包括视频输入,手势分析以及手势识别,手势分析可以分为检测、跟踪,特征提取这三个阶段;首先需要选择适合研究内容的手势模型来确定需要提取的特征数据,然后通过检测算法将手势从输入图像中检测出来,并运用跟踪算法对手部运动进行实时追踪,最后提取被分离出图像的相关特征数据。
5.如权利要求4所述的系统,其特征在于,静态手势识别中识别过程则主要依靠机器学习算法,通过对分析过程中提取的数据集进行学习,建立适合该数据特征的判断规则,然后根据这些判断规则对得到的未知数据集进行预测分类,并在输出时结合相应语法规则来形成对手势的描述。
6.如权利要求4所述的系统,其特征在于,跟踪采用基于Mean-shift开发的camshift算法作为手部跟踪算法,并对camshift的结果进行了改进,选用Hu矩作为特征值,通过形态学操作,图像差分,模板匹配进行指尖特征提取。
CN2012103535343A 2012-09-19 2012-09-19 基于肤色检测与背景消除的手部识别方法及系统 Pending CN102930270A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012103535343A CN102930270A (zh) 2012-09-19 2012-09-19 基于肤色检测与背景消除的手部识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012103535343A CN102930270A (zh) 2012-09-19 2012-09-19 基于肤色检测与背景消除的手部识别方法及系统

Publications (1)

Publication Number Publication Date
CN102930270A true CN102930270A (zh) 2013-02-13

Family

ID=47645067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012103535343A Pending CN102930270A (zh) 2012-09-19 2012-09-19 基于肤色检测与背景消除的手部识别方法及系统

Country Status (1)

Country Link
CN (1) CN102930270A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176603A (zh) * 2013-03-08 2013-06-26 广东工业大学 计算机手势输入系统
CN105354551A (zh) * 2015-11-03 2016-02-24 北京英梅吉科技有限公司 基于单目摄像头的手势识别方法
CN108509025A (zh) * 2018-01-26 2018-09-07 吉林大学 一种基于肢体动作识别的起重机智能吊装系统
CN108629312A (zh) * 2018-05-04 2018-10-09 兰州理工大学 一种动态手势跟踪方法及系统
CN109376730A (zh) * 2018-12-29 2019-02-22 龙岩学院 一种手势识别方法和装置
CN110347266A (zh) * 2019-07-23 2019-10-18 哈尔滨拓博科技有限公司 一种基于机器视觉的空间手势控制装置
CN111142664A (zh) * 2019-12-27 2020-05-12 恒信东方文化股份有限公司 一种多人实时手部追踪系统及追踪方法
CN111158457A (zh) * 2019-12-31 2020-05-15 苏州莱孚斯特电子科技有限公司 一种基于手势识别的车载hud人机交互系统
CN113063754A (zh) * 2021-04-21 2021-07-02 中国热带农业科学院橡胶研究所 一种基于加权环境变量聚类的叶片磷含量检测方法
CN114097008A (zh) * 2019-11-14 2022-02-25 腾讯美国有限责任公司 用于统一的帕金森病评定量表中定义的手部活动的自动识别的系统和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100271297A1 (en) * 2009-04-27 2010-10-28 Shoei-Lai Chen Non-contact touchpad apparatus and method for operating the same
CN102081918A (zh) * 2010-09-28 2011-06-01 北京大学深圳研究生院 一种视频图像显示控制方法及视频图像显示器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100271297A1 (en) * 2009-04-27 2010-10-28 Shoei-Lai Chen Non-contact touchpad apparatus and method for operating the same
CN102081918A (zh) * 2010-09-28 2011-06-01 北京大学深圳研究生院 一种视频图像显示控制方法及视频图像显示器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小金子陈: "文献综述之孙斌毕业论文", 《百度文库HTTP://WENKU.BAIDU.COM/VIEW/4F248883E53A580216FCFE39.HTML》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176603A (zh) * 2013-03-08 2013-06-26 广东工业大学 计算机手势输入系统
CN105354551A (zh) * 2015-11-03 2016-02-24 北京英梅吉科技有限公司 基于单目摄像头的手势识别方法
CN105354551B (zh) * 2015-11-03 2019-07-16 北京英梅吉科技有限公司 基于单目摄像头的手势识别方法
CN108509025A (zh) * 2018-01-26 2018-09-07 吉林大学 一种基于肢体动作识别的起重机智能吊装系统
CN108629312A (zh) * 2018-05-04 2018-10-09 兰州理工大学 一种动态手势跟踪方法及系统
CN109376730B (zh) * 2018-12-29 2021-07-16 龙岩学院 一种手势识别方法和装置
CN109376730A (zh) * 2018-12-29 2019-02-22 龙岩学院 一种手势识别方法和装置
CN110347266A (zh) * 2019-07-23 2019-10-18 哈尔滨拓博科技有限公司 一种基于机器视觉的空间手势控制装置
CN114097008A (zh) * 2019-11-14 2022-02-25 腾讯美国有限责任公司 用于统一的帕金森病评定量表中定义的手部活动的自动识别的系统和方法
CN114097008B (zh) * 2019-11-14 2024-05-07 腾讯美国有限责任公司 识别运动障碍的方法、装置及可读介质
CN111142664A (zh) * 2019-12-27 2020-05-12 恒信东方文化股份有限公司 一种多人实时手部追踪系统及追踪方法
CN111142664B (zh) * 2019-12-27 2023-09-01 恒信东方文化股份有限公司 一种多人实时手部追踪系统及追踪方法
CN111158457A (zh) * 2019-12-31 2020-05-15 苏州莱孚斯特电子科技有限公司 一种基于手势识别的车载hud人机交互系统
CN113063754A (zh) * 2021-04-21 2021-07-02 中国热带农业科学院橡胶研究所 一种基于加权环境变量聚类的叶片磷含量检测方法
CN113063754B (zh) * 2021-04-21 2022-09-13 中国热带农业科学院橡胶研究所 一种基于加权环境变量聚类的叶片磷含量检测方法

Similar Documents

Publication Publication Date Title
Sahoo et al. Sign language recognition: State of the art
CN102930270A (zh) 基于肤色检测与背景消除的手部识别方法及系统
Kumar et al. Sign language recognition
Wang et al. Isolated sign language recognition with grassmann covariance matrices
Chen et al. Real‐time hand gesture recognition using finger segmentation
Kara et al. Hierarchical parsing and recognition of hand-sketched diagrams
Zheng et al. Recent advances of deep learning for sign language recognition
CN103226388A (zh) 一种基于Kinect的手写方法
El-Alfy et al. A comprehensive survey and taxonomy of sign language research
More et al. Hand gesture recognition system using image processing
Liu et al. Sequential Bag-of-Words model for human action classification
Balasuriya et al. Learning platform for visually impaired children through artificial intelligence and computer vision
Al-Akam et al. Local feature extraction from RGB and depth videos for human action recognition
CN112749646A (zh) 一种基于手势识别的交互式点读系统
CN111985184A (zh) 基于ai视觉下的书写字体临摹辅助方法、系统、装置
Zhao et al. Skeleton-based dynamic hand gesture recognition using 3d depth data
Elakkiya et al. Intelligent system for human computer interface using hand gesture recognition
Alaghband et al. A survey on sign language literature
Trujillo-Romero et al. Mexican Sign Language corpus: Towards an automatic translator
Nahar et al. A robust model for translating arabic sign language into spoken arabic using deep learning
Nakjai et al. Thai finger spelling localization and classification under complex background using a YOLO-based deep learning
Parthasarathy et al. Novel video benchmark dataset generation and real-time recognition of symbolic hand gestures in indian dance applying deep learning techniques
Axyonov et al. Method of multi-modal video analysis of hand movements for automatic recognition of isolated signs of Russian sign language
CN107169449A (zh) 基于深度传感器的中文手语翻译方法
CN108108648A (zh) 一种新型的手势识别系统装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20130213