CN101847407A - 一种基于xml的语音识别参数处理方法 - Google Patents

一种基于xml的语音识别参数处理方法 Download PDF

Info

Publication number
CN101847407A
CN101847407A CN201010126315A CN201010126315A CN101847407A CN 101847407 A CN101847407 A CN 101847407A CN 201010126315 A CN201010126315 A CN 201010126315A CN 201010126315 A CN201010126315 A CN 201010126315A CN 101847407 A CN101847407 A CN 101847407A
Authority
CN
China
Prior art keywords
parameter
speech recognition
xml
file
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201010126315A
Other languages
English (en)
Other versions
CN101847407B (zh
Inventor
赵仲明
罗笑南
杨彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN2010101263152A priority Critical patent/CN101847407B/zh
Publication of CN101847407A publication Critical patent/CN101847407A/zh
Application granted granted Critical
Publication of CN101847407B publication Critical patent/CN101847407B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于XML的语音识别参数处理方法。该方法包括:1)获取语音识别流程中的语音识别参数的信息;2)通过XML定义不同参数的类型,并通过参数的逻辑关系复合出一个新的数据结构;3)采用树形结构表示各参数相互之间的联系;4)生成一个带校验功能的供用户输入参数的图形化界面,根据用户输入的参数进行校验。本发明的技术方案可以使得语音识别参数的输入和传递更为方便与简洁,并且通过生成新的参数类型来更好的管理语音识别参数。

Description

一种基于XML的语音识别参数处理方法
技术领域
本发明涉及数字家庭技术领域,具体涉及一种基于XML的语音识别参数处理方法。
背景技术
随着科学技术的不断进步,经济的不断发展,家用电器的智能化程度越来越高,也有越来越多的人致力于数字化家庭的研究和探索。而在数字化家庭技术中的一个重要环节就是家用设备对于人的语音的识别。语音识别,简单而言就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令。根据针对的发音人,可以把语音识别技术分为特定人语音识别和非特定人语音识别,前者只能识别一个或几个人的语音,而后者则可以被任何人使用。显然,非特定人语音识别系统更符合实际需要,但它要比针对特定人的识别困难得多。
另外,根据语音设备和通道,可以分为桌面(PC)语音识别、电话语音识别和嵌入式设备(手机、PDA等)语音识别。不同的采集通道会使人的发音的声学特性发生变形,因此需要构造各自的识别系统。
语音识别的应用领域非常广泛,常见的应用系统有:语音输入系统,相对于键盘输入方法,它更符合人的日常习惯,也更自然、更高效;语音控制系统,即用语音来控制设备的运行,相对于手动控制来说更加快捷、方便,可以用在诸如工业控制、语音拨号系统、智能家电、声控智能玩具等许多领域;智能对话查询系统,根据客户的语音进行操作,为用户提供自然、友好的数据库检索服务,例如家庭服务、宾馆服务、旅行社服务系统、订票系统、医疗服务、银行服务、股票查询服务等等。
现有技术之中,在传统的语音识别过程中,语音识别参数是通过文本文件或是程序来定义,由于其本身的局限性或是为了方便运输,导致了某些参数被设定为不符合实际情况的类型;另外,在传统的语音识别参数传递过程中,参数之间是一种平行结构。也就是说,各个参数都是独立的被存储和传输的。这样,由于各种参数类型的不同和结构的变化使得在读取这些参数时十分的繁琐,并且容易出现遗漏。因此,现有技术的语言识别参数处理方法存在缺陷。
发明内容
本发明的目的在于提供一种基于XML的语音识别参数处理方法,可以使得语言识别参数的输入和传递更为方便与简洁,并且通过生成新的参数类型来更好的管理参数。
为实现本发明目的,本发明提供的技术方案如下:
本发明提供一种基于XML的语音识别参数处理方法,包括以下步骤:
1)获取语音识别流程中的语音识别参数的信息;
2)通过XML定义不同参数的类型,并通过参数的逻辑关系复合出一个新的数据结构;
3)采用树形结构表示各参数相互之间的联系;
4)生成一个带校验功能的供用户输入参数的图形化界面,根据用户输入的参数进行校验。
优选的,所述通过参数的逻辑关系复合出一个新的数据结构具体为:
通过参数的逻辑关系复合成一个名称为DeelType的数据类型结构,其中包含了段号、语法文件号、反馈音文件、返回结果的参数信息。
优选的,所述采用树形结构表示各参数相互之间的联系包括:
首先,设置一个根节点Root;
然后,根据参数读取的先后关系和顺序,以及参数在传递过程中出现的次数分别设置根节点的子节点或者是叶子节点。
优选的,所述生成一个带校验功能的供用户输入参数的图形化界面,根据用户输入的参数进行校验,依照如下步骤执行:
步骤1:使用软件生成一个.sps文件,并将该文件与已经生成的.xml文件和.xsd文件关联;
步骤2:导入.xsd文件中的树形结构和参数类型,并将其以表格的形式显示,并调整整个界面;
步骤3:判断是否存在需要在输入端检验的参数,如果有,则执行步骤4,否则跳转至步骤6;
步骤4:在.xsd文件中嵌入正则表达式代码,实现对于输入参数的检验;
步骤5:更新.sps文件,并跳转至步骤3;
步骤6:结束。
优选的,所述语音识别参数的信息包括:在语音识别过程中所用到的文件信息、数据结构、数据之间的关系以及数据本身的约束信息。
优选的,所述图形化界面列出所有需要用户输入的参数类型,并给出用户输入的提示信息以提示用户正确的输入参数;所述图形化界面提供对于参数的管理,包括进行添加、修改、删除操作。
上述的技术方案可以看出,本发明的有益效果在于:
通过将XML引入到语音识别的参数处理过程中,实现了对于语音识别参数的高质量管理。并且,通过XML文件、SPS文件和XSD文件之间的相互关联,为语音识别参数的传递和扩展提供了保障。而由于XML自身的高度可扩展性,使得这种参数处理方法也具有很强的可扩展性,为日后参数的扩展打下了良好的基础。同时,还实现了参数的在输入端的校验工作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明基于XML的语音识别参数管理方法的流程图;
图2是本发明定义的DeelType数据类型示意图;
图3是本发明参数的树形结构示意图;
图4是本发明xml文件,.xsd文件和.sps文件三者之间的关系示意图。
图5是本发明最终完成的图形化参数输入界面的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明提供一种基于XML的语音识别参数处理方法,可以使得参数的输入和传递更为方便与简洁,并且通过生成新的参数类型来更好的管理参数。而由于XML自身的高度可扩展性,使得这种参数处理方法也具有很强的可扩展性,为日后参数的扩展打下了良好的基础。同时,还实现了参数的在输入端的校验工作。
本发明方法,利用了现今国际标准流行的描述语言-XML(ExtensibleMarkup Language,可扩展标记语言),来描述语音互动过程中需要的参数文件及比较复杂的流程结构,并且能够在用户层提供对于参数的检验功能,使得语音识别参数的传递具有清晰、可扩展等优良特性。
XML与HTML一样,都是SGML(Standard Generalized Markup Language,标准通用标记语言)。XML是Internet环境中跨平台的,依赖于内容的技术,是当前处理结构化文档信息的有力工具。XML也是一种简单的数据存储语言,使用一系列简单的标记描述数据,而这些标记可以用方便的方式建立,并且易于掌握和使用。XML的简单使其易于在任何应用程序中读写数据,这使XML很快成为数据交换的唯一公共语言。XML保留了SGML的结构化功能,这样也使得网站设计者可以定义自己的文档类型,XML同时也推出一种新型文档类型,使得开发者也可以不必定义文档类型。
本发明的方法主要采用了以下处理方式:
1)使用XML定义各种参数的类型;
在传统的语音识别过程中,语音识别参数是通过文本文件或是程序来定义,由于其本身的局限性或是为了方便运输,导致了某些参数不得不被设定为不符合实际情况的类型。在本发明中,使用XML来定义各种参数类型(通过生成一个与XML相关联的XSD文件,XSD是指XML结构定义(XML SchemasDefinition)),不仅为每个参数选取了恰当的类型,还将几个参数根据其相互之间的逻辑关系复合起来生成一个新的数据结构。
在本发明中,将各种参数定义为一些基本数据类型,并且根据语法文件、反馈语音文件、识别返回结果数等参数信息,生成一个新的名为DeelType的数据类型。使用这个新的数据类型,在XML中定义类型名为DeelType的数据,极大方便了语音数据在XML中的存储和传输。
2)采用一种树形结构来表示参数相互之间的联系;
在传统的语音识别参数传递过程中,参数之间是一种平行结构。也就是说,各个参数都是独立的被存储和传输的。这样,由于各种参数类型的不同和结构的变化使得在读取这些参数时十分繁琐,并且容易出现遗漏。
而在本发明中,结合XML的特性,采用一种树形结构来保存各种参数及相互之间的关系,不仅方便了数据的保存,而且使得整个参数的便利过程变得十分简单。
3)设计一个带校验功能的供用户输入参数的图形化界面;
传统的参数传递大多依靠单一的文本文件,在参数输入方面十分不便,并且在输入参数的同时也无法对于输入参数的正确性进行验证。
在本发明中,通过使用XML相关软件设计出一个类似于HTML的可供用户输入参数的图形化界面(即生成一个与XML文件相关联的.SPS文件)。在该图形化界面(即.SPS文件)上可以清楚的列出所有需要用户输入的参数类型,并给出用户输入的提示信息以提示用户能正确的输入参数;由于该界面是直接与XML参数文件向关联,所以在该界面上还可以直接实现对于参数的管理,如添加,修改,删除。
另外,通过在xsd文件嵌入正则表达式代码,可以在图形化界面上即时的对于用户所输入的参数进行检验,极大的减轻了后台参数处理程序的负担,同时也高质量地保证了参数的输入。
以下结合附图详细介绍本发明的方案。
如图1所示是本发明处理方法的流程图,主要包括以下步骤:
(1)获取语音识别流程中的语音识别参数信息;
在本发明中所指的参数信息,主要是指在语音识别过程中所用到的文件信息、数据结构、数据之间的关系以及数据本身的一些约束等。例如:语法文件、语音文件、语法文件个数等等。基于对语音识别流程的充分理解,将在语音识别过程中所要用到的所有参数都提取出来,为后面的操作做好准备。
(2)使用XML定义各种参数的类型;
在本发明中,用XML来定义各种参数类型(通过生成一个与XML相关联的.xsd文件)。
首先,为已知的各种参数设定一个数据类型。
然后,判断出一些参数之间的逻辑关系,如:语法文件、提示音、动作编号等参数总是会以一个整体的形式出现。
(3)判断是否可以复合为新的类型,若是,返回步骤(2),若否,进入(4);
若可以复合为新的类型,则将一些具有逻辑相关性的参数复合为一个整体,然后继续判断是否可以在这个整体中添加新的参数,直到将所有的参数都按其逻辑关系分类,并生成新的参数类型。
在本发明中,新生成一个名为DeelType的数据类型,其中包含了段号、语法文件号、反馈音文件、返回结果等多个参数信息。使得DeelType成为语音识别中基本的数据单元被添加,删除或修改,而且也作为基本的数据单元被传输。
在附图中2中可以看到新定义的DeelType数据类型的格式。
(4)采用一种树形结构来关联参数;
在本发明中,结合XML的树形结构特性,本发明使用了一种树形结构来保存各种参数及相互之间的关系。这样不仅方便了数据的保存,而且使得整个参数的便利过程变得十分简单。
如图3所示,是本发明参数的树形结构示意图。
首先,为整个XML设置一个根节点Root;
然后,根据参数读取的先后关系和顺序,以及参数在传递过程中出现的次数分别设置为根节点的子节点,或者是叶子节点,例如图中根节点Root下面分为不同子节点:Deel,Number_of_deel,audi_files。节点Deel和audi_files。下面再接着设置子节点。整个参数的树形结构如图3所示。
(5)生成一个带校验功能的供用户输入参数的图形化界面,根据用户输入的参数进行校验。
依照如下步骤执行:
步骤1:使用XML相关软件生成一个.sps文件,并将该文件与已经生成的.xml文件和.xsd文件关联。
步骤2:导入.xsd文件中的树形结构和参数类型,并将其以表格的形式显示,并调整整个界面。
步骤3:判断是否存在需要在输入端检验的参数,如果有,则执行步骤4,否则跳转至步骤6。
步骤4:在.xsd文件中嵌入正则表达式代码,实现对于输入参数的检验。
步骤5:更新.sps文件,并跳转至步骤3。
步骤6:结束。
这样,通过.sps文件与.xml文件的关联,使得可以通过在图形化界面(.sps文件)上完成对于语音识别参数的输入和检验,并最终将数据保存到.xml文件中。
附图4显示了在整个方法过程中.xml文件,.xsd文件和.sps文件三者之间的关系。如图4所示,.xml文件和.xsd文件的关联通过控制参数类型和结构实现,.xsd文件和.sps文件的关联通过控制参数的检验实现,通过在图形化界面(.sps文件)上完成对于语音识别参数的输入和检验,并最终将数据保存到.xml文件中。
附图5是一个界面的示意图。附图5显示了最终完成的图形化参数输入界面。如图中显示的界面字段包括:“段号”、“语法文件名”、“提示语音文件”、“该段输出结果数”、“识别结果”、“反馈音文件”、“动作编号”等。
那么,通过该可供用户输入参数的图形化参数输入界面,可以清楚的列出所有需要用户输入的参数类型,并给出用户输入的提示信息以提示用户能正确的输入参数;由于该界面是直接与XML参数文件向关联,所以在该界面上还可以直接实现对于参数的管理,如添加,修改,删除。
另外,通过在xsd文件嵌入正则表达式代码,可以在图形化界面上即时的对于用户所输入的参数进行检验,极大的减轻了后台参数处理程序的负担,同时也高质量地保证了参数的输入。
上述的技术方案可以看出,本发明具有以下有益效果:
本发明通过将XML引入到语音识别的参数处理过程中,实现了对于语音识别参数的高质量管理。并且,通过XML文件、SPS文件和XSD文件之间的相互关联,为语音识别参数的传递和扩展提供了保障。而由于XML自身的高度可扩展性,使得这种参数处理方法也具有很强的可扩展性,为日后参数的扩展打下了良好的基础。同时,还实现了参数的在输入端的校验工作。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
以上对本发明实施例所提供的一种基于XML的语音识别参数处理方法,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于XML的语音识别参数处理方法,其特征在于,包括以下步骤:
1)获取语音识别流程中的语音识别参数的信息;
2)通过XML定义不同参数的类型,并通过参数的逻辑关系复合出一个新的数据结构;
3)采用树形结构表示各参数相互之间的联系;
4)生成一个带校验功能的供用户输入参数的图形化界面,根据用户输入的参数进行校验。
2.根据权利要求1所述的基于XML的语音识别参数处理方法,其特征在于:
所述通过参数的逻辑关系复合出一个新的数据结构具体为:
通过参数的逻辑关系复合成一个名称为DeelType的数据类型结构,其中包含了段号、语法文件号、反馈音文件、返回结果的参数信息。
3.根据权利要求1或2所述的基于XML的语音识别参数处理方法,其特征在于:
所述采用树形结构表示各参数相互之间的联系包括:
首先,设置一个根节点Root;
然后,根据参数读取的先后关系和顺序,以及参数在传递过程中出现的次数分别设置根节点的子节点或者是叶子节点。
4.根据权利要求1或2所述的基于XML的语音识别参数处理方法,其特征在于:
所述生成一个带校验功能的供用户输入参数的图形化界面,根据用户输入的参数进行校验,依照如下步骤执行:
步骤1:使用软件生成一个.sps文件,并将该文件与已经生成的.xml文件和.xsd文件关联;
步骤2:导入.xsd文件中的树形结构和参数类型,并将其以表格的形式显示,并调整整个界面;
步骤3:判断是否存在需要在输入端检验的参数,如果有,则执行步骤4,否则跳转至步骤6;
步骤4:在.xsd文件中嵌入正则表达式代码,实现对于输入参数的检验;
步骤5:更新.sps文件,并跳转至步骤3;
步骤6:结束。
5.根据权利要求1或2所述的基于XML的语音识别参数处理方法,其特征在于:
所述语音识别参数的信息包括:
在语音识别过程中所用到的文件信息、数据结构、数据之间的关系以及数据本身的约束信息。
6.根据权利要求1或2所述的基于XML的语音识别参数处理方法,其特征在于:
所述图形化界面列出所有需要用户输入的参数类型,并给出用户输入的提示信息以提示用户正确的输入参数;
所述图形化界面提供对于参数的管理,包括进行添加、修改、删除操作。
CN2010101263152A 2010-03-12 2010-03-12 一种基于xml的语音识别参数处理方法 Expired - Fee Related CN101847407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010101263152A CN101847407B (zh) 2010-03-12 2010-03-12 一种基于xml的语音识别参数处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010101263152A CN101847407B (zh) 2010-03-12 2010-03-12 一种基于xml的语音识别参数处理方法

Publications (2)

Publication Number Publication Date
CN101847407A true CN101847407A (zh) 2010-09-29
CN101847407B CN101847407B (zh) 2013-01-02

Family

ID=42772003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101263152A Expired - Fee Related CN101847407B (zh) 2010-03-12 2010-03-12 一种基于xml的语音识别参数处理方法

Country Status (1)

Country Link
CN (1) CN101847407B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400579A (zh) * 2013-08-04 2013-11-20 徐华 一种语音识别系统和构建方法
CN103460204A (zh) * 2011-01-27 2013-12-18 韦斯技术有限公司 产生和验证客户机嵌入式图像上的定制的可扩展标记语言(xml)配置
CN104575499A (zh) * 2013-10-09 2015-04-29 携程计算机技术(上海)有限公司 移动终端的声控方法及移动终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1392473A (zh) * 2001-05-04 2003-01-22 微软公司 用于web启动的识别的标记语言扩展
CN101271689A (zh) * 2007-03-20 2008-09-24 国际商业机器公司 用数字化语音中呈现的词来索引数字化语音的方法和装置
CN101589427A (zh) * 2005-06-30 2009-11-25 微软公司 语音应用程序装备和记入
CN101669116A (zh) * 2007-04-26 2010-03-10 微软公司 用于生成亚洲语字符的识别体系结构

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1392473A (zh) * 2001-05-04 2003-01-22 微软公司 用于web启动的识别的标记语言扩展
CN101589427A (zh) * 2005-06-30 2009-11-25 微软公司 语音应用程序装备和记入
CN101271689A (zh) * 2007-03-20 2008-09-24 国际商业机器公司 用数字化语音中呈现的词来索引数字化语音的方法和装置
CN101669116A (zh) * 2007-04-26 2010-03-10 微软公司 用于生成亚洲语字符的识别体系结构

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103460204A (zh) * 2011-01-27 2013-12-18 韦斯技术有限公司 产生和验证客户机嵌入式图像上的定制的可扩展标记语言(xml)配置
CN103460204B (zh) * 2011-01-27 2018-02-02 韦斯技术有限公司 产生和验证客户机嵌入式图像上的定制的可扩展标记语言(xml)配置
CN103400579A (zh) * 2013-08-04 2013-11-20 徐华 一种语音识别系统和构建方法
WO2015018241A1 (zh) * 2013-08-04 2015-02-12 Xu Hua 一种语音识别系统和构建方法
CN103400579B (zh) * 2013-08-04 2015-11-18 徐华 一种语音识别系统和构建方法
US9953639B2 (en) 2013-08-04 2018-04-24 Hua Xu Voice recognition system and construction method thereof
CN104575499A (zh) * 2013-10-09 2015-04-29 携程计算机技术(上海)有限公司 移动终端的声控方法及移动终端
CN104575499B (zh) * 2013-10-09 2019-12-20 上海携程商务有限公司 移动终端的声控方法及移动终端

Also Published As

Publication number Publication date
CN101847407B (zh) 2013-01-02

Similar Documents

Publication Publication Date Title
CN103345467B (zh) 语音翻译系统
US7873523B2 (en) Computer implemented method of analyzing recognition results between a user and an interactive application utilizing inferred values instead of transcribed speech
CN109473108A (zh) 基于声纹识别的身份验证方法、装置、设备及存储介质
CN105512228A (zh) 一种基于智能机器人的双向问答数据处理方法和系统
US20070006082A1 (en) Speech application instrumentation and logging
JP2016536630A (ja) 人型ロボット等の機械と人間話者との間の対話方法、コンピュータプログラム製品、および同方法を実行する人型ロボット
US20210056959A1 (en) Development of Voice and Other Interaction Applications
CN110244941B (zh) 任务开发方法、装置、电子设备及计算机可读存储介质
CN111182162A (zh) 基于人工智能的电话质检方法、装置、设备和存储介质
US20210056962A1 (en) Development of Voice and Other Interaction Applications
CN116483980A (zh) 人机交互方法、装置及系统
CN109948151A (zh) 构建语音助手的方法
CN108279885A (zh) 一种对多个模型代码进行软件集成的方法及装置
EP3688624A1 (en) Intelligent inferences of authoring from document layout and formatting
CN110600004A (zh) 一种语音合成播放方法、装置和存储介质
CN101847407B (zh) 一种基于xml的语音识别参数处理方法
CN112669815A (zh) 歌曲定制生成方法及其相应的装置、设备、介质
CN100365557C (zh) 便利多模式访问编程的方法
EP4018436A1 (en) Development of voice and other interaction applications
CN109492126B (zh) 一种智能交互方法及装置
EP2615541A1 (en) Computer implemented method, apparatus, network server and computer program product
CN115148212A (zh) 一种语音交互方法、智能设备及系统
US20080282870A1 (en) Automated disc jockey
JP6882975B2 (ja) 対話ログ群からコンテキストを決定可能な対話シナリオ生成装置、プログラム及び方法
CN100424697C (zh) 使用上下文有关的网格的查询构造器和创建查询的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130102

Termination date: 20150312

EXPY Termination of patent right or utility model