CN106126714A - 信息处理方法及信息处理装置 - Google Patents
信息处理方法及信息处理装置 Download PDFInfo
- Publication number
- CN106126714A CN106126714A CN201610509734.1A CN201610509734A CN106126714A CN 106126714 A CN106126714 A CN 106126714A CN 201610509734 A CN201610509734 A CN 201610509734A CN 106126714 A CN106126714 A CN 106126714A
- Authority
- CN
- China
- Prior art keywords
- recognition result
- information
- final
- electronic equipment
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 31
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 15
- 230000002452 interceptive effect Effects 0.000 abstract description 6
- 206010028916 Neologism Diseases 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 239000000203 mixture Substances 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Machine Translation (AREA)
Abstract
本发明实施例提供了信息处理方法及装置,应用于一个电子设备或者服务器,所述一种信息处理方法(200)应用于电子设备,该方法(200)包括:接收输入信息;基于第一词库识别所述输入信息,得到一个或多个第一识别结果;其中,所述第一识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;接收基于第二词库识别所述输入信息得到的一个或多个第二识别结果;其中,所述第二识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;基于所述一个或多个第一识别结果或第二识别结果得到一个或多个最终识别结果,并执行所述最终识别结果。通过本发明实施例可以提高对输入互动信息的识别率,进而更快控制相关设备执行相关操作。
Description
技术领域
本发明涉信息处理方法以及信息处理装置。
背景技术
目前的识别系统有两种模式:使用本地的识别引擎或独立使用云端的识别系统。其中,由于本地的识别引擎和云端的识别系统通常是独立的,而本地的识别引擎的词库比较新包含一些新词和新的句法,但是由于本地受到资源限制,本地识别模型复杂度较低,因此识别率相对较低;由于云端的识别模型复杂度较高,因而通常识别率较高,但是云端的词库的更新需要较长时间且无法动态更新。如果云端词库不包含本地词库已经更新的词汇,则云端识别引擎就无法正确识别对应于新词的输入信息。此外对于当将本地新词更新至云端的过程中,如果没有特别标注新词的用法则很难直接加入到云端的识别模型中,甚至于有些云端引擎不向客户端提供相应的新词更新接口,进而使得用户端新词汇根本无法更新至云端。
发明内容
为了解决背景技术中存在的技术问题,根据本发明的一个方面,提供了一种信息处理方法,应用于电子设备,所述方法包括:接收输入信息;基于第一词库识别所述输入信息,得到一个或多个第一识别结果;其中,所述第一识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;接收基于第二词库识别所述输入信息得到的一个或多个第二识别结果;其中,所述第二识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;以及基于所述一个或多个第一识别结果或第二识别结果得到一个或多个最终识别结果,并执行所述最终识别结果。
根据本发明的另一方面,提供了一种信息处理装置,应用于电子设备,所述装置包括:输入单元,被配置为接收输入信息;第一识别单元,被配置为基于第一词库识别所述输入信息,得到一个或多个第一识别结果;其中,所述第一识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;第二识别结果接收单元,被配置为接收基于第二词库识别所述输入信息得到的一个或多个第二识别结果;其中,所述第二识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;以及处理单元,被配置为基于所述一个或多个第一识别结果或第二识别结果得到一个或多个最终识别结果,并执行所述最终识别结果。
根据本发明的另一个方面,还提供了一种电子设备,包括:采集装置,被配置为接收并采集输入信息;处理装置,被配置为基于第一词库识别所述输入信息,得到一个或多个第一识别结果;其中,所述第一识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;通信装置,被配置为接收基于第二词库识别所述输入信息得到的一个或多个第二识别结果;其中,所述第二识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;其中,所述处理装置还被配置为基于所述一个或多个第一识别结果或第二识别结果得到一个或多个最终识别结果,并执行所述最终识别结果。
通过本发明上述实施例,可以提高电子设备对输入信息识别的准确率,进而使得电子设备能更快更准确的执行识别的命令同时使电子设备更快从服务器或云端获取与识别语义相关的信息。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例的附图作简单地介绍,显而易见地,下面描述中的附图仅仅涉及本公开的一些实施例,而非对本公开的限制。
图1示出了根据本发明实施例提供的应用场景示意图;
图2示出了根据本发明实施例提供信息处理方法流程图;
图3示出了根据本发明实施例提供本发明一示例的方法流程图;
图4示出了根据本发明实施例提供另一信息处理方法的流程图;
图5示出了根据本发明实施例提供用于电子设备的信息处理装置的组成框图;
图6示出了根据本发明实施例提供电子设备的组成框图;
图7示出了根据本发明实施例提供用于服务器的信息处理装置的组成框图。
具体实施方式
下面将结合附图,对本发明公开的实施例中的技术方案进行清楚、完整地描述参考在附图中示出并在以下描述中详述的非限制性示例实施例,更加全面地说明本公开的示例实施例和它们的多种特征及有利细节。应注意的是,图中示出的特征不是必须按照比例绘制。所给出的示例仅旨在有利于理解本公开示例实施例的实施,以及进一步使本领域技术人员能够实施示例实施例。因而,这些示例不应被理解为对本公开的实施例的范围的限制。
除非另外特别定义,本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本发明实施例使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分或不同对象。此外,在本公开各个实施例中,相同或类似的参考标号表示相同或类似的构件。
在本发明的以下实施例中,电子设备的具体形式包括但不限于移动电话、个人计算机、数码相机、个人数字助手、便携式计算机、游戏机等。
如图1所示,该图示出了本发明技术方案的一个应用场景100。应用场景100,包括:电子设备101、设备180、识别服务器170以及信息提供服务器180;其中,电子设备101用于输入与用户的互动信息,同时电子设备101以及识别服务器170同时对输入的互动信息进行识别分别得到第一识别结果和第二识别结果,随后电子设备101分析两个识别结果并得到最终识别结果,最后电子设备101控制设备180或者电子设备自身的单元或部件执行最终识别结果对应的操作命令,或者电子设备101基于最终识别结果指示的语义信息从信息提供服务器180获取相关信息数据,并将获取信息数据提供给用户。例如,信息提供服务器180可以提供的信息数据包括天气相关数据,或者附近餐馆等相关的信息等。
设备180可以为一种智能设备。例如,设备180包括智能电视、智能冰箱、智能空调、智能微波炉或其他智能电器或器件。例如,所述设备180被配置为:响应于接收到最终识别结果指示的操作命令,并执行相应操作。例如,假设设备180为智能电视,同时电子设备101基于用户输入信息得到的最终识别结果指示的操作命令为打开智能电视180,则该智能电视180在接收到该操作指令后打开电视。
在一些实施例中,电子设备101、识别服务器170、信息提供服务器180以及设备180之间通过网络160实现互联。例如,网络160包括,但不局限于,移动通信接入网(例如,4G、3G)、广域网或局域网(例如,WIFI)等。又例如,网络160包括互联网。
例如,电子设备101可以为一种包括处理器102和存储器103的计算设备。例如,电子设备101可以为智能手机、游戏控制器、以及其他包括处理器和存储器的终端(例如,移动终端)。在一些实施例中,电子设备101可以包括处理器102、存储器103、输入单元108、浏览器(图中未示出)和其他输出设备(例如,扬声器,图中未示出)等其他部件。
处理器102可以处理数据信号,可以包括各种计算结构,例如复杂指令集计算机(CISC)结构、结构精简指令集计算机(RISC)结构或者一种实行多种指令集组合的结构。在一些实施例中,处理器102也可以是微处理器。
存储器103可以保存处理器102执行的指令和/或数据。这些指令和/或数据可以包括代码,用于实现本公开实施例描述的一个或多个模块的一些功能或全部功能。例如,存储器103包括动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存(flashmemory)、光存储器(optical memory),或其他的本领域技术人员熟知的存储器。
输入单元108可以输入用户与电子设备180的互动信息,且输入信息的类型包括文本信息输入或声音输入等,其中可以采用麦克风等设备作为声音信息输入单元。
在一些实施例中,识别服务器170和信息提供服务器180可以包括与电子设备101相似的部件,例如,处理器及存储器(图中未示出),且识别服务器170和信息提供服务器180的处理器和存储器的相关功能与电子设备101的处理器102及存储器103相似。
下面结合附图,对本发明实施例提供的信息处理方法200、信息处理方法400,位于电子设备101上的信息处理装置500以及位于识别服务器170上的信息处理装置600的具体实施方式进行详细说明。
如图2所示,本实施例提供一种信息处理方法200,例如,该信息处理方法200可以由图1中示出的电子设备101实现。信息处理方法200包括:步骤201,接收输入信息;步骤221,基于第一词库识别所述输入信息,得到一个或多个第一识别结果;其中,所述第一识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;步骤241,接收基于第二词库识别所述输入信息得到的一个或多个第二识别结果;其中,所述第二识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;以及步骤261,基于所述一个或多个第一识别结果或第二识别结果得到一个或多个最终识别结果,并执行所述最终识别结果。
在一些实施例中步骤201接收输入信息可以包括接收用户输入的文本信息或者语音信息等,本实施例对于用户与电子设备101互动的信息类型不做限定。当输入信息为语音信息时,本实施例可以包括连续输入一段语音信息且该段语音信息可以拆分成若干语句,以每个语句作为识别的单元,输出针对各个语句的识别结果。
在一些实施例中步骤221中第一词库可以包括比较新的常用的词语的含义,且第一词库可以为存储于电子设备101上的词库。因此当电子设备101的资源有限时会导致第一词库的词汇量相对较少,进而导致采用第一词库识别输入信息时的识别率相对较低。在一些实施例中步骤221基于第一词库识别输入信息可以包括将输入语音信息基于第一词库和语音识别相关的技术对输入信息进行识别,基于第一库识别输入信息也可以包括将输入文本信息基于第一词库和文字识别技术对输入信息进行识别。在另一些实施例中步骤221基于第一词库识别所述输入信息得到一个或多个第一识别结果,其中一个第一识别结果一般包含两部分内容。具体为,针对输入的语音信息对应的第一识别结果可以包括:语音信息的类型识别以及语音信息的内容识别,其中类型识别得到的类型可以包括命令或者语义,语音信息的内容识别能识别出输入语音的具体内容。例如,用户通过麦克输入一段语音信息“打开卧室的灯,天气如何”,此时基于第一词库识别得到两个第一识别结果,其中,第一个第一识别结果为:命令,开卧室的灯;第二个第一识别结果为:语义,天气如何。
在一些实施例中步骤241的第二词库可以位于识别服务器170或者云端,由于服务器170或云端存储容量大处理能力强因此可以构造复杂的识别模型并存储非常庞大的词库信息,但是云端词库的更新相对较慢。在一些实施例中步骤241基于第二词库识别输入信息可以包括将输入语音信息基于第二词库和语音识别相关的技术对输入信息进行识别,基于第二词库识别输入信息也可以包括将输入文本信息基于第二词库和文字识别技术对输入信息进行识别。在一些实施例中步骤241基于第二词库识别所述输入信息得到一个或多个第二识别结果,其中一个第二识别结果一般包含两部分内容。具体为,针对输入的语音信息对应的第二识别结果可以包括:语音信息的类型识别以及语音信息的内容识别,其中类型识别得到的类型可以包括命令或者语义,语音信息的内容识别能识别出输入语音的具体内容。例如,用于通过键盘输入一段文字信息“附近餐馆,打开卧室空调”,此时基于第二词库识别文字输入信息将得到两个第二识别结果,其中,第一个第二识别结果为:语义,附近餐馆;第二个第二识别结果为:命令,打开卧室空调。
在一些实施例中,对输入语音信息进行内容识别时,可采取下述方式:采用背景声学模型及前景声学模型对用户的语音数据进行识别。其中,背景声学模型采用基于LVCSR(LargeVocabulary Continuous Speech Recognition,大词汇量连续语音识别)的Mono-phone(单音素)技术、前景声学模型采用LVCSR的Tri-phone(三音素)技术通过解码网络在语音识别服务器上提前构建声学资源,该声学资源中包括各种声音特征矢量与其对应的命令字符的对应关系表。当对用户的语音数据进行识别时,先对用户的语音数据进行频谱变换,得到对应的声学特征矢量,并在提前构建的声学资源中查找该声学特征矢量对应的命令字符,而该命令字符即为得到的语音数据的内容识别结果。需要说明的是,这里所使用的语音识别算法不构成对于本发明的限制。例如,除了基于语音学和声学的方法之外,该语音识别算法还可以包括:模板匹配的方法、神经网络的方法等。
在一些实施例中步骤261基于所述一个或多个第一识别结果或一个第二识别结果得到一个或多个最终识别结果,具体可以包括针对同一段语音输入信息同时识别分别得到第一识别结果和第二识别结果,然后基于第一识别结果和第二识别结果综合判断得到最终识别结果。例如,可以依据某些预定原则直接从第一识别结果和第二识别结果中选择一个作为最终识别结果,也可以将第一识别结果和第二识别结果信息进行融合得到一个更加准确的不同于第一识别结果也不同于第二识别结果的最终识别结果,此时一般只是内容上不同于第一识别结果也不同于第二识别结果的最终识别结果。
本发明实施例通过联合远端识别及本地识别可以有效提高对输入信息识别的准确度,更好保证触发操作的及时和准确。其中联合本地识别和远端是识别的方案具体可以包括:第一,当输入信息指示的操作命令属于需要及时执行的操作时,本发明实施例可以设定此时以本地识别为命令的第一识别结果的优先级更高,即此时无论第二识别结果指示的操作或语义是什么内容均以第一识别结果指示的操作命令为最终识别结果。第二,当输入信息指示的操作命令属于对及时性要求不高的操作时,本发明实施例可以设定此时以远端识别为命令的第二识别结果的优先级更高,即此时无论第一识别结果指示的操作或语义是什么内容均以第二识别结果指示的操作命令为最终识别结果。第三,当输入信息指示的为一段语义时,可以设定第二识别结果的优先级更高,即此时无论第一识别结果识别的语义是什么均将第二识别结果指示的语义作为最终识别结果。上述三种情况并非是针对本发明提供的联合本地识别和远端识别的技术方案的穷举,而是列举了三种情况。本领域技术人员可以根据实际情况调整上述联合的过程。例如可以设定统计算法,利用设定的统计算法统计本地识别与远端识别在某一近期时间段内各自识别的准确度,进而依据准确度设定各自在得到最终识别结果时的权重进而得到最终识别结果。
如图3所示,本实施例提供一种相对于图2实施例更加具体的信息处理方法300,例如,该实施例中的输入信息的类型为语音信息,且该实施例中输入的是一段连续的语音,因此该语音信息可以拆分成若干独立的语句,其中每个语句需要单独识别分别得到对应于每个语句的识别结果。信息处理方法300包括:步骤301,接收输入的多个语句;步骤321,基于第一词库识别所述多个语句中的每个语句,得到多个第一识别结果;步骤341,接收基于第二词库识别所述多个语句中的每个语句得到的多个第二识别结果;以及步骤361,依据所述多个语句中的每个语句的输入顺序,依次基于所述第一识别结果或第二识别结果得到多个最终识别结果。
在一些实施例中步骤301包括接收语音输入设备连续输入的语音信号,并将连续输入的一段语音划分为若干个语句。例如,语音输入设备可以为麦克风,当用户通过麦克风输入“打开卧室灯天气如何附近的餐馆”这些信息时,步骤301可以将输入信息划分为三个语句:打开卧室灯,天气如何,附近的餐馆。其中,将连续输入的语音划分为若干独立语句的方法属于现有技术,在此不做赘述。在一些实施例中步骤301还将划分的独立语句分别发送至本地语音识别器以及远端的语音识别器。在此后的步骤321中本地语音识别器基于第一词库识别各个独立的语句得到与独立语句个数相同的第一识别结果,步骤341中远端的语音识别器基于第二词库识别各个独立的语句得到与独立语句个数相同的第二识别结果。
在一些实施例中步骤321由位于所述电子设备上的语音识别器基于所述第一词库识别所述输入信息。在一些实施例中步骤341由位于远端设备上的语音识别器基于所述第二词库识别所述输入信息;其中,所述第一词库词语的存储量小于所述第二词库的词语的存储量。例如,第一词库可以位于本地且包含一些新词和新的句法,但是由于本地受到资源限制,与第一词库对应的语音识别模型复杂度较低。又例如,第二词库可以位于远端的服务器或者云端,由于云端的模型复杂度较高,相对于本地第一词库位于云端或服务器的第二词库更新时间相对较长且词汇存储容量更大。
在一些实施例中步骤321采用本地语音识别器将输入的独立语句分别与第一词库中存储的词语比较,进而找到与输入的独立语句匹配的操作命令或者语义。
在一些实例中步骤341采用远端语音识别器将输入的独立语句分别与第二词库中存储的词语比较,进而找到与输入的独立语句匹配的操作命令或语义。
在一些实施例中步骤361基于对各个独立语句得到的第一识别结果和第二识别结果得到最终识别结果,由于输入独立语句的个数为多个,所以得到的最终识别结果的个数也为多个。在一些实施例中,步骤361还可以包括,将所述多个最终识别结果组成识别列表,其中,所述识别列表中各项排列的前后次序与接收语句的次序相同。此时步骤361中的执行所述最终识别结果可以包括:依次从所述识别列表中读取各个最终识别结果,并执行各个最终识别结果对应的操作命令,或者基于最终识别结果指示的语义提供相关信息。
在一些实施例中步骤361基于一个所述第一识别结果或第二识别结果得到最终识别结果可以包括:从第一识别结果或者第二识别结果中依据预定规则选择其中一个识别结果作为最终的识别结果。作为第一个示例,步骤361中依据预定规则选择其中一个识别结果作为最终识别结果可以包括:如果第一识别结果指示输入信息对应的是一个操作命令或一段完成的语义,则选择所述第一识别结果作为最终识别结果;以及如果第一识别结果指示输入信息对应的是一个无法识别的操作命令,则选择所述第二识别结果作为最终识别结果。作为第二个示例,步骤361中依据预定规则选择一个识别结果作为最终识别结果可以包括:如果第二识别结果指示输入信息对应的是一个操作命令,则选择所述第二识别结果作为最终识别结果;如果第二识别结果指示输入信息对应的是一段的语义,而同时第一识别结果指示该输入信息对应的是一个操作命令时,则选择所述第一识别结果作为最终识别结果;以及如果第二识别结果指示输入信息对应的是一段的语义,而同时第一识别结果指示该输入信息对应的是一个无法识别的操作命令时,则选择所述第二识别结果作为最终识别结果。
在一些实施例中步骤361基于一个所述第一识别结果或第二识别结果得到最终识别结果还可以包括:
步骤361-2,将得到的针对某个输入语句的第一识别结果和第二识别结果送入综合分析引擎进行分析,根据分析策略对识别结果进行优化得到最终识别结果。其中分析策略可以包括:
步骤361-2-11当第一识别结果和第二识别结果一致时,通过权重提高位于本地的语音识别器的得分置信度,并采用如下公式计算得分,将得分与预先设定的阈值进行比较,从而确认结果是否可接受:
Score=weight1*score(local);
其中,weight1>1,且参数weight1为本地语音识别器的得分置信度,参数score(local)是本地语音识别器的得分。
步骤361-2-12,当第一识别结果和第二识别结果不一致时,对比第一识别结果和第二识别结果对应的语义字符串或者操作命令字符串,并根据字符串相似度计算得分调整权重,从而根据新权重重新计算得分,并与阈值进行比较,确认是否接受识别结果:
Score=weight2(py1,py2)*score(local);
其中:
py1为第一识别结果对应的字符串;py2为第二识别结果对应的字符串;
weight2(py1,py2)是关于字符串py1和字符串py2相似性的函数,且字符串py1和字符串py2越相似,则参数weight2权重函数的得分越高;
步骤361-2-13,在步骤361-2-12中,可以用音素串代替字符串进行权重评估,也即:
Score=weight3(phone1,phone2)*score(local);
其中:
phone1为第一识别结果对应的音素串;phone 2为第二识别结果对应的音素串;weight3(phone1,phone2)是与音素串phone 1和音素串phone 2相似度的函数;如果音素串phone 1和音素串phone 2越相似,则参数weight3权重函数的得分越高。
此外,在本发明的一些实施例中,还可以同时采用上述步骤361-2-11,步骤361-2-12以及步骤361-2-13分别得到的识别结果计算调整后的权重,依据新的权重值从上述三个识别结果中取出最终最高得分结果,并和预先设定的阈值进行比较,从而确认是否接受识别结果。
目前的识别系统有两种模式,本地识别和远端识别,这两种模式分别用于对输入互动信息进行独立识别。例如,目前的语音系统有两种模式使用本地的语音识别引擎和使用云端的语音识别系统。其中,本地的语音识别引擎和云端的语音识别系统通常是独立的,本地的语音识别引擎的词库有时会比较新,包含一些新词和新的句法,但是由于本地受到资源限制其模型复杂度较低,因此识别率相对较低;云端的模型复杂度较高通常识别率较高,但是云端词库的更新需要较长时间因而无法动态更新,对于本地已经更新的新词,如果没有云端没有及时更新,则云端语音识别引擎就无法正确识别新词汇对应的输入信息。对于从本地新词到云端的更新过程中,如果没有特别标注新词的用法则新词很难直接加入到云端的语言模型中,甚至于有的云端引擎不向客户端提供相应的新词更新接口,因此云端导致对输入互动信息识别的准确率及响应率也较低。而本发明通过上述实施例能够使用户不必利用键盘、鼠标、触摸屏等输入设备,只要说出命令词的语音,则本地语音识别系统和远端语音识别系统会综合识别得出该语音对应的字符串,如果该字符串为命令词对应的字符串,则触发对应的操作,进而使识别结果更准确触发操作更及时。
如图4所示,本实施例提供一种信息处理方法400,例如,该信息处理方法可以由图1中示出的识别服务器170或者位于云端的服务器实现。信息处理方法400包括:步骤401,接收输入信息;步骤421,基于第二词库识别所述输入信息得到第二识别结果;以及步骤431,提供所述第二识别结果;其中,所述第二识别结果用于指示针对电子设备的一个操作命令或者一段语义。
在一些实施例中步骤401可以接收输入的语音信息或者文字信息。,本实施例对于输入的待识别的信息类型不做限定。当输入信息为语音信息时,本实施例可以包括连续输入一段语音信息且该段语音信息可以拆分成若干语句,以每个语句作为识别的单元,输出针对各个语句的识别结果。
在一些实施例中步骤421可以采用语音识别器将输入的独立语句分别于第二词库中存储的词语比较,进而找到与输入的独立语句匹配的操作命令或语义。
在一些实施例中步骤431将步骤421得到的第二识别结果发送至位于电子设备101。电子设备101能够根据第一识别结果和第二识别结果得到最终识别结果,并根据最终识别结果操纵控制设备180,或者根据最终识别结果对应的语义从信息提供服务器180获取服务信息。例如,当语义为“天气如何”时,信息提供服务器180会向电子设备101返回与天气相关的信息,以供用户查询。
本发明还提供了一个特定的实施例,本实施例可以包括如下步骤:
步骤1,分发器不停从输入设备输入信息,并同时将输入的信息提供给本地识别器和远端识别器,其中本地识别器位于电子设备101上且基于第一词库识别输入信息,远端识别器基于第二词库识别输入信息。
步骤2,针对一条输入信息分别有两个结果(即第一识别结果和第二识别结果,例如所述一条输入信息可以对应一个输入语句),可以采用如下策略获得针对每条输入信息最终识别结果:
步骤2-1,当本地识别器基于第一词库将信息识别为命令,则无论远端识别器的识别结果是什么均将本次识别定义为命令,且命令的内容为第一识别结果指示的操作命令的具体内容;
步骤2-2,当本地识别器基于第一词库将信息识别为不理解,而远端识别器将该信息识别为字符串时,采用如下方法处理:基于第二词库在字符串中查找命令关键字,如果存在命令关键字,则将该信息识别标记为命令,且命令的内容为第二识别结果指示的操作命令的具体内容;如果不存在命令关键字,则将信息标记为语义串。
步骤3,当输入信息为多条时,分别采用上述步骤2逐条按照输入顺序得到最终识别结果,并按照得到最终识别结果的顺序生成命令表;
命令表的格式如下:
类型 | 内容 |
命令 | 打开卧室灯 |
语义 | 天气如何 |
语义 | 附近餐馆 |
步骤4,由动作器反复读取命令列表的内容,并由各个执行单元执行已经识别的命令或者由信息提供服务器依据语义串提供相应服务信息。
由上述步骤构成的信息处理方法200和信息处理方法400的技术方案可以由电子设备101或者识别服务器170的处理器基于在其上存储的软件实现,或者由纯硬件实现或由软件和硬件结合的方式实现。
根据本发明的一个实施例,上述信息处理方法200和信息处理方法400对应的代码可以存储于存储器上,并在需要执行代码时由处理器读取并编译,最终得到针对输入信息的最终识别结果并依据最终识别结果控制执行部件执行相应操作或者获取相关服务信息。
如图5所示,本实施例提供一种信息处理装置500,例如,该信息处理装置可以位于图1中示出的电子设备101上。信息处理理装置500可以应用于图1中的电子设备101,装置500可以包括:输入单元501被配置来接收输入信息;第一识别单元502被配置来基于第一词库识别所述输入信息,得到一个或多个第一识别结果;其中,所述第一识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;第二识别结果接收单元503被配置来接收基于第二词库识别所述输入信息得到的一个或多个第二识别结果;其中,所述第二识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;以及处理单元504被配置来基于所述一个或多个第一识别结果或第二识别结果得到一个或多个最终识别结果,并执行所述最终识别结果。
在一些实施例中,输入单元501可以输入包括多个输入语句的语音信息;此时第一识别单元502被配置来基于第一词库识别所述多个输入语句中的每个语句,得到多个第一识别结果;第二识别结果接收单元503被配置来接收基于第二词库识别所述多个输入语句中的每个语句单元得到的多个第二识别结果;以及所述处理单元504被配置来依据所述多个语句中的每个语句的输入顺序,依次基于第一识别单元502得到的第一识别结果和第二识别结果接收单元503得到的第二识别结果得到多个最终识别结果。
在一些实施例中,处理单元504还包括:列表生成单元521以及读取执行单元531。列表生成单元521可以被配置来将处理单元504得到的多个最终识别结果组成识别列表,其中,所述识别列表中各项排列的前后次序与接收输入语句的次序相同。读取执行单元531被配置来依次从列表生成单元521得到的识别列表中读取各个最终识别结果,并交由执行单元执行各个最终识别结果。
在一些实施例中,第一识别单元502还可以被构造为依据电子设备101上的语音识别器基于所述第一词库识别所述信息。第二识别结果接收单元503还可以被构造接收位于远端设备上的语音识别器基于所述第二词库识别所述信息得到的一个或多个第二识别结果;其中,所述第一词库词语的存储量小于所述第二词库的词语的存储量。
在一些实施例中,处理单元504还可以包括选择单元541。选择单元541被配置为从第一识别结果或者第二识别结果中依据预定规则选择其中一个识别结果作为最终的识别结果。
可选的,在第一示例中,选择单元541可以被配置为:如果第一识别结果指示输入信息对应的是一个操作命令或一段语义,则选择所述第一识别结果作为最终识别结果;以及如果第一识别结果指示输入信息对应的是一个无法识别的操作命令,则选择所述第二识别结果作为最终识别结果。
在第二示例中,选择单元541还可以被配置为:如果第二识别结果指示输入信息对应的是一个操作命令,则选择所述第二识别结果作为最终识别结果;如果第二识别结果指示输入信息对应的是一段的语义,而同时第一识别结果指示该输入信息对应的是一个操作命令时,则选择所述第一识别结果作为最终识别结果;以及如果第二识别结果指示输入信息对应的是一段的语义,而同时第一识别结果指示该输入信息对应的是一个无法识别的操作命令时,则选择所述第二识别结果作为最终识别结果。
在第三示例中,选择单元541还可以被配置为通过执行如下步骤而获得最终识别结果:步骤361-2,将得到的针对某个输入语句的第一识别结果和第二识别结果送入综合分析引擎进行分析,根据分析策略对识别结果进行优化得到最终识别结果。其中分析策略可以包括:步骤361-2-11当第一识别结果和第二识别结果一致时,通过权重提高位于本地的语音识别器的得分置信度,并采用如下公式计算得分,将得分与预先设定的阈值进行比较,从而确认结果是否可接受:Score=weight1*score(local);其中,weight1>1,且参数weight1为本地语音识别器的得分置信度,参数score(local)是本地语音识别器的得分。步骤361-2-12,当第一识别结果和第二识别结果不一致时,对比第一识别结果和第二识别结果对应的语义或者操作命令字符串,并根据字符串相似度计算得分调整权重,从而根据新权重重新计算得分,并与阈值进行比较,确认是否接受识别结果:Score=weight2(py1,py2)*score(local);其中:py1为第一识别结果对应的字符串;py2为第二识别结果对应的字符串;weight2(py1,py2)是关于字符串py1和字符串py2相似性的函数,且字符串py1和字符串py2越相似,则参数weight2权重函数的得分越高。步骤361-2-13,在执行步骤361-2-12时可以用音素串代替字符串进行权重评估,也即:Score=weight3(phone1,phone2)*score(local);其中:phone1为第一识别结果对应的音素串;phone 2为第二识别结果对应的音素串;weight3(phone1,phone2)是与音素串phone 1和音素串phone 2相似度的函数;如果音素串phone 1和音素串phone 2越相似,则参数weight3权重函数的得分越高。
如图6所示,本实施例提供一种电子设备600。该电子设备600可以包括:采集装置610,被配置为接收并采集输入信息;处理装置620,被配置为基于第一词库识别所述输入信息,得到一个或多个第一识别结果;其中,所述第一识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;以及通信装置630,被配置为接收基于第二词库识别所述输入信息得到的一个或多个第二识别结果;其中,所述第二识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;其中,所述处理装置还被配置为基于所述一个或多个第一识别结果或第二识别结果得到一个或多个最终识别结果,并执行所述最终识别结果。
在一些实施例中,采集装置610可以为音频采集装置,所述电子设备600还包括一存储装置640,该存储装置640被配置为存储第一词库。此时处理装置620基于存储装置640存储的第一词库识别音频采集装置610的输入信息。
如图7所示,本实施例提供一种信息处理装置700,例如,该信息处理装置700可以位于图1中示出的识别服务器170上。信息处理理装置700可以包括:接收单元710被配置为接收输入信息;第二识别单元720被配置为基于第二词库识别所述输入信息得到一个或多个第二识别结果;其中,所述第二识别结果用于指示针对电子设备的一个操作命令或者一段语义;以及提供单元730被配置为提供所述第二识别结果。
尽管此处将上述的各个单元作为各个步骤的执行主体来说明本发明的各个实施例,但是,本领域技术人员能够理解的是,本发明不限于此。各个步骤的执行主体可以由其他的一个或多个设备、装置、单元、甚至模块来担任。
例如,上述输入单元501、第一识别单元502,第二识别结果接收单元503以及处理单元504所执行的各个步骤可以统一地由电子设备101中的中央处理单元(CPU)来实现。上述接收单元710,第二识别单元720以及提供单元730所执行的各个步骤可以统一地由识别服务器170上的中央处理单元(CPU)来实现。
需要指出的是,本公开实施例不仅可以用于控制智能电视等多媒体播放设备,还可以用于控制其他智能设备,本公开在此不作限定。以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种信息处理方法,应用于电子设备,所述方法包括:
接收输入信息;
基于第一词库识别所述输入信息,得到一个或多个第一识别结果;其中,所述第一识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;
接收基于第二词库识别所述输入信息得到的一个或多个第二识别结果;其中,所述第二识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;
基于所述一个或多个第一识别结果或第二识别结果得到一个或多个最终识别结果,并执行所述最终识别结果。
2.如权利要求1所述信息处理方法,其中,
所述输入信息包括连续输入的多个语句;
所述基于第一词库识别所述信息,得到一个或多个第一识别结果,包括:
基于第一词库识别所述多个语句中的每个语句,得到多个第一识别结果;
所述接收基于第二词库识别所述信息得到的一个或多个第二识别结果,包括:
接收基于第二词库识别所述多个语句中的每个语句得到的多个第二识别结果;
所述基于所述一个或多个第一识别结果或第二识别结果得到最终识别结果,包括:
依据所述多个语句中的每个语句的输入顺序,依次基于所述第一识别结果或第二识别结果得到多个最终识别结果。
3.如权利要求2所述信息处理方法,还包括,将所述多个最终识别结果组成识别列表,其中,所述识别列表中各项排列的前后次序与接收语句的次序相同;
所述执行所述最终识别结果,包括:
依次从所述识别列表中读取各个最终识别结果,并执行各个最终识别结果对应的操作命令,或者基于最终识别结果指示的语义提供相关信息。
4.如权利要求1或2所述的信息处理方法,其中,
位于所述电子设备上的语音识别器基于所述第一词库识别所述输入信息;
位于远端设备上的语音识别器基于所述第二词库识别所述输入信息;
其中,所述第一词库词语的存储量小于所述第二词库的词语的存储量。
5.如权利要求1或2所述信息处理方法,其中,所述基于一个所述第一识别结果或第二识别结果得到最终识别结果,包括:
从第一识别结果或者第二识别结果中依据预定规则选择其中一个识别结果作为最终的识别结果。
6.如权利要求5所述信息处理方法,其中,所述依据预定规则选择其中一个识别结果作为最终识别结果,包括:
如果第一识别结果指示输入信息对应的是一个操作命令或一段完成的语义,则选择所述第一识别结果作为最终识别结果;以及
如果第一识别结果指示输入信息对应的是一个无法识别的操作命令,则选择所述第二识别结果作为最终识别结果。
7.如权利要求5所述信息处理方法,所述依据预定规则选择一个识别结果作为最终识别结果,包括:
如果第二识别结果指示输入信息对应的是一个操作命令,则选择所述第二识别结果作为最终识别结果;
如果第二识别结果指示输入信息对应的是一段的语义,而同时第一识别结果指示该输入信息对应的是一个操作命令时,则选择所述第一识别结果作为最终识别结果;
如果第二识别结果指示输入信息对应的是一段的语义,而同时第一识别结果指示该输入信息对应的是一个无法识别的操作命令时,则选择所述第二识别结果作为最终识别结果。
8.一种信息处理装置,应用于电子设备,所述装置包括:
输入单元,被配置为接收输入信息;
第一识别单元,被配置为基于第一词库识别所述输入信息,得到一个或多个第一识别结果;其中,所述第一识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;
第二识别结果接收单元,被配置为接收基于第二词库识别所述输入信息得到的一个或多个第二识别结果;其中,所述第二识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;以及
处理单元,被配置为基于所述一个或多个第一识别结果或第二识别结果得到一个或多个最终识别结果,并执行所述最终识别结果。
9.一种电子设备,包括:
采集装置,被配置为接收并采集输入信息;
处理装置,被配置为基于第一词库识别所述输入信息,得到一个或多个第一识别结果;其中,所述第一识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;
通信装置,被配置为接收基于第二词库识别所述输入信息得到的一个或多个第二识别结果;其中,所述第二识别结果用于指示针对所述电子设备的一个操作命令或者一段语义;
其中,所述处理装置还被配置为基于所述一个或多个第一识别结果或第二识别结果得到一个或多个最终识别结果,并执行所述最终识别结果。
10.如权利要求9所述的电子设备,其中,
所述采集装置为音频采集装置;
所述电子设备还包括:存储装置,该存储装置被配置为存储第一词库;
所述处理装置基于所述存储装置存储的第一词库识别所述音频采集装置的输入信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610509734.1A CN106126714A (zh) | 2016-06-30 | 2016-06-30 | 信息处理方法及信息处理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610509734.1A CN106126714A (zh) | 2016-06-30 | 2016-06-30 | 信息处理方法及信息处理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106126714A true CN106126714A (zh) | 2016-11-16 |
Family
ID=57468027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610509734.1A Pending CN106126714A (zh) | 2016-06-30 | 2016-06-30 | 信息处理方法及信息处理装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106126714A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107785019A (zh) * | 2017-10-26 | 2018-03-09 | 西安Tcl软件开发有限公司 | 车载设备及其语音识别方法、可读存储介质 |
CN108288468A (zh) * | 2017-06-29 | 2018-07-17 | 腾讯科技(深圳)有限公司 | 语音识别方法及装置 |
CN109712607A (zh) * | 2018-12-30 | 2019-05-03 | 联想(北京)有限公司 | 一种处理方法、装置及电子设备 |
CN109871847A (zh) * | 2019-03-13 | 2019-06-11 | 厦门商集网络科技有限责任公司 | 一种ocr识别方法及终端 |
CN110309845A (zh) * | 2018-03-27 | 2019-10-08 | 松下知识产权经营株式会社 | 信息处理系统以及信息处理方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1448915A (zh) * | 2002-04-01 | 2003-10-15 | 欧姆龙株式会社 | 声音识别系统、装置、声音识别方法以及声音识别程序 |
CN102708865A (zh) * | 2012-04-25 | 2012-10-03 | 北京车音网科技有限公司 | 语音识别方法、装置及系统 |
CN103079258A (zh) * | 2013-01-09 | 2013-05-01 | 广东欧珀移动通信有限公司 | 一种提高语音识别准确性的方法及移动智能终端 |
CN103247291A (zh) * | 2013-05-07 | 2013-08-14 | 华为终端有限公司 | 一种语音识别设备的更新方法、装置及系统 |
US20130254656A1 (en) * | 2012-03-20 | 2013-09-26 | Adobe Systems Incorporated | Local Authoring and Editing of Cloud-Based Electronic Content |
CN103853703A (zh) * | 2014-02-19 | 2014-06-11 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN104240707A (zh) * | 2012-11-26 | 2014-12-24 | 北京奇虎科技有限公司 | 用于浏览器的语音识别处理方法和浏览器 |
US9275637B1 (en) * | 2012-11-06 | 2016-03-01 | Amazon Technologies, Inc. | Wake word evaluation |
-
2016
- 2016-06-30 CN CN201610509734.1A patent/CN106126714A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1448915A (zh) * | 2002-04-01 | 2003-10-15 | 欧姆龙株式会社 | 声音识别系统、装置、声音识别方法以及声音识别程序 |
US20130254656A1 (en) * | 2012-03-20 | 2013-09-26 | Adobe Systems Incorporated | Local Authoring and Editing of Cloud-Based Electronic Content |
CN102708865A (zh) * | 2012-04-25 | 2012-10-03 | 北京车音网科技有限公司 | 语音识别方法、装置及系统 |
US9275637B1 (en) * | 2012-11-06 | 2016-03-01 | Amazon Technologies, Inc. | Wake word evaluation |
CN104240707A (zh) * | 2012-11-26 | 2014-12-24 | 北京奇虎科技有限公司 | 用于浏览器的语音识别处理方法和浏览器 |
CN103079258A (zh) * | 2013-01-09 | 2013-05-01 | 广东欧珀移动通信有限公司 | 一种提高语音识别准确性的方法及移动智能终端 |
CN103247291A (zh) * | 2013-05-07 | 2013-08-14 | 华为终端有限公司 | 一种语音识别设备的更新方法、装置及系统 |
CN103853703A (zh) * | 2014-02-19 | 2014-06-11 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108288468A (zh) * | 2017-06-29 | 2018-07-17 | 腾讯科技(深圳)有限公司 | 语音识别方法及装置 |
WO2019001194A1 (zh) * | 2017-06-29 | 2019-01-03 | 腾讯科技(深圳)有限公司 | 语音识别方法、装置、设备及存储介质 |
CN108288468B (zh) * | 2017-06-29 | 2019-07-19 | 腾讯科技(深圳)有限公司 | 语音识别方法及装置 |
US11164568B2 (en) | 2017-06-29 | 2021-11-02 | Tencent Technology (Shenzhen) Company Ltd | Speech recognition method and apparatus, and storage medium |
CN107785019A (zh) * | 2017-10-26 | 2018-03-09 | 西安Tcl软件开发有限公司 | 车载设备及其语音识别方法、可读存储介质 |
CN110309845A (zh) * | 2018-03-27 | 2019-10-08 | 松下知识产权经营株式会社 | 信息处理系统以及信息处理方法 |
CN110309845B (zh) * | 2018-03-27 | 2024-06-04 | 松下知识产权经营株式会社 | 信息处理系统以及信息处理方法 |
CN109712607A (zh) * | 2018-12-30 | 2019-05-03 | 联想(北京)有限公司 | 一种处理方法、装置及电子设备 |
CN109712607B (zh) * | 2018-12-30 | 2021-12-24 | 联想(北京)有限公司 | 一种处理方法、装置及电子设备 |
CN109871847A (zh) * | 2019-03-13 | 2019-06-11 | 厦门商集网络科技有限责任公司 | 一种ocr识别方法及终端 |
CN109871847B (zh) * | 2019-03-13 | 2022-09-30 | 厦门商集网络科技有限责任公司 | 一种ocr识别方法及终端 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108428446A (zh) | 语音识别方法和装置 | |
KR101925440B1 (ko) | 가상현실 기반 대화형 인공지능을 이용한 화상 대화 서비스 제공 방법 | |
CN106126714A (zh) | 信息处理方法及信息处理装置 | |
JP6538779B2 (ja) | 音声対話システム、音声対話方法、および音声対話システムを適合させる方法 | |
CN108255934B (zh) | 一种语音控制方法及装置 | |
CN108182936B (zh) | 语音信号生成方法和装置 | |
CN103456301B (zh) | 一种基于环境声音的场景识别方法及装置及移动终端 | |
CN105391730B (zh) | 一种信息反馈方法、装置及系统 | |
CN107945786A (zh) | 语音合成方法和装置 | |
CN107844586A (zh) | 新闻推荐方法和装置 | |
CN108335696A (zh) | 语音唤醒方法和装置 | |
CN108305626A (zh) | 应用程序的语音控制方法和装置 | |
CN107104994A (zh) | 语音识别方法、电子装置及语音识别系统 | |
KR20140074229A (ko) | 음성 인식 장치 및 그 제어 방법 | |
CN107437417A (zh) | 基于循环神经网络语音识别中语音数据增强方法及装置 | |
CN112632288A (zh) | 一种基于知识图谱的电力调度系统及方法 | |
US9720982B2 (en) | Method and apparatus for natural language search for variables | |
CN105895082A (zh) | 声学模型训练方法、语音识别方法及装置 | |
CN108038208A (zh) | 上下文信息识别模型的训练方法、装置和存储介质 | |
CN107291704A (zh) | 处理方法和装置、用于处理的装置 | |
CN110047484A (zh) | 一种语音识别交互方法、系统、设备和存储介质 | |
CN111402928A (zh) | 基于注意力的语音情绪状态评估方法、装置、介质及设备 | |
CN108257593A (zh) | 一种语音识别方法、装置、电子设备及存储介质 | |
CN108595609A (zh) | 基于人物ip的机器人回复生成方法、系统、介质及设备 | |
CN106356056B (zh) | 语音识别方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161116 |