CN107798052A - 词典更新装置及词典更新方法 - Google Patents

词典更新装置及词典更新方法 Download PDF

Info

Publication number
CN107798052A
CN107798052A CN201710761204.0A CN201710761204A CN107798052A CN 107798052 A CN107798052 A CN 107798052A CN 201710761204 A CN201710761204 A CN 201710761204A CN 107798052 A CN107798052 A CN 107798052A
Authority
CN
China
Prior art keywords
candidate
word
information
text
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710761204.0A
Other languages
English (en)
Other versions
CN107798052B (zh
Inventor
长健太
后藤和之
宫部泰成
筱崎政久
酒主佳祐
祖国威
平野薰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Solutions Corp filed Critical Toshiba Corp
Publication of CN107798052A publication Critical patent/CN107798052A/zh
Application granted granted Critical
Publication of CN107798052B publication Critical patent/CN107798052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/374Thesaurus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/242Dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/53Processing of non-Latin text
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065Adaptation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/183Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • G10L2015/0631Creating reference templates; Clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Character Discrimination (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供能够有效地抑制将不应该登记的单词追加登记到单词词典中的不良情况的词典更新装置。该词典更新装置具备候补提取部、选择控制部及单词登记部。候补提取部基于通过声音识别引擎使用单词词典进行声音识别处理而获得的识别结果文本和表示修正了该识别结果文本的至少一部分的结果的修正结果文本,提取对所述单词词典追加登记的单词的候补。选择控制部生成选择画面,并受理对显示于该选择画面的候补进行选择的操作,该选择画面上以能够选择的方式显示提取到的候补,并且至少一并显示表示在将该候补追加登记到所述单词词典中的情况下对声音识别处理带来的影响的信息。单词登记部将在所述选择画面上所选择的候补追加登记到所述单词词典中。

Description

词典更新装置及词典更新方法
本申请享受2016年9月6日在先提出的日本国专利申请号2016-173918的优先权的利益,并且包括在先申请的全部内容。
技术领域
本发明的实施方式涉及词典更新装置及词典更新方法。
背景技术
以往,关于使用单词词典进行声音识别处理的声音识别系统,根据用户对识别结果的修正操作来追加登记未登记于单词词典的单词的技术为人们所知。该现有技术,在用户进行的修正后的单词未被登记于单词词典的情况下,将修正后的单词自动地向单词词典中追加登记。为此,存在登记到单词词典中反而对声音识别处理造成不良影响的单词也被追加登记的情况,要求改善。
发明内容
本发明要解决的课题在于,提供能够有效地抑制将不应该登记的单词追加登记到单词词典中的不良情况的词典更新装置。
实施方式的词典更新装置具备候补提取部、选择控制部及单词登记部。候补提取部基于识别结果文本和修正结果文本,提取对单词词典追加登记的单词的候补,该识别结果文本通过声音识别引擎使用所述单词词典进行声音识别处理而获得,该修正结果文本表示对该识别结果文本的至少一部分进行了修正后的结果。选择控制部生成选择画面,并受理对显示于该选择画面的候补进行选择的操作,所述选择画面上以能够选择的方式显示提取到的候补,并且至少一并显示表示在将该候补追加登记到所述单词词典中的情况下对声音识别处理带来的影响的信息。单词登记部将在所述选择画面上所选择的候补追加登记到所述单词词典中。
根据上述构成的词典更新装置,能够有效地抑制将不应该登记的单词追加登记到单词词典中的不良情况。
附图说明
图1是表示实施方式的服务器装置的功能上的构成例的框图。
图2是表示用户数据的一例的图。
图3是表示声音数据的一例的图。
图4是表示单词词典的一例的图。
图5是表示识别结果数据的一例的图。
图6是表示修正结果数据的一例的图。
图7是表示候补数据的一例的图。
图8是表示关联文件数据的一例的图。
图9是表示评价用数据的一例的图。
图10是表示选择画面的一例的图。
图11是表示服务器装置的动作例的流程图。
图12是表示服务器装置的硬件构成例的框图。
具体实施方式
以下,参照附图详细地说明实施方式的词典更新装置及词典更新方法。以下,举出将实施方式的词典更新装置作为进行使用了单词词典的声音识别处理的声音识别系统的扩张功能来实现的例子进行说明。作为一个例子,声音识别系统能够作为利用了网络的服务器·客户端系统的服务器装置而实现。该服务器装置,根据对于通过使用了单词词典的声音识别处理而获得的识别结果文本的修正操作,提取对单词词典追加登记的单词的候补。并且,生成将提取到的候补以能够选择的方式显示的后述的单词选择画面,并将在该单词选择画面上所选择的候补登记到单词词典中。
图1是表示本实施方式的服务器装置10的功能上的构成例的框图。本实施方式的服务器装置10,例如从声音识别利用应用程序30、浏览器40经由网络而访问。声音识别利用应用程序30是利用基于服务器装置10的声音识别处理的任意的应用程序,在任意的注册用户使用的客户端装置上动作。该客户端装置至少具备:作为声音识别利用应用程序30的执行环境的计算机资源、用于输入用户的声音的领夹麦克风(pin mac)、耳机等的声音输入装置、用于显示识别结果文本的显示装置、用于输入对识别结果文本的修正操作的鼠标、键盘、指示器、触摸屏等操作输入装置、及用于经由网络与服务器装置10连接的通信装置。
另外,浏览器40是用于阅览服务器装置10提供的后述的选择画面的软件,例如在系统的管理者、或者声音识别利用应用程序30的管理者等使用的客户端装置上动作。该客户端装置至少具备作为浏览器40的执行环境的计算机资源、用于显示后述的选择画面的显示装置、用于输入对选择画面的操作的鼠标、键盘、指示器、触摸屏等操作输入装置、用于经由网络与服务器装置10连接的通信装置。另外,也可以是声音识别利用应用程序30和浏览器40在共用的客户端装置上动作的构成。也就是说,可以是使用浏览器40进行用于登记单词的操作的系统的管理者、声音识别利用应用程序30的管理者等使用声音识别利用应用程序30进行对识别结果文本的修正操作,也可以是声音识别利用应用程序30的终端用户使用浏览器40进行用于登记单词的操作。
本实施方式的服务器装置10如例如图1所示,具备用户认证部11、声音输入受理部12、声音识别引擎13、修正控制部14、候补提取部15、精度评价部16、选择控制部17及单词登记部18。
用户认证部11进行从声音识别利用应用程序30、浏览器40向系统的登录处理。通过登录处理,服务器装置10确定访问系统的用户,并把握由声音输入受理部12受理了输入的声音是哪个用户的声音、进行对哪个用户的单词登记动作等。用户通过从声音识别利用应用程序30、浏览器40登录到系统中,从而能够利用本实施方式的服务器装置10的服务。设为能够登录系统的用户是在事前注册过的用户。与注册过的用户(注册用户)有关的用户数据,被存储于用户数据保存部21。用户认证部11参照用户数据保存部21,进行登录处理。用户认证部11具备用于进行认证的API(Application Programming Interface:应用程序界面)及UI(User Interface:用户界面)。
图2是表示存储于用户数据保存部21的用户数据D1的一例的图。用户数据D1如例如图2所示,包括用户ID、用户名及修正任务熟练度。用户ID是对于各注册用户唯一地分配的识别信息。用户名是用于判别用户的固有名。在登录处理中用户输入或选择用户名。修正任务熟练度被用于计算后述的候补提取部15提取到的候补的得分。关于修正任务熟练度的设定及利用方法,在后面叙述。用户数据D1可以包含用户的邮箱地址、用于认证的密码等其他的信息。
声音输入受理部12受理来自声音识别利用应用程序30的声音输入,并将包含所输入的声音及其附加信息的声音数据保存于声音数据保存部22。从声音识别利用应用程序30,输入例如声音输入按钮的开启关闭等用户的明示的操作、或者根据检测到用户的发声中断一定时间以上的情况等而分割的连续的声音。声音输入受理部12将该连续的声音作为单一的声音而保存在声音数据保存部22中。
图3是表示保存在声音数据保存部22中的声音数据D2的一例的图。声音数据D2如例如图3所示,包括声音ID、用户ID、声音及发声日期时间。声音ID是对各声音唯一地分配的识别信息。用户ID表示哪个用户发出了该声音。声音是该声音本身的字节数据。发声日期时间表示进行了该声音的发声的日期时间。
通过声音输入受理部12受理了输入的声音,从声音输入受理部12直接被读出、或者暂时保存于声音数据保存部22后被读出,并被送至声音识别引擎13。
声音识别引擎13使用单词词典保存部23保存的单词词典,对通过声音输入受理部12受理了输入的声音进行声音识别处理。单词词典存在与各用户相对应的单一的单词词典,使用与请求声音识别处理的用户对应的单词词典进行声音识别处理。也可以是存在多个用户共享的单词词典,用户选择共享单词词典并进行声音识别处理、后述的单词登记动作的构成。
图4是表示单词词典保存部23保存的单词词典D3的一例的图。单词词典D3如例如图4所示,包括单词ID、标记及读法。单词ID是对登记于单词词典D3的各单词唯一地分配的识别信息。标记表示该单词如何显示。读法由建立与该单词的音素的对应所用的平假名、片假名构成。对1个单词可以登记有多个读法。单词词典D3也可以包含各单词的词类信息等其他的信息。
声音识别引擎13进行的声音识别处理的结果,作为识别结果数据被保存在识别结果保存部24中。图5是表示保存在识别结果保存部24中的识别结果数据D4的一例的图。识别结果数据D4如例如图5所示,包括识别结果ID、声音ID、发声日期时间及识别结果文本。识别结果ID是对各识别结果唯一地分配的识别信息。声音ID表示该识别结果是对哪个声音的声音识别处理的结果。发声日期时间表示进行与该识别结果对应的声音的发声的日期时间。识别结果文本是作为声音识别处理的结果而获得的文本数据。声音识别引擎13将单一的声音以未进行发声的区间分割而进行声音识别处理,因此对于单一的声音获得多个识别结果的情况存在。
修正控制部14接受来自声音识别利用应用程序30的请求,对识别结果文本进行修正。修正控制部14例如生成显示所指定的范围的识别结果文本的修正画面,并在该修正画面上受理用户的修正操作,从而修正识别结果文本。但是,修正控制部14只要是能够取得与用户对识别结果文本的修正操作对应的修正结果的构成即可,不限于上述的例子。修正控制部14的修正结果,作为修正结果数据被保存于修正结果保存部25。
图6是表示保存于修正结果保存部25的修正结果数据D5的一例的图。修正结果数据D5如例如图6所示那样、包括修正结果ID、识别结果ID、修正用户ID、修正日期时间及修正结果文本。修正结果ID是对各修正结果唯一地分配的识别信息。识别结果ID表示该修正结果是对哪个识别结果文本进行修正而获得的。修正用户ID是进行了修正的用户的用户ID。修正日期时间表示进行了修正的日期时间。修正结果文本是通过修正识别结果文本而获得的文本数据。对识别结果文本的修正,不仅能够针对对于该用户的发声进行声音识别处理而获得的识别结果文本进行,还能够针对对于其他的用户的发声进行声音识别处理而获得的识别结果文本进行。也可以是修正控制部14、声音识别利用应用程序30限制能够对某识别结果文本进行修正的用户的构成。
候补提取部15参照识别结果保存部24及修正结果保存部25,基于识别结果数据D4中包含的识别结果文本及修正结果数据D5中包含的修正结果文本,提取对单词词典D3追加登记的单词的候补。候补提取部15例如根据从浏览器40请求后述的选择画面的生成而被调用。候补的提取例如通过检测修正结果文本相对于识别结果文本的差分来进行。即,候补提取部15例如基于图5所例示的识别结果ID为65的识别结果文本“理解あは人的動きを把握し認識します”、及图6所例示的修正结果ID为32的修正结果文本“リカイアは人的動きを把握し認識します”,检测出识别结果文本中包含的“理解あ”为“リカイア”的情况,作为修正结果文本相对于识别结果文本的差分,并提取修正结果文本中包含的“リカイア”,作为对单词词典D3追加登记的单词的候补。在检测修正结果文本相对于识别结果文本的差分时,也可以进行对修正结果文本进行语态素分析并仅将被认为是差分之中或周边的名词的部分作为提取对象的后处理。
由候补提取部15提取到的候补,作为候补数据被保存在候补保存部26中。图7是表示保存在候补保存部26中的候补数据D6的一例的图。候补数据D6如例如图7所示,包括候补ID、标记、读法、修正结果ID、精度提高贡献率、得分、得分增加因素信息、得分减少因素信息。
候补ID是对于候补提取部15提取到的各候补唯一地分配的识别信息。标记从修正结果文本获得。关于读法,在标记为平假名或片假名的情况下原封不动利用标记,在这以外的情况下参照例如记述有标记与读法的对应关系的外部词典而取得。另外,关于读法未判明的候补,也可以采用使读法为空白栏并在后述的选择画面上由用户追加记载读法的构成。关于用字母示出标记的候补,也可以记录将字母的读法连结后的读法作为该候补的读法。
修正结果ID表示该候补是从哪个修正结果文本提取到的。在从多个修正结果文本提取到同一候补的情况下,在该候补的修正结果ID中,记录与提取到该候补的多个修正结果文本对应的多个修正结果ID。
精度提高贡献率表示,通过对单词词典D3追加登记该候补,声音识别引擎13的识别精度提高何种程度。精度提高贡献率例如通过用精度评价部16评价该候补的登记前及登记后的声音识别引擎13的识别精度而计算。在声音识别引擎13的识别精度在该候补的登记前后提高了例如1.0百分点的情况下,即候补的登记后的识别精度相对于登记前的识别精度的差分为+1.0百分点的情况下,该候补的精度提高贡献率为1.0。另外,关于精度评价部16的识别精度的评价,在后面叙述。
得分表示该候补的优先度,基于几个得分增加因素及得分减少因素而计算。得分增加因素表示该候补的得分的计算中使用的得分增加因素,得分减少因素表示该候补的得分的计算中使用的得分减少因素。
作为得分增加因素,例如列举出该候补是与后述的关联文件内的重要词语一致的单词、该候补从很多的修正结果文本提取而修正频率高、使识别精度提高的效果高、进行了修正的用户的修正任务熟练度高等。另一方面,作为得分减少因素,例如列举出该候补的字符数少等。
对于从修正结果文本提取到的候补,候补提取部15判定上述的得分增加因素及得分减少因素的有无,根据得分增加因素、得分减少因素来增减作为基础的得分,从而计算候补的得分。得分的增减值,既可以是按每个因素为固定的值,也可以是例如关于修正频率超过基准值引起的得分的增加以修正频率越高则越增大得分的增加值等方式加以校正。候补提取部15将这样计算出的各候补的得分,与得分计算中使用的得分增加因素、得分减少因素一起记录。
为了判定是与关联文件内的重要词语一致的单词这一得分增加因素的有无,候补提取部15参照保存了与关联文件有关的关联文件数据的关联文件数据保存部27。关联文件是与利用服务器装置10的服务的声音识别利用应用程序30关联的文件,如果声音识别利用应用程序30是使会议声音文本化的应用程序,则设想为与该会议有关的资料,如果是将呼叫中心中的对话标签文本化的应用程序,则设想为业务的手册等。
图8是表示保存在关联文件数据保存部27中的关联文件数据D7的一例的图。关联文件数据D7如例如图8所示,包括文件ID、用户ID、文件名、重要词语。文件ID是针对所登记的各关联文件唯一地分配的识别信息。用户ID表示哪个用户登记了该关联文件。文件名是该关联文件的文件名。重要词语是从该关联文件提取到的重要词语,使用例如TF-IDF等的文本处理的指标从关联文件提取。
对于从修正结果文本提取到的候补,候补提取部15从关联文件数据D7检索与该候补的标记一致的重要词语,在找到了与候补的标记一致的重要词语的情况下,使该候补的得分增加,并且记录“关联文件内重要词语”作为得分增加因素。
另外,为了判定修正频率高这一得分增加因素的有无,对于从修正结果文本提取到的候补,候补提取部15例如计数已记录在候补数据D6中的修正结果ID的数量,判定修正ID的数量是否为基准值(例如3)以上。并且,如果候补数据D6中记录的修正结果ID的数量为基准值以上(也就是说修正频率为基准值以上),则使该候补的得分增加,并且记录“修正频率高”作为得分增加因素。
另外,为了判定使识别精度提高的效果高这一得分增加因素的有无,对于从修正结果文本提取到的候补,候补提取部15例如将记录于候补数据D6的精度提高贡献率与规定的阈值(例如1.0百分点)进行比较,并判定精度提高贡献率是否为阈值以上。并且,如果精度提高贡献率为阈值以上,则判断为使识别精度提高的效果高,使该候补的得分增加,并且记录“精度提高效果高”作为得分增加因素。
另外,为了判定进行了修正的用户的修正任务熟练度高这一得分增加因素的有无,对于从修正结果文本提取到的候补,候补提取部15首先将记录于候补数据D6的修正结果ID作为关键字检索修正结果数据D5,并取得对应的修正用户ID。接着,候补提取部15,将所取得的修正用户ID作为关键字检索用户数据D1,取得进行了修正的用户的修正任务熟练度。然后,候补提取部15将所取得的修正任务熟练度与规定值(例如15)进行比较,如果修正任务熟练度为规定值以上,则判断为进行了修正的用户的修正任务熟练度高,使该候补的得分增加,并且记录“熟练用户的修正”作为得分增加因素。
另外,为了判定候补的字符数少这一得分减少因素的有无,对于从修正结果文本提取到的候补,候补提取部15例如将记录于候补数据D6的标记的字符数与规定数(例如3)进行比较,并判定标记的字符数是否为规定数以下。并且,如果标记的字符数为规定数以下,则判定为候补的字符数少,使该候补的得分减少,并且记录“短的单词”作为得分减少因素。
这里,对评价声音识别引擎13的识别精度的精度评价部16进行说明。精度评价部16使用保存于评价用数据保存部28的评价用数据,评价声音识别引擎13的识别精度。图9是表示保存于评价用数据保存部28的评价用数据D8的一例的图。评价用数据D8如例如图9所示,包括评价用数据ID、评价用声音、书写文本。评价用数据ID是对于保存于评价用数据保存部28的各评价用数据唯一地分配的识别信息。评价用声音是评价中使用的声音的字节数据。书写文本是由评价用数据D8的作成者书写的文本,是与评价用声音对应的正确的文本。
精度评价部16,将评价用数据D8中包含的评价用声音输入至声音识别引擎13,将由声音识别引擎13对该评价用声音进行声音识别处理而获得的识别结果文本,与对应于评价用声音的书写文本进行比较。并且,基于两者的一致度,评价声音识别引擎13的识别精度。作为识别结果文本与书写文本的一致度,使用例如字符正确率等。使用该精度评价部16,评价将候补提取部15提取到的候补作为单词词典D3中包含的单词对待的情况下的声音识别引擎13的识别精度,由此能够计算该候补的精度提高贡献率。
选择控制部17生成选择画面,并受理对显示于该选择画面的候补进行选择的操作,该选择画面上将候补提取部15提取到的候补以能够选择的方式显示,并且至少一并显示表示将该候补追加登记到单词词典D3的情况下对声音识别处理带来的影响的信息。
图10是表示选择控制部17生成的选择画面50的一例的图。选择画面50如例如图10所示,包括候补列表显示区域51、修正履历显示区域52、变化例显示区域53、精度变化显示区域54、得分增减因素显示区域55及“登记”按钮56。
在候补列表显示区域51,显示候补提取部15提取到的候补的列表(候补列表)。候补列表是将候补提取部15提取到的候补按得分从高到低的顺序排列的列表。候补列表中包含的各候补分别用标记57和读法58表示,在各候补的左侧,配置有用于选择该候补作为对单词词典D3追加登记的单词的复选框59。候补列表中包含的各候补的得分、标记57及读法58,从上述的候补数据D6取得。
在修正履历显示区域52,显示与候补列表中包含的各候补对应的修正履历。修正履历例如以用箭头等记号将该候补的提取中使用的识别结果文本与修正结果文本的对建立对应的形式显示。例如,从上述的候补数据D6选择一个各候补的修正结果ID,取得与该修正结果ID对应的修正结果文本及与同该修正结果ID建立关联的识别结果ID对应的识别结果文本并进行显示。
在变化例显示区域53,显示与候补列表中包含的各候补对应的识别结果文本的变化例。所谓的与各候补对应的识别结果文本的变化例,是在将该候补对单词词典D3追加登记的前后,声音识别引擎13输出的识别结果文本变化的例子。识别结果文本的变化例,例如检测在将该候补对单词词典D3追加登记的前后、声音识别引擎13输出的识别结果文本发生变化的部分,并以将包括该发生变化的部分的规定长度的识别结果文本的对用箭头等的记号建立对应的形式进行显示。在检测到多个识别结果文本变化的部分的情况下,使登记后的识别结果文本不包括候补的标记的文本优先地显示,由此能够对用户表示出通过将该候补对单词词典D3追加登记而其他的部分变化等、该候补的追加登记带来的副作用。另外,通过将登记前的识别结果文本与修正履历内的识别结果文本不同的文本优先地显示,从而能够对用户表示出将该候补对单词词典D3追加登记对修正过的部位以外有怎样的影响。另外,也可以采用与1个候补对应地显示多个变化例的构成。
在精度变化显示区域54显示出精度变化,该精度变化表示在将候补列表中当前所选择的候补、即复选框59中写入了复选的候补向单词词典D3追加登记的情况下声音识别引擎13的识别精度相比于登记前如何变化。精度变化,例如以用箭头等记号将使用了候补列表中包含的候补任一个都未被登记的当前的单词词典D3的情况下的声音识别引擎13的识别精度(登记前的识别精度)与使用了追加登记了当前所选择的候补的单词词典D3的情况下的声音识别引擎13的识别精度(登记后的识别精度)建立对应的形式来显示。登记后的识别精度,作为估算值,例如通过对登记前的识别精度加上针对当前所选择的候补所计算出的上述的精度提高贡献率而计算。如果当前所选择的候补有多个,则各候补的精度提高贡献率分别被加到登记前的识别精度上。因此,相应于所选择的候补,登记后的识别精度变化,表示登记前后的识别精度的变化的精度变化,以根据所选择的候补而变化的方式显示。
显示于变化例显示区域53的识别结果文本的变化例、与显示于精度变化显示区域54的精度变化,都是表示将候补追加登记到单词词典D3的情况下对声音识别处理带来的影响的信息。用户通过参照显示于选择画面50的这些信息,能够适当地判断是否应该将候补列表中包含的各候补追加登记到单词词典D3。
在得分增减因素显示区域55,显示与候补列表中包含的各候补对应的得分增加因素或得分减少因素。与各候补对应的得分增加因素、得分减少因素,从上述的候补数据D6取得。即,在得分增减因素显示区域55,显示例如“关联文件重要词语”、“修正频率高”、“精度提高效果高”、“熟练用户的修正”等作为得分增加因素。另外,在得分增减因素显示区域55,显示例如“短的单词”等作为得分减少因素。用户通过参照选择画面50上显示的这些信息,能够把握确定候补列表中包含的各候补的优先度的理由,能够更适当地判断是否应该将各候补追加登记到单词词典D3。
“登记”按钮56,是用户为了确定将在候补列表中选择的候补追加登记到单词词典D3中而进行操作的按钮。在选择画面50的“登记”按钮56被操作时,选择控制部17将在该时刻被选择的候补确定为追加登记的对象,并将该候补的标记57与读法58的对通知至单词登记部18。另外,此时,选择控制部17,对于确定为追加登记的对象的候补,取得候补数据D6中包含的修正结果ID,并将该修正结果ID作为关键字检索修正结果数据D5,从而取得表示进行了成为候补提取的基础的修正操作的用户的修正用户ID。并且,在用户数据D1中使同与所取得的修正用户ID一致的用户ID对应的修正任务熟练度增加一定数量。
单词登记部18将在选择画面50上所选择的候补追加登记到单词词典D3。即单词登记部18相应于选择画面50的“登记”按钮56被操作,将从选择控制部17通知的候补的标记57与读法58的对,登记到单词词典D3。
接着,参照图11对本实施方式的服务器装置10的一系列的动作步骤的概要进行说明。图11是表示本实施方式的服务器装置10的动作例的流程图。
首先,声音识别引擎13,对于从声音识别利用应用程序30输入的声音,进行使用了单词词典D3的声音识别处理,并将识别结果作为识别结果数据D4保存在识别结果保存部24中(步骤S101)。
接着,修正控制部14,相应于用户的修正操作对识别结果数据D4中包含的识别结果文本进行修正,并将修正结果作为修正结果数据D5保存在修正结果保存部25中(步骤S102)。
接着,候补提取部15,基于识别结果数据D4中包含的识别结果文本和修正结果数据D5中包含的修正结果文本,提取对单词词典D3追加登记的单词的候补(步骤S103)。然后,候补提取部15,生成与在步骤S103中提取到的候补有关的候补数据D6,并保存在候补保存部26中(步骤S104)。
接着,选择控制部17,基于候补数据D6生成如图10所示的选择画面50(步骤S105),受理对显示于该选择画面50的候补进行选择的用户的操作(步骤S106)。
最后,单词登记部18,将在选择画面50上由用户所选择的候补追加登记到单词词典D3中(步骤S107),服务器装置10的一系列的动作结束。
以上,如举出具体的例子进行详细地说明那样,本实施方式的服务器装置10,基于通过声音识别引擎13使用单词词典D3进行声音识别处理而获得的识别结果文本及通过修正该识别结果文本的至少一部分而获得的修正结果文本,提取对单词词典D3追加登记的单词的候补。然后,生成选择画面50,并受理对在该选择画面50上所显示的候补进行选择的操作,该选择画面50将提取到的候补以能够选择的方式显示,并且至少一并显示表示在将候补追加登记到单词词典D3的情况下对声音识别处理带来的影响的信息。然后,将在选择画面50上所选择的候补追加登记到单词词典D3。因此,根据本实施方式的服务器装置10,能够使用户识别到在将对单词词典D3追加登记的单词的候补实际追加登记到单词词典D3中的情况下对声音识别处理带来的影响的同时选择对单词词典D3追加登记的单词。由此,能够有效地抑制将不应该登记的单词追加登记到单词词典D3中的不良情况。
本实施方式的服务器装置10,例如能够通过构成一般的计算机的硬件与用计算机执行的程序(软件)的协作来实现。例如,计算机执行规定的程序,由此能够实现上述的用户认证部11、声音输入受理部12、声音识别引擎13、修正控制部14、候补提取部15、精度评价部16、选择控制部17及单词登记部18。另外,能够使用计算机具备的大容量存储装置,实现上述的用户数据保存部21、声音数据保存部22、单词词典保存部23、识别结果保存部24、修正结果保存部25、候补保存部26、关联文件数据保存部27及评价用数据保存部28。另外,候补保存部26也可以使用临时性地保存数据的RAM等的存储装置来实现。
图12是表示本实施方式的服务器装置10的硬件构成例的框图。服务器装置10如例如图12所示,具有具备CPU101等的硬件处理器、RAM102、ROM103等的存储装置、HDD104等的大容量存储装置、经由网络与外部进行通信的通信I/F105及用于连接周边设备的设备I/F106的作为通常的计算机的硬件构成。
此时,上述的程序例如记录在磁盘、光盘、半导体存储器或与之类似的记录介质中提供。记录程序的记录介质只要是计算机系统能够读取的记录介质即可,其存储形式可以是任意的方式。另外,可以构成为将上述程序以预先安装在计算机中,也可以构成为将经由网络发布的上述的程序适当安装在计算机中。
通过上述的计算机执行的程序,成为包括上述的用户认证部11、声音输入受理部12、声音识别引擎13、修正控制部14、候补提取部15、精度评价部16、选择控制部17及单词登记部18等的功能上的各部的模块构成,CPU101等的硬件处理器适当读出并执行该程序,由此上述的各部在RAM102等的主存储器上生成。
另外,本实施方式的服务器装置10,也可以是通过ASIC(Application SpecificIntegrated Circuit)、FPGA(Field-Programmable Gate Array)等专用的硬件来实现上述的功能上的各部的一部分或全部的构成。
另外,本实施方式的服务器装置10,也可以是构成为将多台计算机以能够通信的方式连接的网络系统,并将上述的各部分散于多台计算机而实现的构成。另外,本实施方式的服务器装置10也可以是在云系统上动作的虚拟机。
另外,在以上说明的实施方式中,例示出了将词典更新装置作实现为声音识别系统的扩张功能的例子,但实施方式的词典更新装置也可以构成为独立于声音识别系统的其他的装置。该情况下,词典更新装置,经由例如网络与声音识别系统连接,从声音识别系统取得识别结果文本、修正结果文本后进行以后的处理。
以上,对本发明的实施方式进行了说明,但该实施方式是作为例子提示的,意图不是限定发明的范围。该新的实施方式,能够以其他各种各样的方式实施,在不脱离发明的主旨的范围内,能够进行各种省略、置换、变更。这些实施方式及其变形,包含在发明的范围及主旨中,并且包含在权利要求书记载的发明及其等同的范围中。

Claims (12)

1.一种词典更新装置,具备:
候补提取部,基于识别结果文本和修正结果文本,提取对单词词典追加登记的单词的候补,所述识别结果文本通过声音识别引擎使用所述单词词典进行声音识别处理而获得,所述修正结果文本通过修正该识别结果文本的至少一部分而获得;
选择控制部,生成选择画面,并受理对显示于该选择画面的候补进行选择的操作,所述选择画面上以能够选择的方式显示所提取到的候补,并且至少一并显示表示将该候补追加登记到所述单词词典中的情况下对声音识别处理带来的影响的信息;以及
单词登记部,将在所述选择画面上所选择的候补追加登记到所述单词词典中。
2.如权利要求1所述的词典更新装置,
表示所述影响的信息,包括表示在对所述单词词典追加登记候补的前后所述识别结果文本变化的例子的信息。
3.如权利要求2所述的词典更新装置,
所述识别结果文本变化的例子中,不包括对所述单词词典追加登记的候补的单词的例子被优先地显示。
4.如权利要求1所述的词典更新装置,
表示所述影响的信息,包括表示对所述单词词典追加登记候补的前后的所述声音识别引擎的识别精度的变化的信息。
5.如权利要求4所述的词典更新装置,
在所述选择画面上以能够选择的方式显示有多个候补的情况下,表示所述识别精度的变化的信息以根据所选择的候补而变化的方式显示。
6.如权利要求1所述的词典更新装置,
所述选择控制部生成所述选择画面,在所述选择画面上将所提取到的多个候补按表示各候补的优先度的得分从高到低的顺序排列显示,并且还显示表示各候补的得分的增加因素或减少因素的信息。
7.如权利要求6所述的词典更新装置,
表示所述得分的增加因素的信息,包括表示候补是与规定的文件内的重要词语一致的单词的信息。
8.如权利要求6所述的词典更新装置,
表示所述得分的增加因素的信息,包括表示是修正频率为基准值以上的候补的信息。
9.如权利要求6所述的词典更新装置,
表示所述得分的增加因素的信息,包括表示通过对所述单词词典追加登记候补从而所述声音识别引擎的识别精度提高的信息。
10.如权利要求6所述的词典更新装置,
表示所述得分的增加因素的信息,包括表示候补是由熟练修正操作的用户修正过的单词的信息。
11.如权利要求6所述的词典更新装置,
表示所述得分的减少因素的信息,包括表示候补的字符数为规定数以下的信息。
12.一种词典更新方法,包括:
基于识别结果文本和修正结果文本提取对单词词典追加登记的单词的候补的步骤,所述识别结果文本通过声音识别引擎使用所述单词词典进行声音识别处理而获得,所述修正结果文本通过修正该识别结果文本的至少一部分而获得;
生成选择画面并受理对显示于该选择画面的候补进行选择的操作的步骤,所述选择画面上以能够选择的方式显示提取到的候补,并且至少一并显示表示在对所述单词词典追加登记了该候补的情况下对声音识别处理带来的影响的信息;以及
将在所述选择画面上所选择的候补追加登记到所述单词词典中的步骤。
CN201710761204.0A 2016-09-06 2017-08-30 词典更新装置及词典更新方法 Active CN107798052B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016173918A JP6526608B2 (ja) 2016-09-06 2016-09-06 辞書更新装置およびプログラム
JP2016-173918 2016-09-06

Publications (2)

Publication Number Publication Date
CN107798052A true CN107798052A (zh) 2018-03-13
CN107798052B CN107798052B (zh) 2021-07-27

Family

ID=61281300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710761204.0A Active CN107798052B (zh) 2016-09-06 2017-08-30 词典更新装置及词典更新方法

Country Status (3)

Country Link
US (1) US10496745B2 (zh)
JP (1) JP6526608B2 (zh)
CN (1) CN107798052B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705279A (zh) * 2018-07-10 2020-01-17 株式会社理光 一种词汇表的选择方法、装置及计算机可读存储介质
CN113168836A (zh) * 2018-09-27 2021-07-23 株式会社OPTiM 计算机系统、语音识别方法以及程序
CN113722423A (zh) * 2020-05-20 2021-11-30 夏普株式会社 信息处理系统、信息处理方法及信息处理程序

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6526608B2 (ja) * 2016-09-06 2019-06-05 株式会社東芝 辞書更新装置およびプログラム
WO2019087478A1 (ja) * 2017-10-30 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11151986B1 (en) * 2018-09-21 2021-10-19 Amazon Technologies, Inc. Learning how to rewrite user-specific input for natural language understanding
JP6848947B2 (ja) * 2018-09-27 2021-03-24 横河電機株式会社 システム、方法、プログラムおよび記録媒体
JP7192507B2 (ja) * 2019-01-09 2022-12-20 富士フイルムビジネスイノベーション株式会社 情報処理装置、及び情報処理プログラム
CN114556328A (zh) * 2019-12-31 2022-05-27 深圳市欢太科技有限公司 数据处理方法、装置、电子设备和存储介质
JP2021140645A (ja) * 2020-03-09 2021-09-16 オムロン株式会社 単語登録装置、単語登録方法、および単語登録プログラム
JP2022074238A (ja) * 2020-11-04 2022-05-18 富士フイルムビジネスイノベーション株式会社 情報処理システム及びプログラム
WO2023139770A1 (ja) * 2022-01-21 2023-07-27 ファナック株式会社 文法作成支援装置、及びコンピュータが読み取り可能な記憶媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060100856A1 (en) * 2004-11-09 2006-05-11 Samsung Electronics Co., Ltd. Method and apparatus for updating dictionary
CN101567189A (zh) * 2008-04-22 2009-10-28 株式会社Ntt都科摩 声音识别结果修正装置、方法以及系统
US20100057457A1 (en) * 2006-11-30 2010-03-04 National Institute Of Advanced Industrial Science Technology Speech recognition system and program therefor
US20150293932A1 (en) * 2013-06-21 2015-10-15 Ubic, Inc Digital information analysis system, digital information analysis method, and digital information analysis program

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5366169A (en) 1976-11-26 1978-06-13 Hitachi Ltd Lead frame for resin charging
JPS62226196A (ja) * 1986-03-26 1987-10-05 日本電信電話株式会社 標準パタン逐次学習方式
JP2538878B2 (ja) * 1986-05-26 1996-10-02 株式会社東芝 情報入力装置および情報入力装置における文字記入領域制御方法
TW421764B (en) * 1996-05-21 2001-02-11 Hitachi Ltd Input character string estimation and identification apparatus
JPH11202886A (ja) * 1998-01-13 1999-07-30 Hitachi Ltd 音声認識装置、単語認識装置、単語認識方法、及び単語認識プログラムを記録した記憶媒体
US6282507B1 (en) * 1999-01-29 2001-08-28 Sony Corporation Method and apparatus for interactive source language expression recognition and alternative hypothesis presentation and selection
US6266642B1 (en) * 1999-01-29 2001-07-24 Sony Corporation Method and portable apparatus for performing spoken language translation
US6278968B1 (en) * 1999-01-29 2001-08-21 Sony Corporation Method and apparatus for adaptive speech recognition hypothesis construction and selection in a spoken language translation system
JP3476007B2 (ja) * 1999-09-10 2003-12-10 インターナショナル・ビジネス・マシーンズ・コーポレーション 認識単語登録方法、音声認識方法、音声認識装置、認識単語登録のためのソフトウエア・プロダクトを格納した記憶媒体、音声認識のためのソフトウエア・プロダクトを格納した記憶媒体
JP3476008B2 (ja) * 1999-09-10 2003-12-10 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声情報の登録方法、認識文字列の特定方法、音声認識装置、音声情報の登録のためのソフトウエア・プロダクトを格納した記憶媒体、及び認識文字列の特定のためのソフトウエア・プロダクトを格納した記憶媒体
JP2001249684A (ja) * 2000-03-02 2001-09-14 Sony Corp 音声認識装置および音声認識方法、並びに記録媒体
JP2002123283A (ja) * 2000-10-12 2002-04-26 Nissan Motor Co Ltd 音声認識操作装置
JP2002149187A (ja) * 2000-11-07 2002-05-24 Sony Corp 音声認識装置および音声認識方法、並びに記録媒体
JP2003316376A (ja) * 2002-04-22 2003-11-07 Toshiba Corp 未知語登録装置および未知語登録方法
US20060122856A1 (en) * 2002-06-06 2006-06-08 Benevolink Corporation System and method for enabling consumers to add personal charitable contributions and transfer the right to designate a beneficiary to other consumers
JP4120550B2 (ja) 2003-09-29 2008-07-16 富士通株式会社 利用者辞書登録プログラム、装置、および方法
JP4189336B2 (ja) * 2004-02-25 2008-12-03 株式会社東芝 音声情報処理システム、音声情報処理方法及びプログラム
US8112276B2 (en) * 2005-12-14 2012-02-07 Mitsubishi Electric Corporation Voice recognition apparatus
US8620658B2 (en) * 2007-04-16 2013-12-31 Sony Corporation Voice chat system, information processing apparatus, speech recognition method, keyword data electrode detection method, and program for speech recognition
JP4966324B2 (ja) * 2009-01-19 2012-07-04 株式会社東芝 音声翻訳装置、および方法
JP6150268B2 (ja) * 2012-08-31 2017-06-21 国立研究開発法人情報通信研究機構 単語登録装置及びそのためのコンピュータプログラム
JP6327848B2 (ja) * 2013-12-20 2018-05-23 株式会社東芝 コミュニケーション支援装置、コミュニケーション支援方法およびプログラム
JP6526608B2 (ja) * 2016-09-06 2019-06-05 株式会社東芝 辞書更新装置およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060100856A1 (en) * 2004-11-09 2006-05-11 Samsung Electronics Co., Ltd. Method and apparatus for updating dictionary
US20100057457A1 (en) * 2006-11-30 2010-03-04 National Institute Of Advanced Industrial Science Technology Speech recognition system and program therefor
CN101567189A (zh) * 2008-04-22 2009-10-28 株式会社Ntt都科摩 声音识别结果修正装置、方法以及系统
US20150293932A1 (en) * 2013-06-21 2015-10-15 Ubic, Inc Digital information analysis system, digital information analysis method, and digital information analysis program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705279A (zh) * 2018-07-10 2020-01-17 株式会社理光 一种词汇表的选择方法、装置及计算机可读存储介质
CN113168836A (zh) * 2018-09-27 2021-07-23 株式会社OPTiM 计算机系统、语音识别方法以及程序
CN113168836B (zh) * 2018-09-27 2024-04-23 株式会社OPTiM 计算机系统、语音识别方法以及程序产品
CN113722423A (zh) * 2020-05-20 2021-11-30 夏普株式会社 信息处理系统、信息处理方法及信息处理程序

Also Published As

Publication number Publication date
US10496745B2 (en) 2019-12-03
JP2018040906A (ja) 2018-03-15
US20180067920A1 (en) 2018-03-08
CN107798052B (zh) 2021-07-27
JP6526608B2 (ja) 2019-06-05

Similar Documents

Publication Publication Date Title
CN107798052A (zh) 词典更新装置及词典更新方法
JP6664784B2 (ja) 表示装置
WO2019184217A1 (zh) 热点事件分类方法、装置及存储介质
US20170124311A1 (en) Voiceprint login method and apparatus based on artificial intelligence
US10629192B1 (en) Intelligent personalized speech recognition
WO2017107805A1 (zh) 确定商品对象标题文本的方法及装置
JP5245255B2 (ja) 固有表現抽出プログラム、固有表現抽出方法および固有表現抽出装置
WO2008100951A2 (en) Contextual input method
WO2019041520A1 (zh) 基于社交数据的金融产品推荐方法、电子装置及介质
CN103140849A (zh) 音译处理装置、程序、记录媒体及方法
JP2021103535A (ja) 対話システム、対話方法及び対話プログラム
CN109948438A (zh) 自动面试评分方法、装置、系统、计算机设备及存储介质
JP5146629B2 (ja) 情報提供装置、情報提供方法、および、記憶媒体
JP2010061176A (ja) テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム
JP6821542B2 (ja) 複数種の対話を続けて実施可能な対話制御装置、プログラム及び方法
US10699057B2 (en) System and method for controlling information presented to user referring to contents
CN103778210B (zh) 一种待分析文件的文件具体类型的判断方法及装置
JP5845988B2 (ja) 画像処理システム、画像処理方法、サーバおよびプログラム
JP2010102564A (ja) 感情特定装置、その方法、プログラム及び記録媒体
WO2016063403A1 (ja) データ分析システム、データ分析方法、およびデータ分析プログラム
CN113539235A (zh) 文本分析与语音合成方法、装置、系统及存储介质
JP7315176B2 (ja) セリフ分析プログラム、セリフ分析方法、およびセリフ分析システム
JP2012108899A (ja) 電子機器、ネットワークシステム、およびコンテンツ編集方法
CN108763203A (zh) 影评情感分析中使用特征词集将影评以特征向量表示的方法
CN103793378B (zh) 一种翻译方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant