CN107004416B - 信息发送装置、信息发送方法、引导系统和通信系统 - Google Patents

信息发送装置、信息发送方法、引导系统和通信系统 Download PDF

Info

Publication number
CN107004416B
CN107004416B CN201580063110.5A CN201580063110A CN107004416B CN 107004416 B CN107004416 B CN 107004416B CN 201580063110 A CN201580063110 A CN 201580063110A CN 107004416 B CN107004416 B CN 107004416B
Authority
CN
China
Prior art keywords
identification information
voice
sound
information item
phrase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580063110.5A
Other languages
English (en)
Other versions
CN107004416A (zh
Inventor
森口翔太
濑户优树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of CN107004416A publication Critical patent/CN107004416A/zh
Application granted granted Critical
Publication of CN107004416B publication Critical patent/CN107004416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明解决的问题是减少用户使用终端装置再现内容的负担。信息发送装置(24)包括:语音识别部分(52),其用于识别由语音信号(G)表示的引导语音的短语(W);信息指定部分(54),其用于从与互不相同的短语相对应的多条识别信息项(D)中指定与由语音识别部分(52)识别出的短语(W)相对应于的识别信息项(D);以及发送装置(56,46),其用于将由信息指定部分(54)指定的识别信息项(D)发送至能够再现由识别信息项(D)表示的内容的终端装置。

Description

信息发送装置、信息发送方法、引导系统和通信系统
技术领域
本发明涉及一种用于在终端装置中再现诸如图像或语音的内容的技术。
背景技术
已经提出了用于识别由语音信号表示的语音中所包含的短语的语音识别技术。例如,专利文献1公开了一种具有显示根据语音信号识别出的短语(字串)的功能的移动终端装置。
引文列表
专利文献
专利文献1:JP-A-2003-051776
发明内容
技术问题
通过使用如专利文献1中所述的能够执行语音识别的终端装置,例如,在通过终端装置收集要在诸如电力列车或公共汽车的交通工具中被广播的引导语音之后,识别出短语,从而可通过终端装置再现与短语相对应的诸如图像的内容。然而,为了以语音识别所需的SN比收集从发声装置发出的引导语音,用户需要使他/她的终端装置足够靠近发出引导语音的发声装置。此外,在发出引导语音的时间不确定的情况下,用户需要在实际广播出用户所需的引导语音之前在让他/她的终端装置靠近发声装置的状态下等待很长时间,由此存在增加终端装置的用户的负担的问题。考虑到上述情况,本发明的目的在于(但不限于)减轻利用终端装置再现内容的用户的负担。
技术方案
根据本发明的第一模式的信息发送装置包括:语音识别装置,其用于识别由语音信号表示的语音短语;信息指定装置,其用于从与互不相同的短语相对应的多个识别信息项中指定与由语音识别装置识别出的短语相对应的识别信息项;以及发送装置,其用于将由信息指定装置指定的识别信息项发送至能够再现由识别信息项表示的内容的终端装置。通过上述配置,将与从语音信号中识别出的短语相对应的识别信息项发送至终端装置。因此,用户不需要为了收集具有足够SN比的语音而使他/她的终端装置靠近发声装置,并且用户不需要在发出语音之前在让他/她的终端装置靠近发声装置的状态下等待很长时间。换句话说,利用终端装置再现内容的用户的负担减小了。
在根据本发明的模式中,信息指定装置参照登记信息,在登记信息中多个识别信息项与已预先登记的多个短语相对应,并且在语音识别装置识别出已经登记在登记信息中的多个短语中的任一个的情况下,信息指定装置从登记信息中指定与短语相对应的识别信息项。上述模式的优点在于:通过发送登记信息可以容易地判断发送识别信息项的必要性。
在根据本发明的另一模式中,语音识别装置识别由从安装在移动体中的声音收集装置供应至发声装置的语音信号表示的语音短语,所述移动体在容纳终端装置的同时移动。在上述模式的情况下,由于语音识别装置对待从声音收集装置供应至发声装置的语音信号执行语音识别,所以与例如通过收集从发声装置发出的语音来执行语音识别的构造相比,实现了高精度语音识别。
根据本发明的另一模式的信息发送装置包括:登记处理装置,其用于将表示由语音识别装置识别出的短语的内容和与短语相对应的识别信息项发送至分配装置,该分配装置将与由终端装置请求的识别信息项相对应的内容提供至终端装置。在上述模式中,在分配装置中登记表示从语音信号中识别出的短语的内容,并且随后将该内容发送至终端装置,由此该模式的优点在于:可将与已预先登记的内容不同的与语音信号相对应的各种内容迅速地提供至终端装置。
在根据本发明的另一模式中,短距离无线电通信是将声音用作传输介质的声通信。在上述模式中,由于通过将声音用作传输介质的声通信来发送识别信息项,因此该模式的优点在于:通过调整声音的音量可以容易地控制识别信息项的到达范围;此外,由于在宽范围内发出声音,因此该模式的优点在于:可将识别信息项集体发送至多个终端装置。
在根据本发明的另一模式中,语音信号包含引导语音,所述引导语音要用于从管理员向用户给出语音引导。在上述模式中,例如,在通过终端装置收集到待在交通工具(比如,电力列车或公共汽车)中广播的引导语音之后,识别出短语,从而该模式的优点在于:可通过终端装置再现与短语相对应的内容(比如,图像)。
在根据本发明的另一模式中,内容包含通过将引导语音的发音内容翻译为另一语言而获得的信息的表示。在上述模式中,例如,在通过终端装置收集到待在交通工具(比如,电力列车或公共汽车)中广播的引导语音之后,识别出短语,从而该模式的优点在于:可通过终端装置再现通过将该短语翻译成另一语言而获得的字符和语音。
在根据本发明的另一模式中,发送装置在语音识别装置识别出短语之后并且在引导语音的再现结束之前发送识别信息项。上述模式的优点在于:可通过终端装置例如实时地再现与识别信息项相对应的内容。
在根据本发明的另一模式中,发送装置在引导语音的再现结束之后发送识别信息项。上述模式的优点在于:可在引导语音的再现结束之后通过终端装置再现与识别信息项相对应的内容。
根据本发明的另一模式的信息发送方法包括:识别由语音信号表示的语音短语;从与互不相同短语相对应的多个识别信息项中指定与识别出的短语相对应的识别信息项;以及将指定的识别信息项发送至能够再现由识别信息项表示的内容的终端装置。通过上述实施例,将与从语音信号中识别出的短语相对应的识别信息项发送至终端装置。因此,用户无需为了收集具有高SN比的语音而使他/她的终端装置靠近发声装置,并且用户无需在发出语音之前在使他/她的终端装置靠近发声装置的状态下等待很长时间。换句话说,利用终端装置再现内容的用户的负担可减小。
根据本发明的另一模式的引导系统是一种包括上述信息发送装置和语音引导装置的引导系统,其中,语音引导装置包括分别用于收集声音信号和用于发出声音的声音收集装置和发声装置,并且信息处理装置的语音识别装置识别由从声音收集装置供应至发声装置的语音信号表示的语音短语。
根据本发明的另一模式的通信系统是这样一种通信系统,其包括上述引导系统和终端装置,其中,终端装置包括用于从信息发送装置的发送装置接收识别信息项的接收装置和用于再现与识别信息项相对应的内容的再现装置。
根据上述各个模式的终端装置通过利用专用电子电路来实现,并且还通过诸如CPU(中央处理单元)的通用算术操作装置与程序的协作来实现。根据本发明的程序可以以存储在计算机可读记录介质上的形式来提供,并且可被安装在计算机中。例如,记录介质是非暂时性记录介质,并且认为诸如CD-ROM的光学记录介质(光盘)是一个很好的示例;然而,记录介质可包括诸如半导体记录介质或磁记录介质的任意形式的已知记录介质。此外,例如,根据本发明的程序可经由分配形式的通信网络而被提供至计算机,并且可被安装在计算机中。此外,本发明还可被指定为一种用于操作根据上述模式中的任一个的信息发送装置的方法(信息发送方法)。
附图说明
图1是示出根据本发明的第一实施例的引导系统的构造图;
图2是示出终端装置的构造图;
图3是示出语音引导装置和信息发送装置的构造图;
图4是示出登记信息的示意图;
图5是示出信息发送装置的动作的流程图;
图6是示出第二实施例的说明图;
图7是示出根据第三实施例的引导系统的构造图;
图8是示出根据第三实施例的登记处理部分的动作的流程图;
以及
图9是示出根据第四实施例的引导系统的构造图。
具体实施方式
<第一实施例>
图1是示出根据第一实施例的引导系统10的构造图。根据第一实施例的引导系统10是安装在用作在容纳多个用户的状态下移动的交通工具的车辆(移动体)M(比如,电力列车或公共汽车)中的语音系统,并且用于给用户各种语音引导(例如,关于上车/下车和换乘、票价、游览等的引导)。车辆M中的每个用户均携带着诸如移动电话或智能电话的移动终端装置12。有时将引导系统10和终端装置12统称为通信系统。
图2是示出任意一个终端装置12的构造图。如图2中所例示的,根据第一实施例的终端装置12配备有控制装置121、存储装置122、通信装置123、操作装置124、再现装置125和声音收集装置126。控制装置121执行存储在存储装置122中的程序,从而执行各种操作处理和控制处理。操作装置124是由用户操作以向终端装置12给出各种指令的输入装置。例如,优选地,将待由用户按压的多个操作元件和检测用户的接触的触摸面板用作操作装置124。通信装置123经诸如移动通信网络或互联网的通信网络与其它终端通信。
存储装置122由诸如半导体记录介质或磁记录介质的已知记录介质组成,并且存储待由控制装置121执行的程序和待由控制装置121使用的各种数据。根据第一实施例的存储装置122存储多个内容C。每个内容C包含与引导语音相关联的语音或图像(例如,静态图像、动态图像和字串)。例如,表示各种信息的内容C(比如,引导语音的发音内容的字串和通过将发音内容翻译为其它语言获得的字串)存储在存储装置122中。如图2中所例示的,将用于唯一地识别内容C的识别信息项D添加至存储装置122的每个内容C。例如,将从诸如网络服务器的分配装置(未示出)发送并且通过通信装置123接收的多个内容C预先存储在存储装置122中。
再现装置125再现存储在存储装置122中的内容C。更具体地说,将用于显示内容C的图像的显示装置(例如,液晶显示面板)或者用于发出内容C的声音的发声装置(例如,扬声器或者耳机)用作再现装置125。声音收集装置126是用于收集周围声音并且产生声音信号SB的声音装置。例如,声音收集装置126用于在终端装置12之间进行语音对话时和在动态图像拍摄期间记录声音。
如图1所示,根据第一实施例的引导系统10配备有语音引导装置22和信息发送装置24。图3是示出语音引导装置22和信息发送装置24的具体构造图。语音引导装置22是将用于语音引导的现有广播系统,并且如图3所例示的配备有声音收集装置32和发声装置34。声音收集装置32是用于收集周围声音并且生成语音信号G的声音装置(麦克风)。根据第一实施例的声音收集装置32生成由车辆M的管理员(例如,驾驶员或导游)发音的引导语音的语音信号G。发声装置34将与由声音收集装置32生成的语音信号G相对应的语音发送至车辆M的内部。因此,车辆M的内部中的用户可聆听从发声装置34发出的引导语音。
如图3所示,由声音收集装置32生成的语音信号G从通向发声装置34的路径处岔开,并且还被供应至信息发送装置24。信息发送装置24将与从声音装置34供应的语音信号G的引导语音相对应的内容C的识别别信息项D发送至车辆M内的每个终端装置12。例如,将信息发送装置24附加地附接到一开始就安装在车辆M中的现有语音引导装置22。
如图3中所例示的,根据第一实施例的信息发送装置24配备有控制装置42、存储装置44和发声装置46。存储装置44由诸如半导体记录介质或者磁记录介质的已知记录介质组成,并且存储待由控制装置42执行的程序和待由控制装置42使用的各种数据(例如,稍后描述的登记信息X)。
控制装置42执行存储在存储装置44中的程序,从而执行各种操作处理和控制处理。根据第一实施例的控制装置42实现了用于发送与语音信号G相对应的识别信息项D的多个功能(语音识别部分52、信息指定部分54和信号生成部分56)。然而,可以采用这样一种配置:将控制装置42的各个功能分配给多个装置;或者,可以采用这样的一种配置:其中使用专用于语音处理的电子电路来实现控制装置42的一部分功能。为了方便起见,附图中未示出用于对从声音收集装置32供应的语音信号G进行模数转换的A/D转换器。
图3所示的语音识别部分52识别由声音收集装置32收集的语音信号G的引导语音中所包含的短语W。短语W由包含单个词或多个词的字串表示。对于语音信号G的语音识别,可任意地采用已知的技术,例如,利用诸如HMM的声音模型和指示语言限制的语言模型的识别技术。
信息指定部分54指定与由语音识别部分52识别的短语W相对应的识别信息项D。更具体地说,信息指定部分54指定与包含由语音识别部分52识别的短语W的引导语音相关联的内容C的识别信息项D。例如,有这样一种情况:根据向用户通知如下这样一种位置的引导语音(例如,语音说“下一站是A站”)的语音信号G来识别意指该位置的名称的短语W(例如,诸如“A站”的站名),所述位置是通知后不久车辆M就停车的位置(车站或公共汽车站);在这种情况下,,信息指定部分54指定与所述位置相关联的内容C(例如,引导语音的字串)的识别信息项D。例如,使用存储在存储装置44中的登记信息X来指定与由语音识别部分52识别出的短语W相对应的识别信息项D。
图4是示出登记信息X的示意图。如图4中所例示的,根据第一实施例的登记信息X是这样一种数据表,在该数据表中各识别信息项D(D1、D2、D3、……)分别与可能包含在引导语音中的多个短语(下文中称作“登记短语”)W(W1、W2、W3、……)相对应。在根据第一实施例的登记信息X中,使得与引导语音相关联的内容C的识别信息项D与可能包含在由语音信号G表示的引导语音中的登记短语W相对应。根据交通工具的环境和特性(比如,车辆M移动的路线(停靠位置))预先选择将被登记在登记信息X中的登记短语W。
将由图3中所示的信息指定部分54指定的识别信息项D发送至车辆M的内部中的每个终端装置12。使用短距离无线电通信来传输第一实施例中的识别信息项D。虽然用于短距离无线电通信的具体通信系统是任意的,但是在第一实施例中以这样一种声通信为例,在所述声通信中通过将由空气振动生成的声音作为传输介质来将识别信息项D发送至每个终端装置12。更具体地说,通过图3中所示的信号生成部分56和发声装置46来实现用于将识别信息项D发送至每个终端装置12的发送装置。信号生成部分56生成包含识别信息项D的声音信号SA并且将该信号供应至发声装置46。发声装置46是用于发出与由信号生成部分56生成的声音信号SA相对应的声音的声音装置(扬声器)。为了方便起见,附图中未示出用于对由信号生成部分56生成的声音信号SA进行数模转换的D/A转换器。
虽然任意地采用已知方法来生成包含识别信息项D的声音信号SA,但是例如在WO2010/016589中所公开的方法是优选的。更具体地说,信号生成部分56按次序地使用扩频码来执行识别信息项D的扩频调制和使用具有预定频率的载波来执行频率转换,从而生成包含作为具有预定频带的声音分量的识别信息项D的声音信号SA。声音信号SA的频带是这样的一种频带,在该频带中发声装置46可以发出声音并且终端装置12的发声装置126可以收集声音,并且该频带包括在比用户在普通环境下聆听的声音(比如,语音和音乐声)的频带(例如,可听频带中的大约16kHz或更小)更高的频带范围(例如,18kHz以上且20kHz以下)内。因此,可在车辆M内的用户几乎不会察觉到的情况下将识别信息项D从信息发送装置24(发声装置46)发送至周围。然而,可采用这样一种配置:发声装置46将识别信息项D作为可听频带内的声音而发出。其中采用声通信来发送识别信息项D的第一实施例的优点在于:例如,可以通过调整发声装置46的再现音量来容易且精确地控制识别信息项D的可接收范围。
图5是示出了这样一种处理的流程图,执行该处理以使得信息发送装置24的控制装置42将与语音信号G相对应的识别信息项D发送至终端装置12。例如,当信息发送装置24通电时,连续地执行图5中所示的处理。
信息发送装置24的语音识别部分52对从声音收集装置32供应的语音信号G进行语音识别(在S1)。信息指定部分54参考存储在存储装置44中的登记信息X,从而判断已经登记在登记信息X中的多个登记短语W中的任一个是否被语音识别部分52识别出(在S2)。在识别出登记短语W之前重复由语音识别部分52执行的语音识别(S2处的否)。当语音识别部分52识别出登记短语W(S2处的是)时,信息指定部分54从包含在登记信息X中的多个识别信息项D中指定与由语音识别部分52识别出的短语W相对应的识别信息项D(在S3)。信号生成部分56生成包含由信息指定部分54指定的识别信息项D的声音信号SA,并且将该信号从发声装置46发出(在S4)。例如,在预定时间内重复地多次发送识别信息项D。当识别信息项D的发送完成时,重新开始由语音识别部分52执行的语音识别(在S1)。从上述说明可以理解出,在第一实施例中,通过将对语音信号G执行语音识别以提取登记短语W用作触发器来执行将识别信息项D发送至各个终端装置12。
识别信息项D的发送定时是任意的。例如,可以采用这样一种配置:在从引导语音的语音信号G中识别出登记短语W之后(在引导语音的再现结束之前)立即发送识别信息项D的配置;或者,可以采用这样的一种配置:在引导语音的再现结束之后发送识别信息项D。此外,由于假设其中存在登记短语W的那部分引导语音的长度根据引导语音的内容和种类而不同,因此优选地使用这样一种配置:通过车辆M的管理员对信息发送装置24执行操作可以任意地指定待经历语音识别的那部分引导语音(也就是说,可以包含登记短语W的部分)。
车辆M内部的每个终端装置12的声音收集装置126收集从信息发送装置24的发声装置46发出的声音(包含识别信息项D的声音),并且生产声音信号SB。控制装置121对由声音收集装置126生成的声音信号SB进行解调,从而提取识别信息项D。更具体地说,控制装置121通过利用例如高通滤波器来在声音信号SB中提取包含识别信息项D的高频带(18kHz以上且20kHz以下)的声音分量,并且使得该声音分量通过例如如下这样一种匹配滤波器从而提取识别信息项D,在所述匹配滤波器中将已经用于识别信息项D的扩频调制的扩频码用作系数,。从上述说明中可以理解出,根据第一实施例的声音收集装置126起到用于通过声通信从信息发送装置24接收识别信息项D的接收装置的作用。
控制装置121使得再现装置125再现与如下那样的识别信息项D相对应的内容C,所述识别信息项D包含在存储装置122中所存储的多个内容C中并且是从声音信号SB中提取的。换句话说,通过将语音引导装置22发出引导语音用作触发器来再现与包含在引导语音中的短语W相关联的内容C(例如,通过将引导语音的发音内容翻译为另一语言获得的字串)。
如上所述,在第一实施例中,将与从引导语音的语音信号G中识别出的短语W相对应的识别信息项D发送至每个终端装置12,所述引导语音是从发声装置34中发出的。因此,用户不需要为了收集具有足够SN比的声音信号而将他/她的终端装置12靠近发声装置34,并且用户不需要在引导语音发出之前在让他/她的终端装置12靠近发声装置34的状态下等待很长时间。换句话说,在第一实施例的情况下,可减轻利用终端装置12再现内容C的用户的负担。另外,在第一实施例的情况下,由于对从声音收集装置32供应至语音引导装置22的发音出装置34的语音信号G执行了语音识别,因此该配置的优点在于可以比如下这样的配置更精准地识别引导语音的短语W,所述配置例如为:对通过对从发声装置34发出的引导语音进行再录音而获得的声音信号(也就是说,在从声音发出至记录的处理的过程中被叠加了噪声的声音信号)执行语音识别。
有这样一种配置(下文中称为“比较示例”):对从发声装置发出的引导语音进行收集,使由终端装置12的声音收集装置126生成的声音信号SB经历语音识别,并且对与作为识别的结果而获得的短语W相对应的内容C进行再现。在该比较示例中,有必要利用声音收集装置126来收集由发声装置34发出的引导语音的所有区段。在第一实施例中,通过利用声音收集装置126仅收集由信息发送装置24发送的信息项D,可以再现内容C,由此,第一实施例的优点在于:通过声音收集装置126连续地进行声音收集的时间不需要不像引导音语的所有区段所需的时间那样长。此外,在比较示例中,由于向从发声装置34发出的引导语音中添加了具有与引导语音的频带类似的频带的噪声(例如,背景噪声和环境噪声),从而识别精度会由于对由终端装置12生成的声音信号SB进行语音识别过程中的噪声而降低。另一方面,在第一实施例中,通过利用在其中几乎没有假设存在于普通环境中的一般噪音的高频带(例如,18kHz或更大和20kHz或更小)来执行声通信,由此第一实施例的优点在于:与比较示例相比,可降低噪声的影响(更具体地说,可在终端装置12中再现相对于噪声而言强健的期望的内容C)。
<第二实施例>
将描述根据本发明的第二实施例。在下面例示的各个模式中,使用在说明第一实施例时使用的标号和符号来指示在行为和功能方面与根据第一实施例的组件相似的组件,并且在必要时省略对它们的详细说明。
在第一实施例中,例示了这样一种配置:预先在终端装置12的存储装置122中存储多个内容C。在第二实施例中,如图6中例示的,在分配装置14(例如,网络服务器)中存储多个内容C,终端装置12的通信装置123可经由诸如移动通信网络或者互联网的通信网络16于该分配装置14进行通信。向存储在分配装置14中的各个内容C添加了用于唯一地识别内容C的识别信息项D。
一旦根据与根据第一实施例的程序相似的程序获得从信息发送装置24发送的识别信息项D,终端装置12的控制装置121就将包含识别信息项D的信息请求R从通信装置123发送至分配装置14。分配装置14从多个内容C中选择与包含在信息请求R中的识别信息项D相对应的内容C,并且将所选择的内容C发送至用作请求源的终端装置12。终端装置12的控制装置121使得再现装置125再现通信装置123从分配装置14接收到的内容C。然而,内容C可从分配装置14流式分配至终端装置12。
在第二实施例中也实现了与第一实施例的效果相似的效果。此外,在第二实施例中,每当通过终端装置12提取识别信息项D时(也就是说,每当广播引导语音时),将与识别信息项D相对应的内容C从分配装置14提供至终端装置12,从而终端装置12不需要保存多个内容C。因此,第二实施例的优点在于:终端装置12的存储装置122所需的存储容量减小。另一方面,在第一实施例中,通过分配装置14的通信对于终端装置12无需与分配装置14进行通信就能再现内容C,从而第一实施例的优点在于:例如即使在终端装置12的通信装置123不能进行通信的状态下(例如,来自通信网络16的无线电波不能到达山区等中的终端装置12的状态下),也可利用终端装置12再现内容C。此外,在第二实施例中,将内容C从分配装置14提供至每个终端装置12,从而与其中每个终端装置12保持内容C的第一实施例相比,第二实施例的优点在于:识别信息项D与内容C之间的关系可以被全面地改变,并且优点还在于,可全面添加新内容C。
<第三实施例>
图7是示出根据本发明的第三实施例的引导系统10的构造图。如图7中所例示的那样,在第三实施例中,与在第二实施例中的情况一样,将被添加至互不相同的识别信息项D的多个内容C存储在分配装置14中,并且将通过信息请求从终端装置12指定的识别信息项D的内容C从分配装置14发送至用作请求源的终端装置12。
如图7中所例示的那样,除与第一实施例中的组件相似的组件之外,根据第三实施例的信息发送装置24的控制装置42起到登记处理部分58的作用。登记处理部分58将通过语音识别部分52对语音信号G执行语音识别而识别出的短语W登记为分配装置14中的新内容C。
图8是示出根据第三实施例的登记处理部分58的动作的流程图。例如,在通过车辆M的管理员命令对内容C(短语W)进行登记的状态下和在语音识别部分52识别短语W的状态下,开始图8所示的处理。
登记处理部分58生成与由语音识别部分52识别出的短语W相对应的识别信息项D(在S10处)。生成这样的识别信息项D,其与已在登记信息X中登记的短语W和已被存储在分配装置14中的内容C的识别信息项D不重叠。如图7中所例示的那样,登记处理部分58将包含内容C(其包含短语W)和新产生的识别信息项D的登记请求发送至分配装置14(在S11处)。分配装置14通过通信网络16接收从信息发送装置24发送的登记请求,并且存储被包含在登记请求中的内容C和识别信息项D以使得它们彼此对应。此外,登记处理部分58将由语音识别部分52识别出的短语W和识别信息项D登记在存储装置44的登记信息X中(在S12处),并且随后使得信号生成部分56生成包含识别信息项D的声音信号SA(在S13处)。如在第一实施例的情况下的那样,从发声装置46向车辆M内部的每个终端装置12发射与由信号生成部分56生成的声音信号SA相对应的声音。换句话说,识别信息项D被从信息发送装置24发送至每个终端装置12。
如在第二实施例的情况下的那样,终端装置12将包含从信息发送装置24接收(也就是说,收集)到的识别信息项D的信息请求R发送至分配装置14。分配装置14从多个内容C中选择与信息请求R中所包含的识别信息项D相对应的内容C,并且将所选择的内容C发送至用作请求源的终端装置12。换句话说,响应于登记请求(在S11处)将由信息发送装置24的登记处理部分58登记的内容C(更具体地说,包含从语音信号G中识别出的短语W的内容C)提供至终端装置12。
在第三实施例中也实现了与第一实施例和第二实施例中的效果相似的效果。此外,在第三实施例中,在分配装置14中登记与从语音信号G中识别出的短语W相对应的内容C,并且随后将该内容C提供至终端装置12,由此,第三实施例的优点在于:可将与已预先登记在登记信息X中的内容C不同的与语音信号G相对应的各种内容C迅速地提供至终端装置12。例如,在将从紧急情况使用的引导语音(比如,“火灾!”)的语音信号G中识别出的短语W(例如,字串“火灾!”)作为内容C登记在分配装置14中的情况下,可在毫无延时地发出引导语音的情况下通过终端装置12再现紧急情况使用的内容C。
<第四实施例>
图9是示出根据本发明的第四实施例的引导系统10的构造图。如图9中所例示的,除与第一实施例中的组件相似的组件之外,根据第四实施例的引导系统10还配备有混合部分62。此外,根据第四实施例的信息发送装置24配置为省略了第一实施例的配置中的发声装置46。如图9中所例示的那样,将由信息发送装置24的信号生成部分56生成的声音信号SA供应至混合部分62。
混合部分62将由信息发送装置24(信号生成部分56)生成的声音信号SA与由声音收集装置32生成的引导语音的语音信号G进行混合,并且将混合后的信号供应至发声装置34。因此,从发声装置34中发出混合声音,该混合声音是与引导语音的短语W相对应的识别信息项D的声音分量和引导语音的混合声音。换句话说,在第四实施例中,信号生成部分56、语音引导装置22的混合部分62和发声装置34起到用于将识别信息项D发送至每个终端装置12的发送装置的作用。
在第四实施例中也实现了与在第一实施例中的效果相似的效果。此外,在第四实施例中,从发声装置34发出识别信息项D的声音分量与引导语音的混合声音。换句话说,用于发出引导语音的发声装置34也用于发送识别信息项D。因此,专用于对识别信息项D进行发送的发声装置46不是必需的,从而第四实施例的优点在于:与第一实施例相比,引导系统10的构造简化了。而且,第二实施例和第三实施例也可应用于第四实施例。
<变型例>
可以对上述各模式进行各种修改。变型例的具体模式将在下面例示。可以从下面的示例中任意选择两个或更多个模式,所选的模式不相互矛盾的情况下,可以将所选择的模式进行适当地组合。
(1)在上述各个模式中,虽然以将引导系统10安装在诸如电力列车或公共汽车的车辆M中的情况为示例,但是在其中安装引导系统10的设施不限于上述示例。例如,可将引导系统10安装在诸如包括船或飞机以及车辆M之类的移动体(在容纳终端装置12的同时进行移动的设施)中。而且,根据上述各模式的引导系统10也可用作美术馆、博物馆等中的展览设施上的引导器。
(2)在上述各个模式中,虽然短语W是从由发声装置32生成的语音信号G中提取的,但是语音信号G的供应源不限于发声装置32。例如,可以将表示预先记录的引导语音的多个语音信号G预先存储在存储装置中,并且可以将车辆M的管理员(例如,驾驶员)从所述多个语音信号G中选择的引导语音的语音信号G供应至发声装置34和信息发送装置24。
(3)在上述各个模式中,虽然通过其中声音用作传输介质的声通信将识别信息项D发送至各个终端装置12,但是用于发送识别信息项D的通信系统不限于声通信。例如,可通过其中将电磁波(比如,无线电波和红外线)用作传输介质的无线电通信将别信息项D从信息发送装置24发送至周围。从上述示例可以理解出,没有通信网络16的短距离无线电通信对于识别信息项D的传输来说是优选的,并且将声音用作传输介质的声通信和将电磁波用作传输介质的无线电通信是短距离无线电通信的示例。
例如,尽管将用于无线电通信的诸如红外线的电磁波具有高指向性和高直进性,但是将用于声通信的声音可在宽范围内传播,从而可将识别信息项D统一地发送至车辆M内部的多个终端装置12。此外,在通过声通信发送识别信息项D的配置中,用于在终端装置12之间进行语音对话时或在动态图像拍摄期间记录声音的声音收集装置126也可用于接收识别信息项D。因此,该配置的优点在于:不需要专门用于接收识别信息项D的无线电通信装置。
本申请基于于2014年11月20日提交的日本专利申请No.2014-235622,并且要求该日本专利申请No.2014-235622的优先权的利益,其内容以引用方式并入本文中。
参考标号列表:
10:引导系统
12:终端装置
14:分配装置
16:通信网络
22:语音引导装置
24:信息发送装置
32:声音收集装置
34:发声装置
42:控制装置
44:存储装置
46:发声装置
52:语音识别部分
54:信息指定部分
56:信号生成部分
62:混合部分
121:控制装置
122:存储装置
123:通信装置
124:操作装置
125:再现装置
126:声音收集装置

Claims (9)

1.一种信息发送装置,包括:
语音识别装置,其用于识别由语音信号表示的语音短语;所述语音信号包含引导语音,所述引导语音要用于从管理员向用户给出的语音引导;
信息指定装置,其用于从与互不相同的短语相对应的多个识别信息项中指定与由所述语音识别装置识别出的所述短语相对应的识别信息项;以及
发送装置,其用于将由所述信息指定装置指定的识别信息项发送至能够再现由所述识别信息项所表示的内容的终端装置;所述内容包含通过将所述引导语音的发音内容翻译为另一语言而获得的信息的表示,
登记处理装置,其用于将表示由所述语音识别装置识别出的所述短语的内容和与所述短语相对应的所述识别信息项发送至分配装置;其中
所述发送装置通过将声音用作传输介质的声通信来发送所述识别信息项,所述识别信息项为预定频带的声音分量,并且所述发送装置可设置为以任意定时发送所述识别信息项。
2.根据权利要求1所述的信息发送装置,其中,
所述信息指定装置参照登记信息,在所述登记信息中多个识别信息项与已预先登记的多个短语相对应,并且在所述语音识别装置识别出已经登记在所述登记信息中的多个短语中的任一个的情况下,所述信息指定装置从所述登记信息中指定与所述短语相对应的识别信息项。
3.根据权利要求1或2所述的信息发送装置,其中,
所述语音识别装置识别由从安装在移动体中的声音收集装置供应至发声装置的所述语音信号表示的所述语音短语,所述移动体在容纳所述终端装置的同时移动。
4.根据权利要求1所述的信息发送装置,还包括:所述分配装置将与由所述终端装置请求的识别信息项相对应的内容提供至所述终端装置。
5.根据权利要求1所述的信息发送装置,其中,
所述发送装置在所述语音识别装置已识别出所述短语之后并且在所述引导语音的再现结束之前发送所述识别信息项。
6.根据权利要求1所述的信息发送装置,其中,
所述发送装置在所述引导语音的再现结束之后发送所述识别信息项。
7.一种信息发送方法,包括:
识别由语音信号表示的语音短语;所述语音信号包含引导语音,所述引导语音要用于从管理员向用户给出的语音引导;
从与互不相同的短语相对应的多个识别信息项中指定与识别出的短语相对应的识别信息项;以及
将指定的识别信息项发送至能够再现由所述识别信息项表示的内容的终端装置;所述内容包含通过将所述引导语音的发音内容翻译为另一语言而获得的信息的表示,其中,
将表示所述识别出的所述短语的内容和与所述短语相对应的所述识别信息项发送至分配装置;
通过将声音用作传输介质的声通信来发送所述识别信息项;所述识别信息项为预定频带的声音分量,并且以任意定时发送所述识别信息项。
8.一种引导系统,包括:
根据权利要求1至6中的任一项所述的信息发送装置;以及
语音引导装置,其中,
所述语音引导装置包括分别用于收集声音信号和用于发出声音的声音收集装置和发声装置,并且
所述信息处理装置的所述语音识别装置识别由从所述声音收集装置供应至所述发声装置的语音信号表示的语音短语。
9.一种通信系统,包括:
根据权利要求8所述的引导系统;以及
终端装置,其中,
所述终端装置包括用于从所述信息发送装置的所述发送装置接收识别信息项的接收装置和用于再现与所述识别信息项相对应的内容的再现装置。
CN201580063110.5A 2014-11-20 2015-11-20 信息发送装置、信息发送方法、引导系统和通信系统 Active CN107004416B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014235622A JP6114249B2 (ja) 2014-11-20 2014-11-20 情報送信装置および情報送信方法
JP2014-235622 2014-11-20
PCT/JP2015/082765 WO2016080535A1 (ja) 2014-11-20 2015-11-20 情報送信装置、情報送信方法、案内システム及び通信システム

Publications (2)

Publication Number Publication Date
CN107004416A CN107004416A (zh) 2017-08-01
CN107004416B true CN107004416B (zh) 2021-05-18

Family

ID=56014065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580063110.5A Active CN107004416B (zh) 2014-11-20 2015-11-20 信息发送装置、信息发送方法、引导系统和通信系统

Country Status (5)

Country Link
US (1) US20170255615A1 (zh)
EP (1) EP3223275B1 (zh)
JP (1) JP6114249B2 (zh)
CN (1) CN107004416B (zh)
WO (1) WO2016080535A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6033927B1 (ja) 2015-06-24 2016-11-30 ヤマハ株式会社 情報提供システムおよび情報提供方法
EP3364409A4 (en) * 2015-10-15 2019-07-10 Yamaha Corporation INFORMATION MANAGEMENT SYSTEM AND INFORMATION MANAGEMENT PROCESS

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5193141A (en) * 1990-11-19 1993-03-09 Zwern Arthur L Vehicular voice storage, playback, and broadcasting device
TW347503B (en) * 1995-11-15 1998-12-11 Hitachi Ltd Character recognition translation system and voice recognition translation system
US6957213B1 (en) * 2000-05-17 2005-10-18 Inquira, Inc. Method of utilizing implicit references to answer a query
US7747434B2 (en) * 2000-10-24 2010-06-29 Speech Conversion Technologies, Inc. Integrated speech recognition, closed captioning, and translation system and method
US7203648B1 (en) * 2000-11-03 2007-04-10 At&T Corp. Method for sending multi-media messages with customized audio
JP2002297177A (ja) * 2001-03-29 2002-10-11 Sharp Corp 音声認識用辞書作成装置および音声認識用辞書作成方法、音声認識装置、携帯端末器、並びに、プログラム記録媒体
JP2002366166A (ja) * 2001-06-11 2002-12-20 Pioneer Electronic Corp コンテンツ提供システム及び方法、並びにそのためのコンピュータプログラム
US20020198716A1 (en) * 2001-06-25 2002-12-26 Kurt Zimmerman System and method of improved communication
US7162254B1 (en) * 2002-09-09 2007-01-09 Bellsouth Intellectual Property Corp: Methods and systems for delivering travel-related information
US20040059578A1 (en) * 2002-09-20 2004-03-25 Stefan Schulz Method and apparatus for improving the quality of speech signals transmitted in an aircraft communication system
JP3638591B2 (ja) * 2002-09-24 2005-04-13 元井 成幸 コンテンツ提供システム
JP3920812B2 (ja) * 2003-05-27 2007-05-30 株式会社東芝 コミュニケーション支援装置、支援方法、及び支援プログラム
US8666746B2 (en) * 2004-05-13 2014-03-04 At&T Intellectual Property Ii, L.P. System and method for generating customized text-to-speech voices
CN1584874A (zh) * 2004-06-15 2005-02-23 汪兰珍 一种智能采集、语言互译、语音合成的方法及装置
US7830408B2 (en) * 2005-12-21 2010-11-09 Cisco Technology, Inc. Conference captioning
CN101030130A (zh) * 2006-03-02 2007-09-05 英华达(南京)科技有限公司 利用语音识别实现字元输入的手持式装置及方法
CN101809651B (zh) * 2007-07-31 2012-11-07 寇平公司 提供语音到语音翻译和模拟人类属性的化身的移动无线显示器
US20090171663A1 (en) * 2008-01-02 2009-07-02 International Business Machines Corporation Reducing a size of a compiled speech recognition grammar
US8019276B2 (en) * 2008-06-02 2011-09-13 International Business Machines Corporation Audio transmission method and system
WO2009146700A1 (en) * 2008-06-04 2009-12-10 Gn Netcom A/S A wireless headset with voice announcement means
JP4848397B2 (ja) * 2008-06-23 2011-12-28 ヤフー株式会社 関連クエリ導出装置、関連クエリ導出方法及びプログラム
CN101933242A (zh) * 2008-08-08 2010-12-29 雅马哈株式会社 调制装置以及解调装置
CN201345797Y (zh) * 2008-10-07 2009-11-11 厦门市海菱电子有限公司 一种车载收放机
CN201323726Y (zh) * 2008-12-05 2009-10-07 王文华 带无线喊话器的车载式音响
US20110153330A1 (en) * 2009-11-27 2011-06-23 i-SCROLL System and method for rendering text synchronized audio
US20120253822A1 (en) * 2009-12-11 2012-10-04 Thomas Barton Schalk Systems and Methods for Managing Prompts for a Connected Vehicle
US20110183725A1 (en) * 2010-01-28 2011-07-28 Shai Cohen Hands-Free Text Messaging
US9263058B2 (en) * 2010-06-24 2016-02-16 Honda Motor Co., Ltd. Communication system and method between an on-vehicle voice recognition system and an off-vehicle voice recognition system
GB2481992A (en) * 2010-07-13 2012-01-18 Sony Europe Ltd Updating text-to-speech converter for broadcast signal receiver
US8468010B2 (en) * 2010-09-24 2013-06-18 Damaka, Inc. System and method for language translation in a hybrid peer-to-peer environment
WO2012051288A2 (en) * 2010-10-12 2012-04-19 Armital Llc System and method for providing audio content associated with broadcasted multimedia and live entertainment events based on profiling information
JP5323878B2 (ja) * 2011-03-17 2013-10-23 みずほ情報総研株式会社 プレゼンテーション支援システム及びプレゼンテーション支援方法
WO2012137654A1 (ja) * 2011-04-05 2012-10-11 ヤマハ株式会社 情報提供システム、識別情報解決サーバおよび携帯端末装置
EP2705675B1 (en) * 2011-05-04 2021-02-17 Sonova AG Self-learning hearing assistance system and method of operating the same
CN102779509B (zh) * 2011-05-11 2014-12-03 联想(北京)有限公司 语音处理设备和语音处理方法
US9230549B1 (en) * 2011-05-18 2016-01-05 The United States Of America As Represented By The Secretary Of The Air Force Multi-modal communications (MMC)
US9026446B2 (en) * 2011-06-10 2015-05-05 Morgan Fiumi System for generating captions for live video broadcasts
US8798995B1 (en) * 2011-09-23 2014-08-05 Amazon Technologies, Inc. Key word determinations from voice data
US9015032B2 (en) * 2011-11-28 2015-04-21 International Business Machines Corporation Multilingual speech recognition and public announcement
JP2013186228A (ja) * 2012-03-07 2013-09-19 Seiko Epson Corp 音声認識処理装置及び音声認識処理方法
US9026439B2 (en) * 2012-03-28 2015-05-05 Tyco Fire & Security Gmbh Verbal intelligibility analyzer for audio announcement systems
EP2845191B1 (en) * 2012-05-04 2019-03-13 Xmos Inc. Systems and methods for source signal separation
KR101907406B1 (ko) * 2012-05-08 2018-10-12 삼성전자 주식회사 통신 서비스 운용 방법 및 시스템
CN102811284A (zh) * 2012-06-26 2012-12-05 深圳市金立通信设备有限公司 一种语音输入自动翻译为目标语言的方法
CN103794215A (zh) * 2012-10-30 2014-05-14 上海斐讯数据通信技术有限公司 基于语音控制的手持终端、系统及其基于语音的控制方法
CN202871252U (zh) * 2012-11-09 2013-04-10 许巧智 基于录音笔的具有翻译功能的导游系统
CN202980310U (zh) * 2012-11-16 2013-06-12 南通纺织职业技术学院 一种导游帽
KR20140088449A (ko) * 2013-01-02 2014-07-10 엘지전자 주식회사 중앙 제어 장치 및 그것의 제어 방법
US9549295B2 (en) * 2013-02-08 2017-01-17 Audionow Ip Holdings, Llc System and method for broadcasting audio tweets
KR102108500B1 (ko) * 2013-02-22 2020-05-08 삼성전자 주식회사 번역 기반 통신 서비스 지원 방법 및 시스템과, 이를 지원하는 단말기
CN203217358U (zh) * 2013-05-06 2013-09-25 天津恒达文博科技有限公司 车船讲解调度管理设备
KR101456974B1 (ko) * 2013-05-21 2014-10-31 삼성전자 주식회사 사용자 단말기, 음성인식 서버 및 음성인식 가이드 방법
CN203340192U (zh) * 2013-05-29 2013-12-11 郑州宇通客车股份有限公司 客车视听播放系统
KR102195897B1 (ko) * 2013-06-05 2020-12-28 삼성전자주식회사 음향 사건 검출 장치, 그 동작 방법 및 그 동작 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체
KR102060661B1 (ko) * 2013-07-19 2020-02-11 삼성전자주식회사 통신 방법 및 이를 위한 디바이스
CN103731707A (zh) * 2013-12-03 2014-04-16 乐视致新电子科技(天津)有限公司 移动终端设备控制智能电视端语音输入的方法及系统
CN203858414U (zh) * 2014-01-09 2014-10-01 盈诺飞微电子(上海)有限公司 头戴式语音识别投影装置及系统
CN104036779B (zh) * 2014-06-24 2017-12-26 湖南大学 一种用于移动平台的无线语音控制方法及系统
EP3166023A4 (en) * 2014-07-04 2018-01-24 Clarion Co., Ltd. In-vehicle interactive system and in-vehicle information appliance
US9751527B2 (en) * 2014-07-09 2017-09-05 Alcatel-Lucent Usa Inc. In-the-road, passable obstruction avoidance arrangement

Also Published As

Publication number Publication date
EP3223275A1 (en) 2017-09-27
JP2016099466A (ja) 2016-05-30
CN107004416A (zh) 2017-08-01
EP3223275A4 (en) 2018-07-18
JP6114249B2 (ja) 2017-04-12
US20170255615A1 (en) 2017-09-07
WO2016080535A1 (ja) 2016-05-26
EP3223275B1 (en) 2019-07-10

Similar Documents

Publication Publication Date Title
JP6860055B2 (ja) 情報提供方法、端末装置の動作方法、情報提供システム、端末装置およびプログラム
CN106537496B (zh) 终端装置、信息提供系统、信息呈现方法和信息提供方法
KR101768838B1 (ko) 음향 처리 장치 및 정보 제공 방법
CN106537497B (zh) 信息管理系统和信息管理方法
WO2016208366A1 (ja) 情報提供システム、情報提供方法、およびコンピュータ読み取り可能な記録媒体
JP6747535B2 (ja) 端末装置およびプログラム
JP6569252B2 (ja) 情報提供システム、情報提供方法およびプログラム
CN107004416B (zh) 信息发送装置、信息发送方法、引导系统和通信系统
CN107209901B (zh) 信息提供系统、信息提供方法以及管理装置
JP6569629B2 (ja) 情報送信装置、情報送信方法およびプログラム
US11250704B2 (en) Information provision device, terminal device, information provision system, and information provision method
JP6971557B2 (ja) 管理装置およびプログラム
JP6780529B2 (ja) 情報提供装置および情報提供システム
JP6881477B2 (ja) 情報提供システム、情報提供方法およびプログラム
JP7087745B2 (ja) 端末装置、情報提供システム、端末装置の動作方法および情報提供方法
JP6938849B2 (ja) 情報生成システム、情報提供システムおよび情報提供方法
JP2017134581A (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant