CN108090052A - 语音翻译方法和装置 - Google Patents

语音翻译方法和装置 Download PDF

Info

Publication number
CN108090052A
CN108090052A CN201810009371.4A CN201810009371A CN108090052A CN 108090052 A CN108090052 A CN 108090052A CN 201810009371 A CN201810009371 A CN 201810009371A CN 108090052 A CN108090052 A CN 108090052A
Authority
CN
China
Prior art keywords
information
sent
terminal device
server
language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810009371.4A
Other languages
English (en)
Inventor
金志军
郑勇
卫特超
王文祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Water World Co Ltd
Original Assignee
Shenzhen Water World Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Water World Co Ltd filed Critical Shenzhen Water World Co Ltd
Priority to CN201810009371.4A priority Critical patent/CN108090052A/zh
Publication of CN108090052A publication Critical patent/CN108090052A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/55Rule-based translation
    • G06F40/56Natural language generation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/086Detection of language
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/005Language recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Abstract

本发明揭示了一种语音翻译方法和装置,所述方法包括以下步骤:与至少两个终端设备建立WIFI网络连接;接收一终端设备发送的原始语音信息;对原始语音信息进行翻译处理,获取目标语音信息;将目标语音信息发送给其原始语言与所述目标语音信息的语言相同的终端设备。从而,用户无需靠近翻译机并操控翻译机的按键,只需各自操控自己的终端设备就能实现语音翻译,提高了语音翻译的灵活性和便捷性。同时,翻译机可以与多个终端设备连接,因此可以实现多语言实时翻译,支持使用不同语言的多个用户之间的交谈,扩展了翻译机的应用范围。

Description

语音翻译方法和装置
技术领域
本发明涉及电子技术领域,特别是涉及到一种语音翻译方法和装置。
背景技术
随着经济的快速发展,对外交流越来越广泛,而对于许多人来说语言不通是对外交流的一大障碍。为了解决上述问题,市场上出现了各种各样的翻译机。翻译机凭借着小巧便携的外观、强大的语言翻译功能,深受广大有语言翻译需求的人士的欢迎,同时也是人们学习外语的好帮手。翻译机可以在双方对话的过程中进行翻译,使得使用不同语言的用户可以无障碍交流。
现有的翻译机在进行翻译时,用户必须靠近翻译机,并用手操控翻译机上的按键,操作不够灵活方便。同时,现有的翻译机同一时间只支持两种语言的互译,无法实现多语言实时翻译,因此无法支持使用不同语言的多个用户之间的交谈,限制了翻译机的应用范围。
由此可见,如何实现多语言实时翻译,并提高语音翻译的灵活性和便捷性,是当前亟需解决的技术问题。
发明内容
本发明的主要目的为提供一种语音翻译方法和装置,旨在提高实现多语言实时翻译,并提高语音翻译的灵活性和便捷性。
为达以上目的,本发明实施例提出一种语音翻译方法,包括以下步骤:
与至少两个终端设备建立WIFI网络连接;
接收一终端设备发送的原始语音信息;
对所述原始语音信息进行翻译处理,获取目标语音信息;
将所述目标语音信息发送给其原始语言与所述目标语音信息的语言相同的终端设备。
可选地,所述将所述目标语音信息发送给其原始语言与所述目标语音信息的语言相同的终端设备的步骤包括:
将作为发送端的终端设备的目标语言与其余终端设备的原始语言进行比对;
选取其原始语言与所述目标语言相同的终端设备;
将所述目标语音信息发送给选取的终端设备。
可选地,所述获取目标语音信息的步骤之后还包括:
将所述原始语音信息发送给其原始语言与所述原始语音信息的语言相同的终端设备。
可选地,所述获取目标语音信息的步骤之后还包括:
将作为发送端的终端设备的原始语言与其余终端设备的原始语言进行比对;
选取其原始语言与所述作为发送端的终端设备的原始语言相同的终端设备;
将所述原始语音信息发送给选取的终端设备。
可选地,所述对所述原始语音信息进行翻译处理,获取目标语音信息的步骤包括:
将所述原始语音信息发送给语音识别服务器,以使所述语音识别服务器将所述原始语音信息转换为原始文本信息,并接收所述语音识别服务器发送的所述原始文本信息;
将所述原始文本信息发送给翻译服务器,以使所述翻译服务器将所述原始文本信息翻译为目标文本信息,并接收所述翻译服务器发送的所述目标文本信息;
将所述目标文本信息发送给语音合成服务器,以使所述语音合成服务器将所述目标文本信息语音合成为目标语音信息,并接收所述语音合成服务器发送的所述目标语音信息。
可选地,所述对所述原始语音信息进行翻译处理,获取目标语音信息的步骤包括:将所述原始语音信息发送给服务器,以使所述服务器将所述原始语音信息翻译为目标语音信息,并接收所述服务器发送的所述目标语音信息。
可选地,所述与至少两个终端设备建立WIFI网络连接的步骤之后还包括:针对每一个终端设备,分别与所述语音识别服务器、所述翻译服务器和所述语音合成服务器建立独立的socket长连接。
可选地,通过LTE网络分别与所述语音识别服务器、所述翻译服务器和所述语音合成服务器进行通信。
可选地,所述与至少两个终端设备建立WIFI网络连接的步骤之后还包括:分别为每一个终端设备分配一个缓存空间。
可选地,每一个缓存空间包括原始语音信息缓存区、原始文本信息缓存区、目标文本信息缓存区和目标语音信息缓存区。
本发明实施例同时提出一种语音翻译装置,所述装置包括:
第一连接模块,用于与至少两个终端设备建立WIFI网络连接;
信息接收模块,用于接收一终端设备发送的原始语音信息;
翻译处理模块,用于对所述原始语音信息进行翻译处理,获取目标语音信息;
第一发送模块,用于将所述目标语音信息发送给其原始语言与所述目标语音信息的语言相同的终端设备。
可选地,所述第一发送模块包括:
第一比对单元,用于将作为发送端的终端设备的目标语言与其余终端设备的原始语言进行比对;
第一选取单元,用于选取其原始语言与所述目标语言相同的终端设备;
第一发送单元,用于将所述目标语音信息发送给选取的终端设备。
可选地,所述装置还包括第二发送模块,所述第二发送模块用于:将所述原始语音信息发送给其原始语言与所述原始语音信息的语言相同的终端设备。
可选地,所述第二发送模块包括:
第二比对单元,用于将作为发送端的终端设备的原始语言与其余终端设备的原始语言进行比对;
第二选取单元,用于选取其原始语言与所述作为发送端的终端设备的原始语言相同的终端设备;
第二发送单元,用于将所述原始语音信息发送给选取的终端设备。
可选地,所述翻译处理模块包括:
第一传输单元,用于将所述原始语音信息发送给语音识别服务器,以使所述语音识别服务器将所述原始语音信息转换为原始文本信息,并接收所述语音识别服务器发送的所述原始文本信息;
第二传输单元,用于将所述原始文本信息发送给翻译服务器,以使所述翻译服务器将所述原始文本信息翻译为目标文本信息,并接收所述翻译服务器发送的所述目标文本信息;
第三传输单元,用于将所述目标文本信息发送给语音合成服务器,以使所述语音合成服务器将所述目标文本信息语音合成为目标语音信息,并接收所述语音合成服务器发送的所述目标语音信息。
可选地,所述翻译处理模块包括第四传输单元,所述第四传输单元用于:
将所述原始语音信息发送给服务器,以使所述服务器将所述原始语音信息翻译为目标语音信息,并接收所述服务器发送的所述目标语音信息。
可选地,所述装置还包括第二连接模块,所述第二连接模块用于:针对每一个终端设备,分别与所述语音识别服务器、所述翻译服务器和所述语音合成服务器建立独立的socket长连接。
可选地,所述翻译处理模块通过LTE网络分别与所述语音识别服务器、所述翻译服务器和所述语音合成服务器进行通信。
可选地,所述装置还包括缓存分配模块,所述缓存分配模块用于:分别为每一个终端设备分配一个缓存空间。
本发明实施例还提出一种翻译机,其包括存储器、处理器和至少一个被存储在所述存储器中并被配置为由所述处理器执行的应用程序,所述应用程序被配置为用于执行前述语音翻译方法。
本发明实施例所提供的一种语音翻译方法,通过与至少两个终端设备建立WIFI网络连接,并将一个终端设备发送的原始语音信息翻译处理为目标语音信息后发送给其它的终端设备,使得用户无需靠近翻译机并操控翻译机的按键,只需各自操控自己的终端设备就能实现语音翻译,提高了语音翻译的灵活性和便捷性。同时,翻译机可以与多个终端设备连接,因此可以实现多语言全双工实时翻译,支持使用不同语言的多个用户之间的交谈,扩展了翻译机的应用范围。
附图说明
图1是本发明的语音翻译方法一实施例的流程图;
图2是本发明实施例中对原始语音信息进行翻译处理的步骤的具体流程图;
图3是实现本发明实施例的语音翻译方法的系统一实例的模块示意图;
图4是图3中的MIFI翻译机为终端设备分配的缓存空间的示意图;
图5是图4中的缓存空间A的缓存区间划分示意图;
图6是实现本发明实施例的语音翻译方法时系统内各主体的交互示意图;
图7是本发明的语音翻译装置第一实施例的模块示意图;
图8是图7中的第一发送模块的模块示意图;
图9是本发明的语音翻译装置第二实施例的模块示意图;
图10是图9中的翻译处理模块的模块示意图;
图11是本发明的语音翻译装置第三实施例的模块示意图;
图12是图11中的第二发送模块的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,执行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(Personal Communications Service,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
本技术领域技术人员可以理解,这里所使用的服务器,其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。在此,云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。本发明的实施例中,服务器、终端设备与WNS服务器之间可通过任何通信方式实现通信,包括但不限于,基于3GPP、LTE、WIMAX的移动通信、基于TCP/IP、UDP协议的计算机网络通信以及基于蓝牙、红外传输标准的近距无线传输方式。
本发明实施例的语音翻译方法和装置,主要应用于具有WIFI功能的翻译机,如MIFI翻译机。当然,也可以应用于其它具有WIFI功能的翻译设备,本发明对此不作限定。
MIFI即Mobile WIFI的缩写,中文名为移动路由器(或移动热点),是一个便携式宽带无线装置,集调制解调器、路由器和接入点三者功能于一身。内置调制解调器可接入一个无线信号,内部路由器可在多个用户和无线设备间共享这一连接。MIFI翻译机为具有MIFI功能的翻译机,现有技术中,当开启MIFI功能时,MIFI翻译机可以作为移动路由器使用,其它终端设备则可以接入该移动路由器的WIFI网络,从而接入互联网;当关闭MIFI功能时,MIFI翻译机则作为普通的翻译机使用。以下以应用于MIFI翻译机为例进行详细说明。
参照图1,提出本发明的语音翻译方法一实施例,所述方法应用于MIFI翻译机,包括以下步骤:
S11、与至少两个终端设备建立WIFI网络连接。
本发明实施例中,MIFI翻译机开启MIFI功能,作为WIFI热点建立WIFI网络供至少两个终端设备接入。每个终端设备开启WIFI功能,接入MIFI翻译机的WIFI网络,最终MIFI翻译机与至少两个终端设备建立基于IP通信的WIFI网络连接。所述终端设备优选为手机、平板等移动终端,特别是支持VoWIFI(Voice on WIFI)的移动终端,当然也可以是笔记本电脑等计算机终端,本发明对此不作限定。
每个终端设备与MIFI翻译机建立WIFI网络连接时,需设置原始语言和目标语言,原始语言为该终端设备的用户所使用的语种,目标语言为需要翻译的语种,即其他终端设备的用户所使用的不同的语种。目标语言可以至少有两种,即本发明实施例的语音翻译方法支持多种语言的用户参与交谈。同时,还可以设置语音输出类型,如男声、女声、语速等。
从而实现在MIFI组网下,网内多个终端设备之间形成连接通道,每个终端设备都有唯一的IP地址,MIFI翻译机记录下每个终端设备设置的原始语言和目标语言。
可选地,MIFI翻译机与终端设备建立WIFI网络连接后,还可以与服务器建立网络连接,如可以建立LTE(Long Term Evolution,长期演进)网络连接,通过LTE网络进行通信,从而可以利用LTE、WIFI通信的高速率低时延的特点,实现网内多个终端设备间的多语言全双工实时翻译。本发明实施例中,针对每一个终端设备,MIFI翻译机与服务器建立独立的socket长连接,当然也可以建立HTTP连接,但socket长连接请求更快,不需要终端设备多次请求服务器。
服务器可以有一个,也可以有多个。例如,服务器包括语音识别服务器、翻译服务器和语音合成服务器三个服务器,针对每一个终端设备,MIFI翻译机分别与语音识别服务器、翻译服务器和语音合成服务器建立独立的socket长连接,即每一个终端设备对应三条独立的socket长连接,不同的终端设备的socket长连接不可共用。语音识别服务器记录每个终端设备预设的原始语音信息,翻译服务器记录每个终端设备预设的目标语音信息,语音合成服务器记录每个终端设备预设的语音输出类型。
S12、接收一终端设备发送的原始语音信息。
当网络连接建立后,各个用户就可以通过自己的终端设备轮流发言,各个终端设备轮流作为发送端。作为发送端的终端设备通过采集、录音、缓存等步骤获取用户的原始语音信息,并将原始语音信息发送给MIFI翻译机。MIFI翻译机接收作为发送端的终端设备发送的原始语音信息并缓存。
本发明实施例中,MIFI翻译机优选分别为每一个终端设备分配一个缓存空间。进一步地,将每一个缓存空间划分为原始语音信息缓存区、原始文本信息缓存区、目标文本信息缓存区和目标语音信息缓存区,其中,原始语音信息缓存区用于缓存原始语音信息,原始文本信息缓存区用于缓存原始文本信息,目标文本信息缓存区用于缓存目标文本信息,目标语音信息缓存区用于缓存目标语音信息。
S13、对原始语音信息进行翻译处理,获取目标语音信息。
MIFI翻译机根据该终端设备预设的原始语言和目标语言,将原始语音信息从原始语言转换为目标语言,获取目标语音信息。当预设了至少两个目标语言时,则将原始语音信息分别翻译为不同的目标语言,获取至少两种目标语音信息。
可选地,MIFI翻译机可以在本地对原始语音信息进行翻译处理。具体的,MIFI翻译机首先根据该终端设备预设的原始语言对原始语音信息进行语音识别,将原始语音信息转换为原始文本信息(如字符串);然后根据该终端设备预设的目标语言对原始文本信息进行文本翻译,将原始文本信息翻译为目标文本信息;最后根据该终端设备预设的语音输出类型对目标文本信息进行语音合成,将目标文本信息合成为语音码流,该语音码流即为目标语音信息。
可选地,当MIFI翻译机与服务器建立了网络连接时,MIFI翻译机也可以通过服务器对原始语音信息进行翻译处理。具体的,MIFI翻译机将原始语音信息发送给服务器,服务器根据该终端设备预设的原始语言、目标语言和语音输出类型,依次进行语音识别、文本翻译和语音合成处理,获得目标语音信息并发送给MIFI翻译机,MIFI翻译机接收服务器返回的目标语音信息并缓存。
本发明实施例中,服务器包括语音识别服务器、翻译服务器和语音合成服务器。此时,MIFI翻译机对原始语音信息进行翻译处理的具体流程如图2所示,包括以下步骤:
S131、将原始语音信息发送给语音识别服务器,以使语音识别服务器将原始语音信息转换为原始文本信息,并接收语音识别服务器发送的原始文本信息。
本步骤S131中,MIFI服务器将原始语音信息发送给语音识别服务器;语音识别服务器接收原始语音信息,根据该终端设备预设的原始语言,对原始语音信息进行语音识别,将原始语音信息转换为原始文本信息(如字符串),并将原始文本信息发送给MIFI服务器;MIFI服务器接收语音识别服务器发送的原始文本信息并缓存于该终端设备的原始文本信息缓存区。
S132、将原始文本信息发送给翻译服务器,以使翻译服务器将原始文本信息翻译为目标文本信息,并接收翻译服务器发送的目标文本信息。
本步骤S132中,MIFI服务器将原始文本信息发送给翻译服务器;翻译服务器接收原始文本信息,根据该终端设备预设的目标语言对原始文本信息进行文本翻译,将原始文本信息翻译为目标文本信息,并将目标文本信息发送给MIFI服务器;MIFI服务器接收翻译服务器发送的目标文本信息并缓存于该终端设备的目标文本信息缓存区。
S133、将目标文本信息发送给语音合成服务器,以使语音合成服务器将目标文本信息语音合成为目标语音信息,并接收语音合成服务器发送的目标语音信息。
本步骤S133中,MIFI服务器将目标文本信息发送给语音合成服务器;语音合成服务器接收目标文本信息,根据该终端设备预设的语音输出类型对目标文本信息进行语音合成,将目标文本信息合成为语音码流,该语音码流即为目标语音信息,并将目标文本信息发送给MIFI服务器;MIFI服务器接收语音合成服务器发送的目标语音信息并缓存于该终端设备的目标语音信息缓存区。
S14、将目标语音信息发送给其原始语言与目标语音信息的语言相同的终端设备。
本步骤S14中,当将原始语音信息翻译处理为目标语音信息后,MIFI翻译机则将目标语音信息发送给对应的终端设备,即其原始语言与目标语音信息的语言相同的终端设备。当有多种目标语音信息时,则将不同的目标语音信息分别发送给对应的终端设备。
具体的,MIFI翻译机首先将作为发送端的终端设备的目标语言与其余终端设备的原始语言进行比对,判断二者是否相同,然后选取其原始语言与作为发送端的终端设备的目标语言相同的终端设备,最后将目标语音信息发送给选取的终端设备。
在其它实施例中,MIFI翻译机也可以先将目标语音信息分别与各终端设备的原始语言进行比对,判断二者是否相同,然后选取其原始语言与目标语音信息的语言相同的终端设备,最后将目标语音信息发送给选取的终端设备。
进一步地,在发送目标语音信息的同时,MIFI翻译机还可以将原始语音信息发送给其原始语言与原始语音信息的语言相同的终端设备。从而使得用户可以在嘈杂的环境下佩戴耳机进行交谈,与发言者使用同一语言的用户则可以通过耳机清楚的听到发言者的原始语音信息。
具体的,MIFI翻译机首先将作为发送端的终端设备的原始语言与其余终端设备的原始语言进行比对,判断二者是否相同,然后选取其原始语言与作为发送端的终端设备的原始语言相同的终端设备,最后将原始语音信息发送给选取的终端设备。
在其它实施例中,MIFI翻译机也可以先将原始语音信息与各终端设备(或除发送端以外的终端设备)的原始语言进行比对,判断二者是否相同,然后选取其原始语言与原始语音信息的语言相同的终端设备,最后将目标语音信息发送给选取的终端设备。
如图3所示,为实现本发明的语音翻译方法的系统一实例,该系统包括五个移动终端、一个MIFI翻译机和三个服务器,五个移动终端分别为移动终端A、移动终端B、移动终端C、移动终端D和移动终端E,三个服务器分别为语音识别服务器、翻译服务器和语音合成服务器。
五个移动终端分别与MIFI服务器建立基于IP通信的WIFI网络连接,同时,针对每个移动终端,MIFI服务器通过LTE网络分别与语音识别服务器、翻译服务器和语音合成服务器建立独立的socket长连接。
例如,移动终端A与MIFI服务器建立WIFI网络连接后,MIFI翻译机则与语音识别服务器建立socket长连接以及设置原始语言(即需要识别的语种),与翻译服务器建立socket长连接以及设置目标语言(即需要翻译的语种),与语音合成服务器建立socket长连接以及设置语音输出类型。每个移动终端均重复上述操作,完成MIFI组网,合计建立15条相互独立的socket长连接。
如图4所示,MIFI翻译机为移动终端A、B、C、D、E各分配一个缓存空间,分别为缓存空间A、缓存空间B、缓存空间C、缓存空间D、缓存空间E。同时,将每个缓存空间划分为四个缓存区,如图5所示,缓存空间A包括原始语音信息缓存区、原始文本信息缓存区、目标文本信息缓存区和目标语音信息缓存区共四个缓存区。
五个移动终端可以轮流作为发送端,当一个移动终端为发送端时,其余移动终端则为接收端。如图6所示,以移动终端A为发送端为例,MIFI翻译机接收移动终端A发送的原始语音信息,并将其存储于缓存空间A的原始语音信息缓存区;MIFI翻译机将原始语音信息发送给语音识别服务器,接收语音识别服务器返回的原始文本信息,并将其缓存于缓存空间A的原始文本信息缓存区;MIFI翻译机将原始文本信息发送给翻译服务器,接收翻译服务器返回的目标文本信息,并将其缓存于缓存空间A的目标文本信息缓存区;MIFI翻译机将目标文本信息发送给语音合成服务器,接收语音合成服务器返回的目标语音信息,并将其缓存于目标语音信息缓存区;MIFI翻译机将目标语音信息分别发送给移动终端B、C、D、E,其中,移动终端B、C、D、E设置的原始语言与MIFI翻译机翻译后的目标语音信息的语言相同。
当移动终端B、C、D或E作为发送端,与前述流程类似,本发明对此不再赘述。
本发明实施例的语音翻译方法,通过与至少两个终端设备建立WIFI网络连接,并将一个终端设备发送的原始语音信息翻译处理为目标语音信息后发送给其它的终端设备,使得用户无需靠近翻译机并操控翻译机的按键,只需各自操控自己的终端设备就能实现语音翻译,提高了语音翻译的灵活性和便捷性。同时,翻译机可以与多个终端设备连接,因此可以实现多语言实时翻译,支持使用不同语言的多个用户之间的交谈,扩展了翻译机的应用范围。
参照图7,提出本发明的语音翻译装置第一实施例,所述语音翻译装置包括第一连接模块10、信息接收模块20、翻译处理模块30和第一发送模块40,其中:第一连接模块10,用于与至少两个终端设备建立WIFI网络连接;信息接收模块20,用于接收一终端设备发送的原始语音信息;翻译处理模块30,用于对原始语音信息进行翻译处理,获取目标语音信息;第一发送模块40,用于将目标语音信息发送给其原始语言与目标语音信息的语言相同的终端设备。
第一连接模块10开启MIFI翻译机的MIFI功能,作为WIFI热点建立WIFI网络供至少两个终端设备接入。每个终端设备开启WIFI功能,接入MIFI翻译机的WIFI网络,最终第一连接模块10与至少两个终端设备建立基于IP通信的WIFI网络连接。所述终端设备优选为手机、平板等移动终端,特别是支持VoWIFI(Voice on WIFI)的移动终端,当然也可以是笔记本电脑等计算机终端,本发明对此不作限定。
每个终端设备与MIFI翻译机建立WIFI网络连接时,需设置原始语言和目标语言,原始语言为该终端设备的用户所使用的语种,目标语言为需要翻译的语种,即其他终端设备的用户所使用的不同的语种。目标语言可以至少有两种,即本发明实施例的语音翻译方法支持多种语言的用户参与交谈。同时,还可以设置语音输出类型,如男声、女声、语速等。
从而实现在MIFI组网下,网内多个终端设备之间形成连接通道,每个终端设备都有唯一的IP地址,第一连接模块10记录下每个终端设备设置的原始语言和目标语言。
当网络连接建立后,各个用户就可以通过自己的终端设备轮流发言,各个终端设备轮流作为发送端。作为发送端的终端设备通过采集、录音、缓存等步骤获取用户的原始语音信息,并将原始语音信息发送给MIFI翻译机。信息接收模块20接收作为发送端的终端设备发送的原始语音信息并缓存。
翻译处理模块30根据终端设备预设的原始语言和目标语言,将原始语音信息从原始语言转换为目标语言,获取目标语音信息。当预设了至少两个目标语言时,则将原始语音信息分别翻译为不同的目标语言,获取至少两种目标语音信息。
本实施例中,翻译处理模块30在本地对原始语音信息进行翻译处理。具体的,翻译处理模块30首先根据该终端设备预设的原始语言对原始语音信息进行语音识别,将原始语音信息转换为原始文本信息(如字符串);然后根据该终端设备预设的目标语言对原始文本信息进行文本翻译,将原始文本信息翻译为目标文本信息;最后根据该终端设备预设的语音输出类型对目标文本信息进行语音合成,将目标文本信息合成为语音码流,该语音码流即为目标语音信息。
当将原始语音信息翻译处理为目标语音信息后,第一发送模块40则将目标语音信息发送给对应的终端设备,即其原始语言与目标语音信息的语言相同的终端设备。当有多种目标语音信息时,则将不同的目标语音信息分别发送给对应的终端设备。
本发明实施例中,第一发送模块40如图8所示,包括第一比对单元41、第一选取单元42和第一发送单元43,其中:第一比对单元41,用于将作为发送端的终端设备的目标语言与其余终端设备的原始语言进行比对,判断二者是否相同;第一选取单元42,用于选取其原始语言与目标语言相同的终端设备;第一发送单元43,用于将目标语音信息发送给选取的终端设备。
在其它实施例中,第一发送模块40也可以先将目标语音信息分别与各终端设备的原始语言进行比对,判断二者是否相同,然后选取其原始语言与目标语音信息的语言相同的终端设备,最后将目标语音信息发送给选取的终端设备。
进一步地,如图9所示,在本发明的语音翻译装置第二实施例中,该装置还包括第二连接模块60和缓存分配模块50,其中,第二连接模块60,用于针对每一个终端设备,分别与语音识别服务器、翻译服务器和语音合成服务器建立独立的socket长连接,即每一个终端设备对应三条独立的socket长连接,不同的终端设备的socket长连接不可共用;缓存分配模块50,用于分别为每一个终端设备分配一个缓存空间,优选将每个缓存空间划分为原始语音信息缓存区、原始文本信息缓存区、目标文本信息缓存区和目标语音信息缓存区。
第二连接模块60可以与各个服务器建立LTE网络连接,通过LTE网络进行通信,从而可以利用LTE、WIFI通信的高速率低时延的特点,实现网内多个终端设备间的多语言全双工实时翻译。第二连接模块60将每个终端设备预设的原始语言、目标语言和语音输出类型分别发送给语音识别服务器、翻译服务器和语音合成服务器。
此时,翻译处理模块30如图10所示,包括第一传输单元31、第二传输单元32和第三传输单元33,其中:第一传输单元31,用于将原始语音信息发送给语音识别服务器,以使语音识别服务器将原始语音信息转换为原始文本信息,并接收语音识别服务器发送的原始文本信息,将其缓存于对应缓存空间的原始文本信息缓存区;第二传输单元32,用于将原始文本信息发送给翻译服务器,以使翻译服务器将原始文本信息翻译为目标文本信息,并接收翻译服务器发送的目标文本信息,将其缓存于对应缓存空间的目标文本信息缓存区;第三传输单元33,用于将目标文本信息发送给语音合成服务器,以使语音合成服务器将目标文本信息语音合成为目标语音信息,并接收语音合成服务器发送的目标语音信息,将其缓存于对应缓存空间的目标语音信息缓存区。
在某些实施例中,第二连接模块60也可以只与一个服务器建立socket长连接,此时,翻译处理模块30只包括第四传输单元,该第四传输单元用于:将原始语音信息发送给服务器,以使服务器将原始语音信息翻译为目标语音信息,并接收服务器发送的目标语音信息。
进一步地,如图11所示,在本发明的语音翻译装置第三实施例中,该装置还包括第二发送模块70,该第二发送模块70用于将原始语音信息发送给其原始语言与原始语音信息的语言相同的终端设备。
本实施例中,第二发送模块70如图12所示,包括第二比对单元71、第二选取单元72和第二发送单元73,其中:第二比对单元71,用于将作为发送端的终端设备的原始语言与其余终端设备的原始语言进行比对,判断二者是否相同;第二选取单元72,用于选取其原始语言与作为发送端的终端设备的原始语言相同的终端设备;第二发送单元73,用于将原始语音信息发送给选取的终端设备。
从而,使得用户可以在嘈杂的环境下佩戴耳机进行交谈,与发言者使用同一语言的用户则可以通过耳机清楚的听到发言者的原始语音信息。
在其它实施例中,第二发送模块70也可以先将原始语音信息与各终端设备(或除发送端以外的终端设备)的原始语言进行比对,判断二者是否相同,然后选取其原始语言与原始语音信息的语言相同的终端设备,最后将目标语音信息发送给选取的终端设备。
本发明实施例的语音翻译装置,通过与至少两个终端设备建立WIFI网络连接,并将一个终端设备发送的原始语音信息翻译处理为目标语音信息后发送给其它的终端设备,使得用户无需靠近翻译机并操控翻译机的按键,只需各自操控自己的终端设备就能实现语音翻译,提高了语音翻译的灵活性和便捷性。同时,翻译机可以与多个终端设备连接,因此可以实现多语言实时翻译,支持使用不同语言的多个用户之间的交谈,扩展了翻译机的应用范围。
本发明同时提出一种翻译机,其包括存储器、处理器和至少一个被存储在存储器中并被配置为由处理器执行的应用程序,所述应用程序被配置为用于执行语音翻译方法。所述语音翻译方法包括以下步骤:与至少两个终端设备建立WIFI网络连接;接收一终端设备发送的原始语音信息;对原始语音信息进行翻译处理,获取目标语音信息;将目标语音信息发送给其原始语言与目标语音信息的语言相同的终端设备。本实施例中所描述的语音翻译方法为本发明中上述实施例所涉及的语音翻译方法,在此不再赘述。
本领域技术人员可以理解,本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造,或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序,这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如,计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中,所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存储器)、EPROM(Erasable Programmable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically Erasable ProgrammableRead-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,可读介质包括由设备(例如,计算机)以能够读的形式存储或传输信息的任何介质。
本技术领域技术人员可以理解,可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解,可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现,从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解,本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种语音翻译方法,其特征在于,包括以下步骤:
与至少两个终端设备建立WIFI网络连接;
接收一终端设备发送的原始语音信息;
对所述原始语音信息进行翻译处理,获取目标语音信息;
将所述目标语音信息发送给其原始语言与所述目标语音信息的语言相同的终端设备。
2.根据权利要求1所述的语音翻译方法,其特征在于,所述将所述目标语音信息发送给其原始语言与所述目标语音信息的语言相同的终端设备的步骤包括:
将作为发送端的终端设备的目标语言与其余终端设备的原始语言进行比对;
选取其原始语言与所述目标语言相同的终端设备;
将所述目标语音信息发送给选取的终端设备。
3.根据权利要求1所述的语音翻译方法,其特征在于,所述获取目标语音信息的步骤之后还包括:
将所述原始语音信息发送给其原始语言与所述原始语音信息的语言相同的终端设备。
4.根据权利要求1-3任一项所述的语音翻译方法,其特征在于,所述对所述原始语音信息进行翻译处理,获取目标语音信息的步骤包括:
将所述原始语音信息发送给语音识别服务器,以使所述语音识别服务器将所述原始语音信息转换为原始文本信息,并接收所述语音识别服务器发送的所述原始文本信息;
将所述原始文本信息发送给翻译服务器,以使所述翻译服务器将所述原始文本信息翻译为目标文本信息,并接收所述翻译服务器发送的所述目标文本信息;
将所述目标文本信息发送给语音合成服务器,以使所述语音合成服务器将所述目标文本信息语音合成为目标语音信息,并接收所述语音合成服务器发送的所述目标语音信息。
5.根据权利要求1-3任一项所述的语音翻译方法,其特征在于,所述对所述原始语音信息进行翻译处理,获取目标语音信息的步骤包括:
将所述原始语音信息发送给服务器,以使所述服务器将所述原始语音信息翻译为目标语音信息,并接收所述服务器发送的所述目标语音信息。
6.一种语音翻译装置,其特征在于,包括:
第一连接模块,用于与至少两个终端设备建立WIFI网络连接;
信息接收模块,用于接收一终端设备发送的原始语音信息;
翻译处理模块,用于对所述原始语音信息进行翻译处理,获取目标语音信息;
第一发送模块,用于将所述目标语音信息发送给其原始语言与所述目标语音信息的语言相同的终端设备。
7.根据权利要求6所述的语音翻译装置,其特征在于,所述第一发送模块包括:
第一比对单元,用于将作为发送端的终端设备的目标语言与其余终端设备的原始语言进行比对;
第一选取单元,用于选取其原始语言与所述目标语言相同的终端设备;
第一发送单元,用于将所述目标语音信息发送给选取的终端设备。
8.根据权利要求6所述的语音翻译装置,其特征在于,所述装置还包括第二发送模块,所述第二发送模块用于:将所述原始语音信息发送给其原始语言与所述原始语音信息的语言相同的终端设备。
9.根据权利要求6-8任一项所述的语音翻译装置,其特征在于,所述翻译处理模块包括:
第一传输单元,用于将所述原始语音信息发送给语音识别服务器,以使所述语音识别服务器将所述原始语音信息转换为原始文本信息,并接收所述语音识别服务器发送的所述原始文本信息;
第二传输单元,用于将所述原始文本信息发送给翻译服务器,以使所述翻译服务器将所述原始文本信息翻译为目标文本信息,并接收所述翻译服务器发送的所述目标文本信息;
第三传输单元,用于将所述目标文本信息发送给语音合成服务器,以使所述语音合成服务器将所述目标文本信息语音合成为目标语音信息,并接收所述语音合成服务器发送的所述目标语音信息。
10.根据权利要求6-8任一项所述的语音翻译装置,其特征在于,所述翻译处理模块包括第四传输单元,所述第四传输单元用于:
将所述原始语音信息发送给服务器,以使所述服务器将所述原始语音信息翻译为目标语音信息,并接收所述服务器发送的所述目标语音信息。
CN201810009371.4A 2018-01-05 2018-01-05 语音翻译方法和装置 Pending CN108090052A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810009371.4A CN108090052A (zh) 2018-01-05 2018-01-05 语音翻译方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810009371.4A CN108090052A (zh) 2018-01-05 2018-01-05 语音翻译方法和装置

Publications (1)

Publication Number Publication Date
CN108090052A true CN108090052A (zh) 2018-05-29

Family

ID=62181538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810009371.4A Pending CN108090052A (zh) 2018-01-05 2018-01-05 语音翻译方法和装置

Country Status (1)

Country Link
CN (1) CN108090052A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874788A (zh) * 2018-06-22 2018-11-23 深圳市沃特沃德股份有限公司 语音翻译方法及装置
CN109271645A (zh) * 2018-08-24 2019-01-25 深圳市福瑞达显示技术有限公司 一种基于全息风扇屏的多语种翻译机
CN109446533A (zh) * 2018-09-17 2019-03-08 深圳市沃特沃德股份有限公司 蓝牙翻译机、蓝牙翻译的交互方式及其装置
CN110010124A (zh) * 2019-04-09 2019-07-12 深圳平安综合金融服务有限公司上海分公司 通话检验设备及通话检验方法
CN110032743A (zh) * 2019-03-07 2019-07-19 永德利硅橡胶科技(深圳)有限公司 多人模式的全语通的实现方法及相关产品
CN110232908A (zh) * 2019-07-30 2019-09-13 厦门钛尚人工智能科技有限公司 一种分布式语音合成系统
CN111046678A (zh) * 2019-12-10 2020-04-21 深圳市润屋科技有限公司 一种基于网络的可扩展连接实现同声翻译的装置和方法
CN111814494A (zh) * 2020-06-12 2020-10-23 深圳市沃特沃德股份有限公司 语言翻译方法、装置和计算机设备
CN113362818A (zh) * 2021-05-08 2021-09-07 山西三友和智慧信息技术股份有限公司 一种基于人工智能的语音交互指导系统及方法
CN113743132A (zh) * 2020-05-14 2021-12-03 大富科技(安徽)股份有限公司 智能终端及其翻译方法、存储介质
CN114615224A (zh) * 2022-02-25 2022-06-10 北京快乐茄信息技术有限公司 语音消息处理方法及装置、服务器、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697581A (zh) * 2009-10-26 2010-04-21 深圳华为通信技术有限公司 支持同声传译视讯会议的方法、装置及系统
CN101867632A (zh) * 2009-06-12 2010-10-20 刘越 一种手机语音即时翻译系统和翻译方法
WO2012038612A1 (fr) * 2010-09-21 2012-03-29 Pedre Joel Traducteur verbal intégré à perception d'interlocuteur intégrée
CN107241681A (zh) * 2017-05-24 2017-10-10 深圳市沃特沃德股份有限公司 同声翻译的实现方法和装置
CN107301175A (zh) * 2017-06-29 2017-10-27 深圳双猴科技有限公司 一种多语种翻译方法及录音设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867632A (zh) * 2009-06-12 2010-10-20 刘越 一种手机语音即时翻译系统和翻译方法
CN101697581A (zh) * 2009-10-26 2010-04-21 深圳华为通信技术有限公司 支持同声传译视讯会议的方法、装置及系统
WO2012038612A1 (fr) * 2010-09-21 2012-03-29 Pedre Joel Traducteur verbal intégré à perception d'interlocuteur intégrée
CN107241681A (zh) * 2017-05-24 2017-10-10 深圳市沃特沃德股份有限公司 同声翻译的实现方法和装置
CN107301175A (zh) * 2017-06-29 2017-10-27 深圳双猴科技有限公司 一种多语种翻译方法及录音设备

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874788A (zh) * 2018-06-22 2018-11-23 深圳市沃特沃德股份有限公司 语音翻译方法及装置
CN109271645A (zh) * 2018-08-24 2019-01-25 深圳市福瑞达显示技术有限公司 一种基于全息风扇屏的多语种翻译机
CN109446533B (zh) * 2018-09-17 2020-12-22 深圳市沃特沃德股份有限公司 蓝牙翻译机、蓝牙翻译的交互方式及其装置
CN109446533A (zh) * 2018-09-17 2019-03-08 深圳市沃特沃德股份有限公司 蓝牙翻译机、蓝牙翻译的交互方式及其装置
CN110032743A (zh) * 2019-03-07 2019-07-19 永德利硅橡胶科技(深圳)有限公司 多人模式的全语通的实现方法及相关产品
CN110010124A (zh) * 2019-04-09 2019-07-12 深圳平安综合金融服务有限公司上海分公司 通话检验设备及通话检验方法
CN110232908A (zh) * 2019-07-30 2019-09-13 厦门钛尚人工智能科技有限公司 一种分布式语音合成系统
CN110232908B (zh) * 2019-07-30 2022-02-18 厦门钛尚人工智能科技有限公司 一种分布式语音合成系统
CN111046678A (zh) * 2019-12-10 2020-04-21 深圳市润屋科技有限公司 一种基于网络的可扩展连接实现同声翻译的装置和方法
CN113743132A (zh) * 2020-05-14 2021-12-03 大富科技(安徽)股份有限公司 智能终端及其翻译方法、存储介质
CN111814494A (zh) * 2020-06-12 2020-10-23 深圳市沃特沃德股份有限公司 语言翻译方法、装置和计算机设备
CN113362818A (zh) * 2021-05-08 2021-09-07 山西三友和智慧信息技术股份有限公司 一种基于人工智能的语音交互指导系统及方法
CN114615224A (zh) * 2022-02-25 2022-06-10 北京快乐茄信息技术有限公司 语音消息处理方法及装置、服务器、存储介质
CN114615224B (zh) * 2022-02-25 2023-08-25 北京快乐茄信息技术有限公司 语音消息处理方法及装置、服务器、存储介质

Similar Documents

Publication Publication Date Title
CN108090052A (zh) 语音翻译方法和装置
CN107343113A (zh) 语音通话方法和装置
Laxminarayan et al. UNWIRED E-MED: the next generation of wireless and internet telemedicine systems
Kleinrock Nomadicity: Anytime, anywhere in a disconnected world.
CN107749296A (zh) 语音翻译方法和装置
CN107885731A (zh) 语音翻译方法和装置
CN1494261B (zh) 进行多媒体通信的方法
CN105869653B (zh) 话音信号处理方法和相关装置和系统
CN110444197A (zh) 基于同声传译的数据处理方法、装置、系统和存储介质
CN109614628A (zh) 一种基于智能硬件的翻译方法与翻译系统
US20090274299A1 (en) Open architecture based domain dependent real time multi-lingual communication service
CN107168959A (zh) 翻译方法和翻译系统
CN110083789A (zh) 一种小程序页面获取方法、服务器、客户端及电子设备
CN107241681A (zh) 同声翻译的实现方法和装置
CN107885732A (zh) 语音翻译方法、系统和装置
CN107247713A (zh) 一种支持语言翻译及共享wifi的智能翻译系统
CN108447473A (zh) 语音翻译方法和装置
CN101149734A (zh) 移动终端的网络浏览器系统及网络浏览方法
KR101351264B1 (ko) 음성인식 기반의 메시징 통역서비스 제공 시스템 및 그 방법
CN109616119A (zh) 一种基于IPv6协议的多功能网关设备
CN109462782A (zh) 一种传真转对讲的通讯系统
CN101448216B (zh) 一种信息搜索的方法及搜索服务装置
CN108712271A (zh) 翻译方法和翻译装置
CN108881507A (zh) 一种语音浏览器
CN107656923A (zh) 语音翻译方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180529

RJ01 Rejection of invention patent application after publication