CN112259073A - 语音与文字直联通讯方法、装置、电子设备以及存储介质 - Google Patents

语音与文字直联通讯方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN112259073A
CN112259073A CN202011116462.1A CN202011116462A CN112259073A CN 112259073 A CN112259073 A CN 112259073A CN 202011116462 A CN202011116462 A CN 202011116462A CN 112259073 A CN112259073 A CN 112259073A
Authority
CN
China
Prior art keywords
communication
account
voice
text
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011116462.1A
Other languages
English (en)
Other versions
CN112259073B (zh
Inventor
黄笑磊
王九九
董双赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202011116462.1A priority Critical patent/CN112259073B/zh
Publication of CN112259073A publication Critical patent/CN112259073A/zh
Application granted granted Critical
Publication of CN112259073B publication Critical patent/CN112259073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1016—IP multimedia subsystem [IMS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1104—Session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M7/00—Arrangements for interconnection between switching centres
    • H04M7/006—Networks other than PSTN/ISDN providing telephone service, e.g. Voice over Internet Protocol (VoIP), including next generation networks with a packet-switched transport layer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本申请提供了一种语音与文字直联通讯方法、装置、电子设备以及存储介质，通过获取包括语音通讯账户与文字通讯账户的通讯请求，然后利用文字通讯账户所对应的中转账号建立文字通讯账户与语音通讯账户的通讯连接，再利用转换平台以及中转账号将文字通讯账户输入的文字信息转换为语音信息，和/或，将语音通讯账户输入的语音信息转换为文字信息。解决了现有技术中无法实现电话语音与APP程序文字直联通讯的技术问题，达到了保障听说功能障碍人员与不便于进行语音通话的场景下仍能够实现语音与文字直联通讯的技术效果。

Description

语音与文字直联通讯方法、装置、电子设备以及存储介质
技术领域
本申请涉及移动通讯领域，尤其涉及一种语音与文字直联通讯方法、装置、电子设备以及存储介质。
背景技术
随着智能手机的普及，移动通讯已经成为了人们日常生活不可缺少的联系方式。
目前无线移动通讯有两种主流通讯方式，一种是通过移动通讯运营商提供的电话号码直接进行移动通讯，另一种是通过预装APP程序如微信、QQ、skype等程序，利用互联网数据传输进行移动通讯。
但是当通讯的一方仅知道对方的电话号码，没有在对应的手机APP上与对方互加好友或者没有安装对应的APP程序时，上述两种通讯方式不能实现互通直联。尤其是当APP程序的用户不便于使用电话语音通话时，如正在开会，或者是用户本身为聋哑人，无法正常打电话，而另一方却只能通过电话联系时，就出现了无法通讯的问题。即现有技术中无法实现电话语音与APP程序文字直联通讯的问题。
发明内容
本申请提供一种语音与文字直联通讯方法、装置、电子设备以及存储介质，以解决现有技术中实现电话语音与APP程序文字直联通讯的技术问题。
第一个方面，本申请提供一种语音与文字直联通讯方法，包括：
获取通讯请求，所述通讯请求包括语音通讯账户与文字通讯账户；
利用所述文字通讯账户所对应的中转账号建立所述文字通讯账户与所述语音通讯账户的通讯连接；
利用转换平台以及所述中转账号将所述文字通讯账户输入的文字信息转换为语音信息，和/或，将所述语音通讯账户输入的语音信息转换为文字信息。
在一种可能的设计中，所述利用所述文字通讯账户所对应的中转账号建立所述文字通讯账户与所述语音通讯账户的通讯连接，包括：
建立所述中转账户与所述语音通讯账户的语音通讯连接；
建立所述中转账户与所述文字通讯账户的文字通讯连接。
在一种可能的设计中，所述利用转换平台以及所述中转账号将所述文字通讯账户输入的文字信息转换为语音信息，包括：
利用所述中转账户以及所述转换平台将接收到的所述文字通讯账户输入的第一文字信息转换为第一语音信息；
利用所述中转账户将所述第一语音信息发送给所述语音通讯账户的用户端；和/或，
所述利用转换平台以及所述中转账号将所述语音通讯账户输入的语音信息转换为文字信息，包括：
利用所述中转账户以及所述转换平台将接收到的所述语音通讯账户输入的第二语音信息转换为第二文字信息；
利用所述中转账户将所述第二文字信息发送给所述文字通讯账户的用户端。
可选的，所述利用所述中转账户以及所述转换平台将接收到的所述语音通讯账户输入的第二语音信息转换为第二文字信息，包括：
根据所述通讯请求以及所述中转账户，将所述语音通讯账户的输入的第二语音信息发送给所述中转账户对应的中转服务器，以使所述中转服务器对所述第二语音信息进行NO.7信令和会话初始协议SIP信令转换，以确定第一转换信息；
所述转换平台通过会话初始协议接收所述中转服务器发送的所述第一转换信息；
所述转换平台利用语音识别技术ASR，根据所述第一转换信息，确定所述第二文字信息。
可选的，在所述利用所述中转账户以及所述转换平台将接收到的所述文字通讯账户输入的第一文字信息转换为第一语音信息之前，还包括：
所述转换平台获取所述文字通讯账户的用户端的文字输入状态标识；
根据所述文字输入状态标识，确定语音提示信息，所述语音提示信息用于提示所述文字通讯账户正在进行文字输入；
将所述语音提示信息发送给所述语音通讯账户的用户端。
可选的，在所述建立所述中转账户与所述语音通讯账户的语音通讯连接之前，还包括：
向所述语音通讯账户的用户端发送连接反馈信息，所述连接反馈信息用于提示用户通讯连接方为语音与文字通讯转换用户，以请求确认是否继续连接；
对应的，根据获取到的连接确认指令，进行语音通讯连接。
在一种可能的设计中，所述建立所述中转账户与所述文字通讯账户的语音通讯连接，包括：
当所述语音通讯账户为主叫用户时，所述转换平台根据所述文字通讯账户对应的文字通讯APP进行APP振铃；
接收APP振铃应答指令，以建立文字通讯连接。
可选的，在所述获取通讯请求之前，还包括：
获取用户端发送的通讯模式转换请求；
根据所述转换请求，将所述用户端对应的通讯账户添加文字通讯标识；
根据所述文字通讯标识，确定所述通讯账户为文字通讯账户，并设置对应的中转账户。
第二个方面，本申请提供一种语音与文字直联通讯装置，包括：
获取模块，用于获取通讯请求，所述通讯请求包括语音通讯账户与文字通讯账户；
处理模块，用于利用所述文字通讯账户所对应的中转账号建立所述文字通讯账户与所述语音通讯账户的通讯连接；
所述处理模块包括转换平台子模块，所述处理模块，还用于利用所述转换平台子模块以及所述中转账号将所述文字通讯账户输入的文字信息转换为语音信息，和/或，将所述语音通讯账户输入的语音信息转换为文字信息。
在一种可能的设计中，所述处理模块，用于利用所述文字通讯账户所对应的中转账号建立所述文字通讯账户与所述语音通讯账户的通讯连接，包括：
所述处理模块，用于建立所述中转账户与所述语音通讯账户的语音通讯连接；
所述处理模块，还用于建立所述中转账户与所述文字通讯账户的文字通讯连接。
在一种可能的设计中，所述处理模块，还用于利用所述转换平台子模块以及所述中转账号将所述文字通讯账户输入的文字信息转换为语音信息，包括：
所述处理模块，还用于利用所述中转账户以及所述转换平台子模块将接收到的所述文字通讯账户输入的第一文字信息转换为第一语音信息；
所述处理模块，还用于利用所述中转账户将所述第一语音信息发送给所述语音通讯账户的用户端；和/或，
所述处理模块，还用于利用转换平台子模块以及所述中转账号将所述语音通讯账户输入的语音信息转换为文字信息，包括：
所述处理模块，还用于利用所述中转账户以及所述转换平台子模块将接收到的所述语音通讯账户输入的第二语音信息转换为第二文字信息；
所述处理模块，还用于利用所述中转账户将所述第二文字信息发送给所述文字通讯账户的用户端。
可选的，所述处理模块，还用于利用所述中转账户以及所述转换平台子模块将接收到的所述语音通讯账户输入的第二语音信息转换为第二文字信息，包括：
所述处理模块还包括中转服务子模块；
所述处理模块，还用于根据所述通讯请求以及所述中转账户，将所述语音通讯账户的输入的第二语音信息发送给所述中转账户对应的中转服务子模块，以使所述中转服务子模块对所述第二语音信息进行NO.7信令和会话初始协议SIP信令转换，以确定第一转换信息；
所述转换平台子模块，还用于通过会话初始协议接收所述中转服务子模块发送的所述第一转换信息；
所述转换平台子模块，还用于利用语音识别技术ASR，根据所述第一转换信息，确定所述第二文字信息。
可选的，在所述处理模块，还用于利用所述中转账户以及所述转换平台子模块将接收到的所述文字通讯账户输入的第一文字信息转换为第一语音信息之前，还包括：
所述转换平台子模块，还用于获取所述文字通讯账户的用户端的文字输入状态标识；
所述处理模块，还用于根据所述文字输入状态标识，确定语音提示信息，所述语音提示信息用于提示所述文字通讯账户正在进行文字输入；
所述处理模块，还用于将所述语音提示信息发送给所述语音通讯账户的用户端。
可选的，在所述处理模块，还用于建立所述中转账户与所述语音通讯账户的语音通讯连接之前，还包括：
所述处理模块，还用于向所述语音通讯账户的用户端发送连接反馈信息，所述连接反馈信息用于提示用户通讯连接方为语音与文字通讯转换用户，以请求确认是否继续连接；
对应的，所述获取模块，还用于获取连接确认指令；
所述处理模块，还用于根据所述连接确认指令，进行语音通讯连接。
在一种可能的设计中，所述处理模块，还用于建立所述中转账户与所述文字通讯账户的语音通讯连接，包括：
当所述语音通讯账户为主叫用户时，所述转换平台子模块，还用于根据所述文字通讯账户对应的文字通讯APP进行APP振铃；
所述处理模块，还用于接收APP振铃应答指令，以建立文字通讯连接。
可选的，在所述处理模块，用于获取通讯请求之前，还包括：
所述获取模块，还用于获取用户端发送的通讯模式转换请求；
所述处理模块，还用于根据所述转换请求，将所述用户端对应的通讯账户添加文字通讯标识；
所述处理模块，还用于根据所述文字通讯标识，确定所述通讯账户为文字通讯账户，并设置对应的中转账户。
第三个方面，本申请提供一种电子设备，包括：
存储器，用于存储程序指令；
处理器，用于调用并执行所述存储器中的程序指令，执行第一方面所提供的任意一种可能的语音与文字直联通讯方法。
第四个方面，本申请提供一种存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序用于执行第一方面所提供的任意一种可能的语音与文字直联通讯方法。
本申请提供了一种语音与文字直联通讯方法、装置、电子设备以及存储介质，通过获取包括语音通讯账户与文字通讯账户的通讯请求，然后利用文字通讯账户所对应的中转账号建立文字通讯账户与语音通讯账户的通讯连接，再利用转换平台以及中转账号将文字通讯账户输入的文字信息转换为语音信息，和/或，将语音通讯账户输入的语音信息转换为文字信息。解决了现有技术中无法实现电话语音与APP程序文字直联通讯的技术问题，达到了保障听说功能障碍人员与不便于进行语音通话的场景下仍能够实现语音与文字直联通讯的技术效果。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的语音与文字直联通讯系统的结构示意图；
图2本申请提供的一种语音与文字直联通讯方法的流程示意图；
图3为本申请提供的另一种语音与文字直联通讯方法的流程示意图；
图4为本申请提供的一种语音与文字直联通讯装置的结构示意图；
图5为本申请提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，包括但不限于对多个实施例的组合，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面对本申请实施例所涉及到的专业术语进行解释介绍。
SIP(Session Initiation Protocol，会话初始协议)，是由IETF(InternetEngineering Task Force，因特网工程任务组)制定的多媒体通信协议，是一个基于文本的应用层控制协议，用于创建、修改和释放一个或多个参与者的会话。SIP是一种源于互联网的IP(Internet Protocol网际协议)语音会话控制协议，具有灵活、易于实现、便于扩展等特点。
VoIP(Voice over Internet Protocol基于IP的语音传输)，是一种语音通话技术，经由网际协议(IP)来达成语音通话与多媒体会议，也就是经由互联网来进行通信。VoIP的基本原理是通过语音的压缩算法对语音数据编码进行压缩处理，然后把这些语音数据按TCP/IP标准进行打包，经过IP网络把数据包送至接收地，再把这些语音数据包串起来，经过解压处理后，恢复成原来的语音信号，从而达到由互联网传送语音的目的。
PLMN(Public Land Mobile Network，公共陆地移动网)，由政府或运营商，为公众提供陆地移动通信业务目的而建立和经营的网络。该网路通常与PSTN(公众交换电话网)互连，形成整个地区或国家规模的通信网。PLMN网走的是运营商的信令协议(如No.7号信令)。
ASR(Automatic Speech Recognition，语音识别技术)，基于深度全序列卷积神经网络，将长段音频数据转换成文本数据，为信息处理和数据挖掘提供基础。其目标是将人类的语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列。与说话人识别及说话人确认不同，后者尝试识别或确认发出语音的说话人而非其中所包含的词汇内容。
TTS(Text To Speech，从文本到语音技术)，在内置芯片的支持之下，通过神经网络的设计，把文字智能地转化为自然语音流。
HSS(Home Subscriber Server，归属签约用户服务器)，支持用于处理调用/会话的IMS(IP Multimedia Subsystem，IP多媒体子系统)网络实体的主要用户数据库。它包含用户配置文件，执行用户的身份验证和授权，并可提供有关用户物理位置的信息。
VLR(Visitor Location Register，拜访位置寄存器)，它是一个动态数据库，存储所管辖区域中MS(Mobile Station统称拜访客户)的来话、去话呼叫所需检索的信息以及用户签约业务和附加业务的信息，例如客户的号码，所处位置区域的识别，向客户提供的服务等参数。
现有的移动通讯分为常规电话通讯以及APP程序数据通讯。一般这两种通讯不能直联，当通讯双方，有一方没有安装对应的APP程序，又只能通过电话语音通话联系时，或者是另一方不方便进行电话语音通话，如正在开会中，或者是另一方为听说功能障碍人员如聋哑人时，另一方只能通过APP程序进行移动通讯。在这种应用场景之下，现有技术就无法实现电话语音通讯与APP程序的文字通讯的直联，造成无法通讯的问题。这个问题对于聋哑人等听说功能障碍人员来说严重影响到其日常生活，急需得到解决。下面结合实施例来介绍本申请提供的语音与文字直联通讯方法如何解决上述技术问题。
图1为本申请提供的语音与文字直联通讯系统的结构示意图。如图1所示，该通讯系统包括：移动网络设备11、文字通讯终端121、语音通讯终端122。其中，移动网络设备11包括：中转服务器111、通讯业务服务器112、拜访位置寄存器113。
图2本申请提供的一种语音与文字直联通讯方法的流程示意图。如图2所示，本申请实施例提供的语音与文字直联通讯方法，具体步骤包括：
S201、获取包括语音通讯账户与文字通讯账户的通讯请求。
为了便于理解，本实施例以语音通讯终端122作为主叫，文字通讯终端121作为被叫来进行说明。
具体的，语音通讯终端122向移动网络设备11发起了通讯请求，通讯请求中包含文字通讯终端121对应的电话号码即文字通讯账户，以及语音通讯终端122对应的电话号码即语音通讯账户。可选的，文字通讯账户可以为签约了聋哑服务协议的用户，语音通讯用户为正常的用户。
在一种可能的设计中，在获取通讯请求之前，还包括：
获取用户端发送的通讯模式转换请求；
根据转换请求，将用户端对应的通讯账户添加文字通讯标识；
根据文字通讯标识，确定通讯账户为文字通讯账户，并设置对应的中转账户。
具体的，可以在用户终端设置仅限文字通讯的通话模式，用户可以设置文字通讯所使用的APP程序或从备选列表中选择运营商提供的备选APP程序。当用户将用户终端设置成仅限文字通讯通话模式时，用户终端向运营商的移动网络设备11发送通讯模式转换请求。移动网络设备11给该用户的语音通讯账户添加文字通讯标识，凡是带有文字通讯标识的语音通讯账户就被认定为文字通讯账户。然后可以从中转账户库中随机提取一个作为文字通讯账户对应的中转账户。并且当用户终端向运营商的移动网络设备11再次发送模式切换请求，请求恢复正常语音通话时，移动网络设备11删除文字通讯标识，或将其更改为语音通讯标识，同时释放对应的中转账户，以提高中转账户的复用率。
S202、利用文字通讯账户所对应的中转账号建立文字通讯账户与语音通讯账户的通讯连接。
在本步骤中，具体包括：
建立所述中转账户与所述语音通讯账户的语音通讯连接；
建立所述中转账户与所述文字通讯账户的文字通讯连接。
需要说明的是，上述两个步骤并没有顺序的要求，可以同时进行。
为了便于理解，下面具体举例来说明。拜访位置寄存器113在本实施例中为VLR寄存器，通讯业务服务器112包括HSS服务器。通讯业务服务器112接收通讯请求，然后利用HSS服务器通过在VLR寄存器中查询通讯请求中的被叫电话号码对应的业务信息，识别出被叫用户为文字通讯账户，例如签约了聋哑通讯服务或者处于仅文字通讯模式的用户账户。
通讯业务服务器112挂断语音通讯账户与文字通讯账户的语音电话连接，转为通过中转账户进行呼叫转移，即利用中转账户将通讯请求转移到中转服务器111上。具体的，中转账户可以为一个具备特定格式的电话号码(如13010******，前半部分为中转账户标识，后半部分为随机码或者是其它与通讯账户对应的格式编码)，通讯业务服务器112利用NO.7信令进行信令寻呼，即用中转账户将呼叫转至文字通讯账户对应的中转服务器111上，中转服务器111可以为SBC设备。这样就建立了中转账户与语音通讯账户的语音通讯连接。
所述建立中转账户与文字通讯账户的语音通讯连接，包括：
当所述语音通讯账户为主叫用户时，所述转换平台根据所述文字通讯账户对应的文字通讯APP进行APP振铃；
接收APP振铃应答指令，以建立文字通讯连接。
具体的，SBC设备利用SIP信令将中转账户的呼叫信息进行转换，并将转换后的转换信息发送给与SBC设备对应的转换平台114，转换平台114根据转换信息进行寻址，找到文字通讯账户对应的APP程序以及账号，通过APP程序建立通讯连接，实现APP振铃，然后聋哑人或者不便于语音通讯的用户，通过文字通讯账户对应的用户端上安装的APP程序进行应答接听，用户终端向转换平台114发送应答指令。这样就建立了中转账户与文字通讯账户的文字通讯连接。
S203、利用转换平台以及中转账号将文字通讯账户输入的文字信息转换为语音信息，和/或，将语音通讯账户输入的语音信息转换为文字信息。
在本步骤中，具体的，所述利用转换平台以及所述中转账号将所述文字通讯账户输入的文字信息转换为语音信息，包括：
利用中转账户以及转换平台将接收到的文字通讯账户输入的第一文字信息转换为第一语音信息；
利用中转账户将第一语音信息发送给语音通讯账户的用户端；和/或，
所述利用转换平台以及所述中转账号将所述语音通讯账户输入的语音信息转换为文字信息，包括：
利用中转账户以及转换平台将接收到的语音通讯账户输入的第二语音信息转换为第二文字信息；
利用中转账户将第二文字信息发送给文字通讯账户的用户端。
为了便于理解，下面进行具体解释说明。
在建立起连接后，在本实施例中，语音通讯账户作为主叫，则正常用户通过语音通讯账户对应的用户终端进行语音输入，生成第二语音信息，传递给中转账户对应的中转服务器111，中转服务器通过NO.7信令和SIP信令进行转换传递给转换平台114，转换平台114利用ASR语音识别技术，将第二语音信息转换为第二文字信息，发送给文字通讯账户对应的APP程序，文字通讯账户对应的用户终端通过APP程序显示第二文字信息。
当文字通讯账户对应的用户，如聋哑人或者是处于开会等不便于语音的环境当中的用户，通过APP程序输入第一文字信息后，文字通讯账户对应的用户终端将第一文字信息发送给对转换平台114，转换平台114通过TTS文本到语音转换技术，将第一文字信息转换成第一语音信息，并通过SIP信令及SIP通讯协议以及NO.7信令传递给中转服务器，中转服务器利用中转账户将第一语音信息传递给语音通讯账户对应的用户终端进行语音播放。这样就完成了语音通讯账户与文字通讯账户的语音与文字直联通讯。
本实施例提供的语音与文字直联通讯方法，通过获取包括语音通讯账户与文字通讯账户的通讯请求，然后利用文字通讯账户所对应的中转账号建立文字通讯账户与语音通讯账户的通讯连接，再利用转换平台以及中转账号将文字通讯账户输入的文字信息转换为语音信息，和/或，将语音通讯账户输入的语音信息转换为文字信息。解决了现有技术中无法实现电话语音与APP程序文字直联通讯的技术问题，达到了保障听说功能障碍人员与不便于进行语音通话的场景下仍能够实现语音与文字直联通讯的技术效果。
图3为本申请提供的另一种语音与文字直联通讯方法的流程示意图。如图3所示，该语音与文字直联通讯方法的具体步骤包括：
S301、获取包括语音通讯账户与文字通讯账户的通讯请求。
本步骤与S201类似，详细原理及名词解释介绍参见S201，在此不再赘述。
S302、向语音通讯账户的用户端发送连接反馈信息。
在本步骤中，连接反馈信息用于提示用户通讯连接方为语音与文字通讯转换用户，以请求确认是否继续连接。
具体的，当语音通讯账户作为主叫时，移动网络设备11检测到被叫用户为文字通讯账户，此时移动网络设备11向语音通讯账户的用户端发送连接反馈信息，如通过语音提示“您拨打的用户为聋哑人签约服务客户”，或“您所拨打的用户处于仅限文字通讯模式，是否继续连接进行语音与文字直联通讯？”
当语音通讯账户作为被叫时，移动网络设备11向向语音通讯账户的用户端发送连接反馈信息，如通过来电显示或语音提示“来电方为聋哑人签约服务客户，如继续连接请按1，不连接请按9或直接挂断”，或“来电用户处于仅限文字通讯模式，通话中或许有较长时间文字输入延迟，是否继续连接进行语音与文字直联通讯？如继续请按1，不继续请挂机”。
S303、根据接收到的连接指令，建立中转账户与语音通讯账户的语音通讯连接。
在本步骤中，若上一步中语音通讯账户的用户端输入了继续连接指令，则建立中转账户与语音通讯账户的语音通讯连接，具体的连接方式介绍与S202中类似，在此不再赘述。
S304、建立中转账户与文字通讯账户的文字通讯连接。
本步骤的具体介绍及解释与S202中文字通讯连接的建立类似，在此不再赘述。
S305、转换平台获取文字通讯账户的用户端的文字输入状态标识。
在本步骤中，在建立起文字连接后，转换平台就检测文字通讯账户的用户端的输入法输入状态，如检测到用户端正在输入文字则将输入状态标识设置为1，否则为0。用户端将输入状态标识以预设周期的形式发送给转换平台。
S306、根据文字输入状态标识，确定语音提示信息，并将语音提示信息发送给语音通讯账户的用户端。
在本步骤中，所述语音提示信息用于提示所述文字通讯账户正在进行文字输入。
转换平台根据文字输入状态标识检测到文字通讯用户正在输入时，就将提示指令发送给中转服务器，中转服务器通过中转账户向语音通讯账户的用户端发送预设好的语音提示信息，如“对方正在进行文字输入，请耐心等待。”
S307、利用转换平台以及中转账号将文字通讯账户输入的文字信息转换为语音信息，和/或，将语音通讯账户输入的语音信息转换为文字信息。
在本步骤中，具体的，所述利用转换平台以及中转账号将所述文字通讯账户输入的文字信息转换为语音信息，包括：
利用中转账户以及转换平台将接收到的文字通讯账户输入的第一文字信息转换为第一语音信息；
利用中转账户将第一语音信息发送给语音通讯账户的用户端；和/或，
所述利用转换平台以及中转账号将所述语音通讯账户输入的语音信息转换为文字信息，包括：
利用中转账户以及转换平台将接收到的语音通讯账户输入的第二语音信息转换为第二文字信息；
利用中转账户将第二文字信息发送给文字通讯账户的用户端。
在本实施例中，所述利用所述中转账户以及所述转换平台将接收到的所述语音通讯账户输入的第二语音信息转换为第二文字信息，包括：
根据通讯请求以及中转账户，将语音通讯账户的输入的第二语音信息发送给中转账户对应的中转服务器，以使中转服务器对第二语音信息进行NO.7信令和会话初始协议SIP信令转换，以确定第一转换信息；
转换平台通过会话初始协议接收中转服务器发送的第一转换信息；
转换平台利用语音识别技术ASR，根据第一转换信息，确定第二文字信息。
所述利用中转账户以及转换平台将接收到的文字通讯账户输入的第一文字信息转换为第一语音信息，包括：
转换平台利用从文本到语音技术TTS，根据所述第一文字信息，确定第一语音信息。
上述各步骤的具体介绍，可以参考S203中的详细解释，在此不再赘述。
本实施例提供的语音与文字直联通讯方法，通过获取包括语音通讯账户与文字通讯账户的通讯请求，然后利用文字通讯账户所对应的中转账号建立文字通讯账户与语音通讯账户的通讯连接，再利用转换平台以及中转账号将文字通讯账户输入的文字信息转换为语音信息，和/或，将语音通讯账户输入的语音信息转换为文字信息。解决了现有技术中无法实现电话语音与APP程序文字直联通讯的技术问题，达到了保障听说功能障碍人员与不便于进行语音通话的场景下仍能够实现语音与文字直联通讯的技术效果。
图4为本申请提供的一种语音与文字直联通讯装置的结构示意图。该语音与文字直联通讯装置可以通过软件、硬件或者两者的结合实现。
如图4所示，该语音与文字直联通讯装置400包括：
获取模块401，用于获取通讯请求，所述通讯请求包括语音通讯账户与文字通讯账户；
处理模块402，用于利用所述文字通讯账户所对应的中转账号建立所述文字通讯账户与所述语音通讯账户的通讯连接；
所述处理模块402包括转换平台子模块4021，所述处理模块402，还用于利用所述转换平台子模块4021以及所述中转账号将所述文字通讯账户输入的文字信息转换为语音信息，和/或，将所述语音通讯账户输入的语音信息转换为文字信息。
在一种可能的设计中，所述处理模块402，用于利用所述文字通讯账户所对应的中转账号建立所述文字通讯账户与所述语音通讯账户的通讯连接，包括：
所述处理模块402，用于建立所述中转账户与所述语音通讯账户的语音通讯连接；
所述处理模块402，还用于建立所述中转账户与所述文字通讯账户的文字通讯连接。
在一种可能的设计中，所述处理模块402，还用于利用所述转换平台子模块4021以及所述中转账号将所述文字通讯账户输入的文字信息转换为语音信息，包括：
所述处理模块402，还用于利用所述中转账户以及所述转换平台子模块4021将接收到的所述文字通讯账户输入的第一文字信息转换为第一语音信息；
所述处理模块402，还用于利用所述中转账户将所述第一语音信息发送给所述语音通讯账户的用户端；和/或，
所述处理模块402，还用于利用转换平台子模块4021以及所述中转账号将所述语音通讯账户输入的语音信息转换为文字信息，包括：
所述处理模块402，还用于利用所述中转账户以及所述转换平台子模块4021将接收到的所述语音通讯账户输入的第二语音信息转换为第二文字信息；
所述处理模块402，还用于利用所述中转账户将所述第二文字信息发送给所述文字通讯账户的用户端。
可选的，所述处理模块402，还用于利用所述中转账户以及所述转换平台子模块402将接收到的所述语音通讯账户输入的第二语音信息转换为第二文字信息，包括：
所述处理模块402还包括中转服务子模块4022；
所述处理模块402，还用于根据所述通讯请求以及所述中转账户，将所述语音通讯账户的输入的第二语音信息发送给所述中转账户对应的中转服务子模块4022，以使所述中转服务子模块4022对所述第二语音信息进行NO.7信令和会话初始协议SIP信令转换，以确定第一转换信息；
所述转换平台子模块4021，还用于通过会话初始协议接收所述中转服务子模块发送的所述第一转换信息；
所述转换平台子模块4021，还用于利用语音识别技术ASR，根据所述第一转换信息，确定所述第二文字信息。
可选的，在所述处理模块402，还用于利用所述中转账户以及所述转换平台子模块4021将接收到的所述文字通讯账户输入的第一文字信息转换为第一语音信息之前，还包括：
所述转换平台子模块4021，还用于获取所述文字通讯账户的用户端的文字输入状态标识；
所述处理模块402，还用于根据所述文字输入状态标识，确定语音提示信息，所述语音提示信息用于提示所述文字通讯账户正在进行文字输入；
所述处理模块402，还用于将所述语音提示信息发送给所述语音通讯账户的用户端。
可选的，在所述处理模块402，还用于建立所述中转账户与所述语音通讯账户的语音通讯连接之前，还包括：
所述处理模块402，还用于向所述语音通讯账户的用户端发送连接反馈信息，所述连接反馈信息用于提示用户通讯连接方为语音与文字通讯转换用户，以请求确认是否继续连接；
对应的，所述获取模块402，还用于获取连接确认指令；
所述处理模块402，还用于根据所述连接确认指令，进行语音通讯连接。
在一种可能的设计中，所述处理模块402，还用于建立所述中转账户与所述文字通讯账户的语音通讯连接，包括：
当所述语音通讯账户为主叫用户时，所述转换平台子模块4021，还用于根据所述文字通讯账户对应的文字通讯APP进行APP振铃；
所述处理模块402，还用于接收APP振铃应答指令，以建立文字通讯连接。
可选的，在所述处理模块402，用于获取通讯请求之前，还包括：
所述获取模块402，还用于获取用户端发送的通讯模式转换请求；
所述处理模块402，还用于根据所述转换请求，将所述用户端对应的通讯账户添加文字通讯标识；
所述处理模块402，还用于根据所述文字通讯标识，确定所述通讯账户为文字通讯账户，并设置对应的中转账户。
值得说明的是，图4所示实施例提供的语音与文字直联通讯装置，可以执行上述任一方法实施例所提供的方法，其具体实现原理、技术特征、专业名词解释以及技术效果类似，在此不再赘述。
图5为本申请提供的一种电子设备的结构示意图。如图5所示，该电子设备500可以包括：至少一个处理器501和存储器502。图5示出的是以一个处理器为例的电子设备。
存储器502，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。
存储器502可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器501用于执行存储器502存储的计算机执行指令，以实现以上各方法实施例所述的方法。
其中，处理器501可能是一个中央处理器(central processing unit，简称为CPU)，或者是特定集成电路(application specific integrated circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
可选地，存储器502既可以是独立的，也可以跟处理器501集成在一起。当所述存储器502是独立于处理器501之外的器件时，所述电子设备500，还可以包括：
总线503，用于连接所述处理器501以及所述存储器502。总线可以是工业标准体系结构(industry standard architecture，简称为ISA)总线、外部设备互连(peripheralcomponent，PCI)总线或扩展工业标准体系结构(extended industry standardarchitecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器502和处理器501集成在一块芯片上实现，则存储器502和处理器501可以通过内部接口完成通信。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random accessmemory，RAM)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有程序指令，程序指令用于上述各方法实施例中的语音与文字直联通讯方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (11)

1.一种语音与文字直联通讯方法，其特征在于，包括：
获取通讯请求，所述通讯请求包括语音通讯账户与文字通讯账户；
利用所述文字通讯账户所对应的中转账号建立所述文字通讯账户与所述语音通讯账户的通讯连接；
利用转换平台以及所述中转账号将所述文字通讯账户输入的文字信息转换为语音信息，和/或，将所述语音通讯账户输入的语音信息转换为文字信息。
2.根据权利要求1所述的语音与文字直联通讯方法，其特征在于，所述利用所述文字通讯账户所对应的中转账号建立所述文字通讯账户与所述语音通讯账户的通讯连接，包括：
建立所述中转账户与所述语音通讯账户的语音通讯连接；
建立所述中转账户与所述文字通讯账户的文字通讯连接。
3.根据权利要求2所述的语音与文字直联通讯方法，其特征在于，所述利用转换平台以及所述中转账号将所述文字通讯账户输入的文字信息转换为语音信息，包括：
利用所述中转账户以及所述转换平台将接收到的所述文字通讯账户输入的第一文字信息转换为第一语音信息；
利用所述中转账户将所述第一语音信息发送给所述语音通讯账户的用户端；和/或，
所述利用转换平台以及所述中转账号将所述语音通讯账户输入的语音信息转换为文字信息，包括：
利用所述中转账户以及所述转换平台将接收到的所述语音通讯账户输入的第二语音信息转换为第二文字信息；
利用所述中转账户将所述第二文字信息发送给所述文字通讯账户的用户端。
4.根据权利要求3所述的语音与文字直联通讯方法，其特征在于，所述利用所述中转账户以及所述转换平台将接收到的所述语音通讯账户输入的第二语音信息转换为第二文字信息，包括：
根据所述通讯请求以及所述中转账户，将所述语音通讯账户的输入的第二语音信息发送给所述中转账户对应的中转服务器，以使所述中转服务器对所述第二语音信息进行NO.7信令和会话初始协议SIP信令转换，以确定第一转换信息；
所述转换平台通过会话初始协议接收所述中转服务器发送的所述第一转换信息；
所述转换平台利用语音识别技术ASR，根据所述第一转换信息，确定所述第二文字信息。
5.根据权利要求4所述的语音与文字直联通讯方法，其特征在于，在所述利用所述中转账户以及所述转换平台将接收到的所述文字通讯账户输入的第一文字信息转换为第一语音信息之前，还包括：
所述转换平台获取所述文字通讯账户的用户端的文字输入状态标识；
根据所述文字输入状态标识，确定语音提示信息，所述语音提示信息用于提示所述文字通讯账户正在进行文字输入；
将所述语音提示信息发送给所述语音通讯账户的用户端。
6.根据权利要求2-5中任意一项所述的语音与文字直联通讯方法，其特征在于，在所述建立所述中转账户与所述语音通讯账户的语音通讯连接之前，还包括：
向所述语音通讯账户的用户端发送连接反馈信息，所述连接反馈信息用于提示用户通讯连接方为语音与文字通讯转换用户，以请求确认是否继续连接；
对应的，根据获取到的连接确认指令，进行语音通讯连接。
7.根据权利要求6所述的语音与文字直联通讯方法，其特征在于，所述建立所述中转账户与所述文字通讯账户的语音通讯连接，包括：
当所述语音通讯账户为主叫用户时，所述转换平台根据所述文字通讯账户对应的文字通讯APP进行APP振铃；
接收APP振铃应答指令，以建立文字通讯连接。
8.根据权利要求7所述的语音与文字直联通讯方法，其特征在于，在所述获取通讯请求之前，还包括：
获取用户端发送的通讯模式转换请求；
根据所述转换请求，将所述用户端对应的通讯账户添加文字通讯标识；
根据所述文字通讯标识，确定所述通讯账户为文字通讯账户，并设置对应的中转账户。
9.一种语音与文字直联通讯装置，其特征在于，包括：
获取模块，用于获取通讯请求，所述通讯请求包括语音通讯账户与文字通讯账户；
处理模块，用于利用所述文字通讯账户所对应的中转账号建立所述文字通讯账户与所述语音通讯账户的通讯连接；
所述处理模块包括转换平台子模块，所述处理模块，还用于利用所述转换平台子模块以及所述中转账号将所述文字通讯账户输入的文字信息转换为语音信息，和/或，将所述语音通讯账户输入的语音信息转换为文字信息。
10.一种电子设备，其特征在于，包括：
处理器；以及，
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至8任一项所述的语音与文字直联通讯方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述的语音与文字直联通讯方法。
CN202011116462.1A 2020-10-19 2020-10-19 语音与文字直联通讯方法、装置、电子设备以及存储介质 Active CN112259073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011116462.1A CN112259073B (zh) 2020-10-19 2020-10-19 语音与文字直联通讯方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011116462.1A CN112259073B (zh) 2020-10-19 2020-10-19 语音与文字直联通讯方法、装置、电子设备以及存储介质

Publications (2)

Publication Number Publication Date
CN112259073A true CN112259073A (zh) 2021-01-22
CN112259073B CN112259073B (zh) 2023-06-23

Family

ID=74244695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011116462.1A Active CN112259073B (zh) 2020-10-19 2020-10-19 语音与文字直联通讯方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN112259073B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112910758A (zh) * 2021-01-26 2021-06-04 北京润信恒达科技有限公司 不同种类app的通讯方法、装置、计算机设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6546082B1 (en) * 2000-05-02 2003-04-08 International Business Machines Corporation Method and apparatus for assisting speech and hearing impaired subscribers using the telephone and central office
US20080147407A1 (en) * 2006-12-19 2008-06-19 International Business Machines Corporation Inferring switching conditions for switching between modalities in a speech application environment extended for interactive text exchanges
US20110143718A1 (en) * 2009-12-11 2011-06-16 At&T Mobility Ii Llc Audio-Based Text Messaging
CN102821196A (zh) * 2012-07-25 2012-12-12 江西好帮手电子科技有限公司 一种移动终端文字语音对等通话方法及其移动终端
CN110213429A (zh) * 2018-09-06 2019-09-06 上海伴我科技有限公司 通信资源提供方法
CN111752387A (zh) * 2020-06-11 2020-10-09 汪子翔 信息交互方法、装置、系统及设备
CN111768786A (zh) * 2020-06-24 2020-10-13 重庆蓝岸通讯技术有限公司 聋哑人通话智能终端平台及其通话方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6546082B1 (en) * 2000-05-02 2003-04-08 International Business Machines Corporation Method and apparatus for assisting speech and hearing impaired subscribers using the telephone and central office
US20080147407A1 (en) * 2006-12-19 2008-06-19 International Business Machines Corporation Inferring switching conditions for switching between modalities in a speech application environment extended for interactive text exchanges
US20110143718A1 (en) * 2009-12-11 2011-06-16 At&T Mobility Ii Llc Audio-Based Text Messaging
CN102821196A (zh) * 2012-07-25 2012-12-12 江西好帮手电子科技有限公司 一种移动终端文字语音对等通话方法及其移动终端
CN110213429A (zh) * 2018-09-06 2019-09-06 上海伴我科技有限公司 通信资源提供方法
CN111752387A (zh) * 2020-06-11 2020-10-09 汪子翔 信息交互方法、装置、系统及设备
CN111768786A (zh) * 2020-06-24 2020-10-13 重庆蓝岸通讯技术有限公司 聋哑人通话智能终端平台及其通话方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YOUSAF KANWAL: "A Novel Technique for Speech Recognition and Visualization Based Mobile Application to Support Two-Way Communication between Deaf-Mute and Normal Peoples", 《 WIRELESS COMMUNICATIONS AND MOBILE COMPUTING》 *
包小露: "基于Android的聋哑人语音通讯辅助工具的研究", 《电子制作》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112910758A (zh) * 2021-01-26 2021-06-04 北京润信恒达科技有限公司 不同种类app的通讯方法、装置、计算机设备及存储介质
CN112910758B (zh) * 2021-01-26 2022-05-10 北京润信恒达科技有限公司 不同种类app的通讯方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN112259073B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
US20090006076A1 (en) Language translation during a voice call
EP1874017A1 (en) Caller-controlled alerting signals
KR100884868B1 (ko) 음성 전화 호를 확립하기 위한 방법, 게이트웨이 및 시스템
CN105657138A (zh) 呼叫处理方法及通信终端
CN100376118C (zh) 移动通信系统中即按即说呼叫期间的语音呼叫连接方法
MX2011001919A (es) Metodo y sistema para programar una llamada telefonica usando un sistema de mensajes cortos.
CN101356795B (zh) 对基于电路交换的电话的引发应答方法与系统
CN112887194B (zh) 实现听障人士通话的交互方法、装置、终端及存储介质
CN103905660A (zh) 一号双机关联呼叫方法、装置和应用服务器
CN101668093A (zh) 一种来电分析控制的方法和装置
US11973807B1 (en) Communications approach and implementations therefor
US20100091761A1 (en) System and Method for Placing a Call Using a Local Access Number Shared by Multiple Users
CN1319359C (zh) 一种来话接入方法
CN114710473A (zh) 一种实现小程序与sip联络中心音视频交互的方法及系统
CN112259073B (zh) 语音与文字直联通讯方法、装置、电子设备以及存储介质
KR100887533B1 (ko) 신호음 제공 시스템 및 신호음 제공 방법
KR100823863B1 (ko) 셀룰러 통신 시스템 메시징
CN116193031A (zh) 向被叫通告来电意图的方法、装置、电子设备及存储介质
KR100544036B1 (ko) 인터넷 영상전화기의 단문 서비스시스템 및 방법
CN102665178B (zh) 余额提醒方法、装置及系统、应用服务器
CN101616219A (zh) 一种呼叫处理方法及装置
US9578178B2 (en) Multicall telephone system
CN102752463A (zh) 个人通信码多号同振系统及方法
CN113014728A (zh) 一种通信助理业务的实现方法、系统及计算机存储介质
CN112751975A (zh) 呼叫保持音的播放方法、装置、存储介质及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant