CN110740212B - 基于智能语音技术的通话接听方法、装置及电子设备 - Google Patents

基于智能语音技术的通话接听方法、装置及电子设备 Download PDF

Info

Publication number
CN110740212B
CN110740212B CN201910915372.XA CN201910915372A CN110740212B CN 110740212 B CN110740212 B CN 110740212B CN 201910915372 A CN201910915372 A CN 201910915372A CN 110740212 B CN110740212 B CN 110740212B
Authority
CN
China
Prior art keywords
voice
reply
call
message
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910915372.XA
Other languages
English (en)
Other versions
CN110740212A (zh
Inventor
周飞
苏绥绥
常富洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qilu Information Technology Co Ltd
Original Assignee
Beijing Qilu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qilu Information Technology Co Ltd filed Critical Beijing Qilu Information Technology Co Ltd
Priority to CN201910915372.XA priority Critical patent/CN110740212B/zh
Publication of CN110740212A publication Critical patent/CN110740212A/zh
Application granted granted Critical
Publication of CN110740212B publication Critical patent/CN110740212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72484User interfaces specially adapted for cordless or mobile telephones wherein functions are triggered by incoming communication events
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/006Call diverting means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/64Automatic arrangements for answering calls; Automatic arrangements for recording messages for absent subscribers; Arrangements for recording conversations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/87Detection of discrete points within a voice signal

Abstract

本公开涉及一种基于智能语音技术的通话接听方法、装置、电子设备及计算机可读介质。该方法包括:基于语音通话请求建立通话连接;基于所述通话连接获取至少一个语音信息;识别所述至少一个语音信息并生成其对应的至少一个回复信息,并基于该回复信息生成机器语音以进行自动通话;以及通过所述至少一个语音信息和所述至少一个回复信息生成通话提醒信息。本公开涉及的基于智能语音技术的通话接听方法、装置、电子设备及计算机可读介质,可避免用户漏接电话,并对外部来电进行辅助接听处理,还能够将接听的信息及时反馈给用户,使用户具有较好的使用体验感。

Description

基于智能语音技术的通话接听方法、装置及电子设备
技术领域
本公开涉及智能语音处理领域,具体而言,涉及一种基于智能语音技术的通话接听方法、装置、电子设备及计算机可读介质。
背景技术
在用户使用手机时,常常会出现手机处于关机、无人接听或占线的状态,此时有其他用户拨打机主用户的电话时,往往会出现漏接电话的现象,漏接的这些电话有的时候并不能及时的通知机主用户,这会导致机主用户错过某些重要的信息。
智能语音,即智能语音技术,是实现人机语言的通信,包括语音识别技术(ASR)和语音合成技术(TTS),智能语音技术的研究是以语音识别技术为开端,随着信息技术的发展,智能语音技术已经成为人们信息获取和沟通最便捷、最有效的手段。目前存在电话智能接听的通讯方法,在安卓、苹果手机等智能移动设备中,可通过外部应用来辅助接听外部来电。传统的做法为设定特定的回复问题,按不通的数字键回复特定的消息给呼叫者,如“您好,我现在不方便接听电话”,或者“您好,我在开车”等等。这些信息可通过智能AI语音识别,与呼叫者进行智能沟通。
但是目前的这种智能通话方式,还是需要机主用户人为的进行回复设定,并且需要机主用户预判一些通话场景或者来电电话的类别等等,适用范围较窄。
因此,需要一种新的基于智能语音技术的通话接听方法、装置、电子设备及计算机可读介质。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此,本公开提供一种基于智能语音技术的通话接听方法、装置、电子设备及计算机可读介质,可避免用户漏接电话,并对外部来电进行辅助接听处理,还能够将接听的信息及时反馈给用户,使用户具有较好的使用体验感。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一方面,提出一种基于智能语音技术的通话接听方法,该方法包括:基于语音通话请求建立通话连接;基于所述通话连接获取至少一个语音信息;识别所述至少一个语音信息并生成其对应的至少一个回复信息,并基于该回复信息生成机器语音以进行自动通话;以及通过所述至少一个语音信息和所述至少一个回复信息生成通话提醒信息。
可选地,基于语音通话请求建立通话连接包括:基于预设条件将所述语音通话请求转接到预设平台;以及所述预设平台根据所述语音通话请求建立通话连接。
可选地,基于预设条件将所述语音通话请求转接到预设平台包括:基于所述语音通话请求判断用户终端的实时状态;在所述实时状态满足预设条件时,将所述语音通话请求呼叫转移到所述预设平台。
可选地,基于所述通话连接获取至少一个语音信息包括:基于所述通话连接获取实时语音数据;基于起止点检测技术确定实时语音数据中的至少一个停顿点;以及基于所述停顿点生成所述至少一个语音信息。
可选地,识别所述至少一个语音信息并生成其对应的至少一个回复信息包括:通过语音识别技术对所述至少一个语音信息进行识别,生成至少一个语音文本;基于语义识别技术对所述至少一个语音文本中的每一个语音文本进行识别,生成其对应的至少一个语义文本;以及基于所述至少一个语义文本生成所述至少一个回复信息。
可选地,基于所述至少一个语义文本生成所述至少一个回复信息包括:基于所述至少一个语义文本和回复参数生成所述至少一个回复信息。
可选地,基于所述至少一个语义文本和回复参数生成所述至少一个回复信息包括:解析所述至少一个语义文本,提取至少一个关键词;基于所述关键词确定场景参数;基于所述场景参数在回复模板中进行检索,生成至少一个回复数据;将所述至少一个回复数据进行文字整合生成所述至少一个回复信息。
可选地,基于所述场景参数在回复模板中进行检索,生成至少一个回复数据包括:基于所述场景参数和用户特征在回复模板中进行检索,生成至少一个回复数据;和/或基于所述场景参数和呼叫号码在回复模板中进行检索,生成至少一个回复数据。
可选地,还包括:将所述通话提醒信息通过短信方式发送至被叫用户处;和/或将所述通话提醒信息通过即时消息方式发送至被叫用户处。
可选地,所述预设平台包括:移动端网页平台;和/或即时通信平台。
根据本公开的一方面,提出一种基于智能语音技术的通话接听装置,该装置包括:连接模块,用于基于语音通话请求建立通话连接;语音模块,用于基于所述通话连接获取至少一个语音信息;回复模块,识别所述至少一个语音信息并生成其对应的至少一个回复信息,并基于该回复信息生成机器语音以进行自动通话;以及提醒模块,用于通过所述至少一个语音信息和所述至少一个回复信息生成通话提醒信息。
可选地,所述连接模块包括:转接单元,用于基于预设条件将所述语音通话请求转接到预设平台;以及连接单元,用于所述预设平台根据所述语音通话请求建立通话连接。
可选地,所述转接单元包括:判断子单元,用于基于所述语音通话请求判断用户终端的实时状态;条件子单元,用于在所述实时状态满足预设条件时,将所述语音通话请求转接到所述预设平台。
可选地,所述语音模块包括:数据单元,用于基于所述通话连接获取实时语音数据;检测单元,用于基于起止点检测技术确定实时语音数据中的至少一个停顿点;以及语音单元,用于基于所述停顿点生成所述至少一个语音信息。
可选地,所述回复模块包括:识别单元,用于通过语音识别技术对所述至少一个语音信息进行识别,生成至少一个语音文本;语义单元,用于基于语义识别技术对所述至少一个语音文本中的每一个语音文本进行识别,生成其对应的至少一个语义文本;以及回复单元,用于基于所述至少一个语义文本生成所述至少一个回复信息。
可选地,所述回复单元,还用于基于所述至少一个语义文本和回复参数生成所述至少一个回复信息。
可选地,所述回复单元包括:解析子单元,用于解析所述至少一个语义文本,提取至少一个关键词;基于所述关键词确定场景参数;检索子单元,用于基于所述场景参数在回复模板中进行检索,生成至少一个回复数据;整合子单元,用于将所述至少一个回复数据进行文字整合生成所述至少一个回复信息。
可选地,所述检索子单元,还用于基于所述场景参数和用户特征在回复模板中进行检索,生成至少一个回复数据;和/或基于所述场景参数和呼叫号码在回复模板中进行检索,生成至少一个回复数据。
可选地,还包括:短信模块,用于将所述通话提醒信息通过短信方式发送至被叫用户处;和/或消息模块,用于将所述通话提醒信息通过即时消息方式发送至被叫用户处。
可选地,所述预设平台包括:移动端网页平台;和/或即时通信平台。
根据本公开的一方面,提出一种电子设备,该电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上文的方法。
根据本公开的一方面,提出一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上文中的方法。
根据本公开的基于智能语音技术的通话接听方法、装置、电子设备及计算机可读介质,基于语音通话请求建立通话连接;基于所述通话连接获取至少一个语音信息;识别所述至少一个语音信息并生成其对应的至少一个回复信息,并基于该回复信息生成机器语音以进行自动通话;以及通过所述至少一个语音信息和所述至少一个回复信息生成通话提醒信息的方式,可避免用户漏接电话,并对外部来电进行辅助接听处理,还能够将接听的信息及时反馈给用户,使用户具有较好的使用体验感。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
通过参照附图详细描述其示例实施例,本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种基于智能语音技术的通话接听方法及装置的系统框图。
图2是根据一示例性实施例示出的一种基于智能语音技术的通话接听方法及装置的应用场景图。
图3是根据一示例性实施例示出的一种基于智能语音技术的通话接听方法的流程图。
图4是根据另一示例性实施例示出的一种基于智能语音技术的通话接听方法的流程图。
图5是根据另一示例性实施例示出的一种基于智能语音技术的通话接听方法的流程图。
图6是根据一示例性实施例示出的一种基于智能语音技术的通话接听装置的框图。
图7是根据一示例性实施例示出的一种电子设备的框图。
图8是根据一示例性实施例示出的一种计算机可读介质的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本公开将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应理解,虽然本文中可能使用术语第一、第二、第三等来描述各种组件,但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此,下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用,术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解,附图只是示例实施例的示意图,附图中的模块或流程并不一定是实施本公开所必须的,因此不能用于限制本公开的保护范围。
图1是根据一示例性实施例示出的一种基于智能语音技术的通话接听方法及装置的系统框图。
如图1所示,系统架构10可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如金融服务类应用、购物类应用、网页浏览器应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是智能手机、智能平板电脑等等可进行移动通讯的设备。
终端设备101、102、103可例如基于语音通话请求建立通话连接;终端设备101、102、103可例如基于所述通话连接获取至少一个语音信息;终端设备101、102、103可例如识别所述至少一个语音信息并生成其对应的至少一个回复信息,并基于该回复信息生成机器语音以进行自动通话;终端设备101、102、103可例如通过所述至少一个语音信息和所述至少一个回复信息生成通话提醒信息。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103的通话进行辅助支持的后台管理服务器。后台管理服务器可以对接收到的通话连接进行处理,并将处理结果(通话提醒信息)反馈给终端设备101、102、103。
服务器105可例如基于语音通话请求建立通话连接;服务器105可例如基于所述通话连接获取至少一个语音信息;服务器105可例如识别所述至少一个语音信息并生成其对应的至少一个回复信息,并基于该回复信息生成机器语音以进行自动通话;服务器105可例如通过所述至少一个语音信息和所述至少一个回复信息生成通话提醒信息。
服务器105可以是一个实体的服务器,还可例如为多个服务器组成,需要说明的是,本公开实施例所提供的基于智能语音技术的通话接听方法可以由服务器105或终端设备101、102、103执行,相应地,基于智能语音技术的通话接听装置可以设置于服务器105或终端设备101、102、103中。而提供给用户进行通话设置的接受端一般位于终端设备101、102、103中。
图2是根据一示例性实施例示出的一种基于智能语音技术的通话接听方法及装置的应用场景图。
当外部有来电通话时,在机主用户的智能终端处于未接,关机,拒接等情况下,来电通话会通过本公开中的通话接听方法处理,本公开中的通话接听方法可设置在用户的智能终端中,作为一个应用程序,还可设置在远端服务器中,通过网页页面的方式接收机主用户的设置。
用户可首先在其所属的运营商平台中设置呼叫转移服务,将未接来电转移到A平台进行处理,A平台接收到被转移过来的来电通话时,即开始辅助接听来电电话,更具体的,A平台可通过智能语音的语音语义识别技术来与来电用户进行通话,当通话完毕后,A平台可将通话的记录转为文字状态并将其与原件语音一同保存,保存后的信息将会被反馈到机主的手机上。
若有多个未接来电,A平台可按照事先设置的优先级来对其显示的顺序及标志进行相应的改动,使得机主用户可以第一时间判断并了解未接电话的信息,A平台还可对来电设定场景标签,以便用户可能快速了解通话内容。机主用户点开某条信息后,即会显示对话详情,来电用户的通话以文字加语音的方式呈现,同时在后台的系统中,可根据用户的来电来对其进行统计和汇总,以便于后续进行大数据分析,更好的为客户提供服务。
A平台还可以短信和微信通知的方式向用户及时告知来电记录,支持语音转文本,语音对话等形式,让用户重听来电细节,A平台还可支持多平台,即时通信工具的公众号,h5网页页面等,前端通过智能路由的方式可以快速对接第三方平台,做到多平台可用。
指的一提的是,图2中仅仅是为了显示通话提醒信息的显示界面和显示内容,图2中的文字信息的具体内容不影响本公开中的技术实现,仅作为示例描述,如有不清晰可忽略其内容。
图3是根据一示例性实施例示出的一种基于智能语音技术的通话接听方法的流程图。基于智能语音技术的通话接听方法30至少包括步骤S302至S308。
如图3所示,在S302中,基于语音通话请求建立通话连接。可包括:基于预设条件将所述语音通话请求转接到预设平台;以及所述预设平台根据所述语音通话请求建立通话连接。
可根据机主用户设置的条件,将语音通话请求转移到预设平台A,预设平台在接收到语音通话请求后,也可根据机主用户的设置进行接听。机主用户可设置黑名单用户,或者防骚扰电话功能等等,根据机主用户的设置进行通话过滤,预设平台A进行筛选后与满足条件的通话请求建立通话连接。
其中,所述预设平台包括:移动端网页平台;即时通信平台。移动端网页平台可包括H5格式的网页平台,H5页面由第5代html标准规范简称html5而来,“H5”在移动端兼容性更强,现有的H5包括普通的幻灯片形式、需要简单点击的故事形式、用户能够参与的带有互交的功能形式、可以提交数据的表单形式、朋友圈流传的小游戏形式等。机主用户可在H5的平台中根据提示信息进行通话设定。
即时通信平台可包括主流的各个即使通信应用平台,预设平台A的前端可通过智能路由的方式快速对接其他第三方平台,做到多平台可调用A平台的数据。
在S304中,基于所述通话连接获取至少一个语音信息。包括:基于所述通话连接获取实时语音数据;基于起止点检测技术确定实时语音数据中的至少一个停顿点;以及基于所述停顿点生成所述至少一个语音信息。
起止点检测技术可为VAD技术,也称语音端点检测技术,是Voice ActivityDetection的缩写。这个技术的主要任务是从带有噪声的语音中准确的定位出语音的开始和结束点,因为通话的时候,对方如果说完了一段话,等待回复的时候语音中含有很长的静音,起止点检测技术就是把静音和实际语音分离开来,从而能够识别来电用户的停顿,进而进行回复,起止点检测技术也能够根据来电用户的停顿,获取来电用户的一段语音从而生成语音信息。
在S306中,识别所述至少一个语音信息并生成其对应的至少一个回复信息,并基于该回复信息生成机器语音以进行自动通话。可包括:通过语音识别技术对所述至少一个语音信息进行识别,生成至少一个语音文本;基于语义识别技术对所述至少一个语音文本中的每一个语音文本进行识别,生成其对应的至少一个语义文本;以及基于所述至少一个语义文本生成所述至少一个回复信息。
语音识别技术,也被称为自动语音识别Automatic Speech Recognition,(ASR),其目标是将人类的语音中的词汇内容转换为计算机可读的输入,例如按键、二进制编码或者字符序列。
在本公开中,可采用隐马尔科夫模型(HMM)作为语音识别时候的声学模型,HMM模型的状态跳转模型很适合人类语音的短时平稳特性,可以对不断产生的观测值(语音信号)进行方便的统计建模;与HNN相伴生的动态规划算法可以有效地实现对可变长度的时间序列进行分段和分类的功能。
其中,语义识别技术是通过分析语言的要素、句法语境来揭示词和语句意义的技术,通过语义识别技术能够语音文本中进行识别,生成其对应的语义文本;进而根据语义文本生成所述至少一个回复信息。
“识别所述至少一个语音信息并生成其对应的至少一个回复信息”的相关内容将在图5对应的实施例中进行详细描述。
在S308中,通过所述至少一个语音信息和所述至少一个回复信息生成通话提醒信息。可例如,将语音信息和语音信息进行记录,生成语音格式的通话提醒信息。还可例如,将语音信息和语音信息的语音识别文字进行记录,生成文字格式的通话提醒信息。
在一个实施例中,还可根据语音信息和语音信息的语音识别文字,为所述来电通话确定场景标签,将场景标签也作为通话提醒信息提供给机主用户。
在一个实施例中,还包括:将所述通话提醒信息通过短信方式发送至被叫用户处。
在一个实施例中,还包括:将所述通话提醒信息通过即时消息方式发送至被叫用户处。
根据本公开的基于智能语音技术的通话接听方法,基于语音通话请求建立通话连接;基于所述通话连接获取至少一个语音信息;识别所述至少一个语音信息并生成其对应的至少一个回复信息,并基于该回复信息生成机器语音以进行自动通话;以及通过所述至少一个语音信息和所述至少一个回复信息生成通话提醒信息的方式,可避免用户漏接电话,并对外部来电进行辅助接听处理,还能够将接听的信息及时反馈给用户,使用户具有较好的使用体验感。
应清楚地理解,本公开描述了如何形成和使用特定示例,但本公开的原理不限于这些示例的任何细节。相反,基于本公开公开的内容的教导,这些原理能够应用于许多其它实施例。
图4是根据另一示例性实施例示出的一种基于智能语音技术的通话接听方法的流程图。图4所示的流程是对图3所示的流程中S302“基于语音通话请求建立通话连接”的详细描述。
如图4所示,在S402中,基于所述语音通话请求判断用户终端的实时状态。在机主电话号码被通话呼叫的时候,判断机主移动终端的实时状态。
在S404中,在所述实时状态满足预设条件时,将所述语音通话请求呼叫转移到所述预设平台。可例如,在机主的移动终端为占线,或者拒接,或者关机,或者不在服务区的时候,将所述语音通话请求呼叫转移到所述预设平台。
用户可在运营商处进行呼叫转移的设置,从而能够将通话请求转接到预设平台中。
在S406中,所述预设平台根据所述语音通话请求建立通话连接。预设平台可在接收到语音通话请求后,也可根据机主用户的设置进行接听。机主用户可设置黑名单用户,或者防骚扰电话功能等等,根据机主用户的设置进行通话过滤,预设平台A进行筛选后与满足条件的通话请求建立通话连接。
图5是根据另一示例性实施例示出的一种基于智能语音技术的通话接听方法的流程图。图5所示的流程是对图3所示的流程中S304“识别所述至少一个语音信息并生成其对应的至少一个回复信息,并基于该回复信息生成机器语音以进行自动通话”的详细描述。
如图5所示,在S502中,通过语音识别技术对所述至少一个语音信息进行识别,生成语音文本。
在S504中,基于语义识别技术对语音文进行识别,生成其对应的语义文本。可例如,首先对语音文本进行分词处理,对分词之后的文本进行词性标注,命名实体识别。通过带有这些标注的分词词汇生成语义文本。
在S506中,解析语义文本,提取关键词。可将语义文本输入语言模型中,语言模型可为逻辑回归模型,语言模型可预测语义文本中每个分词词汇的重要性。所提取的特征可包括分词词汇的自解释特征,例如专名类型,词性,位置特征,长度等;
还可包括:分词词汇与文本串的交叉特征,例如分词词汇文本串中其他分词词汇的字面交叉特征,分词词汇转移到文本串中其他分词词汇的转移概率特征,分词词汇的文本分类、题目与文本串的文本分类、题目的交叉特征等。
利用分词词汇的特征可计算分词词汇的词向量权重,根据权重可以提取出语义文本的核心词。
在S508中,基于关键词确定场景参数。根据关键词将该来电内容进行分类,可确定场景参数可为:外卖,快递,吃饭,学会,推销等。
在S510中,基于所述场景参数在回复模板中进行检索,生成回复数据。可包括:基于所述场景参数和用户特征在回复模板中进行检索,生成回复数据;和/或基于所述场景参数和呼叫号码在回复模板中进行检索,生成回复数据。
其中,回复模板可为实时更新的大数据回复模板,大数据回复模板可根据实时的新闻内容或者实时场景进行更新。
还可根据用户特征在回复模板中进行检索,用户特征可包括用户的性别、年龄、职业等等特征。
还可根据呼叫号码在回复模板中进行检索,可根据用户的设置,将某些号码设定为特定号码,比如“家人”“同事”“领导”等等,根据机主用户对号码的设定,在回复模板中进行检索。
在S512中,将回复数据进行文字整合生成回复信息。可将回复信息通过语音的方式播放给来电用户,以便来电用户知悉机主用户的基本状态,来电用户还可根据回复数据继续进行语音对话,预设平台也可根据后续的语音内容再次生成回复信息,从而基于该回复信息生成机器语音以进行自动通话。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时,执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中,该存储介质可以是只读存储器,磁盘或光盘等。
此外,需要注意的是,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图6是根据一示例性实施例示出的一种基于智能语音技术的通话接听装置的框图。如图6所示,基于智能语音技术的通话接听装置60包括:连接模块602,语音模块604,回复模块606,以及提醒模块608。
连接模块602用于基于语音通话请求建立通话连接;连接模块602包括:转接单元,用于基于预设条件将所述语音通话请求转接到预设平台;以及连接单元,用于所述预设平台根据所述语音通话请求建立通话连接。其中,转接单元包括:判断子单元,用于基于所述语音通话请求判断用户终端的实时状态;条件子单元,用于在所述实时状态满足预设条件时,将所述语音通话请求转接到所述预设平台。
语音模块604用于基于所述通话连接获取至少一个语音信息;语音模块604包括:数据单元,用于基于所述通话连接获取实时语音数据;检测单元,用于基于起止点检测技术确定实时语音数据中的至少一个停顿点;以及语音单元,用于基于所述停顿点生成所述至少一个语音信息。
回复模块606识别所述至少一个语音信息并生成其对应的至少一个回复信息,并基于该回复信息生成机器语音以进行自动通话;回复模块606包括:识别单元,用于通过语音识别技术对所述至少一个语音信息进行识别,生成至少一个语音文本;语义单元,用于基于语义识别技术对所述至少一个语音文本中的每一个语音文本进行识别,生成其对应的至少一个语义文本;以及回复单元,用于基于所述至少一个语义文本生成所述至少一个回复信息。
其中,回复单元,还用于基于所述至少一个语义文本和回复参数生成所述至少一个回复信息。回复单元包括:解析子单元,用于解析所述至少一个语义文本,提取至少一个关键词;基于所述关键词确定场景参数;检索子单元,用于基于所述场景参数在回复模板中进行检索,生成至少一个回复数据;整合子单元,用于将所述至少一个回复数据进行文字整合生成所述至少一个回复信息。其中,检索子单元,还用于基于所述场景参数和用户特征在回复模板中进行检索,生成至少一个回复数据;和/或基于所述场景参数和呼叫号码在回复模板中进行检索,生成至少一个回复数据。
提醒模块608用于通过所述至少一个语音信息和所述至少一个回复信息生成通话提醒信息。
根据本公开的基于智能语音技术的通话接听装置,基于语音通话请求建立通话连接;基于所述通话连接获取至少一个语音信息;识别所述至少一个语音信息并生成其对应的至少一个回复信息,并基于该回复信息生成机器语音以进行自动通话;以及通过所述至少一个语音信息和所述至少一个回复信息生成通话提醒信息的方式,可避免用户漏接电话,并对外部来电进行辅助接听处理,还能够将接听的信息及时反馈给用户,使用户具有较好的使用体验感。
图7是根据一示例性实施例示出的一种电子设备的框图。
下面参照图7来描述根据本公开的这种实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于:至少一个处理单元710、至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730、显示单元740等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元710执行,使得所述处理单元710执行本说明书上述电子处方流转处理方法部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元710可以执行如图3,图4,图5中所示的步骤。
所述存储单元720可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)7201和/或高速缓存存储单元7202,还可以进一步包括只读存储单元(ROM)7203。
所述存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204,这样的程序模块7205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线730可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备700也可以与一个或多个外部设备700’(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备700交互的设备通信,和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且,电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器760可以通过总线730与电子设备700的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备700使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,如图8所示,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。
所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该计算机可读介质实现如下功能:基于语音通话请求建立通话连接;基于所述通话连接获取至少一个语音信息;识别所述至少一个语音信息并生成其对应的至少一个回复信息,并基于该回复信息生成机器语音以进行自动通话;以及通过所述至少一个语音信息和所述至少一个回复信息生成通话提醒信息。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中,也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施例的方法。
以上具体地示出和描述了本公开的示例性实施例。应可理解的是,本公开不限于这里描述的详细结构、设置方式或实现方法;相反,本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (14)

1.一种基于智能语音技术的通话接听方法,其特征在于,包括:
获取语音通话请求;
在所述通话请求满足预设条件时,将其转接到移动端网页平台或即时通信平台;
所述移动端网页平台或即时通信平台基于所述语音通话请求建立通话连接;
基于所述通话连接获取至少一个语音信息;
通过语音识别技术对所述至少一个语音信息进行识别,生成至少一个语音文本;
基于语义识别技术对所述至少一个语音文本中的每一个语音文本进行识别,生成其对应的至少一个语义文本;
解析所述至少一个语义文本,提取至少一个关键词;
基于所述关键词确定场景参数;
基于所述场景参数和用户特征在回复模板中进行检索,生成至少一个回复数据,其中,所述回复模板为大数据回复模板,所述大数据回复模板根据实时的新闻内容或者实时场景进行更新;
将所述至少一个回复数据进行文字整合生成至少一个回复信息;
基于所述至少一个回复信息生成机器语音以进行若干次自动通话;
通过所述至少一个语音信息和所述至少一个回复信息、所述场景参数生成通话提醒信息。
2.如权利要求1所述的方法,其特征在于,基于预设条件将所述语音通话请求转接到移动端网页平台或即时通信平台包括:
基于所述语音通话请求判断用户终端的实时状态;
在所述实时状态满足预设条件时,将所述语音通话请求呼叫转移到所述移动端网页平台或即时通信平台。
3.如权利要求1所述的方法,其特征在于,基于所述通话连接获取至少一个语音信息包括:
基于所述通话连接获取实时语音数据;
基于起止点检测技术确定实时语音数据中的至少一个停顿点;以及
基于所述停顿点生成所述至少一个语音信息。
4.如权利要求1所述的方法,其特征在于,基于所述至少一个语义文本生成所述至少一个回复信息包括:
基于所述至少一个语义文本和回复参数生成所述至少一个回复信息。
5.如权利要求1所述的方法,其特征在于,还包括:
基于所述场景参数和呼叫号码在回复模板中进行检索,生成至少一个回复数据。
6.如权利要求1所述的方法,其特征在于,还包括:
将所述通话提醒信息通过短信方式发送至被叫用户处;和/或
将所述通话提醒信息通过即时消息方式发送至被叫用户处。
7.一种基于智能语音技术的通话接听装置,其特征在于,包括:
连接模块,用于获取语音通话请求;在所述通话请求满足预设条件时,将其转接到移动端网页平台或即时通信平台;所述移动端网页平台或即时通信平台基于所述语音通话请求建立通话连接;
语音模块,用于基于所述通话连接获取至少一个语音信息;
回复模块,包括:
识别单元,用于通过语音识别技术对所述至少一个语音信息进行识别,生成至少一个语音文本;
语义单元,用于基于语义识别技术对所述至少一个语音文本中的每一个语音文本进行识别,生成其对应的至少一个语义文本;
回复单元,用于解析所述至少一个语义文本,提取至少一个关键词;基于所述关键词确定场景参数;基于所述场景参数和用户特征在回复模板中进行检索,生成至少一个回复数据,其中,所述回复模板包括大数据回复模板,所述大数据回复模板根据实时的新闻内容或者实时场景进行更新;将所述至少一个回复数据进行文字整合生成至少一个回复信息;基于所述至少一个回复信息生成机器语音以进行若干次自动通话;所述回复单元包括检索子单元,用于基于所述场景参数在回复模板中进行检索,生成至少一个回复数据;
提醒模块,用于通过所述至少一个语音信息和所述至少一个回复信息、所述场景参数生成通话提醒信息;
所述连接模块包括转接单元,用于基于预设条件将所述语音通话请求转接到移动端网页平台或即时通信平台。
8.如权利要求7所述的装置,其特征在于,所述转接单元包括:
判断子单元,用于基于所述语音通话请求判断用户终端的实时状态;
条件子单元,用于在所述实时状态满足预设条件时,将所述语音通话请求转接到所述移动端网页平台或即时通信平台。
9.如权利要求7所述的装置,其特征在于,所述语音模块包括:
数据单元,用于基于所述通话连接获取实时语音数据;
检测单元,用于基于起止点检测技术确定实时语音数据中的至少一个停顿点;以及
语音单元,用于基于所述停顿点生成所述至少一个语音信息。
10.如权利要求7所述的装置,其特征在于,所述回复单元,还用于
基于所述至少一个语义文本和回复参数生成所述至少一个回复信息。
11.如权利要求7所述的装置,其特征在于,所述检索子单元,还用于
基于所述场景参数和用户特征在回复模板中进行检索,生成至少一个回复数据;和/或
基于所述场景参数和呼叫号码在回复模板中进行检索,生成至少一个回复数据。
12.如权利要求7所述的装置,其特征在于,还包括:
短信模块,用于将所述通话提醒信息通过短信方式发送至被叫用户处;和/或
消息模块,用于将所述通话提醒信息通过即时消息方式发送至被叫用户处。
13.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201910915372.XA 2019-09-26 2019-09-26 基于智能语音技术的通话接听方法、装置及电子设备 Active CN110740212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910915372.XA CN110740212B (zh) 2019-09-26 2019-09-26 基于智能语音技术的通话接听方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910915372.XA CN110740212B (zh) 2019-09-26 2019-09-26 基于智能语音技术的通话接听方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110740212A CN110740212A (zh) 2020-01-31
CN110740212B true CN110740212B (zh) 2021-08-27

Family

ID=69269661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910915372.XA Active CN110740212B (zh) 2019-09-26 2019-09-26 基于智能语音技术的通话接听方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110740212B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627433B (zh) * 2020-06-16 2023-11-28 北京云迹科技股份有限公司 机器人语音订单处理的方法和装置
CN113114851B (zh) * 2021-03-24 2022-06-21 北京百度网讯科技有限公司 来电智能语音回复方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101958958A (zh) * 2010-09-29 2011-01-26 中兴通讯股份有限公司 一种回复信息的方法和终端
CN103139404A (zh) * 2013-01-25 2013-06-05 西安电子科技大学 基于语音识别生成交互式语音响应显示菜单的系统和方法
CN107749931A (zh) * 2017-09-29 2018-03-02 携程旅游信息技术(上海)有限公司 互动式语音应答的方法、系统、设备及存储介质
CN108076204A (zh) * 2017-11-30 2018-05-25 努比亚技术有限公司 一种呼叫处理的方法及终端
CN109035001A (zh) * 2018-06-28 2018-12-18 招联消费金融有限公司 智能语音应答处理方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103929523A (zh) * 2014-03-26 2014-07-16 广东明创软件科技有限公司 智能处理来电的方法及其移动终端
KR20180001889A (ko) * 2016-06-28 2018-01-05 삼성전자주식회사 언어 처리 방법 및 장치
CN109256153B (zh) * 2018-08-29 2021-03-02 云知声智能科技股份有限公司 一种声源定位方法及系统
CN109246310A (zh) * 2018-11-03 2019-01-18 天津深思维科技有限公司 一种基于智能语音技术的接听辅助系统
CN110072006A (zh) * 2019-03-21 2019-07-30 窦玉梅 智能终端的应答方法及智能终端
CN110278326A (zh) * 2019-06-11 2019-09-24 浙江百应科技有限公司 一种基于智能语音的电话接听方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101958958A (zh) * 2010-09-29 2011-01-26 中兴通讯股份有限公司 一种回复信息的方法和终端
CN103139404A (zh) * 2013-01-25 2013-06-05 西安电子科技大学 基于语音识别生成交互式语音响应显示菜单的系统和方法
CN107749931A (zh) * 2017-09-29 2018-03-02 携程旅游信息技术(上海)有限公司 互动式语音应答的方法、系统、设备及存储介质
CN108076204A (zh) * 2017-11-30 2018-05-25 努比亚技术有限公司 一种呼叫处理的方法及终端
CN109035001A (zh) * 2018-06-28 2018-12-18 招联消费金融有限公司 智能语音应答处理方法及系统

Also Published As

Publication number Publication date
CN110740212A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
CN100424632C (zh) 用于高级交互接口的语义对象同步理解
US8516052B2 (en) Dynamically managing online communication groups
CN100578614C (zh) 用语音应用语言标记执行的语义对象同步理解
US20110172989A1 (en) Intelligent and parsimonious message engine
CN110597952A (zh) 信息处理方法、服务器及计算机存储介质
US11798539B2 (en) Systems and methods relating to bot authoring by mining intents from conversation data via intent seeding
CN110381221B (zh) 呼叫处理方法、装置、系统、设备和计算机存储介质
CN111683175B (zh) 一种自动应答来电的方法、装置、设备及存储介质
CN112530408A (zh) 用于识别语音的方法、装置、电子设备和介质
JP2012113542A (ja) 感情推定装置、その方法、プログラム及びその記録媒体
CN114760387A (zh) 管理保持的方法和装置
CN110740212B (zh) 基于智能语音技术的通话接听方法、装置及电子设备
CN112929253A (zh) 一种虚拟形象交互方法和装置
CN103297611A (zh) 用于在电子设备上屏蔽消息的方法和系统
CN114171063A (zh) 一种实时话务客户情绪分析辅助方法及系统
CN114724561A (zh) 一种语音打断方法、装置、计算机设备及存储介质
CN114328867A (zh) 一种人机对话中智能打断的方法及装置
CN111556096B (zh) 信息推送方法、装置、介质及电子设备
CN113851105A (zh) 信息提醒方法、装置、设备与存储介质
CN114138960A (zh) 用户意图识别方法、装置、设备及介质
CN112632241A (zh) 智能会话的方法、装置、设备和计算机可读介质
CN111582708A (zh) 医疗信息的检测方法、系统、电子设备及计算机可读存储介质
US20230245454A1 (en) Presenting audio/video responses based on intent derived from features of audio/video interactions
US11947872B1 (en) Natural language processing platform for automated event analysis, translation, and transcription verification
CN113782022B (zh) 基于意图识别模型的通信方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant