CN112291429B - 一种语音助手的自动学习方法、装置 - Google Patents

一种语音助手的自动学习方法、装置 Download PDF

Info

Publication number
CN112291429B
CN112291429B CN202011147695.8A CN202011147695A CN112291429B CN 112291429 B CN112291429 B CN 112291429B CN 202011147695 A CN202011147695 A CN 202011147695A CN 112291429 B CN112291429 B CN 112291429B
Authority
CN
China
Prior art keywords
data
call
calling
information
called
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011147695.8A
Other languages
English (en)
Other versions
CN112291429A (zh
Inventor
李国华
张伟萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Charm Sound Technology Co ltd
Original Assignee
Beijing Moran Cognitive Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Moran Cognitive Technology Co Ltd filed Critical Beijing Moran Cognitive Technology Co Ltd
Priority to CN202011147695.8A priority Critical patent/CN112291429B/zh
Publication of CN112291429A publication Critical patent/CN112291429A/zh
Application granted granted Critical
Publication of CN112291429B publication Critical patent/CN112291429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H04M3/4936—Speech interaction details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种语音助手的自动学习方法，包括：采集呼出时被叫电话号码信息，确定被叫号码的号码属性；存储呼叫接通后的通话语音信息，根据被叫电话号码，将通话语音信息进行分类存储；对语音信息进行识别，根据对话主体对应的电话号码标记语音信息中的对话数据；查询应用日志，确定呼叫开始时间之前的第一预定时间范围内，是否存在应用的操作记录和/或通知记录；如果存在，获取应用在第二预定时间范围内的详细操作数据和/或通知记录；对详细操作数据和/或通知记录，以及对话数据进行分析，判断是否存在关联关系；如果存在，提取关键数据，创建第一初始关联逻辑。通过本发明的方法，能够提升用户体验。

Description

一种语音助手的自动学习方法、装置
技术领域
本发明实施例涉及信息处理技术领域，特别涉及一种语音助手的自动学习方法、装置。
背景技术
随着计算机技术的发展和普及，人机交互等智能技术在人们生活的各个方面提供方便快捷的服务。人机交互HCI(Human–Computer Interaction)技术是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。目前语音助手的功能和训练方式相对局限，从而导致用户使用体检较差。如何优化语音助手的自动学习能力和自动处理用户任务能力成为一个亟待解决的问题。
发明内容
针对现有技术中的问题，本发明提供一种语音助手的自动学习方法，其特征在于，所述方法包括：
步骤501，采集呼出时被叫电话号码信息，获取呼出的被叫号码，确定所述被叫号码的号码属性；
步骤502，存储呼叫接通后的通话语音信息，根据所述被叫电话号码，将所述通话语音信息进行分类存储；
步骤503，针对所述语音信息进行识别，区分对话主体，并根据对话主体对应的电话号码标记语音信息中的对话数据；
步骤504，查询应用日志，确定呼叫开始时间之前的第一预定时间范围内，是否存在应用的操作记录和/或通知记录；如果存在，执行步骤505；
步骤505，获取所述应用在第二预定时间范围内的详细操作数据和/或通知记录；对所述应用在第二预定时间范围内的详细操作数据和/或通知记录，以及所述对话数据进行分析，判断所述应用在第二预定时间范围内的详细操作数据和/或通知记录与所述对话数据是否存在关联关系；如果存在，执行步骤506；
步骤506，提取所述应用在第二预定时间范围内的详细操作数据和/或通知记录与所述对话数据中的关键数据，创建第一初始关联逻辑。
本发明还提供一种语音助手的自动学习装置，其特征在于，所述装置包括：
呼叫采集模块，采集呼出时被叫电话号码信息，获取呼出的被叫号码，确定所述被叫号码的号码属性；
存储管理模块，存储呼叫接通后的通话语音信息，根据所述被叫电话号码，将所述通话语音信息进行分类存储；
数据处理模块，针对所述语音信息进行识别，区分对话主体，并根据对话主体对应的电话号码标记语音信息中的对话数据；
定时监测模块，查询应用日志，确定呼叫开始时间之前的第一预定时间范围内，是否存在应用的操作记录和/或通知记录；如果存在，发送通知消息至控制模块；
所述控制模块，获取所述应用在第二预定时间范围内的详细操作数据和/或通知记录；对所述应用在第二预定时间范围内的详细操作数据和/或通知记录，以及所述对话数据进行分析，判断所述应用在第二预定时间范围内的详细操作数据和/或通知记录与所述对话数据是否存在关联关系；当所述应用在第二预定时间范围内的详细操作数据和/或通知记录与所述对话数据存在关联关系时，提取所述应用在第二预定时间范围内的详细操作数据和/或通知记录与所述对话数据中的关键数据，创建第一初始关联逻辑。
通过本发明的方法及装置，能够优化语音助手的自动学习能力和自动处理用户任务能力，提升用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例中的一种自动化助手的训练方法。
图2是本发明一个实施例中的一种自动化助手中关联逻辑与任务逻辑示意。
图3是本发明一个实施例中的一种基于身份确认的智能应答方法。
图4是本发明一个实施例中的对话处理界面。
图5是本发明一个实施例中的一种语音助手的自动学习方法。
图6是本发明一个实施例中的一种语音助手的智能呼叫方法。
图7是本发明一个实施例中的一种基于AR的智能通话方法。
图8是本发明一个实施例中的一种语音助理的自动学习方法。
图9是本发明一个实施例中的一种自动化助手的训练装置。
图10是本发明一个实施例中的一种基于身份确认的智能应答装置。
图11是本发明一个实施例中的一种语音助手的自动学习装置。
图12是本发明一个实施例中的一种语音助手的智能呼叫装置。
图13是本发明一个实施例中的一种基于AR的智能通话装置。
图14是本发明一个实施例中的一种语音助理的自动学习装置。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。本发明的实施例以及实施例的具体特征是对本发明实施例技术方案的详细说明，而非对本发明说明书技术方案的限定，在不冲突的情况下，本发明的实施例以及实施例的技术特征可以相互结合。
本发明的方法可以应用于任何具有语音交互能力的装置或设备，如计算机、手机，平板电脑，车机，车载终端，智能音箱，机顶盒，智慧型家电等。
实施例一
参考图1，本发明实施例一提供一种自动化助手的训练方法，其特征在于：
步骤101，采集呼入时主叫电话号码信息，对所述主叫号码进行分类存储，并针对所述主叫号码设置主叫号码属性匹配关系表；
步骤102，采集通话语音信息，根据所述主叫电话号码，对语音信息进行分类存储；
步骤103，针对所述语音信息进行识别，区分对话主体，并根据对话主体对应的电话号码标记语音信息中的对话数据；
其中步骤103进一步包括，将标记后的文本形式的所述对话数据存储于呼入数据资源库，其中将主叫的电话号码作为一级索引，将主叫呼入的电话的通话结束时间作为二级索引；
步骤104，根据号码属性匹配关系表中所述主叫的电话号码对应的号码属性，将所述对话数据进行聚类；
步骤105，对每一聚类中的对话数据进行分析，提取对话中的关键数据，创建基于所述聚类的第一初始接听任务逻辑；将第一初始接听任务逻辑与相应的主叫号码和号码属性信息相关联。
其中所述自动化助手可以为语音助手。
例如，针对呼入的电话号码137****1234，首先，可以先匹配通信录相关信息，如通讯录中标识该电话号码为物业，则根据该识别结果填充号码属性匹配关系表中的号码属性项目，如补充号码属性为物业。
如果呼入电话号码957****，通讯录中无匹配，通过联网查询该号码为快递号码，则根据该识别结果更新号码属性匹配关系表中的号码属性项目，如补充该号码对应的号码属性为快递。
主叫号码属性匹配关系表可如下表：
表1
主叫号码 短号码 前缀号码 号码属性 关联类
137****1234 125831137****1234 物业
957**** 快递 10
158****0001 家人
对于特殊号码，同时存储携带前缀的号码和/或短号码，以及原始号码，如携带前缀号码，通过分离前缀，如125831137****1234，确定原始号码137****1234；对于短号码，通过查询短号码对应关系，确定原始号码；如果不存在短号码和前缀号码，该号码属性匹配关系表中的上述项目可以置空，或省略该项目。
当同一号码同时存在两种属性信息时，可针对号码属性配置优先级，如高优先级为家庭类、次高优先级为工作类，低优先级为业务类等。
其中主叫号码属性匹配关系表中的关联类项目可以为针对所述主叫号码是否存在后续关联操作；可采用信息描述，或采用标识符指代，例如若为无或01，则代表该号码呼入后，历史统计中均无后续关联处理；此外，初始关联类别项目可均置空或00，基于后续数据更新补充该项目。当所述关联类项目为存在接续，或被标记为10时，指代在该主叫号码本次呼叫后，历史统计中存在后续关联处理。
当所述关联类项目被标记为01时，语音助手可暂时不启动关联逻辑，对本次呼叫的对话数据进行监控，当所述关联类项目被标记为10或初始值00时，语音助手可同步启动关联逻辑，对本次呼叫的对话数据进行监控。
具体地，用户可授权开启自动化助手训练功能，针对用户终端应用程序的调用权限予以授权，如开启自动化助手训练功能，授权针对通话模块进行电话接听或拨打，以及针对通话进行录音。
用户可设置仅本地存储相关录音或处理后的对话数据，或采用私有云端数据存储区进行数据存储。
具体地，当用户接听来电957****，确定该电话为快递电话，通过开启录音功能记录对话：如呼叫方为X快递，电话通知有2件快递，是否在家需要投放XX快递点或者送货上门。用户反馈在家，希望送货上门。通过记录本次通话，基于声纹分析，确定对话双方语音信息。
可通过统计历史呼入的语音数据，将所述对话数据进行聚类，如快递类的呼叫的对话数据；银行类的呼叫的对话数据；
若此前并未存在相关语音数据，可根据当前的对话数据中主叫的电话号码对应的号码属性确定第一聚类，并在后续对语音数据进行分析时，确定主叫的电话号码对应的号码属性是否与在前的号码属性相同，如相同则将其归类为第一聚类，如不同则确定为第二聚类。
对每一聚类中的对话数据进行分析，提取对话中的关键数据，例如，针对在前举例，提取关键信息：快递，在家，送货；
对于快递类呼叫的对话数据，用户可能的答复为：不在家，放置快递柜，或者不在家，放置门前置物区。针对上述情况，提取的关键信息包括：快递，不在家，快递柜/送货；
针对上述提取的关键信息，确定任务逻辑中的特定槽位属性，例如呼叫聚类槽位属性，用户位置槽位属性，反馈信息槽位属性。
建立关键信息的逻辑关系，并基于上述逻辑关系，设置特定槽位属性的候选信息项目，创建基于所述聚类的第一初始接听任务逻辑。
参考图2，其进一步示意自动化助手中关联逻辑、任务逻辑关系图，对所述自动化助手的训练还包含通过关联逻辑构建任务逻辑之间的相互联系的自动学习和训练。
优选地，基于开放权限，获取在所述主叫呼入的电话的通话结束后，用户的后续操作，例如，设定第一时间阈值，以通话结束时间为起始时间，以用户开启第二应用为终止时间，如果该终止时间与起始时间的差值小于或等于第一预定时间阈值，则针对用户对第二应用的操作进行记录；
或者采集用户的操作日志，确定在所述主叫呼入的电话的通话结束后，用户的多个操作，分析所述操作起始时间与所述通话结束时间的时间差值，获取所述时间差值小于或等于第一预定时间阈值的用户操作，并通过所述时间差值小于或等于第一预定时间阈值的用户操作的操作日志确定用户的操作过程；
其中预先配置用户的操作的记录模式，如授权记录用户的操作过程，以及操作内容数据，例如当用户开启通信应用拨打电话，则基于用户的预授权，记录用户拨打电话的录音信息，或者例如用户打开即时通信应用，则操作内容数据包括聊天记录；
通过用户操作日志获取用户的具体操作内容数据。例如，用户呼出电话。
进一步地，针对用户呼出的电话采用如下步骤进行处理：
采集呼出时被叫电话号码信息，获取呼出的被叫号码，对所述被叫号码进行分类存储，并针对所述被叫号码设置被叫号码属性匹配关系表；
采集通话语音信息，根据所述被叫电话号码，对语音信息进行分类存储；
针对所述语音信息进行识别，区分对话主体，并根据对话主体对应的电话号码标记语音信息中的对话数据；
将标记后的文本形式的所述对话数据存储于呼出数据资源库，其中将被叫的电话号码作为一级索引，将呼叫开始时间作为二级索引；
根据被叫号码属性匹配关系表中所述被叫的电话号码对应的号码属性，将所述对话数据进行聚类；
对每一聚类中的对话数据进行分析，提取对话中的关键数据，创建基于所述聚类的第一初始呼叫任务逻辑。
其中，针对用户呼出的电话的处理可以独立于呼入电话的处理。
其中，所述被叫号码属性匹配关系表可如下
表2
被叫号码 短号码 前缀号码 号码属性 场景类 关联类
10086 运营商 日程
010**** 银行 日程
179****1101 家人 位置/日程
其中，场景类可包括一种或多种分类，例如，位置场景类，日程场景类等；
例如，当用户拨打快递电话时，获取用户拨打电话时用户的位置信息，或者当用户拨打商户电话时，正使用导航设定路线，获取用户导航的目的位置信息，或者当用户拨打运营商电话时，获取通用日程或用户预设日程的时间和项目信息。
具体地，对所述被叫号码进行分类存储，并针对所述被叫号码设置被叫号码属性匹配关系表；如上表，用户在日程提示月末结算话费时，拨打10086，进花费或业务查询，则被叫号码属性匹配关系表内容被填充为：被叫号码：10086，号码属性：运营商，场景类：日程。
采集通话语音信息，根据所述被叫电话号码，对语音信息进行分类存储；
根据识别出的所述语音信息，区分对话主体，利用用户号码及被叫号码10086，分别标记双方数据记录。
记录呼叫开始时间，利用被叫号码10086作为一级索引，呼叫开始时间为二级索引，将标记的存储于呼出数据资源库，另外，同时将场景类数据与所述对话数据关联，例如设置场景类数据为三级索引；
根据被叫号码属性匹配关系表中10086对应的号码属性运营商，将所述对话数据进行聚类；例如获取呼出数据资源库中号码属性为运营商的对话数据，将该对话数据统一归为运营商类别；
对运营商聚类中的对话数据进行分析，提取对话数据中的关键数据以及场景类数据，例如，余额，增值业务，自动查询/人工查询，按键，退订等，
针对上述提取的关键信息，确定任务逻辑中的特定槽位属性，例如呼叫聚类槽位属性，提示槽位属性，菜单槽位属性，场景槽位属性等。
建立关键信息的逻辑关系，并基于上述逻辑关系，设置特定槽位属性的候选信息项目，创建基于所述聚类的第一初始呼叫任务逻辑。
进一步地，所述针对用户呼出的电话的处理还可以与呼入的电话处理相关联。
优选地，确定用户接听主叫呼入电话的通话结束时间和用户拨打被叫电话的呼叫开始时间的差值，判断是否小于或等于第一时间阈值，如果小于或等于第一时间阈值，则获取所述主叫的电话号码以及通话结束时间作为索引的第一对话数据，以及所述被叫电话号码以及呼叫开始时间作为索引的第二对话数据，对第一对话数据和第二对话数据进行统计分析，提取相似及关联内容，若所述第一对话数据和第二对话数据为关联数据，则根据所述第一对话数据，确定对应于所述第一对话数据的主叫号码以及该号码对应的号码属性，并根据所述主叫号码以及该主叫号码对应的号码属性确定其关联的第一初始接听任务逻辑；同时，确定对应于所述第二对话数据的被叫号码以及该被叫号码对应的号码属性，并根据所述被叫号码以及该被叫号码对应的号码属性确定其关联的第一初始呼叫任务逻辑；基于所述第一初始接听任务逻辑与第一初始呼叫任务逻辑训练关联逻辑，从而富集训练逻辑中基于触发条件、触发事件、以及触发结果之间的关系。从而提供更为精确的智能化操作流程。
具体地，用户可能基于接听的电话进行下一步呼叫，如用户接听来电957****，确定该电话为快递电话，通过开启录音功能记录对话：如呼叫方为X快递，电话通知有2件快递，是否在家需要投放XX快递点或者送货上门。用户回复不在家，要求放置快递柜；随后，用户拨打家人电话179****1101，告知家人需要随后在快递柜取快递。此时，获取通话的地址信息，并对通话的对话数据进行分析，提取对话中的关键数据，创建基于所述聚类的第一初始呼叫任务逻辑。
训练所述第一初始接听任务逻辑与第一初始呼叫任务逻辑的关联逻辑，所述关联逻辑可包含触发条件属性槽位，触发场景属性槽位以及触发结果属性槽位。基于第一初始接听任务逻辑中的特定槽位所填充的信息内容，确定触发条件属性槽位的候选信息以及触发场景属性槽位的候选信息，例如根据反馈信息槽位属性确定触发条件属性槽位候选信息为快递柜，根据用户位置槽位属性确定触发场景属性槽位候选信息为非家庭所在地，则执行第一初始呼叫任务逻辑；
上述举例仅为示意，并非限定实施方式，例如通过针对呼入呼出的对话数据进行学习，还确定适合当前用户的关联逻辑的执行过程为用户不在家(外地)，存放快递柜，并发起呼叫；用户不在家(本地)，存放快递柜，后续不发起呼叫。即可通过训练完善关联逻辑中的槽位设定与执行模式，使其接近用户的使用需求。
此外，所述还可以针对应用任务逻辑进行训练，例如，确定适合当前用户的关联逻辑的执行过程为用户不在家(外地)，存放快递柜，并发起呼叫，当被叫无应答时，利用关联逻辑中确定调用合适的应用任务逻辑，从而自动编辑短消息发送至被叫用户。
进一步地，基于更新的数据对多个任务逻辑或关联逻辑进行优化训练，或者针对训练完成的多个任务逻辑或关联逻辑，可以开放训练接口，通过所述训练接口，接收用户对关联逻辑、任务逻辑的内容的增加、修改、删除操作，从而进一步优化自动化助手的训练。
通过本发明实施例一的方法，能够优化语音助手的自动学习能力和自动处理用户任务能力，提升用户体验。
实施例二
参考图3，在实施例一的基础上，实施例二提供一种基于身份确认的智能应答方法，其中所述方法包括但不限于：
步骤301，接收呼叫信息，根据所述呼叫信息确定主叫电话号码；
步骤302，根据所述主叫电话号码，获取所述主叫电话号码的属性信息；
步骤303，判断所述主叫电话号码的属性信息是否属于第一属性分类；如果所述主叫电话号码的属性信息属于第一属性分类时，执行步骤305，如果主叫电话号码的属性信息不属于第一属性分类，执行步骤304；
步骤304，启动第一定时器，若所述第一定时器超时，用户未应答，执行步骤305；
步骤305，执行呼叫接管，根据所述主叫电话号码的属性信息，确定第一接听任务逻辑；
步骤306，接收主叫的第一语音信息，对所述语音信息进行录制，并转换为第一对话数据；
步骤307，根据所述第一对话数据确定第一接听任务逻辑中相关槽位的候选信息。
其中，根据所述主叫电话号码，获取所述主叫电话号码的属性信息具体包括：调用联系人列表，查询该主叫号码是否在联系人列表中，如果是，通过联系人列表确定所述主叫电话号码的属性信息；如果否，查询主叫号码属性匹配关系表，确定所述主叫电话号码的属性信息，如果主叫号码属性关系匹配关系表中未包含所述主叫电话号码，则发送查询号码请求至云端服务器，查询所述主叫号码的属性信息；如果云端服务器不能确定所述主叫号码的属性信息，则设置所述主叫号码的属性信息为未认证电话号码。
进一步地，所述主叫号码可能对应多个号码属性，当其对应多个号码属性时，设定号码属性的优先级别，以优先级别最高的号码属性确定其属性分类。
例如，主叫号码在公众平台被标记为快递，但采用该主叫号码呼叫家人时，该主叫号码针对当前用户另一种标记为家人，基于获取号码属性的优先等级，家人的优先等级高于快递，则针对所述主叫号码，确定其号码属性为家人，基于家人来确定其所属的属性分类。
其中所述第一属性分类为用户预设的呼叫接管类属性；
其中所述呼叫接管类属性可包含一个或多个号码属性，如快递、银行、运营商、和/或未认证。
具体地，例如，用户接收来电158********，该号码未标记于联系人列表，通过查询主叫电话号码的属性信息，发现此前已被记录，获取该号码对应的属性信息为快递，确定用户设置的第一属性类包含快递，则执行呼叫接管，由语音助手接管电话呼叫，在该情况下，可播放振铃，由语音助手模拟接听。
根据所述主叫电话号码的属性信息为快递，确定快递类的第一接听任务逻辑。
优选地，参考图4，在执行呼叫接管过程中，接收用户的第一指令信息，基于所述第一指令信息，显示对话处理界面；
在所述对话处理界面，呈现所述第一对话数据，以及基于所述第一对话数据生成的第二对话数据。
预先设置对话处理界面启动热键或项目提示，基于用户点击该热键或项目提示，进入对话处理界面例如，显示通知信息，基于用户点击该通知信息，进入对话处理界面，或者，采用呼吸灯闪烁频率提示用户当前处于呼叫接管状态，用户通过解锁直接跳转进入对话处理界面。
具体地，当语音助手执行接听后，开启录音功能，并确定基于该主叫号码的语音数据存储区，接收主叫的第一语音数据：如，有您一件快递，在家么；实时存储该语音数据，并通过语音识别，生成文字记录。基于第一接听任务逻辑的相关对话规则的槽位设置，提取第一语音数据中的关键数据，填充对应槽位，获取下一对话话术，基于所述下一对话话术，如回应话术的槽位设置，提取适合的对应于该槽位的候选信息。例如，判断用户位置不在设定家庭位置区，则选择候选信息：不在家，快递柜填充对应的槽位，从而生成第二对话，如现在不在家，请放置于小区快递柜。
对上述通话中的对话数据进行持续录音，且在生成第二对话时，针对第二对话的文字版信息也同步记录于预定存储区，并展示于对话处理界面。
进一步地，用户触发进入对话处理界面，在该界面以对话形式展示当前接管的呼叫，
接收用户的第二指令信息，所述第二指令信息为用户意图干预对话的指令信息。
例如，用户通过点击对话处理界面的介入按键，或者用户在对话处理界面的输入区，插入第三对话数据。
比如，用户点击对话处理界面下方的中断/退出按键，如果用户选择中断按键，则暂停接管呼叫处理，用户可录入语音信息，作为第三对话数据，语音助手记录该第三对话数据，并在用户录入语音信息结束后启动第二定时器，第二定时器到期后，无新语音数据输入则，退出中断，继续接管呼叫处理。如果用户选择退出按键，则退出接管呼叫处理，进入用户接听模式。
或者用户可以通过对话处理界面的输入区输入文字或语音信息，例如在对话显示区下方设置内容输入区，当用户编辑对话数据，并选择发送后，确定所述用户编辑的对话数据为第三对话数据，将其显示于对话处理界面，所述第一接听任务逻辑基于提取的第三对话数据的关键数据进行后续处理。
进一步地，判断第一接听任务逻辑执行过程中是否存在关联逻辑所对应的触发数据，如果存在所述触发数据，则所述关联逻辑在所述第一接听任务逻辑执行结束后，基于所述触发数据确定是否启动并执行其他任务逻辑。
具体地，用户接听到电话后，确定针对该主叫号码的关联类为第一关联逻辑，通话结束后，调用第一关联逻辑，基于所述对话数据以及用户关联数据确定所述第一关联逻辑中一个或多个判定条件槽位的候选信息，基于所述候选信息进行逻辑判断，确定是否启动第二任务逻辑，以及当需要启动第二任务逻辑时，触发执行第二任务逻辑。
进一步地，在执行第一接听任务逻辑、或第二任务逻辑后，根据第一接听任务逻辑、关联逻辑、第二任务逻辑运行期间的新获取的数据信息对多个任务逻辑或关联逻辑进行优化训练，或者针对训练完成的多个任务逻辑或关联逻辑，可以开放训练接口，通过所述训练接口，接收用户对关联逻辑、任务逻辑的内容的增加、修改、删除操作，从而进一步优化自动化助手的训练。
通过本发明实施例二的方法，能够实现自动化助手的智能化应答功能，实现优化的基于身份确认的智能应答，同时，提供实时可视化的对话展示，并实现了便捷的对话干预以及自动化助手的训练优化，提升了用户体验。
实施例三
参考图5，在前述实施例的基础上，本发明实施例三还提供一种语音助手的自动学习方法；
步骤501，采集呼出时被叫电话号码信息，获取呼出的被叫号码，确定所述被叫号码的号码属性；
步骤502，存储呼叫接通后的通话语音信息，根据所述被叫电话号码，将所述通话语音信息进行分类存储；
步骤503，针对所述语音信息进行识别，区分对话主体，并根据对话主体对应的电话号码标记语音信息中的对话数据；
步骤504，查询应用日志，确定呼叫开始时间之前的第一预定时间范围内，是否存在应用操作记录和/或应用通知记录；如果存在，执行步骤505；
步骤505，获取所述应用在第二预定时间范围内的详细操作数据和/或通知记录；对所述应用在第二预定时间范围内的详细操作数据和/或通知记录，以及所述对话数据进行分析，判断所述应用在第二预定时间范围内的详细操作数据和/或通知记录与所述对话数据是否存在关联关系；如果存在，执行步骤506；
步骤506，当所述应用在第二预定时间范围内的详细操作数据与所述对话数据存在关联关系时，提取所述应用在第二预定时间范围内的详细操作数据与所述对话数据中的关键数据，创建第一初始关联逻辑。
其中，采集呼出时被叫电话号码信息，获取呼出的被叫号码，确定所述被叫号码的号码属性具体包括
采集呼出时被叫电话号码信息，获取呼出的被叫号码；
根据所述被叫号码查找被叫号码属性关系匹配关系表，如果被叫号码属性关系匹配关系表存在所述被叫号码对应的号码属性，则提取所述被叫号码的号码属性；
如果被叫号码属性关系匹配关系表不存在所述被叫号码对应的号码属性，查找联系人列表，确定所述联系人列表中是否存在所述被叫号码对应的号码属性，
如果存在，则提取所述被叫号码对应的号码属性，并基于所述被叫号码以及所述被叫号码的号码属性更新被叫号码属性匹配关系表，如果不存在，则通过云端查询所述被叫号码的注册信息，确定所述被叫号码对应的号码属性，并基于所述被叫号码以及所述被叫号码的号码属性更新被叫号码属性匹配关系表。
具体地，例如用户呼叫被叫电话，针对被叫电话号码确定该被叫号码的号码属性为家人，确定发起呼叫时，记录本次通话的语音数据，例如有快递，下班需你去小区快递柜取一下，取货码为XX。
其中针对所述语音信息进行识别，区分对话主体，并根据对话主体对应的电话号码标记语音信息中的对话数据进一步包括：
将标记后的文本形式的所述对话数据存储于呼出数据资源库，其中将被叫的电话号码作为一级索引，将呼叫开始时间作为二级索引。
具体地，通过存储语音数据，并通过语音识别，生成文字记录，后续用户可以调用查看文字记录，例如，可以以对话界面的形式直观呈现所述文字记录。
进一步地，记录呼叫结束时间，设置呼叫结束时间也作为二级索引。
优选地，根据所述被叫的电话号码对应的号码属性，确定与该号码属性相对应聚类，基于所述聚类确定对应的呼叫任务逻辑；根据对所述对话数据的分析，提取对话中的关键数据，对所述呼叫任务逻辑的槽位设置以及槽位候选信息进行优化训练。
进一步优选地，当不存在对应的呼叫任务逻辑时，根据对所述对话数据的分析，提取对话中的关键数据，创建基于所述聚类的第一初始呼叫任务逻辑。
具体地，如果已存在针对家庭类的呼叫任务逻辑，则获取针对家庭类的呼叫任务逻辑，基于本次通话的对话数据：有快递，下班需你去小区快递柜取一下，取货码为XX。提取所述对话数据中的关键数据：快递、小区快递柜、取货码XX；将所述关键数据与所述家庭类的呼叫任务逻辑中的相关槽位信息相匹配，丰富相关槽位的候选信息；如果存在未匹配的关键数据，确定是否需要补充槽位信息，如果需要，则生成相应的槽位，并将该关键词作为所述槽位的候选信息。
进一步地，当所述应用在第二预定时间范围内的详细操作数据与所述对话数据存在关联关系时，提取所述应用在第二预定时间范围内的详细操作数据与所述对话数据中的关键数据，获取所述对话数据对应的用户状态信息，基于所述关键数据和用户状态信息，创建第一初始关联逻辑。
具体地，用户可以自定义或者默认一预定时长，例如1分钟、30秒等，提取呼叫开始时间，基于所述呼叫开始时间与所述预定时长确定一时间范围，根据所述时间范围，筛选日志信息，确定所述时间范围内，一个或多个应用的详细操作数据和/或通知记录；
例如30秒前，日程提示，需要订票或者预约挂号；或者开启快递APP或短信，点击获取取件码，或者用户浏览阅读APP。
通过判断本次对话数据与上述一个或多个应用的详细操作数据和/或通知记录的相关性，确定针对应用A的操作或提示是否为本次对话的起始条件。
如果存在因果联系，则提取所述应用A相关的数据中的关键数据，例如，快递，取货，取件码，同时基于所述对话数据中的关键数据：快递、取货码，以及所述对话数据对应的用户状态信息创建第一初始关联逻辑，所述关联逻辑的触发条件属性槽位可以包括：关联应用槽位，触发事件槽位；触发场景属性槽位可以包括触发状态槽位；例如：配置关联应用槽位的候选信息包括应用A，触发事件槽位的候选信息包括快递；触发状态槽位的候选信息包括用户位置属性。
通过不断富集知识图谱，将所有不同种类的信息连接在一起而得到的一个关系网络。语音助手中不同槽位间的逻辑关系以及相关信息之间的因果组合关系也可利用知识图谱，从而实现了自主分析问题的能力。
例如，基于应用A中出现快递，触发执行关联逻辑，根据关联逻辑的执行规则，当应用A出现快递，并且用户不在家时，可自动调用执行对应的呼叫任务逻辑。
进一步地，基于更新的数据对多个任务逻辑或关联逻辑进行优化训练，或者针对训练完成的多个任务逻辑或关联逻辑，可以开放训练接口，通过所述训练接口，接收用户对关联逻辑、任务逻辑的内容的增加、修改、删除操作，从而进一步优化语音助手的训练。
通过本发明实施例的方法，能够优化语音助手的自动学习能力和自动处理用户任务能力，提升用户体验。
实施例四
参考图6，在前述实施例的基础上，本发明实施例四还提供一种语音助手的智能呼叫方法；
步骤601，确定当前应用场景，根据所述应用场景判断是否满足呼叫任务的触发条件；如果满足呼叫任务的触发条件，执行步骤602；
步骤602，获取所述当前应用场景的关键数据信息，并向第一关联逻辑提供所述关键数据信息；
步骤603，根据所述关键数据信息，通过所述第一关联逻辑确定待启用的第一呼叫任务逻辑；通过所述第一关联逻辑推送所述关键数据信息至所述第一呼叫任务逻辑；
步骤604，控制所述第一呼叫任务逻辑发起针对目标用户的呼叫；并根据接收的所述关键数据信息，生成第一对话数据；并在通话建立后，向目标用户播放对应于第一对话数据的语音信息。
所述确定当前应用场景进一步包括：采集用户终端的当前应用程序的信息，根据所述用户终端的当前应用程序的信息，确定当前应用场景。
优选地，所述用户终端的当前应用程序的信息，包括用户接收到应用程序的通知消息、或者用户开启应用查看消息。
例如，日程应用提示用户5分钟后预约挂号，或者用户开启短消息，并查看消息内容，快递已投放XXX。
所述采集用户终端的当前应用程序的信息，获取当前应用场景具体包括，根据所述用户终端的当前应用程序的信息，以及处理规则确定候选任务类别；判断所述候选任务类别是否属于第一呼叫任务聚类；如果属于所述第一呼叫任务聚类，则满足呼叫任务的触发条件。
例如在前的举例中，日程应用提示用户5分钟后预约挂号，则确定用户可能需要执行后续的114拨号，因而确定当前应用场景为呼叫待办的任务类别；
或者仅根据用户设置，或者基于历史数据统计生成的处理规则，确定当前应用场景，例如在月末前一天，用户需要通过10086查询话费，或者每周三需要电话通知丈夫五点去学校接孩子放学。
如果当前时间为周三的预定提示时间段，则当前应用场景为呼叫待办的任务类别。
如果当前处于月末前一天，但基于用户历史数据统计确定用户一般采用发送短消息查询的方式，则当前应用场景为待发消息的任务类别。
具体地，当前应用场景为呼叫待办的任务类别时，判定该候选任务类别属于呼叫任务聚类，即需要执行后续的呼叫处理。
此时获取所述当前应用场景的关键数据信息，例如：丈夫、五点、学校、接孩子。所述第一关联逻辑根据所述关键数据信息，确定需要调用的第一呼叫任务逻辑，并将上述关键数据信息提供给第一呼叫任务逻辑。
进一步具体地，所述第一呼叫任务逻辑可以通过关键数据信息“丈夫”确定被叫号码，并向孩子父亲发起呼叫。
在呼叫接通后，所述第一呼叫任务逻辑根据所述关键数据信息，以及相关槽位的候选信息确定第一对话数据：如，老公，今天下午5点到X学校接一下XX。
此外，进一步地，当通话开始后，开启录音功能，并将该被叫号码的对话数据存储于对话数据资源库。其中将被叫的电话号码作为一级索引，将呼叫开始时间作为二级索引。
优选地，接收被叫回复的第二语音数据，通过语音识别，生成第二对话数据，根据第一呼叫任务逻辑的相关对话规则的槽位设置，提取第二对话数据中的关键数据信息，生成下一对话数据。例如，提取第二对话数据，填充对应槽位，获取下一对话数据。例如，第二对话数据中，孩子爸爸回复：今天需要加班，你5点有空去接么。此时根据该对话数据，提取相应的关键数据：加班、你、是否、接孩子。
所述第一呼叫任务逻辑根据第二对话数据，以及所述第一呼叫任务逻辑多轮对话的槽位，确定下一对话的候选关键信息，并生成第三对话数据，并向被叫播放第三对话数据对应的语音信息。
针对第三对话数据的文字版信息也同步记录于对话数据资源库。
进一步地，用户可通过触发进入对话处理界面，所述对话处理界面显示呼叫过程中，双方的对话数据。
用户可通过点击对话处理界面的介入按键，或者用户在对话处理界面的输入区，插入第三对话数据。
比如，用户点击对话处理界面下方的中断/退出按键，如果用户选择中断按键，则暂停呼叫处理，用户可录入语音信息作为插入的对话数据，或者用户可以通过对话处理界面的输入区输入文字或语音信息，例如在对话显示区下方设置内容输入区，当用户编辑对话数据，并选择发送后，确定所述用户编辑的对话数据作为插入的对话数据，该插入的对话数据也被记录，对应的语音信息被提供给被叫用户。如果用户选择退出按键，则退出呼叫处理，进入用户呼叫模式。通话过程中，均保持录音以及对话数据的存储。
进一步地，基于新获取的数据信息对多个任务逻辑或关联逻辑进行优化训练，或者针对训练完成的多个任务逻辑或关联逻辑，可以开放训练接口，通过所述训练接口，接收用户对关联逻辑、任务逻辑的内容的增加、修改、删除操作，从而进一步优化语音助手的训练。
通过本发明实施例的方法，能够实现语音助手的智能呼叫功能，实现优化的基于应用场景的智能呼叫，同时，提供实时可视化的对话展示，并实现了便捷的对话干预以及自动化助手的训练优化，提升了用户体验。
实施例五
参考图7，在前述实施例的基础上，本发明实施例五还提供一种基于AR的智能通话方法
步骤701，通过增强现实AR设备实时采集用户所在位置区域的场景信息；
步骤702，确定所述增强现实AR设备类型，基于所述增强现实AR设备类型，确定一个或多个候选目标物；
步骤703，获取所述候选目标物的属性信息，基于所述候选目标物的属性信息启动第一关联逻辑；
步骤704，所述第一关联逻辑根据所述候选目标物的属性信息，确定待启用的第一呼叫任务逻辑；
步骤705，根据所述候选目标物的属性信息确定对应于所述候选目标的电话号码，所述第一呼叫任务逻辑基于所述电话号码发起呼叫。
其中，所述步骤702进一步包括：
如果所述增强现实AR设备为用户佩戴的AR眼镜，则确定所述场景信息中心区域内的所述一个或多个目标物；
判断所述目标物在场景中心区域停留时长是否大于或等于第一预定时间阈值；
如果大于或等于第一预定时间阈值，则确定所述目标物为候选目标物；
确定所述候选目标物的属性信息，所述候选目标物的属性信息，包括候选目标物的类别，以及候选目标物的关联电话号码。
具体地，例如，用户佩戴AR眼镜，通过AR眼镜显示所看的路面信息或是周围的建筑。
确定当前出现于视线范围内的多个建筑物，发现在一定时间内用户视线中心区为XX饭馆时，确定XX饭馆即为候选目标物；语音助手进一步获取XX饭馆的相关信息，例如订位电话、咨询电话、营业时间等等。
其中，所述步骤702进一步还可以包括：
如果所述增强现实AR设备为车载AR设备，则确定所述场景信息中的所述一个或多个目标物；
判断用户当前车速，如果用户当前车速小于或等于第二阈值，则进一步获取所述目标物的属性信息，所述目标物的属性信息包括目标物的类别；
判断所述目标物的类别是否属于第一商业类别，如果是，则确定所述目标物为候选目标物；确定所述候选目标物的关联电话号码。
进一步地，所述第一商业类别为美食类。
其中步骤703，获取所述候选目标物的属性信息，基于所述候选目标物的属性信息启动第一关联逻辑进一步包括
基于所述候选目标物的属性信息为美食类，且所述候选目标物与用户位置处于同一预定区域范围，触发启动第一关联逻辑。
所述步骤704，所述第一关联逻辑根据所述候选目标物的属性信息，确定待启用的第一呼叫任务逻辑进一步包括
所述第一关联逻辑根据所述候选目标物的属性信息，以及用户属性信息，确定候选的呼叫任务逻辑类型；
根据所述候选的呼叫任务逻辑类型，确定待启动的第一呼叫任务逻辑。
例如针对不同的呼叫任务可以进行聚类，例如业务办理，外卖订座，对话交流等；
基于关联逻辑确定当前需要启动外卖订座类的呼叫任务逻辑类型，同时基于数据之间的关联性，确定待启动的第一呼叫任务逻辑。
进一步地，所述方法还包含步骤706，所述第一呼叫任务逻辑根据所述候选目标物的属性信息，以及用户属性信息，生成第一对话数据；并在通话建立后，向被叫用户播放对应于第一对话数据的语音信息。
进一步地，用户可通过触发进入对话处理界面，所述对话处理界面显示呼叫过程中，双方的对话数据。
用户可通过点击对话处理界面的介入按键，或者用户在对话处理界面的输入区，插入对话数据。
进一步地，所述用户的属性信息，可包括用户画像信息，用餐人数，用餐时间；所述用户画像信息可包括用户用餐偏好。所述用餐人数、用餐时间可根据用户设定，或者通过车载摄像确定车内人数，或者基于预定时间范围内的用户交谈信息提取与用餐人数、用餐时间相关的信息，或者基于历史数据确定用餐人数、用餐时间相关的信息。
进一步地，所述步骤702包括：
如果所述增强现实AR设备为用户佩戴的AR眼镜，则确定所述场景信息中心区域内的所述一个或多个目标物；
根据所述一个或多个目标物，确定用户所在商业区；
基于所述商业区，查询符合用户属性信息的一个或多个候选目标物；
确定所述候选目标物的属性信息，所述候选目标物的属性信息，包括候选目标物的类别，以及候选目标物的关联电话号码。
其中，所述步骤702进一步还可以包括：
如果所述增强现实AR设备为车载AR设备，判断用户是否设置导航目的地，如果未设置，则确定所述场景信息中的所述一个或多个目标物；
根据所述一个或多个目标物，确定用户所在商业区；
基于用户车辆行驶速度，以及当前所在商业区，确定第一预定区域，在所述第一预定区域，查询符合用户属性信息的一个或多个候选目标物；
确定所述候选目标物的属性信息，所述候选目标物的属性信息，包括候选目标物的类别，以及候选目标物的关联电话号码。
优选地，如果用户设置了导航目的地，则根据导航目的地，确定导航目的地所在商业区；
基于所述商业区，查询符合用户属性信息的一个或多个候选目标物；
确定所述候选目标物的属性信息，所述候选目标物的属性信息，包括候选目标物的类别，以及候选目标物的关联电话号码。
进一步地，当确定的候选目标物为多个时，基于用户属性信息，确定候选目标物的优先等级，
所述第一呼叫任务逻辑根据所述优先等级，依次发起呼叫。
此外，针对对话数据，用户随时可基于对话处理界面进行查看。
进一步地，基于新获取的数据信息对多个任务逻辑或关联逻辑进行优化训练，或者针对训练完成的多个任务逻辑或关联逻辑，可以开放训练接口，通过所述训练接口，接收用户对关联逻辑、任务逻辑的内容的增加、修改、删除操作，从而进一步优化语音助手的训练。
通过本发明实施例的方法，能够实现语音助手的智能呼叫功能，实现优化的基于增强显示的场景确定以及基于美食类场景的智能订座，同时，提供实时可视化的对话展示，并实现了便捷的对话干预以及语音助手的训练优化，提升了用户体验。
实施例六
参考图8，在前述实施例的基础上，本发明实施例六还提供一种语音助理的自动学习方法
步骤801，采集呼入时主叫电话号码信息，对所述主叫号码进行分类存储，并针对所述主叫号码设置/更新主叫号码属性匹配关系表；
步骤802，根据所述主叫电话号码，确定所述主叫电话号码的属性信息；
步骤803，判断是否存在未认证电话号码，如果存在未认证电话号码，则获取根据所述未认证电话号码标记的语音信息相对应的对话数据；
步骤804，根据所述未认证电话号码标记的语音信息相对应的对话数据，确定是否存在与号码属性相关的关键数据信息；如果存在，则执行步骤805；
步骤805，获取未认证电话号码的号码属性，并将所述号码属性更新至主叫号码属性匹配关系表；
步骤806，分享所述未认证电话号码的号码属性至智能交互平台。
具体地，例如用户接到010****1234的电话，该号码未被记录于主叫号码属性匹配关系表；经联网查询，也未存在该号码的标识信息。则确定该号码为未认证电话号码。
所述步骤801具体包括，判断是否存在主叫号码属性匹配关系表，如果否，则创建主叫号码属性匹配关系表。
所述步骤802进一步包括，确定主叫号码属性匹配关系表中是否存在与所述主叫号码对应的号码属性；如果存在，则根据主叫号码属性匹配关系表，确定所述主叫电话号码的属性信息，如果主叫号码属性关系匹配关系表中未包含所述主叫电话号码，则调用联系人列表，查询该主叫号码是否在联系人列表中，如果是，通过联系人列表确定所述主叫电话号码的属性信息，如果否，发送查询号码请求至云端服务器，查询所述主叫号码的属性信息；如果云端服务器未注册或标记所述主叫号码的属性信息，则确定所述主叫号码的属性信息为未认证电话号码。
进一步地，所述步骤804进一步包括，如果不存在，则执行步骤807；
步骤807，判断所述未认证号码是否为虚拟号码，如果否，获取所述未认证电话号码的呼叫等级；判断所述未认证电话号码的呼叫等级是否属于第一阈值范围；如果否，根据所述未认证电话号码，确定待启用的呼叫任务逻辑；
步骤808，调用所述呼叫任务逻辑针对未认证电话号码发起呼叫，生成关于查询主叫电话号码的属性信息的第一对话数据。
例如，基于虚拟号码规则对所述未认证电话号码进行判断，如果属于虚拟号码则不进行后续处理，如果不属于虚拟号码，则判断所述号码的呼叫等级，例如可以根据所述号码的呼叫可行性分为三个等级，例如通用手机号段属于等级1，通用固化号段属于等级2，域外号码属于等级3；所述未识别号码属于等级3时，避免采用自动回呼的方式，获取对话数据。
进一步地，基于所述呼叫的对话数据，进一步手机有关未认证电话号码的属性信息。
进一步优选地，当所述未认证电话号码的呼叫等级属于第一阈值范围时，通过智能交互平台开放接口，接入智能交互平台，发布所述未认证电话号码的功能获取请求；
获取第三方通过所述智能交互平台分享的基于所述未认证电话号码的功能获取请求的响应信息。
进一步地，基于更新的数据对多个任务逻辑或关联逻辑进行优化训练，或者针对训练完成的多个任务逻辑或关联逻辑，可以开放训练接口，通过所述训练接口，接收用户对关联逻辑、任务逻辑的内容的增加、修改、删除操作，从而进一步优化语音助手的训练。
通过本发明实施例的方法，能够优化语音助手的自动学习能力和自动处理用户任务能力，提升用户体验。
实施例七
参考图9，在前述实施例的基础上，本实施例还提供一种自动化助手的训练装置，其特征在于，所述装置包括：
呼叫采集模块，采集呼入时主叫电话号码信息，对所述主叫号码进行分类存储，并针对所述主叫号码设置主叫号码属性匹配关系表；
存储管理模块，采集通话语音信息，根据所述主叫电话号码，对语音信息进行分类存储；
数据处理模块，针对所述语音信息进行识别，区分对话主体，并根据对话主体对应的电话号码标记语音信息中的对话数据；
数据聚类模块，根据号码属性匹配关系表中所述主叫的电话号码对应的号码属性，将所述对话数据进行聚类；
逻辑控制模块，对每一聚类中的对话数据进行分析，提取对话中的关键数据，创建基于所述聚类的第一初始接听任务逻辑；将第一初始接听任务逻辑与相应的主叫号码和号码属性信息相关联。
优选地，所述主叫号码属性匹配关系表包括主叫号码、号码属性以及关联类。
优选地，其中所述数据处理模块进一步包括，将标记后的文本形式的所述对话数据存储于呼入数据资源库，其中将主叫的电话号码作为一级索引，将主叫呼入的电话的通话结束时间作为二级索引。
优选地，所述装置还包括
功能开关模块，用于授权开启自动化助手训练功能，针对用户终端应用程序的调用权限予以授权，包括开启自动化助手训练功能，授权针对通话模块进行电话接听或拨打，以及针对通话进行录音。
优选地，所述装置还包括
定时监测模块，还用于获取在所述主叫呼入的电话的通话结束后，用户的后续操作；所述后续操作包括采集用户的操作日志，确定在所述主叫呼入的电话的通话结束后，用户的多个操作，分析所述操作起始时间与所述通话结束时间的时间差值，获取所述时间差值小于或等于第一预定时间阈值的用户操作，并通过所述时间差值小于或等于第一预定时间阈值的用户操作的操作日志确定用户的操作过程。
实施例八
参考图10，在前述实施例的基础上，本实施例还提供一种基于身份确认的智能应答装置，其特征在于，所述装置包括：
接入模块，接收呼叫信息，根据所述呼叫信息确定主叫电话号码；
属性信息确定模块，根据所述主叫电话号码，获取所述主叫电话号码的属性信息；
属性分类确定模块，判断所述主叫电话号码的属性信息是否属于第一属性分类；如果所述主叫电话号码的属性信息属于第一属性分类时，发送通知消息至呼叫接管模块，如果主叫电话号码的属性信息不属于第一属性分类，发送通知消息至定时监测模块；
所述定时监测模块，启动第一定时器，若所述第一定时器超时，用户未应答，发送通知消息至所述呼叫接管模块；
所述呼叫接管模块，执行呼叫接管，根据所述主叫电话号码的属性信息，确定第一接听任务逻辑；
控制模块，接收主叫的第一语音信息，对所述语音信息进行录制，并转换为第一对话数据；
所述控制模块，根据所述第一对话数据确定第一接听任务逻辑中相关槽位的候选信息。
优选地，所述属性信息确定模块，进一步用于
调用联系人列表，查询该主叫号码是否在联系人列表中，如果是，通过联系人列表确定所述主叫电话号码的属性信息；如果否，查询主叫号码属性匹配关系表，确定所述主叫电话号码的属性信息，如果主叫号码属性关系匹配关系表中未包含所述主叫电话号码，则发送查询号码请求至云端服务器，查询所述主叫号码的属性信息；如果云端服务器不能确定所述主叫号码的属性信息，则设置所述主叫号码的属性信息为未认证电话号码。
优选地，所述控制模块还用于，预先设置对话处理界面启动热键或项目提示，在执行呼叫接管过程中，基于用户点击该热键或项目提示，进入对话处理界面。
优选地，所述装置还包括
显示模块，在所述对话处理界面，呈现所述第一对话数据，以及基于所述第一对话数据生成的第二对话数据。
优选地，所述控制模块还用于，接收用户的第二指令信息，所述第二指令信息为用户意图干预对话的指令信息；
获取用户提供的第三对话数据；
所述第一接听任务逻辑基于提取的第三对话数据的关键数据进行后续对话处理。
实施例九
参考图11，在前述实施例的基础上，本实施例还提供一种语音助手的自动学习装置，其特征在于，所述装置包括：
呼叫采集模块，采集呼出时被叫电话号码信息，获取呼出的被叫号码，确定所述被叫号码的号码属性；
存储管理模块，存储呼叫接通后的通话语音信息，根据所述被叫电话号码，将所述通话语音信息进行分类存储；
数据处理模块，针对所述语音信息进行识别，区分对话主体，并根据对话主体对应的电话号码标记语音信息中的对话数据；
定时监测模块，查询应用日志，确定呼叫开始时间之前的第一预定时间范围内，是否存在应用的操作记录和/或通知记录；如果存在，发送通知消息至控制模块；
所述控制模块，获取所述应用在第二预定时间范围内的详细操作数据和/或通知记录；对所述应用在第二预定时间范围内的详细操作数据和/或通知记录，以及所述对话数据进行分析，判断所述应用在第二预定时间范围内的详细操作数据和/或通知记录与所述对话数据是否存在关联关系；当所述应用在第二预定时间范围内的详细操作数据和/或通知记录与所述对话数据存在关联关系时，提取所述应用在第二预定时间范围内的详细操作数据与所述对话数据中的关键数据，创建第一初始关联逻辑。
优选地，所述呼叫采集模块，进一步用于
采集呼出时被叫电话号码信息，获取呼出的被叫号码；
根据所述被叫号码查找被叫号码属性关系匹配关系表，如果被叫号码属性关系匹配关系表存在所述被叫号码对应的号码属性，则提取所述被叫号码的号码属性。
优选地，所述数据处理模块还用于，将标记后的文本形式的所述对话数据存储于呼出数据资源库，其中将被叫的电话号码作为一级索引，将呼叫开始时间作为二级索引。
优选地，所述控制模块还用于，根据所述被叫的电话号码对应的号码属性，确定与该号码属性相对应聚类，基于所述聚类确定对应的呼叫任务逻辑，根据对所述对话数据的分析，提取对话中的关键数据，对所述呼叫任务逻辑的槽位设置以及槽位候选信息进行更新。
优选地，所述控制模块还用于，当所述应用在第二预定时间范围内的详细操作数据与所述对话数据存在关联关系时，提取所述应用在第二预定时间范围内的详细操作数据与所述对话数据中的关键数据，获取所述对话数据对应的用户状态信息，基于所述关键数据和用户状态信息，创建第一初始关联逻辑。
实施例十
参考图12，在前述实施例的基础上，本实施例还提供一种语音助手的智能呼叫装置，其特征在于，所述装置包括：
条件判断模块，确定当前应用场景，根据所述应用场景判断是否满足呼叫任务的触发条件；如果满足呼叫任务的触发条件，发送通知消息至数据提取模块；
所述数据提取模块，获取所述当前应用场景的关键数据信息，并向第一关联逻辑提供所述关键数据信息；
控制模块，根据所述关键数据信息，通过所述第一关联逻辑确定待启用的第一呼叫任务逻辑；通过所述第一关联逻辑推送所述关键数据信息至所述第一呼叫任务逻辑；
所述控制模块，控制所述第一呼叫任务逻辑发起针对目标用户的呼叫；并根据接收的所述关键数据信息，生成第一对话数据；并在通话建立后，向目标用户播放对应于第一对话数据的语音信息。
优选地，所述条件判断模块进一步用于
采集用户终端的当前应用程序的信息，根据所述用户终端的当前应用程序的信息，确定当前应用场景；
所述用户终端的当前应用程序的信息，包括用户接收到应用程序的通知消息、或者用户开启应用查看的消息。
优选地，所述条件判断模块进一步用于
根据所述用户终端的当前应用程序的信息，以及处理规则确定候选任务类别；判断所述候选任务类别是否属于第一呼叫任务聚类；如果属于所述第一呼叫任务聚类，则满足呼叫任务的触发条件。
优选地，所述控制模块还包括
当通话开始后，开启录音功能，并将该被叫号码的对话数据存储于对话数据资源库；其中将被叫的电话号码作为一级索引，将呼叫开始时间作为二级索引。
优选地，所述控制模块还包括
接收被叫回复的第二语音数据，通过语音识别，生成第二对话数据，根据第一呼叫任务逻辑的相关对话规则的槽位设置，提取第二对话数据中的关键数据信息，生成下一对话数据。
实施例十一
参考图13，在前述实施例的基础上，本实施例还提供一种基于AR的智能通话装置，其特征在于，所述装置包括：
场景采集模块，通过增强现实AR设备实时采集用户所在位置区域的场景信息；
目标物确定模块，确定所述增强现实AR设备类型，基于所述增强现实AR设备类型，确定一个或多个候选目标物；
控制模块，获取所述候选目标物的属性信息，基于所述候选目标物的属性信息启动第一关联逻辑；
所述控制模块，进一步根据所述候选目标物的属性信息，通过所述第一关联逻辑确定待启用的第一呼叫任务逻辑；
所述控制模块，进一步根据所述候选目标物的属性信息确定对应于所述候选目标的电话号码，通过所述第一呼叫任务逻辑，对所述电话号码发起呼叫。
优选地，所述目标物确定模块进一步用于
如果所述增强现实AR设备为车载AR设备，则确定所述场景信息中的所述一个或多个目标物；
判断用户当前车速，如果用户当前车速小于或等于第二阈值，则进一步获取所述目标物的属性信息，所述目标物的属性信息包括目标物的类别；
判断所述目标物的类别是否属于第一商业类别，如果是，则确定所述目标物为候选目标物；确定所述候选目标物的关联电话号码。
优选地，所述目标物确定模块进一步用于
根据所述用户终端的当前应用程序的信息，以及处理规则确定候选任务类别；判断所述候选任务类别是否属于第一呼叫任务聚类；如果属于所述第一呼叫任务聚类，则满足呼叫任务的触发条件。
优选地，所述控制模块还用于
基于所述候选目标物的属性信息为美食类，且所述候选目标物与用户位置处于同一预定区域范围，触发启动第一关联逻辑。
优选地，所述控制模块还用于
根据所述候选目标物的属性信息，以及用户属性信息，确定候选的呼叫任务逻辑类型；
根据所述候选的呼叫任务逻辑类型，确定待启动的第一呼叫任务逻辑。
实施例十二
参考图14，在前述实施例的基础上，本实施例还提供一种语音助理的自动学习装置，其特征在于，所述装置包括：
呼叫采集模块，采集呼入时主叫电话号码信息，对所述主叫号码进行分类存储，并针对所述主叫号码设置/更新主叫号码属性匹配关系表；
属性信息确定模块，根据所述主叫电话号码，确定所述主叫电话号码的属性信息；
控制模块，判断是否存在未认证电话号码，如果存在未认证电话号码，则获取根据所述未认证电话号码标记的语音信息相对应的对话数据；
判断模块，根据所述未认证电话号码标记的语音信息相对应的对话数据，确定是否存在与号码属性相关的关键数据信息；如果存在，发送通知至数据管理模块；
所述数据管理模块，获取未认证电话号码的号码属性，并将所述号码属性更新至主叫号码属性匹配关系表；
分享模块，分享所述未认证电话号码的号码属性至智能交互平台。
优选地，所述呼叫采集模块进一步用于
判断是否存在主叫号码属性匹配关系表，如果否，则创建主叫号码属性匹配关系表。
优选地，所述属性信息确定模块进一步用于
确定主叫号码属性匹配关系表中是否存在与所述主叫号码对应的号码属性；如果存在，则根据主叫号码属性匹配关系表，确定所述主叫电话号码的属性信息，如果主叫号码属性关系匹配关系表中未包含所述主叫电话号码，则调用联系人列表，查询该主叫号码是否在联系人列表中，如果是，通过联系人列表确定所述主叫电话号码的属性信息，如果否，发送查询号码请求至云端服务器，查询所述主叫号码的属性信息；如果云端服务器未注册或标记所述主叫号码的属性信息，则确定所述主叫号码的属性信息为未认证电话号码。
优选地，所述判断模块，进一步用于
如果不存在与号码属性相关的关键数据信息，发送通知消息至所述判断模块；
所述判断模块进一步用于，判断所述未认证号码是否为虚拟号码，如果否，获取所述未认证电话号码的呼叫等级；判断所述未认证电话号码的呼叫等级是否属于第一阈值范围；如果否，发送通知消息至控制模块；
所述控制模块进一步用于，根据所述未认证电话号码，确定待启用的呼叫任务逻辑。
优选地，所述控制模块还用于
调用所述呼叫任务逻辑针对未认证电话号码发起呼叫，生成关于查询主叫电话号码的属性信息的第一对话数据。
本发明还提供一种终端设备，其特征在于，所述终端设备包括处理器和存储器，所述存储器中存储有可在处理器上运行的计算机程序，所述计算机程序在被所述处理器执行时实现如上所述的方法。
所述终端设备包括但不限于计算机、手机，平板电脑，车机，车载终端，智能音箱，机顶盒，智慧型家电。
本发明提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有可在处理器上运行的计算机程序、所述计算机程序在被执行时实现如上所述的方法。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质可以包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、闪存、可擦式可编程只读存储器(EPROM)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码。
以上说明只是为了方便理解本发明而举出的例子，不用于限定本发明的范围。在具体实现时，本领域技术人员可以根据实际情况对装置的部件进行变更、增加、减少，在不影响方法所实现的功能的基础上可以根据实际情况对方法的步骤进行变更、增加、减少或改变顺序。
尽管已经示出和描述了本发明的实施例，本领域技术人员应当理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同替换所限定，在未经创造性劳动所作的改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种语音助手的自动学习方法，其特征在于，所述方法包括：
步骤501，采集呼出时被叫电话号码信息，获取呼出的被叫号码，确定所述被叫号码的号码属性；
步骤502，存储呼叫接通后的通话语音信息，根据所述被叫电话号码，将所述通话语音信息进行分类存储；
步骤503，针对所述语音信息进行识别，区分对话主体，并根据对话主体对应的电话号码标记语音信息中的对话数据；
步骤504，查询应用日志，确定呼叫开始时间之前的第一预定时间范围内，是否存在应用的操作记录和/或通知记录；如果存在，执行步骤505；
步骤505，获取所述应用在第二预定时间范围内的详细操作数据和/或通知记录；对所述应用在第二预定时间范围内的详细操作数据和/或通知记录，以及所述对话数据进行分析，判断所述应用在第二预定时间范围内的详细操作数据和/或通知记录与所述对话数据是否存在关联关系；如果存在，执行步骤506；
步骤506，提取所述应用在第二预定时间范围内的详细操作数据和/或通知记录与所述对话数据中的关键数据，创建第一初始关联逻辑。
2.根据权利要求1所述的方法，其特征在于，所述步骤501进一步包括
采集呼出时被叫电话号码信息，获取呼出的被叫号码；
根据所述被叫号码查找被叫号码属性关系匹配关系表，如果被叫号码属性关系匹配关系表存在所述被叫号码对应的号码属性，则提取所述被叫号码的号码属性。
3.根据权利要求1所述的方法，其特征在于，在所述步骤503进一步包括
将标记后的文本形式的所述对话数据存储于呼出数据资源库，其中将被叫的电话号码作为一级索引，将呼叫开始时间作为二级索引。
4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括
根据所述被叫的电话号码对应的号码属性，确定与该号码属性相对应聚类，基于所述聚类确定对应的呼叫任务逻辑，根据对所述对话数据的分析，提取对话中的关键数据，对所述呼叫任务逻辑的槽位设置以及槽位候选信息进行更新。
5.根据权利要求1所述的方法，其特征在于，所述步骤506进一步包括
当所述应用在第二预定时间范围内的详细操作数据与所述对话数据存在关联关系时，提取所述应用在第二预定时间范围内的详细操作数据与所述对话数据中的关键数据，获取所述对话数据对应的用户状态信息，基于所述关键数据和用户状态信息，创建第一初始关联逻辑。
6.一种语音助手的自动学习装置，其特征在于，所述装置包括：
呼叫采集模块，采集呼出时被叫电话号码信息，获取呼出的被叫号码，确定所述被叫号码的号码属性；
存储管理模块，存储呼叫接通后的通话语音信息，根据所述被叫电话号码，将所述通话语音信息进行分类存储；
数据处理模块，针对所述语音信息进行识别，区分对话主体，并根据对话主体对应的电话号码标记语音信息中的对话数据；
定时监测模块，查询应用日志，确定呼叫开始时间之前的第一预定时间范围内，是否存在应用的操作记录和/或通知记录；如果存在，发送通知消息至控制模块；
所述控制模块，获取所述应用在第二预定时间范围内的详细操作数据和/或通知记录；对所述应用在第二预定时间范围内的详细操作数据和/或通知记录，以及所述对话数据进行分析，判断所述应用在第二预定时间范围内的详细操作数据和/或通知记录与所述对话数据是否存在关联关系；当所述应用在第二预定时间范围内的详细操作数据和/或通知记录与所述对话数据存在关联关系时，提取所述应用在第二预定时间范围内的详细操作数据和/或通知记录与所述对话数据中的关键数据，创建第一初始关联逻辑。
7.根据权利要求6所述的装置，其特征在于，所述呼叫采集模块，进一步用于
采集呼出时被叫电话号码信息，获取呼出的被叫号码；
根据所述被叫号码查找被叫号码属性关系匹配关系表，如果被叫号码属性关系匹配关系表存在所述被叫号码对应的号码属性，则提取所述被叫号码的号码属性。
8.根据权利要求6所述的装置，其特征在于，所述数据处理模块还用于，将标记后的文本形式的所述对话数据存储于呼出数据资源库，其中将被叫的电话号码作为一级索引，将呼叫开始时间作为二级索引。
9.根据权利要求6所述的装置，其特征在于，所述控制模块还用于，根据所述被叫的电话号码对应的号码属性，确定与该号码属性相对应聚类，基于所述聚类确定对应的呼叫任务逻辑，根据对所述对话数据的分析，提取对话中的关键数据，对所述呼叫任务逻辑的槽位设置以及槽位候选信息进行更新。
10.根据权利要求6所述的装置，其特征在于，所述控制模块还用于，当所述应用在第二预定时间范围内的详细操作数据与所述对话数据存在关联关系时，提取所述应用在第二预定时间范围内的详细操作数据与所述对话数据中的关键数据，获取所述对话数据对应的用户状态信息，基于所述关键数据和用户状态信息，创建第一初始关联逻辑。
11.一种终端设备，其特征在于，所述终端设备包括处理器和存储器，所述存储器中存储有可在处理器上运行的计算机程序，所述计算机程序在被所述处理器执行时实现如权利要求1至5任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有可在处理器上运行的计算机程序、所述计算机程序在被执行时实现如权利要求1至5任一项所述的方法。
CN202011147695.8A 2020-10-23 2020-10-23 一种语音助手的自动学习方法、装置 Active CN112291429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011147695.8A CN112291429B (zh) 2020-10-23 2020-10-23 一种语音助手的自动学习方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011147695.8A CN112291429B (zh) 2020-10-23 2020-10-23 一种语音助手的自动学习方法、装置

Publications (2)

Publication Number Publication Date
CN112291429A CN112291429A (zh) 2021-01-29
CN112291429B true CN112291429B (zh) 2021-04-30

Family

ID=74423753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011147695.8A Active CN112291429B (zh) 2020-10-23 2020-10-23 一种语音助手的自动学习方法、装置

Country Status (1)

Country Link
CN (1) CN112291429B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10134395B2 (en) * 2013-09-25 2018-11-20 Amazon Technologies, Inc. In-call virtual assistants
CN114584660A (zh) * 2016-06-13 2022-06-03 谷歌有限责任公司 向人类操作员的升级
US11699039B2 (en) * 2017-06-28 2023-07-11 Microsoft Technology Licensing, Llc Virtual assistant providing enhanced communication session services
WO2020018078A1 (en) * 2018-07-17 2020-01-23 Google Llc Indicating callers for incoming voice calls on a shared speech-enabled device
CN111540355B (zh) * 2020-04-17 2024-05-24 广州三星通信技术研究有限公司 基于语音助手的个性化设置方法和设备

Also Published As

Publication number Publication date
CN112291429A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
EP2753026B1 (en) Method, apparatus and storage medium for adding friends in social network
CN112291430B (zh) 一种基于身份确认的智能应答方法、装置
CN112291428B (zh) 一种语音助手的智能呼叫方法、装置
US20130090098A1 (en) Systems and methods for dialing into interactive voice systems with minimal user interaction
CN109995929B (zh) 操作和账号信息的处理方法及装置
US11659364B2 (en) Method of exposing a received message, user terminal performing the same and computer readable medium for performing the same
CN111431727A (zh) 一种群组展示方法、装置、终端、服务器及系统
CN102438205B (zh) 一种基于移动用户行为的业务推送的方法与系统
US20140059582A1 (en) Participation system and method
CN111880887B (zh) 消息交互方法和装置、存储介质及电子设备
CN107453980A (zh) 即时通信中问题响应方法及装置
CN106789550A (zh) 信息处理方法及装置
CN105893562A (zh) 会话消息处理方法、装置及终端
CN103548368B (zh) 用于使用环形数据提供ars联锁数据的系统及其方法
CN112291434B (zh) 一种基于ar的智能通话方法、装置
US20160112572A1 (en) Conference call management system
CN109891861B (zh) 用于处理用户输入的方法以及具有数据处理装置的机动车
CN112291429B (zh) 一种语音助手的自动学习方法、装置
CN112272259B (zh) 一种自动化助手的训练方法、装置
CN112291433B (zh) 一种语音助理的自动学习方法、装置、设备和存储介质
CN109871129B (zh) 人机交互方法、装置、客服设备和存储介质
CN113242171A (zh) 一种会话消息管理的方法以及相关装置
CN113890949A (zh) 面向意图识别的智能语音外呼方法及装置
CN113905022A (zh) 一种群聊构建方法、设备及存储介质
KR102329768B1 (ko) 메시지 정보 통합 관리 서비스를 위한 모바일 장치, 메시지 정보 통합 관리 제공 방법 및 컴퓨터로 판독 가능한 저장매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240525

Address after: 2-3 / F, No. 22, Chuangye 6th Road, Zhangbei Ercun Industrial Zone, Longcheng street, Longgang District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen charm Sound Technology Co.,Ltd.

Country or region after: China

Address before: 100083 gate 3, block a, 768 Creative Industry Park, Zhongguancun, No.5 Xueyuan Road, Haidian District, Beijing

Patentee before: BEIJING MORAN COGNITIVE TECHNOLOGY Co.,Ltd.

Country or region before: China