CN114422647A - 基于数字人的坐席服务方法、装置、设备、介质和产品 - Google Patents
基于数字人的坐席服务方法、装置、设备、介质和产品 Download PDFInfo
- Publication number
- CN114422647A CN114422647A CN202111599660.2A CN202111599660A CN114422647A CN 114422647 A CN114422647 A CN 114422647A CN 202111599660 A CN202111599660 A CN 202111599660A CN 114422647 A CN114422647 A CN 114422647A
- Authority
- CN
- China
- Prior art keywords
- real
- person
- seat
- service
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013507 mapping Methods 0.000 claims abstract description 44
- 238000004590 computer program Methods 0.000 claims description 38
- 230000009471 action Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
- H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
- H04M3/5166—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing in combination with interactive voice response systems or voice portals, e.g. as front-ends
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
- H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
- H04M3/523—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing with call distribution or queueing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
- H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
- H04M3/523—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing with call distribution or queueing
- H04M3/5232—Call distribution algorithms
Abstract
本申请涉及一种基于数字人的坐席服务方法、装置、设备、介质和产品。所述方法包括：通过多媒体设备采集真人坐席的实时多媒体信息；根据所述实时多媒体信息计算得到服务信息；将所述服务信息映射至数字人，并通过所述数字人提供坐席服务。采用本方法使得数字人对外提供坐席服务完全是按照真人坐席来的，提高数字人对外服务的质量。
Description
技术领域
本申请涉及数字人技术领域，特别是涉及一种基于数字人的坐席服务方法、装置、设备、介质和产品。
背景技术
数字人技术，是利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真。当前通过人工智能的技术构建一个虚拟的人物形象，并预设该人物形象的衣着、动作、表情，并不是难事，市面上也有了非常多的数字人形象应用于各类游戏、娱乐等生活场景中，静态化的为用户带来虚拟视觉享受。但实际将数字人形象应用于与真人进行交流沟通的场景中，市面上数字人普遍无法实现完全仿真的顺畅的交流体验，包括根据交流内容自动化切换表情、动作等，包括根据真人的动作、表情等实时驱动数字人形象。在当前人工智能发展阶段，机器人并不能完全代替真人实现与用户的平滑交流。
当前智能对话技术发展，尚不足以将数字人的大脑等同于人类，无法让虚拟数字人形象拥有一个更仿真更聪明的大脑。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高数字人对外服务的质量的基于数字人的坐席服务方法、装置、设备、介质和产品。
第一方面，本申请提供一种基于数字人的坐席服务方法，所述方法包括：
通过多媒体设备采集真人坐席的实时多媒体信息；
根据所述实时多媒体信息计算得到服务信息；
将所述服务信息映射至数字人，并通过所述数字人提供坐席服务。
在其中一个实施例中，所述根据所述实时多媒体信息计算得到服务信息，包括：
根据摄像头采集的实时影像计算得到脸部关键点和/或身体动作关键信息；
根据麦克风采集的声音提取得到声音特征。
在其中一个实施例中，所述将所述服务信息映射至数字人，包括：
将所述脸部关键点、身体动作关键信息映射至数字人；
将所述声音特征进行优化，并将优化后的声音特征映射至所述数字人。
在其中一个实施例中，所述通过多媒体设备采集真人坐席的实时多媒体信息之前，包括：
采集数字人作为坐席的坐席服务数据；
根据所述坐席服务数据判断是否进行真人接管；
当需要进行真人接管时，继续通过多媒体设备采集真人坐席的实时多媒体信息。
在其中一个实施例中，所述通过多媒体设备采集真人坐席的实时多媒体信息之前，还包括：
获取接管方式；
当所述接管方式为同步接管时，则继续通过多媒体设备采集真人坐席的实时多媒体信息；
当所述接管方式为文字接管时，则获取真人坐席的文字输出提供坐席服务；
当所述接管方式为声音接管时，则获取真人坐席的声音输出提供坐席服务。
在其中一个实施例中，所述将所述服务信息映射至数字人，并通过所述数字人提供坐席服务之后，包括：
获取所述数字人被接管后的目标坐席服务信息；
将所述数字人被接管后的目标坐席服务信息发送至真人坐席。
在其中一个实施例中，所述方法还包括：
获取所述数字人被接管前的历史坐席服务信息；
将所述数字人被接管前的历史坐席服务信息发送至真人坐席。
第二方面，本申请还提供一种基于数字人的坐席服务装置，所述装置包括：
采集模块，用于通过多媒体设备采集真人坐席的实时多媒体信息；
服务信息计算模块，用于根据所述实时多媒体信息计算得到服务信息；
映射模块，用于将所述服务信息映射至数字人，并通过所述数字人提供坐席服务。
第三方面，本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意一个实施例中的方法的步骤。
第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一个实施例中的方法的步骤。
第五方面，本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任意一个实施例中的方法的步骤。
上述基于数字人的坐席服务方法、装置、设备、介质和产品，通过多媒体设备采集真人坐席的实时多媒体信息，并根据实时多媒体信息计算得到服务信息，将真人坐席的服务信息映射至数字人，使得数字人对外提供坐席服务完全是按照真人坐席来的，提高数字人对外服务的质量。
附图说明
图1为一个实施例中基于数字人的坐席服务方法的应用环境图；
图2为一个实施例中基于数字人的坐席服务方法的流程示意图；
图3为一个实施例中数字人驱动方法的示意图；
图4为一个实施例中基于数字人的坐席服务装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的基于数字人的坐席服务方法，可以应用于如图1所示的应用环境中。其中，客户侧设备106通过网络与音视频平台104进行通信。客服侧设备102通过数字人与音视频平台104进行通信。数据存储系统可以存储音视频平台104需要处理的数据。数据存储系统可以集成在音视频平台104上，也可以放在云上或其他网络服务器上。
其中数字人可以在ChatBot的支持下为客户侧设备106提供坐席服务，当数字人提供的坐席服务出现问题或者是当真人坐席主动接管数字人时，则客服侧设备102为客户侧设备106提供坐席服务。具体地，通过多媒体设备采集真人坐席的实时多媒体信息；根据所述实时多媒体信息计算得到服务信息；将所述服务信息映射至数字人，并通过所述数字人提供坐席服务。
其中上述客服侧设备102以及客户侧设备106可以采用通用硬件对接及集成方案，可通过接口方式对接在业务服务中用到的键盘、话筒、用户签字板、身份证读卡器、高拍仪等硬件(具体地，在客服服务客户中，可能需要读取客户的身份证、签字等信息，帮助用户完成相关的业务，本平台支持类似的硬件设备)，提供硬件数据采集后的模拟信号、文本、图片、音频、视频等数据存储及管理，并通过接口方式对接真人坐席使用的业务办理系统(如坐席工作台、CRM等)，便于上层业务产品，根据业务全流程要求，整合硬件操作、硬件采集数据，配合真人接管产品，形成综合方案，实现真人坐席为客户提供金融-银行场景下的全流程业务服务。
这样使得数字人对外提供坐席服务完全是按照真人坐席来的，提高数字人对外服务的质量。
其中，客服侧设备102以及用户侧设备106可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。音视频平台104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种基于数字人的坐席服务方法，以该方法应用于图1中的音视频平台为例进行说明，包括以下步骤：
S202：通过多媒体设备采集真人坐席的实时多媒体信息。
具体地，多媒体设备包括摄像头和/或麦克风，多媒体信息包括实时影像和声音等。
其中在真人坐席接管数字人后，则通过真人坐席侧的多媒体设备采集真人坐席的实时多媒体信息，通过可视化的AI数字人虚拟形象，为客户提供服务，客户所见仍然是数字人，而与客户开口交流并提供服务的数字人背后，是真人坐席。
S204：根据所述实时多媒体信息计算得到服务信息。
具体地，服务信息包括但不限于脸部关键点、身体动作关键信息以及声音特征。其中，音视频平台通过摄像头获取真人坐席实时影像，利用计算机视觉技术、人脸识别技术等技术，实时捕捉真人坐席的头部动作、面部表情及口型，肢体动作及手势等。
S206：将所述服务信息映射至数字人，并通过所述数字人提供坐席服务。
具体地，音视频平台将捕捉到的信息实时映射到数字虚拟人上，使数字虚拟人实时具备真人坐席相同的头部、面部、肢体动作，同时将真人客服的声音，美化后由数字人发出，从而全方面真人对数字人AI驱动的能力。
这样利用数字人AI驱动的技术，全方位可视化、低成本地实现数字人对话监管及真人坐席接管服务。该平台化产品基于Java语言开发，开箱即用，无需二次开发，也可随时低成本集成各类业务系统。提供端到端的硬件活跃管理、硬件数据采集对接、硬件数据存储及管理、业务服务对接管理等RESTful/WebSocket接口服务，以及业务系统集成综合方案。
此外，突破了原有的纯数字人AI与客户对话的场景，利用数字人AI的驱动技术，实现了真人接管。低成本即来即用的真人接管平台化产品，可嫁接在各类已有业务系统中，为真人坐席提供了更便利的工具，为客户提供体验更统一的服务，扩展了原有技术试用场景的局限性(原有技术/产品仅支持数字机器人提供服务)。
本实施例还通过软硬件接管的方案，标准化、低成本的实现了银行场景下端到端的业务全流程办理，进一步扩展了机器人可为客户可提供的服务范围(如需要身份证核验、纸质材料核查等必要环节对应的纯线下人工业务)。
上述基于数字人的坐席服务方法，通过多媒体设备采集真人坐席的实时多媒体信息，并根据实时多媒体信息计算得到服务信息，将真人坐席的服务信息映射至数字人，使得数字人对外提供坐席服务完全是按照真人坐席来的，提高数字人对外服务的质量。
在其中一个实施例中，所述根据所述实时多媒体信息计算得到服务信息，包括：根据摄像头采集的实时影像计算得到脸部关键点和/或身体动作关键信息；根据麦克风采集的声音提取得到声音特征。
在其中一个实施例中，所述将所述服务信息映射至数字人，包括：将所述脸部关键点、身体动作关键信息映射至数字人；将所述声音特征进行优化，并将优化后的声音特征映射至所述数字人。
具体地，结合图3所示，图3为一个实施例中数字人驱动方法的示意图，其中客服侧采集设备采集到实时影像和声音，这样音视频平台通过并行处理的方式以得到不同类型的服务信息，其中并行的处理线程的数量可以与不同类型的服务信息的类型的数量相同，这样在同一个线程中处理得到一个类型的服务信息，如图3中，其优选地为3个线程。
其中将实时影像分别输入至第一线程和第二线程，第一线程中执行人脸识别技术以获取脸部关键点，并进行表情映射以驱动数字人的面部。第二线程中执行计算机视觉技术以提取身体动作，并根据身体动作对数字人进行骨骼重定向，以驱动数字人的身体。第三线程则获取声音并进行声音特征提取，进行音色转换以驱动数字人的声音。
具体地，真人实时驱动数字人的技术在真人托管的产品中尤为重要。首先需要在端上通过麦克风和摄像头分别采集音频和人脸的BS序列(Blendshape，表情驱动的一种数据序列)，然后通过渲染引擎利用采集回来的真人人脸的这些数据渲染出人，达到和托管一模一样的声音和嘴型的效果，具体地，渲染的时候可以先获取到数字人对应的三维人体模板，然后根据所计算得到的服务信息，即进行序列化后驱动数字人，使之声音与口型匹配。
在其中一个实施例中，所述通过多媒体设备采集真人坐席的实时多媒体信息之前，包括：采集数字人作为坐席的坐席服务数据；根据所述坐席服务数据判断是否进行真人接管；当需要进行真人接管时，继续通过多媒体设备采集真人坐席的实时多媒体信息。
具体地，在本实施例中，数字人作为坐席与客户先进行沟通，在需要的时候真人坐席介入，并能够实时获取对话历史，无缝为客户提供服务。
其中真人坐席的接入分为被动和主动沟通，被动是指数字人在一次对话中有预设数量的句子，例如3句不能理解，就自动转接人工，由人工进行解答；主动是指客户在数字人对话中，主动提出转接人工。当需要进行真人接管时，继续通过多媒体设备采集真人坐席的实时多媒体信息
在其中一个实施例中，所述通过多媒体设备采集真人坐席的实时多媒体信息之前，还包括：获取接管方式；当所述接管方式为同步接管时，则继续通过多媒体设备采集真人坐席的实时多媒体信息；当所述接管方式为文字接管时，则获取真人坐席的文字输出提供坐席服务；当所述接管方式为声音接管时，则获取真人坐席的声音输出提供坐席服务。
具体地，真人客服接管后，可以不出人像，只有文字回答客户，该种方式称为文字接管。真人客服接管后，可以不出人像，只有声音回答客户，该种方式称为声音接管。真人客服接管后，出人像，该种方式称为文字接管数字人像方式服务客户。音视频平台可以根据需要选择对应的接管方式。
在其中一个实施例中，所述将所述服务信息映射至数字人，并通过所述数字人提供坐席服务之后，包括：获取所述数字人被接管后的目标坐席服务信息；将所述数字人被接管后的目标坐席服务信息发送至真人坐席。
在其中一个实施例中，所述方法还包括：获取所述数字人被接管前的历史坐席服务信息；将所述数字人被接管前的历史坐席服务信息发送至真人坐席。
为真人坐席提供数字人接管的完整产品，可通过该产品查看并监控当前虚拟数字人与用户对话的活跃列表(具体地，可以指对话历史，例如客户与数字人的对话时长，对话内容)，实时掌控虚拟数字人的对话情况，支撑真人做出决策，是否平滑干预接管至当前数字人与用户的交流中。支持真人坐席选择要接管的1：1对话，通过可视化操作的方式，使用文字、语音等方式接管数字人，利用数字人AI驱动的技术，实时与客户面对面交流。接管过程中可为真人坐席提供实时共享窗口，来同步反馈客户课件的数字人服务界面，包括数字人的动作、表情等形象，以便真人坐席随时调整自己的头部、面部、肢体动作及表情，提升用户服务的整体体验。在真人接管完成后，还可通过该产品回溯客户沟通历史(例如，可以查看数字人与客户的沟通历史)，并通过该产品实现业务监管及服务满意度分析。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的基于数字人的坐席服务方法的基于数字人的坐席服务装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于数字人的坐席服务装置实施例中的具体限定可以参见上文中对于基于数字人的坐席服务方法的限定，在此不再赘述。
在一个实施例中，如图4所示，提供了一种基于数字人的坐席服务装置，包括：采集模块401、服务信息计算模块402和映射模块403，其中：
采集模块401，用于通过多媒体设备采集真人坐席的实时多媒体信息；
服务信息计算模块402，用于根据所述实时多媒体信息计算得到服务信息；
映射模块403，用于将所述服务信息映射至数字人，并通过所述数字人提供坐席服务。
在其中一个实施例中，上述服务信息计算模块402包括：
第一计算单元，用于根据摄像头采集的实时影像计算得到脸部关键点和/或身体动作关键信息；
第二计算单元，用于根据麦克风采集的声音提取得到声音特征。
在其中一个实施例中，上述映射模块403包括：
第一映射单元，用于将所述脸部关键点、身体动作关键信息映射至数字人；
第二映射单元，用于将所述声音特征进行优化，并将优化后的声音特征映射至所述数字人。
在其中一个实施例中，上述基于数字人的坐席服务装置还包括：
坐席服务数据获取模块，用于采集数字人作为坐席的坐席服务数据；
判断模块，用于根据所述坐席服务数据判断是否进行真人接管；当需要进行真人接管时，继续通过多媒体设备采集真人坐席的实时多媒体信息。
在其中一个实施例中，上述基于数字人的坐席服务装置还包括：
方式获取模块，用于获取接管方式；当所述接管方式为同步接管时，则继续通过多媒体设备采集真人坐席的实时多媒体信息；当所述接管方式为文字接管时，则获取真人坐席的文字输出提供坐席服务；当所述接管方式为声音接管时，则获取真人坐席的声音输出提供坐席服务。
在其中一个实施例中，上述基于数字人的坐席服务装置还包括：
第一服务信息获取模块，用于获取所述数字人被接管后的目标坐席服务信息；
第一发送模块，用于将所述数字人被接管后的目标坐席服务信息发送至真人坐席。
在其中一个实施例中，上述基于数字人的坐席服务装置还包括：
第二服务信息获取模块，用于获取所述数字人被接管前的历史坐席服务信息；
第二发送模块，用于将所述数字人被接管前的历史坐席服务信息发送至真人坐席。
上述基于数字人的坐席服务装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于数字人的坐席服务方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：通过多媒体设备采集真人坐席的实时多媒体信息；根据所述实时多媒体信息计算得到服务信息；将所述服务信息映射至数字人，并通过所述数字人提供坐席服务。
在一个实施例中，处理器执行计算机程序时所实现的所述根据所述实时多媒体信息计算得到服务信息，包括：根据摄像头采集的实时影像计算得到脸部关键点和/或身体动作关键信息；根据麦克风采集的声音提取得到声音特征。
在一个实施例中，处理器执行计算机程序时所实现的所述将所述服务信息映射至数字人，包括：将所述脸部关键点、身体动作关键信息映射至数字人；将所述声音特征进行优化，并将优化后的声音特征映射至所述数字人。
在一个实施例中，处理器执行计算机程序时所实现的所述通过多媒体设备采集真人坐席的实时多媒体信息之前，包括：采集数字人作为坐席的坐席服务数据；根据所述坐席服务数据判断是否进行真人接管；当需要进行真人接管时，继续通过多媒体设备采集真人坐席的实时多媒体信息。
在一个实施例中，处理器执行计算机程序时所实现的所述通过多媒体设备采集真人坐席的实时多媒体信息之前，还包括：获取接管方式；当所述接管方式为同步接管时，则继续通过多媒体设备采集真人坐席的实时多媒体信息；当所述接管方式为文字接管时，则获取真人坐席的文字输出提供坐席服务；当所述接管方式为声音接管时，则获取真人坐席的声音输出提供坐席服务。
在一个实施例中，处理器执行计算机程序时所实现的所述将所述服务信息映射至数字人，并通过所述数字人提供坐席服务之后，包括：获取所述数字人被接管后的目标坐席服务信息；将所述数字人被接管后的目标坐席服务信息发送至真人坐席。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取所述数字人被接管前的历史坐席服务信息；将所述数字人被接管前的历史坐席服务信息发送至真人坐席。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：通过多媒体设备采集真人坐席的实时多媒体信息；根据所述实时多媒体信息计算得到服务信息；将所述服务信息映射至数字人，并通过所述数字人提供坐席服务。
在一个实施例中，计算机程序被处理器执行时所实现的所述根据所述实时多媒体信息计算得到服务信息，包括：根据摄像头采集的实时影像计算得到脸部关键点和/或身体动作关键信息；根据麦克风采集的声音提取得到声音特征。
在一个实施例中，计算机程序被处理器执行时所实现的所述将所述服务信息映射至数字人，包括：将所述脸部关键点、身体动作关键信息映射至数字人；将所述声音特征进行优化，并将优化后的声音特征映射至所述数字人。
在一个实施例中，计算机程序被处理器执行时所实现的所述通过多媒体设备采集真人坐席的实时多媒体信息之前，包括：采集数字人作为坐席的坐席服务数据；根据所述坐席服务数据判断是否进行真人接管；当需要进行真人接管时，继续通过多媒体设备采集真人坐席的实时多媒体信息。
在一个实施例中，计算机程序被处理器执行时所实现的所述通过多媒体设备采集真人坐席的实时多媒体信息之前，还包括：获取接管方式；当所述接管方式为同步接管时，则继续通过多媒体设备采集真人坐席的实时多媒体信息；当所述接管方式为文字接管时，则获取真人坐席的文字输出提供坐席服务；当所述接管方式为声音接管时，则获取真人坐席的声音输出提供坐席服务。
在一个实施例中，计算机程序被处理器执行时所实现的所述将所述服务信息映射至数字人，并通过所述数字人提供坐席服务之后，包括：获取所述数字人被接管后的目标坐席服务信息；将所述数字人被接管后的目标坐席服务信息发送至真人坐席。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取所述数字人被接管前的历史坐席服务信息；将所述数字人被接管前的历史坐席服务信息发送至真人坐席。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：通过多媒体设备采集真人坐席的实时多媒体信息；根据所述实时多媒体信息计算得到服务信息；将所述服务信息映射至数字人，并通过所述数字人提供坐席服务。
在一个实施例中，计算机程序被处理器执行时所实现的所述根据所述实时多媒体信息计算得到服务信息，包括：根据摄像头采集的实时影像计算得到脸部关键点和/或身体动作关键信息；根据麦克风采集的声音提取得到声音特征。
在一个实施例中，计算机程序被处理器执行时所实现的所述将所述服务信息映射至数字人，包括：将所述脸部关键点、身体动作关键信息映射至数字人；将所述声音特征进行优化，并将优化后的声音特征映射至所述数字人。
在一个实施例中，计算机程序被处理器执行时所实现的所述通过多媒体设备采集真人坐席的实时多媒体信息之前，包括：采集数字人作为坐席的坐席服务数据；根据所述坐席服务数据判断是否进行真人接管；当需要进行真人接管时，继续通过多媒体设备采集真人坐席的实时多媒体信息。
在一个实施例中，计算机程序被处理器执行时所实现的所述通过多媒体设备采集真人坐席的实时多媒体信息之前，还包括：获取接管方式；当所述接管方式为同步接管时，则继续通过多媒体设备采集真人坐席的实时多媒体信息；当所述接管方式为文字接管时，则获取真人坐席的文字输出提供坐席服务；当所述接管方式为声音接管时，则获取真人坐席的声音输出提供坐席服务。
在一个实施例中，计算机程序被处理器执行时所实现的所述将所述服务信息映射至数字人，并通过所述数字人提供坐席服务之后，包括：获取所述数字人被接管后的目标坐席服务信息；将所述数字人被接管后的目标坐席服务信息发送至真人坐席。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取所述数字人被接管前的历史坐席服务信息；将所述数字人被接管前的历史坐席服务信息发送至真人坐席。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (11)
1.一种基于数字人的坐席服务方法，其特征在于，所述方法包括：
通过多媒体设备采集真人坐席的实时多媒体信息；
根据所述实时多媒体信息计算得到服务信息；
将所述服务信息映射至数字人，并通过所述数字人提供坐席服务。
2.根据权利要求1所述的方法，其特征在于，所述根据所述实时多媒体信息计算得到服务信息，包括：
根据摄像头采集的实时影像计算得到脸部关键点和/或身体动作关键信息；
根据麦克风采集的声音提取得到声音特征。
3.根据权利要求2所述的方法，其特征在于，所述将所述服务信息映射至数字人，包括：
将所述脸部关键点、身体动作关键信息映射至数字人；
将所述声音特征进行优化，并将优化后的声音特征映射至所述数字人。
4.根据权利要求2所述的方法，其特征在于，所述通过多媒体设备采集真人坐席的实时多媒体信息之前，包括：
采集数字人作为坐席的坐席服务数据；
根据所述坐席服务数据判断是否进行真人接管；
当需要进行真人接管时，继续通过多媒体设备采集真人坐席的实时多媒体信息。
5.根据权利要求4所述的方法，其特征在于，所述通过多媒体设备采集真人坐席的实时多媒体信息之前，还包括：
获取接管方式；
当所述接管方式为同步接管时，则继续通过多媒体设备采集真人坐席的实时多媒体信息；
当所述接管方式为文字接管时，则获取真人坐席的文字输出提供坐席服务；
当所述接管方式为声音接管时，则获取真人坐席的声音输出提供坐席服务。
6.根据权利要求1至5任意一项所述的方法，其特征在于，所述将所述服务信息映射至数字人，并通过所述数字人提供坐席服务之后，包括：
获取所述数字人被接管后的目标坐席服务信息；
将所述数字人被接管后的目标坐席服务信息发送至真人坐席。
7.根据权利要求1至5任意一项所述的方法，其特征在于，所述方法还包括：
获取所述数字人被接管前的历史坐席服务信息；
将所述数字人被接管前的历史坐席服务信息发送至真人坐席。
8.一种基于数字人的坐席服务装置，其特征在于，所述装置包括：
采集模块，用于通过多媒体设备采集真人坐席的实时多媒体信息；
服务信息计算模块，用于根据所述实时多媒体信息计算得到服务信息；
映射模块，用于将所述服务信息映射至数字人，并通过所述数字人提供坐席服务。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
11.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111599660.2A CN114422647A (zh) | 2021-12-24 | 2021-12-24 | 基于数字人的坐席服务方法、装置、设备、介质和产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111599660.2A CN114422647A (zh) | 2021-12-24 | 2021-12-24 | 基于数字人的坐席服务方法、装置、设备、介质和产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114422647A true CN114422647A (zh) | 2022-04-29 |
Family
ID=81270421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111599660.2A Pending CN114422647A (zh) | 2021-12-24 | 2021-12-24 | 基于数字人的坐席服务方法、装置、设备、介质和产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114422647A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116110080A (zh) * | 2023-04-04 | 2023-05-12 | 成都新希望金融信息有限公司 | 一种真人面签和虚拟人面签的切换方法 |
| CN116168134A (zh) * | 2022-12-28 | 2023-05-26 | 北京百度网讯科技有限公司 | 数字人的控制方法、装置、电子设备以及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105207890A (zh) * | 2015-08-24 | 2015-12-30 | 北京智齿博创科技有限公司 | 一种在线客服的方法 |
| CN106493747A (zh) * | 2016-10-12 | 2017-03-15 | 苏州小璐机器人有限公司 | 智能机器人自动转人工服务的方法 |
| CN107135247A (zh) * | 2017-02-16 | 2017-09-05 | 江苏南大电子信息技术股份有限公司 | 一种人与人工智能协同工作的服务系统及方法 |
| CN110971930A (zh) * | 2019-12-19 | 2020-04-07 | 广州酷狗计算机科技有限公司 | 虚拟形象直播的方法、装置、终端及存储介质 |
| CN111291151A (zh) * | 2018-12-06 | 2020-06-16 | 阿里巴巴集团控股有限公司 | 交互方法、装置及计算机设备 |
| CN111401921A (zh) * | 2020-03-05 | 2020-07-10 | 成都威爱新经济技术研究院有限公司 | 一种基于虚拟人的远程客服方法 |
| CN112750186A (zh) * | 2021-01-19 | 2021-05-04 | 深圳追一科技有限公司 | 虚拟形象切换方法、装置、电子设备及存储介质 |
| CN112906546A (zh) * | 2021-02-09 | 2021-06-04 | 中国工商银行股份有限公司 | 虚拟数字人外形、音效以及服务模型的个性化生成方法 |
| CN113011159A (zh) * | 2021-03-23 | 2021-06-22 | 中国建设银行股份有限公司 | 人工座席监听方法、装置、电子设备及存储介质 |
| CN113572903A (zh) * | 2021-06-11 | 2021-10-29 | 北京高阳捷迅信息技术有限公司 | 呼叫中心人机耦合协同方法、装置、设备和存储介质 |
-
2021
- 2021-12-24 CN CN202111599660.2A patent/CN114422647A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105207890A (zh) * | 2015-08-24 | 2015-12-30 | 北京智齿博创科技有限公司 | 一种在线客服的方法 |
| CN106493747A (zh) * | 2016-10-12 | 2017-03-15 | 苏州小璐机器人有限公司 | 智能机器人自动转人工服务的方法 |
| CN107135247A (zh) * | 2017-02-16 | 2017-09-05 | 江苏南大电子信息技术股份有限公司 | 一种人与人工智能协同工作的服务系统及方法 |
| CN111291151A (zh) * | 2018-12-06 | 2020-06-16 | 阿里巴巴集团控股有限公司 | 交互方法、装置及计算机设备 |
| CN110971930A (zh) * | 2019-12-19 | 2020-04-07 | 广州酷狗计算机科技有限公司 | 虚拟形象直播的方法、装置、终端及存储介质 |
| CN111401921A (zh) * | 2020-03-05 | 2020-07-10 | 成都威爱新经济技术研究院有限公司 | 一种基于虚拟人的远程客服方法 |
| CN112750186A (zh) * | 2021-01-19 | 2021-05-04 | 深圳追一科技有限公司 | 虚拟形象切换方法、装置、电子设备及存储介质 |
| CN112906546A (zh) * | 2021-02-09 | 2021-06-04 | 中国工商银行股份有限公司 | 虚拟数字人外形、音效以及服务模型的个性化生成方法 |
| CN113011159A (zh) * | 2021-03-23 | 2021-06-22 | 中国建设银行股份有限公司 | 人工座席监听方法、装置、电子设备及存储介质 |
| CN113572903A (zh) * | 2021-06-11 | 2021-10-29 | 北京高阳捷迅信息技术有限公司 | 呼叫中心人机耦合协同方法、装置、设备和存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116168134A (zh) * | 2022-12-28 | 2023-05-26 | 北京百度网讯科技有限公司 | 数字人的控制方法、装置、电子设备以及存储介质 |
| CN116168134B (zh) * | 2022-12-28 | 2024-01-02 | 北京百度网讯科技有限公司 | 数字人的控制方法、装置、电子设备以及存储介质 |
| CN116110080A (zh) * | 2023-04-04 | 2023-05-12 | 成都新希望金融信息有限公司 | 一种真人面签和虚拟人面签的切换方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11887231B2 (en) | Avatar animation system | |
| US11546550B2 (en) | Virtual conference view for video calling | |
| CN112215927B (zh) | 人脸视频的合成方法、装置、设备及介质 | |
| CN110519636B (zh) | 语音信息播放方法、装置、计算机设备及存储介质 | |
| CN110850983A (zh) | 视频直播中的虚拟对象控制方法、装置和存储介质 | |
| JP6889281B2 (ja) | 代替インタフェースでのプレゼンテーションのための電子会話の解析 | |
| WO2020024484A1 (zh) | 用于输出数据的方法和装置 | |
| KR101887637B1 (ko) | 로봇 시스템 | |
| CN114422647A (zh) | 基于数字人的坐席服务方法、装置、设备、介质和产品 | |
| US9690784B1 (en) | Culturally adaptive avatar simulator | |
| US11741949B2 (en) | Real-time video conference chat filtering using machine learning models | |
| CN111292262B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| US20230388366A1 (en) | Document-sharing conferencing system | |
| CN110531849A (zh) | 一种基于5g通信的增强现实的智能教学系统 | |
| CN111414506A (zh) | 基于人工智能情绪处理方法、装置、电子设备及存储介质 | |
| Hartholt et al. | Ubiquitous virtual humans: A multi-platform framework for embodied ai agents in xr | |
| CN114694224A (zh) | 客服问答方法、装置、设备、存储介质和计算机程序产品 | |
| CN113850898A (zh) | 场景渲染方法及装置、存储介质及电子设备 | |
| CN111582208B (zh) | 用于生成生物体姿态关键点信息的方法和装置 | |
| CN110650369B (zh) | 一种视频处理方法、装置、存储介质及电子设备 | |
| CN116030040B (zh) | 一种数据处理方法、装置、设备及介质 | |
| WO2024066549A1 (zh) | 一种数据处理方法及相关设备 | |
| CN116774876A (zh) | 页面显示方法、装置、计算机设备和存储介质 | |
| US11163826B2 (en) | Method and system for generating elements of recorded information in response to a secondary user's natural language input | |
| WO2023207391A1 (zh) | 虚拟人视频生成方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |