CN111401921B - 一种基于虚拟人的远程客服方法 - Google Patents

一种基于虚拟人的远程客服方法 Download PDF

Info

Publication number
CN111401921B
CN111401921B CN202010146975.0A CN202010146975A CN111401921B CN 111401921 B CN111401921 B CN 111401921B CN 202010146975 A CN202010146975 A CN 202010146975A CN 111401921 B CN111401921 B CN 111401921B
Authority
CN
China
Prior art keywords
client
customer service
voice
virtual human
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010146975.0A
Other languages
English (en)
Other versions
CN111401921A (zh
Inventor
吕云
张赐
胡雨森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Weiai New Economic And Technological Research Institute Co ltd
Original Assignee
Chengdu Weiai New Economic And Technological Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Weiai New Economic And Technological Research Institute Co ltd filed Critical Chengdu Weiai New Economic And Technological Research Institute Co ltd
Priority to CN202010146975.0A priority Critical patent/CN111401921B/zh
Publication of CN111401921A publication Critical patent/CN111401921A/zh
Application granted granted Critical
Publication of CN111401921B publication Critical patent/CN111401921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于虚拟人的远程客服方法，本发明既可以通过预设流程自动引导客户，也可以通过后台视频引导客户，降低了企业培养柜台人员的成本，降低了人工客服的形象要求，提升了办理业务效率，并且通过异常表情处理流程，解决了数字虚拟人眼睛和姿态的异常问题，极大程度上提高了客户办理业务的体验，也为数字虚拟人在行业的推广和应用打好了基础。

Description

一种基于虚拟人的远程客服方法
技术领域
本发明涉及电脑技术领域，具体涉及一种基于虚拟人的远程客服方法。
背景技术
在服务行业，特别是窗口服务行业，如银行、运营商等，这些企业需要大量的一线柜员、客服人员为客户办理相关业务。为了提高客户办理业务的体验，培养一名形象好并且业务水平高的员工成本很高。除了人工成本，场地成本也很高。银行或运营商等企业为了扩展业务、抢占市场，需要租用或购买大量场地进行营业。于是，为了节约成本，无人工帮助的自助设备在这些行业被大量地使用。
这些自助设备只能办理有限的业务，在需要人工办理业务时，设备系统后台会接通客服中心，并以视频通话的方式为客户解决问题或办理业务。由于后台接入的是客服人员，客服人员形象、服务水平、业务办理效率等都是参差不齐的，这就大大增加了企业的管理成本和运营成本，且客户办理业务时的体验也不能得到保证。
将数字虚拟人应用在有客服人员的行业，替代客服人员的形象或者替代客服人员的部分工作，这不仅降低了企业的成本，而且提升了客户办理业务的体验。但数字虚拟人在实际应用时，特别时通过实时捕捉技术驱动的数字虚拟人，由于对话双方物理上不在同一地点，无法保证客户看到的数字虚拟人姿态都是正确的。且由于人工客服在办理业务时，需要操作电脑上的软件，就无法保证数字虚拟人的眼睛是看着客户的，也无法保证数字虚拟人的姿态是正对客户的，虚拟人使用效率低，用户体验较差。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于虚拟人的远程客服方法解决了由于虚拟人姿态不对使得用户体验差的问题。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种基于虚拟人的远程客服方法，其包括以下步骤：
S1、通过终端设备获取客户发起的咨询请求，判断该咨询请求是否可通过自助引导完成，若是则进入步骤S2，否则进入步骤S5；
S2、通过终端设备持续获取客户的语音和/或按键操作数据；
S3、根据客户的语音和/或按键操作数据持续检测客户是否结束当前咨询和/或业务办理，若是则结束客服，否则进入步骤S4；
S4、根据客户的语音和/或按键操作数据持续检测客户是否提出进行人工客服的请求，若是则进入步骤S5，否则根据客户的语音和/或按键操作数据生成虚拟人表情和对应的回复语音和/或文字，引导客户完成咨询和/或业务办理；
S5、将客户的语音和/或按键操作数据发送至对应的人工客服，判断客户是否终止人工客服，若是则结束客服，否则进入步骤S6；
S6、通过终端设备上的摄像头获取客户位置数据，通过麦克风和摄像头获取客服人员的语音、面部表情和嘴型动作，并根据客户的位置数据、客服人员的面部表情和嘴型动作数据渲染虚拟人的图像；
S7、通过终端设备同步播放渲染后的图像和原始语音，引导客户完成咨询和/或业务办理。
进一步地，步骤S1中判断客户的咨询请求是否可通过自助引导完成的具体方法为：
判断客的咨询请求是否预先设定有自助引导流程，若是则判断为可通过自助引导完成，否则判断为不可通过自助引导完成。
进一步地，步骤S3中根据客户的语音和/或按键操作数据持续检测客户是否结束当前咨询和/或业务办理的具体方法为：
判断客户是否点击结束按钮，或识别客户的语音中是否包含结束客服的相关语句，并在点击结束按钮或客户的语音中包含结束客服的相关语句后，确认客户是否在展示的确认结束界面中进行了确认，若是则判断为客户主动结束客服，否则继续进行客服。
进一步地，步骤S4中根据客户的语音和/或按键操作数据持续检测客户是否提出进行人工客服的请求的具体方法为：
判断客户是否点击进行人工客服按钮，或识别客户的语音中是否包含请求人工客服的相关语句，并在点击进行人工客服按钮或客户的语音中包含请求人工客服的相关语句后，确认客户是否在展示的确认请求人工客服界面中进行了确认，若是则判断为客户提出了进行人工客服的请求。
进一步地，步骤S4中根据客户的语音和/或按键操作数据生成虚拟人表情和对应的回复语音和/或文字，引导客户完成咨询和/或业务办理的具体方法为：
根据客户语音中包含的语句信息和/或按键操作数据确定客户要进行的咨询内容和/或要办理的业务，从数据库中调出预设应对方案，通过虚拟人的表情、语音和/或文字，以及界面的更新进行回复，引导客户完成咨询和/或业务办理。
进一步地，步骤S5的具体方法为：
判断客户是否点击结束人工客服按钮，或识别客户的语音中是否包含结束人工客服的相关语句，并在点击结束人工客服按钮或客户的语音中包含结束人工客服的相关语句后，确认客户是否在展示的确认结束人工客服界面中进行了确认，若是则判断为客户提出了结束人工客服的请求。
进一步地，步骤S6中根据客户的位置数据、客服人员的面部表情和嘴型动作数据渲染虚拟人的图像的具体方法包括以下子步骤：
S6-1、获取客户面部的转移角度，并将该角度设置为虚拟人的转移角度；
S6-2、判断是否检测到客户的眼睛，若是则进入步骤S6-3，否则将虚拟人的眼睛渲染为直视正前方，并进入步骤S6-5；
S6-3、通过人脸识别算法获取客户人像双眼像素中心连线的中心点位置像素坐标P，并将其转换到3D世界坐标系中得到坐标P'；
S6-4、获取虚拟人右眼球中心点坐标R和左眼球中心点坐标L，并根据公式：
Figure GDA0004054594540000041
Figure GDA0004054594540000042
获取虚拟人眼睛看向客户右眼的方向向量
Figure GDA0004054594540000043
和看向客户左眼的方向向量
Figure GDA0004054594540000044
根据方向向量
Figure GDA0004054594540000045
和方向向量
Figure GDA0004054594540000046
对虚拟人的双眼进行渲染；
S6-5、判断是否捕获客服人员的脸，若是则进入步骤S6-6，否则进入步骤S6-7；
S6-6、将客服人员的面部表情和嘴型动作作为虚拟人的面部表情和嘴型动作，完成对虚拟人的渲染；
S6-7、将虚拟人的面部表情渲染为微笑表情，将虚拟人的嘴型动作渲染为一开一合，完成对虚拟人的渲染。
进一步地，将坐标P转换到3D世界坐标系中得到坐标P'的具体方法包括以下子步骤：
S6-3-1、建立假想平面，将终端设备的摄像头所拍摄的画面的左下顶角与假想平面的左下顶角重合，使终端设备的摄像头所拍摄的画面贴在假想平面上；
S6-3-2、将假想平面的左下顶角作为其所在3D世界坐标系的坐标原点(x,y,z)，将终端设备的摄像头所拍摄的画面的分辨率映射到假想平面的宽和高；
S6-3-3、根据公式：
Figure GDA0004054594540000051
获取坐标P转换到3D世界坐标系中得到坐标P'；其中s和t分别为坐标P在视频图像平面的横纵坐标；Pw和Ps分别为终端设备的摄像头所获取图像的宽高分辨率；W和H分别为3D世界坐标系中的宽和高。
本发明的有益效果为：本发明采用数字虚拟人与客户进行交流，既可以通过预设流程自动引导客户，也可以通过后台视频引导客户，降低了企业培养柜台人员的成本，降低了人工客服的形象要求，提升了办理业务效率，并且通过异常表情处理流程，解决了数字虚拟人眼睛和姿态的异常问题，极大程度上提高了客户办理业务的体验，也为数字虚拟人在行业的推广和应用打好了基础。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，该基于虚拟人的远程客服方法包括以下步骤：
S1、通过终端设备获取客户发起的咨询请求，判断该咨询请求是否可通过自助引导完成，若是则进入步骤S2，否则进入步骤S5；
S2、通过终端设备持续获取客户的语音和/或按键操作数据；
S3、根据客户的语音和/或按键操作数据持续检测客户是否结束当前咨询和/或业务办理，若是则结束客服，否则进入步骤S4；
S4、根据客户的语音和/或按键操作数据持续检测客户是否提出进行人工客服的请求，若是则进入步骤S5，否则根据客户的语音和/或按键操作数据生成虚拟人表情和对应的回复语音和/或文字，引导客户完成咨询和/或业务办理；
S5、将客户的语音和/或按键操作数据发送至对应的人工客服，判断客户是否终止人工客服，若是则结束客服，否则进入步骤S6；
S6、通过终端设备上的摄像头获取客户位置数据，通过麦克风和摄像头获取客服人员的语音、面部表情和嘴型动作，并根据客户的位置数据、客服人员的面部表情和嘴型动作数据渲染虚拟人的图像；
S7、通过终端设备同步播放渲染后的图像和原始语音，引导客户完成咨询和/或业务办理。
步骤S1中判断客户的咨询请求是否可通过自助引导完成的具体方法为：判断客的咨询请求是否预先设定有自助引导流程，若是则判断为可通过自助引导完成，否则判断为不可通过自助引导完成。
步骤S3中根据客户的语音和/或按键操作数据持续检测客户是否结束当前咨询和/或业务办理的具体方法为：判断客户是否点击结束按钮，或识别客户的语音中是否包含结束客服的相关语句，并在点击结束按钮或客户的语音中包含结束客服的相关语句后，确认客户是否在展示的确认结束界面中进行了确认，若是则判断为客户主动结束客服，否则继续进行客服。
步骤S4中根据客户的语音和/或按键操作数据持续检测客户是否提出进行人工客服的请求的具体方法为：判断客户是否点击进行人工客服按钮，或识别客户的语音中是否包含请求人工客服的相关语句，并在点击进行人工客服按钮或客户的语音中包含请求人工客服的相关语句后，确认客户是否在展示的确认请求人工客服界面中进行了确认，若是则判断为客户提出了进行人工客服的请求。
步骤S4中根据客户的语音和/或按键操作数据生成虚拟人表情和对应的回复语音和/或文字，引导客户完成咨询和/或业务办理的具体方法为：根据客户语音中包含的语句信息和/或按键操作数据确定客户要进行的咨询内容和/或要办理的业务，从数据库中调出预设应对方案，通过虚拟人的表情、语音和/或文字，以及界面的更新进行回复，引导客户完成咨询和/或业务办理。
步骤S5的具体方法为：判断客户是否点击结束人工客服按钮，或识别客户的语音中是否包含结束人工客服的相关语句，并在点击结束人工客服按钮或客户的语音中包含结束人工客服的相关语句后，确认客户是否在展示的确认结束人工客服界面中进行了确认，若是则判断为客户提出了结束人工客服的请求。
步骤S6中根据客户的位置数据、客服人员的面部表情和嘴型动作数据渲染虚拟人的图像的具体方法包括以下子步骤：
S6-1、获取客户面部的转移角度，并将该角度设置为虚拟人的转移角度；
S6-2、判断是否检测到客户的眼睛，若是则进入步骤S6-3，否则将虚拟人的眼睛渲染为直视正前方，并进入步骤S6-5；
S6-3、通过人脸识别算法获取客户人像双眼像素中心连线的中心点位置像素坐标P，并将其转换到3D世界坐标系中得到坐标P'；
S6-4、获取虚拟人右眼球中心点坐标R和左眼球中心点坐标L，并根据公式：
Figure GDA0004054594540000081
Figure GDA0004054594540000082
获取虚拟人眼睛看向客户右眼的方向向量
Figure GDA0004054594540000083
和看向客户左眼的方向向量
Figure GDA0004054594540000084
根据方向向量
Figure GDA0004054594540000085
和方向向量
Figure GDA0004054594540000086
对虚拟人的双眼进行渲染；
S6-5、判断是否捕获客服人员的脸，若是则进入步骤S6-6，否则进入步骤S6-7；
S6-6、将客服人员的面部表情和嘴型动作作为虚拟人的面部表情和嘴型动作，完成对虚拟人的渲染；
S6-7、将虚拟人的面部表情渲染为微笑表情，将虚拟人的嘴型动作渲染为一开一合，完成对虚拟人的渲染。
将坐标P转换到3D世界坐标系中得到坐标P'的具体方法包括以下子步骤：
S6-3-1、建立假想平面，将终端设备的摄像头所拍摄的画面的左下顶角与假想平面的左下顶角重合，使终端设备的摄像头所拍摄的画面贴在假想平面上；
S6-3-2、将假想平面的左下顶角作为其所在3D世界坐标系的坐标原点(x,y,z)，将终端设备的摄像头所拍摄的画面的分辨率映射到假想平面的宽和高；
S6-3-3、根据公式：
Figure GDA0004054594540000087
获取坐标P转换到3D世界坐标系中得到坐标P'；其中s和t分别为坐标P在视频图像平面的横纵坐标；Pw和Ps分别为终端设备的摄像头所获取图像的宽高分辨率；W和H分别为3D世界坐标系中的宽和高。
在本发明的一个实施例中，可以通过云服务器来进行人脸识别和虚拟人渲染，降低终端设备的成本和数据处理难度。当云服务器处理好数据后，可以将渲染后的图像和声音一起实时编码压缩，再通过WebRTC协议串流客户前的终端设备上。
综上所述，本发明既可以通过预设流程自动引导客户，也可以通过后台视频引导客户，降低了企业培养柜台人员的成本，降低了人工客服的形象要求，提升了办理业务效率，并且通过异常表情处理流程，解决了数字虚拟人眼睛和姿态的异常问题，极大程度上提高了客户办理业务的体验，也为数字虚拟人在行业的推广和应用打好了基础。

Claims (7)

1.一种基于虚拟人的远程客服方法，其特征在于，包括以下步骤：
S1、通过终端设备获取客户发起的咨询请求，判断该咨询请求是否可通过自助引导完成，若是则进入步骤S2，否则进入步骤S5；
S2、通过终端设备持续获取客户的语音和/或按键操作数据；
S3、根据客户的语音和/或按键操作数据持续检测客户是否结束当前咨询和/或业务办理，若是则结束客服，否则进入步骤S4；
S4、根据客户的语音和/或按键操作数据持续检测客户是否提出进行人工客服的请求，若是则进入步骤S5，否则根据客户的语音和/或按键操作数据生成虚拟人表情和对应的回复语音和/或文字，引导客户完成咨询和/或业务办理；
S5、将客户的语音和/或按键操作数据发送至对应的人工客服，判断客户是否终止人工客服，若是则结束客服，否则进入步骤S6；
S6、通过终端设备上的摄像头获取客户位置数据，通过麦克风和摄像头获取客服人员的语音、面部表情和嘴型动作，并根据客户的位置数据、客服人员的面部表情和嘴型动作数据渲染虚拟人的图像；
S7、通过终端设备同步播放渲染后的图像和原始语音，引导客户完成咨询和/或业务办理；
步骤S6中根据客户的位置数据、客服人员的面部表情和嘴型动作数据渲染虚拟人的图像的具体方法包括以下子步骤：
S6-1、获取客户面部的转移角度，并将该角度设置为虚拟人的转移角度；
S6-2、判断是否检测到客户的眼睛，若是则进入步骤S6-3，否则将虚拟人的眼睛渲染为直视正前方，并进入步骤S6-5；
S6-3、通过人脸识别算法获取客户人像双眼像素中心连线的中心点位置像素坐标P，并将其转换到3D世界坐标系中得到坐标P'；
S6-4、获取虚拟人右眼球中心点坐标R和左眼球中心点坐标L，并根据公式：
Figure FDA0004054594530000021
Figure FDA0004054594530000022
获取虚拟人眼睛看向客户右眼的方向向量
Figure FDA0004054594530000023
和看向客户左眼的方向向量
Figure FDA0004054594530000024
根据方向向量
Figure FDA0004054594530000025
和方向向量
Figure FDA0004054594530000026
对虚拟人的双眼进行渲染；
S6-5、判断是否捕获客服人员的脸，若是则进入步骤S6-6，否则进入步骤S6-7；
S6-6、将客服人员的面部表情和嘴型动作作为虚拟人的面部表情和嘴型动作，完成对虚拟人的渲染；
S6-7、将虚拟人的面部表情渲染为微笑表情，将虚拟人的嘴型动作渲染为一开一合，完成对虚拟人的渲染。
2.根据权利要求1所述的基于虚拟人的远程客服方法，其特征在于，所述步骤S1中判断客户的咨询请求是否可通过自助引导完成的具体方法为：
判断客的咨询请求是否预先设定有自助引导流程，若是则判断为可通过自助引导完成，否则判断为不可通过自助引导完成。
3.根据权利要求1所述的基于虚拟人的远程客服方法，其特征在于，所述步骤S3中根据客户的语音和/或按键操作数据持续检测客户是否结束当前咨询和/或业务办理的具体方法为：
判断客户是否点击结束按钮，或识别客户的语音中是否包含结束客服的相关语句，并在点击结束按钮或客户的语音中包含结束客服的相关语句后，确认客户是否在展示的确认结束界面中进行了确认，若是则判断为客户主动结束客服，否则继续进行客服。
4.根据权利要求1所述的基于虚拟人的远程客服方法，其特征在于，所述步骤S4中根据客户的语音和/或按键操作数据持续检测客户是否提出进行人工客服的请求的具体方法为：
判断客户是否点击进行人工客服按钮，或识别客户的语音中是否包含请求人工客服的相关语句，并在点击进行人工客服按钮或客户的语音中包含请求人工客服的相关语句后，确认客户是否在展示的确认请求人工客服界面中进行了确认，若是则判断为客户提出了进行人工客服的请求。
5.根据权利要求1所述的基于虚拟人的远程客服方法，其特征在于，所述步骤S4中根据客户的语音和/或按键操作数据生成虚拟人表情和对应的回复语音和/或文字，引导客户完成咨询和/或业务办理的具体方法为：
根据客户语音中包含的语句信息和/或按键操作数据确定客户要进行的咨询内容和/或要办理的业务，从数据库中调出预设应对方案，通过虚拟人的表情、语音和/或文字，以及界面的更新进行回复，引导客户完成咨询和/或业务办理。
6.根据权利要求1所述的基于虚拟人的远程客服方法，其特征在于，所述步骤S5的具体方法为：
判断客户是否点击结束人工客服按钮，或识别客户的语音中是否包含结束人工客服的相关语句，并在点击结束人工客服按钮或客户的语音中包含结束人工客服的相关语句后，确认客户是否在展示的确认结束人工客服界面中进行了确认，若是则判断为客户提出了结束人工客服的请求。
7.根据权利要求1所述的基于虚拟人的远程客服方法，其特征在于，将坐标P转换到3D世界坐标系中得到坐标P'的具体方法包括以下子步骤：
S6-3-1、建立假想平面，将终端设备的摄像头所拍摄的画面的左下顶角与假想平面的左下顶角重合，使终端设备的摄像头所拍摄的画面贴在假想平面上；
S6-3-2、将假想平面的左下顶角作为其所在3D世界坐标系的坐标原点(x,y,z)，将终端设备的摄像头所拍摄的画面的分辨率映射到假想平面的宽和高；
S6-3-3、根据公式：
Figure FDA0004054594530000041
获取坐标P转换到3D世界坐标系中得到坐标P'；其中s和t分别为坐标P在视频图像平面的横纵坐标；Pw和Ps分别为终端设备的摄像头所获取图像的宽高分辨率；W和H分别为3D世界坐标系中的宽和高。
CN202010146975.0A 2020-03-05 2020-03-05 一种基于虚拟人的远程客服方法 Active CN111401921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010146975.0A CN111401921B (zh) 2020-03-05 2020-03-05 一种基于虚拟人的远程客服方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010146975.0A CN111401921B (zh) 2020-03-05 2020-03-05 一种基于虚拟人的远程客服方法

Publications (2)

Publication Number Publication Date
CN111401921A CN111401921A (zh) 2020-07-10
CN111401921B true CN111401921B (zh) 2023-04-18

Family

ID=71435980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010146975.0A Active CN111401921B (zh) 2020-03-05 2020-03-05 一种基于虚拟人的远程客服方法

Country Status (1)

Country Link
CN (1) CN111401921B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111885343B (zh) * 2020-07-31 2022-06-14 中国工商银行股份有限公司 特征处理方法及装置、电子设备和可读存储介质
CN112967010A (zh) * 2021-02-07 2021-06-15 中国工商银行股份有限公司 基于数字人引导的业务办理方法、装置、电子设备及介质
CN112669846A (zh) * 2021-03-16 2021-04-16 深圳追一科技有限公司 交互系统、方法、装置、电子设备及存储介质
CN112860877B (zh) * 2021-03-31 2024-02-02 中国工商银行股份有限公司 客服作业处理方法、装置、电子设备及存储介质
CN114422647A (zh) * 2021-12-24 2022-04-29 上海浦东发展银行股份有限公司 基于数字人的坐席服务方法、装置、设备、介质和产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533523A (zh) * 2009-02-27 2009-09-16 西北工业大学 一种虚拟人眼部运动控制方法
CN107154069A (zh) * 2017-05-11 2017-09-12 上海微漫网络科技有限公司 一种基于虚拟角色的数据处理方法及系统
CN109917917A (zh) * 2019-03-06 2019-06-21 南京七奇智能科技有限公司 一种虚拟人交互软件总线系统及其实现方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3788969B2 (ja) * 2002-10-25 2006-06-21 三菱電機株式会社 リアルタイム表情追跡装置
CN101727531A (zh) * 2008-10-16 2010-06-09 国际商业机器公司 用于在虚拟环境中进行交互的方法和系统
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
JP5887026B2 (ja) * 2012-09-03 2016-03-16 ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーＳＥＮＳＯＭＯＴＯＲＩＣ ＩＮＳＴＲＵＭＥＮＴＳ Ｇｅｓｅｌｌｓｃｈａｆｔ ｆｕｒ ｉｎｎｏｖａｔｉｖｅ Ｓｅｎｓｏｒｉｋ ｍｂＨ ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
US20150029322A1 (en) * 2013-07-23 2015-01-29 Qualcomm Incorporated Method and computations for calculating an optical axis vector of an imaged eye
CN105866949B (zh) * 2015-01-21 2018-08-17 成都理想境界科技有限公司 能自动调节景深的双目ar头戴设备及景深调节方法
WO2016115872A1 (zh) * 2015-01-21 2016-07-28 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
CN107025678A (zh) * 2016-01-29 2017-08-08 掌赢信息科技（上海）有限公司 一种3d虚拟模型的驱动方法及装置
WO2018006377A1 (zh) * 2016-07-07 2018-01-11 深圳狗尾草智能科技有限公司 实时互动动画的全息投影系统、方法及人工智能机器人
US10379611B2 (en) * 2016-09-16 2019-08-13 Intel Corporation Virtual reality/augmented reality apparatus and method
US11106274B2 (en) * 2017-04-10 2021-08-31 Intel Corporation Adjusting graphics rendering based on facial expression
US10929494B2 (en) * 2018-04-16 2021-02-23 Stops.com Ltd. Systems and methods for tagging objects for augmented reality
CN108765788A (zh) * 2018-05-22 2018-11-06 中国工商银行股份有限公司 数据处理的方法、自助服务终端以及自助服务系统
CN110009714A (zh) * 2019-03-05 2019-07-12 重庆爱奇艺智能科技有限公司 在智能设备中调整虚拟角色眼神的方法及装置
CN110298906B (zh) * 2019-06-28 2023-08-11 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN110427110B (zh) * 2019-08-01 2023-04-18 广州方硅信息技术有限公司 一种直播方法、装置以及直播服务器
CN110458929B (zh) * 2019-08-12 2022-10-11 西安建筑科技大学 一种基于Three.js的室内布景渲染方法及系统
CN110647636B (zh) * 2019-09-05 2021-03-19 深圳追一科技有限公司 交互方法、装置、终端设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533523A (zh) * 2009-02-27 2009-09-16 西北工业大学 一种虚拟人眼部运动控制方法
CN107154069A (zh) * 2017-05-11 2017-09-12 上海微漫网络科技有限公司 一种基于虚拟角色的数据处理方法及系统
CN109917917A (zh) * 2019-03-06 2019-06-21 南京七奇智能科技有限公司 一种虚拟人交互软件总线系统及其实现方法

Also Published As

Publication number Publication date
CN111401921A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111401921B (zh) 一种基于虚拟人的远程客服方法
KR102380222B1 (ko) 비디오 회의에서의 감정 인식
WO2016110199A1 (zh) 一种表情迁移方法、电子设备及系统
US6771303B2 (en) Video-teleconferencing system with eye-gaze correction
US10887548B2 (en) Scaling image of speaker's face based on distance of face and size of display
US6677980B1 (en) Method and apparatus for correcting gaze of image using single camera
Yang et al. Eye gaze correction with stereovision for video-teleconferencing
CN111222433B (zh) 自动人脸稽核方法、系统、设备及可读存储介质
KR101034117B1 (ko) 영상에서 관심 영역 지정 및 윤곽선 영상을 이용한 객체 인식 방법 및 장치
CN113221767A (zh) 训练活体人脸识别模型、识别活体人脸的方法及相关装置
CN111369170B (zh) 银行文优服务评价方法
CN114553838A (zh) 远程业务办理的实现方法、系统及服务器
CN111695434A (zh) 一种面部识别门禁系统及识别方法
CN113313631B (zh) 图像渲染方法和装置
CN113965550B (zh) 智能交互式远程辅助视频系统
KR20220131871A (ko) 얼굴인식 기술을 활용한 공사현장 인력 실시간 자격판독 방법
CN114758381A (zh) 一种基于图像识别的虚拟数字人视线控制方法
CN113407035A (zh) 一种基于mr混合现实技术的通信设施检修操作系统
CN111382408A (zh) 智能化用户识别方法、装置及计算机可读存储介质
CN113688680A (zh) 一种智能识别与追踪系统
JP3721624B2 (ja) Ｔｖ電話システム
CN113766167A (zh) 全景视频会议增强方法、系统和网络设备
CN113221606A (zh) 一种基于ims视频会议登录的人脸识别方法
CN111144326B (zh) 一种用于人机交互的人脸防重识别方法
CN115065667B (zh) 预约式集成会议系统及带有该系统的投屏器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant