CN115273242A - 客户反馈信息处理方法及装置 - Google Patents
客户反馈信息处理方法及装置 Download PDFInfo
- Publication number
- CN115273242A CN115273242A CN202210973443.3A CN202210973443A CN115273242A CN 115273242 A CN115273242 A CN 115273242A CN 202210973443 A CN202210973443 A CN 202210973443A CN 115273242 A CN115273242 A CN 115273242A
- Authority
- CN
- China
- Prior art keywords
- information
- client
- feedback
- determining
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 26
- 238000003672 processing method Methods 0.000 title claims description 16
- 230000002996 emotional effect Effects 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 47
- 230000009471 action Effects 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000033001 locomotion Effects 0.000 claims abstract description 12
- 238000004458 analytical method Methods 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 19
- 230000014509 gene expression Effects 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 description 12
- 230000003993 interaction Effects 0.000 description 12
- 238000007726 management method Methods 0.000 description 11
- 230000008451 emotion Effects 0.000 description 8
- 230000008909 emotion recognition Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000036651 mood Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 206010002942 Apathy Diseases 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
- G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种客户反馈信息处理方法及装置，可用于金融领域或其他技术领域，该方法包括：获取客户在进行信息反馈时输入的音频数据以及在所述客户进行信息反馈时采集的客户的图像数据；根据所述图像数据确定所述客户的唇部动作特征数据；根据所述音频数据、所述唇部动作特征数据以及预设的识别模型，确定客户反馈文本信息；根据所述音频数据确定所述客户在进行信息反馈时的情绪状态信息；根据所述情绪状态信息确定处理优先等级，并将所述处理优先等级与所述客户反馈文本信息进行关联，以按照所述处理优先等级对所述客户反馈文本信息进行处理。本发明提高了客户反馈信息的处理效率以及客户进行反馈的体验。
Description
技术领域
本发明涉及信息处理技术领域，具体而言，涉及一种客户反馈信息处理方法及装置。
背景技术
目前当客户在网点办理业务或者日常通过手机APP办理业务遇到体验不好的问题、想要提出建议或意见或者想要进行投诉时，只能找客服人员投诉，客服人员需要手动对问题进行记录，耗时且不便于对问题进行归类整理，后期还需再反馈给技术人员进行分析，流程繁琐，若遇客服较忙，则只能等待，会带来不好的客户体验。如何提高客户反馈信息的处理效率，提高客户反馈的体验是目前急需解决的问题。
发明内容
本发明为了解决上述背景技术中的至少一个技术问题，提出了一种客户反馈信息处理方法及装置。
为了实现上述目的，根据本发明的一个方面，提供了一种客户反馈信息处理方法，该方法包括：
获取客户在进行信息反馈时输入的音频数据以及在所述客户进行信息反馈时采集的客户的图像数据；
根据所述图像数据确定所述客户的唇部动作特征数据；
根据所述音频数据、所述唇部动作特征数据以及预设的识别模型，确定客户反馈文本信息；
根据所述音频数据确定所述客户在进行信息反馈时的情绪状态信息；
根据所述情绪状态信息确定处理优先等级，并将所述处理优先等级与所述客户反馈文本信息进行关联，以按照所述处理优先等级对所述客户反馈文本信息进行处理。
可选的，所述图像数据具体包括：可见光图像数据和红外图像数据；
所述根据所述图像数据确定所述客户的唇部动作特征数据，具体包括：
根据所述可见光图像数据和所述红外图像数据确定所述唇部动作特征数据。
可选的，所述根据所述音频数据确定所述客户在进行信息反馈时的情绪状态信息，具体包括：
通过对所述音频数据进行语调分析和语速分析，确定所述情绪状态信息。
可选的，所述根据所述音频数据确定所述客户在进行信息反馈时的情绪状态信息，具体包括：
根据所述音频数据以及所述图像数据确定所述客户在进行信息反馈时的情绪状态信息。
可选的，所述根据所述音频数据以及所述图像数据确定所述客户在进行信息反馈时的情绪状态信息，具体包括：
对所述音频数据进行语调分析和语速分析，得到语调语速特征信息；
基于所述图像数据确定所述客户的表情特征信息；
根据所述语调语速特征信息以及所述表情特征信息确定所述情绪状态信息。
可选的，所述根据所述音频数据以及所述图像数据确定所述客户在进行信息反馈时的情绪状态信息，具体包括：
对所述音频数据进行语调分析和语速分析，得到语调语速特征信息；
基于所述图像数据确定环境特征信息；
根据所述语调语速特征信息以及所述环境特征信息确定所述情绪状态信息。
可选的，所述根据所述音频数据、所述唇部动作特征数据以及预设的识别模型，确定客户反馈文本信息，具体包括：
根据所述音频数据、所述唇部动作特征数据采用预设的AV-HuBERT模型，确定客户反馈文本信息。
为了实现上述目的，根据本发明的另一方面，提供了一种客户反馈信息处理装置，该装置包括：
数据获取单元，用于获取客户在进行信息反馈时输入的音频数据以及在所述客户进行信息反馈时采集的客户的图像数据；
唇部动作特征数据确定单元，用于根据所述图像数据确定所述客户的唇部动作特征数据；
客户反馈文本信息确定单元，用于根据所述音频数据、所述唇部动作特征数据以及预设的识别模型，确定客户反馈文本信息；
情绪状态信息确定单元，用于根据所述音频数据确定所述客户在进行信息反馈时的情绪状态信息；
信息关联单元，用于根据所述情绪状态信息确定处理优先等级，并将所述处理优先等级与所述客户反馈文本信息进行关联，以按照所述处理优先等级对所述客户反馈文本信息进行处理。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述客户反馈信息处理方法的步骤。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述客户反馈信息处理方法的步骤。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述客户反馈信息处理方法的步骤。
本发明的有益效果为：
本发明根据客户在进行信息反馈时输入的音频数据以及客户进行信息反馈时的唇部动作特征数据通过预设的识别模型确定客户反馈文本信息，然后根据所述音频数据确定所述客户在进行信息反馈时的情绪状态信息，根据所述情绪状态信息确定处理优先等级，并将所述处理优先等级与所述客户反馈文本信息进行关联，以使处理人员按照所述处理优先等级对所述客户反馈文本信息进行处理，提高了客户反馈的处理效率以及客户进行反馈的体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明实施例客户反馈信息处理方法的流程图；
图2是本发明实施例确定客户情绪状态信息的第一流程图；
图3是本发明实施例确定客户情绪状态信息的第二流程图；
图4是本发明实施例处理系统示意图；
图5是本发明实施例处理系统运行流程图；
图6是本发明实施例客户反馈信息处理装置的结构框图；
图7是本发明实施例计算机设备示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
需要说明的是，本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
需要说明的是，本发明的客户反馈信息处理方法及装置可以应用于金融领域，也可以应用于其他技术领域。
图1是本发明实施例客户反馈信息处理方法的流程图，如图1所示，在本发明一个实施例中，本发明的客户反馈信息处理方法包括步骤S101至步骤S105。
步骤S101，获取客户在进行信息反馈时输入的音频数据以及在所述客户进行信息反馈时采集的客户的图像数据。
在本发明中，客户进行信息反馈具体指的是客户提出意见或建议，或者为客户进行投诉反馈的投诉信息。
在本发明一个实施例中，所述图像数据具体可以为视频数据。
在本发明一个实施例中，客户可以在银行网点的自助服务终端上进行信息反馈。具体的，客户首先通过提示语唤醒自助服务终端设备，此时，设备会自动跳转至语音视频交互页，客户可根据机器人语音及大屏提示选择问题分类，并进行语音反馈，同时自助服务终端通过摄像头采集用户进行信息反馈时的图像数据。
步骤S102，根据所述图像数据确定所述客户的唇部动作特征数据。
在本发明一个实施例中，本步骤具体可以采用现有技术的唇定位算法从所述图像数据中提取出客户的唇部动作特征数据。
步骤S103，根据所述音频数据、所述唇部动作特征数据以及预设的识别模型，确定客户反馈文本信息。
本发明通过结合客户说话过程中唇部动作特征以及音频数据，可以捕捉到音频和图像间的微妙联系，这会大大提升嘈杂环境下的语言识别准确率，对于银行网点这种远场景嘈杂环境比较适用。
在本发明一个实施例中，本步骤具体可以根据所述音频数据、所述唇部动作特征数据采用预设的AV-HuBERT模型，确定客户反馈文本信息。
AV-HuBERT是一个多模态的自监督学习框架，同时支持语音音频和唇语视频两种不同形式内容的输入。使用帧级同步的音频流和视频流作为输入，来更好的建模和提取两种模态之间的相关性。使用特征聚类和掩蔽预测两个步骤不断迭代训练，实现自己学习对标记的数据进行分类。
步骤S104，根据所述音频数据确定所述客户在进行信息反馈时的情绪状态信息。
情绪识别是一种判断人的情绪变化的技术，通常可通过面部表情和语音语调进行识别，本发明主要采用语音语调进行情绪识别。语音语调识别方法是根据不同情绪状态下人们的语言表达方式的不同来实现，如心情愉悦时说话的语调会比较欢快，烦躁时语调会比较沉闷，气愤时声高，节奏变快。
在本发明一个实施例中，本发明具体可以通过对所述音频数据进行语调分析和语速分析，确定客户的情绪状态信息。
在本发明一个具体实施例中，所述情绪状态具体包括：平静和激动。
步骤S105，根据所述情绪状态信息确定处理优先等级，并将所述处理优先等级与所述客户反馈文本信息进行关联，以按照所述处理优先等级对所述客户反馈文本信息进行处理。
在本发明一个实施例中，客服人员可以按照所述处理优先等级对所述客户反馈文本信息进行处理。同时本发明还可以将客户在进行信息反馈时输入的音频数据以及在所述客户进行信息反馈时采集的客户的图像数据进行存储，客服人员在对客户反馈进行处理时还可以对音频数据以及图像数据进行回放，以提高对客户反馈进行处理的准确性。
在本发明一个实施例中，所述处理优先等级包含高和低两个等级。在本发明一个实施例中，若客户的情绪状态为平静则确定对应的处理优先等级为低，若客户的情绪状态为激动则确定对应的处理优先等级为高。客服人员优先对处理优先等级为高的客户反馈文本信息进行处理。
由此可见，本发明提供了一种基于智能语音技术的银行网点客户反馈信息处理方法。客户在办理业务期间，可首先通过屏幕上提示的唤醒词唤醒机器人，按照机器人播报的导航分类指引说出自己的反馈信息，并由系统进行归类统计，后续进行需求分析和业务流程优化，对于需要发送研发部门分析的问题，可通过一键发送功能流转至研发部门处理，提升问题解决及响应客户的效率。
在本发明一个实施例中，所述图像数据具体包括：可见光图像数据和红外图像数据。
在本发明一个实施例中，上述步骤S102的根据所述图像数据确定所述客户的唇部动作特征数据，具体包括：
根据所述可见光图像数据和所述红外图像数据确定所述唇部动作特征数据。
在本发明中，客户的唇部会遇到被遮挡的情况，因此，本发明在客户唇部遇到遮挡的时候开始采用红外检测，防止由于面部遮挡对唇语识别造成干扰以保证检测结果的准确率。
在本发明一个实施例中，上述步骤S104的根据所述音频数据确定所述客户在进行信息反馈时的情绪状态信息，具体包括：
根据所述音频数据以及所述图像数据确定所述客户在进行信息反馈时的情绪状态信息。
在本发明中，为了提高情绪识别的准确性，本发明采用音频数据和图像数据相结合的方式。音频数据可以用于进行语调分析和语速分析，而图像数据可以用于进行表情特征分析和环境特征分析。
如图2所示，在本发明一个实施例中，上述步骤根据所述音频数据以及所述图像数据确定所述客户在进行信息反馈时的情绪状态信息，具体包括步骤S201至步骤S203。
步骤S201，对所述音频数据进行语调分析和语速分析，得到语调语速特征信息。
在本发明一个实施例中，本发明通过对所述音频数据进行语调分析和语速分析确定所述音频数据是否波动较大，所述语调语速特征具体包括：波动较大和波动较小。
步骤S202，基于所述图像数据确定所述客户的表情特征信息。
在本发明一个实施例中，本步骤可以采用现有技术的表情识别模型识别出客户的表情特征信息。在本发明一个实施例中，表情特征具体可以包括：生气、冷漠、开心等。
步骤S203，根据所述语调语速特征信息以及所述表情特征信息确定所述情绪状态信息。
本发明将语调语速特征信息以及表情特征信息相结合，实现了更为准确的确定出客户的情绪状态。
如图3所示，在本发明另一个实施例中，上述步骤根据所述音频数据以及所述图像数据确定所述客户在进行信息反馈时的情绪状态信息，具体包括步骤S301至步骤S303。
步骤S301，对所述音频数据进行语调分析和语速分析，得到语调语速特征信息。
步骤S302，基于所述图像数据确定环境特征信息。
在本发明一个实施例中，本步骤可以采用现有技术的环境识别模型识别出所述图像数据对应的环境特征信息。
步骤S303，根据所述语调语速特征信息以及所述环境特征信息确定所述情绪状态信息。
在本发明一个实施例中，环境分析是在识别之前自动进行的，在对环境智能匹配之后，可以有效地针对特定语境的特定词条进行优先核对，可以大幅度减少识别计算量以及提高识别精度。
环境分析在另一方面可以初步对被检测者的情绪进行定位，再根据已检测到的上下文语境进行数据库比对，运用表情符号、颜文字等表达说话者情绪，使智能识别的结果更人性化。
本发明情绪识别在结合表情识别技术、环境分析技术后，使得情绪识别准确率更高，智能识别的结果更人性化。
为了实现上述客户反馈信息处理方法，本发明提供了一种客户反馈信息处理系统，如图4所示，该系统具体包括：前端大屏系统、管理端、服务器端以及数据基础支撑。
前端大屏系统：
前端大屏系统主要分为首页、语音视频交互页及设置页，客户首先通过银行自助大屏设备首页的提示语，唤醒设备，此时，系统会自动跳转至语音视频交互页，客户可根据机器人语音及大屏提示选择问题分类，并说出自己的诉求或建议，各个页面功能具体说明如下。
系统首页：展示提示语，如“欢迎您提供宝贵的建议和意见，如有需求，请大声说出，我要提建议”；
语音交互界面：通过上一步唤醒设备后，系统会自动跳转至语音交互界面，此时客户就可以与机器人进行交互了，按照机器人的语音及大屏的文字提示，选择问题分类并说出自己的建议或意见，系统通过语音交互模块也会将客户的语音流和唇语视频流转换成文本进行存储，客户与机器人的对话内容也会实时展示在屏幕上，同时在交互过程中系统会对客户情绪进行识别并打标签，后期会根据优先级处理客户问题，对于客户情绪比较激动，或者诉求很强烈的用户需求，会设置为高优先级，优先处理，问题处理后通过电话智能外呼的方式进行邀约体验及回访；
在这里需要指出的是，语音交互页面具备同时采集语音音频和唇语视频的功能，通过结合人们说话过程中嘴唇和牙齿活动、语音方面的信息，可以捕捉到音频和视频间的微妙联系，这会大大提升嘈杂环境下的语言识别准确率，对于银行网点这种远场景嘈杂环境比较适用。
设置：提供设备的一些基本设置功能。
管理端：
管理端提供了报表统计管理、交互明细及录音管理模块，各个模块功能具体说明如下。
报表统计管理：客户通过大屏系统录入的信息，会存储于数据库中，报表统计模块从数据库中查询到录入的信息并展示于管理端的报表统计页面，供客服人员查看，报表数据可通过时间、问题类型、问题优先级等条件进行检索，同时提供新增、修改、删除及一键流转功能；
交互明细：客服人员可通过交互明细页面查看客户与机器人的对话明细信息；
录音管理：录音管理模块提供了录音文件在线播放及下载功能。
交互明细和录音管理功能都是为了便于后期分析问题使用。
服务器端：
服务器端是连接大屏系统、管理端与底层能力的桥梁，调用底层语音唤醒、语音识别、情绪识别、人脸识别、唇定位等相关功能接口，完成相关业务功能的逻辑处理和数据存储，包括报表数据查询、存储，语音交互、录音查询等功能的逻辑处理。
数据基础支撑：
提供数据存储、语音唤醒、AV-HuBERT、情绪识别、人脸识别、唇定位、环境检测能力。
基于上述客户反馈信息处理系统的银行网点客户诉求反馈执行流程可以如图5所示。
由以上实施例可以看出，本发明技术方案带来了至少以下有益效果：
1、有助于商业银行及时洞察客户潜在需求，优化业务流程，解决客户问题，提升客户体验，增加客户保留率；
2、使用唇语识别技术大大提升了嘈杂环境下语音识别准确率，且采用红外检测，去除遮挡物对检测结果的影响；
3、结合人脸识别、环境分析技术大大提升了情绪识别准确率，使智能识别的结果更人性化；
4、可以自动记录客户建议或意见，并进行分类统计，通过对客户情绪的识别，还可以按优先级对客户问题进行处理，减少客户投诉；
5、减轻客服人员压力。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
基于同一发明构思，本发明实施例还提供了一种客户反馈信息处理装置，可以用于实现上述实施例所描述的客户反馈信息处理方法，如下面的实施例所述。由于客户反馈信息处理装置解决问题的原理与客户反馈信息处理方法相似，因此客户反馈信息处理装置的实施例可以参见客户反馈信息处理方法的实施例，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是本发明实施例客户反馈信息处理装置的结构框图，如图6所示，在本发明一个实施例中，本发明的客户反馈信息处理装置包括：
数据获取单元1，用于获取客户在进行信息反馈时输入的音频数据以及在所述客户进行信息反馈时采集的客户的图像数据；
唇部动作特征数据确定单元2，用于根据所述图像数据确定所述客户的唇部动作特征数据；
客户反馈文本信息确定单元3，用于根据所述音频数据、所述唇部动作特征数据以及预设的识别模型，确定客户反馈文本信息；
情绪状态信息确定单元4，用于根据所述音频数据确定所述客户在进行信息反馈时的情绪状态信息；
信息关联单元5，用于根据所述情绪状态信息确定处理优先等级，并将所述处理优先等级与所述客户反馈文本信息进行关联，以按照所述处理优先等级对所述客户反馈文本信息进行处理。
在本发明一个实施例中，所述图像数据具体包括：可见光图像数据和红外图像数据。
在本发明一个实施例中，唇部动作特征数据确定单元2，具体用于根据所述可见光图像数据和所述红外图像数据确定所述唇部动作特征数据。
在本发明一个实施例中，情绪状态信息确定单元4，具体用于通过对所述音频数据进行语调分析和语速分析，确定所述情绪状态信息。
在本发明一个实施例中，情绪状态信息确定单元4，具体用于根据所述音频数据以及所述图像数据确定所述客户在进行信息反馈时的情绪状态信息。
在本发明一个实施例中，情绪状态信息确定单元4，具体包括：
语调语速特征信息确定模块，用于对所述音频数据进行语调分析和语速分析，得到语调语速特征信息；
表情特征信息确定模块，用于基于所述图像数据确定所述客户的表情特征信息；
情绪状态信息生成模块，用于根据所述语调语速特征信息以及所述表情特征信息确定所述情绪状态信息。
在本发明另一个实施例中，情绪状态信息确定单元4，具体包括：
语调语速特征信息确定模块，用于对所述音频数据进行语调分析和语速分析，得到语调语速特征信息；
环境特征信息确定模块，用于基于所述图像数据确定环境特征信息；
情绪状态信息生成模块，用于根据所述语调语速特征信息以及所述环境特征信息确定所述情绪状态信息。
在本发明另一个实施例中，客户反馈文本信息确定单元3，具体用于根据所述音频数据、所述唇部动作特征数据采用预设的AV-HuBERT模型，确定客户反馈文本信息。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备。如图7所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。
处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。
上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述客户反馈信息处理方法中的步骤。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述客户反馈信息处理方法的步骤。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种客户反馈信息处理方法，其特征在于，包括：
获取客户在进行信息反馈时输入的音频数据以及在所述客户进行信息反馈时采集的客户的图像数据；
根据所述图像数据确定所述客户的唇部动作特征数据；
根据所述音频数据、所述唇部动作特征数据以及预设的识别模型，确定客户反馈文本信息；
根据所述音频数据确定所述客户在进行信息反馈时的情绪状态信息；
根据所述情绪状态信息确定处理优先等级，并将所述处理优先等级与所述客户反馈文本信息进行关联，以按照所述处理优先等级对所述客户反馈文本信息进行处理。
2.根据权利要求1所述的客户反馈信息处理方法，其特征在于，所述图像数据具体包括：可见光图像数据和红外图像数据；
所述根据所述图像数据确定所述客户的唇部动作特征数据，具体包括：
根据所述可见光图像数据和所述红外图像数据确定所述唇部动作特征数据。
3.根据权利要求1所述的客户反馈信息处理方法，其特征在于，所述根据所述音频数据确定所述客户在进行信息反馈时的情绪状态信息，具体包括：
通过对所述音频数据进行语调分析和语速分析，确定所述情绪状态信息。
4.根据权利要求1所述的客户反馈信息处理方法，其特征在于，所述根据所述音频数据确定所述客户在进行信息反馈时的情绪状态信息，具体包括：
根据所述音频数据以及所述图像数据确定所述客户在进行信息反馈时的情绪状态信息。
5.根据权利要求4所述的客户反馈信息处理方法，其特征在于，所述根据所述音频数据以及所述图像数据确定所述客户在进行信息反馈时的情绪状态信息，具体包括：
对所述音频数据进行语调分析和语速分析，得到语调语速特征信息；
基于所述图像数据确定所述客户的表情特征信息；
根据所述语调语速特征信息以及所述表情特征信息确定所述情绪状态信息。
6.根据权利要求4所述的客户反馈信息处理方法，其特征在于，所述根据所述音频数据以及所述图像数据确定所述客户在进行信息反馈时的情绪状态信息，具体包括：
对所述音频数据进行语调分析和语速分析，得到语调语速特征信息；
基于所述图像数据确定环境特征信息；
根据所述语调语速特征信息以及所述环境特征信息确定所述情绪状态信息。
7.根据权利要求1所述的客户反馈信息处理方法，其特征在于，所述根据所述音频数据、所述唇部动作特征数据以及预设的识别模型，确定客户反馈文本信息，具体包括：
根据所述音频数据、所述唇部动作特征数据采用预设的AV-HuBERT模型，确定客户反馈文本信息。
8.一种客户反馈信息处理装置，其特征在于，包括：
数据获取单元，用于获取客户在进行信息反馈时输入的音频数据以及在所述客户进行信息反馈时采集的客户的图像数据；
唇部动作特征数据确定单元，用于根据所述图像数据确定所述客户的唇部动作特征数据；
客户反馈文本信息确定单元，用于根据所述音频数据、所述唇部动作特征数据以及预设的识别模型，确定客户反馈文本信息；
情绪状态信息确定单元，用于根据所述音频数据确定所述客户在进行信息反馈时的情绪状态信息；
信息关联单元，用于根据所述情绪状态信息确定处理优先等级，并将所述处理优先等级与所述客户反馈文本信息进行关联，以按照所述处理优先等级对所述客户反馈文本信息进行处理。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任意一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至7任意一项所述方法的步骤。
11.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至7任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210973443.3A CN115273242A (zh) | 2022-08-15 | 2022-08-15 | 客户反馈信息处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210973443.3A CN115273242A (zh) | 2022-08-15 | 2022-08-15 | 客户反馈信息处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115273242A true CN115273242A (zh) | 2022-11-01 |
Family
ID=83750639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210973443.3A Pending CN115273242A (zh) | 2022-08-15 | 2022-08-15 | 客户反馈信息处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115273242A (zh) |
-
2022
- 2022-08-15 CN CN202210973443.3A patent/CN115273242A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220044679A1 (en) | Speech communication system and method with human-machine coordination | |
| US20210407520A1 (en) | Detecting user identity in shared audio source contexts | |
| CN106201424B (zh) | 一种信息交互方法、装置及电子设备 | |
| US10699702B2 (en) | System and method for personalization of acoustic models for automatic speech recognition | |
| JP7191987B2 (ja) | 話者埋め込みと訓練された生成モデルとを使用する話者ダイアライゼーション | |
| US8170866B2 (en) | System and method for increasing accuracy of searches based on communication network | |
| US20170277993A1 (en) | Virtual assistant escalation | |
| US7912720B1 (en) | System and method for building emotional machines | |
| US11675821B2 (en) | Method for capturing and updating database entries of CRM system based on voice commands | |
| WO2020253128A1 (zh) | 基于语音识别的通信服务方法、装置、计算机设备及存储介质 | |
| CN104538043A (zh) | 一种通话中实时情感提示装置 | |
| US20200349415A1 (en) | Method for capturing and storing contact information from a physical medium using machine learning | |
| CN108920640A (zh) | 基于语音交互的上下文获取方法及设备 | |
| CN108962243A (zh) | 到站提醒方法及装置、移动终端及计算机可读存储介质 | |
| CN111370004A (zh) | 人机交互方法、语音处理方法及设备 | |
| US20180247272A1 (en) | Dynamic alert system | |
| CN114138960A (zh) | 用户意图识别方法、装置、设备及介质 | |
| CN115831125A (zh) | 语音识别方法、装置、设备、存储介质及产品 | |
| CN115273242A (zh) | 客户反馈信息处理方法及装置 | |
| US20210012791A1 (en) | Image representation of a conversation to self-supervised learning | |
| CN112381989A (zh) | 排序方法、装置、系统和电子设备 | |
| CN113961680A (zh) | 基于人机交互的会话处理方法及装置、介质、电子设备 | |
| CN113505199A (zh) | 基于银行叫号终端的业务应答信息处理方法、装置及服务端系统 | |
| CN112651526A (zh) | 预约目标业务的方法、装置、设备以及存储介质 | |
| US11943392B2 (en) | System and method for providing personalized customer experience in interactive communications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |