CN112581015A - 基于ai检验的咨询师质量评估系统及评估方法 - Google Patents
基于ai检验的咨询师质量评估系统及评估方法 Download PDFInfo
- Publication number
- CN112581015A CN112581015A CN202011575207.3A CN202011575207A CN112581015A CN 112581015 A CN112581015 A CN 112581015A CN 202011575207 A CN202011575207 A CN 202011575207A CN 112581015 A CN112581015 A CN 112581015A
- Authority
- CN
- China
- Prior art keywords
- consultant
- consultation
- video
- data
- playing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 22
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 9
- 238000011156 evaluation Methods 0.000 title claims description 7
- 238000013473 artificial intelligence Methods 0.000 title abstract description 59
- 230000014509 gene expression Effects 0.000 claims abstract description 33
- 230000008451 emotion Effects 0.000 claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 22
- 238000005516 engineering process Methods 0.000 claims abstract description 16
- 238000004891 communication Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 39
- 238000009223 counseling Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 17
- 230000008921 facial expression Effects 0.000 claims description 14
- 238000001303 quality assessment method Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 6
- 238000007635 classification algorithm Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 239000000969 carrier Substances 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 210000000697 sensory organ Anatomy 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 12
- 238000002372 labelling Methods 0.000 description 9
- 230000036651 mood Effects 0.000 description 7
- 230000004927 fusion Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 241000209140 Triticum Species 0.000 description 2
- 235000021307 Triticum Nutrition 0.000 description 2
- 230000010485 coping Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
Abstract
本发明公开了基于AI检验的咨询师质量评估系统，包括咨询控制服务器(1)、咨询案例存储库(2)、咨询师端(3)、咨询者端(4)和报警和求助端(5)，所述咨询控制服务器(1)分别咨询案例存储库(2)、咨询师端(3)、咨询者端(4)和报警和求助端(5)数据连接，实现数据通信和控制。本申请提供一种基于AI辅助咨询的分析方法，基于先进的人工智能技术，能够智能获取咨询者的表情，判断咨询者的状态是否适合咨询，并给出咨询的打分，确定咨询的质量，为咨询者提供更好的服务，同时及时让咨询者调整自己的情绪和心理，以提高咨询时候的质量，同时加快咨询者的咨询进度。
Description
技术领域
本发明涉及咨询评估技术领域，具体为一种基于AI检验的咨询师质量评估系统及评估方法。
背景技术
咨询，通常是采用面对面的方式，或其他方式，如语音模式、视频模式和文字模式进行，但是这种咨询方式，不仅形式单调，而需要让咨询者和被咨询者面对面进行，而咨询者由于存在某种目的，容易隐藏一些表情等。这会导致咨询存在不准确的接哦股。
专利CN111476083A提供了一种电力员工安全帽佩戴自动识别方法，涉及模式识别与智能视频分析技术领域，建立以行人训练样本为输入的行人检测模型，通过网络参数微调，实现测试样本行人区域检测；建立以安全帽训练样本集为输入的SSD安全帽检测模型，将行人检测模型得到的行人上半身区域图像输入训练好的SSD安全帽检测模型，通过SSD网络参数微调，实现了实时的、高准确度的安全帽佩戴自动识别。本发明电力员工安全帽佩戴自动识别方法，利用高效的机器学习算法直接对目标实现检测，避免了外界环境变化导致颜色和边缘特征变化而影响检测精度，同时采用两种检测模型级联应用的方式，提升检测精度和效率。本发明提供的电力员工安全帽佩戴自动识别方法，利用高效的机器学习算法直接对目标实现检测，不依赖于行人的肤色信息和安全帽的颜色信息，避免了光照变化对检测精度的影响；不依赖于人脸区域的检测结果，克服了因人脸遮挡和行人背对摄像头而导致的漏检问题。本发明建立两个机器学习模型并级联使用，分别发挥了各自的优势，既能克服直接检测安全帽时的小目标检测困难，又能获得较好的实时性。
专利CN111881106A公开一种基于AI检验的数据标注和处理方法，本发明提出基于AI检验的数据标注和处理方法。所述方法包括获取待标注数据、将所述业务数据存储至业务数据存储系统中、所述业务数据存储系统广播所述业务数据并基于反馈结果进行标注任务分配、接收标注后的数据并进行AI检验处理等步骤。本发明的技术方案能基于AI模型确定人工标注的准确性，减少标注任务分配的人数，降低企业成本；同时标注人员可以用过微信小程序、h5网页、APP、PC网页等多种渠道来标注，手机端可以把标注人员的碎片时间利用起来，提高标注的效率。本发明还公开实现所述方法的计算机可读存储介质。
专利CN111881105A公开了一种业务数据的标注模型及其模型训练方法，本发明提出业务数据的标注模型及其模型训练方法。所述标注系统包括至少一个标注模型，所述标注模型包括数据标注AI检验模型。所述标注系统包括分布式文件系统(hdfs)、数据仓库工具(hive)、对象-关系型数据库管理系统(postgresql)以及远程字典服务模块(redis)。所述模型训练方法用于训练所述的业务数据的标注系统中所述的数据标注AI检验模型，该方法包括将判定数据标注有效的数据用json的格式发送到kafka中，通过kafka中的数据，重新自动训练所述数据标注AI检验模型。本发明的技术方案能够确保数据标注的准确性以及实现大规模数据准确标注。
1.前往咨询者可能存在隐瞒，这样导致咨询并未真实反映咨询者的真实表情，那么如果仅仅依据咨询师的咨询内容作为咨询的结果，必然存在差异，导致咨询并不准确。
2.前来咨询的人往往会出现言行不一的表情，针对一些不希望的表情容易会隐藏，但是表情往往是不会骗人的，因此如果能获取咨询者情绪，从而提高咨询者的咨询过程的体验，而咨询师通常并无依据咨询者的情绪实时调整咨询者咨询进程，对咨询师的要求也比较高，但现有技术中并无这种技术手段。
3.咨询师往往没有完全注意咨询者的表情、语音等数据，仅通过调查问卷和直接面对面的形式进行，咨询形式单一，不符合现今的多元化咨询方式。
4.现今，人工智能技术已经在很多领域得到了较好的应用，如人脸识别，各种智能机器人等，但是在咨询方面并未有效的应用。
面对上述技术问题，人们希望提供一种能够智能识别咨询者的情绪和面部表情的系统，能够避免咨询者的作假，真实反映咨询者的信息，提高准确的系统；另外一方面，能提供咨询师一个相应的咨询建议，以降低咨询师的要求。但到目前为止，现有技术中并无有效办法解决上述技术难题。而随着AI技术和人脸识别和语音识别技术的出现，人们寄往于借助先进的识别技术和AI智能化技术，解决上述技术问题，使其能提供更加准确的智能化识别技术以提高咨询的准确性。
发明内容
本发明的目的在于提供一种基于AI检验的咨询师质量评估系统及评估方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于AI检验的咨询师质量评估系统，包括咨询控制服务器1、咨询案例存储库2、咨询师端3、咨询者端4、和报警和求助端5；所述咨询控制服务器1分别咨询案例存储库2、咨询师端3、咨询者端4和报警和求助端5数据连接，实现数据通信和控制；
其中，所述咨询师端3包括咨询师视频显示端6、音频播放端7、播放控制模块8、咨询提醒单元9和AI分析器；其配置成，所述咨询师视频显示端6采用WebRTC协议显示在咨询时播放咨询者的实时视频图像，所述音频播放端7用于播放在咨询时咨询者的实时音频语音信息，以供咨询师判断是否需要调整咨询形式或者中断咨询；所述播放控制模块8用控制所述视频图像和音频图像的播放，或者调起相应的视频图像和音频图像的播放；所述AI分析器15根据获取的实时视频图像、音频语音信息进行分析以判断当前的咨询模式是否适合继续进行咨询；所述咨询提醒单元9可以根据咨询者的情况提醒咨询师确定是否继续进行当前咨询，或者转换咨询方式；
所述咨询者端4包括视频播放模块10、摄像头11、耳麦12、本地服务器13和音响14；其中所述视频播放模块10用于根据咨询控制服务器或咨询师端的控制播放规定的视频，所述音响用于同步根据咨询控制服务器或咨询师端的控制播放规定的音频；所述耳麦12用于将咨询者的声音转换为电信号并进行传输；所述摄像头11用于获取所述咨询者的面部表情视频，并通过RTMP协议将所述面部表情视频实时传输给所述咨询控制服务器，所述咨询控制服务器将音频和视频实时传输给所述咨询师视频显示端；所述本地服务器13用于在咨询者端进行分析和控制，用于控制本地的音频、视频播放和声音、视频的传感；
所述咨询案例存储库2存储有咨询者表情模型库，所述咨询者表情模型库存储大量的咨询者的咨询信息和对应的状态和应对信息。
优选的，所述咨询者表情模型库包括以人脸表情、视频数据、语音数据、文本数据为维度，并对应相应的实际情绪、是否出现异常，是否需要报警，危险级别，对应于的安抚方式。
优选的，在开始进行咨询时，所述咨询控制服务器根据所述咨询者端的所述摄像头(11)获取的人脸表情或视频数据，在所述咨询者表情模型库利用AI智能查询的方式，查询并匹配最接近的咨询者表情模型，当检查到出现异常、并需要报警时，发送报警信息给所述报警和求助模块，所述报警和求助模块发送给110紧急处紧急报警信息和发送给120相应的求助信息。
优选的，所述摄像头(11)获取实时视频图像后，提取实时视频帧图像，所述本地处理器13结合大数据和图像定位YOLOV3算法，实时定位视频中的人脸五官，检测并截取视频中的人脸得出最近的视频图像流，并将处理后的视频图像流发送给咨询控制服务器和发送给咨询师端进行播放。
优选的，所述AI分析器根据截取的图片，使用深度学习框架和ResNet50分类算法模型识别人脸的微表情，并且使用VGG19模型识别脸龄，通过分析用户和年龄和微表情确定识别过程中的心理状态，然后实时反馈给咨询师用户的年龄属性和情绪，然后生成建议给咨询师，并提醒咨询师是否仅需要换一个咨询方式进行或者中止当前的咨询。
优选的，所述AI分析器实时拉取连麦过程中的语音流数据，并进行RTMP流数据转码，并使用kaldi框架识别用户和咨询师说的话，转成文字，进行文字分析，从而在咨询者存在语言或视频交流障碍时采用转换成文字的形式咨询，从而提供咨询方式的多样性。
优选的，所述分析器其用于根据用户的身体情况、天气情况等设定特定的气候，容易对情绪的专门影响，在AI分析器进行相应的分析判断时进行必要的调整。如秋天气候干燥，或女性用户特殊生理期导致情绪容易爆发等情况，此时，在AI分析器进行分析判断时，需要把相应的情绪考虑进去，以便更好的情绪咨询。
优选的，所述分析器使用bert模型，对识别的语音文字进行情绪分析，确定咨询过程中用户的情绪；并识别咨询师咨询的过程是否专业，是否有违规的情况产生。
优选的，通过组合上面的图像、语音、文件识别技术，达成模型融合，实现多模态识别。
优选的，标注的数据用json的格式发送到kafka中，通过kafka中的数据，可以自动训练新的模型，通过标注好的数据，可以提升训练AI模型的准确率，模型训练好之后可以发布成服务接入到业务中验证模型效果，通过AI模型来提升业务指标。
优选的，所述AI分析器能够智能获取咨询者的表情，判断咨询者的状态是否适合咨询，并给出咨询的打分，确定咨询的质量，为咨询者提供更好的服务，同时及时让咨询者调整自己的情绪和心理，以提高咨询时候的质量，同时加快咨询者的咨询进度。
另外一方面，本申请还提供一种基于AI检验的咨询师质量的评估方法，包括基于AI检验的咨询师质量评估系统，具体评估方法如下；
步骤S1，初始化基于AI检验的咨询师质量评估系统，建立咨询控制服务器和咨询者端4、咨询实现核心控制端1和可穿戴式设备2、提醒和查询终端3、远程在线医务单元4和语音提醒单元5通信连接；
步骤S2，确定数据通信连接正常后，咨询者面对质询者端进行摄像头的图像获取和耳麦的音频获取，在咨询师端通过流媒体串流协议发起获取视频数据请求时，摄像头的视频流通过RTMP协议RTMP实现推流和拉流，从而将视频传输给所述咨询师视频显示端，同时使用WebRTC技术实现连麦，从而将音频流传输给音频播放端；
步骤S3，为了更好传递图像，使实时视频帧图像，结合大数据和图像定位YOLOV3算法，实时定位视频中的人脸五官，检测并截取视频中的人脸，从而更好的将图像传输给咨询师端；
步骤S4，所述咨询师更加视频图像和声音图像或其他载体形式的模型进行判断和评估；
步骤S5，所述AI分析器15根据获取的实时视频图像、音频语音信息进行分析以判断当前的咨询模式是否适合继续进行咨询；所述咨询提醒单元9可以根据咨询者的情况提醒咨询师确定是否继续进行当前咨询，或者转换咨询方式；
步骤S6，当需要转向咨询方式时，所述咨询控制服务器通知咨询师端和所述咨询者端进行相应的调整，并切换咨询方式进行咨询。
优选的，根据截取的图片，使用深度学习框架和ResNet50分类算法模型识别人脸的微表情，并且使用VGG19模型识别脸龄。通过分析用户和年龄和微表情确定识别过程中的心理状态。然后实时反馈给咨询师用户的年龄属性和情绪，然后生成建议给咨询师。
优选的，实时拉取连麦过程中的语音流数据，并进行RTMP流数据转码，并使用kaldi框架识别用户和咨询师说的话，转成文字，进行文字分析。
优选的，通过组合上面的图像、语音、文件识别技术，达成模型融合，实现多模态识别。
优选的，标注的数据用json的格式发送到kafka中，通过kafka中的数据，可以自动训练新的模型，通过标注好的数据，可以提升训练AI模型的准确率，模型训练好之后可以发布成服务接入到业务中验证模型效果，通过AI模型来提升业务指标。
与现有技术相比，本发明的有益效果是：
1.本发明中，结合咨询师的直播时候的表情和说话的语气，结合AI方法判断咨询时的质量。
2.本发明中，在进行咨询的时候，能够在咨询的实时，分析咨询者的表情和说话语气，结合AI的分析，实时提醒给咨询者提供意见，同时主动将上述分析提供给咨询师，并提供建议给咨询师，提高咨询者咨询过程的体验。
3.本发明中，可以建立多模态分析的AI模型，包括人脸表情、视频数据、语音数据、文本数据，建立一个结合多个维度的模块，以提高AI模型识别的准确率，从而从多个维度进行咨询分析。
4.本申请提供一种基于AI辅助咨询的分析方法，基于先进的人工智能技术，能够智能获取咨询者的表情，判断咨询者的状态是否适合咨询，并给出咨询的打分，确定咨询的质量，为咨询者提供更好的服务，同时及时让咨询者调整自己的情绪和心理，以提高咨询时候的质量，同时加快咨询者的咨询进度。
附图说明
图1为本发明的整体结构示意图；
图2为本发明的咨询师端的结构示意图；
图3为本发明的咨询者端的结构示意图。
图中：1、咨询控制服务器；2、咨询案例存储库；3、咨询师端；4、咨询者端；5、报警和求助端；6、咨询师视频显示端；7、音频播放端；8、播放控制模块；9、咨询提醒单元；10、视频播放模块；11、摄像头；12、耳麦；13、本地服务器；14、音响；15、AI分析器。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
具体实施例一：
请参阅图1，本发明提供一种技术方案：一种基于AI检验的咨询师质量评估系统，包括咨询控制服务器1、咨询案例存储库2、咨询师端3、咨询者端4、和报警和求助端5；所述咨询控制服务器1分别咨询案例存储库2、咨询师端3、咨询者端4和报警和求助端5数据连接，实现数据通信和控制；
其中，所述咨询师端3包括咨询师视频显示端6、音频播放端7、播放控制模块8、咨询提醒单元9和AI分析器15；其配置成，所述咨询师视频显示端6采用WebRTC协议显示在咨询时播放咨询者的实时视频图像，所述音频播放端7用于播放在咨询时咨询者的实时音频语音信息，以供咨询师判断是否需要调整咨询形式或者中断咨询；所述播放控制模块8用控制所述视频图像和音频图像的播放，或者调起相应的视频图像和音频图像的播放；所述AI分析器15根据获取的实时视频图像、音频语音信息进行分析以判断当前的咨询模式是否适合继续进行咨询；所述咨询提醒单元9可以根据咨询者的情况提醒咨询师确定是否继续进行当前咨询，或者转换咨询方式；
所述咨询者端4包括视频播放模块10、摄像头11、耳麦12、本地服务器13和音响14；其中所述视频播放模块10用于根据咨询控制服务器或咨询师端的控制播放规定的视频，所述音响用于同步根据咨询控制服务器或咨询师端的控制播放规定的音频；所述耳麦12用于将咨询者的声音转换为电信号并进行传输；所述摄像头11用于获取所述咨询者的面部表情视频，并通过RTMP协议将所述面部表情视频实时传输给所述咨询控制服务器，所述咨询控制服务器将音频和视频实时传输给所述咨询师视频显示端；所述本地服务器13用于在咨询者端进行分析和控制，用于控制本地的音频、视频播放和声音、视频的传感；
所述咨询案例存储库2存储有咨询者表情模型库，所述咨询者表情模型库存储大量的咨询者的咨询信息和对应的状态和应对信息。
优选的，所述咨询者表情模型库包括以人脸表情、视频数据、语音数据、文本数据为维度，并对应相应的实际情绪、是否出现异常，是否需要报警，危险级别，对应于的安抚方式。
优选的，在开始进行咨询时，所述咨询控制服务器根据所述咨询者端的所述摄像头(11)获取的人脸表情或视频数据，在所述咨询者表情模型库利用AI智能查询的方式，查询并匹配最接近的咨询者表情模型，当检查到出现异常、并需要报警时，发送报警信息给所述报警和求助模块，所述报警和求助模块发送给110紧急处紧急报警信息和发送给120相应的求助信息。
优选的，所述摄像头(11)获取实时视频图像后，提取实时视频帧图像，所述本地处理器13结合大数据和图像定位YOLOV3算法，实时定位视频中的人脸五官，检测并截取视频中的人脸得出最近的视频图像流，并将处理后的视频图像流发送给咨询控制服务器和发送给咨询师端进行播放。
优选的，所述AI分析器根据截取的图片，使用深度学习框架和ResNet50分类算法模型识别人脸的微表情，并且使用VGG19模型识别脸龄，通过分析用户和年龄和微表情确定识别过程中的心理状态，然后实时反馈给咨询师用户的年龄属性和情绪，然后生成建议给咨询师，并提醒咨询师是否仅需要换一个咨询方式进行或者中止当前的咨询。
优选的，所述AI分析器实时拉取连麦过程中的语音流数据，并进行RTMP流数据转码，并使用kaldi框架识别用户和咨询师说的话，转成文字，进行文字分析，从而在咨询者存在语言或视频交流障碍时采用转换成文字的形式咨询，从而提供咨询方式的多样性。
优选的，所述分析器其用于根据用户的身体情况、天气情况等设定特定的气候，容易对情绪的专门影响，在AI分析器进行相应的分析判断时进行必要的调整。如秋天气候干燥，或女性用户特殊生理期导致情绪容易爆发等情况，此时，在AI分析器进行分析判断时，需要把相应的情绪考虑进去，以便更好的情绪咨询。
优选的，所述分析器使用bert模型，对识别的语音文字进行情绪分析，确定咨询过程中用户的情绪；并识别咨询师咨询的过程是否专业，是否有违规的情况产生。
优选的，通过组合上面的图像、语音、文件识别技术，达成模型融合，实现多模态识别。
优选的，标注的数据用json的格式发送到kafka中，通过kafka中的数据，可以自动训练新的模型，通过标注好的数据，可以提升训练AI模型的准确率，模型训练好之后可以发布成服务接入到业务中验证模型效果，通过AI模型来提升业务指标。
优选的，所述AI分析器能够智能获取咨询者的表情，判断咨询者的状态是否适合咨询，并给出咨询的打分，确定咨询的质量，为咨询者提供更好的服务，同时及时让咨询者调整自己的情绪和心理，以提高咨询时候的质量，同时加快咨询者的咨询进度。
具体实施例二：一种基于AI检验的咨询师质量的评估方法，包括基于AI检验的咨询师质量评估系统，具体评估方法如下；
一种基于AI检验的咨询师质量的评估方法，包括基于AI检验的咨询师质量评估系统，具体评估方法如下；
步骤S1，初始化基于AI检验的咨询师质量评估系统，建立咨询控制服务器和咨询者端4、咨询实现核心控制端1和可穿戴式设备2、提醒和查询终端3、远程在线医务单元4和语音提醒单元5通信连接；
步骤S2，确定数据通信连接正常后，咨询者面对质询者端进行摄像头的图像获取和耳麦的音频获取，在咨询师端通过流媒体串流协议发起获取视频数据请求时，摄像头的视频流通过RTMP协议RTMP实现推流和拉流，从而将视频传输给所述咨询师视频显示端，同时使用WebRTC技术实现连麦，从而将音频流传输给音频播放端；
步骤S3，为了更好传递图像，使实时视频帧图像，结合大数据和图像定位YOLOV3算法，实时定位视频中的人脸五官，检测并截取视频中的人脸，从而更好的将图像传输给咨询师端；
步骤S4，所述咨询师更加视频图像和声音图像或其他载体形式的模型进行判断和评估；
步骤S5，所述AI分析器15根据获取的实时视频图像、音频语音信息进行分析以判断当前的咨询模式是否适合继续进行咨询；所述咨询提醒单元9可以根据咨询者的情况提醒咨询师确定是否继续进行当前咨询，或者转换咨询方式；
步骤S6，当需要转向咨询方式时，所述咨询控制服务器通知咨询师端和所述咨询者端进行相应的调整，并切换咨询方式进行咨询。
优选的，根据截取的图片，使用深度学习框架和ResNet50分类算法模型识别人脸的微表情，并且使用VGG19模型识别脸龄。通过分析用户和年龄和微表情确定识别过程中的心理状态。然后实时反馈给咨询师用户的年龄属性和情绪，然后生成建议给咨询师。
优选的，实时拉取连麦过程中的语音流数据，并进行RTMP流数据转码，并使用kaldi框架识别用户和咨询师说的话，转成文字，进行文字分析。
优选的，通过组合上面的图像、语音、文件识别技术，达成模型融合，实现多模态识别。
优选的，标注的数据用json的格式发送到kafka中，通过kafka中的数据，可以自动训练新的模型，通过标注好的数据，可以提升训练AI模型的准确率，模型训练好之后可以发布成服务接入到业务中验证模型效果，通过AI模型来提升业务指标。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语″包括″、″包含″或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种基于AI检验的咨询师质量评估系统，包括咨询控制服务器(1)、咨询案例存储库(2)、咨询师端(3)、咨询者端(4)和报警和求助端(5)，所述咨询控制服务器(1)分别咨询案例存储库(2)、咨询师端(3)、咨询者端(4)和报警和求助端(5)数据连接，实现数据通信和控制；其特征在于：
其中，所述咨询师端(3)包括咨询师视频显示端(6)、音频播放端(7)、播放控制模块(8)、咨询提醒单元(9)和AI分析器(15)；其配置成，所述咨询师视频显示端(6)采用WebRTC协议显示在咨询时播放咨询者的实时视频图像，所述音频播放端(7)用于播放在咨询时咨询者的实时音频语音信息，以供咨询师判断是否需要调整咨询形式或者中断咨询；所述播放控制模块(8)用控制所述视频图像和音频图像的播放，或者调起相应的视频图像和音频图像的播放；所述AI分析器(15)根据获取的实时视频图像、音频语音信息进行分析以判断当前的咨询模式是否适合继续进行咨询；所述咨询提醒单元(9)可以根据咨询者的情况提醒咨询师确定是否继续进行当前咨询，或者转换咨询方式；
所述咨询者端(4)包括视频播放模块(10)、摄像头(11)、耳麦(12)、本地服务器(13)和音响(14)；其中所述视频播放模块(10)用于根据咨询控制服务器或咨询师端的控制播放规定的视频，所述音响用于同步根据咨询控制服务器或咨询师端的控制播放规定的音频；所述耳麦(12)用于将咨询者的声音转换为电信号并进行传输；所述摄像头(11)用于获取所述咨询者的面部表情视频，并通过RTMP协议将所述面部表情视频实时传输给所述咨询控制服务器，所述咨询控制服务器将音频和视频实时传输给所述咨询师视频显示端；所述本地服务器(13)用于在咨询者端进行分析和操纵，用于控制本地的音频、视频播放和声音、视频的传感；
所述咨询案例存储库(2)存储有咨询者表情模型库，所述咨询者表情模型库存储大量的咨询者的咨询信息和对应的状态和应对信息；所述咨询者表情模型库包括以人脸表情、视频数据、语音数据、文本数据为维度，并对应相应的实际情绪、是否出现异常，是否需要报警，危险级别，对应于的安抚方式；在开始进行咨询时，所述咨询控制服务器根据所述咨询者端的所述摄像头(11)获取的人脸表情或视频数据，在所述咨询者表情模型库利用AI智能查询的方式，查询并匹配最接近的咨询者表情模型，当检查到出现异常、并需要报警时，发送报警信息给所述报警和求助模块，所述报警和求助模块发送给110紧急处紧急报警信息和发送给120相应的求助信息。
2.根据权利要求1所述的一种基于AI检验的咨询师质量评估系统，其特征在于：所述摄像头(11)获取实时视频图像后，提取实时视频帧图像，所述本地处理器(13)结合大数据和图像定位YOLOV3算法，实时定位视频中的人脸五官，检测并截取视频中的人脸得出最近的视频图像流，并将处理后的视频图像流发送给咨询控制服务器和发送给咨询师端进行播放。
3.根据权利要求1所述的一种基于AI检验的咨询师质量评估系统，其特征在于：所述AI分析器根据截取的图片，使用深度学习框架和ResNet50分类算法模型识别人脸的微表情，并且使用VGG19模型识别脸龄，通过分析用户和年龄和微表情确定识别过程中的心理状态，然后实时反馈给咨询师用户的年龄属性和情绪，然后生成建议给咨询师，并提醒咨询师是否仅需要换一个咨询方式进行或者中止当前的咨询。
4.根据权利要求1所述的一种基于AI检验的咨询师质量评估系统，其特征在于：所述AI分析器实时拉取连麦过程中的语音流数据，并进行RTMP流数据转码，并使用kaldi框架识别用户和咨询师说的话，转成文字，进行文字分析，从而在咨询者存在语言或视频交流障碍时采用转换成文字的形式咨询。
5.根据权利要求1所述的一种基于AI检验的咨询师质量评估系统，其特征在于：所述AI分析器其用于根据用户的身体情况、天气情况等设定特定的气候，容易对情绪的专门影响，在AI分析器进行相应的分析判断时进行必要的调整。
6.根据权利要求1所述的一种基于AI检验的咨询师质量评估系统，其特征在于：所述分析器使用bert模型，对识别的语音文字进行情绪分析，确定咨询过程中用户的情绪；并识别咨询师咨询的过程是否专业，是否有违规的情况产生。
7.一种基于AI检验的咨询师质量的评估方法，包括基于AI检验的咨询师质量评估系统，具体评估方法如下；
步骤S1，初始化基于AI检验的咨询师质量评估系统，建立咨询控制服务器和咨询者端4、咨询实现核心控制端1和可穿戴式设备2、提醒和查询终端3、远程在线医务单元4和语音提醒单元5通信连接；
步骤S2，确定数据通信连接正常后，咨询者面对质询者端进行摄像头的图像获取和耳麦的音频获取，在咨询师端通过流媒体串流协议发起获取视频数据请求时，摄像头的视频流通过RTMP协议RTMP实现推流和拉流，从而将视频传输给所述咨询师视频显示端，同时使用WebRTC技术实现连麦，从而将音频流传输给音频播放端；
步骤S3，为了更好传递图像，使实时视频帧图像，结合大数据和图像定位YOLOV3算法，实时定位视频中的人脸五官，检测并截取视频中的人脸，从而更好的将图像传输给咨询师端；
步骤S4，所述咨询师更加视频图像和声音图像或其他载体形式的模型进行判断和评估；
步骤S5，所述AI分析器15根据获取的实时视频图像、音频语音信息进行分析以判断当前的咨询模式是否适合继续进行咨询；所述咨询提醒单元9可以根据咨询者的情况提醒咨询师确定是否继续进行当前咨询，或者转换咨询方式；
步骤S6，当需要转向咨询方式时，所述咨询控制服务器通知咨询师端和所述咨询者端进行相应的调整，并切换咨询方式进行咨询。
8.根据权利要求7所述的一种基于AI检验的咨询师质量的评估方法，其特征在于：标注的数据用json的格式发送到kafka中，通过kafka中的数据，可以自动训练新的模型，通过标注好的数据，可以提升训练AI模型的准确率，模型训练好之后可以发布成服务接入到业务中验证模型效果，通过AI模型来提升业务指标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011575207.3A CN112581015B (zh) | 2020-12-28 | 2020-12-28 | 基于ai检验的咨询师质量评估系统及评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011575207.3A CN112581015B (zh) | 2020-12-28 | 2020-12-28 | 基于ai检验的咨询师质量评估系统及评估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112581015A true CN112581015A (zh) | 2021-03-30 |
| CN112581015B CN112581015B (zh) | 2024-02-09 |
Family
ID=75140020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011575207.3A Active CN112581015B (zh) | 2020-12-28 | 2020-12-28 | 基于ai检验的咨询师质量评估系统及评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112581015B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113113116A (zh) * | 2021-04-13 | 2021-07-13 | 广州市人心网络科技有限公司 | 一种基于微表情识别的视频心理咨询情绪分析辅助方法、存储介质及系统 |
| CN114024941A (zh) * | 2021-11-11 | 2022-02-08 | 南京国电南自轨道交通工程有限公司 | 一种基于WebRTC多终端多路实时视频监控方法 |
| CN114418115A (zh) * | 2022-01-11 | 2022-04-29 | 华中师范大学 | 心理咨询师的共情会谈训练方法、装置、设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682447A (zh) * | 2017-02-16 | 2017-05-17 | 上海心得乐网络科技有限公司 | 一种计算机辅助心理咨询系统和方法 |
| CN207489085U (zh) * | 2017-05-27 | 2018-06-12 | 重庆时英教育科技有限公司 | 交通运输业远程安全管理咨询系统 |
| CN108876177A (zh) * | 2018-06-28 | 2018-11-23 | 北京博数嘉科技有限公司 | 一种旅游咨询管理平台及管理方法 |
| CN110378463A (zh) * | 2019-07-15 | 2019-10-25 | 北京智能工场科技有限公司 | 一种人工智能模型标准化训练平台及自动化系统 |
| CN111134694A (zh) * | 2019-12-20 | 2020-05-12 | 浙江连信科技有限公司 | 基于人机交互的心理咨询分析方法及装置 |
| CN111300443A (zh) * | 2020-02-29 | 2020-06-19 | 重庆百事得大牛机器人有限公司 | 基于法律咨询机器人的情绪安抚方法 |
| CN111368053A (zh) * | 2020-02-29 | 2020-07-03 | 重庆百事得大牛机器人有限公司 | 基于法律咨询机器人的情绪安抚系统 |
| CN111696648A (zh) * | 2020-05-07 | 2020-09-22 | 北京大学第六医院 | 一种基于互联网的心理咨询平台 |
| CN112085422A (zh) * | 2020-10-28 | 2020-12-15 | 杭州环研科技有限公司 | 一种基于人工智能的环保在线服务系统 |
-
2020
- 2020-12-28 CN CN202011575207.3A patent/CN112581015B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682447A (zh) * | 2017-02-16 | 2017-05-17 | 上海心得乐网络科技有限公司 | 一种计算机辅助心理咨询系统和方法 |
| CN207489085U (zh) * | 2017-05-27 | 2018-06-12 | 重庆时英教育科技有限公司 | 交通运输业远程安全管理咨询系统 |
| CN108876177A (zh) * | 2018-06-28 | 2018-11-23 | 北京博数嘉科技有限公司 | 一种旅游咨询管理平台及管理方法 |
| CN110378463A (zh) * | 2019-07-15 | 2019-10-25 | 北京智能工场科技有限公司 | 一种人工智能模型标准化训练平台及自动化系统 |
| CN111134694A (zh) * | 2019-12-20 | 2020-05-12 | 浙江连信科技有限公司 | 基于人机交互的心理咨询分析方法及装置 |
| CN111300443A (zh) * | 2020-02-29 | 2020-06-19 | 重庆百事得大牛机器人有限公司 | 基于法律咨询机器人的情绪安抚方法 |
| CN111368053A (zh) * | 2020-02-29 | 2020-07-03 | 重庆百事得大牛机器人有限公司 | 基于法律咨询机器人的情绪安抚系统 |
| CN111696648A (zh) * | 2020-05-07 | 2020-09-22 | 北京大学第六医院 | 一种基于互联网的心理咨询平台 |
| CN112085422A (zh) * | 2020-10-28 | 2020-12-15 | 杭州环研科技有限公司 | 一种基于人工智能的环保在线服务系统 |
Non-Patent Citations (1)
| Title |
|---|
| 欧阳民;: "基于Web的高校在线心理咨询系统设计", 科技广场, no. 11, pages 39 - 43 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113113116A (zh) * | 2021-04-13 | 2021-07-13 | 广州市人心网络科技有限公司 | 一种基于微表情识别的视频心理咨询情绪分析辅助方法、存储介质及系统 |
| CN114024941A (zh) * | 2021-11-11 | 2022-02-08 | 南京国电南自轨道交通工程有限公司 | 一种基于WebRTC多终端多路实时视频监控方法 |
| CN114418115A (zh) * | 2022-01-11 | 2022-04-29 | 华中师范大学 | 心理咨询师的共情会谈训练方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112581015B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110991381B (zh) | 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法 | |
| CN112581015B (zh) | 基于ai检验的咨询师质量评估系统及评估方法 | |
| US10706873B2 (en) | Real-time speaker state analytics platform | |
| Bachorowski | Vocal expression and perception of emotion | |
| CN110874716A (zh) | 面试测评方法、装置、电子设备及存储介质 | |
| CN112016367A (zh) | 一种情绪识别系统、方法及电子设备 | |
| CN114898861A (zh) | 基于全注意力机制的多模态抑郁症检测方法和系统 | |
| US10878813B2 (en) | Analytics-based speech therapy | |
| US20210271864A1 (en) | Applying multi-channel communication metrics and semantic analysis to human interaction data extraction | |
| Antunes et al. | A framework to support development of sign language human-computer interaction: Building tools for effective information access and inclusion of the deaf | |
| Brinkschulte et al. | The EMPATHIC project: building an expressive, advanced virtual coach to improve independent healthy-life-years of the elderly | |
| CN113035232B (zh) | 一种基于语音识别的心理状态预测系统、方法及装置 | |
| US20220383896A1 (en) | System and method for collecting behavioural data to assist interpersonal interaction | |
| Suarez et al. | Building a Multimodal Laughter Database for Emotion Recognition. | |
| CN210516214U (zh) | 一种基于视频及语音交互服务设备 | |
| Burkhardt et al. | Detecting vocal irony | |
| KR20230043080A (ko) | 대화기반 정신장애선별방법 및 그 장치 | |
| CN206892866U (zh) | 具有情景分析功能的智能对话装置 | |
| WO2022180860A1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
| WO2023079370A1 (en) | System and method for enhancing quality of a teaching-learning experience | |
| Louwerse et al. | Multimodal communication in face-to-face computer-mediated conversations | |
| Pan et al. | Assessing Joint Engagement Between Children With Autism Spectrum Disorder and Their Parents During The Home Intervention Sessions From the Expressive Language Aspect | |
| Chaspari et al. | The development of the Athens Emotional States Inventory (AESI): collection, validation and automatic processing of emotionally loaded sentences | |
| WO2022180862A1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
| WO2022180861A1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |