CN112579744A - 一种在线心理咨询中风险控制的方法 - Google Patents
一种在线心理咨询中风险控制的方法 Download PDFInfo
- Publication number
- CN112579744A CN112579744A CN202011575337.7A CN202011575337A CN112579744A CN 112579744 A CN112579744 A CN 112579744A CN 202011575337 A CN202011575337 A CN 202011575337A CN 112579744 A CN112579744 A CN 112579744A
- Authority
- CN
- China
- Prior art keywords
- data
- audio
- emotion
- monitoring
- online
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 29
- 208000024891 symptom Diseases 0.000 claims abstract description 18
- 238000004891 communication Methods 0.000 claims abstract description 13
- 230000003993 interaction Effects 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000012954 risk control Methods 0.000 claims abstract description 11
- 230000005540 biological transmission Effects 0.000 claims abstract description 8
- 238000010835 comparative analysis Methods 0.000 claims abstract description 4
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 230000008451 emotion Effects 0.000 claims description 78
- 238000012544 monitoring process Methods 0.000 claims description 77
- 238000004458 analytical method Methods 0.000 claims description 23
- 238000009223 counseling Methods 0.000 claims description 17
- 230000002996 emotional effect Effects 0.000 claims description 16
- 238000003058 natural language processing Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000036651 mood Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 206010011469 Crying Diseases 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims 2
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000004880 explosion Methods 0.000 claims 1
- 230000002452 interceptive effect Effects 0.000 abstract 2
- 238000005516 engineering process Methods 0.000 description 11
- 238000013467 fragmentation Methods 0.000 description 4
- 238000006062 fragmentation reaction Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 206010054196 Affect lability Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001575999 Hakka Species 0.000 description 1
- 235000016278 Mentha canadensis Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种在线心理咨询中风险控制的方法，包括本地对话交互设备1、服务器端模块2、远程在线咨询单元3、心理状态和症状对应库4和报警模块5；所述本地对话交互设备1包括本地处理设备6、音频传感设备7、视频传感设备8、自动方言选择开关9、敏感词和语音库10、音频输出模块11和视频传输模块12；其中，所述本地对话交互设备1和服务器端模块2通过通信信号连接，所述服务器端模块2分别和远程在线咨询单元3、心理状态和症状对应库4和报警模块5通信信号连接；本发明对所述音频和视频进行对比分析，然后分别进行对应的安全检测过滤，并对特殊的数据进行人工干预，以免意外发生。同时，利用方言识别方式，更好地进行智能语音识别，从而提升本申请的咨询的准确性。
Description
技术领域
本发明涉及在线心理咨询技术领域，具体为一种在线心理咨询中风险控制的方法。
背景技术
随着社会的进步和科技的发展，在线服务已经在我们的生活中越来越普及化，越来越多的人喜欢网络给我们带来的便捷，人们希望能通过网络来给我们节省大量的时间和金钱，很多时候我们也不希望自己的某些隐私让周围的人知道，因此便有了在线心理咨询，但即使是进行在线心理咨询，也会存在很多隐患，比如说在线对话或直播的双方是否目的真实、一方是否能够进行有效的疏导、另一方是否有所好转等。但在现有技术中，基本只是单独针对文本内容或图片内容单独进行风险分析或监测。另外一方面，很多心理隐私，人民并不希望被其他人知道，或者可以告诉陌生人，但是不希望别人知道是自己述说的，因此，现有技术中也存在变音软件，可以改变人说话的声音，从而使得病人的声音传递到医生后改变成另外一种音调，这样在一定程度上可以防止病人被医生识别出来，从而一定程度上保护病人的隐身，打消病人的顾虑，但是变音的方式属于比较低端的声音加密方法，很容易被破解和还原，这样病人的隐身依然容易被暴露。
另外一方面，现有技术中也存在将声音转变为文字的相关技术，如ASR(AutomaticSpeech Recognition，全称：自动语音识别技术)，它便是一种将人的语音转换为文本的技术。以及NLP(Natural Language Processing，缩写作NLP，全称自然语言处理)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言处理包括多方面和步骤，基本有认知、理解、生成等部分。自然语言认知和理解是让电脑把输入的语言变成有意思的符号和关系，然后根据目的再处理。自然语言生成系统则是把计算机数据转化为自然语言。
这样可以使得病人的语音以文字的形式传递给病人，医患之间只是进行文字的交流，从而一定程度杜绝了病人的声音被医生识别出来的可能性。
同时，现有专利技术仅仅是对在线双方的已经发生的事情进行监测分析，只能监测到已经发生的风险问题，并不会对当前在线双方情绪进行监测，存在很大的安全隐患，这样容易导致判断不准确。
另外一方面，我国领土辽阔，南北、东西的说话方言众多，包括北方方言、吴方言、湘方言、赣方言、客家方言、闽北方言、闽南方言和粤方言共八大方言语系，不同的方言体系的语音和表达差别巨大，这为计算机智能识别语音存在困难，容易导致语音识别不准，为智能化在线心理咨询带来困难；而且，即使在同一个方言体系中，也存在三里不同调、十里不同音、百里不同俗的特点，因此，对我国这种方言众多的国家来说，采用智能化在线咨询，必然存在方言和音调的差别导致语音识别错误，最终导致在线心理咨询存在众多缺陷，由于不能正确识别语音，最终导致在线心理咨询不能正常执行，或者出现心理咨询未能正常反馈心理咨询者大多心理。
面对上述技术问题，希望提供一种利用先进计算机技术的在线心理咨询方法，通过对在线行为数据进行分析，通过实时跟踪分析用户心理状态，进行在线服务相关风险监测。除了基础的内容安全风险控制，还会针对在线人员的情绪阈值以及情绪走势进行相关预判，提前告警，其能够取代不同传统的利用心理医生直接诊断的模式，或者至少不直接面对心理医生，而产生怯场而隐瞒真实心理，而导致心理咨询不能有效进行的有效执行的模式；实现完全智能化的心理咨询的方式，提供更好有效和快速的心理在线咨询方式，并且，针对我国地区辽阔，方言多的特点，提供一种能够识别方言的在线心理咨询方式。但到目前为止，现有技术中并无有效办法解决上述技术难题。而随着人工智能、神经网络技术和自我学习技术的发展，人们寄往于借助这些新技术，解决上述技术问题，使其能提供帮助在线心理咨询的更加准确，可以适合更广泛的地区。
发明内容
针对上述技术问题，本发明的目的在于通过实现机器人对话系统可以实现与用户进行文本聊天交流、语音实时聊天、视频实时聊天的心理状态检测及正向情绪引导。方便用户实现远程云端的心理疏导，通过Al+心理诊断机制完成对用户的心理状态检测及定制化诊疗，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种在线心理咨询中风险控制的方法，包括本地对话交互设备1、服务器端模块2、远程在线咨询单元3、心理状态和症状对应库4和报警模块5；所述本地对话交互设备1包括本地处理设备6、音频传感设备7、视频传感设备8、自动方言选择开关9、敏感词和语音库10、音频输出模块11和视频传输模块12；其中，所述本地对话交互设备1和服务器端模块2通过通信信号连接，所述服务器端模块2分别和远程在线咨询单元3、心理状态和症状对应库4和报警模块5通信信号连接；
所述本地处理设备6分别和所述音频传感设备7、所述视频传感设备8、所述自动方言选择开关9、所述敏感词和语音库10、所音频输出模块11和所述视频传输模块12通信连接；咨询人员需要进行心理咨询和引导时，执行如下步骤：
S1.心理咨询者通过手动方式选择方言识别模式，实现本地处理设备自动调整到识别某地的方言；同时，也可以通过自动方言选择开关进行识别，并在进行方言识别不正确的时候，可以通过手动方式选择合适的方言模式；
S2.本地的音频传感设备2和视频传感设备3获取音频和视频的信息，本地处理设备在线信息数据获取与拆分以及相关处理，分别获取语音、图像、文本相关信息，其中语音信息会通过NLP自然语言处理进行相关音频转文字操作，转换之后的文本与聊天相关检测方式相同；
S101.进行在线活动数据读取，收集在线服务过程中产生的相关视频音频及文字数据；
S102.对数据进行相关分类，所述本地处理设备6利用敏感词和语音库10中的存储的敏感词和语音和所述音频和视频进行对比分析，然后分别进行对应的安全检测过滤；
S103.对数据的结果进行分析并进行相关警告反馈；
S104.对特殊的数据进行人工干预，以免意外发生；
S2.拆分并处理后的数据进行相关安全监测，并记录每句话对应情绪评分；具体执行包括如下步骤：
S201在线数据流实时读取，并将数据进行分类，分别分为音频数据、文字数据(弹幕)、视频数据；
S202针对音频数据，首先我们需要进行VAD(静音抑制)处理，将音频进行合理切割，去除静音部分，去除静音后的音频数据将会时长变短，因为静音部分会被剔除；剔除静音后的音频再通过ASR(自动语音识别技术)转为对应的文字数据；
S203音频数据需要进行关键帧提取，提取的过程中需要注意几点：1.关键帧的分布与原序列一致；2.关键帧的信息冗余尽可能的少；3.关键帧的个数应该尽可能的少；4.关键帧应该能够很容易的识别出相关信息(这样有助于判断)。关键帧的提取结果产生的就是图片数据；
S204针对文字数据，需要分别同时进行两个监测，一个是文字风险监测，一个是情绪监控；
S205针对图片数据，主要是进行图片风险监测；
S206情绪监测则是通过相关模型进行心情得分积分计算，记录相关分值，主要针对并且将当前情绪得分和时间轴进行关联；
S207文字风险监测则是将音频数据转化后的文字、弹幕文字、以及聊天文字通过NLP(自然语言处理)进行语义识别，区分文字内容中是否包含违规信息，违规内容可涉及：正常、涉政、色情、违法、谩骂、暴恐、广告、宗教、迷信、诈骗方向；其中正常则是监测无症状。
S208图片风险监测则是对图片内容进行鉴别。通过分析图片中是否包含非法或不健康内容进行风险监测；
S209记录情绪走势，就是根据情绪监测得到的不同情绪或整体情绪的情绪得分进行情绪数据分析，如果用户情绪持续下降或者一直处于低谷，则当前用户情绪就初一中很危险的状态，需要立即对当前实施服务进行接手管制措施，采取快速有效的疏导手段对问题用户进行正确的疏导；
S210验证监测是否通过就是根据之前得到的情绪走势、文字风险监测以及图片风险监测进行综合评估分析去判断当前监测是否通过；
S211如果不通过，则根据严重程度进行相关预警或相关人工干预。以及对无辜用户进行正确的开通疏导，及时挽回相关损失，防止悲剧发生，提高用户体验，拉黑或追究相关人员责任。
S212如果监测通过，则说明当前在线服务状态正常，当前服务可以正常进行下去。
S3.首先将S2中安全监测结果中疑似数据进行上报并告警，然后对相关情绪频分进行分析，当情绪走势持续低落并达到相关阈值后，进行上报并告警。并进行相关人工干预优选的，S201在线音视频及文字数据实时读取：包括但不限于至少从以下方面进行数据读取当在线服务正在运行时，在线音视频数据在服务器端或云端应当是将数据进行实时分片存储，分片可通过定音视频时长或定文件大小等方式进行分片。文字数据则是以每次请求发送为准。存储介质不限于数据库、文件、内存等形式存储。当前数据存储过后会同时向客户端以及分析服务端进行实时推送数据。客户端可以是Web网页、H5页面、小程序、移动客户端APP等。
优选的，S202音频数据：包括但不限于至少以下几种音频数据格式无损音频数据格式：例如WAV，FLAC，APE，ALAC，WavPack(WV)有损音频数据格式：例如MP3，AAC，OggVorbis，Opus。
优选的，S203视频数据：包括但不限于至少以下几种视频数据格式常见的视频数据格式有：MPEG(运动图像专家组格式)家里常看的VCD、SVCD、DVD等就是这种格式。AVI、nAVI(音视频交错)是将视频和音频封装在一个文件里，切允许音频同步于视频播放。ASF(高级留格式)一种可以直接在晚上观看视频节目的文件压缩格式。MOV(影片格式)这是Apple公司开发的一种音频、视频文件格式，用于存储常用数据媒体类型。WMV(流媒体格式)它是在ASF格式升级延伸来的。3GP(多媒体标砖)是一种3G流媒体的视频编码格式FLV/F4V也是一种视频流媒体格式。H.264、H.265标准是ITU-T与ISO联合开发的新一代视频编码标准。
优选的，S204文字数据：包括但不限于至少以下几种文字数据常见的有ASCII、ISO-8859-1、GB2312、GBK、UTF-8、UTF-16等编码格式数据。
优选的，S205图片数据：包括但不限于至少以下几种图片数据位图类图片数据：以点真形式描述的图形描绘类、矢量类或面向对象的图片数据：以数据方法描述的一种有几何元素组成的图形。
常见的图片数据文件格式：BMP、DIB、PCP、DIF、WMF、GIF、JPG、TIF、EPS、PSD、CDR、IFF、TGA、PCD、MPT、PNG等。
优先地，所述步骤S206情绪监测：包括但不限于至少以下几种方式进行监测。
通过针对一段时间内的人声分析：分析方式之一就是可以通过针对音频数据声波波纹波动幅度，来判断当前阶段波纹是低沉还是高亢，并据此来进行打分。声波去噪可通过声音频率去拆分人声和噪声。
通过针对历史文字数据：比如说近20条对话数据进行语境分析，分析当前对话双方情绪是否正常。分析当前用户情绪状态，并给当前情绪状态打分。
通过针对当前用户图像截图分析：根据当前用户图像中的人物表情关键点偏移量分析，分析当前用户的表情是微笑、开心、失落、哭泣等面部表情，并根据相关表情程度进行打分。
最少结合以上3中方式中1种或几种综合之后得出用户情绪监测结果。
优先地，所述步骤S207文字风险监测：包括但不限于至少以下几种方式进行文字风险监测。
文字风险监测则是包括将音频数据转化后的文字、弹幕文字、以及聊天文字进行整体分析或分词分析等。整体分析可以是结合近几条文字内容，分析当前语境，判断当前文字是否包含违规内容。分词分析则是根据比对特定的违规词库，分析当前文字内容是否包含违规内容。违规内容可涉及：正常、涉政、色情、违法、谩骂、暴恐、广告、宗教、迷信、诈骗等方向。其中正常则是监测无症状。
优选地，所述步骤S208图片风险监测：包括但不限于至少以下几种方式进行图片风险监测。
图片风险检测可以通过以下一个方面去分析从而得到相关结果；通过物品识别，识别图中是否有武器、刀具等危险品，识别是否包含暴恐画面等。通过识别图中用户皮肤裸露面积积极关键部位等识别是否包含色情等违法信息，通过识别图片中的文字，识别是否包含广告，宗教，迷信、诈骗、涉政等违法信息。
优选地，所述步骤S209记录情绪走势：包括但不限于至少以下几种方式记录情绪走势。情绪走势记录方式之一是整体记录，以开心程度值为记录，越开心，得分就越高，越低落则得分越低，时间线作为记录索引或者记录的时间轴。第二种方式是分情绪记录，将用户所有的情绪，分别记录到各个情绪表中。每个表中只记录对应情绪的变化曲线，增长、降低或是维持不变。第三种方式是分段记录，在时间轴上，一段时间内情绪是低走或者高走亦或者是情绪翻转等状态记录。情绪走势记录是可以根据实时服务对象用户ID进行历史情绪统一记录。因为用户可能是情绪一直都不稳定，然后辗转于多个实时服务中。比如说进入退出多个直播间冰河多个主播连麦对话。每次时长都不是很长，这时候我们就需要根据时间轴去分析并记录用户所有的情绪走势。所以需要针对每个实时服务对象，单独记录一组连续的情绪走势记录。也可以仅根据当前试试服务场景来记录。
优选地，所述步骤S211预警处理：包括至少以下几种方式进行预警处理：预警处理的方式有很多种，从是否需要人工干预上区分，可分为无需干预，轻微干预、强制干预等。无需干预一般是情况不严重，仅需要通过站内信，或者是短信、微信、qq等绑定的第三方程序去进行通知、告知操作。二轻微干预则可能是站内信息警告，电话、短信等强制警告；强制干预则是直接断开实时服务中的某一方或多方正在进行的服务，并且可能根据情节严重与否的程度进行相关处罚、或者援助措施。
与现有技术相比，本发明的有益效果是：
1、本能够更有力的保证在线服务双方的安全，极大程度上的避免悲剧或犯罪的发生。净化了网络环境，使得人们的生活在便捷的同时，也能兼顾安全问题。针对于优秀，高质量，高口碑的服务方，我们能及时发现，并给予相关推荐，针对有问题、低水准服务方，我们能适当降低其曝光量、流量等，限制其影响，但是仍可以给其成长空间等等。
2、本发明通过方言识别系统可以进行自动识别方言，进行方言语音识别，从而可以增加在线心理咨询的识别精度，突破方言带来的问题，使该心理咨询方法的应用更加广泛。
3、本发明的心理咨询必要时可以进行远程人工在线咨询，从而可以进一步提高心理咨询的准确程度。
附图说明
图1为本发明的整体结构示意图；
图2为本发明的本地对话交互设备的结构示意图；
图3为本发明的心理咨询方法的心理咨询流程示意图；
图4为本发明的心理咨询方法的心理咨询详细流程示意图。
图中：1、本地对话交互设备；2、服务器端模块；3、远程在线咨询单元；4、心理状态和症状对应库；5、报警模块；
6、本地处理设备；7、音频传感设备；8、视频传感设备；9、自动方言选择开关；10、敏感词和语音库；11、音频输出模块；12、视频传输模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
具体实施例一：
请参阅图1-4，本发明提供一种技术方案：一种在线心理咨询中风险控制的方法，包括本地对话交互设备1、服务器端模块2、远程在线咨询单元3、心理状态和症状对应库4和报警模块5；所述本地对话交互设备1包括本地处理设备6、音频传感设备7、视频传感设备8、自动方言选择开关9、敏感词和语音库10、音频输出模块11和视频传输模块12；其中，所述本地对话交互设备1和服务器端模块2通过通信信号连接，所述服务器端模块2分别和远程在线咨询单元3、心理状态和症状对应库4和报警模块5通信信号连接；
所述本地处理设备6分别和所述音频传感设备7、所述视频传感设备8、所述自动方言选择开关9、所述敏感词和语音库10、所音频输出模块11和所述视频传输模块12通信连接；咨询人员需要进行心理咨询和引导时，执行如下步骤：
S1.心理咨询者通过手动方式选择方言识别模式，实现本地处理设备自动调整到识别某地的方言；同时，也可以通过自动方言选择开关进行识别，并在进行方言识别不正确的时候，可以通过手动方式选择合适的方言模式；
S2.本地的音频传感设备2和视频传感设备3获取音频和视频的信息，本地处理设备在线信息数据获取与拆分以及相关处理，分别获取语音、图像、文本相关信息，其中语音信息会通过NLP自然语言处理进行相关音频转文字操作，转换之后的文本与聊天相关检测方式相同；
S101.进行在线活动数据读取，收集在线服务过程中产生的相关视频音频及文字数据；
S102.对数据进行相关分类，所述本地处理设备6利用敏感词和语音库10中的存储的敏感词和语音和所述音频和视频进行对比分析，然后分别进行对应的安全检测过滤；
S103.对数据的结果进行分析并进行相关警告反馈；
S104.对特殊的数据进行人工干预，以免意外发生；
S2.拆分并处理后的数据进行相关安全监测，并记录每句话对应情绪评分；S3.首先将S2中安全监测结果中疑似数据进行上报并告警，然后对相关情绪频分进行分析，当情绪走势持续低落并达到相关阈值后，进行上报并告警。并进行相关人工干预。
优选的，具体包括：
S201在线数据流实时读取，并将数据进行分类，分别分为音频数据、文字数据(弹幕)、视频数据；
S202针对音频数据，首先我们需要进行VAD(静音抑制)处理，将音频进行合理切割，去除静音部分，去除静音后的音频数据将会时长变短，因为静音部分会被剔除；剔除静音后的音频再通过ASR(自动语音识别技术)转为对应的文字数据；
S203音频数据需要进行关键帧提取，提取的过程中需要注意几点：1.关键帧的分布与原序列一致；2.关键帧的信息冗余尽可能的少；3.关键帧的个数应该尽可能的少；4.关键帧应该能够很容易的识别出相关信息(这样有助于判断)。关键帧的提取结果产生的就是图片数据；
S204针对文字数据，需要分别同时进行两个监测，一个是文字风险监测，一个是情绪监控；
S205针对图片数据，主要是进行图片风险监测；
S206情绪监测则是通过相关模型进行心情得分积分计算，记录相关分值，主要针对并且将当前情绪得分和时间轴进行关联；
S207文字风险监测则是将音频数据转化后的文字、弹幕文字、以及聊天文字通过NLP(自然语言处理)进行语义识别，区分文字内容中是否包含违规信息，违规内容可涉及：正常、涉政、色情、违法、谩骂、暴恐、广告、宗教、迷信、诈骗方向；其中正常则是监测无症状。
S208图片风险监测则是对图片内容进行鉴别。通过分析图片中是否包含非法或不健康内容进行风险监测；
S209记录情绪走势，就是根据情绪监测得到的不同情绪或整体情绪的情绪得分进行情绪数据分析，如果用户情绪持续下降或者一直处于低谷，则当前用户情绪就初一中很危险的状态，需要立即对当前实施服务进行接手管制措施，采取快速有效的疏导手段对问题用户进行正确的疏导；
S210验证监测是否通过就是根据之前得到的情绪走势、文字风险监测以及图片风险监测进行综合评估分析去判断当前监测是否通过；
S211如果不通过，则根据严重程度进行相关预警或相关人工干预。以及对无辜用户进行正确的开通疏导，及时挽回相关损失，防止悲剧发生，提高用户体验，拉黑或追究相关人员责任。
S212如果监测通过，则说明当前在线服务状态正常，当前服务可以正常进行下去。
优选的，S201在线音视频及文字数据实时读取：包括但不限于至少从以下方面进行数据读取当在线服务正在运行时，在线音视频数据在服务器端或云端应当是将数据进行实时分片存储，分片可通过定音视频时长或定文件大小等方式进行分片。文字数据则是以每次请求发送为准。存储介质不限于数据库、文件、内存等形式存储。当前数据存储过后会同时向客户端以及分析服务端进行实时推送数据。客户端可以是Web网页、H5页面、小程序、移动客户端APP等。
优选的，S202音频数据：包括但不限于至少以下几种音频数据格式无损音频数据格式：例如WAV，FLAC，APE，ALAC，WavPack(WV)有损音频数据格式：例如MP3，AAC，OggVorbis，Opus。
优选的，S203视频数据：包括但不限于至少以下几种视频数据格式常见的视频数据格式有：MPEG(运动图像专家组格式)家里常看的VCD、SVCD、DVD等就是这种格式。AVI、nAVI(音视频交错)是将视频和音频封装在一个文件里，切允许音频同步于视频播放。ASF(高级留格式)一种可以直接在晚上观看视频节目的文件压缩格式。MOV(影片格式)这是Apple公司开发的一种音频、视频文件格式，用于存储常用数据媒体类型。WMV(流媒体格式)它是在ASF格式升级延伸来的。3GP(多媒体标砖)是一种3G流媒体的视频编码格式FLV/F4V也是一种视频流媒体格式。H.264、H.265标准是ITU-T与ISO联合开发的新一代视频编码标准。
优选的，S204文字数据：包括但不限于至少以下几种文字数据常见的有ASCII、ISO-8859-1、GB2312、GBK、UTF-8、UTF-16等编码格式数据。
优选的，S205图片数据：包括但不限于至少以下几种图片数据位图类图片数据：以点真形式描述的图形描绘类、矢量类或面向对象的图片数据：以数据方法描述的一种有几何元素组成的图形。
常见的图片数据文件格式：BMP、DIB、PCP、DIF、WMF、GIF、JPG、TIF、EPS、PSD、CDR、IFF、TGA、PCD、MPT、PNG等。
优先地，所述步骤S206情绪监测：包括但不限于至少以下几种方式进行监测。
通过针对一段时间内的人声分析：分析方式之一就是可以通过针对音频数据声波波纹波动幅度，来判断当前阶段波纹是低沉还是高亢，并据此来进行打分。声波去噪可通过声音频率去拆分人声和噪声。
通过针对历史文字数据：比如说近20条对话数据进行语境分析，分析当前对话双方情绪是否正常。分析当前用户情绪状态，并给当前情绪状态打分。
通过针对当前用户图像截图分析：根据当前用户图像中的人物表情关键点偏移量分析，分析当前用户的表情是微笑、开心、失落、哭泣等面部表情，并根据相关表情程度进行打分。
最少结合以上3中方式中1种或几种综合之后得出用户情绪监测结果。
优先地，所述步骤S207文字风险监测：包括但不限于至少以下几种方式进行文字风险监测。
文字风险监测则是包括将音频数据转化后的文字、弹幕文字、以及聊天文字进行整体分析或分词分析等。整体分析可以是结合近几条文字内容，分析当前语境，判断当前文字是否包含违规内容。分词分析则是根据比对特定的违规词库，分析当前文字内容是否包含违规内容。违规内容可涉及：正常、涉政、色情、违法、谩骂、暴恐、广告、宗教、迷信、诈骗等方向。其中正常则是监测无症状。
优选地，所述步骤S208图片风险监测：包括但不限于至少以下几种方式进行图片风险监测。图片风险检测可以通过以下一个方面去分析从而得到相关结果；通过物品识别，识别图中是否有武器、刀具等危险品，识别是否包含暴恐画面等。通过识别图中用户皮肤裸露面积积极关键部位等识别是否包含色情等违法信息，通过识别图片中的文字，识别是否包含广告，宗教，迷信、诈骗、涉政等违法信息。
优选地，所述步骤S209记录情绪走势：包括但不限于至少以下几种方式记录情绪走势。情绪走势记录方式之一是整体记录，以开心程度值为记录，越开心，得分就越高，越低落则得分越低，时间线作为记录索引或者记录的时间轴。第二种方式是分情绪记录，将用户所有的情绪，分别记录到各个情绪表中。每个表中只记录对应情绪的变化曲线，增长、降低或是维持不变。第三种方式是分段记录，在时间轴上，一段时间内情绪是低走或者高走亦或者是情绪翻转等状态记录。情绪走势记录是可以根据实时服务对象用户ID进行历史情绪统一记录。因为用户可能是情绪一直都不稳定，然后辗转于多个实时服务中。比如说进入退出多个直播间冰河多个主播连麦对话。每次时长都不是很长，这时候我们就需要根据时间轴去分析并记录用户所有的情绪走势。所以需要针对每个实时服务对象，单独记录一组连续的情绪走势记录。也可以仅根据当前试试服务场景来记录。
优选地，所述步骤S211预警处理：包括至少以下几种方式进行预警处理：预警处理的方式有很多种，从是否需要人工干预上区分，可分为无需干预，轻微干预、强制干预等。无需干预一般是情况不严重，仅需要通过站内信，或者是短信、微信、qq等绑定的第三方程序去进行通知、告知操作。二轻微干预则可能是站内信息警告，电话、短信等强制警告；强制干预则是直接断开实时服务中的某一方或多方正在进行的服务，并且可能根据情节严重与否的程度进行相关处罚、或者援助措施。
优选地，所述心理状态和症状对应库能够提供对应于心理状态和相应的症状库，从而在服务器端模块进行了相应的心理咨询时，所述所述心理状态和症状对应库能够及时提供相应的心理症状和必要的解决方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语″包括″、″包含″或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种在线心理咨询中风险控制的方法，包括本地对话交互设备(1)、服务器端模块(2)、远程在线咨询单元(3)、心理状态和症状对应库(4)和报警模块(5)；所述本地对话交互设备(1)包括本地处理设备(6)、音频传感设备(7)、视频传感设备(8)、自动方言选择开关(9)、敏感词和语音库(10)、音频输出模块(11)和视频传输模块(12)；其中，所述本地对话交互设备(1)和服务器端模块(2)通过通信信号连接，所述服务器端模块(2)分别和远程在线咨询单元(3)、心理状态和症状对应库(4)和报警模块(5)通信信号连接；
所述本地处理设备(6)分别和所述音频传感设备(7)、所述视频传感设备(8)、所述自动方言选择开关(9)、所述敏感词和语音库(10)、所音频输出模块(11)和所述视频传输模块(12)通信连接；咨询人员需要进行心理咨询和引导时，执行如下步骤：
S1.心理咨询者通过手动方式选择方言识别模式，实现本地处理设备自动调整到识别某地的方言；同时，也可以通过自动方言选择开关进行识别，并在进行方言识别不正确的时候，可以通过手动方式选择合适的方言模式；
S2.本地的音频传感设备(2)和视频传感设备(3)获取音频和视频的信息，所述本地处理设备在线信息数据获取与拆分以及相关处理，分别获取语音、图像、文本相关信息，其中语音信息会通过NLP自然语言处理进行相关音频转文字操作，转换之后的文本与聊天相关检测方式相同；
S101.进行在线活动数据读取，收集在线服务过程中产生的相关视频音频及文字数据；
S102.对数据进行相关分类，所述本地处理设备6利用敏感词和语音库10中的存储的敏感词和语音和所述音频和视频进行对比分析，然后分别进行对应的安全检测过滤；
S103.对数据的结果进行分析并进行相关警告反馈；
S104.对特殊的数据进行人工干预，以免意外发生；
S2.拆分并处理后的数据进行相关安全监测，并记录每句话对应情绪评分；S201在线数据流实时读取，并将数据进行分类，分别分为音频数据、文字数据、视频数据；
S202针对音频数据，首先我们需要进行VAD处理，将音频进行合理切割，去除静音部分，去除静音后的音频数据将会时长变短，因为静音部分会被剔除；剔除静音后的音频再通过ASR转为对应的文字数据；
S203音频数据需要进行关键帧提取；
S204针对文字数据，需要分别同时进行两个监测，一个是文字风险监测，一个是情绪监控；
S205针对图片数据，主要是进行图片风险监测；
S206情绪监测则是通过相关模型进行心情得分积分计算，记录相关分值，主要针对并且将当前情绪得分和时间轴进行关联；
S207文字风险监测则是将音频数据转化后的文字、弹幕文字、以及聊天文字通过NLP(自然语言处理)进行语义识别，区分文字内容中是否包含违规信息，违规内容可涉及：正常、涉政、色情、违法、谩骂、暴恐、广告、宗教、迷信、诈骗方向；其中正常则是监测无症状；
S208图片风险监测则是对图片内容进行鉴别，通过分析图片中是否包含非法或不健康内容进行风险监测；
S209记录情绪走势，就是根据情绪监测得到的不同情绪或整体情绪的情绪得分进行情绪数据分析，如果用户情绪持续下降或者一直处于低谷，则当前用户情绪就初一中很危险的状态，需要立即对当前实施服务进行接手管制措施，采取快速有效的疏导手段对问题用户进行正确的疏导；
S210验证监测是否通过就是根据之前得到的情绪走势、文字风险监测以及图片风险监测进行综合评估分析去判断当前监测是否通过；
S211如果不通过，则根据严重程度进行相关预警或相关人工干预。以及对无辜用户进行正确的开通疏导，及时挽回相关损失，防止悲剧发生，提高用户体验，拉黑或追究相关人员责任；
S212如果监测通过，则说明当前在线服务状态正常，当前服务可以正常进行下去；
S3.首先将S2中安全监测结果中疑似数据进行上报并告警，然后对相关情绪频分进行分析，当情绪走势持续低落并达到相关阈值后，进行上报并告警。并进行相关人工干预。
2.根据权利要求1所述的一种在线心理咨询中风险控制的方法，其特征在于：所述步骤S201在线音视频及文字数据实时读取包括从以下方面进行数据读取当在线服务正在运行时，在线音视频数据在服务器端或云端应当是将数据进行实时分片存储，分片通过定音视频时长或定文件大小方式进行分片；文字数据则是以每次请求发送为准；存储介质不限于数据库、文件、内存形式存储；当前数据存储过后会同时向客户端以及分析服务端进行实时推送数据；客户端是Web网页、H5页面、小程序、移动客户端APP中的至少一种。
3.根据权利要求1所述的一种在线心理咨询中风险控制的方法，其特征在于：其中所述步骤S202音频数据包括以下几种无损音频数据格式和有损音频数据格式中的至少一种，其中，所述无损音频数据格式包括WAV，FLAC，APE，ALAC，WavPack(WV)中至少一种；所述有损音频数据格式包括MP3，AAC，Ogg Vorbis，Opus中至少一种。
4.根据权利要求1所述的一种在线心理咨询中风险控制的方法，其特征在于：所述步骤S203视频数据中：包括以下几种视频数据格式：MPEG、AVI、nAVI、ASF、MOV、WMV、3GP、H.264和H.265标准中的至少一种。
5.根据权利要求1所述的一种在线心理咨询中风险控制的方法，其特征在于：所述步骤S204文字数据中，包括以下几种文字数据中的ASCII、ISO-8859-1、GB2312、GBK、UTF-8、UTF-16编码格式数据中至少一种。
6.根据权利要求1所述的一种在线心理咨询中风险控制的方法，其特征在于：所述步骤S205图片数据：包括以下图片数据位图类图片数据中至少一种：以点真形式描述的图形描绘类、矢量类或面向对象的图片数据：以数据方法描述的一种有几何元素组成的图形。
7.根据权利要求1所述的一种在线心理咨询中风险控制的方法，其特征在于：
所述情绪监测包括至少以下几种方式进行监测；
通过针对一段时间内的人声分析：通过针对音频数据声波波纹波动幅度，来判断当前阶段波纹是低沉还是高亢，并据此来进行打分；其中，声波去噪通过声音频率去拆分人声和噪声；
或通过针对历史文字数据：以近一定数量的对话数据进行语境分析，分析当前对话双方情绪是否正常；分析当前用户情绪状态，并给当前情绪状态打分；
或通过针对当前用户图像截图分析：根据当前用户图像中的人物表情关键点偏移量分析，分析当前用户的表情是微笑、开心、失落、哭泣等面部表情，并根据相关表情程度进行打分；
最后，选择其中的一种或至少两种打分的平均值作为用户情绪监测结果。
8.根据权利要求1所述的一种在线心理咨询中风险控制的方法，其特征在于：
所述步骤S207文字风险监测包括至少以下几种方式的一种进行文字风险监测：文字风险监测、整体分析和分词分析；
其中，文字风险监测是包括将音频数据转化后的文字、弹幕文字、以及聊天文字进行整体分析或分词分析；
整体分析是结合近几条文字内容，分析当前语境，判断当前文字是否包含违规内容；
分词分析则是根据比对特定的违规词库，分析当前文字内容是否包含违规内容；违规内容涉及包括正常、涉政、色情、违法、谩骂、暴恐、广告、宗教、迷信、诈骗方向，其中正常是监测无症状。
9.根据权利要求1所述的一种在线心理咨询中风险控制的方法，其特征在于：
所述步骤S208图片风险监测包括至少以下几种方式进行图片风险监测：通过物品识别，识别图中是否有武器、刀具等危险品，识别是否包含暴恐画面；或通过识别图中用户皮肤裸露面积积极关键部位等识别是否包含色情违法信息，通过识别图片中的文字，识别是否包含广告，宗教，迷信、诈骗、涉政的违法信息。
10.根据权利要求1所述的一种在线心理咨询中风险控制的方法，其特征在于：所述步骤S209记录情绪走势包括至少以下几种方式记录情绪走势；第一种方式是整体记录，以开心程度值为记录，越开心，得分就越高，越低落则得分越低，时间线作为记录索引或者记录的时间轴；第二种方式是分情绪记录，将用户所有的情绪，分别记录到各个情绪表中；每个表中只记录对应情绪的变化曲线，增长、降低或是维持不变；第三种方式是分段记录，在时间轴上，一段时间内情绪是低走或者高走亦或者是情绪翻转的状态记录；情绪走势记录是根据实时服务对象用户ID进行历史情绪统一记录；
所述步骤S211预警处理中包括但不限于至少以下几种方式进行预警处理：无需干预、轻微干预和强制干预；其中，无需干预一般是情况不严重，仅需要通过站内信，或者是短信、微信、qq绑定的第三方程序去进行通知、告知操作；轻微干预则是站内信息警告，电话、短信强制警告；强制干预则是直接断开实时服务中的某一方或多方正在进行的服务，并且可能根据情节严重与否的程度进行相关处罚、或者援助措施。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011575337.7A CN112579744B (zh) | 2020-12-28 | 2020-12-28 | 一种在线心理咨询中风险控制的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011575337.7A CN112579744B (zh) | 2020-12-28 | 2020-12-28 | 一种在线心理咨询中风险控制的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112579744A true CN112579744A (zh) | 2021-03-30 |
| CN112579744B CN112579744B (zh) | 2024-03-26 |
Family
ID=75140039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011575337.7A Active CN112579744B (zh) | 2020-12-28 | 2020-12-28 | 一种在线心理咨询中风险控制的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112579744B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113821681A (zh) * | 2021-09-17 | 2021-12-21 | 深圳力维智联技术有限公司 | 视频标签生成方法、装置及设备 |
| CN115879084A (zh) * | 2023-02-28 | 2023-03-31 | 天津辰航安全技术服务有限公司 | 基于图像分析的安全隐患模拟咨询平台 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130110513A1 (en) * | 2011-10-26 | 2013-05-02 | Roshan Jhunja | Platform for Sharing Voice Content |
| US20160117597A1 (en) * | 2012-11-21 | 2016-04-28 | Nec Solution Innovators, Ltd. | System for supporting correction of distorted cognition, method of eliciting user consciousness information and program therefor |
| CN107454346A (zh) * | 2017-07-03 | 2017-12-08 | 李洪海 | 影视数据解析方法、视频制作模板推荐方法、装置及设备 |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
| CN109472207A (zh) * | 2018-10-11 | 2019-03-15 | 平安科技（深圳）有限公司 | 情绪识别方法、装置、设备及存储介质 |
| CN109976513A (zh) * | 2019-02-20 | 2019-07-05 | 方科峰 | 一种系统界面设计方法 |
| CN110010225A (zh) * | 2019-02-22 | 2019-07-12 | 张玲 | 一种基于音视频的心理干预算法 |
| CN110047518A (zh) * | 2019-04-29 | 2019-07-23 | 湖南检信智能科技有限公司 | 一种语音情感分析系统 |
| CN110781719A (zh) * | 2019-09-02 | 2020-02-11 | 中国航天员科研训练中心 | 非接触式与接触式协同的心理状态智能监测系统 |
| CN111667926A (zh) * | 2020-06-06 | 2020-09-15 | 中国科学院心理研究所 | 一种基于人工智能的心理咨询（会话）系统及其方法 |
| CN111938674A (zh) * | 2020-09-07 | 2020-11-17 | 南京宇乂科技有限公司 | 一种对话的情绪识别控制系统 |
-
2020
- 2020-12-28 CN CN202011575337.7A patent/CN112579744B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130110513A1 (en) * | 2011-10-26 | 2013-05-02 | Roshan Jhunja | Platform for Sharing Voice Content |
| US20160117597A1 (en) * | 2012-11-21 | 2016-04-28 | Nec Solution Innovators, Ltd. | System for supporting correction of distorted cognition, method of eliciting user consciousness information and program therefor |
| CN107454346A (zh) * | 2017-07-03 | 2017-12-08 | 李洪海 | 影视数据解析方法、视频制作模板推荐方法、装置及设备 |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
| CN109472207A (zh) * | 2018-10-11 | 2019-03-15 | 平安科技（深圳）有限公司 | 情绪识别方法、装置、设备及存储介质 |
| CN109976513A (zh) * | 2019-02-20 | 2019-07-05 | 方科峰 | 一种系统界面设计方法 |
| CN110010225A (zh) * | 2019-02-22 | 2019-07-12 | 张玲 | 一种基于音视频的心理干预算法 |
| CN110047518A (zh) * | 2019-04-29 | 2019-07-23 | 湖南检信智能科技有限公司 | 一种语音情感分析系统 |
| CN110781719A (zh) * | 2019-09-02 | 2020-02-11 | 中国航天员科研训练中心 | 非接触式与接触式协同的心理状态智能监测系统 |
| CN111667926A (zh) * | 2020-06-06 | 2020-09-15 | 中国科学院心理研究所 | 一种基于人工智能的心理咨询（会话）系统及其方法 |
| CN111938674A (zh) * | 2020-09-07 | 2020-11-17 | 南京宇乂科技有限公司 | 一种对话的情绪识别控制系统 |
Non-Patent Citations (2)
| Title |
|---|
| MUHAMMAD SHAHID DENG: ""Voice Activity Detection by Upper Body Motion Analysis and Unsupervised Domain Adaptation"", <2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP>, 31 December 2019 (2019-12-31), pages 1260 - 1269 * |
| 徐芃 等: ""自然语言词性序列的分类"", 《华南师范大学学报(自然科学版)》, 31 July 2014 (2014-07-31), pages 110 - 115 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113821681A (zh) * | 2021-09-17 | 2021-12-21 | 深圳力维智联技术有限公司 | 视频标签生成方法、装置及设备 |
| CN113821681B (zh) * | 2021-09-17 | 2023-09-26 | 深圳力维智联技术有限公司 | 视频标签生成方法、装置及设备 |
| CN115879084A (zh) * | 2023-02-28 | 2023-03-31 | 天津辰航安全技术服务有限公司 | 基于图像分析的安全隐患模拟咨询平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112579744B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112804400B (zh) | 客服呼叫语音质检方法、装置、电子设备及存储介质 | |
| US8412530B2 (en) | Method and apparatus for detection of sentiment in automated transcriptions | |
| CN105516651B (zh) | 用于在成像设备中提供组合摘要的方法和设备 | |
| US8798255B2 (en) | Methods and apparatus for deep interaction analysis | |
| US10629189B2 (en) | Automatic note taking within a virtual meeting | |
| US7596498B2 (en) | Monitoring, mining, and classifying electronically recordable conversations | |
| US20160163318A1 (en) | Metadata extraction of non-transcribed video and audio streams | |
| US20210020191A1 (en) | Methods and systems for voice profiling as a service | |
| KR102105059B1 (ko) | 보이스 피싱 방지 방법, 보이스 피싱 방지 서버, 이를 위한 컴퓨터 프로그램 | |
| CN107274916A (zh) | 基于声纹信息对音频/视频文件进行操作的方法及装置 | |
| CN112418011A (zh) | 视频内容的完整度识别方法、装置、设备及存储介质 | |
| CN112579744B (zh) | 一种在线心理咨询中风险控制的方法 | |
| Boishakhi et al. | Multi-modal hate speech detection using machine learning | |
| US20220238118A1 (en) | Apparatus for processing an audio signal for the generation of a multimedia file with speech transcription | |
| CN110674385A (zh) | 客服升级场景下匹配客服的方法及装置 | |
| US11735203B2 (en) | Methods and systems for augmenting audio content | |
| CN114138960A (zh) | 用户意图识别方法、装置、设备及介质 | |
| CN109634554B (zh) | 用于输出信息的方法和装置 | |
| CN113327619B (zh) | 一种基于云—边缘协同架构的会议记录方法及系统 | |
| CN114492579A (zh) | 情绪识别方法、摄像装置、情绪识别装置及存储装置 | |
| Khazaleh et al. | An investigation into the reliability of speaker recognition schemes: analysing the impact of environmental factors utilising deep learning techniques | |
| CN114125506A (zh) | 语音审核方法及装置 | |
| CN113099283B (zh) | 监控画面和声音同步的方法及相关设备 | |
| Rheault et al. | Multimodal techniques for the study of a ect in political videos | |
| Rappaport | Establishing a standard for digital audio authenticity: A critical analysis of tools, methodologies, and challenges |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |