CN114979088B - 一种基于智能辅助系统心理咨询方法和系统 - Google Patents

Abstract

本说明书实施例提供一种基于智能辅助系统的心理咨询方法和系统，该方法包括确定用户的咨询权限；基于用户终端获取用户的咨询视频；对咨询视频进行处理，将处理后的视频发送至咨询终端，处理包括语音失真处理和人脸图像处理。该系统包括权限验证模块，权限验证模块用于基于用户在用户终端输入的验证码，确定用户是否具有咨询权限；视频获取模块，视频获取模块用于若确定用户具有咨询权限，基于用户终端获取用户的咨询视频；视频处理模块，视频处理模块用于对咨询视频进行处理，将处理后的视频发送至咨询终端，处理包括语音失真处理和人脸图像处理。

Description

一种基于智能辅助系统心理咨询方法和系统

技术领域

本说明书涉及咨询系统领域，特别涉及一种基于智能辅助系统的心理咨询方法和系统。

背景技术

随着学生心理健康问题愈发受到社会的关注，学校的心理咨询工作也愈发重要。然而，许多时候学生因为顾虑隐私得不到保护、到固定场所较为麻烦等因素耽误了咨询和治疗。

因此，需要一种能够保护学生隐私、能够保证咨询效率的校园心理咨询方法和系统。

发明内容

本说明书一个或多个实施例提供一种基于智能辅助系统的心理咨询方法，所述智能辅助系统包括用户终端、咨询终端和服务器终端，所述方法由所述服务器端执行，包括：基于用户在所述用户终端输入的验证码，确定所述用户是否具有咨询权限；若确定所述用户具有咨询权限，基于所述用户终端获取所述用户的咨询视频；对所述咨询视频进行处理，将处理后的视频发送至所述咨询终端，所述处理包括语音失真处理和人脸图像处理，其中，所述语音失真处理包括对所述咨询视频中的声音进行失真处理，生成处理后的咨询语音；所述人脸图像处理包括对所述咨询视频中的人脸图像进行处理，生成处理后的人脸图像，所述处理后的人脸图像与处理前表情一致、人脸特征不同。

本说明书一个或多个实施例提供一种基于智能辅助系统的心理咨询系统，包括：权限验证模块，所述权限验证模块用于基于用户在所述用户终端输入的验证码，确定所述用户是否具有咨询权限；视频获取模块，所述视频获取模块用于若确定所述用户具有咨询权限，基于所述用户终端获取所述用户的咨询视频；视频处理模块，所述视频处理模块用于对所述咨询视频进行处理，将处理后的视频发送至所述咨询终端，所述处理包括语音失真处理和人脸图像处理，其中，所述语音失真处理包括对所述咨询视频中的声音进行失真处理，生成处理后的咨询语音；所述人脸图像处理包括对所述咨询视频中的人脸图像进行处理，生成处理后的人脸图像，所述处理后的人脸图像与处理前表情一致、人脸特征不同。

本说明书一个或多个实施例提供一种基于智能辅助系统的心理咨询装置，包括处理器，所述处理器用于执行基于智能辅助系统的心理咨询方法。

本说明书一个或多个实施例提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行基于智能辅助系统的心理咨询方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的心理咨询系统的应用场景示意图；

图2是根据本说明书一些实施例所示的基于智能辅助系统的心理咨询方法的示例性流程图；

图3是根据本说明书一些实施例所示的确认用户咨询权限的方法的示意图；

图4是根据本说明书一些实施例所示的生成处理后的人脸图像的方法示意图；

图5是根据本说明书一些实施例所示的联合模型的示意图；

图6是根据本说明书一些实施例所示的心理咨询系统的示例性模块图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是根据本说明书一些实施例所示的基于智能辅助系统的心理咨询方法的应用场景示意图。

如图1所示，在一些实施例中，应用场景100可以包括服务器110、用户终端120、咨询终端130等。在一些实施例中，应用场景100为校园心理咨询场景，服务器110可以与用户终端120、咨询终端130通信以提供心理咨询的各种功能，人脸图像生成模型142可以提取用户终端120在心理咨询过程中的咨询视频143，并将咨询视频143发送给服务器110，服务器110对咨询视频143进行处理后发送给咨询终端130。以上各设备之间的信息传递关系仅作为示例，本说明书并不局限于此。

服务器110可以用于管理资源以及处理来自本场景至少一个组件或外部数据源的数据和/或信息。在一些实施例中，服务器110可以是单一服务器或服务器组。该服务器组可以是集中式或分布式的(例如，服务器110可以是分布式系统)，可以是专用的，也可以由其他设备或系统同时提供服务。在一些实施例中，服务器110可以是区域的或者远程的。在一些实施例中，服务器110可以在云平台上实施，或者以虚拟方式提供。仅作为示例，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。

在一些实施例中，服务器110可以包括人脸图像生成模型142。服务器110可以训练人脸图像生成模型142，更新人脸图像生成模型142的参数，得到训练好的模型。在一些实施例中，人脸图像生成模型142可以提取用户终端120在心理咨询过程中的咨询视频143，并将咨询视频143发送给服务器110，服务器110对咨询视频143进行处理后发送给咨询终端130。关于人脸图像生成模型142和咨询视频143的更多内容参见图4及其相关描述相关内容。

在一些实施例中，服务器110可以包括处理设备，用于实现本说明书一些实施例描述的示例性方法和/或系统。例如，处理设备基于用户在所述用户终端输入的验证码，确定所述用户是否具有咨询权限。

用户终端120指心理咨询的受众(如学生)所使用的一个或多个终端设备或软件。在一些实施例中，用户终端120可以包括但不限于可穿戴设备120-1、智能手机120-2、平板电脑120-3、笔记本计算机120-4等或其任意组合。在一些实施例中，用户终端120可以包括处理设备，用于实现本说明书一些实施例描述的示例性方法和/或系统。在一些实施例中，可穿戴设备120-1可以用于获取学生实时的生理参数信息，关于生理参数信息的更多内容参见图2及其相关描述。

咨询终端130指心理咨询的服务者(如咨询师)所使用的一个或多个终端设备或软件。在一些实施例中，咨询终端130可以包括但不限于智能手机130-1、平板电脑130-2、笔记本计算机130-3等或其任意组合。

应当注意应用场景仅仅是为了说明的目的而提供，并不意图限制本说明书的范围。对于本领域的普通技术人员来说，可以根据本说明书的描述，做出多种修改或变化。例如，应用场景还可以包括数据库、网络等。又例如，应用场景可以在其他设备上实现以实现类似或不同的功能。然而，变化和修改不会背离本说明书的范围。

图2是根据本说明书一些实施例所示的基于智能辅助系统的心理咨询方法的示例性流程图。如图2所示，流程200包括下述步骤。在一些实施例中，流程200可以由服务器110执行。

步骤210，基于用户在用户终端输入的验证码，确定用户是否具有咨询权限。

验证码是指用于验证用户身份的密码，例如，验证码可以是一串短信数字，如短信码“867542”；验证码也可以是用户特定号码，如学号“20220315”。在一些实施例中，验证码也可以是登录码，用于用户在用户终端登录，例如，验证码可以是用户密码“zx12345”等。

在一些实施例中，用户可以通过光标、鼠标、键盘键入的方式，在终端输入验证码。

咨询权限是指用户是否具有咨询权利。例如，在校园心理咨询的场景下，通常只有本校学生才具有咨询权限，或系统设定的用户才具有咨询权限。

在一些实施例中，权限验证模块610可以通过用户终端输入的验证码，确定用户是否具有咨询权限。

关于确定用户是否具有咨询权限的更多内容参见图3及其相关描述。

步骤220，若确定用户具有咨询权限，基于用户终端获取用户的咨询视频。

咨询视频是指用户用于咨询的相关视频，例如，咨询视频可以是预先录制的视频A，咨询视频也可以是现场直播咨询时的视频B。

在一些实施例中，视频获取模块620可以通过用户终端获取用户的咨询视频。

步骤230，对咨询视频进行处理，将处理后的视频发送至咨询终端，处理包括语音失真处理和人脸图像处理。

语音失真处理是指对视频声音进行处理，使处理后的视频声音与原本视频声音有所差别。在一些实施例中，语音失真处理包括对咨询视频中的声音进行失真处理，生成处理后的咨询语音。例如，语音失真处理可以是对咨询视频的音色、音量、音调进行处理。

在一些实施例中，可以通过多种不同的方式生成处理后的咨询语音。例如，可以在用户终端安装变声器，使得用户在录制咨询视频时同步生成处理后的咨询语音。又例如，可以由服务器对用户咨询视频中的咨询语音进行处理，如，通过语音智能处理模型等进行处理，以获得处理后的咨询语音。

人脸图像处理包括对咨询视频中的人脸图像进行处理，生成处理后的人脸图像，处理后的人脸图像与处理前表情一致、人脸特征不同。

人脸图像是指进行处理后的咨询视频中的人脸图像，人脸图像可以包括人脸表情、人脸特征等。例如，原咨询视频A中的用户为“黑色马尾辫、戴眼镜的少女”，咨询视频A经过处理后得到人脸图像A”,人脸图像A”的用户为“棕色短发、不戴眼镜的女士”等。

人脸表情是指可以表情用户个性或心情的相关表情，例如，人脸表情可以是愉悦、愤怒、困惑、失望、痛苦、悲伤、惊讶等。在一些实施例中，可以通过实时人脸跟踪，实现用户和虚拟人脸图像的表情同步。

人脸特征是指用于人脸识别的相关特征，例如，人脸特征眼睛、鼻子、嘴巴等脸部部位特征。在一些实施例中，人脸特征与人脸表情相关，例如，伤心时“嘴角下撇”，欢快时“嘴角提升”，委屈时“撅起嘴巴”，惊讶时“张口结舌”，忿恨时“咬牙切齿”，忍耐痛苦时“咬住下唇”等。

在一些实施例中，可以通过人脸图像生成模型对咨询视频进行处理，获得处理后的人脸图像。关于人脸图像生成模型的更多内容可参见图4及其相关描述。

在一些实施例中，视频处理模块630可以将包括处理后的人脸图像的咨询视频发送至咨询终端，由咨询终端的使用者查看处理后的视频，进行心理辅导工作。

在本说明书的一些实施例中，当用户具有咨询权限时，通过用户终端获取用户的咨询视频，对咨询视频进行处理，将处理后的视频发送至咨询终端。通过将咨询视频进行语音失真处理，很好的保护用户的隐私；通过将咨询视频进行人脸图像处理，可以保证人脸表情和特征的一致，确保用户心理咨询的有效性。

在一些实施例中，用户终端还可以包括可穿戴设备，用户终端通过可穿戴设备实时获取用户的生理数据，基于生理数据获取的时间和咨询视频的视频帧的时间之间的对应关系，发送生理数据和处理后的视频至咨询终端。

可穿戴设备可以包括能够获取用户实时生理数据的相关设备。例如，可穿戴设备可以是智能手表、智能手环，用于检测用户的实时心率；再例如，可穿戴设备可以是穿戴式血压计，用于检测用户的实时血压等。

生理数据是指反映用户生理情况的相关数据，例如，生理数据可以包括体温、心率、血压等。

在一些实施例中，可以预先设置用户生理数据的获取时间间隔，获取用户的生理数据。例如，预先设置用户生理数据的获取时间间隔为5min，当用户咨询视频时间达到预设时间间隔时(如，5min、10min、15min)，获取用户的生理数据(如，温度、心率、血压)等。

在一些实施例中，还可以根据实际情况对上述预先设置的时间间隔进行调整，或根据实际情况确定新的时间间隔。

置信度是指生成的人脸图像与用户人脸图像，二者表情一致的可靠程度。例如，生成的人脸图像与用户人脸图像，二者表情一致性较高，置信度可以为90％。

在一些实施例中，可以基于表情一致的置信度，确定生理数据获取的时间间隔。在一些实施例中，表情一致的置信度越低，获取生理数据获取的时间间隔越短。例如，二者表情多数一致，则生理数据监测频率可以适当减少；若二者表情多数不一致，则生理数据监测频率可以适当增加。在一些实施例中，可以预先设置置信度的阈值，例如，预先设置表情一致的置信度的阈值为70％，当表情一致的置信度低于70％时，可以适当增加生理数据监测频率。

在一些实施例中，可以通过人工对比生成的人脸图像与用户人脸图像，确定表情一致的置信度。在一些实施例中，可以将生成的人脸图像与用户人脸图像输入第二模型，确定表情一致的置信度。有关第二模型的更多实施例可参见图4中的相关描述。

在本说明书的一些实施例中，通过生理数据获取的时间和视频帧的时间之间的对应关系，结合生理数据，可以更好的判断用户的情绪或心理变化。如果表情一致的置信度高，说明处理后的人脸图像能够很好的反映用户的真实表情，则可以更多地依赖于生成的人脸图像去做判断；如果表情一致的置信度低于一定阈值，说明处理后的人脸图像与用户的真实表情有一定差距，此时可以更依赖于生理数据去做判断，从而可以更加方便有效的进行用户的心理咨询，保证了咨询的有效性。

图3是根据本说明书一些实施例所示的基于智能辅助系统的心理咨询方法的确认用户咨询权限的示意图。如图3所示，流程300包括以下内容。在一些实施例中，流程300可以由服务器110执行。

在一些实施例中，可以从用户终端获取用户输入的验证码310，通过加密处理320对验证码310进行处理，得到加密后的结果330。

加密处理320是指用户输入的验证码310进行的算法处理，使得验证码310成为不可读的密码。例如，加密处理320可以为加密算法，如数据加密算法(Data EncryptionStandard，DES)、高级加密算法(Rijndael，AES)、公钥加密算法(Rivest-Shamir-Adleman，RSA)等；再例如，加密处理320也可以为函数处理。

加密后的结果是指对用户输入的验证码310进行加密处理后得到的结果。例如，加密后的结果可以是DES算法结果、AES算法结果、RSA算法结果、函数处理结果等。

在一些实施例中，可以通过检索确定数据库340中是否存在与加密后的结果一致的加密数据350。

数据库340是指组织、存储和管理数据的仓库。在一些实施例中，数据库340包括多个加密数据350。在一些实施例中，可以通过咨询终端，获取数据库340中的数据。

加密数据350是指在数据库340中的相关加密数据。在一些实施例中，可以通过对有咨询权限的用户的验证码进行加密处理，生成加密数据350储存在数据库340中。

在一些实施例中，可以通过检索，确定数据库340中是否存在与加密后的结果一致的加密数据350。在一些实施例中，可以通过预设算法，确定数据库340中是否存在与加密后的结果一致的加密数据350。

在一些实施例中，若数据库340中存在与加密后的结果330一致的加密数据350，则判断用户具有咨询权限。

在本说明书的一些实施例中，通过从用户终端获取用户输入的验证码，对登录号进行加密处理，得到加密后的结果，通过检索确定数据库中是否存在与加密后的结果一致的加密数据，判断用户是否具有咨询权限，从数据存储到权限确定，均采用加密后的数据进行，能够有效地保证在咨询的过程中用户信息不被泄露，保证了咨询过程的隐私性。

应当注意的是，上述有关流程200、流程300的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程200、流程300进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

图4是根据本说明书一些实施例所示的生成处理后的人脸图像的方法示意图。如图所示，在一些实施例中，用户终端可以基于人脸图像生成模型对用户的咨询视频进行处理，生成处理后的人脸图像。在一些实施例中，人脸图像生成模型400至少可以包括以下内容。在一些实施例中，人脸图像生成模型400和图1中的人脸图像生成模型142可以是相同模型。

在一些实施例中，人脸图像生成模型400可以用于基于用户的咨询视频生成处理后的人脸图像，该处理后的人脸图像具有和上述咨询视频相同的帧数和时长，其中，每一帧的人脸图像具有和咨询视频中一样的表情、动作，但人脸特征不同。

在一些实施例中，人脸图像生成模型400的输入可以包括用户的人脸图像410-1、人脸图像对应的语音数据420-1和多张参考人脸图像430-1。其中，用户的人脸图像410-1和人脸图像对应的语音数据可以基于用户在用户终端录制的咨询视频，多张参考人脸图像430-1可以从非心理咨询场景下的其他视频数据中获取。人脸图像生成模型400的输出可以包括处理后的人脸图像460。例如，可以根据咨询视频中用户的人脸图像生成表情一致但人脸特征不同的人脸图像。

在一些实施例中，人脸图像生成模型可以包括第一特征提取层410、第二特征提取层420、第三特征提取层430、表情特征层440和生成层450。第一特征提取层410、第二特征提取层420的输出可以作为表情特征层440的输入，第三特征提取层430、表情特征层440的输出可以作为生成层450的输入，生成层450的输出可以作为人脸图像生成模型最终的输出。

其中，第一特征提取层410可以用于提取咨询视频中的人脸图像特征。第一特征提取层的输入可以包括从咨询视频中获取到的用户的人脸图像410-1，输出可以包括用户人脸特征410-2。在一些实施例中，第一特征提取层410可以包括深度残差网络(Deepresidual network,ResNet)等。

第二特征提取层420可以用于提取咨询视频中语音数据的特征。例如，提取用户人脸图像对应的声音特征，包括说话内容、说话语气等。第二特征提取层420的输入可以包括人脸图像对应的语音数据420-1，输出可以包括用户声音特征420-2。在一些实施例中，第二特征提取层420可以包括深度神经网络(Deep Neural Network，DNN)。

第三特征提取层430可以用于提取多张参考人脸图像的人脸特征。例如，提取多张用于参考的人脸图像特征，如参考人脸的样貌特征、表情特征等。第三特征提取层430的输入可以包括多张参考人脸图像430-1，输出可以包括参考人脸特征430-2。在一些实施例中，第三特征提取层430可以包括任意一种基于深度学习的人脸识别方法，例如，深度残差网络(Deep residual network,ResNet)等。

在一些实施例中，第三特征提取层可以与第一特征提取层共享参数。

表情特征层440可以用于基于用户人脸特征和用户声音特征进一步提取与人脸图像相关的表情特征。例如，可以结合用户的声音特征，结合人脸图像特征提取高兴、忧伤等表情特征。表情特征层440的输入可以包括用户人脸特征410-2和用户声音特征420-2，输出可以包括表情特征450-1。在一些实施例中，表情特征层440可以包括卷积神经网络(Convolutional Neural Networks,CNN)。

生成层450可以用于生成人脸图像。例如，可以根据多张参考人脸图像及其特征，以及基于咨询视频中用户的人脸图像获取到的表情特征，生成另一张不同的人脸图像，作为处理后的人脸图像。生成层的输入可以包括参考人脸特征430-2、表情特征450-1，输出可以包括处理后的人脸图像460。生成层450的输出即为人脸图像生成模型的输出。

在一些实施例中，人脸图像生成模型400可以基于对联合模型的训练得到。有关联合模型及模型训练的更多实施例可参见图5及其相关描述。

图5是根据本说明书一些实施例所示的联合模型的示意图。如图5所述，在一些实施例中，联合模型500可以包括以下内容。

在一些实施例中，人脸图像生成模型也可以被称为第一模型，第一模型510可以基于对联合模型500的训练得到。

在一些实施例中，联合模型500可以包括第一模型510、第二模型520和第三模型530。其中，第一模型的输入可以作为联合模型的输入，包括用户的人脸图像410-1、该人脸图像对应的语音数据420-1和多张参考人脸图像430-1。

其中，第二模型520可以用于判断由两张人脸图像组成的图像对中，人脸表情是否相同。在一些实施例中，第二模型的输入可以包括用户的人脸图像410-1和处理后的人脸图像460构成的第一图像对540，其中，上述用户的人脸图像来自于用户的咨询视频，处理后的人脸图像由上述人脸图像经第一模型处理后获得。

在一些实施例中，第二模型520的输出可以包括第一图像对中图像的表情是否一致的判断结果550，第二模型的输出可以作为联合模型的输出之一。

在一些实施例中，第二模型可以包括第一特征层和第一判断层。第一特征层的输出作为第一判断层的输入，第一判断层的输出作为第二模型最终的输出。其中，第一特征层可以用于分别提取第一图像对中两个图像的人脸特征。第一特征层的输入可以包括用户的人脸图像和处理后的人脸图像构成的第一图像对，输出可以包括第一图像对中两张图像的人脸特征。第一判断层可以用于判断第一图像对中两张图像的表情是否相同。第一判断层的输入可以包括第一特征层提取到的两张图像的人脸特征，输出可以包括第一图像对中两张图像的表情是否相同。

在一些实施例中，第二模型的第一特征层可以和第一模型(即人脸图像生成模型)的第一特征提取层相同。

第三模型530可以用于判断两张人脸图像对是否为同一个人。在一些实施例中，第三模型的输入可以包括处理后的人脸图像460和与该人脸图像对应的多张参考人脸图像430-1中的一张构成的第二图像对560，其中，上述处理后的人脸图像由用户的人脸图像经第一模型处理后获得。

在一些实施例中，第三模型530的输出可以包括第二图像对中的图像是否为同一个人的判断结果570，第三模型的输出可以作为联合模型的输出之一。

在一些实施例中，第三模型可以包括第一特征层和第二判断层。第一特征层的输出作为第二判断层的输入，第二判断层的输出作为第三模型最终的输出。其中，第一特征层可以用于提取用户的人脸图像的人脸特征。第一特征层的输入可以包括一张处理后的人脸图像和该人脸图像对应的参考图像中的其中一张构成的第二图像对，输出可以包括上述两张图像的人脸特征。第二判断层用于判断第二图像对中的图像是否为同一个人。第二判断层的输入可以包括上述两张图像的人脸特征，输出可以包括第二图像对中的人脸图像是否为同一个人的判断结果。

在一些实施例中，第三模型的第一特征层可以和第一模型(即人脸图像生成模型)的第一特征提取层相同。

在一些实施例中，对联合模型进行训练至少包括以下步骤：

S1：对初始第二模型和初始第三模型分别进行单独训练，得到初级第二模型和初级第三模型。

在一些实施例中，对初始第二模型和初始第三模型进行训练的样本可以包括至少一个样本图像对，该样本图像对可以来自至少一段内容相同但人脸图像不同的视频，每两个视频构成一个样本图像对。例如，训练的样本可以是来自于表演系学生的作业录像。

在一些实施例中，可以基于上述样本图像对，对初始第二模型进行单独训练。初始第二模型可以通过第一特征层和第一判断层的联合训练得到。在一些实施例中，训练的标签可以是图像对中的人脸图像表情是否一致的判断结果。在一些实施例中，上述结果可以通过人工标注获取，还可以通过其他方式获取，具体可视实际情况确定。

在一些实施例中，可以将样本图像对作为第一样本图像对输入初始第二模型的第一特征层，得到第一样本图像对的人脸特征。将第一样本图像对的人脸特征输入初始第二模型的第一判断层，得到第一样本图像对中的人脸图像表情是否一致的判断结果。基于第一判断层的输出和训练的标签构建损失函数，并基于损失函数的迭代更第一特征层和第一判断层的参数，当损失函数满足预设条件时训练完成，第一特征层和第一判断层的参数均可以确定，得到初步训练好的初级第二模型。

在一些实施例中，可以基于上述样本图像对，对初始第三模型进行单独训练。初始第三模型可以通过第一特征层和第二判断层的联合训练得到。在一些实施例中，训练的标签可以是图像对中的人脸是否为同一个人的判断结果。在一些实施例中，上述结果可以通过人工标注获取，还可以通过其他方式获取，具体可视实际情况确定。

在一些实施例中，可以将样本图像对作为第二样本图像对输入初始第三模型的第一特征层，得到第二样本图像对的人脸特征。将第二样本图像对的人脸特征输入初始第三模型的第二判断层，得到第二样本图像对中的人脸是否为同一个人的判断结果。基于第二判断层的输出和训练的标签构建损失函数，并基于损失函数的迭代更第一特征层和第二判断层的参数，当损失函数满足预设条件时训练完成，第一特征层和第二判断层的参数均可以确定，得到初步训练好的初级第三模型。

S2：将样本数据输入初始第一模型，获得处理后的样本人脸图像。

在一些实施例中，初级第二模型或初级第三模型中的第一特征层可以作为初始第一模型中的第一特征提取层。

在一些实施例中，初始第一模型中的第二特征提取层可以通过训练第四模型得到。

在一些实施例中，第四模型可以用于确定语音数据中的情感特征，包括第二特征层和识别层。在一些实施例中，第四模型的输入可以包括语音数据，输出可以包括语音数据中包含的情感。

在一些实施例中，可以基于至少一个样本语音对初始第四模型进行训练。至少一个样本语音可以来自于表演系学生的作业录像。在一些实施例中，训练的标签可以是语音中包含的情感，标签可以通过人工标注获取，还可以通过其他方式获取，具体可视实际情况确定。

在一些实施例中，可以将样本语音输入初始第四模型的第二特征层，得到样本语音的声音特征。将样本语音的声音特征输入初始第四模型的识别层，得到样本语音数据中包含的情感。基于第识别层的输出和训练的标签构建损失函数，并基于损失函数的迭代，更新第二特征层和识别层的参数，当损失函数满足预设条件时训练完成，第二特征层和识别层的参数均可以确定，得到训练好的第四模型。

在一些实施例中，第四模型中的第二特征层可以作为初始第一模型的第二特征提取层。

本说明书一些实施例中，通过单独训练初级第二模型、初级第三模型和第四模型，初步确定了初始第一模型的部分参数，可以减小后续模型训练时的计算量，有利于提高模型的训练效率，使模型更快地达到准确。

在一些实施例中，对联合模型进行训练时，训练样本可以包括由至少一段内容相同但人脸图像不同的视频组成的视频集，该视频集可以来自于表演系学生的作业。

在一些实施例中，可以基于训练样本获取样本用户人脸图像、样本人脸图像对应的语音数据和多张样本参考人脸图像，将样本获取样本用户人脸图像、样本人脸图像对应的语音数据和多张参考人脸图像输入初始第一模型，获得处理后的样本人脸图像。

S3：将初始第一模型的处理结果分别输入初级第二模型和初级第三模型，基于初级第二模型和初级第三模型的输出结果构建损失函数。

在一些实施例中，可以将处理后的样本人脸图像和样本人脸图像构成的第三样本图像对输入初级第二模型，判断第三样本图像对中的图像表情是否一致；将处理后的样本人脸图像和多张样本参考人脸图像中的任意一张构成的第四样本图像对输入初级第三模型，判断第四图像对中的图像是否为同一个人。基于初级第二模型的判断结果、初级第三模型的判断结果和联合训练的标签构建损失函数。其中，联合训练的标签包括第一标签和第二标签，第一标签包括图像对中的两个图像表情一致，第二标签包括图像对中的图像为同一个人。

在一些实施例中，损失函数包括第一损失项和第二损失项，第一损失项基于初级第二模型的判断结果和第一标签构建，第二损失项基于初级第三模型的判断结果和第二标签构建。基于上述损失函数迭代更新初始第一模型的参数，在迭代更新的过程中，初级第二模型和初级第三模型的参数固定不变。

在一些实施例中，第一损失项和第二损失项对应具有权重。其中，二者的权重可以相同，也可以基于两个模型输出结果的置信度确定，如果预测结果与标签相同的置信度越大，那么对应的损失项权重越小。

S4：继续单独训练初级第二模型和初级第三模型。

在一些实施例中，可以基于初级第二模型的判断结果，获取图像对中的两个图像表情一致的概率大于阈值的图像对单独训练初级第二模型，训练的标签为表情一致。

在一些实施例中，可以基于初级第三模型的判断结果，获取图像对中的两个图像为同一个人的概率大于阈值的图像对单独训练第三模型，训练的标签为两个图像为同一个人。

重复上述S2-S4直到第二模型的判断结果满足预设条件时结束训练，获得训练好的第一模型、第二模型和第三模型。其中，预设条件可以是表情一致的概率大于预设阈值，该预设阈值可以根据实际情况进行设置。

本说明书一些实施例中，通过对第二模型和第三模型进行单独训练获得相对准确的初级第二模型和初级第三模型，再利用初始第一模型、初级第二模型、初级第三模型构成的联合模型对初始第一模型进行训练，基于联合模型的输出结果确定新的图像对，使用新的图像对继续单独对初级第二模型和初级第三模型进行训练。在这个过程中，第一模型输出结果的准确性与第二模型、第三模型判断结果的准确性相互影响，第二模型和第三模型判断结果越来越准确时，第一模型生成的数据也越来越准确。因此，通过以上训练方式可以提高训练的效率，获得更准确的训练结果。

图6是根据本说明书一些实施例所示的基于智能辅助系统的心理咨询系统的示例性模块图。

如图6所示，在一些实施例中，基于智能辅助系统的心理咨询系统600可以包括权限验证模块610、视频获取模块620和视频处理模块630。

权限验证模块610用于基于用户在所述用户终端输入的验证码，确定所述用户是否具有咨询权限。

权限验证模块610进一步用于从所述用户终端获取用户输入的登录号，对所述登录号进行加密处理，得到加密后的结果；通过检索确定数据库中是否存在与所述加密后的结果一致的加密数据，若存在与所述加密后的结果一致的加密数据，则判断所述用户具有咨询权限，其中，所述数据库包括多个加密数据，所述加密数据通过对有咨询权限的用户的登录号进行加密处理生成。关于加密处理的更多内容参见图3及其相关描述。

视频获取模块620用于若确定用户具有咨询权限，基于用户终端获取用户的咨询视频。关于基于用户终端获取用户的咨询视频的更多内容参见图2及其相关描述。

视频处理模块630用于对咨询视频进行处理，将处理后的视频发送至咨询终端，处理包括语音失真处理和人脸图像处理，其中，语音失真处理包括对咨询视频中的声音进行失真处理，生成处理后的咨询语音；人脸图像处理包括对咨询视频中的人脸图像进行处理，生成处理后的人脸图像，处理后的人脸图像与处理前表情一致、人脸特征不同。关于语音失真处理和人脸图像处理的更多内容参见图2及其相关描述。

视频处理模块630进一步用于通过人脸图像生成模型对所述用户的人脸图像、所述人脸图像对应的语音数据和多张参考人脸图像进行处理，生成所述处理后的人脸图像。关于人脸图像生成模型的更多内容参见图4及其相关描述。

视频处理模块630进一步用于通过所述可穿戴设备实时获取用户的生理数据；基于所述生理数据获取的时间和视频帧的时间之间的对应关系，发送所述生理数据和所述处理后的视频至所述咨询终端。关于生理数据的更多内容参见图2及其相关描述。

需要注意的是，以上对于系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，视频获取模块620和视频处理模块630可以整合在一个模块中。又例如，各个模块可以共用一个存储设备，各个模块也可以分别具有各自的存储设备。诸如此类的变形，均在本说明书的保护范围之内。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (8)

1.一种基于智能辅助系统的心理咨询方法，所述智能辅助系统包括用户终端、咨询终端和服务器终端，所述方法由所述服务器端执行，包括：

基于用户在所述用户终端输入的验证码，确定所述用户是否具有咨询权限；

若确定所述用户具有咨询权限，基于所述用户终端获取所述用户的咨询视频；

对所述咨询视频进行处理，将处理后的视频发送至所述咨询终端，所述处理包括语音失真处理和人脸图像处理，其中，

所述语音失真处理包括通过语音智能处理模型对所述咨询视频中的声音进行失真处理，生成处理后的咨询语音；

所述人脸图像处理包括通过人脸图像生成模型对所述用户的人脸图像、所述人脸图像对应的语音数据和多张参考人脸图像进行处理，生成处理后的人脸图像，所述处理后的人脸图像与处理前表情一致、人脸特征不同；

其中，所述人脸图像生成模型包括：第一特征提取层、第二特征提取层、第三特征提取层、表情特征层和生成层；所述表情特征层的输入包括所述第一特征提取层的输出和所述第二特征提取层的输出，所述生成层的输入包括所述第三特征提取层的输出和所述表情特征层的输出，所述人脸图像生成模型的输出包括所述生成层的输出，所述第三特征提取层与所述第一特征提取层共享参数；

其中，所述人脸图像生成模型基于联合模型训练得到，所述联合模型包括第一模型、第二模型和第三模型，所述第一模型为所述人脸图像生成模型，所述第一模型的输入包括所述用户的所述人脸图像、所述人脸图像对应的所述语音数据和多张所述参考人脸图像，所述第二模型的输入包括所述用户的所述人脸图像和所述处理后的人脸图像，所述第二模型用于判断所述用户的所述人脸图像中的人脸表情与所述处理后的人脸图像中的所述人脸表情是否相同，所述第三模型的输入包括所述处理后的人脸图像和与所述用户的所述人脸图像对应的多张所述参考人脸图像中的一张构成的第二图像对，所述第三模型用于判断所述第二图像对中的两张图像是否为同一个人。

2.如权利要求1所述的基于智能辅助系统的心理咨询方法，所述基于用户在所述用户终端输入的验证码，确定所述用户是否具有咨询权限，包括：

从所述用户终端获取用户输入的验证码，对所述验证码进行加密处理，得到加密后的结果；

通过检索确定数据库中是否存在与所述加密后的结果一致的加密数据，若存在与所述加密后的结果一致的加密数据，则判断所述用户具有咨询权限，其中，所述数据库包括多个加密数据，所述加密数据通过对有咨询权限的用户的验证码进行加密处理生成。

3.如权利要求1所述的基于智能辅助系统的心理咨询方法，所述用户终端包括可穿戴设备，所述将处理后的视频发送至所述咨询终端包括：

通过所述可穿戴设备实时获取用户的生理数据；

基于所述生理数据获取的时间和视频帧的时间之间的对应关系，发送所述生理数据和所述处理后的视频至所述咨询终端。

4.一种基于智能辅助系统的心理咨询系统，包括：

权限验证模块，所述权限验证模块用于基于用户在用户终端输入的验证码，确定所述用户是否具有咨询权限；

视频获取模块，所述视频获取模块用于若确定所述用户具有咨询权限，基于所述用户终端获取所述用户的咨询视频；

视频处理模块，所述视频处理模块用于对所述咨询视频进行处理，将处理后的视频发送至咨询终端，所述处理包括语音失真处理和人脸图像处理，其中，

所述语音失真处理包括通过语音智能处理模型对所述咨询视频中的声音进行失真处理，生成处理后的咨询语音；

所述人脸图像处理包括通过人脸图像生成模型对所述用户的人脸图像、所述人脸图像对应的语音数据和多张参考人脸图像进行处理，生成处理后的人脸图像，所述处理后的人脸图像与处理前表情一致、人脸特征不同；

其中，所述人脸图像生成模型包括：第一特征提取层、第二特征提取层、第三特征提取层、表情特征层和生成层；所述第一特征提取层的输出和所述第二特征提取层的输出作为所述表情特征层的输入，所述第三特征提取层的输出和所述表情特征层的输出作为所述生成层的输入，所述生成层的输出作为所述人脸图像生成模型的输出，所述第三特征提取层与所述第一特征提取层共享参数；

其中，所述人脸图像生成模型基于联合模型训练得到，所述联合模型包括第一模型、第二模型和第三模型，所述第一模型为所述人脸图像生成模型，所述第一模型的输入包括所述用户的所述人脸图像、所述人脸图像对应的所述语音数据和多张所述参考人脸图像，所述第二模型的输入包括所述用户的所述人脸图像和所述处理后的人脸图像，所述第二模型用于判断所述用户的所述人脸图像中的人脸表情与所述处理后的人脸图像中的人脸表情是否相同，所述第三模型的输入包括所述处理后的人脸图像和与所述用户的所述人脸图像对应的多张所述参考人脸图像中的一张构成的第二图像对，所述第三模型用于判断所述第二图像对中的两张图像是否为同一个人。

5.如权利要求4所述的基于智能辅助系统的心理咨询系统，所述权限验证模块进一步用于：

从所述用户终端获取用户输入的验证码，对所述验证码进行加密处理，得到加密后的结果；

通过检索确定数据库中是否存在与所述加密后的结果一致的加密数据，若存在与所述加密后的结果一致的加密数据，则判断所述用户具有咨询权限，其中，所述数据库包括多个加密数据，所述加密数据通过对有咨询权限的用户的验证码进行加密处理生成。

6.如权利要求4所述的基于智能辅助系统的心理咨询系统，所述视频处理模块还用于：

通过可穿戴设备实时获取用户的生理数据；

基于所述生理数据获取的时间和视频帧的时间之间的对应关系，发送所述生理数据和所述处理后的视频至所述咨询终端。

7.一种基于智能辅助系统的心理咨询装置，包括处理器，所述处理器用于执行权利要求1～3中任一项所述的基于智能辅助系统的心理咨询方法。

8.一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1～3任一项所述的基于智能辅助系统的心理咨询方法。