CN116821457A - 一种基于多模态大模型的智能咨询及舆情处理系统 - Google Patents

Abstract

本发明公开了一种基于多模态大模型的智能咨询及舆情处理系统；所述处理系统通过对用户输入进行上下文分析，确定用户输入中涉及的一个主要的舆情主题，并引导用户进行中性讨论。根据用户的观点和性格，系统生成两个具有不同性格参数的辅助子模型，负责与用户进行交流并向用户提供输出信息；两个子模型的性格差异通过计算性格参数的余弦相似度与预设阈值比较确定。系统还包含一个存储器，存储舆情数据库和事件档案，这些通过网络信息数据采集、清洗、存储，以及数据处理过程产生。此外，系统采用大型语言模型处理生成向用户的输出内容，并包含人工标注的舆情策略列表。

Description

一种基于多模态大模型的智能咨询及舆情处理系统

技术领域

本发明涉及一种数字处理领域。具体而言，涉及一种基于多模态大模型的智能咨询及舆情处理系统。

背景技术

随着互联网和社交媒体的快速发展，大量的用户生成内容每天都在网络上产生。这些内容为我们提供了宝贵的信息，但同时也带来了信息过载的问题。如何有效地处理和理解这些信息，已经成为了一项重要的技术挑战。

根据已公开的技术方案，公开号为WO2019000304A1的技术方案提出通过多次验证舆情发展的方式，实现对舆情情况的准确监控；公开号为US20110289078A1的技术方案提出一种将由互联网收集的舆情意见转化为可量化的数据的方法，实现将大量主观意见进行记录并进行统计；公开号为KR1020100098014A的技术方案通过对互联网文章进行采集并且将文章的内容基于情感表达的多个因素进行考量，实现对主流舆情的把握和判断。

以上技术方案均提出若干对舆情情况进行调查以了解舆情主流观点及其影响，但是由于舆情实际发生时的复杂情度以及针对目前舆情以多种媒介进行传播的情况下，目前的技术方案还难以处理这种极为复杂的情况，并且亦无法作出一种合乎于社会利益的正确引导。

背景技术的前述论述仅意图便于理解本发明。此论述并不认可或承认提及的材料中的任一种公共常识的一部分。

发明内容

本发明的目的在于，提供了一种基于多模态大模型的智能咨询及舆情处理系统；所述处理系统通过对用户输入进行上下文分析，确定用户输入中涉及的一个主要的舆情主题，并引导用户进行中性讨论。根据用户的观点和性格，系统生成两个具有不同性格参数的辅助子模型，负责与用户进行交流并向用户提供输出信息；两个子模型的性格差异通过计算性格参数的余弦相似度与预设阈值比较确定。系统还包含一个存储器，存储舆情数据库和事件档案，这些通过网络信息数据采集、清洗、存储，以及数据处理过程产生。此外，系统采用大型语言模型处理生成向用户的输出内容，并包含人工标注的舆情策略列表。

本发明采用如下技术方案：一种基于多模态大模型的智能咨询及舆情处理系统，所述处理系统包括具有一个或以上处理器的服务器，并且包括向用户提供一个或以上的客户端输入装置；所述服务器与所述客户端输入装置彼此通讯连接；所述客户端输入装置用于与用户进行交互，接受用户的输入信息并将输入信息传输到服务器等待服务器的处理后，从服务器接收处理后的输出信息，并向用户展示输出信息；

所述处理系统实现第一处理阶段，即：接收用户的输入信息，对输入信息进行处理并进行上下文意义分析，确定所述输入信息中包括的一个舆情主题；所述处理系统通过搜索所述舆情主题的相关信息，由大模型生成至少一次与用户关于所述舆情主题的中性讨论，以获取用户对于该舆情主题更多的观点的反馈；

所述处理系统判断已获取的用户观点是否足够；若足够，则实施第二处理阶段：判断用户对所述舆情主题的第一观点，以及判断用户的基本性格；所述处理系统生成两个辅助子模型，其中所述辅助子模型中的第一子模型具有第一性格参数，第二子模型具有第二性格参数；两个辅助子模型响应所述第一观点并分别基于自身的性格参数确定至少一个向用户的输出信息；所述处理系统同时向用户输出两个所述辅助子模型所确定的输出信息后，等待用户自行选择希望跟进交流的其中至少一条输出信息；

其中，用户的输入信息的类型包括声音、文本、图像或视频，或者以上几种类型的任意组合；

优选地，所述处理系统还包括存储器；所述存储器包括舆情数据库，用于存储多个舆情事件档案；所述舆情事件档案的建立步骤包括：

S100：一次数据采集，通过对特定范围网络信息数据进行大数据爬取，获取大量包括舆情信息的原始数据，再对筛选后的原始数据进行清洗后，进行存储；

S200：数据分类，对原始数据的文本信息进行分词处理并分类，提取获得多个关键词，构建关键词库；将关键词储存至舆情数据库中的关键词库；并对当中的关键词进行归纳，以识别出一个或以上的舆情事件；

S300：字词以及关键字与舆情事件进行关联，将一个舆情事件与关键词库中的关键词进行关联；并在原始数据中的字以及词组进行过滤筛选，去除无关数据，基于舆情事件以及关键字，对多个具有代表性的舆情事件的字词进行聚合关联，得到舆情事件的词语合集；

S400：二次数据采集，在所述词语合集的基础上，确定包含目标关键词的词语合集，根据所述词语合集再次对网络数据进行数据采集，采集与两个或两个以上的词语合集内的词语相关的内容数据；

其中，内容数据包括声音、文本、图像或视频，或者以上几种类型的任意组合；

S500：对步骤S400中二次采集的内容数据转化为文体信息并进行分词处理，得到更多的关键词，将新增的关键词加入到所述关键词库；

优选地，所述处理系统包括采用自然语言理解模型处理执行所述第一处理阶段、第二处理阶段以及舆情事件档案的建立；

优选地，所述处理系统包括采用大型语言模型处理生成面向用户的输出内容；

优选地，所述处理系统还包括在所述存储器中存储有舆情策略列表；所述舆情策略列表包括：

多个舆情事件的主要观点和引导策略，其中由人工标注所述主要观点和引导策略；

对每个舆情事件的若干正面表达关键字，其中每个正面表达关键字能够表示一个观点是对所述舆情事件具有较为正面、积极的思想；

对每个舆情事件的若干负向表达关键字，其中每个负向表达关键字能够表示一个观点是对所述舆情事件具有较为反面、消极的思想；

优选地，所述处理系统在生成两个所述辅助子模型后，需要确定两个所述辅助子模型具有足够的性格差异；通过以下步骤，确定两个所述辅助子模型的性格差异：

E100：设定每个所述辅助子模型的一组性格参数P=(p₁,p₂,……,p_n)为一个具有n维的性格向量，p_i为所述性格向量中的一个特征维度，性格参数P用于表征一个辅助子模型的性格特征；

E200：设定所述第一性格参数为P(a)，所述第二性格参数为P(b)，则有：

；

其中，为两个性格向量的点积，即：

；

、/>即分别为两个性格向量的模的长度；

E300：设定一个性格差异阈值Diff，且当cos(θ)<Diff时，确定生成的两个所述辅助子模型为具有足够差异化。

本发明所取得的有益效果是：

本发明的处理系统通过使用具有多模态内容处理能力的处理器，能够处理从各种媒介渠道中的各类型的舆情信息，区别于以往以文字为主的内容输入，使得本发明的处理系统具有更广泛的收集舆情内容的能力；

本发明的处理系统通过建立舆情策略列表，并且采用引导策略进行舆情引导，使得各类的错误信息和谣言能在一定程度上得到遏制；

本发明的处理系统通过建立两个具有一定性格差异的辅助子模型与用户进行交流并由用户选择更倾向于交流的子模型，从而在一定程度上增加用户对继续交流的意愿并提升认同感；

本发明的处理系统中各软、硬件部分采用了模块化设计，方便今后的升级或者更换相关的软、硬件环境，降低了使用的成本。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。

10-服务器；20-客户端；22-应答程序；30-网络；31-第一子模型；32-第二子模型；

图1为本发明所述处理系统的架构示意图；

图2为本发明实施例中对用户的输入信息的处理实施方式示意图；

图3为本发明实施例中使用两个辅助子模型对用户的输入信息的实施方式示意图；

图4为本发明实施例进行两个辅助子模型的性差异分析的实施步骤示意图。

具体实施方式

为了使得本发明的目的技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明 ，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内。包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位。以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

实施例一：一种基于多模态大模型的智能咨询及舆情处理系统，所述处理系统包括具有一个或以上处理器的服务器，并且包括向用户提供一个或以上的客户端；所述服务器与所述客户端彼此通讯连接；所述客户端用于与用户进行交互，接受用户的输入信息并将输入信息传输到服务器等待服务器的处理后，从服务器接收处理后的输出信息，并向用户展示输出信息；

所述处理系统实现第一处理阶段，即：接收用户的输入信息，对输入信息进行处理并进行上下文意义分析，确定所述输入信息中包括的一个舆情主题；所述处理系统通过搜索所述舆情主题的相关信息，由大模型生成至少一次与用户关于所述舆情主题的中性讨论，以获取用户对于该舆情主题更多的观点的反馈；

所述处理系统判断已获取的用户观点是否足够；若足够，则实施第二处理阶段：判断用户对所述舆情主题的第一观点，以及判断用户的基本性格；所述处理系统生成两个辅助子模型，其中所述辅助子模型中的第一子模型具有第一性格参数，第二子模型具有第二性格参数；两个辅助子模型响应所述第一观点并分别基于自身的性格参数确定至少一个向用户的输出信息；所述处理系统同时向用户输出两个所述辅助子模型所确定的输出信息后，等待用户自行选择希望跟进交流的其中至少一条输出信息；

其中，用户的输入信息的类型包括声音、文本、图像或视频，或者以上几种类型的任意组合；

优选地，所述处理系统还包括存储器；所述存储器包括舆情数据库，用于存储多个舆情事件档案；所述舆情事件档案的建立步骤包括：

S100：一次数据采集，通过对特定范围网络信息数据进行大数据爬取，获取大量包括舆情信息的原始数据，再对筛选后的原始数据进行清洗后，进行存储；

S200：数据分类，对原始数据的文本信息进行分词处理并分类，提取获得多个关键词，构建关键词库；将关键词储存至舆情数据库中的关键词库；并对当中的关键词进行归纳，以识别出一个或以上的舆情事件；

S300：字词以及关键字与舆情事件进行关联，将一个舆情事件与关键词库中的关键词进行关联；并在原始数据中的字以及词组进行过滤筛选，去除无关数据，基于舆情事件以及关键字，对多个具有代表性的舆情事件的字词进行聚合关联，得到舆情事件的词语合集；

S400：二次数据采集，在所述词语合集的基础上，确定包含目标关键词的词语合集，根据所述词语合集再次对网络数据进行数据采集，采集与两个或两个以上的词语合集内的词语相关的内容数据；

其中，内容数据包括声音、文本、图像或视频，或者以上几种类型的任意组合；

S500：对步骤S400中二次采集的内容数据转化为文体信息并进行分词处理，得到更多的关键词，将新增的关键词加入到所述关键词库；

优选地，所述处理系统包括采用自然语言理解模型处理执行所述第一处理阶段、第二处理阶段以及舆情事件档案的建立；

优选地，所述处理系统包括采用大型语言模型处理生成面向用户的输出内容；

优选地，所述处理系统还包括在所述存储器中存储有舆情策略列表；所述舆情策略列表包括：

多个舆情事件的主要观点和引导策略，其中由人工标注所述主要观点和引导策略；

对每个舆情事件的若干正面表达关键字，其中每个正面表达关键字能够表示一个观点是对所述舆情事件具有较为正面、积极的思想；

对每个舆情事件的若干负面表达关键字，其中每个负向表达关键字能够表示一个观点是对所述舆情事件具有较为反面、消极的思想；

优选地，所述处理系统在生成两个所述辅助子模型后，需要确定两个所述辅助子模型具有足够的性格差异；通过以下步骤，确定两个所述辅助子模型的性格差异：

E100：设定每个所述辅助子模型的一组性格参数P=(p₁,p₂,……,p_n)为一个具有n维的性格向量，p_i为所述性格向量中的一个特征维度，性格参数P用于表征一个辅助子模型的性格特征；

E200：设定所述第一性格参数为P(a)，所述第二性格参数为P(b)，则有：

；

其中，为两个性格向量的点积，即：

；

、/>即分别为两个性格向量的模的长度；

E300：设定一个性格差异阈值Diff，且当cos(θ)<Diff时，确定生成的两个所述辅助子模型为具有足够差异化；

示例性地，如附图1所示，示出所述处理系统的一个实施方式：

其中，用户通过使用所述处理系统包括客户端20以及安装在所述客户端20中的输入应用程序，以进行信息的输入；在一些实施方式中，输入应用程序可以在客户端20本地实现；在另一些实施方式中，输入应用程序可以通过远程云应用实现；在这些实施方式中，客户端20和服务器10可以经由一个或多个网络30彼此通信地耦合，例如使用一个或多个有线或无线局域网进行通信；

优选地，客户端20可以是例如以下一项或多项：台式计算机、膝上型计算机、平板电脑、移动电话、车辆的计算设备（例如，车载通信系统、车载娱乐系统、车载导航系统）、独立交互式扬声器（可选地具有显示器）、诸如智能电视之类的智能电器、和/或包括计算设备（例如具有运算能力的智能手表、具有运算能力的用户的眼镜、虚拟或增强现实计算设备），或者可以是其他提供和/或替代的客户端设备；

优选地，用户可以通过多种方式向客户端进行信息输入，以充分利用多模态大模型的功能和优势；输入的方式包括：

文字输入：用户可以通过键盘或触摸屏输入设备输入文本信息；这种输入方式可以适用于电脑、手机、平板等具有键盘或触摸屏的设备。用户可以输入问句、评论、意见或任何其他形式的文本信息；

语音输入：用户可以使用麦克风或其他音频输入设备进行语音输入；语音输入可以通过语音识别技术转化为文本信息，从而被系统进行处理；这种输入方式对于移动设备或智能家居设备尤其方便，用户可以通过语音命令进行交互；

图像输入：用户可以使用摄像头或其他图像输入设备输入图像信息；系统可以通过计算机视觉技术解析图像内容；例如，用户可以上传一张舆情事件相关的新闻报道图片，系统可以识别图片并进一步搜索相关的舆情资料；

视频输入：用户可以使用摄像头或其他视频输入设备输入视频信息，或者将从互联网中获取到的视频信息上传到所述客户端；例如，用户可以上传一段新闻视频，系统可以分析视频内容并提供相关的讨论和信息；

进一步的，如附图2所示，客户端20可以执行应答程序22，用于与用户101进行交流，包括但不仅限于如本文所述处理系统对于舆情有关的内容交流；应答程序22的实例可以是与客户端20的操作系统分离的应用程序，或者可以替代地直接由客户端20的操作系统来实现；应答程序22可以与在客户端20处本地实现或远程地实现并经由一个或多个网络调用的服务器10进行交互；其中，应答程序22从用户101的视角，可以视为所述处理系统的一个逻辑实例；用户通过与应答程序22进行交互的过程中，所述处理系统接收用户的输入，通过向用户展示处理系统运算后的输出信息；

进一步的，为实现用户的输入信息中包括的多类型的信息，例如文本、图像、音频和视频，所述服务器需要进行多模态信息的处理，以及对输入的数据进行融合和同步，其中涉及到多种技术；其中，最重要的是深度学习和机器学习技术，包括可以采用以下是技术选项：

深度神经网络，可用于处理各种类型的数据，包括文本、图像、音频和视频等；深度神经网络可以包括如卷积神经网络（CNN）非常适合处理图像数据，循环神经网络（RNN）和Transformer网络则非常适合处理序列数据，如文本和音频；

优选地，使用多模态融合技术对各种类型的输入信息进行意义融合以生成统一的信息类型；对于多模态的数据融合，可以使用一些专门的融合技术，如早期融合（earlyfusion）、晚期融合（late fusion）和层次融合（hierarchical fusion）；这些技术可以将来自不同模态的信息进行有效的组合；

优选地，所述处理系统可以采用自注意力机制进行多类型信息的处理；例如，在处理文本和视频数据时，自注意力机制可以帮助系统理解文本和视频之间的关系，如文本中的某个词语与视频中的某个场景之间的对应关系；

优选地，所述处理系统包括采用迁移学习的技术，利用在一个模态上学到的知识来帮助处理另一个模态的数据；例如，通过在大量的文本数据上预训练的语言模型，可以帮助处理音频数据中的语音识别任务；

优选地，所述处理系统包括采用强化学习的技术，强化学习可以用于训练处理系统如何在处理多模态输入时做出最优的决策，如何选择和组合不同模态的信息，以及如何根据不同的输入调整其处理和输出策略；

进一步的，所述处理系统包括采用自然语言理解模型（NLU模型）进行对用户的输入信息的理解处理；NLU模型即Natural Language Understanding，它是自然语言处理（NLP）的一个重要分支；NLU模型的任务是理解和解释人类语言，将自然语言转化为计算机可以理解的形式；NLU模型通常基于深度学习和机器学习技术，最常见的是使用神经网络模型，如循环神经网络（RNN）、长短期记忆网络（LSTM）和Transformer网络等；这些模型可以处理序列数据，如文本，学习和理解文本中的语法结构、语义关系和情感倾向等；

NLU模型通常需要大量的标注数据进行训练，通过学习这些数据，模型可以学习到语言的规律和模式。在训练过程中，模型通过损失函数来衡量其预测和真实值之间的差距，通过优化算法如梯度下降法来优化模型参数，使得损失函数的值最小；

进一步的，NLU模型在自然语言处理中的起到重要作用；它可以帮助计算机理解人类语言，使得计算机可以进行更自然和人性化的交互；NLU模型可以应用于多种任务，如情感分析、文本分类、实体识别、关系抽取、语义角色标注、问答系统、对话系统等；

在本技术方案中，NLU模型用于处理和理解用户的文本输入；例如，当用户输入一段对话、图片、语音等内容时，NLU模型可以理解对话中的含义，并分析当中可能涉及到的舆情内容；当用户输入一段对舆情情况的评论时，NLU模型可以理解评论的情感倾向，从而进行情感分析；此外，NLU模型还可以理解用户的意图，从而进行意图识别和对话管理；

进一步的，在处理完对输入信息的理解后，所述处理系统包括使用大语言模型进行系统内的结论性内容总结，并处理成可以为人类读懂的语言后进行输出；大语言模型是基于NLU模型并专门针以语言输出的模型；大语言模型通常基于Transformer网络架构，如目前已知的GPT（Generative Pretrained Transformer）、BERT（Bidirectional EncoderRepresentations from Transformers）模型等；这些模型使用自注意力（self-attention）机制，可以捕获文本中长距离的依赖关系，理解上下文语境；在训练过程中，模型通过大量的文本数据学习语言的规律和模式；例如，在预训练过程中，GPT模型通过预测每个词的下一个词来进行训练，BERT模型通过预测被掩盖的词来进行训练；通过这种方式，模型可以学习到语法结构、词义关系、情感倾向等；使用大语言模型可以用于多种任务，如文本生成、文本分类、实体识别、情感分析、问答系统、对话系统等；它可以理解和生成人类语言，进行更自然和人性化的交互；

因此，大语言模型用于理解和生成用户的文本输入；例如，当所述处理系统在进行第一处理阶段中与用户的中性讨论以及第二处理阶段中，两个所述辅助子模型的输出信息，均可以使用大语言模型生成符合语言规律和所述处理系统的表达需求的语言信息后进行输出；

需要说明的是，自然语言理解模型NLU和大型语言模型LLM都是自然语言处理领域的重要部分，它们共同的目标是理解和生成人类语言；而其中，NLU模型主要关注理解输入数据的含义，比如解析用户的查询，理解其背后的意图；NLU模型特别重要的一点是它们能够处理人类语言的复杂性和歧义性，将自然语言查询转化为计算机可以理解和执行的任务；

另一方面，LLM则是用来生成人类语言的模型；LLM通过预测文本序列中下一个词的方式进行训练，这使得它们可以生成连贯和有意义的文本；LLM可以用于各种任务，包括回答问题、写作、翻译等；

优选地，使用NLU和LLM一起工作以提供更强大的NLP应用；例如，在本实施方式中，NLU模型可以用于理解用户对于一个舆情事件的理解和观点，然后LLM可以根据这个理解生成一个适当的响应；这样，NLU和LLM就可以共同工作，提供一个能够理解用户请求并生成有意义响应的系统；

进一步的，在第一处理阶段生成的面向用户的中性讨论在向用户发出前，需要确定所述中性讨论所带有的观点是正面还是负面（或积极还是消极），其中通常涉及到情感分析或者观点挖掘，这是自然语言处理领域的一项关键任务；当中包括：

确定观点倾向，在一个基本的情感分析任务中，大模型通常需要被训练来识别文本中的正面或负面观点；这种训练通常是监督式的，也就是说，模型会使用一组已经被标记为正面、负面或中性的训练数据；在确定观点倾向时，模型会分析文本中的各种因素，包括单词的选择、语法、上下文、甚至是作者的情感；例如，一些单词如“喜欢”，“好”，“成功”通常会被认为是积极的，而其他一些单词如“恨”，“坏”，“失败”通常会被认为是消极的；

然后，大模型会使用这些信息来预测给定文本的情感倾向；例如，如果一个句子中包含了更多的积极单词，那么模型可能会判断这个句子具有积极的情感倾向；

进一步的，需要确定对用户的回应的中性讨论，对于中性讨论的确定，模型通常会查找那些没有明显的正面或负面情感倾向的表达；这可能包括事实陈述、数据报告或者其他不包含显著情感色彩的语言；

此外，所述中性讨论也可能是正面和负面观点的混合，其中没有一种观点占主导地位；例如，在反映一个社会事件的文章中，作者可能会列出该事件的一些人物的优点（正面观点），但同时也会提到另一些缺点（负面观点）；

进一步的，通过第一处理阶段后，用户可以通过与所述处理系统的交流，使得处理系统通过逐步理解用户对一个舆情主题的基本观点，同时可以涉及到用户的一些基本信息，例如性别、年龄、籍贯等背景信息，并将这些背景信息作为后续第二处理阶段的提示词以引导输出信息的生成；

并且，所述中性讨论可以包括与用户之间的一句话交流，或者多句话的交流以整成一次小型但完整的交谈；而中性讨论的结束节点由所述处理系统根据所获取的用户信息来判断。

实施例二：本实施例应当理解为至少包含前述任意一个实施例的全部特征，并在其基础上进一步改进；

虽然通过使用NLU和LLM两个模型一起工作，可以基本实现对用户的输入信息的理解，然而可能由于信息的不对称、信息不足或者用户提供的讨论信息过于简短，导致对用户基本性格的判断不全面，导致所述处理系统在作出进一步回答时难以引起用户继续讨论的；

因此，在一些优选的实施方式中，通过由两个具有性格特征差异的所述辅助子系统，生成两个具有性格差异所做成的意义上具有一定差异，但具有相同中心思想的输出信息，以进一步确定用户的真实主观思想，并且令用户通过从中选择更愿意作进一步交流的输出信息，从而令用户产生认同感并自愿继续交流；

如附图3所示，在第一处理阶段完成后，所述处理系统进一步安排生成两个具有性格参数差异的第一子模型31以及第二子模型32，继续生成后续的输出信息；

优选地，所述处理系统的存储器中包括存储有多组性格参数集，以确定对应的性格向量P；其中性格参数集中的每一个参数代表一个特定的性格特征，亦即性格向量P的每一个维度代表一个特定的性格特征；

其中，在一些实施方式中，性格特征可以包括乐观、悲观，或者急燥、缓和等宏观上的特征；而在另一些实施方式中，性格特征可以包括以语言特征来表征，例如语调、词汇、词汇习惯、表达复杂度等等；

一个所述辅助子模型在生成文本时，模型会根据选择的性格向量P来调整其输出；例如，如果选择了反映第一人格的参数集P(a)，模型的输出会倾向于使用P(a)中的语调、词汇和表达复杂度等特性；

以上说明只是一个较高级的抽象表示，而在实际应用中，可以并非采用实数域的数值进行向量的表示，或者，可以用其他数学工具用以表以辅助子模型所体现的性格特征，在此并非作出实施方式的限定；

并且，如附图4所示，通过多个步骤生式两个辅助子模型的性格特征，并通过计算式

，

计算第一子模型31以及第二子模型32的性格差异是否达到预期；

如果cos(θ)的数值越接近1，这意味着两个向量的方向越趋于相同，亦即第一子模型31以及第二子模型32在每个参数（例如语调、词汇选择、表达复杂度等）上都是趋于类似甚至是相同的；

如果cos(θ)的数值越接近为0，这意味着两个向量是趋于正交的，即它们在几何上是垂直的；在本实施方式中，亦即表征第一子模型31以及第二子模型32相似度为0，那么它们在参数空间中是完全不相关的；这并不意味着它们在每个参数上都有完全不同的值，而是它们的参数值的组合和分布没有任何相关性；

如果cos(θ)的数值越接近-1，这意味着两个向量的方向趋于相反，表征的是一个参数集在每个参数上的值都是另一个参数集的相反数，表征第一子模型31以及第二子模型32具有巨大的差异；

所以，通过设定性格差异阈值Diff，控制cos(θ)的数值在一定范围内，使得第一子模型31以及第二子模型32既有相异的性格，但需要保证两种性格并非严重的两极分化；

进一步的，第一子模型31以及第二子模型32应根据所述舆情策略列表进行舆情评论的思想制定，并且通过组织正确的语言进行表达；在组织语言上，第一子模型31以及第二子模型32可以通过所述关键字词中的关键字作出提示词进行生成，并且参考所述舆情策略列表中的正面/负面表达关键字，作出具有一定舆情评论思想的输出信息。

虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。也就是说上面讨论的方法，系统和设备是示例。各种配置可以适当地省略，替换或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加，省略和/或组合各种部件。而且，关于某些配置描述的特征可以以各种其他配置组合，如可以以类似的方式组合配置的不同方面和元素。此外，随着技术发展其中的元素可以更新，即许多元素是示例，并不限制本公开或权利要求的范围。

在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置例如，已经示出了众所周知的电路，过程，算法，结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例配置，并且不限制权利要求的范围，适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。

综上，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (6)

1.一种基于多模态大模型的智能咨询及舆情处理系统，其特征在于，所述处理系统包括具有一个或以上处理器的服务器，并且包括向用户提供一个或以上的客户端输入装置；所述服务器与所述客户端输入装置彼此通讯连接；所述客户端输入装置用于与用户进行交互，接受用户的输入信息并将输入信息传输到服务器等待服务器的处理后，从服务器接收处理后的输出信息，并向用户展示输出信息；

所述处理系统实现第一处理阶段，即：接收用户的输入信息，对输入信息进行处理并进行上下文意义分析，确定所述输入信息中包括的一个舆情主题；所述处理系统通过搜索所述舆情主题的相关信息，由大模型生成至少一次与用户关于所述舆情主题的中性讨论，以获取用户对于该舆情主题更多的观点的反馈；

所述处理系统判断已获取的用户观点是否足够；若足够，则实施第二处理阶段：判断用户对所述舆情主题的第一观点，以及判断用户的基本性格；所述处理系统生成两个辅助子模型，其中所述辅助子模型中的第一子模型具有第一性格参数，第二子模型具有第二性格参数；两个辅助子模型响应所述第一观点并分别基于自身的性格参数确定至少一个向用户的输出信息；所述处理系统同时向用户输出两个所述辅助子模型所确定的输出信息后，等待用户自行选择希望跟进交流的其中至少一条输出信息；

其中，用户的输入信息的类型包括声音、文本、图像或视频，或者以上几种类型的任意组合。

2.如权利要求1所述处理系统，其特征在于，所述服务器还包括存储器；所述存储器包括舆情数据库，用于存储多个舆情事件档案；所述舆情事件档案的建立步骤包括：

S100：一次数据采集，通过对特定范围网络信息数据进行大数据爬取，获取大量包括舆情信息的原始数据，再对筛选后的原始数据进行清洗后，进行存储；

S200：数据分类，对原始数据的文本信息进行分词处理并分类，提取获得多个关键词，构建关键词库；将关键词储存至舆情数据库中的关键词库；并对当中的关键词进行归纳，以识别出一个或以上的舆情事件；

S300：字词以及关键字与舆情事件进行关联，将一个舆情事件与关键词库中的关键词进行关联；并在原始数据中的字以及词组进行过滤筛选，去除无关数据，基于舆情事件以及关键字，对多个具有代表性的舆情事件的字词进行聚合关联，得到舆情事件的词语合集；

S400：二次数据采集，在所述词语合集的基础上，确定包含目标关键词的词语合集，根据所述词语合集再次对网络数据进行数据采集，采集与两个或两个以上的词语合集内的词语相关的内容数据；

其中，内容数据包括声音、文本、图像或视频，或者以上几种类型的任意组合；

S500：对步骤S400中二次采集的内容数据转化为文体信息并进行分词处理，得到更多的关键词，将新增的关键词加入到所述关键词库。

3.如权利要求2所述处理系统，其特征在于，所述处理系统包括采用自然语言理解模型处理执行所述第一处理阶段、第二处理阶段以及舆情事件档案的建立。

4.如权利要求3所述处理系统，其特征在于，所述处理系统包括采用大型语言模型处理生成向用户的输出内容。

5.如权利要求4所述处理系统，其特征在于，所述处理系统还包括在所述存储器中存储有舆情策略列表；所述舆情策略列表包括：

多个舆情事件的主要观点和引导策略，其中由人工标注所述主要观点和引导策略；

对每个舆情事件的若干正面表达关键字，其中每个正面表达关键字能够表示一个观点是对所述舆情事件具有较为正面、积极的思想；

对每个舆情事件的若干负面表达关键字，其中每个负向表达关键字能够表示一个观点是对所述舆情事件具有较为反面、消极的思想。

6.如权利要求5所述处理系统，其特征在于，所述处理系统在生成两个所述辅助子模型后，需要确定两个所述辅助子模型具有足够的性格差异；通过以下步骤，确定两个所述辅助子模型的性格差异：

E100：设定每个所述辅助子模型的一组性格参数P=(p₁,p₂,……,p_n)为一个具有n维的性格向量，p_i为所述性格向量中的一个特征维度，性格参数P用于表征一个辅助子模型的性格特征；

E200：设定所述第一性格参数为P(a)，所述第二性格参数为P(b)，则有：

；

其中，为两个性格向量的点积，即：

；

、/>即分别为两个性格向量的模的长度；

E300：设定一个性格差异阈值Diff，且当cos(θ)<Diff时，确定生成的两个所述辅助子模型为具有足够差异化。