CN117251886A - 模型输出信息的验证方法、装置、电子设备和可读介质 - Google Patents

模型输出信息的验证方法、装置、电子设备和可读介质 Download PDF

Info

Publication number
CN117251886A
CN117251886A CN202311222623.9A CN202311222623A CN117251886A CN 117251886 A CN117251886 A CN 117251886A CN 202311222623 A CN202311222623 A CN 202311222623A CN 117251886 A CN117251886 A CN 117251886A
Authority
CN
China
Prior art keywords
information
session
tree
session information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311222623.9A
Other languages
English (en)
Inventor
刘区城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202311222623.9A priority Critical patent/CN117251886A/zh
Publication of CN117251886A publication Critical patent/CN117251886A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请提供一种模型输出信息的验证方法、装置、电子设备和可读介质。该方法包括：获取来自目标账户的会话验证请求，会话验证请求中包含待验证信息；根据会话验证请求，从目标模型的会话信息树中查询包含待验证信息的目标信息树，其中，会话信息树是根据目标模型的输入会话信息与输出会话信息所生成的，输入会话信息是输入到目标模型中的文本信息，输出会话信息是目标模型对输入会话信息生成的反馈信息；若查询到包含待验证信息的目标信息树，则确定待验证信息是目标模型输出的会话信息。该方法能够提高目标模型的可信度以及其所输出信息的可靠性。

Description

模型输出信息的验证方法、装置、电子设备和可读介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种模型输出信息的验证方法、装置、电子设备和可读介质。
背景技术
聊天机器人是人工智能的一个重要应用领域，随着人工智能领域技术的发展，聊天机器人的性能已经有了长足的进步，基于人工智能模型的聊天机器人已应用于各类应用程序中。
聊天机器人在会话完成后通常会不会保存与用户的会话历史记录，用户则可以保存与聊天机器人的会话历史记录以供分享和浏览。
然而，在会话历史记录的分享和传播过程中，聊天机器人所输出的反馈信息可能会被修改或伪造成不良信息，降低了聊天机器人的可信度以及聊天机器人所输出的反馈信息的可靠性。
发明内容
基于上述技术问题，本申请提供一种模型输出信息的验证方法、装置、电子设备和可读介质，以提高目标模型的可信度以及其所输出信息的可靠性。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供一种模型输出信息的验证方法，包括：
获取来自目标账户的会话验证请求，所述会话验证请求中包含待验证信息；
根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树，其中，所述会话信息树是根据所述目标模型的输入会话信息与输出会话信息所生成的，所述输入会话信息是输入到所述目标模型中的文本信息，所述输出会话信息是所述目标模型对所述输入会话信息生成的反馈信息；
若查询到包含所述待验证信息的目标信息树，则确定所述待验证信息是所述目标模型输出的会话信息。
根据本申请实施例的一个方面，提供一种模型输出信息的验证装置，包括：
获取模块，配置为获取来自目标账户的会话验证请求，所述会话验证请求中包含待验证信息；
查询模块，配置为根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树，其中，所述会话信息树是根据所述目标模型的输入会话信息与输出会话信息所生成的，所述输入会话信息是输入到所述目标模型中的文本信息，所述输出会话信息是所述目标模型对所述输入会话信息生成的反馈信息；
确定模块，配置为若查询到包含所述待验证信息的目标信息树，则确定所述待验证信息是所述目标模型输出的会话信息。
在本申请的一些实施例中，基于以上技术方案，确定模块具体配置为：若查询到包含所述待验证信息的目标信息树，则获取所述目标信息树中根节点的根节点信息；在区块链中查询所述根节点信息，所述区块链中包含所述目标模型的历史会话信息树的根节点信息；若所述区块链中包含所述根节点信息，则确定所述待验证信息是所述目标模型输出的会话信息。
在本申请的一些实施例中，基于以上技术方案，确定模块还配置为：获取所述目标模型的多个会话信息树中根节点的根节点信息；根据多个根节点信息，构造区块链交易并将所述区块链交易在所述区块链中上链。
在本申请的一些实施例中，基于以上技术方案，获取模块还配置为：获取所述目标模型的多个会话信息对，所述会话信息对包括输入会话信息以及与所述输入会话信息对应的输出会话信息；根据所述多个会话信息对中每个会话信息对的输入会话信息和输出会话信息，生成所述目标模型的会话信息树，其中，所述会话信息树的每个叶子节点中包含所述会话信息对的哈希值。
在本申请的一些实施例中，基于以上技术方案，获取模块还配置为：对于所述多个会话信息对中每个会话信息对，将会话信息对中的输入会话信息和输出会话信息拼接，并计算拼接结果的哈希值，得到每个会话信息对的哈希值；基于每个会话信息对的哈希值生成一个叶子节点，得到多个叶子节点；基于所述多个叶子节点，生成所述目标模型的会话信息树；在所述基于所述多个叶子节点，生成所述目标模型的会话信息树的过程中，在所述会话信息树的每个层级中，基于两个子节点的哈希值，生成上一层级中对应父节点的哈希值，直到生成的层级中只包含一个节点作为所述会话信息树的根节点。
在本申请的一些实施例中，基于以上技术方案，确定模块还配置为：接收来自所述目标账户针对所述会话信息对的反馈信息；将所述反馈信息在区块链中上链，以确认所述反馈信息的有效性，其中，确认有效的所述反馈信息和对应的会话信息对用于训练和更新所述目标模型。
在本申请的一些实施例中，基于以上技术方案，确定模块还配置为：从所述区块链中获取待确认的反馈信息；计算所述反馈信息所对应的会话信息对中的输入会话信息和输出会话信息的待确认哈希值；根据所述待确认哈希值，从目标模型的会话信息树中查询包含所述待确认哈希值的结果信息树；若存在所述结果信息树，则将所述区块链中所述反馈信息的状态更新为有效状态。
在本申请的一些实施例中，基于以上技术方案，确定模块还配置为：若存在所述结果信息树，则获取所述结果信息树中根节点的节点信息；在所述区块链中查询所述节点信息，所述区块链中包含所述目标模型的历史会话信息树中根节点的历史节点信息；若所述区块链中包含所述节点信息，则将所述区块链中所述反馈信息的状态更新为已确认状态。
在本申请的一些实施例中，基于以上技术方案，确定模块还配置为：接收针对所述反馈信息的反馈确认消息，所述反馈确认消息中包含所述反馈信息的有效性信息；根据所述反馈信息的有效性信息，确定所述反馈信息的奖励分数；将所述反馈确认消息和所述奖励分数提交到所述区块链上，以根据所述奖励分数根据所述区块链中所述目标账户的账户积分。
在本申请的一些实施例中，基于以上技术方案，查询模块具体配置为：根据所述会话验证请求，从目标模型的会话信息树中获取与所述目标账户相关联的候选信息树，其中，所述候选信息树中的输入会话信息是所述目标账户输入到所述目标模型中的文本信息；从所述候选信息树中查询包含所述待验证信息的目标信息树。
在本申请的一些实施例中，基于以上技术方案，查询模块具体配置为：计算所述待验证信息的会话哈希值；向信息树服务器发送所述会话哈希值，以通过所述信息树服务器查询包含所述会话哈希值的目标信息树，其中，所述信息树服务器中包含所述目标模型的历史会话信息树；若接收所述信息树服务器的返回消息，则从所述返回消息中获取包含所述待验证信息的目标信息树。
根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，该处理器配置为经由执行可执行指令来执行如以上技术方案中的模型输出信息的验证方法。
根据本申请实施例的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时实现如以上技术方案中的模型输出信息的验证方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的模型输出信息的验证方法。
在本申请的实施例中，在获取来自目标账户的会话验证请求时，根据会话验证请求，从目标模型的会话信息树中查询包含待验证信息的目标信息树，而会话信息树是根据目标模型的输入会话信息与输出会话信息所生成的，如果查询到包含待验证信息的目标信息树，则确定待验证信息是目标模型输出的会话信息。通过根据目标模型的输入会话信息与输出会话信息生成的会话信息树来验证待验证信息是目标模型生成的信息，从而能够识别出被修改或伪造的反馈信息，提供证明是否由聊天机器人所输出的证明能力，有利于提高目标模型的可信度以及其所输出信息的可靠性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请技术方案在一个应用场景中的示例性系统构架示意图。
图2为本申请实施例中区块链网络的示意图。
图3为本申请实施例中区块链网络中区块的示意图。
图4为根据本申请的一个实施例的模型输出信息的验证方法的流程图。
图5为根据本申请的一个实施例的模型输出信息的验证方法的流程图。
图6为根据本申请的一个实施例的模型输出信息的验证方法的流程图。
图7为本申请实施例中会话信息树的示意图。
图8为根据本申请的一个实施例的模型输出信息的验证方法的流程图。
图9为根据本申请的一个实施例的模型输出信息的验证方法的流程图。
图10为本申请实施例中聊天机器人会话流程的示意性流程图。
图11为本申请实施例中对话信息验证流程的示意性流程图。
图12为本申请实施例中反馈确认流程的示意性流程图。
图13为本申请实施例中智能合约数据模型的示意图。
图14示意性地示出了本申请实施例中模型输出信息的验证装置的组成框图。
图15示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应理解，本申请的方案可以应用于人工智能领域，并且具体应用在聊天机器人会话的场景中。在此类场景中，聊天机器人的服务方向用户提供聊天机器人的服务。聊天机器人是经由对话或文字进行交谈的计算机程序，可以用于客户服务或资讯获取等业务场景中。在相关技术中，随着人工智能技术的快速发展，聊天机器人的智能化程度以及反馈信息的准确性有明显进步，并且被应用和整合到各类应用程序中，例如浏览器、搜索引擎、各类客户咨询或服务系统的自动应答服务和信息检索服务以及游戏等应用程序中。在此类应用中，用户可以在应用程序中通过输入文字等信息与聊天机器人进行对话，聊天机器人则根据用户输入的内容以及对话过程中的上下文信息来对用户的问题或会话内容进行应答和反馈。
下面对本申请技术方案在一个应用场景的系统架构进行介绍。请参阅图1，图1为本申请技术方案在一个应用场景中的示例性系统构架示意图。如图1所示，该应用场景中具体包含终端设备110、聊天机器人服务器120、信息公示服务器130和区块链140。其中，终端设备110为客户终端，终端上安装有聊天机器人客户端，用户通过聊天机器人客户端与聊天机器人进行交互。聊天机器人服务器120根据用户负责生成并返回回复内容以及基于会话内容生成会话信息树。信息公示服务器130用于存储聊天机器人服务器120生成的会话信息树，提供根据对话内容查询所在的会话信息树的查询服务。区块链140用于存储会话信息树的树根、问题反馈的信息和对反馈的确认信息以及用户账户的奖励积分余额等数据。在实际应用过程中，用户通过终端设备110访问聊天机器人服务器120来与聊天机器人进行对话，聊天机器人服务器120根据对话的内容生成会话信息树并上传到信息公示服务器130，同时将会话信息树的树根提交给区块链140。在需要进行信息验证时，则通过终端设备110访问信息公示服务器130，信息公示服务器130利用所保存的会话信息树来确认终端设备110提交的内容是否为聊天机器人服务器120所生成的内容，以及根据区块链140中的树根来确保会话信息树信息的准确性。
需要说明的是，在本申请的具体实施方式中，涉及到用户信息、用户数据(如后续实施例中提及的用户的会话信息、会话信息树及历史会话信息树、目标信息树等数据)等相关的数据，均是需要经过用户授权许可(即经过用户同意)才进行获取得到的，并且用户信息、用户数据等相关数据均是基于用户主动保存上传的信息生成或获取得到的。也就是说，当本申请以上实施例运用到具体产品或技术中时，本申请实施例所提供的基于会话信息树确定待验证信息是目标模型输出的会话信息的方法以及相关功能是在获得用户许可或者同意下所运行的，例如由用户主动开启本申请实施例所提供的模型输出信息验证功能以及由用户主动上传本申请实施例的模型输出信息验证功能中所需要的会话数据或会话记录，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
终端设备110可以包括智能手机、平板电脑、笔记本电脑、智能语音交互设备、智能家电、车载终端、飞行器等等。聊天机器人服务器120和信息公示服务器130可以是提供各种服务的服务器，其可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。在终端设备110和信息公示服务器130之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路或者无线通信链路。区块链140中具体可以包含多个服务器所构成的区块链网络。
本申请的方案中，聊天机器人是人工智能中机器学习模型的一种具体应用形式。人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术包括机器学习/深度学习方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
聊天机器人是人工智能的一个重要应用领域，随着人工智能领域技术的发展，聊天机器人的性能已经有了长足的进步，基于人工智能模型的聊天机器人已应用于各类应用程序中。聊天机器人在会话完成后通常会不会保存与用户的会话历史记录，用户则可以保存与聊天机器人的会话历史记录以供分享和浏览。然而，在会话历史记录的分享和传播过程中，聊天机器人所输出的反馈信息可能会被修改或伪造成不良信息，降低了聊天机器人的可信度以及聊天机器人所输出的反馈信息的可靠性。例如，用户将于聊天机器人的会话过程截图保存并在互联网上分享，此时，第三方下载了该截图并将其中聊天机器人所回答的内容修改为不恰当的反馈内容并进行共享。该修改后的会话记录会对聊天机器人本身的可信度以及聊天机器人所回答的内容的可靠性产生严重影响，然而，由于聊天机器人本身并不会保存聊天历史以及聊天机器人本身生成回复内容所存在一定随机性以及其不断更新学习的特性，使得服务方无法证明该截图中的不良内容是伪造的，因此聊天机器人的服务方难以自证清白。
基于此，本申请实施例的技术方案提出了一种模型输出信息的验证方法。该方法可以由上述的聊天机器人服务器120或信息公示服务器130或者二者一起执行。在一个实施例中，聊天机器人服务器120获取来自目标账户的包含待验证信息的会话验证请求，目标账户可以是之前与聊天机器人对话的账户。聊天机器人服务器120随后根据会话验证请求，从目标模型的会话信息树中查询包含待验证信息的目标信息树，其中，会话信息树是目标模型的输入会话信息与输出会话信息的会话信息对生成的，输入会话信息是输入到目标模型中的文本信息，输出会话信息是目标模型对输入会话信息生成的反馈信息。聊天机器人的问答服务通过目标模型来实现，目标模型接收输入会话信息并且生成输出会话信息。如果查询到包含待验证信息的目标信息树，则聊天机器人服务器120可以确定待验证信息是目标模型输出的会话信息。
在一些实施例中，对于查询到的目标信息树，聊天机器人服务器120还会根据区块链中是否包含目标信息树的根节点信息来确认目标信息树本身是否被篡改。
区块链(Blockchain)是一个点对点的分布式账本，由多个节点构成。每个节点都包含所有的交易记录，并且所有节点都需要对每个交易进行验证。区块链网络中的每个节点都可以是一个全节点或一个本地区块链节点。全节点可以连接到其他节点，而本地区块链节点是指在区块链中运行的一个独立节点，与其他节点不连接。本地区块链节点不像全节点一样参与区块链网络的共识机制，但它可以独立地验证交易和创建新的区块。第二节点发送给第一节点的保密信息只有第一节点可以解密，从而获得其中的内容，从而实现两个接线之间的保密通信。
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块(即区块)，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链是由区块链网络中的节点共同维护的。比如，在图2所示的区块链网络中，可以包括多个节点201，多个节点201可以是形成区块链网络的各个客户端。每个节点201在进行正常工作可以接收到输入信息，并基于接收到的输入信息维护该区块链网络内的共享数据。为了保证区块链网络内的信息互通，区块链网络中的每个节点之间可以存在信息连接，节点之间可以通过上述信息连接进行信息传输。例如，当区块链网络中的任意节点接收到输入信息时，区块链网络中的其它节点便根据共识算法获取该输入信息，将该输入信息作为共享数据进行存储，使得区块链网络中全部节点上存储的数据均一致。
对于区块链网络中的每个节点，均具有与其对应的节点标识，而且区块链网络中的每个节点均可以存储有其它节点的节点标识，以便后续根据其它节点的节点标识，将生成的区块广播至区块链网络中的其它节点。每个节点中可维护一个节点标识列表，将节点名称和节点标识对应存储至该节点标识列表中。其中，节点标识可为IP(InternetProtocol，网络之间互联的协议)地址以及其他任一种能够用于标识该节点的信息。
区块链网络中的每个节点均存储一条相同的区块链。区块链由多个区块组成，参见图3所示，区块链由多个区块组成，创始块中包括区块头和区块主体，区块头中存储有输入信息特征值、版本号、时间戳和难度值等，区块主体中存储有输入信息；创始块的下一区块以创始块为父区块，下一区块中同样包括区块头和区块主体，区块头中存储有当前区块的输入信息特征值、父区块的区块头特征值、版本号、时间戳和难度值等，并以此类推，使得区块链中每个区块中存储的区块数据均与父区块中存储的区块数据存在关联，保证了区块中输入信息的安全性。
区块链140中聊天机器人服务器120上传的会话信息树的根节点信息可以位于图3所示的区块主体中。
以下对本申请实施例的技术方案的实现细节进行详细阐述：
图4示出了根据本申请的一个实施例的模型输出信息的验证方法的流程图，该模型输出信息的验证方法，应用于提供聊天机器人服务的服务系统，并且具体可以由具有计算处理功能的设备来执行，比如可以是聊天机器人系统所在的服务器。参照图4所示，该模型输出信息的验证方法至少包括步骤S410至步骤S430，详细介绍如下：
步骤S410，获取来自目标账户的会话验证请求，所述会话验证请求中包含待验证信息。
在本实施例中，目标账户通常是使用目标模型来进行会话的账户。目标账户向服务器发起会话验证请求，会话验证请求中包含待验证信息。会话验证请求的作用是触发服务器确认待验证信息是否是由服务器的目标引擎所生成的。在一些实施例中，服务器会具体确认该待验证信息是否是该目标账户与目标模型之间进行对话的过程中由目标模型产生的。
步骤S420，根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树，其中，所述会话信息树是根据所述目标模型的输入会话信息与输出会话信息所生成的，所述输入会话信息是输入到所述目标模型中的文本信息，所述输出会话信息是所述目标模型对所述输入会话信息生成的反馈信息。
服务器会根据会话验证请求，从目标模型的会话信息树中查询包含待验证信息的目标信息树。对于目标模型可以存在多个会话信息树，这些会话信息书可以保存在服务器本地，可以保存在单独的服务器或者数据库中。会话信息树是根据目标模型的输入会话信息与输出会话信息所生成的，也就是说，会话信息树中的信息时根据用户与目标模型之间的会话信息所生成的。输入会话信息是输入到目标模型中的文本信息，这通常是用户输入的问题、要求、指令或者沟通内容等。输出会话信息是目标模型对输入会话信息生成的反馈信息。反馈信息通常是文本信息、图像信息或者其他多媒体信息中的至少一种类型。可以理解，会话信息树中并不一定包含会话信息本身，在一些实施例中，会话信息树中所包含的具体信息是对输入会话信息和输出会话信息进行处理后生成的，例如转换和加密等处理。会话信息树的作用是将输入会话信息与输出会话信息成对保存来作为由目标模型所生成的信息的验证依据，因此输出会话信息通常与会话信息树之间存在直接的关联关系，通过输出会话信息可以直接寻找到对应的会话信息树。在具体的实现中，会话信息树中通常采用叶子节点中包含输入会话信息与输出会话信息，然后根据叶子节点生成上一层的父节点，再将上一层的父节点作为子节点来生成更上一层的节点，直到生成唯一的根节点位置。在一个实施例中，每个叶子节点可以只包含一对输入会话信息和输出会话信息。在另一个实施例中，每个叶子节点中都包含多对输入会话信息和输出会话信息，在读取会话信息树的叶子节点时，需要将其中的所有输入会话信息和输出会话信息一起读出，再根据其中的数据检索规则来获取具体的输入会话信息和输出会话信息，例如，叶子节点中可以采用散列的形式来保存输入会话信息和输出会话信息。
步骤S430，若查询到包含所述待验证信息的目标信息树，则确定所述待验证信息是所述目标模型输出的会话信息。
如果查询到包含待验证信息的目标信息树，则表示该待验证信息的确是由目标模型所生成的信息，则可以确定待验证信息是目标模型输出的会话信息。反之，如果没有查询到包含待验证信息的目标信息树，则可以确认待验证信息不是目标模型输出的会话信息。在具体的应用中，对于伪造目标模型输出结果的情况，目标模型的拥有者可以将伪造的输出结果提交给服务器，服务器根据该伪造的输出结果无法寻找到对应的会话信息树，则可以证明该伪造的输出结果不是由目标模型生成，证明其被伪造的事实。
在本申请的实施例中，在获取来自目标账户的会话验证请求时，根据会话验证请求，从目标模型的会话信息树中查询包含待验证信息的目标信息树，而会话信息树是根据目标模型的输入会话信息与输出会话信息所生成的，如果查询到包含待验证信息的目标信息树，则确定待验证信息是目标模型输出的会话信息。通过根据目标模型的输入会话信息与输出会话信息生成的会话信息树来验证待验证信息是目标模型生成的信息，从而能够识别出被修改或伪造的反馈信息，提供证明是否由聊天机器人所输出的证明能力，有利于提高目标模型的可信度以及其所输出信息的可靠性。
在本申请的一些可选实施例中，在根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树的过程中，服务器根据所述会话验证请求，从目标模型的会话信息树中获取与所述目标账户相关联的候选信息树，其中，所述候选信息树中的输入会话信息是所述目标账户输入到所述目标模型中的文本信息，然后从所述候选信息树中查询包含所述待验证信息的目标信息树。服务器先现在到与目标账户相关的候选信息树，然后从候选信息树中查询包含待验证信息的目标信息树，使得账户验证信息范围确定为根据账户自身输入的信息所产生的会话信息树，防止用户在目标模型中的操作暴露给其他用户，提升方案的信息安全性。
在本申请的一些可选实施例中，在根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树的过程中，服务器计算所述待验证信息的会话哈希值，然后向信息树服务器发送所述会话哈希值，以通过所述信息树服务器查询包含所述会话哈希值的目标信息树，其中，所述信息树服务器中包含所述目标模型的历史会话信息树；如果接收所述信息树服务器的返回消息，则从所述返回消息中获取包含所述待验证信息的目标信息树。通过向信息树服务器发送待验证信息的会话哈希值，来触发信息树服务器查询包含待验证信息的目标信息树，从而能够避免大量的验证请求的处理过程抢占目标模型的计算资源，有利于方案运行的稳定性。
在本申请的实施例中，还提出了对图4所示实施例的技术方案进行细化的其它实施例，具体如图5所示，在本申请的一个实施例的模型输出信息的验证方法中，可以包括如下步骤：
步骤S510，获取来自目标账户的会话验证请求，所述会话验证请求中包含待验证信息。
可选地，步骤S510的实现细节与图4中所示的步骤S410一致，不再赘述。
步骤S520，根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树，其中，所述会话信息树是根据所述目标模型的输入会话信息与输出会话信息所生成的，所述输入会话信息是输入到所述目标模型中的文本信息，所述输出会话信息是所述目标模型对所述输入会话信息生成的反馈信息。
可选地，步骤S520的实现细节与图4中所示的步骤S420一致，不再赘述。
步骤S530，若查询到包含所述待验证信息的目标信息树，则获取所述目标信息树中根节点的根节点信息。
在本申请的实施例中，服务器会根据目标信息树中根节点的根节点信息来验证查询到的目标信息树中的内容是否可靠。具体地，如果查询到包含所述待验证信息的目标信息树，则服务器获取目标信息树中根节点的根节点信息。在会话信息树是根据所述目标模型的输入会话信息与输出会话信息所生成的，会话信息树中的各个层级的节点信息都与该节点所关联的输入会话信息与输出会话信息相关，因此，一旦会话信息树中所包含的输入会话信息与输出会话信息被修改，相关联的各层级节点的节点信息也会发生变化，而根节点作为会话信息树中的最高层级中的唯一节点，其节点信息会与会话信息树中所包含的所有输入会话信息和输出会话信息相关联，会话信息树中任意的输入会话信息或输出会话信息的改变都会引起根节点信息的变化。因此，根节点信息可以作为会话信息树中的内容是否被更改的判定依据。
步骤S540，在区块链中查询所述根节点信息，所述区块链中包含所述目标模型的历史会话信息树的根节点信息。
在查询到目标信息树的情况下，服务器会从在区块链中查询目标信息树的根节点信息。区块链中包含目标模型的历史会话信息树的根节点信息。历史会话信息树是服务器根据目标模型上已经发生过的会话中的输入会话信息与输出会话信息所生成的。可以理解，在目标模型的服务过程中，服务器会周期性地或者根据一定的条件来将收集还用于未生成会话信息树的输入会话信息和输出会话信息，然后根据这些输入会话信息和输出会话信息来生成会话信息树。服务器会将新生成的会话信息树的根节点信息提交给区块链。也就是说，区块链中保存着目标模型的已经生成的所有会话信息树的根节点信息。
步骤S550，若所述区块链中包含所述根节点信息，则确定所述待验证信息是所述目标模型输出的会话信息。
如果区块链中包含根节点信息，则说明目标信息树中的内容与原始内容一致，目标信息树的内容可靠，则可以确定待验证信息是目标模型输出的会话信息。通过区块链中历史会话信息树的根节点信息与目标信息树的根节点信息之间的匹配结果来判断目标信息树的内容是否被修改，防止修改和伪造会话信息树来影响信息验证结果，有利于提升信息验证结果的可靠性。
在本申请的实施例中，在获取来自目标账户的会话验证请求时，根据会话验证请求，从目标模型的会话信息树中查询包含待验证信息的目标信息树，而会话信息树是根据目标模型的输入会话信息与输出会话信息所生成的，如果查询到包含待验证信息的目标信息树，则确定待验证信息是目标模型输出的会话信息。通过根据目标模型的输入会话信息与输出会话信息生成的会话信息树来验证待验证信息是目标模型生成的信息，从而能够识别出被修改或伪造的反馈信息，提供证明是否由聊天机器人所输出的证明能力，有利于提高目标模型的可信度以及其所输出信息的可靠性。
在本申请的一些可选实施例中，在根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树的过程中，服务器根据所述会话验证请求，从目标模型的会话信息树中获取与所述目标账户相关联的候选信息树，其中，所述候选信息树中的输入会话信息是所述目标账户输入到所述目标模型中的文本信息，然后从所述候选信息树中查询包含所述待验证信息的目标信息树。服务器先现在到与目标账户相关的候选信息树，然后从候选信息树中查询包含待验证信息的目标信息树，使得账户验证信息范围确定为根据账户自身输入的信息所产生的会话信息树，防止用户在目标模型中的操作暴露给其他用户，提升方案的信息安全性。
在本申请的一些可选实施例中，在根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树的过程中，服务器计算所述待验证信息的会话哈希值，然后向信息树服务器发送所述会话哈希值，以通过所述信息树服务器查询包含所述会话哈希值的目标信息树，其中，所述信息树服务器中包含所述目标模型的历史会话信息树；如果接收所述信息树服务器的返回消息，则从所述返回消息中获取包含所述待验证信息的目标信息树。通过向信息树服务器发送待验证信息的会话哈希值，来触发信息树服务器查询包含待验证信息的目标信息树，从而能够避免大量的验证请求的处理过程抢占目标模型的计算资源，有利于方案运行的稳定性。
在本申请的一些可选实施例中，服务器还会获取所述目标模型的多个会话信息树中根节点的根节点信息，然后根据多个根节点信息，构造区块链交易并将所述区块链交易在所述区块链中上链。将根节点信息上传到区块链中保存，相较于保存整颗会话信息树，有利于降低区块链中保存的信息量，提高根节点信息的查询效率。
在本申请的实施例中，还提出了对图4所示实施例的技术方案进行细化的其它实施例，具体如图6所示，在本申请的一个实施例的模型输出信息的验证方法中，可以包括如下步骤：
步骤S610，获取所述目标模型的多个会话信息对，所述会话信息对包括输入会话信息以及与所述输入会话信息对应的输出会话信息；
步骤S620，根据所述多个会话信息对中每个会话信息对的输入会话信息和输出会话信息，生成所述目标模型的会话信息树，其中，所述会话信息树的每个叶子节点中包含所述会话信息对的哈希值。
具体地，多个会话信息对通常是目标账户与目标模型之间进行会话所得到的。会话信息对包括输入会话信息以及与输入会话信息对应的输出会话信息，即用户进行一次提问或者会话，目标模型进行一次答复。需要强调的是，一次答复可以由多条消息构成，例如在答复内容太长导致一条消息无法容纳，或者出于内容结构或者形式要求等原因分多条消息来进行一次答复。可以理解的是，所获取的多个会话信息对是还没用于生成会话信息树的输入会话信息和输出会话信息。随后，服务器会根据多个会话信息对中每个会话信息对的输入会话信息和输出会话信息，生成目标模型的会话信息树。会话信息树的每个叶子节点中包含会话信息对的哈希值。该哈希值是根据会话信息对中的输入会话信息和输出会话信息所生成的。可以理解，取决于会话信息树的不同结构，在会话信息树的一个叶子节点中可以包含一对会话信息对的哈希值，也可以包含多对会话信息对的哈希值。在本申请的实施例中，通过目标模型的多个会话信息对来生成会话信息树，从而能够通过会话信息树保留目标模型所生成的输出会话信息，为信息验证提供可靠的数据基础，有利于方案的可靠性。
步骤S630，获取来自目标账户的会话验证请求，所述会话验证请求中包含待验证信息。
可选地，步骤S630的实现细节与图4中所示的步骤S410一致，不再赘述。
步骤S640，根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树，其中，所述会话信息树是根据所述目标模型的输入会话信息与输出会话信息所生成的，所述输入会话信息是输入到所述目标模型中的文本信息，所述输出会话信息是所述目标模型对所述输入会话信息生成的反馈信息。
可选地，步骤S640的实现细节与图4中所示的步骤S420一致，不再赘述。
步骤S650，若查询到包含所述待验证信息的目标信息树，则确定所述待验证信息是所述目标模型输出的会话信息。
可选地，步骤S650的实现细节与图4中所示的步骤S430一致，不再赘述。
在本申请的实施例中，在获取来自目标账户的会话验证请求时，根据会话验证请求，从目标模型的会话信息树中查询包含待验证信息的目标信息树，而会话信息树是根据目标模型的输入会话信息与输出会话信息所生成的，如果查询到包含待验证信息的目标信息树，则确定待验证信息是目标模型输出的会话信息。通过根据目标模型的输入会话信息与输出会话信息生成的会话信息树来验证待验证信息是目标模型生成的信息，从而能够识别出被修改或伪造的反馈信息，提供证明是否由聊天机器人所输出的证明能力，有利于提高目标模型的可信度以及其所输出信息的可靠性。
在本申请的一些可选实施例中，在根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树的过程中，服务器根据所述会话验证请求，从目标模型的会话信息树中获取与所述目标账户相关联的候选信息树，其中，所述候选信息树中的输入会话信息是所述目标账户输入到所述目标模型中的文本信息，然后从所述候选信息树中查询包含所述待验证信息的目标信息树。服务器先现在到与目标账户相关的候选信息树，然后从候选信息树中查询包含待验证信息的目标信息树，使得账户验证信息范围确定为根据账户自身输入的信息所产生的会话信息树，防止用户在目标模型中的操作暴露给其他用户，提升方案的信息安全性。
在本申请的一些可选实施例中，在根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树的过程中，服务器计算所述待验证信息的会话哈希值，然后向信息树服务器发送所述会话哈希值，以通过所述信息树服务器查询包含所述会话哈希值的目标信息树，其中，所述信息树服务器中包含所述目标模型的历史会话信息树；如果接收所述信息树服务器的返回消息，则从所述返回消息中获取包含所述待验证信息的目标信息树。通过向信息树服务器发送待验证信息的会话哈希值，来触发信息树服务器查询包含待验证信息的目标信息树，从而能够避免大量的验证请求的处理过程抢占目标模型的计算资源，有利于方案运行的稳定性。
在本申请的一些可选实施例中，在根据所述多个会话信息对中每个会话信息对的输入会话信息和输出会话信息，生成所述目标模型的会话信息树的过程中，服务器对于所述多个会话信息对中每个会话信息对，将会话信息对中的输入会话信息和输出会话信息拼接，并计算拼接结果的哈希值，得到每个会话信息对的哈希值，然后基于每个会话信息对的哈希值生成一个叶子节点，得到多个叶子节点，再基于所述多个叶子节点，生成所述目标模型的会话信息树。在所述基于所述多个叶子节点，生成所述目标模型的会话信息树的过程中，服务器在所述会话信息树的每个层级中，基于两个子节点的哈希值，生成上一层级中对应父节点的哈希值，直到生成的层级中只包含一个节点作为所述会话信息树的根节点。请参阅图7，图7为本申请实施例中会话信息树的示意图。如图7所示，将一个会话的请求request及回复reponse组成一句话，将其哈希hash值作为会话信息树的叶子节点，两个叶节点为一组，生成上一级节点。两个上一级节点再组合并计算出一个hash值，成为上一级节点。继续向上一层执行这个步骤，直到最后只剩下一个节点，则这个节点为会话信息树的树根。在本实施例中，提供了生成会话信息树的具体方式，有利于提升方案的可操作性。
在本申请的实施例中，还提出了对图6所示实施例的技术方案进行细化的其它实施例，具体如图8所示，在本申请的一个实施例的模型输出信息的验证方法中，可以包括如下步骤：
步骤S810，获取所述目标模型的多个会话信息对，所述会话信息对包括输入会话信息以及与所述输入会话信息对应的输出会话信息。
可选地，步骤S810的实现细节与图6中所示的步骤S610一致，不再赘述。
步骤S820，根据所述多个会话信息对中每个会话信息对的输入会话信息和输出会话信息，生成所述目标模型的会话信息树，其中，所述会话信息树的每个叶子节点中包含所述会话信息对的哈希值。
可选地，步骤S820的实现细节与图6中所示的步骤S620一致，不再赘述。
步骤S830，获取来自目标账户的会话验证请求，所述会话验证请求中包含待验证信息。
可选地，步骤S830的实现细节与图4中所示的步骤S410一致，不再赘述。
步骤S840，根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树，其中，所述会话信息树是根据所述目标模型的输入会话信息与输出会话信息所生成的，所述输入会话信息是输入到所述目标模型中的文本信息，所述输出会话信息是所述目标模型对所述输入会话信息生成的反馈信息。
可选地，步骤S840的实现细节与图4中所示的步骤S420一致，不再赘述。
步骤S850，若查询到包含所述待验证信息的目标信息树，则确定所述待验证信息是所述目标模型输出的会话信息。
可选地，步骤S850的实现细节与图4中所示的步骤S430一致，不再赘述。
步骤S860，接收来自所述目标账户针对所述会话信息对的反馈信息；
步骤S870，将所述反馈信息在区块链中上链，以确认所述反馈信息的有效性，其中，确认有效的所述反馈信息和对应的会话信息对用于训练和更新所述目标模型。
在本实施例中，服务器还会接收账户的反馈信息。具体地，用户可以登录目标账户，并且针对于之前进行过的会话中目标模型的输出会话信息进行反馈，用户的客户端则会生成针对该输出会话信息所在的会话信息对的反馈信息。反馈信息通常是对输出会话信息的评价信息或分类信息，例如准确性评分以及或者输出会话信息的标签等内容。服务器在接收到来自目标账户针对会话信息对的反馈信息后，会将该反馈信息在区块链中上链。可以理解，该区块链可以与上文中用于存储根节点信息的区块链是同一个区块链。上传到区块链中的反馈信息可以触发对反馈信息的有效性的评价流程，例如，当目标模型的管理人员登录时，管理客户端会下载未确定有效性的反馈信息并在管理客户端展示。管理人员通过管理客户端对反馈信息的有效性进行确定，确定结果则被更新到区块链中。确认有效的反馈信息和对应的会话信息对用于训练和更新目标模型。具体地，被确认有效的的反馈信息可以作为结果标签或者真实结果，而会话信息对则作为训练数据来用于对目标模型进行训练。可以立即的是，有效的反馈信息并不表示输出会话信息本身一定是质量较佳的内容，例如，目标模型输出了与输入会话信息不匹配的输出会话信息，用户对会话信息对的反馈信息为准确性评分低，该反馈信息仍然是有效的，并且可以作为目标模型的训练数据。通过接收反馈信息来收集对目标模型的训练信息，有利于提高模型训练数据的质量，进而提高目标模型输出的准确性。
在本申请的实施例中，在获取来自目标账户的会话验证请求时，根据会话验证请求，从目标模型的会话信息树中查询包含待验证信息的目标信息树，而会话信息树是根据目标模型的输入会话信息与输出会话信息所生成的，如果查询到包含待验证信息的目标信息树，则确定待验证信息是目标模型输出的会话信息。通过根据目标模型的输入会话信息与输出会话信息生成的会话信息树来验证待验证信息是目标模型生成的信息，从而能够识别出被修改或伪造的反馈信息，提供证明是否由聊天机器人所输出的证明能力，有利于提高目标模型的可信度以及其所输出信息的可靠性。
在本申请的一些可选实施例中，在根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树的过程中，服务器根据所述会话验证请求，从目标模型的会话信息树中获取与所述目标账户相关联的候选信息树，其中，所述候选信息树中的输入会话信息是所述目标账户输入到所述目标模型中的文本信息，然后从所述候选信息树中查询包含所述待验证信息的目标信息树。服务器先现在到与目标账户相关的候选信息树，然后从候选信息树中查询包含待验证信息的目标信息树，使得账户验证信息范围确定为根据账户自身输入的信息所产生的会话信息树，防止用户在目标模型中的操作暴露给其他用户，提升方案的信息安全性。
在本申请的一些可选实施例中，在根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树的过程中，服务器计算所述待验证信息的会话哈希值，然后向信息树服务器发送所述会话哈希值，以通过所述信息树服务器查询包含所述会话哈希值的目标信息树，其中，所述信息树服务器中包含所述目标模型的历史会话信息树；如果接收所述信息树服务器的返回消息，则从所述返回消息中获取包含所述待验证信息的目标信息树。通过向信息树服务器发送待验证信息的会话哈希值，来触发信息树服务器查询包含待验证信息的目标信息树，从而能够避免大量的验证请求的处理过程抢占目标模型的计算资源，有利于方案运行的稳定性。
在本申请的一些可选实施例中，在将所述反馈信息在区块链中上链之后，服务器会从所述区块链中获取待确认的反馈信息，然后计算所述反馈信息所对应的会话信息对中的输入会话信息和输出会话信息的待确认哈希值，再根据所述待确认哈希值，从目标模型的会话信息树中查询包含所述待确认哈希值的结果信息树。如果若存在所述结果信息树，则服务器将所述区块链中所述反馈信息的状态更新为有效状态。通过检索会话信息对对应的会话信息树，如果检索到的结果信息树存在，则表示反馈信息所针对的会话信息对是目标模型所生成的，从而确认该反馈信息有效，有利于确保所确定的反馈信息的可靠性。
在本申请的一些可选实施例中，服务器在判断所述结果信息树是否存在，是否将所述区块链中所述反馈信息的状态更新为有效状态的过程中，如果存在所述结果信息树，则服务器会先获取所述结果信息树中根节点的节点信息，然后在所述区块链中查询所述节点信息，所述区块链中包含所述目标模型的历史会话信息树中根节点的历史节点信息。如果若所述区块链中包含所述节点信息，则服务器将所述区块链中所述反馈信息的状态更新为已确认状态。在本实施例中，在检索到结果信息树后，根据结果信息树的根节点信息与区块链中的根节点的信息的匹配结果先确定结果信息树本身的有效性，在确定结果信息树有效后再确认反馈信息有效，防止伪造会话信息树导致反馈结果出现错误，有利于确保反馈信息的可靠性。
在本申请的实施例中，还提出了对图8所示实施例的技术方案进行细化的其它实施例，具体如图9所示，在本申请的一个实施例的模型输出信息的验证方法中，可以包括如下步骤：
步骤S910，获取所述目标模型的多个会话信息对，所述会话信息对包括输入会话信息以及与所述输入会话信息对应的输出会话信息。
可选地，步骤S910的实现细节与图6中所示的步骤S610一致，不再赘述。
步骤S920，根据所述多个会话信息对中每个会话信息对的输入会话信息和输出会话信息，生成所述目标模型的会话信息树，其中，所述会话信息树的每个叶子节点中包含所述会话信息对的哈希值。
可选地，步骤S920的实现细节与图6中所示的步骤S620一致，不再赘述。
步骤S930，获取来自目标账户的会话验证请求，所述会话验证请求中包含待验证信息。
可选地，步骤S930的实现细节与图4中所示的步骤S410一致，不再赘述。
步骤S940，根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树，其中，所述会话信息树是根据所述目标模型的输入会话信息与输出会话信息所生成的，所述输入会话信息是输入到所述目标模型中的文本信息，所述输出会话信息是所述目标模型对所述输入会话信息生成的反馈信息。
可选地，步骤S940的实现细节与图4中所示的步骤S420一致，不再赘述。
步骤S950，若查询到包含所述待验证信息的目标信息树，则确定所述待验证信息是所述目标模型输出的会话信息。
可选地，步骤S950的实现细节与图4中所示的步骤S430一致，不再赘述。
步骤S960，接收来自所述目标账户针对所述会话信息对的反馈信息。
可选地，步骤S980的实现细节与图8中所示的步骤S860一致，不再赘述。
步骤S970，将所述反馈信息在区块链中上链，以确认所述反馈信息的有效性，其中，确认有效的所述反馈信息和对应的会话信息对用于训练和更新所述目标模型。
可选地，步骤S970的实现细节与图8中所示的步骤S870一致，不再赘述。
步骤S980，接收针对所述反馈信息的反馈确认消息，所述反馈确认消息中包含所述反馈信息的有效性信息；
步骤S991，根据所述反馈信息的有效性信息，确定所述反馈信息的奖励分数；
步骤S992，将所述反馈确认消息和所述奖励分数提交到所述区块链上，以根据所述奖励分数根据所述区块链中所述目标账户的账户积分。
在本实施例中，服务器在接收针对反馈信息的反馈确认消息之后，会针对该反馈信息的有效性信息确定所述反馈信息的奖励分数。具体地，服务器中可以包含有效应信息与奖励分数之间的对应关系，或者，有效性信息对应的奖励分数也可以直接由反馈确认消息携带。随后，服务器将反馈确认消息和奖励分数提交到区块链上，以根据奖励分数根据区块链中目标账户的账户积分。可以理解的是，该奖励分数是对于用户进行有效反馈的激励，该奖励分数在区块链中会被加到目标账户的账户积分中。目标账户则可以通过该账户积分兑换进一步的奖励。通过对反馈信息设置奖励分数，从而能够将账户的反馈消息进行量化，从而更准确地确定反馈信息对于目标模型的影响程度，有利于提升对反馈消息的管理粒度。同时，对有效反馈进行奖励，能够建立对反馈消息的激励策略，有利于提升反馈消息的数量。
在本申请的实施例中，在获取来自目标账户的会话验证请求时，根据会话验证请求，从目标模型的会话信息树中查询包含待验证信息的目标信息树，而会话信息树是根据目标模型的输入会话信息与输出会话信息所生成的，如果查询到包含待验证信息的目标信息树，则确定待验证信息是目标模型输出的会话信息。通过根据目标模型的输入会话信息与输出会话信息生成的会话信息树来验证待验证信息是目标模型生成的信息，从而能够识别出被修改或伪造的反馈信息，提供证明是否由聊天机器人所输出的证明能力，有利于提高目标模型的可信度以及其所输出信息的可靠性。
在本申请的一些可选实施例中，在根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树的过程中，服务器根据所述会话验证请求，从目标模型的会话信息树中获取与所述目标账户相关联的候选信息树，其中，所述候选信息树中的输入会话信息是所述目标账户输入到所述目标模型中的文本信息，然后从所述候选信息树中查询包含所述待验证信息的目标信息树。服务器先现在到与目标账户相关的候选信息树，然后从候选信息树中查询包含待验证信息的目标信息树，使得账户验证信息范围确定为根据账户自身输入的信息所产生的会话信息树，防止用户在目标模型中的操作暴露给其他用户，提升方案的信息安全性。
在本申请的一些可选实施例中，在根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树的过程中，服务器计算所述待验证信息的会话哈希值，然后向信息树服务器发送所述会话哈希值，以通过所述信息树服务器查询包含所述会话哈希值的目标信息树，其中，所述信息树服务器中包含所述目标模型的历史会话信息树；如果接收所述信息树服务器的返回消息，则从所述返回消息中获取包含所述待验证信息的目标信息树。通过向信息树服务器发送待验证信息的会话哈希值，来触发信息树服务器查询包含待验证信息的目标信息树，从而能够避免大量的验证请求的处理过程抢占目标模型的计算资源，有利于方案运行的稳定性。
下面结合附图对本申请方案应用于聊天机器人的具体实施例中的示例进行介绍。请参阅图10，图10为本申请实施例中聊天机器人会话流程的示意性流程图。如图10所示出的，在聊天机器人的会话流程中，参与方包括用户、聊天机器人客户端、聊天机器人服务器端，聊天机器人信息公示网页，和区块链。其中用户通过聊天机器人客户端向聊天机器人服务器端发送会话请求，聊天机器人服务器端生成回复内容并返回给聊天机器人客户端，最终聊天机器人客户端将回复内容返回给用户。同时，聊天机器人服务器端高频定期地基于最近的还未回复完的一批回复内容构造会话信息树，并将会话信息树发送到聊天机器人信息公示网页。聊天机器人服务器端周期地将还未上链的会话信息树的树根结成数组并发送到区块链中。当用户需要证明回复内容确实是由聊天机器人服务器端发出时，则进入对话信息验证流程。请参阅图11，图11为本申请实施例中对话信息验证流程的示意性流程图。如图11所示，当用户需要证明回复内容确实是由聊天机器人服务器端发出时，由聊天机器人客户端从聊天机器人信息公示网页下载会话信息树。如果回复内容的Hash值存在于会话信息树中，且会话信息树的树根存在于区块链中，则可证明回复内容确实由聊天机器人服务器端发出。
服务器还可以接收用户对输出结果的反馈。请参阅图12，图12为本申请实施例中反馈确认流程的示意性流程图。如图12所示，在反馈流程中，用户登录聊天机器人客户端，并提交反馈。聊天机器人客户端将反馈提交到区块链上。聊天机器人工作人员端同步反馈。聊天机器人工作人员端从区块链上获取未处理的反馈，并提供对话哈希值。聊天机器人信息公示网页返回对话哈希值所在的会话信息树。聊天机器人工作人员端查找会话信息树根，并根据查询结果确认反馈是否有效。如果反馈有效，则用户确认反馈并设定奖励积分数。聊天机器人工作人员端根据设定的奖励积分数，将反馈确认并设定奖励积分数提交到区块链上，完成反馈确认操作。
上述的反馈确认流程在区块链中可以通过智能合约来执行。请参阅图13，图13为本申请实施例中智能合约数据模型的示意图。如图13所示，区块链中包含四个智能合约，其中，问题报告(Issue)合约用于记录用户提交的问题报告，包含哈希、报告人、请求、响应和确认状态等私有属性。反馈(Feedback)合约表示问题反馈和确认，包含一个问题报告映射Issues，用于存储多个问题报告实例Issue，并提供两个公共方法：报告问题方法reportIssue和确认问题方法confirmIssue。报告问题方法reportIssue用于向问题报告Issues映射中添加新的问题报告Issue实例，确认问题方法confirmIssue用于确认已处理的问题报告Issue实例。会话(Conversations)合约表示会话记录和验证，包含会话信息树根映射merkleRoots，用于存储会话信息树根，并提供两个公共方法：添加会话信息树根方法addMerkleRoots和获取会话信息树根方法getMerkleRoot。添加会话信息树根方法addMerkleRoots用于向会话信息树根映射merkleRoots中添加新的会话信息树根，获取会话信息树根getMerkleRoot方法用于确认给定的会话信息树根是否存在于区块链上。分数(Points)合约表示用户积分，包含用户地址和相应积分数量的映射，并提供两个公共方法：加分方法add和减分方法substract，用于根据上下文向用户账户中添加或减去积分。积分是在用户提交问题报告、问题被确认和会话记录被验证等操作中获得的。上述流程中的对应操作会触发对应智能合约的自动执行，从而实现对应的报告、存储、反馈和积分功能。
应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施，可以用于执行本申请上述实施例中的模型输出信息的验证方法。图14示意性地示出了本申请实施例中模型输出信息的验证装置的组成框图。如图14所示，模型输出信息的验证装置1400主要可以包括：
获取模块1410，配置为获取来自目标账户的会话验证请求，所述会话验证请求中包含待验证信息；
查询模块1420，配置为根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树，其中，所述会话信息树是根据所述目标模型的输入会话信息与输出会话信息所生成的，所述输入会话信息是输入到所述目标模型中的文本信息，所述输出会话信息是所述目标模型对所述输入会话信息生成的反馈信息；
确定模块1430，配置为若查询到包含所述待验证信息的目标信息树，则确定所述待验证信息是所述目标模型输出的会话信息。
在本申请的一些实施例中，基于以上技术方案，确定模块1430具体配置为：若查询到包含所述待验证信息的目标信息树，则获取所述目标信息树中根节点的根节点信息；在区块链中查询所述根节点信息，所述区块链中包含所述目标模型的历史会话信息树的根节点信息；若所述区块链中包含所述根节点信息，则确定所述待验证信息是所述目标模型输出的会话信息。
在本申请的一些实施例中，基于以上技术方案，确定模块1430还配置为：获取所述目标模型的多个会话信息树中根节点的根节点信息；根据多个根节点信息，构造区块链交易并将所述区块链交易在所述区块链中上链。
在本申请的一些实施例中，基于以上技术方案，获取模块1410还配置为：获取所述目标模型的多个会话信息对，所述会话信息对包括输入会话信息以及与所述输入会话信息对应的输出会话信息；根据所述多个会话信息对中每个会话信息对的输入会话信息和输出会话信息，生成所述目标模型的会话信息树，其中，所述会话信息树的每个叶子节点中包含所述会话信息对的哈希值。
在本申请的一些实施例中，基于以上技术方案，获取模块1410还配置为：对于所述多个会话信息对中每个会话信息对，将会话信息对中的输入会话信息和输出会话信息拼接，并计算拼接结果的哈希值，得到每个会话信息对的哈希值；基于每个会话信息对的哈希值生成一个叶子节点，得到多个叶子节点；基于所述多个叶子节点，生成所述目标模型的会话信息树；在所述基于所述多个叶子节点，生成所述目标模型的会话信息树的过程中，在所述会话信息树的每个层级中，基于两个子节点的哈希值，生成上一层级中对应父节点的哈希值，直到生成的层级中只包含一个节点作为所述会话信息树的根节点。
在本申请的一些实施例中，基于以上技术方案，确定模块1430还配置为：接收来自所述目标账户针对所述会话信息对的反馈信息；将所述反馈信息在区块链中上链，以确认所述反馈信息的有效性，其中，确认有效的所述反馈信息和对应的会话信息对用于训练和更新所述目标模型。
在本申请的一些实施例中，基于以上技术方案，确定模块1430还配置为：从所述区块链中获取待确认的反馈信息；计算所述反馈信息所对应的会话信息对中的输入会话信息和输出会话信息的待确认哈希值；根据所述待确认哈希值，从目标模型的会话信息树中查询包含所述待确认哈希值的结果信息树；若存在所述结果信息树，则将所述区块链中所述反馈信息的状态更新为有效状态。
在本申请的一些实施例中，基于以上技术方案，确定模块1430还配置为：若存在所述结果信息树，则获取所述结果信息树中根节点的节点信息；在所述区块链中查询所述节点信息，所述区块链中包含所述目标模型的历史会话信息树中根节点的历史节点信息；若所述区块链中包含所述节点信息，则将所述区块链中所述反馈信息的状态更新为已确认状态。
在本申请的一些实施例中，基于以上技术方案，确定模块1430还配置为：接收针对所述反馈信息的反馈确认消息，所述反馈确认消息中包含所述反馈信息的有效性信息；根据所述反馈信息的有效性信息，确定所述反馈信息的奖励分数；将所述反馈确认消息和所述奖励分数提交到所述区块链上，以根据所述奖励分数根据所述区块链中所述目标账户的账户积分。
在本申请的一些实施例中，基于以上技术方案，查询模块1420具体配置为：根据所述会话验证请求，从目标模型的会话信息树中获取与所述目标账户相关联的候选信息树，其中，所述候选信息树中的输入会话信息是所述目标账户输入到所述目标模型中的文本信息；从所述候选信息树中查询包含所述待验证信息的目标信息树。
在本申请的一些实施例中，基于以上技术方案，查询模块1420具体配置为：计算所述待验证信息的会话哈希值；向信息树服务器发送所述会话哈希值，以通过所述信息树服务器查询包含所述会话哈希值的目标信息树，其中，所述信息树服务器中包含所述目标模型的历史会话信息树；若接收所述信息树服务器的返回消息，则从所述返回消息中获取包含所述待验证信息的目标信息树。
需要说明的是，上述实施例所提供的装置与上述实施例所提供的方法属于同一构思，其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。
图15示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图15示出的电子设备的计算机系统1500仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图15所示，计算机系统1500包括中央处理单元(Central Processing Unit，CPU)1501，其可以根据存储在只读存储器(Read－Only Memory，ROM)1502中的程序或者从储存部分1508加载到随机访问存储器(Random Access Memory，RAM)1503中的程序而执行各种适当的动作和处理。在RAM 1503中，还存储有系统操作所需的各种程序和数据。CPU1501、ROM 1502以及RAM 1503通过总线1504彼此相连。输入/输出(Input/Output，I/O)接口1505也连接至总线1504。
以下部件连接至I/O接口1505：包括键盘、鼠标等的输入部分1506；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1507；包括硬盘等的储存部分1508；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1509。通信部分1509经由诸如因特网的网络执行通信处理。驱动器1510也根据需要连接至I/O接口1505。可拆卸介质1511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1510上，以便于从其上读出的计算机程序根据需要被安装入储存部分1508。
特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1509从网络上被下载和安装，和/或从可拆卸介质1511被安装。在该计算机程序被中央处理单元(CPU)1501执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(CompactDisc Read－Only Memory，CD－ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD－ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种模型输出信息的验证方法，其特征在于，包括：
获取来自目标账户的会话验证请求，所述会话验证请求中包含待验证信息；
根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树，其中，所述会话信息树是根据所述目标模型的输入会话信息与输出会话信息所生成的，所述输入会话信息是输入到所述目标模型中的文本信息，所述输出会话信息是所述目标模型对所述输入会话信息生成的反馈信息；
若查询到包含所述待验证信息的目标信息树，则确定所述待验证信息是所述目标模型输出的会话信息。
2.根据权利要求1所述的验证方法，其特征在于，所述若查询到包含所述待验证信息的目标信息树，则确定所述待验证信息是所述目标模型输出的会话信息，包括：
若查询到包含所述待验证信息的目标信息树，则获取所述目标信息树中根节点的根节点信息；
在区块链中查询所述根节点信息，所述区块链中包含所述目标模型的历史会话信息树的根节点信息；
若所述区块链中包含所述根节点信息，则确定所述待验证信息是所述目标模型输出的会话信息。
3.根据权利要求2所述的验证方法，其特征在于，所述方法还包括：
获取所述目标模型的多个会话信息树中根节点的根节点信息；
根据多个根节点信息，构造区块链交易并将所述区块链交易在所述区块链中上链。
4.根据权利要求1所述的验证方法，其特征在于，所述获取来自目标账户的会话验证请求之前，所述方法还包括：
获取所述目标模型的多个会话信息对，所述会话信息对包括输入会话信息以及与所述输入会话信息对应的输出会话信息；
根据所述多个会话信息对中每个会话信息对的输入会话信息和输出会话信息，生成所述目标模型的会话信息树，其中，所述会话信息树的每个叶子节点中包含所述会话信息对的哈希值。
5.根据权利要求4所述的验证方法，其特征在于，所述根据所述多个会话信息对中每个会话信息对的输入会话信息和输出会话信息，生成所述目标模型的会话信息树，包括：
对于所述多个会话信息对中每个会话信息对，将会话信息对中的输入会话信息和输出会话信息拼接，并计算拼接结果的哈希值，得到每个会话信息对的哈希值；
基于每个会话信息对的哈希值生成一个叶子节点，得到多个叶子节点；
基于所述多个叶子节点，生成所述目标模型的会话信息树；
在所述基于所述多个叶子节点，生成所述目标模型的会话信息树的过程中，在所述会话信息树的每个层级中，基于两个子节点的哈希值，生成上一层级中对应父节点的哈希值，直到生成的层级中只包含一个节点作为所述会话信息树的根节点。
6.根据权利要求4所述的验证方法，其特征在于，所述方法还包括：
接收来自所述目标账户针对所述会话信息对的反馈信息；
将所述反馈信息在区块链中上链，以确认所述反馈信息的有效性，其中，确认有效的所述反馈信息和对应的会话信息对用于训练和更新所述目标模型。
7.根据权利要求6所述的验证方法，其特征在于，所述将所述反馈信息在区块链中上链之后，所述方法还包括：
从所述区块链中获取待确认的反馈信息；
计算所述反馈信息所对应的会话信息对中的输入会话信息和输出会话信息的待确认哈希值；
根据所述待确认哈希值，从目标模型的会话信息树中查询包含所述待确认哈希值的结果信息树；
若存在所述结果信息树，则将所述区块链中所述反馈信息的状态更新为有效状态。
8.根据权利要求7所述的验证方法，其特征在于，所述若存在所述结果信息树，则将所述区块链中所述反馈信息的状态更新为有效状态，包括：
若存在所述结果信息树，则获取所述结果信息树中根节点的节点信息；
在所述区块链中查询所述节点信息，所述区块链中包含所述目标模型的历史会话信息树中根节点的历史节点信息；
若所述区块链中包含所述节点信息，则将所述区块链中所述反馈信息的状态更新为已确认状态。
9.根据权利要求6所述的验证方法，其特征在于，所述将所述反馈信息在区块链中上链之后，所述方法还包括：
接收针对所述反馈信息的反馈确认消息，所述反馈确认消息中包含所述反馈信息的有效性信息；
根据所述反馈信息的有效性信息，确定所述反馈信息的奖励分数；
将所述反馈确认消息和所述奖励分数提交到所述区块链上，以根据所述奖励分数根据所述区块链中所述目标账户的账户积分。
10.根据权利要求1所述的验证方法，其特征在于，所述根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树，包括：
根据所述会话验证请求，从目标模型的会话信息树中获取与所述目标账户相关联的候选信息树，其中，所述候选信息树中的输入会话信息是所述目标账户输入到所述目标模型中的文本信息；
从所述候选信息树中查询包含所述待验证信息的目标信息树。
11.根据权利要求1所述的验证方法，其特征在于，所述根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树，包括：
计算所述待验证信息的会话哈希值；
向信息树服务器发送所述会话哈希值，以通过所述信息树服务器查询包含所述会话哈希值的目标信息树，其中，所述信息树服务器中包含所述目标模型的历史会话信息树；
若接收所述信息树服务器的返回消息，则从所述返回消息中获取包含所述待验证信息的目标信息树。
12.一种模型输出信息的验证装置，其特征在于，包括：
获取模块，配置为获取来自目标账户的会话验证请求，所述会话验证请求中包含待验证信息；
查询模块，配置为根据所述会话验证请求，从目标模型的会话信息树中查询包含所述待验证信息的目标信息树，其中，所述会话信息树是根据所述目标模型的输入会话信息与输出会话信息所生成的，所述输入会话信息是输入到所述目标模型中的文本信息，所述输出会话信息是所述目标模型对所述输入会话信息生成的反馈信息；
确定模块，配置为若查询到包含所述待验证信息的目标信息树，则确定所述待验证信息是所述目标模型输出的会话信息。
13.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至11中任意一项所述的模型输出信息的验证方法。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述的模型输出信息的验证方法。
15.一种计算机程序产品，其特征在于，计算机程序产品包括计算机程序，计算机程序存储在计算机可读存储介质中，电子设备的处理器从计算机可读存储介质读取并执行计算机程序，使得电子设备执行如权利要求1至11中任一项所述的模型输出信息的验证方法。
CN202311222623.9A 2023-09-20 2023-09-20 模型输出信息的验证方法、装置、电子设备和可读介质 Pending CN117251886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311222623.9A CN117251886A (zh) 2023-09-20 2023-09-20 模型输出信息的验证方法、装置、电子设备和可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311222623.9A CN117251886A (zh) 2023-09-20 2023-09-20 模型输出信息的验证方法、装置、电子设备和可读介质

Publications (1)

Publication Number Publication Date
CN117251886A true CN117251886A (zh) 2023-12-19

Family

ID=89130744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311222623.9A Pending CN117251886A (zh) 2023-09-20 2023-09-20 模型输出信息的验证方法、装置、电子设备和可读介质

Country Status (1)

Country Link
CN (1) CN117251886A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117910023A (zh) * 2024-03-19 2024-04-19 天津市职业大学 基于大数据的计算机信息安全处理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117910023A (zh) * 2024-03-19 2024-04-19 天津市职业大学 基于大数据的计算机信息安全处理方法及系统
CN117910023B (zh) * 2024-03-19 2024-05-14 天津市职业大学 基于大数据的计算机信息安全处理方法及系统

Similar Documents

Publication Publication Date Title
CN111160845B (zh) 一种业务处理方法和装置
US20190121813A1 (en) System and Method of Sovereign Digital Identity Search and Bidirectional Matching
US20130290226A1 (en) System and method for social graph and graph assets valuation and monetization
US20100274815A1 (en) System and method for indexing, correlating, managing, referencing and syndicating identities and relationships across systems
US20170366917A1 (en) Method for logging in to application, server, terminal, and nonvolatile computer readable storage medium
CN109189857B (zh) 基于区块链的数据共享系统、方法和装置
US8745088B2 (en) System and method of performing risk analysis using a portal
US20110275047A1 (en) Seeking Answers to Questions
US20210149885A1 (en) Blockchain-based content processing method and apparatus, device, and storage medium
CN108718341B (zh) 数据的共享和搜索的方法
CN103716326A (zh) 一种资源访问方法及用户资源网关
AU2016349477A1 (en) Systems and methods for controlling sign-on to web applications
US9769159B2 (en) Cookie optimization
CN111291394B (zh) 一种虚假信息管理方法、装置和存储介质
US20210209682A1 (en) Artificial Intelligence (AI) Enabled Blockchain Based Trading Partner Onboarding Optimization
CN110493308B (zh) 分布式一致性系统会话方法、装置及存储介质、服务器
CN117251886A (zh) 模型输出信息的验证方法、装置、电子设备和可读介质
CN110636038A (zh) 账号解析方法、装置、安全网关及系统
CN112351350A (zh) 一种内容显示方法、装置、系统、设备及存储介质
CN113129008B (zh) 数据处理方法、装置、计算机可读介质及电子设备
CN108683651A (zh) 一种单点登录方法、服务端及系统
KR100527840B1 (ko) 네트워크상에서 질문과 답변에 의한 지식 교환 시스템 및그 방법
US20120005739A1 (en) Linked identities
CN110177096A (zh) 客户端认证方法、装置、介质和计算设备
CN112749261B (zh) 数据处理方法、事项受理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication