CN116976439B - 模型矛盾现象的识别方法、装置、设备及存储介质 - Google Patents
模型矛盾现象的识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116976439B CN116976439B CN202311227004.9A CN202311227004A CN116976439B CN 116976439 B CN116976439 B CN 116976439B CN 202311227004 A CN202311227004 A CN 202311227004A CN 116976439 B CN116976439 B CN 116976439B
- Authority
- CN
- China
- Prior art keywords
- entity
- knowledge
- head
- relation
- triplet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012360 testing method Methods 0.000 claims description 64
- 230000015654 memory Effects 0.000 claims description 40
- 230000008094 contradictory effect Effects 0.000 claims description 26
- 238000005065 mining Methods 0.000 claims description 22
- 238000011156 evaluation Methods 0.000 claims description 20
- 238000009412 basement excavation Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 19
- 230000008569 process Effects 0.000 abstract description 16
- 230000019771 cognition Effects 0.000 abstract description 4
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 description 30
- 241000282320 Panthera leo Species 0.000 description 26
- 238000005516 engineering process Methods 0.000 description 25
- 238000004590 computer program Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- ZZZCUOFIHGPKAK-UHFFFAOYSA-N D-erythro-ascorbic acid Natural products OCC1OC(=O)C(O)=C1O ZZZCUOFIHGPKAK-UHFFFAOYSA-N 0.000 description 15
- 229930003268 Vitamin C Natural products 0.000 description 15
- 235000019154 vitamin C Nutrition 0.000 description 15
- 239000011718 vitamin C Substances 0.000 description 15
- 238000012545 processing Methods 0.000 description 13
- 201000010099 disease Diseases 0.000 description 12
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000001149 cognitive effect Effects 0.000 description 9
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 8
- 229940090044 injection Drugs 0.000 description 8
- 238000002347 injection Methods 0.000 description 8
- 239000007924 injection Substances 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000012216 screening Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 5
- 230000036541 health Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000000391 smoking effect Effects 0.000 description 5
- 229940025790 vitamin k 1 injection Drugs 0.000 description 5
- 206010014561 Emphysema Diseases 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000000414 obstructive effect Effects 0.000 description 4
- 239000000243 solution Substances 0.000 description 4
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 3
- 229910052791 calcium Inorganic materials 0.000 description 3
- 239000011575 calcium Substances 0.000 description 3
- KVUAALJSMIVURS-ZEDZUCNESA-L calcium folinate Chemical compound [Ca+2].C1NC=2NC(N)=NC(=O)C=2N(C=O)C1CNC1=CC=C(C(=O)N[C@@H](CCC([O-])=O)C([O-])=O)C=C1 KVUAALJSMIVURS-ZEDZUCNESA-L 0.000 description 3
- 235000008207 calcium folinate Nutrition 0.000 description 3
- 239000011687 calcium folinate Substances 0.000 description 3
- 239000002775 capsule Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 201000001245 periodontitis Diseases 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 206010005963 Bone formation increased Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 208000020670 canker sore Diseases 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 239000008098 formaldehyde solution Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 235000005955 light diet Nutrition 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 229940127249 oral antibiotic Drugs 0.000 description 1
- 230000003239 periodontal effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 229940124597 therapeutic agent Drugs 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/027—Frames
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及人工智能领域，提供了一种模型矛盾现象的识别方法、装置、设备及存储介质。该方法包括：获得包含多个肯定知识三元组的知识图谱，基于知识图谱中与各头实体具有相同类型的第一头实体集及其关联的实体关系，生成实体间不具有相应实体关系的各否定知识三元组，以及，生成不具有相应实体关系的各否定知识三元组；通过明确定义的否定知识三元组与模糊定义的否定知识三元组，对目标模型进行矛盾现象的识别判定，扩大了矛盾现象的识别范围，尽可能识别出目标模型对模糊定义否定知识的认知是否一致，避免目标模型应用于实际应用场景时，出现矛盾现象，从而提升模型在问答过程中的作答准确率以及产品使用对象的使用体验。
Description
技术领域
本申请涉及人工智能领域，提供了一种模型矛盾现象的识别方法、装置、设备及存储介质。
背景技术
近年来，随着互联网技术的飞速发展，人工智能（Artificial Intelligence，AI）技术广泛应用于医疗领域，尤其是大语言模型（Large Language Model，LLM）在医疗领域中的应用越来越普及。LLM帮助医生快速获取信息并制定决策，提高医疗效率与医疗服务质量。同时，LLM还为患者提供了个性化的健康咨询与建议，帮助患者了解自身的身体健康情况。
然而，随着LLM技术的发展，模型的矛盾现象却越发突出。这里的矛盾现象是指LLM有时并不是完全理解了某些知识，而是处于一种似是而非的状态，由于LLM对同一知识点的认知结果不同，导致模型在不同形式的对话中，给出截然不同的答案，形成了LLM的矛盾现象。因此，如何识别LLM的矛盾现象就成为了目前亟需解决的问题。
目前，提出设计常识问答题任务与常识造句题任务，来验证LLM的矛盾现象。例如，针对同一知识三元组<狮子，居住，海洋>，生成一道常识问答题与一道常识造句题，LLM针对常识问答题“请回答下面的常识问题：狮子居住在海洋中吗？”进行作答，给出的回答是“狮子不居住在海洋中”，LLM针对常识造句题“请根据下列关键词造出一句符合常识的句子：狮子，居住，海洋”作答，给出的回答却是“狮子居住在海洋中”，常识问答题的回答表达了否定含义，但常识造句题的回答又表达了肯定含义，LLM在不同形式的对话中，给出了截然不同的回答，由此判定LLM出现了矛盾现象。
然而，采用上述方式只能识别出LLM对明确定义否定知识的认知是否发生了矛盾，由于否定知识的设定原因，目前无法识别出LLM对模糊定义否定知识的认知是否发生了矛盾。那么，当LLM应用于实际应用场景时，由于对模糊定义否定知识的认知处于模棱两可状态，可能会在不同形式的对话中，给出截然不同的回答，影响对象判断等。
因此，为了解决上述问题，又提出了一种新的模型矛盾现象的识别方法。
发明内容
本申请实施例提供了一种模型矛盾现象的识别方法、装置、设备及存储介质，以解决无法识别出LLM对模糊定义否定知识的认知是否发生了矛盾的问题。
第一方面，本申请实施例提供了一种模型矛盾现象的识别方法，包括：
获得包含多个肯定知识三元组的知识图谱，每个肯定知识三元组包括：头实体、尾实体以及实体关系；
针对所述知识图谱中的各头实体，分别执行以下操作：对与一个头实体具有相同类型的第一头实体集进行实体关系挖掘，针对所述第一头实体集关联的肯定知识三元组集中第一出现频率不小于设定阈值的实体关系对，分别将所述一个头实体与各实体关系对结合，生成实体间不具有相应实体关系的各否定知识三元组，以及，针对所述第一头实体集关联的肯定知识三元组中第二出现频率不小于设定阈值的实体关系，分别将所述一个头实体与各实体关系结合，生成所述一个头实体不具有相应实体关系的各否定知识三元组，其中，每个实体关系对包括：实体关系，以及具有实体关系的尾实体；
基于获得的多个否定知识三元组，对目标模型进行矛盾现象的识别操作，获得相应的矛盾现象识别结果。
第二方面，本申请实施例还提供了一种模型矛盾现象的识别装置，包括：
图谱获取单元，用于获得包含多个肯定知识三元组的知识图谱，每个肯定知识三元组包括：头实体、尾实体以及实体关系；
三元组挖掘单元，用于针对所述知识图谱中的各头实体，分别执行以下操作：对与一个头实体具有相同类型的第一头实体集进行实体关系挖掘，针对所述第一头实体集关联的肯定知识三元组集中第一出现频率不小于设定阈值的实体关系对，分别将所述一个头实体与各实体关系对结合，生成实体间不具有相应实体关系的各否定知识三元组，以及，针对所述第一头实体集关联的肯定知识三元组中第二出现频率不小于设定阈值的实体关系，分别将所述一个头实体与各实体关系结合，生成所述一个头实体不具有相应实体关系的各否定知识三元组，其中，每个实体关系对包括：实体关系，以及具有实体关系的尾实体；
识别单元，用于基于获得的多个否定知识三元组，对目标模型进行矛盾现象的识别操作，获得相应的矛盾现象识别结果。
可选的，所述识别单元用于：
当所述一个否定知识三元组表征实体间不具有相应实体关系时，将所述一个否定知识三元组填充到预设的第一题目模版中，生成以所述一个否定知识三元组为关键词造句的所述首轮测试题目；
当所述一个否定知识三元组表征所述一个头实体不具有相应实体关系时，基于预设的第二题目模版与所述一个否定知识三元组，生成询问哪些尾实体与所述一个否定知识三元组的头实体具有相应实体关系的所述首轮测试题目。
可选的，所述识别单元用于：
当所述首轮测试题目的回答中包含头实体时，将所述首轮测试题目的回答填充到预设的第三题目模版中，生成询问所述首轮测试题目的回答是否符合常理的所述下一轮测试题目；
当所述首轮测试题目的回答中未包含目标头实体时，将所述首轮测试题目与相应回答进行拼接，并将拼接文本填充到所述第三题目模版中，生成询问所述首轮测试题目的回答是否符合常理的所述下一轮题目。
第三方面，本申请实施例还提供了一种计算机设备，包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行上述任意一种模型矛盾现象的识别方法的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其包括程序代码，当程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行上述任意一种模型矛盾现象的识别方法的步骤。
第五方面，本申请实施例还提供了一种计算机程序产品，包括计算机指令，计算机指令被处理器执行上述任意一种模型矛盾现象的识别方法的步骤。
本申请有益效果如下：
本申请实施例提供了一种模型矛盾现象的识别方法、装置、设备及存储介质，该方法包括：
基于知识图谱中与各头实体具有相同类型的第一头实体集及其关联的实体关系，从包含多个肯定知识三元组的知识图谱中，挖掘出图谱中暗含的一些表征否定知识的三元组，丰富否定知识的内容，且挖掘过程中是图谱自身的进一步扩展、开发，未引入额外的提示信息，避免因提示信息中存在的噪声数据，产生挖掘稳定性差的问题。
本申请挖掘得到了两种形式的否定知识三元组，一种是明确定义实体间不具有相应实体关系的各否定知识三元组，另一种是模糊定义不具有相应实体关系的各否定知识三元组， 充分利用两种形式的否定知识三元组，对目标模型进行矛盾现象的识别判定，扩大矛盾现象的识别范围，及时地识别出导致模型发生矛盾现象的知识点，更加全面地了解目标模型对各知识点的认知水平，以免在模型应用于实际应用场景时，因未完全理解了某些知识，导致矛盾现象的产生，也能有效地提升模型在问答过程中的作答准确率以及产品使用对象的使用体验。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1A为LLM为患者提供个性化健康咨询的界面示意图；
图1B为相关技术中验证LLM是否存在矛盾现象的逻辑示意图；
图2为本申请实施例中一种应用场景的一个可选示意图；
图3A为本申请实施例提供的识别模型矛盾现象的流程示意图；
图3B为本申请实施例提供的识别模型矛盾现象的逻辑示意图；
图3C为本申请实施例提供的知识图谱示意图；
图3D为本申请实施例提供的知识三元组示意图；
图3E为本申请实施例提供的对第一头实体集进行实体关系挖掘的流程示意图；
图3F为本申请实施例提供的相关技术与本申请进行矛盾现象识别的区别示意图；
图3G为本申请实施例提供的针对实体间不具有相应实体关系的否定知识三元组的识别逻辑示意图；
图3H为本申请实施例提供的针对一个头实体不具有相应实体关系的否定知识三元组的识别逻辑示意图；
图4A为本申请实施例提供的识别LLM是否存在矛盾现象的流程示意图；
图4B为本申请实施例提供的识别LLM是否存在矛盾现象的逻辑示意图；
图5为本申请实施例提供的一种模型矛盾现象的识别装置的结构示意图；
图6为应用本申请实施例的一种计算机设备的一个硬件组成结构示意图；
图7为应用本申请实施例的另一种计算机设备的一个硬件组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。
以下对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
1、人工智能AI：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术；人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
随着人工智能技术研究和进步，人工智能在多个领域展开研究和应用，例如常见的智能家居、智能客服、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、机器人、智能医疗等，相信随着技术的发展，人工智能将在更多的领域得到应用，并发挥越来越重要的价值。
2、机器学习：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍布人工智能的各个领域，包括深度学习、强化学习、迁移学习、归纳学习、式教学习等技术。
3、大语言模型LLM：是使用大量文本数据进行无监督或者半监督学习，训练得到的深度学习模型。LLM能够在自然语言处理领域中自动学习语言模式，生成自然语言文本或理解语言文本的含义。LLM可以处理多种自然语言任务，如文本分类、问答、对话等，是通向人工智能的一条重要途径。
4、知识图谱（Knowledge Graph）：是通过数据挖掘、信息处理、知识计量和图形绘制，将复杂的知识领域以可视化的图谱形式显示出来，形象地展示学科知识的核心结构、发展历史、前沿领域以及整体知识架构。知识图谱具有可扩展、易于维护、可共享等优势，可以为使用对象提供高效的查询服务与推理服务。
5、提示学习（Prompt Learning）：是一种监督学习方法，通过向模型提供一些额外的提示，帮助模型更好地理解与学习数据中的模式、规律，有利于将模型迁移到下游任务中，以及提高模型的性能。其中，这些提示可以来自于其他模型的输出、人类专家的知识、先验知识等等。
下面对本申请实施例的设计思想进行简要介绍：
近年来，随着互联网技术的飞速发展，人工智能技术广泛应用于医疗领域，尤其是大语言模型（Large Language Model，LLM）在医疗领域中的应用越来越普及。LLM帮助医生快速获取信息并制定决策，提高医疗效率与医疗服务质量。同时，如图1A所示，LLM还为患者提供了个性化的健康咨询与建议，帮助患者了解自身的身体健康情况。
然而，随着LLM技术的发展，模型的矛盾现象却越发突出。这里的矛盾现象是指LLM有时并不是完全理解了某些知识，而是处于一种似是而非的状态，由于LLM对同一知识点的认知结果不同，导致模型在不同形式的对话中，给出截然不同的答案，形成了LLM的矛盾现象。因此，如何识别LLM的矛盾现象就成为了目前亟需解决的问题。
目前，提出设计常识问答题任务与常识造句题任务，来验证LLM的矛盾现象。验证过程如图1B所示，以知识三元组<狮子，居住，海洋>为例，分别生成一道常识问答题与一道常识造句题，LLM针对常识问答题“请回答下面的常识问题：狮子居住在海洋中吗？”进行作答，给出的回答是“狮子不居住在海洋中”，LLM针对常识造句题“请根据下列关键词造出一句符合常识的句子：狮子，居住，海洋”作答，给出的回答却是“狮子居住在海洋中”，常识问答题的回答表达了否定含义，但常识造句题的回答又表达了肯定含义，LLM在不同形式的对话中，给出了截然不同的回答，由此判定LLM出现了矛盾现象。
然而，采用上述方式只能识别出LLM对明确定义否定知识的认知是否发生了矛盾，由于否定知识的设定原因，目前无法识别出LLM对模糊定义否定知识的认知是否发生了矛盾。那么，当LLM应用于实际应用场景时，由于对模糊定义否定知识的认知处于模棱两可状态，可能会在不同形式的对话中，给出截然不同的回答，影响对象判断等。
因此，为了解决上述问题，本申请又提出了一种新的模型矛盾现象的识别方法。该方法包括：
获得包含多个肯定知识三元组的知识图谱，针对知识图谱中的各头实体，分别执行以下操作：对与一个头实体具有相同类型的第一头实体集进行实体关系挖掘，针对第一头实体集关联的肯定知识三元组集中第一出现频率不小于设定阈值的实体关系对，分别将一个头实体与各实体关系对结合，生成实体间不具有相应实体关系的各否定知识三元组，以及，针对第一头实体集关联的肯定知识三元组中第二出现频率不小于设定阈值的实体关系，分别将一个头实体与各实体关系结合，生成一个头实体不具有相应实体关系的各否定知识三元组，其中，每个实体关系对包括：实体关系，以及具有实体关系的尾实体；
通过明确定义的否定知识三元组与模糊定义的否定知识三元组，对目标模型进行矛盾现象的识别判定，扩大了矛盾现象的识别范围，尽可能识别出目标模型对模糊定义否定知识的认知是否一致，避免目标模型应用于实际应用场景时，出现矛盾现象，从而提升模型在问答过程中的作答准确率以及产品使用对象的使用体验。
以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本申请实施例提供的模型矛盾现象的识别方法，可应用于医疗领域、问答领域、社交平台等各种场景中，提前识别出模型对哪些知识点的认知结果存在差异，以免在模型应用阶段，由于对同一知识点的认知结果不同，导致模型在不同形式的对话中，给出截然不同的答案，有利于提升模型在问答过程中的作答准确率以及产品使用对象的使用体验。
图2示出了其中一种应用场景，在该场景中包括两个终端设备210与一台服务器230，终端设备210通过有线网络或无线网络，与服务器230之间建立通信连接。
其中，终端设备210包括但不限于：手机、电脑（如平板电脑、笔记本电脑、台式计算机等）、智能家电、智能语音交互设备（如智能手表、智能音箱等）、车载终端、飞行器等等。
本申请实施例的服务器230可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（Content DeliveryNetwork，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器，本申请在此不做限制。
终端设备210通过医学问答界面220的提问框，获取目标对象输入的医疗问题“牙周炎症状的治疗方法有哪些？”，再通过预先建立的通信通道，向服务器230发送医学问题。服务器230调用医学问答模型执行问答任务，再向终端设备210发送模型的医学回答“对于牙周炎的治疗，一般需要先进行牙周洁治和刮治等治疗措施，同时配合口服抗生素进行治疗。如果患者出现严重的牙周炎时，还需要考虑手术治疗。对于牙周炎的治疗，需要在专业医生的指导下进行，不能自行盲目进行治疗。建议患者在就诊前，先去口腔科检查，明确诊断后再行治疗。平时注意口腔卫生，养成早晚刷牙、饭后漱口的好习惯，避免进食辛辣刺激性食物以及喝酒吸烟等不良习惯，饮食清淡，多吃蔬菜水果，保持大便通畅。祝早日康复！”，并在医疗问答界面220中展示该医学回答。
其中，医学问答模型作为一个机器学习模型，既可以部署在服务器230中，实现调用本地模型的功能，也可以部署在网络中的其他独立服务器中，实现异地调用模型的功能，还可以部署在网络的服务器集群或者分布式系统中，实现调用分布式模型的功能，本申请在此不作限定。
采用本申请提供的方法，识别医学问答模型中是否存在矛盾现象，验证模型对医学知识的认知结果是否一致。具体的识别过程如下：获得包含多个肯定知识三元组的知识图谱，每个肯定知识三元组包括：头实体、尾实体以及实体关系；再针对知识图谱中的各头实体，分别执行以下操作：对与一个头实体具有相同类型的第一头实体集进行实体关系挖掘，针对第一头实体集关联的肯定知识三元组集中第一出现频率不小于设定阈值的实体关系对，分别将一个头实体与各实体关系对结合，生成实体间不具有相应实体关系的各否定知识三元组，以及，针对第一头实体集关联的肯定知识三元组中第二出现频率不小于设定阈值的实体关系，分别将一个头实体与各实体关系结合，生成所述一个头实体不具有相应实体关系的各否定知识三元组，其中，每个实体关系对包括：实体关系，以及具有实体关系的尾实体；最后，基于获得的多个否定知识三元组，对目标模型进行矛盾现象的识别操作，获得相应的矛盾现象识别结果。
例如，以知识三元组<阻塞性肺气肿，病因，吸烟>为例，生成一道常识造句题“请根据下列关键词<阻塞性肺气肿，病因，吸烟>，造出一句符合常识的句子”，医学问答模型给出的回答是“引起阻塞性肺气肿的病因是吸烟”，再基于该医学回答，生成一道常识问答题“请问‘引起阻塞性肺气肿的病因是吸烟’这句话是否符合常理？”，医学问答模型给出的回答却是“不符合常理”。 常识问答题的回答表达了否定含义，但常识造句题的回答又表达了肯定含义，医学问答模型在不同形式的对话中，给出了截然不同的回答，由此判定模型出现了矛盾现象。
接下来，如图3A~3B所示，识别模型矛盾现象的过程如下：
S301：获得包含多个肯定知识三元组的知识图谱，每个肯定知识三元组包括：头实体、尾实体以及实体关系。
知识图谱是人工智能的重要分支技术，它的目的是为了让机器能够理解和处理人类的自然语言，并提供更加智能和个性化的服务，如帮助机器回答复杂的问题，推理出隐含的信息，发现新的知识，提高搜索质量和用户体验等。
知识图谱是结构化的语义知识库，用于以符号形式描述物理世界中的概念及其相互关系，其基本组成单位是“实体—关系—实体”三元组，以及实体及其相关属性—值对，实体间通过关系相互联结，构成如图3C所示的网状知识结构的知识图谱。
以知识三元组<人物，画，作品>为例，图3D中示出了三元组中的实体及其相关属性—值对。知识三元组的头实体是“画家”，尾实体是“作品”，实体关系是“画”。其中，头实体的实体属性包括：生日，性别，头实体的实体属性值分别是：1452年4月、男，因此，头实体的实体属性—值对包括：<生日，1452年4月>，<性别，男>；实体关系的关系属性包括：作画起始时间，作画结束时间，实体关系的关系属性值分别是：1503年，1506年，因此，实体关系的关系属性—值对包括：<作画起始时间，1503年>，<作画结束时间，1506年>。
S302：针对知识图谱中的各头实体，分别执行以下操作：对与一个头实体具有相同类型的第一头实体集进行实体关系挖掘，针对第一头实体集关联的肯定知识三元组集中第一出现频率不小于设定阈值的实体关系对，分别将一个头实体与各实体关系对结合，生成实体间不具有相应实体关系的各否定知识三元组，以及，针对第一头实体集关联的肯定知识三元组中第二出现频率不小于设定阈值的实体关系，分别将一个头实体与各实体关系结合，生成所述一个头实体不具有相应实体关系的各否定知识三元组，其中，每个实体关系对包括：实体关系，以及具有实体关系的尾实体。
LLM在对话场景中，尤其是多轮对话场景中，有时会出现一定的矛盾现象。在本申请中，若设定LLM的输入为知识三元组x，输出为模型的回答f(x)，定义LLM的矛盾现象为：
其中，f为LLM的权重参数表示，bool为判定某段文本表达了肯定含义或者否定含义（如句子中是否出现了否定词），其判定结果为是或者否的二分类答案。
基于知识基础（Knowledge Grounded）构建的知识图谱中包含大量肯定形式的知识三元组（即肯定知识三元组），当输入的x是肯定知识三元组时，LLM在回答基于肯定知识三元组生成的问题时，往往也会采用肯定形式的回答，输出表达了肯定含义的回答f(x)，导致上述不等式是不成立的。因此，肯定知识三元组无法帮助识别模型的矛盾现象。
而否定知识三元组大多未被记录在训练语料或者知识图谱中，也很少有训练语料介绍相关否定形式的知识（negative facts），导致LLM在具备一定的推理能力之后，才能对否定知识三元组有一定的认知。因此，否定知识三元组可以有效识别模型的矛盾现象，上述矛盾现象的定义公式也随之调整为：
其中，不等式右侧没有否定符号的原因是，让模型自行判断知识三元组是否需要补充否定含义。
在通用领域或者专业领域的知识图谱中，一般记录的是表达肯定含义的知识三元组，但知识图谱中也暗含了一些表达否定含义的知识三元组，只是这些三元组没有被显式记录在图谱中，那么，如何从包含多个肯定知识三元组的知识图谱中，挖掘出否定形式的三元组，成为了本申请亟待解决的问题之一。
本申请定义了两种形式的否定知识三元组，分别是：与，其中，h、r、t分别表示三元组中的头实体、实体关系与尾实体。
的含义是，头实体h的实体关系r是尾实体t这个知识是不成立的，即实体间不具有相应实体关系。例如，“狮子的居住地是海洋”这个知识是不成立的。的含义是，头实体h不具有实体关系r。例如，狮子的治疗疾病是空，即狮子没有治疗疾病这条实体关系。需要注意的是，本申请采用的否定知识三元组均来自于一个常识知识图谱，大多数的否定知识三元组（如<狮子，居住，海洋>、<汽车，能够，跳跃>等）是一般常识就可以判断的知识三元组。
这两种形式的否定知识三元组都遵从一个知识图谱范围的前提——封闭世界默认（Open World Assumption，OWA），即默认知识图谱中仅包含部分真实世界的知识，当遇到某些知识图谱无法判定为正确的知识时，可以考虑判定为不确定。
这两种形式的否定知识三元组都可以基于与一个头实体具有相同类型的第一头实体集及其关联的实体关系采集得到，即当某个头实体的所有第一头实体都具备某个关系三元组时，并且在OWA的设定中，该头实体没有这个关系三元组，甚至一个头实体不具备这个实体关系时，都可以挖掘该三元组成为该头实体的第一种形式的否定知识三元组，或者第二种形式的否定知识三元组。
在步骤302中，针对知识图谱中的各头实体，分别执行相同操作，以挖掘出更多的否定知识三元组。为了便于描述，以一个头实体为例，如图3E所示，对与一个头实体具有相同类型的第一头实体集进行实体关系挖掘的过程如下：
S3021：在知识图谱中，获取与一个头实体具有相同类型的第一头实体集关联的肯定知识三元组集。
第一头实体集中包括，与一个头实体具有相同类型的至少一个第一头实体，分别在知识图谱中，获取至少一个第一头实体各自关联的肯定知识三元组，由获得的至少一个肯定知识三元组构成肯定知识三元组集。
S3022：获得肯定知识三元组集中记录的各实体关系对与各实体关系。
经由前文介绍可知，肯定知识三元组中包括：头实体、尾实体以及实体关系，因此，可以从肯定知识三元组集中，分别获取每个肯定知识三元组所记录的实体关系对与实体关系，其中，每个实体关系对包括：实体关系，以及具有该实体关系的尾实体。
例如，第一头实体“维生素K1注射液”关联的肯定知识三元组为<维生素K1注射液，慎用，孕妇>，从中提取出实体关系对<慎用，孕妇>，以及实体关系“慎用”。
S3023：采用以下方式，分别获得各实体关系对各自的第一出现频率：基于肯定知识三元组集中与一个实体关系对关联的头实体数量，与第一头实体集的头实体总数，获得一个实体关系对出现在肯定知识三元组集的第一出现频率。
对于第一种形式的否定知识三元组来说，相同类型的第一头实体集可以用来评估一个头实体相关陈述三元组的期望值。如公式4所示，基于概率统计，计算一个实体关系对出现在肯定知识三元组集的第一出现频率：
其中，p(h)是用于获得与一个头实体h具有相同类型的第一头实体集的公式，是与一个头实体h具有相同类型的第一头实体，/>是从知识图谱G中获取第一头实体/>关联的肯定知识三元组，/>为一个实体关系对/>出现在肯定知识三元组集的第一出现频率。
在本申请中，第一出现频率的值越大，表明一个头实体h对应的否定知识三元组/>成立的概率也越大；第一出现频率/>的值越小，表明一个头实体h对应的否定知识三元组/>成立的概率也越小。
例如，“维生素C片”的第一头实体包括：“维生素K1注射液”、“维生素C钙胶囊”、“注射用亚叶酸钙”和“维生素C注射液”，其中，前三个第一头实体都包含实体关系对<慎用，孕妇>，则对应的freq<慎用，孕妇>的取值为0.75，也就是说，成立的概率是0.75。
S3024：采用以下方式，分别获得各实体关系各自的第二出现频率：基于肯定知识三元组集中与一个实体关系关联的头实体数量，与第一头实体集的头实体总数，获得一个实体关系出现在肯定知识三元组集的第二出现频率。
对于第二种形式的否定知识三元组来说，因为它定义了一定范围内的绝对关系，所以判定的条件也会更加严格。如公式5所示，基于概率统计，计算一个实体关系出现在肯定知识三元组集的第二出现频率：
其中，k为超参数，一般取值为2，p(h)是用于获得与一个头实体h具有相同类型的第一头实体集的公式，是与一个头实体h具有相同类型的第一头实体，/>是从知识图谱G中获取第一头实体/>关联的实体关系r，/>为一个实体关系r出现在肯定知识三元组集的第二出现频率。
在知识图谱中，一个第一头实体可能与多个尾实体具有同一实体关系，因此，本申请的公式5是在判定各第一头实体是否具有实体关系r，而不是在判定实体关系r关联了几个肯定知识三元组。例如，当r为治疗疾病时，同一个药品可能会用来治疗多种疾病，也就是说，头实体“药品”与多个尾实体具有治疗关系这一实体关系。
在本申请中，第二出现频率的值越大，表明一个头实体h对应的否定知识三元组/>成立的概率也越大；第二出现频率/>的值越小，表明一个头实体h对应的否定知识三元组/>成立的概率也越小。
例如，“维生素C片”的第一头实体包括：“维生素K1注射液”、“维生素C钙胶囊”、“注射用亚叶酸钙”和“维生素C注射液”，其中，前三个第一头实体都包含实体关系<慎用>，则对应的freq<慎用>的取值为，也就是说，/>成立的概率也是。
另外，根据OWA的设定，当更多的头实体定义了这类实体关系，那么，未定义该实体关系的头实体，大概率是没有收录到知识图谱中，而非本申请要挖掘的否定知识三元组，因此，一个实体关系r出现在肯定知识三元组集的第二出现频率，要高于同一实体关系关联的实体关系对出现在肯定知识三元组集的第一出现频率。
在执行完图3E所示的各步骤之后，按照从高到低的顺序，分别对各第一出现频率与各第二出现频率进行排序，利用设定阈值筛选一定范围内的否定知识三元组作为生成的结果。两种形式的否定知识三元组可以设置相同的设定阈值，也可以设置不同的设定阈值，比如，第一种形式的否定知识三元组的设定阈值设为0.5，第二种形式的否定知识三元组的设定阈值设为0.3。
针对第一头实体集关联的肯定知识三元组集中第一出现频率不小于设定阈值的实体关系对，分别将一个头实体与各实体关系对结合，生成实体间不具有相应实体关系的各否定知识三元组，以及，针对第一头实体集关联的肯定知识三元组中第二出现频率不小于设定阈值的实体关系，分别将一个头实体与各实体关系结合，生成所述一个头实体不具有相应实体关系的各否定知识三元组。
例如，将一个头实体“维生素C片”与实体关系对<慎用，孕妇>结合，得到第一种形式的否定知识三元组，将一个头实体“维生素C片”与实体关系<慎用>结合，得到第二种形式的否定知识三元组。
但是，公式4、5中都没有考虑到实体关系的唯一指向性，容易生成没有太多实际应用价值的、冗余的否定陈述句。以“甲醛溶液的别名是福尔马林”为例，通常药品别名具有唯一性，其他药品的别名不会是福尔马林，因此，“甲醛溶液的别名是福尔马林”是冗余的陈述句。
为了避免生成冗余的否定陈述句，本申请利用实体关系的泛函性，评估实体关系的唯一指向性。在分别获得各实体关系对各自的第一出现频率之后，还包括：
首先，针对各实体关系对，分别执行以下操作：
（1）、基于知识图谱中与一个实体关系对中的实体关系相关联的第二头实体，以及与一个实体关系对中的实体关系相关联的实体对，获得一个实体关系对中实体关系的关系评估指标，其中，每个实体对包括：具有相应实体关系的头尾实体。
如公式6所示，针对一个实体关系对中的实体关系r，从知识图谱G中获取实体关系r相关联的第二头实体，以及与该实体关系相关联的头尾实体对/>，再将第二头实体数量与实体对数量之间的比值，作为该实体关系的关系评估指标func(r)。
表1中展示了与实体关系“治疗疾病”关联的多个肯定知识三元组，其中，相关联的头实体是3个，相关联的实体对是8个，因此，实体关系“治疗疾病”的关系评估指标func(r)是。
表1
（2）、基于一个实体关系对的第一出现频率，与一个实体关系对中实体关系的关系评估指标，获得预测一个头实体与一个实体关系对组成否定知识三元组的第一预估值。
引入实用关系的泛涵性，对公式4进行扩展，得到用于预测一个头实体与一个实体关系对组成否定知识三元组的第一预估值的公式7。
其次，针对第一预估值不小于设定阈值的实体关系对，分别将一个头实体与各实体关系对结合，生成实体间不具有相应实体关系的各否定知识三元组。
按照从高到低的顺序，对各第一预估值进行排序，利用设定阈值筛选一定范围内的否定知识三元组作为生成的结果。用于筛选第一出现频率的阈值与用于筛选第一预估值的设定阈值可以是相同的，也可以设置不同的设定阈值，比如，前者的设定阈值设为0.5，后者的设定阈值设为0.3。
另外，在分别获得各实体关系各自的第二出现频率之后，还包括：
首先，针对各实体关系，分别执行以下操作：
（1）、基于知识图谱中与一个实体关系相关联的第二头实体，以及与一个实体关系相关联的实体对，获得一个实体关系的关系评估指标，其中，每个实体对包括：具有相应实体关系的头尾实体。
如公式6所示，针对一个实体关系r，从知识图谱G中获取实体关系r相关联的第二头实体，以及与该实体关系相关联的头尾实体对/>，再将第二头实体数量与实体对数量之间的比值，作为该实体关系的关系评估指标func(r)。
（2）、基于一个实体关系对的第二出现频率，与一个实体关系的关系评估指标，获得预测一个头实体与一个实体关系组成否定知识三元组的第二预估值。
引入实用关系的泛涵性，对公式5进行扩展，得到用于预测一个头实体与一个实体关系组成否定知识三元组的第二预估值的公式8。
其次，针对第二预估值不小于设定阈值的实体关系，分别将所述一个头实体与各实体关系结合，生成所述一个头实体不具有相应实体关系的各否定知识三元组。
按照从高到低的顺序，对各第二预估值进行排序，利用设定阈值筛选一定范围内的否定知识三元组作为生成的结果。用于筛选第二预估值的阈值，可以与用于筛选第二预估值的设定阈值或者用于筛选第一预估值的阈值是相同的，也可以设置不同的设定阈值，比如，前者的设定阈值设为0.5，后者的设定阈值设为0.3。
S303：基于获得的多个否定知识三元组，对目标模型进行矛盾现象的识别操作，获得相应的矛盾现象识别结果。
图3F展示了相关技术与本申请进行矛盾现象识别的区别。其中，在相关技术中，针对同一知识三元组，分别生成一道常识问答题与一道常识造句题，再将两道题目分别输入到目标模型中进行解答，获得各自的回答，再比较两个回答与知识三元组是否表达了相同的肯定含义或者否定含义，如果目标模型在不同形式的对话中，给出了截然不同的回答，由此判定目标模型中出现了矛盾现象。
由于相关技术是通过对两个独立问题的判定，来识别模型矛盾现象的，因此，需要对常识问答题任务与常识造句题任务的输入、输出进行预先标注工作，尤其是常识问答题，需要采用自动或者半自动方式进行批量准备，造成标注成本较高。
本申请通过两种形式的否定知识三元组进行识别判定，扩大了矛盾现象的识别范围，而将常识问答题任务与常识造句题任务融合为一条串行的两轮问答任务，基于首轮测试题目的回答，生成下一轮测试题目，既降低了自动化判定流程中标注成本，又减少了因不同提示设定导致的识别不稳定性，还方便将本申请提出的模型矛盾现象的识别方法，扩展至更大规模的目标模型（如LLM）或者更大规模的知识图谱。
本申请的具体识别过程为：采用挖掘得到的多个否定知识三元组，对目标模型进行矛盾现象的识别操作，获得相应的矛盾现象识别结果；其中，每读取一个否定知识三元组，生成针对一个否定知识三元组的首轮测试题目，并基于首轮测试题目的回答，生成下一轮测试题目，当下一轮测试题目的回答中表达了否定含义时，确定目标模型中发生了矛盾现象。
由于两种形式的否定知识三元组，遵循不同的题目模版与提问方式，因此，分开进行讨论。
（1）针对否定知识三元组的识别方式为：
当一个否定知识三元组表征实体间不具有相应实体关系时，将一个否定知识三元组填充到预设的第一题目模版中，生成以一个否定知识三元组为关键词造句的首轮测试题目；
当首轮测试题目的回答中包含头实体时，将首轮测试题目的回答填充到预设的第三题目模版中，生成询问首轮测试题目的回答是否符合常理的下一轮测试题目；
当首轮测试题目的回答中未包含目标头实体时，将首轮测试题目与相应回答进行拼接，并将拼接文本填充到所述第三题目模版中，生成询问首轮测试题目的回答是否符合常理的下一轮题目。
如图3G所示，基于否定知识三元组<狮子，居住，海洋>，生成一道常识造句题“请根据下列关键词<狮子，居住，海洋>，造出一句符合常理的句子。”，LLM作答常识造句题，当输出的回答是“狮子居住在海洋”时，则下一轮题目为“请判断以下内容是否符合常理：狮子居住在海洋”。
LLM作答常识问答题，当输出的回答是“符合”时，两个回答都表达了肯定含义，因此，LLM对于<狮子，居住，海洋>的认知结果是一致的，不存在矛盾现象。当输出的回答是“不符合”时，常识造句题的回答表达了肯定含义，但常识问答题的回答又表达了否定含义，LLM在不同形式的对话中，给出了截然不同的回答，由此判定LLM出现了矛盾现象。
（2）与否定知识三元组不同，否定知识三元组/>中仅显示定义了实体关系，没有定义尾实体，因此，第二种形式的否定知识三元组的问答流程，也需要进行针对性调整。具体地，针对否定知识三元组/>的识别方式为：
当一个否定知识三元组表征一个头实体不具有相应实体关系时，基于预设的第二题目模版与一个否定知识三元组，生成询问哪些尾实体与一个否定知识三元组的头实体具有相应实体关系的首轮测试题目；
当首轮测试题目的回答中包含头实体时，将首轮测试题目的回答填充到预设的第三题目模版中，生成询问首轮测试题目的回答是否符合常理的下一轮测试题目；
当首轮测试题目的回答中未包含目标头实体时，将首轮测试题目与相应回答进行拼接，并将拼接文本填充到所述第三题目模版中，生成询问首轮测试题目的回答是否符合常理的下一轮题目。
如图3H所示，基于否定知识三元组<狮子，治疗疾病>，生成一道常识问答题“请根据常识回答以下问题：狮子的治疗疾病是什么？”，LLM作答第一道常识问答题，当输出的回答是“有风湿病、骨质增生等”时，则下一轮题目为“请判断以下内容是否符合常理：狮子的治疗疾病有风湿病、骨质增生等”。
LLM作答第二道常识问答题，当输出的回答是“符合”时，两个回答都表达了肯定含义，因此，LLM对于<狮子，治疗疾病>的认知结果是一致的，不存在矛盾现象。当输出的回答是“不符合”时，第一道常识问答题的回答表达了肯定含义，但第二道常识问答题的回答又表达了否定含义，LLM在不同形式的对话中，给出了截然不同的回答，由此判定LLM出现了矛盾现象。
当LLM作答第一道常识问答题，给出的回答是“狮子没有治疗疾病”时，则下一轮题目为“请判断以下内容是否符合常理：狮子没有治疗疾病”。LLM作答第二道常识问答题，当输出的回答是“符合”时，两个回答都表达了肯定含义，因此，LLM对于<狮子，治疗疾病>的认知结果是一致的，不存在矛盾现象。当输出的回答是“不符合”时，第一道常识问答题的回答表达了肯定含义，但第二道常识问答题的回答又表达了否定含义，LLM在不同形式的对话中，给出了截然不同的回答，由此判定LLM出现了矛盾现象。
本申请实施例提供的模型矛盾现象的识别方法，可应用于医疗领域、问答领域、社交平台等各种场景中，识别出模型对哪些知识点的认知结果存在差异。如图4A~4B所示，在医疗领域的LLM中应用该方法，识别模型对哪些医疗知识的认知结果存在差异。
S401：获取知识图谱，该知识图谱中包括以下几个肯定知识三元组：<维生素C片，治疗疾病，口腔溃疡>、<维生素K1注射液，慎用，孕妇>、<维生素C钙胶囊>、<注射用亚叶酸钙，慎用，孕妇>、<维生素C注射液，治疗疾病，口腔溃疡>；
S402：针对知识图谱中的各头实体，分别对与各头实体具有相同类型的第一头实体集进行实体关系挖掘，获得以下几个否定知识三元组：<维生素C片，慎用，孕妇>、<维生素C片，慎用>、<维生素C注射液，慎用，孕妇>、<维生素C注射液，慎用>；
S403：采用挖掘得到的多个否定知识三元组，对LLM进行矛盾现象的识别操作，获得相应的矛盾现象识别结果。
表2示出了基于各否定知识三元组生成的题目、模型作出的回答，以及最终判定的矛盾现象识别结果。
表2
此外需要注意的是，在本申请的具体实施方式中，涉及到与构建知识图谱等相关的对象数据，当本申请以上实施例运用到具体产品或技术中时，需要获得对象许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
与上述方法实施例基于同一发明构思，本申请实施例还提供了一种模型矛盾现象的识别装置。如图5所示，模型矛盾现象的识别装置500可以包括：
图谱获取单元501，用于获得包含多个肯定知识三元组的知识图谱，每个肯定知识三元组包括：头实体、尾实体以及实体关系；
三元组挖掘单元502，用于针对知识图谱中的各头实体，分别执行以下操作：对与一个头实体具有相同类型的第一头实体集进行实体关系挖掘，针对第一头实体集关联的肯定知识三元组集中第一出现频率不小于设定阈值的实体关系对，分别将一个头实体与各实体关系对结合，生成实体间不具有相应实体关系的各否定知识三元组，以及，针对第一头实体集关联的肯定知识三元组中第二出现频率不小于设定阈值的实体关系，分别将一个头实体与各实体关系结合，生成一个头实体不具有相应实体关系的各否定知识三元组，其中，每个实体关系对包括：实体关系，以及具有实体关系的尾实体；
识别单元503，用于基于获得的多个否定知识三元组，对目标模型进行矛盾现象的识别操作，获得相应的矛盾现象识别结果。
可选的，三元组挖掘单元502用于：
在知识图谱中，获取与一个头实体具有相同类型的第一头实体集关联的肯定知识三元组集；
获得肯定知识三元组集中记录的各实体关系对与各实体关系；
采用以下方式，分别获得各实体关系对各自的第一出现频率：基于肯定知识三元组集中与一个实体关系对关联的头实体数量，与第一头实体集的头实体总数，获得一个实体关系对出现在肯定知识三元组集的第一出现频率；
采用以下方式，分别获得各实体关系各自的第二出现频率：基于肯定知识三元组集中与一个实体关系关联的头实体数量，与第一头实体集的头实体总数，获得一个实体关系出现在肯定知识三元组集的第二出现频率。
可选的，在分别获得各实体关系对各自的第一出现频率之后，三元组挖掘单元502还用于：
针对各实体关系对，分别执行以下操作：基于知识图谱中与一个实体关系对中的实体关系相关联的第二头实体，以及与一个实体关系对中的实体关系相关联的实体对，获得一个实体关系对中实体关系的关系评估指标，其中，每个实体对包括：具有相应实体关系的头尾实体；基于一个实体关系对的第一出现频率，与一个实体关系对中实体关系的关系评估指标，获得预测一个头实体与一个实体关系对组成否定知识三元组的第一预估值；
针对第一预估值不小于设定阈值的实体关系对，分别将一个头实体与各实体关系对结合，生成实体间不具有相应实体关系的各否定知识三元组。
可选的，在分别获得各实体关系各自的第二出现频率之后，三元组挖掘单元502还用于：
针对各实体关系，分别执行以下操作：基于知识图谱中与一个实体关系相关联的第二头实体，以及与一个实体关系相关联的实体对，获得一个实体关系的关系评估指标，其中，每个实体对包括：具有相应实体关系的头尾实体；基于一个实体关系对的第二出现频率，与一个实体关系的关系评估指标，获得预测一个头实体与一个实体关系组成否定知识三元组的第二预估值；
针对第二预估值不小于设定阈值的实体关系，分别将一个头实体与各实体关系结合，生成一个头实体不具有相应实体关系的各否定知识三元组。
可选的，识别单元503用于：
采用挖掘得到的多个否定知识三元组，对目标模型进行矛盾现象的识别操作，获得相应的矛盾现象识别结果；其中，每读取一个否定知识三元组，生成针对一个否定知识三元组的首轮测试题目，并基于首轮测试题目的回答，生成下一轮测试题目，当下一轮测试题目的回答中表达了否定含义时，确定目标模型中发生了矛盾现象。
可选的，识别单元503用于：
当一个否定知识三元组表征实体间不具有相应实体关系时，将一个否定知识三元组填充到预设的第一题目模版中，生成以一个否定知识三元组为关键词造句的首轮测试题目；
当一个否定知识三元组表征一个头实体不具有相应实体关系时，基于预设的第二题目模版与一个否定知识三元组，生成询问哪些尾实体与一个否定知识三元组的头实体具有相应实体关系的首轮测试题目。
可选的，识别单元503用于：
当首轮测试题目的回答中包含头实体时，将首轮测试题目的回答填充到预设的第三题目模版中，生成询问首轮测试题目的回答是否符合常理的下一轮测试题目；
当首轮测试题目的回答中未包含目标头实体时，将首轮测试题目与相应回答进行拼接，并将拼接文本填充到第三题目模版中，生成询问首轮测试题目的回答是否符合常理的下一轮题目。
为了描述的方便，以上各部分按照功能划分为各模块（或单元）分别描述。当然，在实施本申请时可以把各模块（或单元）的功能在同一个或多个软件或硬件中实现。
在介绍了本申请示例性实施方式的模型矛盾现象的识别方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的计算机设备。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种计算机设备。在一种实施例中，该计算机设备可以是服务器，如图2所示的服务器230。在该实施例中，计算机设备的结构如图6所示，可以至少包括存储器601、通讯模块603，以及至少一个处理器602。
存储器601，用于存储处理器602执行的计算机程序。存储器601可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
存储器601可以是易失性存储器（volatile memory），例如随机存取存储器（random-access memory，RAM）；存储器601也可以是非易失性存储器（non-volatilememory），例如只读存储器，快闪存储器（flash memory），硬盘（hard disk drive，HDD）或固态硬盘（solid-state drive，SSD）；或者存储器601是能够用于携带或存储具有指令或数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质，但不限于此。存储器601可以是上述存储器的组合。
处理器602，可以包括一个或多个中央处理单元（central processing unit，CPU）或者为数字处理单元等等。处理器602，用于调用存储器601中存储的计算机程序时实现上述模型矛盾现象的识别方法。
通讯模块603用于与终端设备和其他服务器进行通信。
本申请实施例中不限定上述存储器601、通讯模块603和处理器602之间的具体连接介质。本申请实施例在图6中以存储器601和处理器602之间通过总线604连接，总线604在图6中以粗线描述，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线604可以分为地址总线、数据总线、控制总线等。为便于描述，图6中仅用一条粗线描述，但并不描述仅有一根总线或一种类型的总线。
存储器601中存储有计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本申请实施例的模型矛盾现象的识别方法。处理器602用于执行上述的模型矛盾现象的识别方法，如图3A所示。
在另一种实施例中，计算机设备也可以是其他计算机设备，如图2所示的终端设备210。在该实施例中，计算机设备的结构可以如图7所示，包括：通信组件710、存储器720、显示单元730、摄像头740、传感器750、音频电路760、蓝牙模块770、处理器780等部件。
通信组件710用于与服务器进行通信。在一些实施例中，可以包括电路无线保真（Wireless Fidelity，WiFi）模块，WiFi模块属于短距离无线传输技术，电子设备通过WiFi模块可以帮助对象收发信息。
存储器720可用于存储软件程序及数据。处理器780通过运行存储在存储器720的软件程序或数据，从而执行终端设备210的各种功能以及数据处理。存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器720存储有使得终端设备210能运行的操作系统。本申请中存储器720可以存储操作系统及各种应用程序，还可以存储执行本申请实施例模型矛盾现象的识别方法的计算机程序。
显示单元730还可用于显示由对象输入的信息或提供给对象的信息以及终端设备210的各种菜单的图形用户界面（graphical user interface，GUI）。具体地，显示单元730可以包括设置在终端设备210正面的显示屏732。其中，显示屏732可以采用液晶显示器、发光二极管等形式来配置。显示单元730可以用于显示本申请实施例中的缺陷检测界面、模型训练界面等。
显示单元730还可用于接收输入的数字或字符信息，产生与终端设备210的对象设置以及功能控制有关的信号输入，具体地，显示单元730可以包括设置在终端设备210正面的触控屏731，可收集对象在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。
其中，触控屏731可以覆盖在显示屏732之上，也可以将触控屏731与显示屏732集成而实现终端设备210的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元730可以显示应用程序以及对应的操作步骤。
摄像头740可用于捕获静态图像，对象可以将摄像头740拍摄的图像通过应用发布。摄像头740可以是一个，也可以是多个。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件（charge coupled device，CCD）或互补金属氧化物半导体（complementary metal-oxide-semiconductor，CMOS）光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器780转换成数字图像信号。
终端设备还可以包括至少一种传感器750，比如加速度传感器751、距离传感器752、指纹传感器753、温度传感器754。终端设备还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。
音频电路760、扬声器761、传声器762可提供对象与终端设备210之间的音频接口。音频电路760可将接收到的音频数据转换后的电信号，传输到扬声器761，由扬声器761转换为声音信号输出。终端设备210还可配置音量按钮，用于调节声音信号的音量。另一方面，传声器762将收集的声音信号转换为电信号，由音频电路760接收后转换为音频数据，再将音频数据输出至通信组件710以发送给比如另一终端设备210，或者将音频数据输出至存储器720以便进一步处理。
蓝牙模块770用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，终端设备可以通过蓝牙模块770与同样具备蓝牙模块的可穿戴电子设备（例如智能手表）建立蓝牙连接，从而进行数据交互。
处理器780是终端设备的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器720内的软件程序，以及调用存储在存储器720内的数据，执行终端设备的各种功能和处理数据。在一些实施例中，处理器780可包括一个或多个处理单元；处理器780还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器780中。本申请中处理器780可以运行操作系统、应用程序、用户界面显示及触控响应，以及本申请实施例的模型矛盾现象的识别方法。另外，处理器780与显示单元730耦接。
在一些可能的实施方式中，本申请提供的模型矛盾现象的识别方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在计算机设备上运行时，计算机程序用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的模型矛盾现象的识别方法中的步骤，例如，计算机设备可以执行如图3A中所示的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体地例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器（CD-ROM）并包括计算机程序，并可以在电子设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的计算机程序，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。计算机程序可以完全地在用户计算机设备上执行、部分地在用户计算机设备上执行、作为一个独立的软件包执行、部分在用户计算机设备上部分在远程计算机设备上执行、或者完全在远程计算机设备上执行。在涉及远程计算机设备的情形中，远程计算机设备可以通过任意种类的网络包括局域网（LAN）或广域网（WAN）连接到用户计算机设备，或者，可以连接到外部计算机设备（例如利用因特网服务提供商来通过因特网连接）。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用计算机程序的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序命令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序命令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的命令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序命令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的命令产生包括命令装置的制造品，该命令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序命令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的命令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (12)
1.一种模型矛盾现象的识别方法，其特征在于，包括：
获得包含多个肯定知识三元组的知识图谱，每个肯定知识三元组包括：头实体、尾实体以及实体关系；
针对所述知识图谱中的各头实体，分别执行以下操作：对与一个头实体具有相同类型的第一头实体集进行实体关系挖掘，针对所述第一头实体集关联的肯定知识三元组集中第一出现频率不小于设定阈值的实体关系对，分别将所述一个头实体与各实体关系对结合，生成实体间不具有相应实体关系的各否定知识三元组，以及，针对所述第一头实体集关联的肯定知识三元组中第二出现频率不小于设定阈值的实体关系，分别将所述一个头实体与各实体关系结合，生成所述一个头实体不具有相应实体关系的各否定知识三元组，其中，每个实体关系对包括：实体关系，以及具有实体关系的尾实体；
采用挖掘得到的多个否定知识三元组，对目标模型进行矛盾现象的识别操作，获得相应的矛盾现象识别结果；其中，每读取一个否定知识三元组，生成针对所述一个否定知识三元组的首轮测试题目，并基于所述首轮测试题目的回答，生成下一轮测试题目，当所述下一轮测试题目的回答中表达了否定含义时，确定目标模型中发生了矛盾现象。
2.如权利要求1所述的方法，其特征在于，所述对与一个头实体具有相同类型的第一头实体集进行实体关系挖掘，包括：
在所述知识图谱中，获取与所述一个头实体具有相同类型的第一头实体集关联的肯定知识三元组集；
获得所述肯定知识三元组集中记录的各实体关系对与各实体关系；
采用以下方式，分别获得所述各实体关系对各自的第一出现频率：基于所述肯定知识三元组集中与一个实体关系对关联的头实体数量，与所述第一头实体集的头实体总数，获得所述一个实体关系对出现在所述肯定知识三元组集的第一出现频率；
采用以下方式，分别获得所述各实体关系各自的第二出现频率：基于所述肯定知识三元组集中与一个实体关系关联的头实体数量，与所述第一头实体集的头实体总数，获得所述一个实体关系出现在所述肯定知识三元组集的第二出现频率。
3.如权利要求2所述的方法，其特征在于，在分别获得所述各实体关系对各自的第一出现频率之后，还包括：
针对所述各实体关系对，分别执行以下操作：基于所述知识图谱中与所述一个实体关系对中的实体关系相关联的第二头实体，以及与所述一个实体关系对中的实体关系相关联的实体对，获得所述一个实体关系对中实体关系的关系评估指标，其中，每个实体对包括：具有相应实体关系的头尾实体；基于所述一个实体关系对的第一出现频率，与所述一个实体关系对中实体关系的关系评估指标，获得预测所述一个头实体与所述一个实体关系对组成否定知识三元组的第一预估值；
针对第一预估值不小于设定阈值的实体关系对，分别将所述一个头实体与各实体关系对结合，生成实体间不具有相应实体关系的各否定知识三元组。
4.如权利要求2所述的方法，其特征在于，在分别获得所述各实体关系各自的第二出现频率之后，还包括：
针对所述各实体关系，分别执行以下操作：基于所述知识图谱中与所述一个实体关系相关联的第二头实体，以及与所述一个实体关系相关联的实体对，获得所述一个实体关系的关系评估指标，其中，每个实体对包括：具有相应实体关系的头尾实体；基于所述一个实体关系对的第二出现频率，与所述一个实体关系的关系评估指标，获得预测所述一个头实体与所述一个实体关系组成否定知识三元组的第二预估值；
针对第二预估值不小于设定阈值的实体关系，分别将所述一个头实体与各实体关系结合，生成所述一个头实体不具有相应实体关系的各否定知识三元组。
5.如权利要求1所述的方法，其特征在于，所述生成针对所述一个否定知识三元组的首轮测试题目，包括：
当所述一个否定知识三元组表征实体间不具有相应实体关系时，将所述一个否定知识三元组填充到预设的第一题目模版中，生成以所述一个否定知识三元组为关键词造句的所述首轮测试题目；
当所述一个否定知识三元组表征所述一个头实体不具有相应实体关系时，基于预设的第二题目模版与所述一个否定知识三元组，生成询问哪些尾实体与所述一个否定知识三元组的头实体具有相应实体关系的所述首轮测试题目。
6.如权利要求5所述的方法，其特征在于，所述基于所述首轮测试题目的回答，生成下一轮测试题目，包括：
当所述首轮测试题目的回答中包含头实体时，将所述首轮测试题目的回答填充到预设的第三题目模版中，生成询问所述首轮测试题目的回答是否符合常理的所述下一轮测试题目；
当所述首轮测试题目的回答中未包含目标头实体时，将所述首轮测试题目与相应回答进行拼接，并将拼接文本填充到所述第三题目模版中，生成询问所述首轮测试题目的回答是否符合常理的下一轮题目。
7.一种模型矛盾现象的识别装置，其特征在于，包括：
图谱获取单元，用于获得包含多个肯定知识三元组的知识图谱，每个肯定知识三元组包括：头实体、尾实体以及实体关系；
三元组挖掘单元，用于针对所述知识图谱中的各头实体，分别执行以下操作：对与一个头实体具有相同类型的第一头实体集进行实体关系挖掘，针对所述第一头实体集关联的肯定知识三元组集中第一出现频率不小于设定阈值的实体关系对，分别将所述一个头实体与各实体关系对结合，生成实体间不具有相应实体关系的各否定知识三元组，以及，针对所述第一头实体集关联的肯定知识三元组中第二出现频率不小于设定阈值的实体关系，分别将所述一个头实体与各实体关系结合，生成所述一个头实体不具有相应实体关系的各否定知识三元组，其中，每个实体关系对包括：实体关系，以及具有实体关系的尾实体；
识别单元，用于采用挖掘得到的多个否定知识三元组，对目标模型进行矛盾现象的识别操作，获得相应的矛盾现象识别结果；其中，每读取一个否定知识三元组，生成针对所述一个否定知识三元组的首轮测试题目，并基于所述首轮测试题目的回答，生成下一轮测试题目，当所述下一轮测试题目的回答中表达了否定含义时，确定目标模型中发生了矛盾现象。
8.如权利要求7所述的装置，其特征在于，所述三元组挖掘单元用于：
在所述知识图谱中，获取与所述一个头实体具有相同类型的第一头实体集关联的肯定知识三元组集；
获得所述肯定知识三元组集中记录的各实体关系对与各实体关系；
采用以下方式，分别获得所述各实体关系对各自的第一出现频率：基于所述肯定知识三元组集中与一个实体关系对关联的头实体数量，与所述第一头实体集的头实体总数，获得所述一个实体关系对出现在所述肯定知识三元组集的第一出现频率；
采用以下方式，分别获得所述各实体关系各自的第二出现频率：基于所述肯定知识三元组集中与一个实体关系关联的头实体数量，与所述第一头实体集的头实体总数，获得所述一个实体关系出现在所述肯定知识三元组集的第二出现频率。
9.如权利要求8所述的装置，其特征在于，在分别获得所述各实体关系对各自的第一出现频率之后，所述三元组挖掘单元还用于：
针对所述各实体关系对，分别执行以下操作：基于所述知识图谱中与所述一个实体关系对中的实体关系相关联的第二头实体，以及与所述一个实体关系对中的实体关系相关联的实体对，获得所述一个实体关系对中实体关系的关系评估指标，其中，每个实体对包括：具有相应实体关系的头尾实体；基于所述一个实体关系对的第一出现频率，与所述一个实体关系对中实体关系的关系评估指标，获得预测所述一个头实体与所述一个实体关系对组成否定知识三元组的第一预估值；
针对第一预估值不小于设定阈值的实体关系对，分别将所述一个头实体与各实体关系对结合，生成实体间不具有相应实体关系的各否定知识三元组。
10.如权利要求8所述的装置，其特征在于，在分别获得所述各实体关系各自的第二出现频率之后，所述三元组挖掘单元还用于：
针对所述各实体关系，分别执行以下操作：基于所述知识图谱中与所述一个实体关系相关联的第二头实体，以及与所述一个实体关系相关联的实体对，获得所述一个实体关系的关系评估指标，其中，每个实体对包括：具有相应实体关系的头尾实体；基于所述一个实体关系对的第二出现频率，与所述一个实体关系的关系评估指标，获得预测所述一个头实体与所述一个实体关系组成否定知识三元组的第二预估值；
针对第二预估值不小于设定阈值的实体关系，分别将所述一个头实体与各实体关系结合，生成所述一个头实体不具有相应实体关系的各否定知识三元组。
11.一种计算机设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行权利要求1~6中任一项所述方法的步骤。
12.一种计算机可读存储介质，其特征在于，其包括程序代码，当所述程序代码在计算机设备上运行时，所述程序代码用于使所述计算机设备执行权利要求1~6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311227004.9A CN116976439B (zh) | 2023-09-22 | 2023-09-22 | 模型矛盾现象的识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311227004.9A CN116976439B (zh) | 2023-09-22 | 2023-09-22 | 模型矛盾现象的识别方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116976439A CN116976439A (zh) | 2023-10-31 |
| CN116976439B true CN116976439B (zh) | 2024-01-05 |
Family
ID=88473339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311227004.9A Active CN116976439B (zh) | 2023-09-22 | 2023-09-22 | 模型矛盾现象的识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116976439B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114077675A (zh) * | 2021-11-03 | 2022-02-22 | 南京航空航天大学 | 一种基于实体语义强度的知识图谱中知识不一致性检测方法 |
| CN115408500A (zh) * | 2021-05-28 | 2022-11-29 | 腾讯科技（深圳）有限公司 | 问答一致性的评估方法、装置、电子设备及介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11562373B2 (en) * | 2020-08-06 | 2023-01-24 | Accenture Global Solutions Limited | Utilizing machine learning models, predictive analytics, and data mining to identify a vehicle insurance fraud ring |
-
2023
- 2023-09-22 CN CN202311227004.9A patent/CN116976439B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115408500A (zh) * | 2021-05-28 | 2022-11-29 | 腾讯科技（深圳）有限公司 | 问答一致性的评估方法、装置、电子设备及介质 |
| CN114077675A (zh) * | 2021-11-03 | 2022-02-22 | 南京航空航天大学 | 一种基于实体语义强度的知识图谱中知识不一致性检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| analysing large inconsistent knowledge graph using anti-patterns;Verborgh R et al;《SEMANTIC WEB ESWC2021》;第40-56页 * |
| 改进的TransH模型在知识表示与推理领域的研究;昌攀 等;《广西大学学报(自然科学版)》(第2期);第73-79页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116976439A (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111260545B (zh) | 生成图像的方法和装置 | |
| US10922866B2 (en) | Multi-dimensional puppet with photorealistic movement | |
| WO2021180062A1 (zh) | 意图识别方法及电子设备 | |
| WO2021093821A1 (zh) | 智能助理评价、推荐方法、系统、终端及可读存储介质 | |
| US20190122093A1 (en) | Artificial intelligence system for supporting communication | |
| US20190108911A1 (en) | Personal assistant computing system monitoring | |
| CN109176535B (zh) | 基于智能机器人的交互方法及系统 | |
| US20200125967A1 (en) | Electronic device and method for controlling the electronic device | |
| US20140087356A1 (en) | Method and apparatus for providing a critical thinking exercise | |
| JP2017016566A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US10692498B2 (en) | Question urgency in QA system with visual representation in three dimensional space | |
| CN113392197B (zh) | 问答推理方法、装置、存储介质及电子设备 | |
| CN115114395A (zh) | 内容检索及模型训练方法、装置、电子设备和存储介质 | |
| Castillejo et al. | Ontology-based model for supporting dynamic and adaptive user interfaces | |
| CN109659009A (zh) | 情绪管理方法、装置及电子设备 | |
| WO2024198754A1 (zh) | 一种数据处理方法、装置、设备以及可读存储介质 | |
| US11934793B2 (en) | System and method for content comprehension and response | |
| CN115222857A (zh) | 生成虚拟形象的方法、装置、电子设备和计算机可读介质 | |
| Musik et al. | Computer vision and the digital humanities: Adapting image processing algorithms and ground truth through active learning | |
| CN116976439B (zh) | 模型矛盾现象的识别方法、装置、设备及存储介质 | |
| CN117540703A (zh) | 文本生成方法、模型训练方法、装置及电子设备 | |
| CN113573128A (zh) | 一种音频处理方法、装置、终端以及存储介质 | |
| CN116910270A (zh) | 多模态心理知识图谱构建方法、装置、设备及存储介质 | |
| CN111062207A (zh) | 表情图像处理方法、装置、计算机存储介质及电子设备 | |
| Jain et al. | Social life networks for middle of the pyramid |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |