CN115510207A - 知识标签的识别、电网场景问答方法、装置、设备及介质 - Google Patents

知识标签的识别、电网场景问答方法、装置、设备及介质 Download PDF

Info

Publication number
CN115510207A
CN115510207A CN202211216902.XA CN202211216902A CN115510207A CN 115510207 A CN115510207 A CN 115510207A CN 202211216902 A CN202211216902 A CN 202211216902A CN 115510207 A CN115510207 A CN 115510207A
Authority
CN
China
Prior art keywords
power grid
label
knowledge
network
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211216902.XA
Other languages
English (en)
Inventor
梁志明
张小晶
林荣荣
支天波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Xiaoai Robot Technology Co ltd
Shanghai Xiaoi Robot Technology Co Ltd
Original Assignee
Guizhou Xiaoai Robot Technology Co ltd
Shanghai Xiaoi Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Xiaoai Robot Technology Co ltd, Shanghai Xiaoi Robot Technology Co Ltd filed Critical Guizhou Xiaoai Robot Technology Co ltd
Priority to CN202211216902.XA priority Critical patent/CN115510207A/zh
Publication of CN115510207A publication Critical patent/CN115510207A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Water Supply & Treatment (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种知识标签的识别、电网场景问答方法、装置、设备及介质。知识标签的识别方法包括：将目标图像输入至预先训练的标签识别模型中，标签识别模型包括标准弱模态特征网络和标准标签网络；通过标准弱模态特征网络提取目标图像中的目标弱模态特征，并将目标弱模态特征输出至标准标签网络；通过标准标签网络根据目标弱模态特征，生成对目标图像的知识标签识别结果；其中，标签识别模型使用各样本图像中预先标注的样本强模态特征和知识标签信息共同训练得到。通过采用上述技术方案，能够利用图像中的弱模态特征，精准输出图像的知识标签识别结果。

Description

知识标签的识别、电网场景问答方法、装置、设备及介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种知识标签的识别、电网场景问答方法、装置、设备及介质。
背景技术
随着科技的发展，许多智能应用为了实现相关服务，均需要获取图像的知识标签。对于多模态图像来说，若能够精准识别图像的强模态特征，那么获取的知识标签相对准确。但在实际应用中，用户拍摄的大部分图像均不具有清晰的强模态特征，因此，根据图像弱模态特征获取图像的知识标签就显得较为重要。
但在现有的通过弱模态特征获取知识标签的技术中，在训练弱模态标签网络时，往往仅将多模态图像的弱模态特征直接作为训练样本输入。采用这种方式训练弱模态标签网络，可能无法达到最优的训练效果，在实际使用的过程中可能会存在无法精准识别标签信息的问题。
发明内容
本发明提供了一种知识标签的识别、电网场景问答方法、装置、设备及介质，能够利用图像中的弱模态特征，精准输出图像的知识标签识别结果。
根据本发明的一方面，提供了一种知识标签的识别方法，该方法包括：
将目标图像输入至预先训练的标签识别模型中，标签识别模型包括标准弱模态特征网络和标准标签网络；
通过标准弱模态特征网络提取目标图像中的目标弱模态特征，并将目标弱模态特征输出至标准标签网络；
通过标准标签网络根据目标弱模态特征，生成对目标图像的知识标签识别结果；
其中，标签识别模型使用各样本图像中预先标注的样本强模态特征和知识标签信息共同训练得到。
根据本发明的另一方面，提供了一种电网场景的问答方法，该方法包括：
获取电网场景问题图像，
将电网场景问题图像输入至预先训练的电网标签识别模型中，电网标签识别模型包括标准电网弱模态特征网络和标准电网标签网络；
通过标准电网弱模态特征网络提取电网场景问题图像中的电网弱模态特征，并将电网弱模态特征输出至标准电网标签网络；
通过标准电网标签网络根据所述电网弱模态特征，生成对电网场景问题图像的电网知识标签识别结果；
其中，电网标签识别模型使用各电网场景样本图像中预先标注的电网强模态特征和电网知识标签信息共同训练得到；
在电网知识问答对中筛选与电网知识标签识别结果匹配的目标电网知识问，并将与目标电网知识问匹配的目标电网知识答作为对电网场景问题图像的反馈结果。
根据本发明的另一方面，提供了一种知识标签的识别装置，包括：
目标图像输入模块，用于将目标图像输入至预先训练的标签识别模型中，标签识别模型包括标准弱模态特征网络和标准标签网络；
目标弱模态特征提取模块，用于通过标准弱模态特征网络提取目标图像中的目标弱模态特征，并将目标弱模态特征输出至标准标签网络；
知识标签识别结果生成模块，用于通过标准标签网络根据目标弱模态特征，生成对目标图像的知识标签识别结果；
其中，标签识别模型使用各样本图像中预先标注的样本强模态特征和知识标签信息共同训练得到。
根据本发明的另一方面，提供了一种电网场景的问答装置，包括：
电网场景问题图像获取模块，用于获取电网场景问题图像；
电网场景问题图像输入模块，用于将电网场景问题图像输入至预先训练的电网标签识别模型中，电网标签识别模型包括标准电网弱模态特征网络和标准电网标签网络；
电网弱模态特征提取模块，用于通过标准电网弱模态特征网络提取电网场景问题图像中的电网弱模态特征，并将电网弱模态特征输出至标准电网标签网络；
电网知识标签识别结果生成模块，用于通过标准电网标签网络根据所述电网弱模态特征，生成对电网场景问题图像的电网知识标签识别结果；
其中，电网标签识别模型使用各电网场景样本图像中预先标注的电网强模态特征和电网知识标签信息共同训练得到；
目标电网知识答反馈模块，用于在电网知识问答对中筛选与电网知识标签识别结果匹配的目标电网知识问，并将与目标电网知识问匹配的目标电网知识答作为对电网场景问题图像的反馈结果。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明实施例一及实施例二所述的知识标签的识别方法，或者，能够实现本发明实施例三所述的电网场景的问答方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明实施例一及实施例二所述的知识标签的识别方法，或者，能够实现本发明实施例三所述的电网场景的问答方法。
本发明实施例的技术方案，通过提取目标图像中的目标弱模态特征，并根据目标弱模态特征生成对目标图像的知识标签识别结果的方式，能够实现对仅含有弱模态特征的图像精准的生成知识标签识别结果。
本发明实施例的技术方案，还通过获取电网场景中问题图像的标签识别结果，并根据标签识别结果在电网知识问答对中筛选匹配的目标电网知识问及其对应的目标电网知识答，将目标电网知识答作为反馈结果反馈给用户的方式，能够实现通过电网场景问题图像，直接获取相关信息，当用户只能获取电网场景问题图像时，无需进行多次搜索，能够有效节省用户搜索答案的时间。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种知识标签的识别方法的流程图；
图2是根据本发明实施例二提供的另一种知识标签的识别方法的流程图；
图3是根据本发明实施例三提供的一种电网场景的问答方法的流程图；
图4是根据本发明实施例四提供的一种知识标签的识别装置的结构示意图；
图5是根据本发明实施例五提供的一种电网场景的问答装置的结构示意图；
图6是实现本发明实施例的知识标签的识别方法和电网场景的问答方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供的一种知识标签的识别方法的流程图，本实施例可适用于通过提取目标图像中的目标弱模态特征，生成对目标图像的知识标签识别结果的情况，该方法可以由知识标签的识别装置来执行，该知识标签的识别装置可以采用硬件和/或软件的形式实现，该知识标签的识别装置可配置于具备图像处理功能的计算机或服务器中。如图1所示，该方法包括：
S110、将目标图像输入至预先训练的标签识别模型中，标签识别模型包括标准弱模态特征网络和标准标签网络。
优选的，标准弱模态特征网络可以用于提取目标图像中的目标弱模态特征；标准标签网络可以用于根据目标弱模态特征，生成目标图像的知识标签识别结果。
其中，标签识别模型使用各样本图像中预先标注的样本强模态特征和知识标签信息共同训练得到。
图像的弱模态特征可以理解为标志性特征不明显的图像特征，如一张电塔建筑图像，电塔建筑的形状可以作为该图像的弱模态特征，通过提取该图像中的电塔建筑形状能够实现识别该建筑为电塔，但可能无法进一步识别该电塔所能承载的电力等信息。
图像的强模态特征可以理解为标志性特征较为明显的图像特征，如一张变压器图像，若图像中能够清楚的提取变压器的铭牌信息，铭牌信息可以作为该图像的强模态特征，通过对强模态特征进行分析，能够准确获取该变压器的各类信息。
在现有技术中，对于弱模态标签网络的标签识别模型，在训练过程中往往仅采用图像的弱模态特征作为训练样本，而不考虑图像的强模态特征，这样可能会导致训练时间长，且训练效果不理想。
本发明创造性的提出，在训练弱模态标签网络的标签识别模型时，结合样本图像中预先标注的强模态特征以及知识标签信息共同训练模型。
这样设置的好处在于：可以通过强模态特征的加入，实现快速特征学习，提高标签识别模型训练的速度，同时，能够提高标签识别模型识别的精准度。
S120、通过标准弱模态特征网络提取目标图像中的目标弱模态特征，并将目标弱模态特征输出至标准标签网络。
在本发明的实施例中，目标弱模态特征能够影响最终生成的知识标签的识别结果，因此，需要选择合适的目标弱模态特征。在一张多模态图像中，可能存在多个弱模态特征，优选的，可以根据预先设置的各特征的权重，选择目标弱模态特征，也可以根据弱模态特征在目标图像中占有的像素点数量，选择目标弱模态特征，但不对目标弱模态特征的具体确定方式进行限定。
S130、通过标准标签网络根据目标弱模态特征，生成对目标图像的知识标签识别结果。
知识标签可以理解为根据目标图像的目标弱模态特征所获取的目标图像的标签分类，最终获取的知识标签一般为一个较为具体的标签，如在一张变压器图像中，最终生成的知识标签可以为一个具体型号的变压器。
本发明实施例的技术方案，通过提取目标图像中的目标弱模态特征，并根据目标弱模态特征生成对目标图像的知识标签识别结果的方式，能够实现对仅含有弱模态特征的图像精准的生成知识标签识别结果。
实施例二
图2为本发明实施例二提供的另一种知识标签的识别方法的流程图，本实施例在上述实施例的基础上，进一步具体说明了标签识别模型的构建过程。如图2所示，该方法包括：
S210、依次获取当前样本图像输入至待训练的弱模态标签网络中，弱模态标签网络包括原始弱模态特征网络、强模态特征网络和原始标签网络。
其中，待训练的弱模态标签网络为设定的预训练模型。
预训练模型可以为开源的训练模型，但本发明实施例的技术方案在获取开源的训练模型之后，还需要对训练模型进行适当修改，直至训练模型符合弱模态标签网络训练标准后，可以对该待训练的弱模态标签网络进行训练。
原始弱模态特征网络、强模态特征网络和原始标签网络可以为能够进行弱模态特征提取、强模态特征提取以及标签标注的网络，但原始网络可能提取的准确度较低，仅在训练过程中使用。
S220、通过原始弱模态特征网络提取当前样本图像中的当前弱模态特征，并将当前弱模态特征分别输入至强模态特征网络和原始标签网络。
S230、通过强模态特征网络将当前弱模态特征与当前样本图像标注的样本强模态特征进行特征融合，并将融合得到的当前多模态特征输入至原始标签网络。
S240、通过原始标签网络生成与当前弱模态特征对应的第一知识标签识别结果，并生成与当前多模态特征对应的第二知识标签识别结果。
S250、根据第一知识标签识别结果、第二标签识别结果和当前样本图像标注的知识标签信息之间的差异，对弱模态标签网络进行模型参数的调整。
其中，根据第一知识标签识别结果、第二标签识别结果和当前样本图像标注的知识标签信息之间的差异，对弱模态标签网络进行模型参数的调整，可以具体包括：
根据第一知识标签识别结果和当前样本图像标注的知识标签信息之间的差异，计算得到第一损失函数值；
根据第二知识标签识别结果和当前样本图像标注的知识标签信息之间的差异，计算得到第二损失函数值；
根据第一损失函数值和第二损失函数值，计算得到目标损失函数；
使用目标损失函数，对弱模态标签网络进行模型参数的调整。
从理论上来说，由于第二知识标签识别结果与多模态特征对应，且多模态特征中融合了样本图像标注的强模态特征，因此，在样本训练初期，第二损失函数值应小于第一损失函数值，当目标损失函数减小到一定范围内时，可视为模型参数调整成功。
其中，在对弱模态标签网络进行模型调整的过程中，强模态特征网络逐步由样本强模态特征的完全融合过渡至样本强模态特征的不融合，以逐渐弱化强模态特征对模型训练的影响。
这样设置的目的在于：通过逐渐弱化强模态特征对模型训练的影响的方式，能够加强对弱模态标签网络的训练，保证弱模态标签网络能够具有良好的训练效果。
S260、返回执行依次获取当前样本图像输入至待训练的弱模态标签网络中的操作，直至完成对弱模态标签网络的训练。
S270、使用训练得到的弱模态标签网络中的原始弱模态特征网络和原始标签网络，构建标签识别模型。
S280、将目标图像输入至预先训练的标签识别模型中，标签识别模型包括标准弱模态特征网络和标准标签网络。
S290、通过标准弱模态特征网络提取目标图像中的目标弱模态特征，并将目标弱模态特征输出至标准标签网络。
S2100、通过标准标签网络根据目标弱模态特征，生成对目标图像的知识标签识别结果。
本发明实施例的技术方案，通过强模态特征网络将当前弱模态特征与当前样本图像标注的样本强模态特征进行特征融合的方式，能够实现快速特征学习，并能够获取目标损失函数便于对模型参数进行调整，同时，通过逐渐弱化强模态特征对模型训练的影响的方式，能够保证弱模态标签网络能够具有良好的训练效果。
实施例三
图3为本发明实施例一提供的一种电网场景的问答方法的流程图，本实施例可适用于获取电网场景中问题图像的标签识别结果，并根据标签识别结果在电网知识问答对中筛选匹配的目标电网知识问及其对应的目标电网知识答，将目标电网知识答作为反馈结果反馈给用户的情况，该方法可以由电网场景的问答装置来执行，该电网场景的问答装置可以采用硬件和/或软件的形式实现，该电网场景的问答装置可配置于具备图像处理功能的计算机或服务器中。如图3所示，该方法包括：
S310、获取电网场景问题图像。
在本发明的实施例中，提出了一种通过获取电网问题图像，能够向用户输出反馈结果的方法。
在一个具体的实施方式中，电网场景问题图像可以为一张电塔建筑图像，在对该图像经过相应处理后，能够根据该电塔建筑图像，匹配用户可能要进行咨询的问题，并获取相应答案反馈给用户。
S320、将电网场景问题图像输入至预先训练的电网标签识别模型中，电网标签识别模型包括标准电网弱模态特征网络和标准电网标签网络。
其中，电网弱模态特征可以包括：图像中至少一个电网元素的外形特征和/或通用属性。
具体的，外形特征可以为长、宽、高等尺寸特征，也可以为建筑架构等结构特征；通用属性可以为该电网元素的类别，可以为一个广泛的类别，如电力线、电塔或变压器等。
S330、通过标准电网弱模态特征网络提取电网场景问题图像中的电网弱模态特征，并将电网弱模态特征输出至标准电网标签网络。
S340、通过标准电网标签网络根据所述电网弱模态特征，生成对电网场景问题图像的电网知识标签识别结果。
其中，电网标签识别模型使用各电网场景样本图像中预先标注的电网强模态特征和电网知识标签信息共同训练得到。
其中，电网强模态特征可以包括：图像中至少一个电网元素的唯一身份标识。
S350、在电网知识问答对中筛选与电网知识标签识别结果匹配的目标电网知识问，并将与目标电网知识问匹配的目标电网知识答作为对电网场景问题图像的反馈结果。
可以理解的是，在电网知识问答对中可以存储大量的电网知识问，以及与每个电网知识问匹配的至少一个电网知识答，若存在与电网知识标签识别结果相匹配的电网知识问，则可以获取与该电网知识问匹配的电网知识答，作为发送给用户的反馈结果。
本发明实施例的技术方案，通过获取电网场景中问题图像的标签识别结果，并根据标签识别结果在电网知识问答对中筛选匹配的目标电网知识问及其对应的目标电网知识答，将目标电网知识答作为反馈结果反馈给用户的方式，能够实现通过电网场景问题图像，直接获取相关信息，当用户只能获取电网场景问题图像时，无需进行多次搜索，能够有效节省用户搜索答案的时间。
实施例四
图4为本发明实施例四提供的一种知识标签的识别装置的结构示意图。如图4所示，该装置包括：目标图像输入模块410、目标弱模态特征提取模块420以及知识标签识别结果生成模块430。
目标图像输入模块410，用于将目标图像输入至预先训练的标签识别模型中，标签识别模型包括标准弱模态特征网络和标准标签网络。
目标弱模态特征提取模块420，用于通过标准弱模态特征网络提取目标图像中的目标弱模态特征，并将目标弱模态特征输出至标准标签网络。
知识标签识别结果生成模块430，用于通过标准标签网络根据目标弱模态特征，生成对目标图像的知识标签识别结果。
其中，标签识别模型使用各样本图像中预先标注的样本强模态特征和知识标签信息共同训练得到。
本发明实施例的技术方案，通过提取目标图像中的目标弱模态特征，并根据目标弱模态特征生成对目标图像的知识标签识别结果的方式，能够实现对仅含有弱模态特征的图像精准的生成知识标签识别结果。
在上述各实施例的基础上，还可以包括标签识别模型构建模块，具体用于：
依次获取当前样本图像输入至待训练的弱模态标签网络中，弱模态标签网络包括原始弱模态特征网络、强模态特征网络和原始标签网络；
通过原始弱模态特征网络提取当前样本图像中的当前弱模态特征，并将当前弱模态特征分别输入至强模态特征网络和原始标签网络；
通过强模态特征网络将当前弱模态特征与当前样本图像标注的样本强模态特征进行特征融合，并将融合得到的当前多模态特征输入至原始标签网络；
通过原始标签网络生成与当前弱模态特征对应的第一知识标签识别结果，并生成与当前多模态特征对应的第二知识标签识别结果；
根据第一知识标签识别结果、第二标签识别结果和当前样本图像标注的知识标签信息之间的差异，对弱模态标签网络进行模型参数的调整；
返回执行依次获取当前样本图像输入至待训练的弱模态标签网络中的操作，直至完成对弱模态标签网络的训练；
使用训练得到的弱模态标签网络中的原始弱模态特征网络和原始标签网络，构建标签识别模型。
在上述各实施例的基础上，标签识别模型构建模块，还可以具体用于：
根据第一知识标签识别结果和当前样本图像标注的知识标签信息之间的差异，计算得到第一损失函数值；
根据第二知识标签识别结果和当前样本图像标注的知识标签信息之间的差异，计算得到第二损失函数值；
根据第一损失函数值和第二损失函数值，计算得到目标损失函数；
使用目标损失函数，对弱模态标签网络进行模型参数的调整。
在上述各实施例的基础上，在对弱模态标签网络进行模型调整的过程中，强模态特征网络逐步由样本强模态特征的完全融合过渡至样本强模态特征的不融合，以逐渐弱化强模态特征对模型训练的影响。
在上述各实施例的基础上，待训练的弱模态标签网络可以为设定的预训练模型。
本发明实施例所提供的知识标签的识别装置可执行本发明任意实施例所提供的知识标签的识别方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例五提供的一种电网场景的问答装置的结构示意图。如图5所示，该装置包括：电网场景问题图像获取模块510、电网场景问题图像输入模块520、电网弱模态特征提取模块530、电网知识标签识别结果生成模块540以及目标电网知识答反馈模块550。
电网场景问题图像获取模块510，用于获取电网场景问题图像。
电网场景问题图像输入模块520，用于将电网场景问题图像输入至预先训练的电网标签识别模型中，电网标签识别模型包括标准电网弱模态特征网络和标准电网标签网络。
电网弱模态特征提取模块530，用于通过标准电网弱模态特征网络提取电网场景问题图像中的电网弱模态特征，并将电网弱模态特征输出至标准电网标签网络。
电网知识标签识别结果生成模块540，用于通过标准电网标签网络根据所述电网弱模态特征，生成对电网场景问题图像的电网知识标签识别结果；
其中，电网标签识别模型使用各电网场景样本图像中预先标注的电网强模态特征和电网知识标签信息共同训练得到。
目标电网知识答反馈模块550，用于在电网知识问答对中筛选与电网知识标签识别结果匹配的目标电网知识问，并将与目标电网知识问匹配的目标电网知识答作为对电网场景问题图像的反馈结果。
本发明实施例的技术方案，通过获取电网场景中问题图像的标签识别结果，并根据标签识别结果在电网知识问答对中筛选匹配的目标电网知识问及其对应的目标电网知识答，将目标电网知识答作为反馈结果反馈给用户的方式，能够实现通过电网场景问题图像，直接获取相关信息，当用户只能获取电网场景问题图像时，无需进行多次搜索，能够有效节省用户搜索答案的时间。
在上述各实施例的基础上，电网弱模态特征可以包括：图像中至少一个电网元素的外形特征和/或通用属性。
在上述各实施例的基础上，电网强模态特征可以包括：图像中至少一个电网元素的唯一身份标识。
本发明实施例所提供的电网场景的问答装置可执行本发明任意实施例所提供的电网场景的问答方法，具备执行方法相应的功能模块和有益效果。
实施例六
图6示出了可以用来实施本发明的实施例的电子设备60的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图6所示，电子设备60包括至少一个处理器61，以及与至少一个处理器61通信连接的存储器，如只读存储器(ROM)62、随机访问存储器(RAM)63等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器61可以根据存储在只读存储器(ROM)62中的计算机程序或者从存储单元68加载到随机访问存储器(RAM)63中的计算机程序，来执行各种适当的动作和处理。在RAM 63中，还可存储电子设备60操作所需的各种程序和数据。处理器61、ROM 62以及RAM 63通过总线64彼此相连。输入/输出(I/O)接口65也连接至总线64。
电子设备60中的多个部件连接至I/O接口65，包括：输入单元66，例如键盘、鼠标等；输出单元67，例如各种类型的显示器、扬声器等；存储单元68，例如磁盘、光盘等；以及通信单元69，例如网卡、调制解调器、无线通信收发机等。通信单元69允许电子设备60通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器61可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器61的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器61执行上文所描述的各个方法和处理，例如如本发明实施例所述的知识标签的识别方法和电网场景问答方法。
在一些实施例中，知识标签的识别方法和电网场景问答方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元68。在一些实施例中，计算机程序的部分或者全部可以经由ROM 62和/或通信单元69而被载入和/或安装到电子设备60上。当计算机程序加载到RAM 63并由处理器61执行时，可以执行上文描述的知识标签的识别方法和电网场景问答方法的一个或多个步骤。备选地，在其他实施例中，处理器61可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行知识标签的识别方法和电网场景问答方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种知识标签的识别方法，其特征在于，包括：
将目标图像输入至预先训练的标签识别模型中，标签识别模型包括标准弱模态特征网络和标准标签网络；
通过标准弱模态特征网络提取目标图像中的目标弱模态特征，并将目标弱模态特征输出至标准标签网络；
通过标准标签网络根据目标弱模态特征，生成对目标图像的知识标签识别结果；
其中，标签识别模型使用各样本图像中预先标注的样本强模态特征和知识标签信息共同训练得到。
2.根据权利要求1所述的方法，其特征在于，在将目标图像输入至预先训练的标签识别模型中之前，还包括：
依次获取当前样本图像输入至待训练的弱模态标签网络中，弱模态标签网络包括原始弱模态特征网络、强模态特征网络和原始标签网络；
通过原始弱模态特征网络提取当前样本图像中的当前弱模态特征，并将当前弱模态特征分别输入至强模态特征网络和原始标签网络；
通过强模态特征网络将当前弱模态特征与当前样本图像标注的样本强模态特征进行特征融合，并将融合得到的当前多模态特征输入至原始标签网络；
通过原始标签网络生成与当前弱模态特征对应的第一知识标签识别结果，并生成与当前多模态特征对应的第二知识标签识别结果；
根据第一知识标签识别结果、第二标签识别结果和当前样本图像标注的知识标签信息之间的差异，对弱模态标签网络进行模型参数的调整；
返回执行依次获取当前样本图像输入至待训练的弱模态标签网络中的操作，直至完成对弱模态标签网络的训练；
使用训练得到的弱模态标签网络中的原始弱模态特征网络和原始标签网络，构建标签识别模型。
3.根据权利要求2所述的方法，其特征在于，根据第一知识标签识别结果、第二标签识别结果和当前样本图像标注的知识标签信息之间的差异，对弱模态标签网络进行模型参数的调整，包括：
根据第一知识标签识别结果和当前样本图像标注的知识标签信息之间的差异，计算得到第一损失函数值；
根据第二知识标签识别结果和当前样本图像标注的知识标签信息之间的差异，计算得到第二损失函数值；
根据第一损失函数值和第二损失函数值，计算得到目标损失函数；
使用目标损失函数，对弱模态标签网络进行模型参数的调整。
4.根据权利要求2所述的方法，其特征在于，在对弱模态标签网络进行模型调整的过程中，强模态特征网络逐步由样本强模态特征的完全融合过渡至样本强模态特征的不融合，以逐渐弱化强模态特征对模型训练的影响；
和/或
所述待训练的弱模态标签网络为设定的预训练模型。
5.一种电网场景的问答方法，其特征在于，包括：
获取电网场景问题图像；
将电网场景问题图像输入至预先训练的电网标签识别模型中，电网标签识别模型包括标准电网弱模态特征网络和标准电网标签网络；
通过标准电网弱模态特征网络提取电网场景问题图像中的电网弱模态特征，并将电网弱模态特征输出至标准电网标签网络；
通过标准电网标签网络根据所述电网弱模态特征，生成对电网场景问题图像的电网知识标签识别结果；
其中，电网标签识别模型使用各电网场景样本图像中预先标注的电网强模态特征和电网知识标签信息共同训练得到；
在电网知识问答对中筛选与电网知识标签识别结果匹配的目标电网知识问，并将与目标电网知识问匹配的目标电网知识答作为对电网场景问题图像的反馈结果。
6.根据权利要求5所述的方法，其特征在于，所述电网弱模态特征包括：图像中至少一个电网元素的外形特征和/或通用属性；
所述电网强模态特征包括：图像中至少一个电网元素的唯一身份标识。
7.一种知识标签的识别装置，其特征在于，包括：
目标图像输入模块，用于将目标图像输入至预先训练的标签识别模型中，标签识别模型包括标准弱模态特征网络和标准标签网络；
目标弱模态特征提取模块，用于通过标准弱模态特征网络提取目标图像中的目标弱模态特征，并将目标弱模态特征输出至标准标签网络；
知识标签识别结果生成模块，用于通过标准标签网络根据目标弱模态特征，生成对目标图像的知识标签识别结果；
其中，标签识别模型使用各样本图像中预先标注的样本强模态特征和知识标签信息共同训练得到。
8.一种电网场景的问答装置，其特征在于，包括：
电网场景问题图像获取模块，用于获取电网场景问题图像；
电网场景问题图像输入模块，用于将电网场景问题图像输入至预先训练的电网标签识别模型中，电网标签识别模型包括标准电网弱模态特征网络和标准电网标签网络；
电网弱模态特征提取模块，用于通过标准电网弱模态特征网络提取电网场景问题图像中的电网弱模态特征，并将电网弱模态特征输出至标准电网标签网络；
电网知识标签识别结果生成模块，用于通过标准电网标签网络根据所述电网弱模态特征，生成对电网场景问题图像的电网知识标签识别结果；
其中，电网标签识别模型使用各电网场景样本图像中预先标注的电网强模态特征和电网知识标签信息共同训练得到；
目标电网知识答反馈模块，用于在电网知识问答对中筛选与电网知识标签识别结果匹配的目标电网知识问，并将与目标电网知识问匹配的目标电网知识答作为对电网场景问题图像的反馈结果。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的知识标签的识别方法，或者，执行权利要求5-6中任一项所述的电网场景的问答方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-4中任一项所述的知识标签的识别方法，或者，实现权利要求5-6中任一项所述的电网场景的问答方法。
CN202211216902.XA 2022-09-30 2022-09-30 知识标签的识别、电网场景问答方法、装置、设备及介质 Pending CN115510207A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211216902.XA CN115510207A (zh) 2022-09-30 2022-09-30 知识标签的识别、电网场景问答方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211216902.XA CN115510207A (zh) 2022-09-30 2022-09-30 知识标签的识别、电网场景问答方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115510207A true CN115510207A (zh) 2022-12-23

Family

ID=84507281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211216902.XA Pending CN115510207A (zh) 2022-09-30 2022-09-30 知识标签的识别、电网场景问答方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115510207A (zh)

Similar Documents

Publication Publication Date Title
JP7127106B2 (ja) 質問応答処理、言語モデルの訓練方法、装置、機器および記憶媒体
CN113378833B (zh) 图像识别模型训练方法、图像识别方法、装置及电子设备
CN112559800B (zh) 用于处理视频的方法、装置、电子设备、介质和产品
CN113360711B (zh) 视频理解任务的模型训练和执行方法、装置、设备及介质
CN113657483A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
CN112668586A (zh) 模型训练、图片处理方法及设备、存储介质、程序产品
CN112560461A (zh) 新闻线索的生成方法、装置、电子设备及存储介质
CN117312140A (zh) 测试用例的生成方法、装置、电子设备及存储介质
CN115510212A (zh) 一种文本事件抽取方法、装置、设备及存储介质
CN113032251B (zh) 应用程序服务质量的确定方法、设备和存储介质
CN115510207A (zh) 知识标签的识别、电网场景问答方法、装置、设备及介质
CN113886637A (zh) 一种视频粗排序的方法、装置、电子设备及存储介质
CN114141236A (zh) 语言模型更新方法、装置、电子设备及存储介质
CN113554062A (zh) 多分类模型的训练方法、设备和存储介质
CN115131709B (zh) 视频类别预测方法、视频类别预测模型的训练方法及装置
CN114677564B (zh) 训练样本的生成方法、深度学习模型的训练方法和装置
CN113642495B (zh) 用于评价时序提名的模型的训练方法、设备、程序产品
CN113657230B (zh) 训练新闻视频识别模型的方法、检测视频的方法及其装置
CN113705206B (zh) 情感预测模型的训练方法、装置、设备及存储介质
CN114299522B (zh) 图像识别方法装置、设备和存储介质
CN114926447B (zh) 用于训练模型的方法、用于检测目标的方法和装置
US20220383626A1 (en) Image processing method, model training method, relevant devices and electronic device
CN114911963A (zh) 一种模板图片分类方法、装置、设备、存储介质及产品
CN117493527A (zh) 一种金融知识问答方法、装置、设备及存储介质
CN117093840A (zh) 一种评价结果确定方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination