CN115936737B - 一种确定建材真伪的方法和系统 - Google Patents
一种确定建材真伪的方法和系统 Download PDFInfo
- Publication number
- CN115936737B CN115936737B CN202310229204.1A CN202310229204A CN115936737B CN 115936737 B CN115936737 B CN 115936737B CN 202310229204 A CN202310229204 A CN 202310229204A CN 115936737 B CN115936737 B CN 115936737B
- Authority
- CN
- China
- Prior art keywords
- product
- picture
- representing
- vector
- entity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 239000004566 building material Substances 0.000 title claims abstract description 17
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 143
- 239000011159 matrix material Substances 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 3
- 239000013604 expression vector Substances 0.000 claims description 2
- 230000015654 memory Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 230000002457 bidirectional effect Effects 0.000 claims 1
- 239000004035 construction material Substances 0.000 claims 1
- 238000001914 filtration Methods 0.000 claims 1
- 239000000047 product Substances 0.000 description 205
- 238000010586 diagram Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 6
- 239000002023 wood Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000002253 acid Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种确定建材真伪的方法和系统,包括:上传产品图片;将产品图片输入图文审核模型,模型确定产品图片是否符合要求;基于产品的产品信息,获取产品知识图谱;产品信息为商家给出的有关产品的信息;获取产品图片;产品图片是指客户上传的待确定真伪的产品的图片;将产品知识图谱和产品图片输入真伪识别模型,模型输出产品的真伪;包括:基于产品知识图谱,获取产品的文本特征;基于产品图片,获取产品的图片特征;基于互注意力机制,确定文本特征和图片特征的匹配概率;基于匹配概率,确定产品的真伪,通过采用产品信息和产品微观特征的图像识别方法来鉴别产品真伪,可以防止产品被调包。
Description
技术领域
本发明涉及真伪识别技术领域,具体而言,涉及一种确定建材真伪的方法和系统。
背景技术
建筑材料使用广泛,市场上充斥着各种各样不同价位,质量的建材。好的厂家生产的建材总是容易遭到一些不法商家的模仿和盗版。同时,产品在运输过程中也容易被调包。不良商家或者个人使用劣质的材料来替换好的材料,这样不仅对生产厂家的名义和经济造成不可挽回的损失,也会直接伤害消费者的利益。为了防止产品被调包或者仿造,研究者们使用WSN(无线传感器网络)、RFID(无线射频识别)等技术来跟踪、检测、识别产品的真伪。但这些技术也会被不良商家拿来应用。另外,由于商家和客户均需要提供产品的图文信息,因此对图文信息的审核也至关重要。图文信息的审核主要是检查图片是否涉黄涉暴、是否是广告图、明星图及水印图等。产品文字审核也是检查文字是否涉及敏感词汇,是否涉黄涉暴。这些海量的图片和文字如果是由人工来进行检查和审核,将是一项非常费时费力的工作。因此,在鉴别真伪之前,我们需要使用一个图文审核模型来过滤不良信息,这样才能进行下一步的鉴别工作。
有鉴于此,本申请提出了一种确定建材真伪的方法和系统,基于产品信息和产品微观特征的图像识别来鉴别产品真伪,防止产品被调包。
发明内容
本发明的目的在于提供一种确定建材真伪的方法,包括:上传产品图片;所述产品图片包括商品图片和产品信息;所述商品图片包括产品的主图、总体展示图和细节展示图;所述产品信息包括产品名称、推广标题、产品属性和使用场景;将所述产品图片输入图文审核模型,模型确定所述产品图片是否符合要求;若是,基于产品的产品信息,获取产品知识图谱;所述产品信息为商家给出的有关产品的信息;获取产品图片;产品图片是指客户上传的待确定真伪的产品的图片;将所述产品知识图谱和所述产品图片输入真伪识别模型,模型输出产品的真伪;包括:基于所述产品知识图谱,获取所述产品的文本特征;基于所述产品图片,获取所述产品的图片特征;基于互注意力机制,确定所述文本特征和所述图片特征的匹配概率;基于所述匹配概率,确定所述产品的真伪。
进一步的,所述基于所述产品知识图谱,获取所述产品的文本特征,包括:基于TransH模型,得到所述产品知识图谱的实体表示矩阵和关系表示矩阵;提取所述产品知识图谱中的三元组,得到多个产品三元组;对于每个所述产品三元组:从所述实体表示矩阵和所述关系表示矩阵中获取该产品三元组的头实体向量、关系向量和尾实体向量;将所述头实体向量、所述关系向量和所述尾实体向量进行拼接,得到产品三元组向量;将多个所述产品三元组向量进行拼接,得到向量序列;将所述向量序列输入LSTM模型,模型输出每个所述产品三元组的文本特征。
进一步的,所述基于TransH模型,得到所述产品知识图谱的实体表示矩阵和关系表示矩阵,包括:将所述知识图谱中三元组的头实体向量和尾实体向量投影到关系所对应的超平面,得到投影后的头实体向量和投影后的尾实体向量;其中,得到所述投影后的头实体向量和所述投影后的尾实体向量的表达式为:
基于评分函数,训练所述TransH模型,得到实体和关系的表示向量;所述评分函数用于表征三元组的头实体和尾实体的相关程度;其中,所述评分函数的表达式为:
基于所述知识图谱中多个三元组的实体和关系的表示向量,得到所述实体表示矩阵和所述关系表示矩阵。
其中,表示该三元组向量在上一时间步的隐状态下的隐状态,/>表示第/>个三元组向量,/>表示上一时间步的隐状态,/>表示该三元组向量在下一时间步的隐状态下的隐状态,/>表示下一时间步的隐状态,/>表示长短时记忆网络;
将所述上一时间步的隐状态和所述下一时间步的隐状态进行组合,得到实体和关系的隐状态;其中,得到所述实体和关系的隐状态的表达式为:
将多个所述实体和关系的隐状态进行组合,得到所述文本特征;其中,得到所述文本特征的表达式为:
进一步的,所述基于所述产品图片,获取图片特征为:将所述产品图片输入卷积神经网络,所述卷积神经网络输出所述图片特征。
进一步的,所述基于互注意力机制,确定所述文本特征和所述图片特征的匹配概率,包括:将所述文本特征和所述图片特征投射到同一向量空间,得到匹配矩阵;基于所述匹配矩阵、所述文本特征和所述图片特征,得到实体及关系信息注意力映射和图片注意力映射;基于所述实体及关系信息注意力映射和所述图片注意力映射,得到所述产品图片的各个区域的注意力概率和实体及关系的注意力概率;基于所述各个区域的注意力概率和所述实体及关系的注意力概率,得到图片注意力向量和文本注意力向量;计算所述图片注意力向量和所述文本注意力向量的匹配值;基于所述匹配值,确定所述匹配概率。
进一步的,所述得到匹配矩阵的表达式为:
所述得到所述实体及关系信息注意力映射和所述图片注意力映射的表达式为:
所述得到所述产品图片的各个区域的注意力概率和实体及关系的注意力概率的表达式为:
所述得到图片注意力向量和文本注意力向量的表达式为:
其中,表示图片注意力向量,/>表示变量,/>表示图片中区域的总数,/>表示图片中第/>个区域的注意力概率,/>表示图片中第/>个区域的注意力向量,/>表示文本注意力向量,/>表示变量,/>表示三元组向量的总数,/>表示第/>个三元组向量的实体及关系的注意力概率,/>表示第/>个三元组向量的实体和关系的隐状态;
所述计算所述图片注意力向量和所述文本注意力向量的匹配值的表达式为:
所述确定所述匹配概率的表达式为:
进一步的,所述真伪识别模型的优化函数的表达式为:
进一步的,所述基于所述匹配概率,确定所述产品的真伪为:当所述匹配概率大于概率阈值时,确认所述产品为真,否则为假。
本发明的目的在于提供一种确定建材真伪的系统,包括上传模块、审核模块、知识图谱获取模块、产品图片获取模块和真伪鉴别模块;所述上传模块用于上传产品图片;所述产品图片包括商品图片和产品信息;所述商品图片包括产品的主图、总体展示图和细节展示图;所述产品信息包括产品名称、推广标题、产品属性和使用场景;所述审核模块用于将所述产品图片输入图文审核模型,模型确定所述产品图片是否符合要求;所述知识图谱获取模块用于当所述产品图片符合要求时,基于产品的产品信息,获取产品知识图谱;所述产品信息为商家给出的有关产品的信息;所述产品图片获取模块用于获取产品图片;产品图片是指客户上传的待确定真伪的产品的图片所述真伪鉴别模块用于将所述产品知识图谱和所述产品图片输入真伪识别模型,模型输出产品的真伪;所述真伪鉴别模块包括文本特征获取单元、图片特征获取单元、匹配概率确定单元和真伪输出单元;所述文本特征获取单元用于基于所述产品知识图谱,获取所述产品的文本特征;所述图片特征获取单元用于基于所述产品图片,获取所述产品的图片特征;所述匹配概率确定单元用于基于互注意力机制,确定所述文本特征和所述图片特征的匹配概率;所述真伪输出单元用于基于所述匹配概率,确定所述产品的真伪,并将结果输出。
本发明实施例的技术方案至少具有如下优点和有益效果:
本说明书中的一些实施例,采用基于产品信息和产品微观特征的图像识别方法来鉴别产品真伪,可以防止产品被调包。
本说明书中的一些实施例,为了更好地提取文本特征和图片特征,模型采用了知识图谱以及互注意力机制,当生成文本特征时,文本特征注意力机制会引导图片特征的生成,使图片特征的生成更符合文本的描述;当生成图片特征时,图片特征也会引导文本特征的生成,使得文本特征的生成更符合图片特征。通过该机制后再计算文本特征和图片特征的匹配概率,将会大大增加模型的表现力。
附图说明
图1为本发明一些实施例提供的一种确定建材真伪的方法的示例性流程图;
图2为本发明一些实施例提供的一种确定建材真伪的系统的示例性示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
图1为本发明一些实施例提供的一种确定建材真伪的方法的示例性流程图。在一些实施例中,流程100可以由系统200执行。如图1所示,流程100可以包括以下内容:
步骤110,上传产品图片,产品图片商品图片和产品信息;所述商品图片包括产品的主图、总体展示图和细节展示图;产品信息包括产品名称、推广标题、产品属性和使用场景。
在一些实施例中,产品图片和产品信息可以分开上传平台。例如,供应商上新时需要为商品填写图文两种信息图片:包括:商品主图、总体展示图、细节展示图三类,每类图最多上传9张,主图至少三张,总体展示图和细节展示图每类至少一张文字:包括:商品名称、推广标题、产品属性、使用场景。
步骤120,产品图片输入图文审核模型,模型确定产品图片是否符合要求。
产品图片符合要求是指图片与文字说明中未涉及敏感词汇、图片内容符合文字描述且图片中所展示的产品与文字描述中的产品的SSKU信息和品牌相匹配。例如,图片所示产品为板凳,文字描述的产品为桌子,则可以认为产品图片不符合要求。又例如,文字描述中的SSKU信息为品牌A,而图中所示为品牌B,则可以认为产品不符合要求。
在一些实施例中,图文审核模型可以为Resnet50,通过Resnet50审核过滤后的文字和图片才可以进行下一步使用。
最后的输出经过sigmoid激活函数,可以得到最终的过滤值,表示过滤后的规范的文字和图片概率,这里的/>表示Resnet模型。所述图文审核模型可以通过训练初始图文审核模型得到,初始图文审核模型选用Resent50模型,训练样本包括训练产品图片和标签,标签用于表示训练产品图片中是否包含敏感词汇、图示产品与文字描述的SSKU、规格型号、SKU名称和品牌是否一致等。
步骤130,若是,基于产品的产品信息,获取产品知识图谱;产品信息为商家给出的有关产品的信息。在一些实施例中,步骤130可以由知识图谱获取模块230执行。
产品信息可以包括产品的尺寸、颜色和/或纹路(或花纹)等。在一些实施例中,在产品出厂时,厂家会把产品信息的原始文本信息和产品原始图片编码存储,并设置公开的key以供采购者查询。例如,客户可通过扫描产品上的数字ID标识来获取产品信息。其中,产品原始图片可以包括产品的密度排列、剖面图和/或表面微观图等。
产品知识图谱可以是指通过产品信息构建的知识图谱。建筑材料种类繁多、特点也各不相同。为了便于统计和做相关预测,我们首先把各种材料分类建成一个知识图谱、每一种材料也有各自不同的属性。知识图谱结构式一种1对多的三元组{头实体、关系(属性)、尾实体(属性值)},比如木地板,这种材料的知识图谱可表示为{木地板、颜色、棕红色}。建成了知识图谱后,我们可以通过知识图谱学习得到图谱中每个实体和属性的稠密实值向量,并使用该向量进行下一步预测。
步骤140,获取产品图片;产品图片是指客户上传的待确定真伪的产品的图片。在一些实施例中,步骤140可以由产品图片获取模块240执行。
在一些实施例中,当用户收到产品时,可以通过各种图像获取设备获取产品的图片。产品的图片可以包括产品的颜色、纹路和/或尺寸等信息。
步骤150,将产品知识图谱和所述产品图片输入真伪识别模型,模型输出产品的真伪。在一些实施例中,步骤150可以由真伪鉴别模块250执行。
真伪识别模型可以将产品知识图谱和产品图片中有关产品的信息进行比对,并基于比对结果确定客户收到的产品的真伪。具体包括以下内容:
步骤150-1,基于产品知识图谱,获取产品的文本特征。
文本特征是指可以表征产品信息的特征。在一些实施例中,获取产品的文本特征,包括:
基于TransH模型,得到产品知识图谱的实体表示矩阵和关系表示矩阵,包括:
将知识图谱中三元组的头实体向量和尾实体向量投影到关系所对应的超平面,得到投影后的头实体向量和投影后的尾实体向量;其中,得到投影后的头实体向量和投影后的尾实体向量的表达式为:
基于评分函数,训练TransH模型,得到实体和关系的表示向量;评分函数用于表征三元组的头实体和尾实体的相关程度;其中,评分函数的表达式为:
基于知识图谱中多个三元组的实体和关系的表示向量,得到实体表示矩阵和关系表示矩阵。
将向量序列输入LSTM模型,模型输出每个产品三元组的文本特征,包括:
其中,表示该三元组向量在上一时间步的隐状态下的隐状态,/>表示第/>个三元组向量,/>表示上一时间步的隐状态,/>表示该三元组向量在下一时间步的隐状态下的隐状态,/>表示下一时间步的隐状态,/>表示长短时记忆网络。
将上一时间步的隐状态和下一时间步的隐状态进行组合,得到实体和关系的隐状态;其中,得到实体和关系的隐状态的表达式为:
将多个实体和关系的隐状态进行组合,得到文本特征;其中,得到文本特征的表达式为:
步骤150-2,基于所述产品图片,获取产品的图片特征。
步骤150-3,基于互注意力机制,确定文本特征和图片特征的匹配概率,包括:
其中,表示实体及关系信息注意力映射,/>和/>表示两个不同的权重矩阵,/>通过随机初始化得到,/>表示图片注意力映射。通过把/>看作是一个特征向量,通过它来求实体及关系信息注意力映射和图片注意力映射,可以提高模型的性能。
其中,表示图片注意力向量,/>表示变量,/>表示图片中区域的总数,/>表示图片中第/>个区域的注意力概率,/>表示图片中第/>个区域的注意力向量,/>表示文本注意力向量,/>表示变量,/>表示三元组向量的总数,/>表示第/>个三元组向量的实体及关系的注意力概率,/>表示第/>个三元组向量的实体和关系的隐状态。
步骤150-4,基于所述匹配概率,确定所述产品的真伪。
在一些实施例中,当匹配概率大于概率阈值时,确认产品为真,否则为假。概率阈值可以根据经验设置,例如,概率阈值可以为90%。
本说明书中的一些实施例通过引入互注意机制,使得能更好的匹配相关性较强的产品图片和产品信息。图片的特征可以促进实体和关系信息特征的提取,实体和关系信息的特征也会促进图片特征的提取。
真伪识别模型可以通过模型训练得到。可以将匹配看成是一个二分类任务,即产品图片与产品信息是否匹配。在一些实施例中,真伪识别模型可以为二分类模型,所述真伪识别模型的优化函数的表达式为:
图2为本发明一些实施例提供的一种确定建材真伪的系统的示例性示意图。如图2所示,系统200可以包括上传模块210、审核模块220、知识图谱获取模块230、产品图片获取模块240和真伪鉴别模块250。
上传模块210用于上传产品图片;产品图片包括商品图片和产品信息;所述商品图片包括产品的主图、总体展示图和细节展示图;产品信息包括产品名称、推广标题、产品属性和使用场景。关于上传模块210的更多内容,参见图1及其相关描述。
审核模块220用于将产品图片输入图文审核模型,模型确定产品图片是否符合要求。关于审核模块220的更多内容,参见图1及其相关描述。
知识图谱获取模块230用于基于产品的产品信息,获取产品知识图谱;产品信息为商家给出的有关产品的信息。关于知识图谱获取模块230的更多内容,参见图1及其相关描述。
产品图片获取模块240用于获取产品图片;产品图片是指客户上传的待确定真伪的产品的图片。关于产品图片获取模块240的更多内容,参见图1及其相关描述。
真伪鉴别模块250用于将产品知识图谱和产品图片输入真伪识别模型,模型输出产品的真伪;真伪鉴别模块包括文本特征获取单元230-1、图片特征获取单元250-2、匹配概率确定单元250-3和真伪输出单元250-4。关于真伪鉴别模块250的更多内容,参见图1及其相关描述。
文本特征获取单元250-1用于基于产品知识图谱,获取产品的文本特征。关于文本特征获取单元250-1的更多内容,参见图1及其相关描述。
图片特征获取单元250-2用于基于产品图片,获取产品的图片特征。关于图片特征获取单元250-2的更多内容,参见图1及其相关描述。
匹配概率确定单元250-3用于基于互注意力机制,确定文本特征和图片特征的匹配概率。关于匹配概率确定单元250-3的更多内容,参见图1及其相关描述。
真伪输出单元250-4用于基于匹配概率,确定产品的真伪,并将结果输出。关于真伪输出单元250-4的更多内容,参见图1及其相关描述。
每个产品都有一个独特的数字ID,这个数字ID记录了产品的各项信息,包括生产厂家、生产日期、地址、产品特征,比如尺寸、重量、密度、硬度、抗酸抗腐蚀强度等物理信息,这个数字ID可通过无线传感器存储、并同时读取相邻产品的信息进行匹配,一旦产品被调包,传感器读取的数据与原匹配信息不符,那么传感器就会发出警告信号。这种方式可供后期用户查询产品的真实源头。当产品达到客户手中,客户可通过扫描产品上的数字ID标识来获取产品信息,并在终端与厂家的信息进行对比查询,确保产品是正品。
同时,还把产品的剖面图,表面微观图记录下来,供后期查询,识别真伪。比如产品的剖面图会有一些材质的纹路、密度排列等明显的、独一无二的特征,根据这些特征收集一个图片数据集,在此数据集基础上,采用计算机视觉技术进行训练,训练完成后的模型可以直接预测产品的真伪。这两种技术的双重使用可以在很大程度上起着防止产品被调包的重要作用。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种确定建材真伪的方法,其特征在于,包括:
上传产品图片;所述产品图片包括商品图片和产品信息;所述商品图片包括产品的主图、总体展示图和细节展示图;所述产品信息包括产品名称、推广标题、产品属性和使用场景;
将所述产品图片输入图文审核模型,模型确定所述产品图片是否符合要求;其中,所述图文审核模型为Resnet50,通过Resnet50审核过滤后的文字和图片;原始文字和图片信息为,输入Resnet50中输出为:
最后的输出经过sigmoid激活函数,得到最终的过滤值,表示过滤后的规范的文字和图片概率,这里的/>表示Resnet模型;所述图文审核模型通过训练初始图文审核模型得到,初始图文审核模型选用Resent50模型,训练样本包括训练产品图片和标签,标签用于表示训练产品图片中是否包含敏感词汇、图示产品与文字描述的SSKU、规格型号、SKU名称和品牌是否一致;
若是,基于所述产品信息,获取产品知识图谱;所述产品信息为商家给出的有关产品的信息;
获取产品图片;产品图片是指客户上传的待确定真伪的产品的图片;
将所述产品知识图谱和所述产品图片输入真伪识别模型,模型输出产品的真伪;包括:
基于所述产品知识图谱,获取所述产品的文本特征;
基于所述产品图片,获取所述产品的图片特征;
基于互注意力机制,确定所述文本特征和所述图片特征的匹配概率;
基于所述匹配概率,确定所述产品的真伪;
其中,所述基于所述产品知识图谱,获取所述产品的文本特征,包括:
基于TransH模型,得到所述产品知识图谱的实体表示矩阵和关系表示矩阵;
提取所述产品知识图谱中的三元组,得到多个产品三元组;
对于每个所述产品三元组:
从所述实体表示矩阵和所述关系表示矩阵中获取该产品三元组的头实体向量、关系向量和尾实体向量;
将所述头实体向量、所述关系向量和所述尾实体向量进行拼接,得到产品三元组向量;
将多个所述产品三元组向量进行拼接,得到向量序列;
将所述向量序列输入LSTM模型,模型输出每个所述产品三元组的文本特征;
其中,所述基于TransH模型,得到所述产品知识图谱的实体表示矩阵和关系表示矩阵,包括:
将所述知识图谱中三元组的头实体向量和尾实体向量投影到关系所对应的超平面,得到投影后的头实体向量和投影后的尾实体向量;其中,得到所述投影后的头实体向量和所述投影后的尾实体向量的表达式为:
基于评分函数,训练所述TransH模型,得到实体和关系的表示向量;所述评分函数用于表征三元组的头实体和尾实体的相关程度;其中,所述评分函数的表达式为:
基于所述知识图谱中多个三元组的实体和关系的表示向量,得到所述实体表示矩阵和所述关系表示矩阵;
其中,将所述向量序列输入双向LSTM模型,模型输出每个所述产品三元组的文本特征,包括:
其中,表示该三元组向量在上一时间步的隐状态下的隐状态,/>表示第/>个三元组向量,/>表示上一时间步的隐状态,/>表示该三元组向量在下一时间步的隐状态下的隐状态,/>表示下一时间步的隐状态,/>表示长短时记忆网络;
将所述上一时间步的隐状态和所述下一时间步的隐状态进行组合,得到实体和关系的隐状态;其中,得到所述实体和关系的隐状态的表达式为:
将多个所述实体和关系的隐状态进行组合,得到所述文本特征;其中,得到所述文本特征的表达式为:
其中,所述基于所述产品图片,获取图片特征为:将所述产品图片输入卷积神经网络,所述卷积神经网络输出所述图片特征;
其中,所述基于互注意力机制,确定所述文本特征和所述图片特征的匹配概率,包括:
将所述文本特征和所述图片特征投射到同一向量空间,得到匹配矩阵;
基于所述匹配矩阵、所述文本特征和所述图片特征,得到实体及关系信息注意力映射和图片注意力映射;
基于所述实体及关系信息注意力映射和所述图片注意力映射,得到所述产品图片的各个区域的注意力概率和实体及关系的注意力概率;
基于所述各个区域的注意力概率和所述实体及关系的注意力概率,得到图片注意力向量和文本注意力向量;
计算所述图片注意力向量和所述文本注意力向量的匹配值;
基于所述匹配值,确定所述匹配概率;
其中,所述得到匹配矩阵的表达式为:
所述得到所述实体及关系信息注意力映射和所述图片注意力映射的表达式为:
所述得到所述产品图片的各个区域的注意力概率和实体及关系的注意力概率的表达式为:
所述得到图片注意力向量和文本注意力向量的表达式为:
其中,表示图片注意力向量,/>表示变量,/>表示图片中区域的总数,/>表示图片中第个区域的注意力概率,/>表示图片中第/>个区域的注意力向量,/>表示文本注意力向量,/>表示变量,/>表示三元组向量的总数,/>表示第/>个三元组向量的实体及关系的注意力概率,/>表示第/>个三元组向量的实体和关系的隐状态;
所述计算所述图片注意力向量和所述文本注意力向量的匹配值的表达式为:
所述确定所述匹配概率的表达式为:
其中,所述真伪识别模型的优化函数的表达式为:
2.根据权利要求1所述的确定建材真伪的方法,其特征在于,所述基于所述匹配概率,确定所述产品的真伪为:当所述匹配概率大于概率阈值时,确认所述产品为真,否则为假。
3.一种应用于权利要求1所述的确定建材真伪的方法的系统,其特征在于,包括上传模块、审核模块、知识图谱获取模块、产品图片获取模块和真伪鉴别模块;
所述上传模块用于上传产品图片;所述产品图片包括商品图片和产品信息;所述商品图片包括产品的主图、总体展示图和细节展示图;所述产品信息包括产品名称、推广标题、产品属性和使用场景;
所述审核模块用于将所述产品图片输入图文审核模型,模型确定所述产品图片是否符合要求;
所述知识图谱获取模块用于当所述产品图片符合要求时,基于产品的产品信息,获取产品知识图谱;所述产品信息为商家给出的有关产品的信息;
所述产品图片获取模块用于获取产品图片;产品图片是指客户上传的待确定真伪的产品的图片
所述真伪鉴别模块用于将所述产品知识图谱和所述产品图片输入真伪识别模型,模型输出产品的真伪;所述真伪鉴别模块包括文本特征获取单元、图片特征获取单元、匹配概率确定单元和真伪输出单元;
所述文本特征获取单元用于基于所述产品知识图谱,获取所述产品的文本特征;
所述图片特征获取单元用于基于所述产品图片,获取所述产品的图片特征;
所述匹配概率确定单元用于基于互注意力机制,确定所述文本特征和所述图片特征的匹配概率;
所述真伪输出单元用于基于所述匹配概率,确定所述产品的真伪,并将结果输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310229204.1A CN115936737B (zh) | 2023-03-10 | 2023-03-10 | 一种确定建材真伪的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310229204.1A CN115936737B (zh) | 2023-03-10 | 2023-03-10 | 一种确定建材真伪的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115936737A CN115936737A (zh) | 2023-04-07 |
CN115936737B true CN115936737B (zh) | 2023-06-23 |
Family
ID=86558025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310229204.1A Active CN115936737B (zh) | 2023-03-10 | 2023-03-10 | 一种确定建材真伪的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115936737B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108563653A (zh) * | 2017-12-21 | 2018-09-21 | 清华大学 | 一种用于知识图谱中知识获取模型的构建方法及系统 |
CN110334219A (zh) * | 2019-07-12 | 2019-10-15 | 电子科技大学 | 基于注意力机制融入文本语义特征的知识图谱表示学习方法 |
CN111061843A (zh) * | 2019-12-26 | 2020-04-24 | 武汉大学 | 一种知识图谱引导的假新闻检测方法 |
CN111160286A (zh) * | 2019-12-31 | 2020-05-15 | 中国电子科技集团公司信息科学研究院 | 一种视频真伪鉴别方法 |
CN112396479A (zh) * | 2021-01-20 | 2021-02-23 | 成都晓多科技有限公司 | 一种基于知识图谱的服饰搭配推荐方法及系统 |
WO2022041294A1 (zh) * | 2020-08-26 | 2022-03-03 | 华南理工大学 | 一种结合知识库中的三元组和实体类型的生成问题方法 |
CN114186613A (zh) * | 2021-11-21 | 2022-03-15 | 南京理工大学 | 基于注意力机制多视图深度学习的球鞋真伪鉴定方法及系统 |
WO2022057669A1 (zh) * | 2020-09-16 | 2022-03-24 | 浙江大学 | 基于结构化上下文信息的知识图谱预训练方法 |
CN114429126A (zh) * | 2021-12-17 | 2022-05-03 | 中国石油大学(华东) | 一种基于强化学习和事理知识图谱的真假消息鉴别方法 |
WO2022135120A1 (zh) * | 2020-12-21 | 2022-06-30 | 浙江大学 | 一种融合图结构和文本信息的自适应知识图谱表示学习方法 |
CN115470323A (zh) * | 2022-10-31 | 2022-12-13 | 中建电子商务有限责任公司 | 一种基于分词技术提高建筑行业搜索精度的方法 |
-
2023
- 2023-03-10 CN CN202310229204.1A patent/CN115936737B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108563653A (zh) * | 2017-12-21 | 2018-09-21 | 清华大学 | 一种用于知识图谱中知识获取模型的构建方法及系统 |
CN110334219A (zh) * | 2019-07-12 | 2019-10-15 | 电子科技大学 | 基于注意力机制融入文本语义特征的知识图谱表示学习方法 |
CN111061843A (zh) * | 2019-12-26 | 2020-04-24 | 武汉大学 | 一种知识图谱引导的假新闻检测方法 |
CN111160286A (zh) * | 2019-12-31 | 2020-05-15 | 中国电子科技集团公司信息科学研究院 | 一种视频真伪鉴别方法 |
WO2022041294A1 (zh) * | 2020-08-26 | 2022-03-03 | 华南理工大学 | 一种结合知识库中的三元组和实体类型的生成问题方法 |
WO2022057669A1 (zh) * | 2020-09-16 | 2022-03-24 | 浙江大学 | 基于结构化上下文信息的知识图谱预训练方法 |
WO2022135120A1 (zh) * | 2020-12-21 | 2022-06-30 | 浙江大学 | 一种融合图结构和文本信息的自适应知识图谱表示学习方法 |
CN112396479A (zh) * | 2021-01-20 | 2021-02-23 | 成都晓多科技有限公司 | 一种基于知识图谱的服饰搭配推荐方法及系统 |
CN114186613A (zh) * | 2021-11-21 | 2022-03-15 | 南京理工大学 | 基于注意力机制多视图深度学习的球鞋真伪鉴定方法及系统 |
CN114429126A (zh) * | 2021-12-17 | 2022-05-03 | 中国石油大学(华东) | 一种基于强化学习和事理知识图谱的真假消息鉴别方法 |
CN115470323A (zh) * | 2022-10-31 | 2022-12-13 | 中建电子商务有限责任公司 | 一种基于分词技术提高建筑行业搜索精度的方法 |
Non-Patent Citations (12)
Title |
---|
A Model of Text-Enhanced Knowledge Graph Representation Learning With Mutual Attention;Yashen Wang; Huanhuan Zhang;《IEEE Access》;第8卷(第2020期);第52895–52905页 * |
A3 -FKG: Attentive Attribute-Aware Fashion Knowledge Graph for Outfit Preference Prediction;Huijing Zhan; Jie Lin;《IEEE Transactions on Multimedia》;第24卷(第2022期);第819–831页 * |
Incorporating Graph Attention Mechanism into Knowledge Graph Reasoning Based on Deep Reinforcement Learning;Heng Wang, Shuangyin Li, Rong Pan;《Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing》;第2623–2631页 * |
KAN: Knowledge-aware Attention Network for Fake News Detection;Yaqian Dun, Kefei Tu, Chen Chen;《Proceedings of the AAAI Conference on Artificial Intelligence》;第35卷(第1期);第81-89页 * |
Xinyue Pang ; Minghua Nuo ; Jiamin Cao.Leveraging Knowledge Graph and Self-Attention with Residual Block for Paper Recommendation.《2021 International Conference on High Performance Big Data and Intelligent Systems 》.2021,第196-201页. * |
基于知识图谱与循环注意力网络的视角级情感分析;邓立明;魏晶晶;吴运兵;余小燕;廖祥文;;模式识别与人工智能(第06期);第479-487页 * |
基于高分辨率网络和注意力机制的真伪卷烟包装鉴别;肖楠; 周明珠; 邢军; 罗泽; 李晓辉;《数据与计算发展前沿》;第3卷(第5期);第118-129页 * |
改进的TransH模型在知识表示与推理领域的研究;昌攀;曹扬;;广西大学学报(自然科学版)(第02期);第321-327页 * |
结合三元组重要性的知识图谱补全模型;李忠文; 丁烨; 花忠云; 李君一; 廖清;《计算机科学》;第47卷(第11期);第231-236页 * |
融合知识图谱与注意力机制的推荐算法;唐宏,范森,唐帆,朱龙娇;《计算机工程与应用》;第58卷(第5期);第94-103页 * |
郭一楠 ; 王斌 ; 巩敦卫 ; 于泽宽.实体结构与语义融合的多层注意力知识表示学习.《智能系统学报》.2023,第1-12页. * |
面向知识图谱的图嵌入学习研究进展;杨东华; 何涛; 王宏志; 王金宝;《软件学报》;第33卷(第9期);第3370-3390页 * |
Also Published As
Publication number | Publication date |
---|---|
CN115936737A (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108520196B (zh) | 奢侈品辨别方法、电子装置及存储介质 | |
US9832353B2 (en) | Methods for encoding, decoding and interpreting auxiliary data in media signals | |
CN106713255B (zh) | 用户信息管理方法和系统 | |
US10201939B1 (en) | Product authenticity verification system | |
CN110023982A (zh) | 选择产品标题 | |
JP6435017B1 (ja) | レシートを用いたプロジェクトのためのレシート解析システム、方法、及びプログラム | |
CN104852892B (zh) | 一种新型物联网网站系统的自主登录方法 | |
CN107301578A (zh) | 获取以及识别客户信息的方法及其装置 | |
CN112561543A (zh) | 一种基于全周期物流数据分析的电商平台虚假交易订单监控方法、系统及云服务器 | |
CN108985285A (zh) | 一种基于机器识别的商品专利获取方法及系统 | |
CN112633927B (zh) | 一种基于知识图谱规则嵌入的组合商品挖掘方法 | |
CN109615153B (zh) | 商家风险评估方法、装置、设备及存储介质 | |
KR20230056239A (ko) | Ai 기반의 비건 화장품 추천 방법 | |
JP2022115892A (ja) | 情報処理システム、情報コード生成システム、情報処理方法、及び情報コード生成方法 | |
CN109214834A (zh) | 基于区块链的产品溯源方法和装置 | |
CN115063084A (zh) | 一种卷烟零售商户库存盘点方法及系统 | |
CN115936737B (zh) | 一种确定建材真伪的方法和系统 | |
CN115983873B (zh) | 一种基于大数据的用户数据分析管理系统及方法 | |
TWI804090B (zh) | 學習系統、學習方法及程式產品 | |
CN206193909U (zh) | 实现商品的本体信息与外包装信息关联的商品及检查装置 | |
CN115512202A (zh) | 基于度量学习的小样本目标检测方法、系统和存储介质 | |
CN113837836A (zh) | 模型推荐方法、装置、设备及存储介质 | |
CN107818483B (zh) | 网络卡券推荐方法及系统 | |
CN105956868A (zh) | 实现商品的本体信息与外包装信息关联的方法及商品 | |
CN117315301B (zh) | 一种基于图像识别的藏品信息匹配系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |