CN115222464A - 数据处理方法、装置、电子设备和存储介质 - Google Patents
数据处理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115222464A CN115222464A CN202110352837.2A CN202110352837A CN115222464A CN 115222464 A CN115222464 A CN 115222464A CN 202110352837 A CN202110352837 A CN 202110352837A CN 115222464 A CN115222464 A CN 115222464A
- Authority
- CN
- China
- Prior art keywords
- commodity
- node
- nodes
- name
- knowledge graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0623—Item investigation
- G06Q30/0625—Directed, with specific intent or strategy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/018—Certifying business or products
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了一种数据处理方法、装置、电子设备和存储介质,所述的方法包括:获取商品信息,并依据商品信息,确定相应的商品知识图谱,所述商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个;依据所述商品知识图谱,确定所述商品的商品单元节点的节点特征,并确定商品单元节点的节点特征对应的目标商品品名节点,以确定相应的商品品名;本方法能够提升商品品名的准确性。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种数据处理方法、一种数据处理装置、一种电子设备和一种存储介质。
背景技术
品名,是指商品的名称。在一些场景中,需要为商品标注品名,以便进行商品的识别,例如,在海关进出口的场景中,需要申报与商品相符的品名,以便进行商品的查验。
目前,通常是采用商家申报的名称作为进出口时的品名。但是部分商家提供的品名可能出现与商品不符,导致商品品名不准确。
发明内容
本申请实施例提供了一种数据处理方法,以提高商品品名的准确性。
相应的,本申请实施例还提供了一种数据处理装置、一种电子设备和一种存储介质,用以保证上述系统的实现及应用。
为了解决上述问题,本申请实施例公开了一种数据处理方法,所述的方法包括:获取商品信息,并依据商品信息,确定相应的商品知识图谱,所述商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个;依据所述商品知识图谱,确定所述商品的商品单元节点的节点特征,并确定商品单元节点的节点特征对应的目标商品品名节点,以确定相应的商品品名。
为了解决上述问题,本申请实施例公开了一种数据处理方法,所述的方法包括:依据已标注的商品信息,建立知识图谱,所述知识图谱包括节点和节点之间的连接边,所述节点包括商品品名节点、商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个;依据所述知识图谱和分析模型,确定相应的目标商品品名,所述分析模型用于确定商品单元节点的节点特征,并确定商品单元节点的节点特征对应的目标商品品名节点,以确定相应的目标商品品名;依据商品信息对应的标注商品品名和目标商品品名,对分析模型进行调整。
为了解决上述问题,本申请实施例公开了一种数据处理方法,所述的方法包括:提供交互页面,以获取商品信息;依据所述商品信息,确定相应的商品知识图谱,所述商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个;依据所述商品知识图谱,确定所述商品的商品单元节点的节点特征,并确定商品单元节点的节点特征对应的目标商品品名节点,以确定相应的商品品名;反馈所述商品品名。
为了解决上述问题,本申请实施例公开了一种数据处理装置,所述的装置包括:知识图谱获取模块,用于获取商品信息,并依据商品信息,确定相应的商品知识图谱,所述商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个;商品品名获取模块,用于依据所述商品知识图谱,确定所述商品的商品单元节点的节点特征,并确定商品单元节点的节点特征对应的目标商品品名节点,以确定相应的商品品名。
为了解决上述问题,本申请实施例公开了一种电子设备,包括:处理器;和存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如上述实施例中一个或多个所述的方法。
为了解决上述问题,本申请实施例公开了一个或多个机器可读介质,其上存储有可执行代码,当所述可执行代码被执行时,使得处理器执行如上述实施例中一个或多个所述的方法。
与现有技术相比,本申请实施例包括以下优点:
本申请实施例中,可以获取待识别商品的商品信息,并构建相应的商品知识图谱,所述商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个;在确定商品知识图谱之后,可以依据商品知识图谱,在商品单元节点中融入商品名称、商品类别、商品属性等特征,确定商品单元节点的节点特征,并依据商品单元节点的节点特征,确定对应的目标商品品名节点,以确定相应的商品品名。相比于采用商家申报的名称作为品名的方式,本申请实施例可以对商品的各项信息进行分析,从而更加准确的确定待识别的商品对应的品名。另外,本申请实施例可以在商品单元节点中融入商品名称、商品类别、商品属性等特征,从而提升了商品单元节点所包含的商品特征的量,进而能够更加准确的确定商品所对应的商品品名。
附图说明
图1A是本申请一个实施例的数据处理方法的流程示意图;
图1B是本申请另一个实施例的数据处理方法的流程示意图;
图2A是本申请再一个实施例的数据处理方法的流程示意图;
图2B是本申请再一个实施例的数据处理方法的流程示意图;
图3是本申请再一个实施例的数据处理方法的流程示意图;
图4是本申请再一个实施例的数据处理方法的流程示意图;
图5是本申请再一个实施例的数据处理方法的流程示意图;
图6A是本申请再一个实施例的数据处理方法的流程示意图;
图6B是本申请再一个实施例的数据处理方法的流程示意图;
图7是本申请一个实施例的数据处理装置的结构示意图;
图8是本申请另一个实施例的数据处理装置的结构示意图;
图9是本申请再一个实施例的数据处理装置的结构示意图;
图10是本申请一个实施例提供的示例性装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
本申请实施例可以应用在品名识别的领域,品名是指商品的名称,品名识别是指识别商品的名称。
本申请实施例包括准备阶段和识别阶段,如图1A所示,在准备阶段中,可以依据已标注商品品名的商品信息,构建知识图谱,所述知识图谱包括节点和节点之间的连接边,所述节点包括商品品名节点、商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个。构建知识图谱之后,依据知识图谱来训练分析模型,所述分析模型用于确定待识别的商品的商品单元节点的节点特征,并确定相应的目标商品单元节点,以确定待识别的商品的品名。在准备阶段中,可以依据商品信息对应的标注商品品名和目标商品品名,对分析模型进行调整。以便在识别阶段中,依据训练好的分析模型,确定待识别的商品的商品信息对应的商品品名。
在识别阶段中,如图1B所示,可以依据待识别的商品的商品信息,确定相应的商品名称、商品单元、商品类别、商品属性,进而构建商品知识图谱,商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个。之后利用商品知识图谱和训练好的分析模型,确定商品的商品单元节点的节点特征,进而商品的商品品名。
具体来说,在准备阶段中,可以依据已标注了商品品名的商品信息,构建知识图谱,其中,商品信息中可包含以下信息中的至少一种:商品标题、商品属性描述信息、商品类别描述信息。可以依据商品信息,在知识图谱中构建商品品名节点、商品单元节点、商品类别节点、商品名称节点、商品属性节点,其中,商品品名节点包括商品的品名信息。商品单元节点包括商品单元信息,商品单元信息与商品对应,可以理解为标准化产品单元(StandardProduct Unit,SPU),是商品信息聚合的最小单位。商品类别节点包括商品所属的类别信息,商品名称节点包括商品的名称,商品属性节点包括商品的属性信息。在知识图谱中建立节点之后,可以依据商品的各项信息,为节点之间添加连接边。具体的,可以依据商品标题,为商品名称节点和商品单元节点之间建立第一连接边;可以向电商平台上的消费者展示两个商品的相关信息(如关键词、图像等),并采集相应的点击率,确定两个商品之间是否存在关联,进而在不同的商品单元节点之间建立第二连接边;可以在第一商品的商品标题包含第二商品的商品名称时,为第一商品名称节点和第二商品名称节点之间建立第三连接边;可以依据商品属性描述信息,为商品单元节点和商品属性节点之间建立第四连接边;可以依据商品类别描述信息,为商品单元节点和商品类别节点之间建立第五连接边;可以依据为商品标注的商品品名,建立商品品名节点与商品单元节点之间建立第六连接边。
在确定了知识图谱之后,可以将知识图谱输入到分析模型中,分析模型可以依据知识图谱中各节点之间的连接关系,确定各节点的节点特征。其中,节点的节点特征包含节点、第一节点和第二节点的特征,所述第一节点为与所述节点相连的节点,所述第二节点为与所述第一节点相连的节点。具体的,分析模型可以依据知识图谱,确定各节点的第一节点和第二节点,进而在节点中融入第一节点的特征信息和第二节点的特征信息,得到各节点的节点特征。之后,分析模型可以依据商品单元节点的节点特征之间的相似度,确定待识别的商品单元节点对应的目标商品单元节点,以确定相应的商品品名。在准备阶段中,待识别的商品已经进行了标注,并依据该标注在知识图谱中为商品节点节点和商品单元节点之间建立了连接边,因此,可以依据预先构建的知识图谱,确定待识别的商品对应的标注商品品名,并依据标注商品品名和目标商品品名之间的差异,对分析模型进行调整,以确定训练好的分析模型。
在识别阶段中,待识别的商品的商品信息包括以下信息中的至少一种:商品标题、商品属性描述信息、商品类别描述信息。可以依据待识别的商品的商品信息,确定相应的商品名称、商品单元、商品类别、商品属性,并在商品知识图谱中建立相应的节点。之后,依据商品的各项信息,为节点之间添加连接边。具体的,为节点之间添加第一连接边、第二连接边、第三连接边、第四连接边和第五连接边,为节点之间添加连接边的过程与上述准备阶段中为节点之间添加连接边的过程类似,具体可参照上述过程,此处不再赘述。
在确定商品知识图谱之后,可以将商品知识图谱输入到训练好的分析模型中,训练好的分析模型可以确定商品单元节点相关的第一节点和第二节点,并在商品单元节点中融入第一节点和第二节点的特征信息,得到商品单元节点的节点特征,进而依据商品单元节点的节点特征,确定目标商品单元节点,目标商品单元节点,目标商品单元的节点特征与商品单元的节点特征的相似度符合预设条件(如相似度最高);之后,确定目标商品单元节点相应的商品品名,以便依据商品品名进行相应的处理。例如,在海关进出口的场景中,可以将商品品名进行申报,以便进行海关商品的通关检查。需要说明的是,上述实施例中是以分析模型对商品知识图谱(和知识图谱)进行分析处理为例进行描述,本申请实施例也可以采用其他方式来对商品知识图谱进行分析处理,具体可以依据需求进行设置。例如本申请实施例还可以预先设置相应的代码段,以执行相应的特征提取、节点特征相似度分析的动作,以便确定商品品名。再例如,分析模型可以依据商品信息来构建知识图谱,并对知识图谱进行分析,以确定相应的品名。
本申请实施例中,可以获取待识别商品的商品信息,并构建相应的商品知识图谱,所述商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个;在确定商品知识图谱之后,可以依据商品知识图谱,在商品单元节点中融入商品名称、商品类别、商品属性等特征,确定商品单元节点的节点特征,并依据商品单元节点的节点特征,确定对应的目标商品品名节点,以确定相应的商品品名。相比于采用商家申报的名称作为品名的方式,本申请实施例可以对商品的各项信息进行分析,从而更加准确的确定待识别的商品对应的品名。另外,本申请实施例可以在商品单元节点中融入商品名称、商品类别、商品属性等特征,从而提升了商品单元节点所包含的商品特征的量,进而能够更加准确的确定商品所对应的商品品名。
本申请实施例可以应用在对各类商品的商品信息进行识别的场景中,例如可以应用在对海关商品的商品信息进行识别的场景中,还可以应用在对电商商品的商品信息进行识别的场景中,还可以应用在对物流商品的商品信息进行识别的场景中,还可以应用在对二手商品的商品信息进行识别的场景中。举例来说,本申请实施例可以应用在对海关商品的商品信息进行识别的场景中,可以获取待识别的海关产品的商品信息,并构建对应的商品知识图谱,之后,依据商品知识图谱,在商品单元节点中融入商品名称、商品类别、商品属性等特征,得到商品单元节点的节点特征。从而依据商品单元节点的节点特征,确定对应的商品品名,作为海关商品的海关商品品名进行申报。
再举例来说,本申请实施例还可以应用在对电商商品(或二手商品)的商品信息进行识别的场景中,可以获取待识别的电商商品的商品信息,并构建对应的商品知识图谱,之后,依据商品知识图谱,在商品单元节点中融入商品名称、商品类别、商品属性等特征,得到商品单元节点的节点特征。从而依据商品单元节点的节点特征,确定对应的商品品名。在确定了电商商品(二手商品)的商品品名之后,可以将商品品名展示给商家(或称卖家),以便商家编辑该电商商品的发布信息。
再举例来说,本申请实施例还可以应用在对物流商品的商品信息进行识别的场景中,可以获取待识别的物流商品的商品信息,并构建对应的商品知识图谱,之后,依据商品知识图谱,在商品单元节点中融入商品名称、商品类别、商品属性等特征,得到商品单元节点的节点特征。从而依据商品单元节点的节点特征,确定对应的商品品名。在确定物流商品的商品品名之后,可以对物流商品进行相应的分类。例如,部分食品在运输过程中需要冷藏运输,本申请实施例可以确定物流商品的商品品名,进而确定该物流商品是否需要进行冷藏运输。
在上述实施例的基础上,本申请实施例提供一种数据处理方法,可以应用在服务端,本实施例的方法对应准备阶段,可以依据已标注的商品信息,构建知识图谱,并依据知识图谱,训练分析模型,以便通过分析模型来确定商品对应的商品品名。具体的,如图2A所示,所述方法包括:
步骤202、依据已标注的商品信息,建立知识图谱,所述知识图谱包括节点和节点之间的连接边,所述节点包括商品品名节点、商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个。其中,商品信息中可包含以下信息中的至少一种:商品标题、商品属性描述信息、商品类别描述信息,本申请实施例可以通过多种方式来获取,具体可依据需求来设置,举例来说,本申请实施例可以提供交互页面给商家,以便商家上传商品信息。本申请实施例也可以设置图像采集组件,以通过图像采集组件来拍摄商品、商品的包装等,并通过文字识别、实体识别等方式来获取商品信息。本申请实施例可以依据各类的商品信息,在知识图谱中建立相应的节点,并为节点之间添加连接边,具体的,作为一个可选的实施例,所述依据已标注的商品信息,建立知识图谱,包括:依据商品的商品信息和为商品标注的商品品名,建立节点,并为节点之间建立连接边,形成知识图谱。本申请实施例可以对商品信息进行预处理,进而依据处理后的信息,建立相应的节点。例如,对于商品标题来说,可以进行分词,并去除停止词、去除特殊字符和无意义的数字,还可以将近义词归一,对于英文词,还可以进行词性还原,进而确定商品名称节点。对于商品属性描述信息,可以进行实体识别,提取其中的实体,并依据提取出的实体,确定商品属性节点。对于商品类别信息,可以依据商品属性和预先设置的分类规则确定,并建立商品类别节点。可以依据标注的商品品名,建立商品品名节点。可以依据商品,确定该商品的最小单元,并为商品建立商品单元节点。
在建立了节点之后,可以依据商品的各项信息,为节点之间添加连接边,具体的,作为一个可选的实施例,所述为节点之间建立连接边,包括以下步骤中的至少一种:依据商品的商品标题,为商品名称节点和商品单元节点之间建立第一连接边;展示第一商品单元和第二商品单元的相关信息,并依据对应的点击率,为第一商品单元节点和第二商品单元之间建立第二连接边;在第一商品的商品标题包含第二商品的商品名称时,为第一商品名称节点和第二商品名称节点之间建立第三连接边;依据商品属性描述信息,为商品单元节点和商品属性节点之间建立第四连接边;依据商品类别描述信息,为商品单元节点和商品类别节点之间建立第五连接边;依据为商品标注的商品品名,建立商品品名节点与商品单元节点之间建立第六连接边。
对于同一个商品的商品名称节点、商品属性节点、商品品名节点和商品类别节点来说,可以依据相应的信息来为上述节点与商品单元节点之间添加连接边。对于不同的商品名称(对应不同商品)来说,可以依据商品标题中是否包含有其他商品的商品名称,来为相关的商品名称之间添加连接边,具体的,可以确定第一商品的商品标题是否包含有第二商品的商品名称,进而确定第一商品的商品名称与第二商品的商品名称是否存在关联,进而在第一商品的商品名称和第二商品的商品名称之间存在关联时,为第一商品名称节点和第二商品名称节点之间建立第三连接边。对于不同的商品单元(对应不同商品)来说,可以将不同的商品单元节点的相关信息(如关键词、图像数据等)作为关联词进行展示,进而获取相应的点击率,进而按照点击率,确定展示的商品单元节点之间的关联程度,并在不同的商品单元节点之间的关联程度符合要求时,为不同的商品单元节点之间添加第二连接边。点击率(Click-Through-Rate,CTR),或称点击通过率,是指网络信息(如图片、文字广告、关键词、排名、视频、等)的点击到达率,即该信息的实际点击次数除以信息的展现量(Showcontent)。
在确定了知识图谱之后,可以在步骤204中,依据所述商品知识图谱,确定所述商品的商品单元节点的节点特征,并确定商品单元节点的节点特征对应的目标商品品名节点,并确定相应的商品品名。本申请实施例可以预先训练分析模型,以便通过训练好的分析模型来对商品知识图谱进行分析,确定节点之间的连接关系,并按照连接关系,确定与节点相关的节点,并将相关的节点的特征信息融入到节点的特征信息中,形成节点的节点特征,具体的,作为一个可选的实施例,所述确定商品单元节点的节点特征,包括:确定各节点的第一节点和第二节点,所述第一节点为与所述节点相连的节点,所述第二节点为与所述第一节点相连的节点;依据节点的特征信息、第一节点的特征信息和第二节点的特征信息,确定各节点的节点特征;提取商品单元节点的节点特征。
本实施例可以依据知识图谱,筛选出与节点相连的第一节点和与第一节点相连的第二节点,可以预先设置第一节点的第一预设数量和第二节点的第二预设数量,并按照预设数量来获取第一预设数量的第一节点和第二预设数量的第二节点。确定各节点的第一节点和第二节点之后,可以获取第一节点的特征信息和第二节点的特征信息,并融入到节点的特征信息中,形成节点的节点特征,使得节点的节点特征包含有商品属性、商品类别、商品名称、商品单元、商品品名等信息的特征,提升节点特征包含的信息量,以提升商品品名识别的准确性。
其中,为了进一步提升商品品名识别的准确性,本实施例还可以确定第二节点的权重,并按照相应的权重,向节点中融入第二节点的特征。具体的,作为一个可选的实施例,所述依据节点的特征信息、第一节点的特征信息和第二节点的特征信息,确定各节点的节点特征,包括:在各目标节点中融入相应的第一节点的特征信息,得到各目标节点的特征向量;依据目标节点的特征向量和目标节点的第二节点的特征向量的特征相似度,确定特征融入权重;依据所述特征融入权重,在目标节点的特征向量中融入第二节点的特征向量,形成目标节点的节点特征。
本申请实施例可以获取各目标节点的特征信息和目标节点的第一节点的特征信息,并进行融合,确定各目标节点的特征向量。之后确定目标节点的特征向量和第二节点特征向量之间的特征相似度,并按照特征向量之间的相似度来确定特征融入权重。其中,目标节点的特征向量和第二节点的特征向量的特征相似度越高,表征目标节点和第二节点之间连接越密切,则相应的特征融入权重越高;反之,则特征融入权重越低。在确定特征融入权重之后,可以按照特征融入权重的大小,确定第二节点的特征向量的融入量,进而依据该融入量,在目标节点中融入第二节点的特征向量,形成目标节点的节点特征。本申请实施例可以依据目标节点与第二节点之间的相似度,确定目标节点与第二节点之间的关联程度,进而在目标节点的节点特征中融入相应量的第二节点的特征,使得目标节点的节点特征能够更加准确,从而提升了商品品名识别的准确度。在确定知识图谱中各个节点的节点特征之后,可以提取出商品单元节点的节点特征,并依据商品单元节点的节点特征,确定对应的目标商品品名节点,以确定相应的目标商品品名。
本申请实施例可以将待识别商品的商品单元节点的节点特征与已有的商品单元节点的节点特征之间进行匹配,确定特征的相似度,进而依据相似度,确定与待识别的商品匹配的目标商品单元节点,以确定相应的商品品名。其中,相似度可以理解为商品单元节点的节点特征之间的交互程度,待识别的商品单元节点相关的节点(第一节点和第二节点)与已有的商品单元节点相关的节点(第一节点和第二节点)之间重合的量越多,表征交互程度高,则相似度越高;反之,则交互程度低,相似度低。其中,在一个可选的示例中,可以筛选出相似度最高的一个或多个商品单元节点,作为目标商品单元节点。在另一个可选的示例中,可以预先设置相似度阈值,在目标商品单元节点的节点特征与商品单元节点的节点特征的相似度符合相似度阈值的情况下,确定目标商品单元节点与待识别的商品匹配。
在确定了目标商品品名之后,可以在步骤206中,依据商品信息对应的标注商品品名和目标商品品名,对分析模型进行调整。在准备阶段中,待识别的商品已经进行了标注,并依据该标注在知识图谱中为商品节点和商品单元之间建立了连接边,因此,可以依据预先构建的知识图谱,确定待识别的商品对应的标注商品品名,并依据标注商品品名和目标商品品名之间的差异,对分析模型进行调整。在一个可选的实施例中,可以依据标注商品品名和目标商品品名之间的差异,确定损失函数,并依据损失函数对分析模型进行调整。其中,损失函数表征分析模型预测的好坏,标注商品品名和目标商品品名之间的差异越大,则损失函数越大,标注商品品名和目标商品品名之间的差异越小,则损失函数越小。分析模型在预测目标商品品名时会产生相应的目标置信度,目标置信度表征该目标商品品名的可信程度。若标注商品品名与目标商品品名一致,则相应的标注置信度为1;若标注商品品名与目标商品品名不一致,则相应的标注置信度为0。在一个可选的示例中,可以采用交叉熵,作为损失函数。交叉熵(Cross Entropy)主要用于度量两个概率分布间的差异性信息。
本申请实施例中,可以获取已标注的商品信息,并构建知识图谱,所述知识图谱包括节点和节点之间的连接边,所述节点包括商品品名节点、商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个。构建知识图谱之后,依据知识图谱来训练分析模型,所述分析模型用于确定待识别的商品的商品单元节点的节点特征,并确定相应的目标商品单元节点,以确定商品的目标商品品名。之后依据目标商品品名和标注的标注商品品名之间的差异来调整分析模型。训练完成的分析模型可以依据待分析的商品信息,确定相应的商品品名。
下面以一个具体的示例,对本申请实施例的数据处理方法进行描述,具体的,如图2所示,本申请实施例可以获取的商品信息并进行抽样打标,为商品信息标注商品品名,得到已标注的商品信息,其中,为了对分析模型进行训练、验证和测试,可以将已标注的商品信息按照预设比例(如8:1:1的比例)进行划分,得到训练集、验证集和测试集。其中,训练集用于训练分析模型,验证集为了验证训练出的分析模型是否符合验证条件,测试集用于测试分析模型的准确度是否符合预设要求。
在依据训练集来训练分析模型的过程中,可以依据训练集中的商品信息、标注的标注商品品名来构建知识图谱,知识图谱的节点包括商品单元节点(SPU)、SPU映射的商品品名节点、商品类别节点、商品属性节点、商品名称节点(可记作Token)。
在构建节点之间的连接边的过程中,SPU和SPU间为可通过展示两个商品单元节点对应的搜索词,进而获取相应的点击率,并依据点击率来确定商品单元节点之间是否存在关联,例如,若展示两个商品单元节点之间的点击率差别较大,则确定两个商品单元节点之间无关联,若展示的两个商品单元节点之间的点击率差别较小,则确定两个商品单元节点之间存在关联,并添加连接边,可记作TO;SPU和Token间关系可根据标题来确定,可记作TITLE;Token和Token间可根据标题中的邻接关系构建,可记作PMI,可以依据第一商品的标题中是否存在第二商品单元的相关信息来确定第一商品的Token与第二商品的Token之间是否存在关联,Token和Token间的PMI可以依据以下公式1来确定。
其中,#W表示SPU标题字符长度,#W(i)表示固定长度的滑动窗口内Token_i出现的次数,可以预先设置长度,以形成固定长度的滑动窗口;#w(i,j)表示Token_i和Token_j在滑动窗口内共现的次数,仅当PMI值>0时,Token间才存在PMI关系。SPU和商品类别节点的关系命名为CATE;SPU和商品属性节点的关系可命名为ATTR;SPU和品名的关系可命名为PN。
确定知识图谱之后,可以依据图网络学习和知识图谱学习的方式来构建向量1和向量2,并将向量1和向量2融合,得到各节点的节点特征。具体的,可以依据知识图谱确定各节点的第一节点和第二节点,并将第一节点的特征融入到各节点的特征中,得到各节点的特征向量,对于各节点的特征向量,可以记为向量1(emb1),在确定了各节点的特征向量之后,可以确定第二节点与目标节点之间特征相关性,确定相应的特征融入权重,并确定第二节点的待融入特征,以便将待融入特征融入到目标节点的特征向量中,第二节点的待融入特征可以记为向量2(emb2),其中,向量2可以通过以下公式2来确定。
其中,(h,r,t)三元组代表了融合了第一节点t的节点的特征向量,确定向量1和向量2之后,将向量1(emb1)和向量2(emb2)进行拼接,得到各节点的节点特征。在确定了个节点的节点特征之后,可以提取出多个商品单元节点的节点特征(如图2B中SPU1的节点特征和SPU2的节点特征),并确定商品单元节点的节点特征相似度的预测值。之后,依据预测值和真实值确定相应的损失,以调整模型,并保存训练好的模型。其中,商品单元节点的节点特征之间相似度的真实值依据知识图谱中商品单元节点之间是否存在连接边来确定。具体的,对于两个商品单元节点的节点特征可以分别记为u和v,并可以通过以下公式3来确定。
其中,损失函数可以采取交叉熵,损失函数可以通过以下公式4来确定。
确定损失函数(loss)之后,可以依据损失函数来调整分析模型,进而得到训练后的分析模型,并通过验证集进行验证、通过测试集进行测试之后,得到训练完成的分析模型,并保存。在分析模型训练完成之后,分析模型可以在识别阶段对待分析的商品进行分析,以确定相应的商品品名。具体的,本申请实施例可以保存模型训练阶段中各个商品单元节点(SPU)的节点特征,作为标注集SPU。在对待识别的商品进行分析的过程中,可以将待分析的SPU输入到分析模型中,确定待分析SPU的节点特征,之后,确定待分析的SPU的节点特征与标注集SPU的节点特征之间的相似度,并筛选出相似度最高的标注集SPU的商品品名,作为待分析SPU的商品品名。
在上述实施例的基础上,本申请实施例还提供一种数据处理方法,可以应用在服务端,如图3所示,所述的方法包括:
步骤302、依据商品的商品信息和为商品标注的商品品名,建立节点,并为节点之间建立连接边,形成知识图谱。所述知识图谱包括节点和节点之间的连接边,所述节点包括商品品名节点、商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个。作为一个可选的实施例,所述为节点之间建立连接边,包括以下步骤中的至少一种:依据商品的商品标题,为商品名称节点和商品单元节点之间建立第一连接边;展示第一商品单元和第二商品单元的相关信息,并依据对应的点击率,为第一商品单元节点和第二商品单元之间建立第二连接边;在第一商品的商品标题包含第二商品的商品名称时,为第一商品名称节点和第二商品名称节点之间建立第三连接边;依据商品属性描述信息,为商品单元节点和商品属性节点之间建立第四连接边;依据商品类别描述信息,为商品单元节点和商品类别节点之间建立第五连接边;依据为商品标注的商品品名,建立商品品名节点与商品单元节点之间建立第六连接边。
步骤304、依据所述知识图谱,确定各节点的第一节点和第二节点,所述第一节点为与所述节点相连的节点,所述第二节点为与所述第一节点相连的节点。
步骤306、在各目标节点中融入相应的第一节点的特征信息,得到各目标节点的特征向量。
步骤308、依据目标节点的特征向量和目标节点的第二节点的特征向量的特征相似度,确定特征融入权重。
步骤310、依据所述特征融入权重,在目标节点的特征向量中融入第二节点的特征向量,形成目标节点的节点特征。
步骤312、提取商品单元节点的节点特征。
步骤314、确定商品单元节点的节点特征之间的相似度。
步骤316、依据所述相似度,确定与商品单元节点对应的目标商品单元节点。
步骤318、确定与目标商品单元节点连接的目标商品品名节点,以确定相应的商品品名。
步骤320、依据商品信息对应的标注商品品名和目标商品品名,对分析模型进行调整。
本申请实施例中,可以依据商品的商品信息和为商品标注的商品品名,建立节点,并为节点之间建立连接边,形成知识图谱,所述知识图谱包括节点和节点之间的连接边,所述节点包括商品品名节点、商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个。构建知识图谱之后,可以依据知识图谱,确定各节点的第一节点和第二节点,并向各节点中融入第一节点的特征信息,得到各节点的特征向量。之后确定各目标节点的第二节点对应的特征融入权重,进而按照相应的权重向目标节点中融入相应量的第二节点的特征向量,得到目标节点的节点特征。之后,提取商品单元节点的节点特征,并确定对应的目标商品单元节点,进而获得目标商品品名节点,以确定目标商品品名。之后,可以依据商品信息对应的标注商品品名和目标商品品名,对分析模型进行调整。训练完成的分析模型可以依据待分析的商品信息,确定相应的商品品名。
在上述实施例的基础上,本申请实施例还提供一种数据处理方法,可以应用在服务端,本实施例的方法对应识别阶段,可以依据待识别商品的商品信息,构建知识图谱,并依据知识图谱,确定商品单元节点对应的节点特征,从而确定相应的商品品名。具体的,如图4所示,所述的方法包括:
步骤402、获取商品信息,并依据商品信息,确定相应的商品知识图谱,所述商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个。本申请实施例可以依据商品的各项信息在商品知识图谱中创建节点,并为节点之间添加连接边,具体的,作为一个可选的实施例,所述依据商品信息,确定相应的商品知识图谱,包括:依据商品信息,创建节点,并建立节点之间的连接边,形成商品知识图谱。本申请实施例可以依据商品的各项信息,为节点之间建立连接边,具体的,作为一个可选的实施例,所述建立节点之间的连接边,包括以下步骤中的至少一种:依据商品的商品标题,为商品名称节点和商品单元节点之间建立第一连接边;展示第一商品单元和第二商品单元的相关信息,并依据对应的点击率,为第一商品单元节点和第二商品单元之间建立第二连接边;在第一商品的商品标题包含第二商品的商品名称时,为第一商品名称节点和第二商品名称节点之间建立第三连接边;依据商品属性描述信息,为商品单元节点和商品属性节点之间建立第四连接边;依据商品类别描述信息,为商品单元节点和商品类别节点之间建立第五连接边。
步骤404、依据所述商品知识图谱,确定所述商品的商品单元节点的节点特征,并确定商品单元节点的节点特征对应的目标商品品名节点,以确定相应的商品品名。本申请实施例可以对商品知识图谱中各节点之间的连接关系进行分析,进而确定商品单元节点相关的第一节点和第二节点,进而在商品单元节点中融入第一节点和第二节点的特征,确定商品单元节点的节点特征。具体的,作为一个可选的实施例,所述依据所述商品知识图谱,确定所述商品的商品单元节点的节点特征,包括:确定商品单元节点相关的第一节点和第二节点,所述第一节点为与所述节点相连的节点,所述第二节点为与所述第一节点相连的节点;依据所述第一节点的特征信息和所述第二节点的特征信息,确定商品单元节点的节点特征。
在确定商品单元节点的节点特征之后,可以确定与商品单元节点相似的目标商品单元节点,进而确定相应的商品品名节点,获得相应的商品品名。具体的,在一个可选的实施例中,可以确定待分析的商品单元节点的节点特征与已有的商品单元节点(训练阶段中保存的商品单元节点)的节点特征之间的相似度,并对相似度进行排序,从而筛选出最相似的一个或多个已有的商品单元节点作为目标商品单元节点,并确定相应的商品品名。在另一个可选的示例中,可以确定商品单元节点的节点特征和目标商品单元节点的节点特征的相似度,并将该相似度与预先设置的相似度阈值进行比较,以确定与商品单元节点相似的目标商品单元节点,以确定对应的商品品名。
此外,在一个可选的实施例中,本申请实施例可以提供交互页面,以通过交互页面获取待分析商品的商品信息,之后通过服务端依据商品信息进行分析,得到商品品名,并将商品品名通过交互页面下发。以便依据分析得到的商品品名进行相应的处理。
本申请实施例可以通过已标注的商品信息(标注有商品品名的商品信息)来训练分析模型,并利用训练好的分析模型来对商品信息进行处理,以确定相应的商品品名,具体的,作为一个可选的实施例,所述商品品名依据训练好的分析模型对商品信息进行分析后确定,所述方法还包括:依据已标注的商品信息,确定知识图谱,所述知识图谱包括节点和节点之间的连接边,所述节点包括商品品名节点、商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个;依据所述知识图谱,训练分析模型,所述分析模型用于确定商品单元节点的节点特征,并确定商品单元节点的节点特征对应的目标商品单元节点,以确定相应的目标商品品名。本申请实施例可以获取已标注的商品信息,并构建相应的知识图谱,并依据知识图谱来训练分析模型,其中,可以将知识图谱输入到分析模型中,确定商品品名预测结果。之后,确定商品品名预测结果与商品品名标注结果之间的差异来调整分析模型。在分析模型训练之后,可以通过训练好的分析模型来对待识别的商品的商品信息进行处理。其中,可以将训练好的分析模型的网络架构和模型参数配置到不同的设备上进行相应的处理。如可以将训练好的分析模型配置到终端、服务端等设备,以便进行相应的处理。
本申请实施例可以对商品的商品信息进行识别,并提供识别出的商品品名给商家,以便商家申报相应的申报品名。但是,实际识别出的商品品名可能会出现偏差,因此,在本申请实施例中,可以采集针对于商品的申报品名和识别出的商品品名,并进行统计,在多个商品的申报品名和商品品名不一致时,可以进行提示,以便进行相应的处理。具体的,作为一个可选的实施例,所述方法还包括:获取针对于商品的申报品名;获取依据商品信息确定的商品品名;依据所述商品品名,统计差异的申报品名的差异数量,并在差异数量符合差异阈值时,输出提示信息。在多个申报品名和依据分析模型识别出的商品品名不一致时,可以输出提示信息进行提示,以便进行相应的处理。例如,可以向服务端输出提示信息,服务端可以依据提示信息来修正分析模型,以便使得该分析模型更加适配该商家。再例如,可以向工作人员输出提示信息,以便工作人员进行人工校验,若商家申报错误,工作人员可以对商家进行指导,若商家申报正确,分析模型识别错误,工作人员可以为该商家重新训练一个分析模型,以便得到更适合该商家的商品的分析模型。
本申请实施例的实施方式与上述方法实施例的实施方式类似,具体实施方式可以参考上述方法实施例的实施方式,此处不再赘述。
本申请实施例中,可以获取待识别商品的商品信息,并构建相应的商品知识图谱,所述商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个;在确定商品知识图谱之后,可以依据商品知识图谱,在商品单元节点中融入商品名称、商品类别、商品属性等特征,确定商品单元节点的节点特征,并依据商品单元节点的节点特征,确定对应的目标商品品名节点,以确定相应的商品品名。相比于采用商家申报的名称作为品名的方式,本申请实施例可以对商品的各项信息进行分析,从而更加准确的确定待识别的商品对应的品名。另外,本申请实施例可以在商品单元节点中融入商品名称、商品类别、商品属性等特征,从而提升了商品单元节点所包含的商品特征的量,进而能够更加准确的确定商品所对应的商品品名。
在上述实施例的基础上,本申请实施例还提供一种数据处理方法,可以应用在服务端,如图5所示,所述的方法包括:
步骤502、依据商品信息,创建节点,并建立节点之间的连接边,形成商品知识图谱。所述商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个。具体的,作为一个可选的实施例,所述建立节点之间的连接边,包括以下步骤中的至少一种:依据商品的商品标题,为商品名称节点和商品单元节点之间建立第一连接边;展示第一商品单元和第二商品单元的相关信息,并依据对应的点击率,为第一商品单元节点和第二商品单元之间建立第二连接边;在第一商品的商品标题包含第二商品的商品名称时,为第一商品名称节点和第二商品名称节点之间建立第三连接边;依据商品属性描述信息,为商品单元节点和商品属性节点之间建立第四连接边;依据商品类别描述信息,为商品单元节点和商品类别节点之间建立第五连接边。
步骤504、依据所述商品知识图谱,确定商品单元节点相关的第一节点和第二节点,所述第一节点为与所述节点相连的节点,所述第二节点为与所述第一节点相连的节点。
步骤506、依据所述第一节点的特征信息和所述第二节点的特征信息,确定商品单元节点的节点特征。
步骤508、依据商品单元节点的节点特征,确定与商品单元节点对应的目标商品单元节点。
步骤510、确定与目标商品单元节点连接的目标商品品名节点,以确定相应的商品品名。
本申请实施例中,可以获取待识别商品的商品信息,并构建相应的商品知识图谱,所述商品知识图谱包括节点和节点之间的连接边,在确定商品知识图谱之后,可以依据商品知识图谱,确定商品单元节点相关的第一节点各第二节点,进而依据第一节点的特征信息、第二节点的特征信息,在商品单元节点中融入商品名称、商品类别、商品属性等特征,确定商品单元节点的节点特征,并依据商品单元节点的节点特征,确定对应的目标商品单元节点,进而依据目标商品单元节点,确定对应的目标商品品名节点,以确定相应的商品品名。
在上述实施例的基础上,本申请实施例还提供一种数据处理方法,可以应用在服务端,可以提供交互页面,以基于交互页面获取商品信息,并依据待识别商品的商品信息,构建知识图谱,以依据知识图谱,确定商品单元节点对应的节点特征,从而确定相应的商品品名。具体的,如图6A所示,所述的方法包括:
步骤602、提供交互页面,以获取商品信息。
步骤604、依据所述商品信息,确定相应的商品知识图谱,所述商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个。
步骤606、依据所述商品知识图谱,确定所述商品的商品单元节点的节点特征,并确定商品单元节点的节点特征对应的目标商品品名节点,以确定相应的商品品名。
步骤608、反馈所述商品品名。
本申请实施例的实施方式与上述方法实施例的实施方式类似,具体实施方式可以参考上述方法实施例的实施方式,此处不再赘述。
如图6B所示,本申请实施例中,服务端可以向终端提供交互页面,交互页面中可以包含有信息上传控件,终端的用户可以通过触发信息上传控件来上传商品的各项商品信息,并通过终端将商品信息上传给服务端,服务端接收到商品信息之后,可以依据商品信息,构建相应的商品知识图谱,所述商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个。在确定商品知识图谱之后,服务端可以依据商品知识图谱,在商品单元节点中融入商品名称、商品类别、商品属性等特征,确定商品单元节点的节点特征,并依据商品单元节点的节点特征,确定对应的目标商品品名节点,以确定相应的商品品名。服务端确定商品品名之后,可以将商品品名反馈给终端,以便通过交互页面进行展示。另外,作为一个可选的实施例,在交互页面中还可以设置品名调整控件,以通过品名调整控件来获取校正品名,并上传给服务端,服务端获取校正品名之后,可以依据校正品名来对分析模型进行调整,以进一步提升分析模型的准确度。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
在上述实施例的基础上,本实施例还提供了一种数据处理装置,参照图7,具体可以包括如下模块:
知识图谱获取模块702,用于获取商品信息,并依据商品信息,确定相应的商品知识图谱,所述商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个。
商品品名获取模块704,用于依据所述商品知识图谱,确定所述商品的商品单元节点的节点特征,并确定商品单元节点的节点特征对应的目标商品品名节点,以确定相应的商品品名。
综上,本申请实施例中,可以获取待识别商品的商品信息,并构建相应的商品知识图谱,所述商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个;在确定商品知识图谱之后,可以依据商品知识图谱,在商品单元节点中融入商品名称、商品类别、商品属性等特征,确定商品单元节点的节点特征,并依据商品单元节点的节点特征,确定对应的目标商品品名节点,以确定相应的商品品名。相比于采用商家申报的名称作为品名的方式,本申请实施例可以对商品的各项信息进行分析,从而更加准确的确定待识别的商品对应的品名。另外,本申请实施例可以在商品单元节点中融入商品名称、商品类别、商品属性等特征,从而提升了商品单元节点所包含的商品特征的量,进而能够更加准确的确定商品所对应的商品品名。
在上述实施例的基础上,本实施例还提供了一种数据处理装置,具体可以包括如下模块:
知识图谱构建处理模块,用于依据商品信息,创建节点,并建立节点之间的连接边,形成商品知识图谱。所述商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个。具体的,作为一个可选的实施例,所述知识图谱构建处理模块,具体用于完成包括以下步骤中的至少一种:依据商品的商品标题,为商品名称节点和商品单元节点之间建立第一连接边;展示第一商品单元和第二商品单元的相关信息,并依据对应的点击率,为第一商品单元节点和第二商品单元之间建立第二连接边;在第一商品的商品标题包含第二商品的商品名称时,为第一商品名称节点和第二商品名称节点之间建立第三连接边;依据商品属性描述信息,为商品单元节点和商品属性节点之间建立第四连接边;依据商品类别描述信息,为商品单元节点和商品类别节点之间建立第五连接边。
相关节点获取处理模块,用于依据所述商品知识图谱,确定商品单元节点相关的第一节点和第二节点,所述第一节点为与所述节点相连的节点,所述第二节点为与所述第一节点相连的节点。节点特征获取处理模块,用于依据所述第一节点的特征信息和所述第二节点的特征信息,确定商品单元节点的节点特征。目标单元获取处理模块,用于依据商品单元节点的节点特征,确定与商品单元节点对应的目标商品单元节点。商品品名获取处理模块,用于确定与目标商品单元节点连接的目标商品品名节点,以确定相应的商品品名。
本申请实施例中,可以获取待识别商品的商品信息,并构建相应的商品知识图谱,所述商品知识图谱包括节点和节点之间的连接边,在确定商品知识图谱之后,可以依据商品知识图谱,确定商品单元节点相关的第一节点各第二节点,进而依据第一节点的特征信息、第二节点的特征信息,在商品单元节点中融入商品名称、商品类别、商品属性等特征,确定商品单元节点的节点特征,并依据商品单元节点的节点特征,确定对应的目标商品单元节点,进而依据目标商品单元节点,确定对应的目标商品品名节点,以确定相应的商品品名。
在上述实施例的基础上,本实施例还提供了一种数据处理装置,参照图8,具体可以包括如下模块:
知识图谱确定模块802,用于依据已标注的商品信息,建立知识图谱,所述知识图谱包括节点和节点之间的连接边,所述节点包括商品品名节点、商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个。
商品品名确定模块804,用于依据所述知识图谱和分析模型,确定相应的目标商品品名,所述分析模型用于确定商品单元节点的节点特征,并确定商品单元节点的节点特征对应的目标商品品名节点,以确定相应的目标商品品名。
模型损失确定模块806,用于依据商品信息对应的标注商品品名和目标商品品名,对分析模型进行调整。
本申请实施例中,可以获取已标注的商品信息,并构建知识图谱,所述知识图谱包括节点和节点之间的连接边,所述节点包括商品品名节点、商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个。构建知识图谱之后,依据知识图谱来训练分析模型,所述分析模型用于确定待识别的商品的商品单元节点的节点特征,并确定相应的目标商品单元节点,从而确定目标商品品名节点,以确定商品的目标商品品名。之后依据目标商品品名和标注的标注商品品名之间的差异来调整分析模型。训练完成的分析模型可以依据待分析的商品信息,确定相应的商品品名。
在上述实施例的基础上,本实施例还提供了一种数据处理装置,具体可以包括如下模块:
知识图谱建立处理模块,用于依据商品的商品信息和为商品标注的商品品名,建立节点,并为节点之间建立连接边,形成知识图谱。所述知识图谱包括节点和节点之间的连接边,所述节点包括商品品名节点、商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个。作为一个可选的实施例,所述知识图谱建立处理模块,具体用于完成以下步骤中的至少一种:依据商品的商品标题,为商品名称节点和商品单元节点之间建立第一连接边;展示第一商品单元和第二商品单元的相关信息,并依据对应的点击率,为第一商品单元节点和第二商品单元之间建立第二连接边;在第一商品的商品标题包含第二商品的商品名称时,为第一商品名称节点和第二商品名称节点之间建立第三连接边;依据商品属性描述信息,为商品单元节点和商品属性节点之间建立第四连接边;依据商品类别描述信息,为商品单元节点和商品类别节点之间建立第五连接边;依据为商品标注的商品品名,建立商品品名节点与商品单元节点之间建立第六连接边。
相关节点确定处理模块,用于依据所述知识图谱,确定各节点的第一节点和第二节点,所述第一节点为与所述节点相连的节点,所述第二节点为与所述第一节点相连的节点。第一特征融入处理模块,用于在各目标节点中融入相应的第一节点的特征信息,得到各目标节点的特征向量。第二特征融入处理模块,用于依据目标节点的特征向量和目标节点的第二节点的特征向量的特征相似度,确定特征融入权重。节点特征确定处理模块,用于依据所述特征融入权重,在目标节点的特征向量中融入第二节点的特征向量,形成目标节点的节点特征。节点特征提取处理模块,用于提取商品单元节点的节点特征。
特征相似度获取处理模块,用于确定商品单元节点的节点特征之间的相似度。目标单元确定处理模块,用于依据所述相似度,确定与商品单元节点对应的目标商品单元节点。商品品名确定处理模块,用于确定与目标商品单元节点连接的目标商品品名节点,以确定相应的商品品名。分析模型调整处理模块,用于依据商品信息对应的标注商品品名和目标商品品名,对分析模型进行调整。
本申请实施例中,可以依据商品的商品信息和为商品标注的商品品名,建立节点,并为节点之间建立连接边,形成知识图谱,所述知识图谱包括节点和节点之间的连接边,所述节点包括商品品名节点、商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个。构建知识图谱之后,可以依据知识图谱,确定各节点的第一节点和第二节点,并向各节点中融入第一节点的特征信息,得到各节点的特征向量。之后确定各目标节点的第二节点对应的特征融入权重,进而按照相应的权重向目标节点中融入相应量的第二节点的特征向量,得到目标节点的节点特征。之后,提取商品单元节点的节点特征,并确定对应的目标商品单元节点,进而获得目标商品品名节点,以确定目标商品品名。之后,可以依据商品信息对应的标注商品品名和目标商品品名,对分析模型进行调整。训练完成的分析模型可以依据待分析的商品信息,确定相应的商品品名。
在上述实施例的基础上,本实施例还提供了一种数据处理装置,参照图9,具体可以包括如下模块:
交互页面提供模块902,用于提供交互页面,以获取商品信息。
知识图谱生成模块904,用于依据所述商品信息,确定相应的商品知识图谱,所述商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个。
商品品名生成模块906,用于依据所述商品知识图谱,确定所述商品的商品单元节点的节点特征,并确定商品单元节点的节点特征对应的目标商品品名节点,以确定相应的商品品名。
商品品名下发模块908,用于反馈所述商品品名。
综上,本申请实施例中,服务端可以向终端提供交互页面,交互页面中可以包含有信息上传控件,终端的用户可以通过触发信息上传控件来上传商品的各项商品信息,并通过终端将商品信息上传给服务端,服务端接收到商品信息之后,可以依据商品信息,构建相应的商品知识图谱,所述商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个。在确定商品知识图谱之后,服务端可以依据商品知识图谱,在商品单元节点中融入商品名称、商品类别、商品属性等特征,确定商品单元节点的节点特征,并依据商品单元节点的节点特征,确定对应的目标商品品名节点,以确定相应的商品品名。服务端确定商品品名之后,可以将商品品名反馈给终端,以便通过交互页面进行展示。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本申请实施例中各方法步骤的指令(instructions)。
本申请实施例提供了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中,所述电子设备包括服务器、终端设备等设备。
本公开的实施例可被实现为使用任意适当的硬件,固件,软件,或及其任意组合进行想要的配置的装置,该装置可包括服务器(集群)、终端等电子设备。图10示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置1000。
对于一个实施例,图10示出了示例性装置1000,该装置具有一个或多个处理器1002、被耦合到(一个或多个)处理器1002中的至少一个的控制模块(芯片组)1004、被耦合到控制模块1004的存储器1006、被耦合到控制模块1004的非易失性存储器(NVM)/存储设备1008、被耦合到控制模块1004的一个或多个输入/输出设备1010,以及被耦合到控制模块1004的网络接口1012。
处理器1002可包括一个或多个单核或多核处理器,处理器1002可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中,装置1000能够作为本申请实施例中所述服务端、终端等设备。
在一些实施例中,装置1000可包括具有指令1014的一个或多个计算机可读介质(例如,存储器1006或NVM/存储设备1008)以及与该一个或多个计算机可读介质相合并被配置为执行指令1014以实现模块从而执行本公开中所述的动作的一个或多个处理器1002。
对于一个实施例,控制模块1004可包括任意适当的接口控制器,以向(一个或多个)处理器1002中的至少一个和/或与控制模块1004通信的任意适当的设备或组件提供任意适当的接口。
控制模块1004可包括存储器控制器模块,以向存储器1006提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
存储器1006可被用于例如为装置1000加载和存储数据和/或指令1014。对于一个实施例,存储器1006可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,存储器1006可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,控制模块1004可包括一个或多个输入/输出控制器,以向NVM/存储设备1008及(一个或多个)输入/输出设备1010提供接口。
例如,NVM/存储设备1008可被用于存储数据和/或指令1014。NVM/存储设备1008可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备1008可包括作为装置1000被安装在其上的设备的一部分的存储资源,或者其可被该设备访问可不必作为该设备的一部分。例如,NVM/存储设备1008可通过网络经由(一个或多个)输入/输出设备1010进行访问。
(一个或多个)输入/输出设备1010可为装置1000提供接口以与任意其他适当的设备通信,输入/输出设备1010可以包括通信组件、音频组件、传感器组件等。网络接口1012可为装置1000提供接口以通过一个或多个网络通信,装置1000可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信,例如接入基于通信标准的无线网络,如WiFi、2G、3G、4G、5G等,或它们的组合进行无线通信。
对于一个实施例,(一个或多个)处理器1002中的至少一个可与控制模块1004的一个或多个控制器(例如,存储器控制器模块)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器1002中的至少一个可与控制模块1004的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器1002中的至少一个可与控制模块1004的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器1002中的至少一个可与控制模块1004的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,装置1000可以但不限于是:服务器、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中,装置1000可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,装置1000包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
其中,检测装置中可采用主控芯片作为处理器或控制模块,传感器数据、位置信息等存储到存储器或NVM/存储设备中,传感器组可作为输入/输出设备,通信接口可包括网络接口。
本申请实施例还提供了一种电子设备,包括:处理器;和存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如本申请实施例中一个或多个所述的方法。
本申请实施例还提供了一个或多个机器可读介质,其上存储有可执行代码,当所述可执行代码被执行时,使得处理器执行如本申请实施例中一个或多个所述的方法。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种数据处理方法、一种数据处理装置、一种电子设备和一种存储介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据处理方法,其特征在于,所述的方法包括:
获取商品信息,并依据商品信息,确定相应的商品知识图谱,所述商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个;
依据所述商品知识图谱,确定所述商品的商品单元节点的节点特征,并确定商品单元节点的节点特征对应的目标商品品名节点,以确定相应的商品品名。
2.根据权利要求1所述的方法,其特征在于,所述依据所述商品知识图谱,确定所述商品的商品单元节点的节点特征,包括:
确定商品单元节点相关的第一节点和第二节点,所述第一节点为与所述节点相连的节点,所述第二节点为与所述第一节点相连的节点;
依据所述第一节点的特征信息和所述第二节点的特征信息,确定商品单元节点的节点特征。
3.根据权利要求1所述的方法,其特征在于,所述商品品名依据训练好的分析模型对商品信息进行分析后确定,所述方法还包括:
依据已标注的商品信息,确定知识图谱,所述知识图谱包括节点和节点之间的连接边,所述节点包括商品品名节点、商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个;
依据所述知识图谱,训练分析模型,所述分析模型用于确定商品单元节点的节点特征,并确定商品单元节点的节点特征对应的目标商品单元节点,以确定相应的目标商品品名。
4.一种数据处理方法,其特征在于,所述的方法包括:
依据已标注的商品信息,建立知识图谱,所述知识图谱包括节点和节点之间的连接边,所述节点包括商品品名节点、商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个;
依据所述知识图谱和分析模型,确定相应的目标商品品名,所述分析模型用于确定商品单元节点的节点特征,并确定商品单元节点的节点特征对应的目标商品品名节点,以确定相应的目标商品品名;
依据商品信息对应的标注商品品名和目标商品品名,对分析模型进行调整。
5.根据权利要求4所述的方法,其特征在于,所述确定商品单元节点的节点特征,包括:
确定各节点的第一节点和第二节点,所述第一节点为与所述节点相连的节点,所述第二节点为与所述第一节点相连的节点;
依据节点的特征信息、第一节点的特征信息和第二节点的特征信息,确定各节点的节点特征;
提取商品单元节点的节点特征。
6.根据权利要求5所述的方法,其特征在于,所述依据节点的特征信息、第一节点的特征信息和第二节点的特征信息,确定各节点的节点特征,包括:
在各目标节点中融入相应的第一节点的特征信息,得到各目标节点的特征向量;
依据目标节点的特征向量和目标节点的第二节点的特征向量的特征相似度,确定特征融入权重;
依据所述特征融入权重,在目标节点的特征向量中融入第二节点的特征向量,形成目标节点的节点特征。
7.一种数据处理方法,其特征在于,所述的方法包括:
提供交互页面,以获取商品信息;
依据所述商品信息,确定相应的商品知识图谱,所述商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个;
依据所述商品知识图谱,确定所述商品的商品单元节点的节点特征,并确定商品单元节点的节点特征对应的目标商品品名节点,以确定相应的商品品名;
反馈所述商品品名。
8.一种数据处理装置,其特征在于,所述的装置包括:
知识图谱获取模块,用于获取商品信息,并依据商品信息,确定相应的商品知识图谱,所述商品知识图谱包括节点和节点之间的连接边,所述节点包括商品单元节点、商品类别节点、商品名称节点、商品属性节点中的至少一个;
商品品名获取模块,用于依据所述商品知识图谱,确定所述商品的商品单元节点的节点特征,并确定商品单元节点的节点特征对应的目标商品品名节点,以确定相应的商品品名。
9.一种电子设备,其特征在于,包括:处理器;和
存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如权利要求1-7中一个或多个所述的方法。
10.一个或多个机器可读介质,其上存储有可执行代码,当所述可执行代码被执行时,使得处理器执行如权利要求1-7中一个或多个所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110352837.2A CN115222464A (zh) | 2021-03-31 | 2021-03-31 | 数据处理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110352837.2A CN115222464A (zh) | 2021-03-31 | 2021-03-31 | 数据处理方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115222464A true CN115222464A (zh) | 2022-10-21 |
Family
ID=83604121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110352837.2A Pending CN115222464A (zh) | 2021-03-31 | 2021-03-31 | 数据处理方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115222464A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115618018A (zh) * | 2022-10-31 | 2023-01-17 | 福州果集信息科技有限公司 | 一种基于spu的知识图谱构建方法及存储介质 |
CN115631495A (zh) * | 2022-10-31 | 2023-01-20 | 福州果集信息科技有限公司 | 一种基于页面分析的spu获取方法及存储介质 |
CN118070896A (zh) * | 2024-04-25 | 2024-05-24 | 上海冰鉴信息科技有限公司 | 基于知识图谱的信息处理方法及系统 |
-
2021
- 2021-03-31 CN CN202110352837.2A patent/CN115222464A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115618018A (zh) * | 2022-10-31 | 2023-01-17 | 福州果集信息科技有限公司 | 一种基于spu的知识图谱构建方法及存储介质 |
CN115631495A (zh) * | 2022-10-31 | 2023-01-20 | 福州果集信息科技有限公司 | 一种基于页面分析的spu获取方法及存储介质 |
CN115631495B (zh) * | 2022-10-31 | 2023-08-22 | 福州果集信息科技有限公司 | 一种基于页面分析的spu获取方法及存储介质 |
CN118070896A (zh) * | 2024-04-25 | 2024-05-24 | 上海冰鉴信息科技有限公司 | 基于知识图谱的信息处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115222464A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
WO2020238229A1 (zh) | 交易特征生成模型的训练、交易特征的生成方法和装置 | |
US9043232B1 (en) | Associating item images with item catalog data | |
CN110955659B (zh) | 处理数据表的方法及系统 | |
US20230169554A1 (en) | System and method for automated electronic catalogue management and electronic image quality assessment | |
CN111783039B (zh) | 风险确定方法、装置、计算机系统和存储介质 | |
CN111612657A (zh) | 一种客户类型识别方法、装置、电子设备及存储介质 | |
CN110569502A (zh) | 一种违禁广告语的识别方法、装置、计算机设备及存储介质 | |
CN113191834B (zh) | 商品对象发布、识别方法、装置、电子设备和存储介质 | |
WO2019072098A1 (zh) | 一种识别核心产品词的方法和系统 | |
CN110363206B (zh) | 数据对象的聚类、数据处理及数据识别方法 | |
CN113221918A (zh) | 目标检测方法、目标检测模型的训练方法及装置 | |
CN110874534A (zh) | 数据处理方法和数据处理装置 | |
CN110688560A (zh) | 一种信息推荐的方法和装置 | |
CN113989476A (zh) | 对象识别方法及电子设备 | |
CN114417146A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN112084242A (zh) | 一种消费信息的展示方法、装置、终端及介质 | |
CN110362702B (zh) | 图片管理方法及设备 | |
CN112199451A (zh) | 商品识别方法、装置、计算机设备及存储介质 | |
US9201967B1 (en) | Rule based product classification | |
CN112241490A (zh) | 分类处理及数据搜索方法、装置、电子设备、智能音箱 | |
US20240112236A1 (en) | Information processing device, information processing method, and computer-readable storage medium storing program | |
CN112348615A (zh) | 用于审核信息的方法和装置 | |
CN116402069A (zh) | 一种商品对象信息的翻译方法、设备和介质 | |
CN112308644A (zh) | 一种描述信息的处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |