CN116823043A - 一种基于数据画像的供应链数据质量量化分析方法及系统 - Google Patents
一种基于数据画像的供应链数据质量量化分析方法及系统 Download PDFInfo
- Publication number
- CN116823043A CN116823043A CN202310759288.XA CN202310759288A CN116823043A CN 116823043 A CN116823043 A CN 116823043A CN 202310759288 A CN202310759288 A CN 202310759288A CN 116823043 A CN116823043 A CN 116823043A
- Authority
- CN
- China
- Prior art keywords
- data
- supply chain
- chain data
- target supply
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004445 quantitative analysis Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013441 quality evaluation Methods 0.000 claims abstract description 31
- 230000007547 defect Effects 0.000 claims description 104
- 238000011156 evaluation Methods 0.000 claims description 46
- 238000004458 analytical method Methods 0.000 claims description 19
- 238000012216 screening Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000010234 longitudinal analysis Methods 0.000 claims description 6
- 230000003313 weakening effect Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000011157 data evaluation Methods 0.000 abstract description 3
- 238000011158 quantitative evaluation Methods 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 238000013139 quantization Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Educational Administration (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于数据画像的供应链数据质量量化分析方法及系统,涉及数据评价技术领域。方法包括:首先,通过预设接口,根据原始供应链数据,生成目标供应链数据,并提取目标供应链数据的多维特征数据,将多维特征数据输入预设数据质量评价模型,得到目标供应链数据的多维量化分析结果。然后,根据目标供应链数据的多维量化分析结果,构建目标供应链数据的数据画像。最后,获取标准数据画像,根据标准数据画像与目标供应链数据的数据画像的画像差异,生成供应链数据质量量化分析报告。在本申请中,通过构建对供应链数据的数据质量量化评价方法,从多个维度对供应链数据的数据质量进行评估,提升了质量评估的准确率,并且降低了人力成本。
Description
技术领域
本申请涉及数据评价技术领域,具体涉及一种基于数据画像的供应链数据质量量化分析方法及系统。
背景技术
供应链是指围绕核心企业,从配套零件开始,制成中间产品以及最终产品,最后由销售网络把产品送到消费者手中。而在这个过程中产生的数据即为供应链数据,但是供应链数据,可能由于人为录入的错误、人为篡改、机械故障等原因,往往会存在数据属性缺失、数据相似重复、数据属性值异常等问题。这些错误可能会造成数据冗余,浪费存储的空间,甚至可能导致数据分析挖掘时产生严重的偏差。因此,供应链数据质量地影响了对供应链的决策调整。
相关技术中,在对供应链数据质量进行分析时,往往通过采用人工校核和分析的方式来实现,但是这种方式效率较低,耗费大量人力,并且受人的主观因素影响,不够客观准确。
发明内容
本申请针对现有的问题,提出了一种基于数据画像的供应链数据质量量化分析方法及系统,具体技术方案如下:
在本申请实施例的第一方面,提供一种基于数据画像的供应链数据质量量化分析方法,所述方法包括:
通过预设接口,根据所述原始供应链数据,生成目标供应链数据;
提取所述目标供应链数据的多维特征数据,并将所述多维特征数据输入预设数据质量评价模型,得到所述目标供应链数据的多维量化分析结果;
根据所述目标供应链数据的多维量化分析结果,构建所述目标供应链数据的数据画像;
获取标准数据画像,根据所述标准数据画像与所述目标供应链数据的数据画像的画像差异,生成供应链数据质量量化分析报告,其中,所述标准数据画像为不存在质量缺陷的数据画像。
可选地,根据所述原始供应链数据,生成目标供应链数据的步骤包括
确定所述原始供应链数据的时间戳以及业务数据类型;
按照所述业务数据类型对所述原始供应链数据进行分类,并基于所述时间戳对分类后的原始供应链数据进行整合,获得数据点序列;
根据时间维度限值,对所述数据点序列进行筛选,获得所述目标供应链数据。
可选地,根据时间维度限值,对所述数据点序列进行筛选,获得所述目标供应链数据的步骤包括:
分别以所述数据点序列的每个数据点为起始点,沿所述第一数据点序列进行遍历;
计算所述数据点序列中每个数据点与所述起始点的时间刻度差值,在所述时间刻度差值小于或等于所述时间维度限值的情况下,将所述起始点确定为目标数据点;
将多个目标数据点进行集合,生成所述目标供应链数据。
可选地,提取所述目标供应链数据的多维特征数据,并将所述多维特征数据输入预设数据质量评价模型,得到所述目标供应链数据的多维量化分析结果的步骤包括:
基于不同的评价维度对所述目标供应链数据进行特征提取,得到不同评价维度下的特征数据;
将所述不同评价维度下的特征数据,输入相应评价维度下的数据质量评价模型,得到所述目标供应链数据不同评价维度下的数据质量评价结果;
将所述目标供应链数据不同评价维度下的数据质量评价结果进行融合,获得所述目标供应链数据的多维量化分析结果。
可选地,根据所述目标供应链数据的多维量化分析结果,构建所述目标供应链数据的数据画像的步骤包括:
根据所述目标供应链数据的多维量化分析结果,确定所述目标供应链数据的主节点和多个次节点;
根据所述主节点和所述次节点供应链数据的层次结构和拓扑关系,建所述目标供应链数据的数据画像。
可选地,根据所述标准数据画像与所述目标供应链数据的数据画像的画像差异,生成供应链数据质量量化分析报告的步骤包括:
根据所述标准数据画像与所述目标供应链数据的数据画像的画像差异,生成所述目标供应链数据的数据画像的质量缺陷标签;
根据所述质量缺陷标签对应的供应链数据来源,确定匹配的展示模板;
将所述目标供应链数据的数据画像和所述质量缺陷标签导入所述展示模板,生成所述供应链数据质量量化分析报告。
可选地,所述方法还包括:
判断所述质量缺陷标签是否位于重点缺陷名单中;
在所述质量缺陷标签位于所述重点缺陷名单中的情况下,在所述供应链数据质量量化分析报告中对所述质量缺陷标签对应的质量缺陷维度进行强化展示;
在所述质量缺陷标签不位于所述重点缺陷名单中的情况下,在所述供应链数据质量量化分析报告中对所述质量缺陷标签对应的质量缺陷维度进行弱化展示。
可选地,所述方法还包括:
获取第一目标供应链数据以及第二目标供应链数据;其中,所述第一目标供应链数据和所述第二目标供应链数据为不同时间段的相同业务类型数据;
分别生成所述第一目标供应链数据对应的第一画像和所述第二目标供应链数据对应的第二画像;
根据所述第一画像和所述第二画像的画像差异,生成供应链数据纵向分析结果。
在本申请实施例的第二方面,提供一种基于数据画像的供应链数据质量量化分析系统,系统包括:
获取模块,用于通过预设接口,根据原始供应链数据,生成目标供应链数据;
分析模块,用于提取目标供应链数据的多维特征数据,并将多维特征数据输入预设数据质量评价模型,得到目标供应链数据的多维量化分析结果;
构建模块,用于根据目标供应链数据的多维量化分析结果,构建目标供应链数据的数据画像;
输出模块,用于获取标准数据画像,根据标准数据画像与目标供应链数据的数据画像的画像差异,生成供应链数据质量量化分析报告,其中,标准数据画像为不存在质量缺陷的数据画像。
可选地,获取模块包括:
获取子模块,用于确定原始供应链数据的时间戳以及业务数据类型;
数据处理子模块,用于按照业务数据类型对原始供应链数据进行分类,并基于时间戳对分类后的原始供应链数据进行整合,获得数据点序列;
筛选子模块,用于根据时间维度限值,对数据点序列进行筛选,获得目标供应链数据。
可选地,筛选子模块包括:
遍历单元,用于分别以数据点序列的每个数据点为起始点,沿第一数据点序列进行遍历;
调整单元,用于计算数据点序列中每个数据点与起始点的时间刻度差值,在时间刻度差值小于或等于时间维度限值的情况下,将起始点确定为目标数据点;
集合单元,用于将多个目标数据点进行集合,生成目标供应链数据。
可选地,分析模块包括:
特征提取子模块,用于基于不同的评价维度对目标供应链数据进行特征提取,得到不同评价维度下的特征数据;
特征输入子模块,用于将不同评价维度下的特征数据,输入相应评价维度下的数据质量评价模型,得到目标供应链数据不同评价维度下的数据质量评价结果;
融合子模块,用于将目标供应链数据不同评价维度下的数据质量评价结果进行融合,获得目标供应链数据的多维量化分析结果。
可选地,构建模块包括:
关系确定子模块,用于根据目标供应链数据的多维量化分析结果,确定目标供应链数据的主节点和多个次节点;
绘图子模块,用于根据主节点和次节点供应链数据的层次结构和拓扑关系,建目标供应链数据的数据画像。
可选地,输出模块包括:
质量缺陷标签确定子模块,用于根据标准数据画像与目标供应链数据的数据画像的画像差异,生成目标供应链数据的数据画像的质量缺陷标签;
展示确定子模块,用于根据质量缺陷标签对应的供应链数据来源,确定匹配的展示模板;
报告生成子模块,用于将目标供应链数据的数据画像和质量缺陷标签导入展示模板,生成供应链数据质量量化分析报告。
可选地,输出模块还包括:
判断子模块,用于判断质量缺陷标签是否位于重点缺陷名单中;
第一展示子模块,用于在质量缺陷标签位于重点缺陷名单中的情况下,在供应链数据质量量化分析报告中对质量缺陷标签对应的质量缺陷维度进行强化展示;
第二展示子模块,用于在质量缺陷标签不位于重点缺陷名单中的情况下,在供应链数据质量量化分析报告中对质量缺陷标签对应的质量缺陷维度进行弱化展示。
可选地,系统还包括横向对比模块,横向对比模块包括:
横向对比数据获取子模块,用于获取第一目标供应链数据以及第二目标供应链数据;其中,第一目标供应链数据和第二目标供应链数据为不同时间段的相同业务类型数据;
画像生成子模块,用于分别生成第一目标供应链数据对应的第一画像和第二目标供应链数据对应的第二画像;
分析子模块,用于根据第一画像和第二画像的画像差异,生成供应链数据纵向分析结果。
在本申请实施例的第三方面,提供一种电子设备,该设备包括存储器和处理器,存储器中存储有计算机程序,处理器执行计算机程序,实现上述第一方面的方法。
在本申请实施例的第四方面,提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,处理器执行计算机程序,实现上述第一方面的方法。
本发明实施例包括以下优点:首先,通过预设接口,根据原始供应链数据,生成目标供应链数据,并提取目标供应链数据的多维特征数据,将多维特征数据输入预设数据质量评价模型,得到目标供应链数据的多维量化分析结果。然后,根据目标供应链数据的多维量化分析结果,构建目标供应链数据的数据画像。最后,获取标准数据画像,根据标准数据画像与目标供应链数据的数据画像的画像差异,生成供应链数据质量量化分析报告。在本申请中,通过构建对供应链数据的数据质量量化评价方法,从多个维度对供应链数据的数据质量进行评估,获取更多尺度的特征,提升了质量评估的准确率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图;
图2为根据一示例性实施例示出的一种基于数据画像的供应链数据质量量化分析方法流程图;
图3为根据一示例性实施例示出的一种基于数据画像的供应链数据质量量化分析系统的框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参照图1,图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图。
如图1所示,该电子设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。
在图1所示的电子设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明电子设备中的处理器1001、存储器1005可以设置在电子设备中,电子设备通过处理器1001调用存储器1005中存储的基于数据画像的供应链数据质量量化分析系统,并执行本申请实施例提供的基于数据画像的供应链数据质量量化分析方法。
参照图2,基于前述硬件运行环境,本申请的实施例提供了一种基于数据画像的供应链数据质量量化分析方法,包括以下步骤:
S201:通过预设接口,根据原始供应链数据,生成目标供应链数据。
在本实施方式中,这里的预设接口可以为与供应链中各个系统连接的数据接口,用于获取不同的系统发送的供应链数据,而对不同的系统发送的供应链数据进行整合,其具体的步骤可以为:
S201-1:确定原始供应链数据的时间戳以及业务数据类型。
在本实施方式中,原始供应链数据中包含了产生该记录的时间,即对应的时间戳,供应链数据的业务数据类型是指该供应链数据属于供应链中的哪一环,作为示例的,业务数据类型可以为库存数据、成本数据、人力数据等,由不同的业务系统进行下发。
S201-2:按照业务数据类型对原始供应链数据进行分类,并基于时间戳对分类后的原始供应链数据进行整合,获得数据点序列。
在本实施方式中,由于通过预设接口获得的不同的业务系统下发的原始供应链数据中,有相同业务类型的数据,也有不同业务类型的数据,因此首先按照业务数据类型对原始供应链数据进行分类和标记,例如:将库存数据都标记为类别A,将成本数据都标记为类别B,将人力数据都标记为类别C,然后在对每个类别中的原始供应链数据按照时间戳进行整合,可以理解的是,在生成原始供应链数据时,可以是产生相应的记录点,例如:在xx时刻,库存数量为xx,该条记录就可以认为是一个记录点。按照时间戳的从小到大的次序,对分类后的原始供应链数据进行整合,就得到时间连续的数据点序列a1→a2→a3⋯an−1→an。
S201-3:根据时间维度限值,对数据点序列进行筛选,获得目标供应链数据。
在本实施方式中,在获得数据点序列之后,为了保证数据的时效性,需要根据预设的时间维度限值对数据点序列进行筛选,其具体的步骤包括:
S201-3-1:分别以数据点序列的每个数据点为起始点,沿第一数据点序列进行遍历;
S201-3-2:计算数据点序列中每个数据点与起始点的时间刻度差值,在时间刻度差值小于或等于时间维度限值的情况下,将起始点确定为目标数据点;
S201-3-3:将多个目标数据点进行集合,生成目标供应链数据。
在S201-3-1至S201-3-3的实施方式中,在本实施方式中,继续以上述实施例中的数据点序列a1→a2→a3⋯an−1→an为例,首先从数据点序列第一个数据点开始,即将a1作为起始点,按照预设的窗口长度同时进行遍历,然后再以a2作为起始点,同时往a1方向和a3方向同时进行遍历,直至完成对an的遍历,在遍历的过程中,继续以a2为起始点进行说明,分别计算a1、a3与a2的时间刻度差值,即利用a1、a3的时间戳与a2的时间戳进行相减,得到时间刻度差值,然后将满足时间要求的数据点提取出来,即目标数据点,然后将多个目标数据点进行集合,生成目标供应链数据。
S202:提取目标供应链数据的多维特征数据,并将多维特征数据输入预设数据质量评价模型,得到目标供应链数据的多维量化分析结果。
在本实施方式中,在获得目标供应链数据之后,由于需要从不同的维度来评价该目标供应链数据的质量高低,其具体的步骤可以为:
S202-1:基于不同的评价维度对目标供应链数据进行特征提取,得到不同评价维度下的特征数据。
S202-2:将不同评价维度下的特征数据,输入相应评价维度下的数据质量评价模型,得到目标供应链数据不同评价维度下的数据质量评价结果。
S202-3:将目标供应链数据不同评价维度下的数据质量评价结果进行融合,获得目标供应链数据的多维量化分析结果。
在S202-1至S202-3的实施方式中,对于一个目标供应链数据,可以从该目标供应链数据的完备性、一致性、准确性等多个评价维度来对评价,基于完备性、一致性、准确性等多个评价维度对目标供应链数据进行特征提取,从而得到完备性、一致性、准确性等不同评价维度下的特征数据。然后将完备性评价维度下的特征数据、一致性评价维度下的特征数据、准确性评价维度下的特征数据分别输入相应评价维度下的数据质量评价模型,从而得到不同评价维度下的数据质量评价结果,然后进行加权融合,得到最终的人多维量化分析结果,通过获取更多尺度的特征,从而提升最终的评价准确率。
S203:根据目标供应链数据的多维量化分析结果,构建目标供应链数据的数据画像。
在本实施方式中,供应链数据的数据画像可以理解为供应链数据的具象化视图,其可以为圆形环状图,该圆形环状图中每个区域可以为反映供应链本身属性特征的参数,例如供应链数据完备程度、准确程度、数据安全等属性特征,来构建标供应链数据的数据画像,其具体的步骤包括:
S203-1:根据目标供应链数据的多维量化分析结果,确定目标供应链数据的主节点和多个次节点;
S203-2:根据主节点和次节点供应链数据的层次结构和拓扑关系,建目标供应链数据的数据画像。
在S203-1至S203-2的实施方式中,多维量化分析结果包含了每个评价维度下的数据质量评价分数,可以理解不同评价维度下的数据质量评价结果,其实就是对应的评价分数,按照评价分数与预设阈值的大小来确定主节点和次节点,作为示例的,若数据完备性下评价分数小于预设阈值,则说明从数据完备维度来进行考虑,现有的供应链数据还存在相应的问题。因此,需要向用户着重去展示这个问题,因此将其作为主节点。或者若数据完备性下评价分数大于或等于预设阈值,则说明从数据完备维度来进行考虑,现有的供应链数据的完备性较好,因此不需要重点去关注这个问题,因此其作为次节点,在显示层级和展示优先等级上,主节点要高于次节点。然后根据各个维度数据之间的相互关系和层级关系,确定主节点和次节点供应链数据的层次结构和拓扑关系,从而进行绘制,得到目标供应链数据的数据画像。
S204:获取标准数据画像,根据标准数据画像与目标供应链数据的数据画像的画像差异,生成供应链数据质量量化分析报告。
在本实施方式中,标准数据画像可以理解为用户期望的供应链数据的属性特征,即不存在质量缺陷的数据画像,作为示例的,用户期望的供应链数据的属性可以为供应链数据的数据完备程度达到百分之九十九,准确程度达到百分之百等等。然后根据目标供应链数据的数据画像与用户期望的标准数据画像的画像差异,就能获得直观展示差异的应链数据质量量化分析报告,其具体的步骤包括:
S204-1:根据标准数据画像与目标供应链数据的数据画像的画像差异,生成目标供应链数据的数据画像的质量缺陷标签;
S204-2:根据质量缺陷标签对应的供应链数据来源,确定匹配的展示模板;
S204-3:将目标供应链数据的数据画像和质量缺陷标签导入展示模板,生成供应链数据质量量化分析报告。
在S204-1至S204-3的实施方式中,在获得目标供应链数据的数据画像和标准数据画像之后,需要确定当前的供应链数据与理想的供应链数据之间存在的质量差异,到底体现在什么地方,而标准数据画像与目标供应链数据的数据画像的画像差异,则可以理解为一种质量缺陷,例如:理想供应链数据的数据完备程度为百分之九十九,而目标供应链数据的数据完备程度为百分之九十七,则可以生成一个“数据完备程度质量缺陷”的标签,同理,将标准数据画像与目标供应链数据的数据画像的画像从多个维度进行比较,如果存在画像差异,则可以生成多个质量缺陷标签。然后根据产生该缺陷供应链数据的数据来源,匹配相应的展示模板,例如产生“数据完备程度质量缺陷”标签的系统是xx仓储系统,则将与仓储系统匹配的展示模板,展示模板的内容可以为“xx仓储系统出现数据完备程度质量缺陷,请进行查验和校对。”然后将该展示模板的内容、目标供应链数据的数据画像以及质量缺陷标签一起进行绘制并输出,得到能够向用户直观展示供应链数据质量缺陷以及相关的溯源信息的供应链数据质量量化分析报告。
在一种可行的实施方式中,方法还包括:
判断质量缺陷标签是否位于重点缺陷名单中;
在质量缺陷标签位于重点缺陷名单中的情况下,在供应链数据质量量化分析报告中对质量缺陷标签对应的质量缺陷维度进行强化展示;
在质量缺陷标签不位于重点缺陷名单中的情况下,在供应链数据质量量化分析报告中对质量缺陷标签对应的质量缺陷维度进行弱化展示。
在本实施方式中,对于用户来说,不是所有的供应链数据质量缺陷都是其关注的内容,因为不同的供应链数据质量缺陷对供应链的分析和决策的影响是不同的,因此可以根据不同的供应链数据质量缺陷对供应链的分析和决策的影响因子构建重点缺陷名单,即将影响因子大于阈值的数据质量缺陷作为重点关注对象。对于任意一种质量缺陷,遍历其对应的标签是否处于重点缺陷名单中,如果在重点缺陷名单中,则说明该质量缺陷需要重点关注,通过调整其在标准数据画像中和目标供应链数据的数据画像中显示比例,显示颜色等参数对其进行强化展示,从而帮助用户能够从应链数据质量量化分析报告中对质量缺陷标签对应的质量缺陷维度直观地获取到该信息,例如:理想供应链数据的数据完备程度分值为100分,而目标供应链数据的数据完备程度分值为99分,理想供应链数据的数据安全分为100分,而目标供应链数据的数据安全分为98分,因此实际展示的数据安全缺陷,理论上应该在图像上展示时应该比数据完备程度缺陷更直观和明显,但是由于数据完备程度缺陷在重点缺陷名单中,而数据安全缺陷不在重点缺陷名单中,因此需要对于数据完备程度缺陷进行强化展示,对于数据安全缺陷进行弱化展示。使得数据完备程度缺陷在供应链数据质量量化分析报告中对质量缺陷标签对应的质量缺陷维度展示时比数据安全缺陷更直观和明显。从而能够更加引起用户的注意。
在一种可行的实施方式中,方法还包括:
获取第一目标供应链数据以及第二目标供应链数据;其中,第一目标供应链数据和第二目标供应链数据为不同时间段的相同业务类型数据;
分别生成第一目标供应链数据对应的第一画像和第二目标供应链数据对应的第二画像;
根据第一画像和第二画像的画像差异,生成供应链数据纵向分析结果。
在本实施方式中,对于用户来说,在对相同系统的不同时间段的目标供应链数据进行数据评价时,采用上述实施中的方法分别获得第一目标供应链数据对应的第一画像和二目标供应链数据对应的第二画像,然后通过第一画像和第二画像实现供应链数据纵向分析。从而帮助用户从季度,月度等纵向时间维度对供应链数据进行分析和处理。
参照图3,图3是根据一示例性实施例示出的一种基于数据画像的供应链数据质量量化分析系统300的模块功能框图,如图3所示,该系统300包括:
获取模块301,用于通过预设接口,根据原始供应链数据,生成目标供应链数据;
分析模块302,用于提取目标供应链数据的多维特征数据,并将多维特征数据输入预设数据质量评价模型,得到目标供应链数据的多维量化分析结果;
构建模块303,用于根据目标供应链数据的多维量化分析结果,构建目标供应链数据的数据画像;
输出模块304,用于获取标准数据画像,根据标准数据画像与目标供应链数据的数据画像的画像差异,生成供应链数据质量量化分析报告,其中,标准数据画像为不存在质量缺陷的数据画像。
在一种可行的实施方式中,获取模块301包括:
获取子模块,用于确定原始供应链数据的时间戳以及业务数据类型;
数据处理子模块,用于按照业务数据类型对原始供应链数据进行分类,并基于时间戳对分类后的原始供应链数据进行整合,获得数据点序列;
筛选子模块,用于根据时间维度限值,对数据点序列进行筛选,获得目标供应链数据。
在一种可行的实施方式中,筛选子模块包括:
遍历单元,用于分别以数据点序列的每个数据点为起始点,沿第一数据点序列进行遍历;
调整单元,用于计算数据点序列中每个数据点与起始点的时间刻度差值,在时间刻度差值小于或等于时间维度限值的情况下,将起始点确定为目标数据点;
集合单元,用于将多个目标数据点进行集合,生成目标供应链数据。
在一种可行的实施方式中,分析模块302包括:
特征提取子模块,用于基于不同的评价维度对目标供应链数据进行特征提取,得到不同评价维度下的特征数据;
特征输入子模块,用于将不同评价维度下的特征数据,输入相应评价维度下的数据质量评价模型,得到目标供应链数据不同评价维度下的数据质量评价结果;
融合子模块,用于将目标供应链数据不同评价维度下的数据质量评价结果进行融合,获得目标供应链数据的多维量化分析结果。
在一种可行的实施方式中,构建模块303包括:
关系确定子模块,用于根据目标供应链数据的多维量化分析结果,确定目标供应链数据的主节点和多个次节点;
绘图子模块,用于根据主节点和次节点供应链数据的层次结构和拓扑关系,建目标供应链数据的数据画像。
在一种可行的实施方式中,输出模块304包括:
质量缺陷标签确定子模块,用于根据标准数据画像与目标供应链数据的数据画像的画像差异,生成目标供应链数据的数据画像的质量缺陷标签;
展示确定子模块,用于根据质量缺陷标签对应的供应链数据来源,确定匹配的展示模板;
报告生成子模块,用于将目标供应链数据的数据画像和质量缺陷标签导入展示模板,生成供应链数据质量量化分析报告。
在一种可行的实施方式中,输出模块还包括:
判断子模块,用于判断质量缺陷标签是否位于重点缺陷名单中;
第一展示子模块,用于在质量缺陷标签位于重点缺陷名单中的情况下,在供应链数据质量量化分析报告中对质量缺陷标签对应的质量缺陷维度进行强化展示;
第二展示子模块,用于在质量缺陷标签不位于重点缺陷名单中的情况下,在供应链数据质量量化分析报告中对质量缺陷标签对应的质量缺陷维度进行弱化展示。
在一种可行的实施方式中,系统还包括横向对比模块,横向对比模块包括:
横向对比数据获取子模块,用于获取第一目标供应链数据以及第二目标供应链数据;其中,第一目标供应链数据和第二目标供应链数据为不同时间段的相同业务类型数据;
画像生成子模块,用于分别生成第一目标供应链数据对应的第一画像和第二目标供应链数据对应的第二画像;
分析子模块,用于根据第一画像和第二画像的画像差异,生成供应链数据纵向分析结果。
需要说明的是,本实施例中的基于数据画像的供应链数据质量量化分析系统中各模块是与前述实施例中的基于数据画像的供应链数据质量量化分析方法及装置中的各步骤一一对应,因此,本实施例的具体实施方式可参照前述基于数据画像的供应链数据质量量化分析方法及装置的实施方式,这里不再赘述。
基于同一发明构思,本申请的实施例还提供一种电子设备,电子设备包括:
至少一个处理器;以及,
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行基于数据画像的供应链数据质量量化分析方法。
基于同一发明构思,本申请的实施例还提供一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现电路板基于数据画像的供应链数据质量量化分析方法。
基于同一发明构思,本申请的实施例还提供一种计算机程序产品,计算机程序产品在被处理器时,实现基于数据画像的供应链数据质量量化分析方法。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用储存介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。“和/或”表示可以选择两者之中的任意一个,也可以两者都选择。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种基于数据画像的供应链数据质量量化分析方法及系统,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于数据画像的供应链数据质量量化分析方法,其特征在于,所述方法包括:
通过预设接口,根据所述原始供应链数据,生成目标供应链数据;
提取所述目标供应链数据的多维特征数据,并将所述多维特征数据输入预设数据质量评价模型,得到所述目标供应链数据的多维量化分析结果;
根据所述目标供应链数据的多维量化分析结果,构建所述目标供应链数据的数据画像;
获取标准数据画像,根据所述标准数据画像与所述目标供应链数据的数据画像的画像差异,生成供应链数据质量量化分析报告,其中,所述标准数据画像为不存在质量缺陷的数据画像。
2.根据权利要求1所述的基于数据画像的供应链数据质量量化分析方法,其特征在于,根据所述原始供应链数据,生成目标供应链数据的步骤包括:
确定所述原始供应链数据的时间戳以及业务数据类型;
按照所述业务数据类型对所述原始供应链数据进行分类,并基于所述时间戳对分类后的原始供应链数据进行整合,获得数据点序列;
根据时间维度限值,对所述数据点序列进行筛选,获得所述目标供应链数据。
3.根据权利要求1所述的基于数据画像的供应链数据质量量化分析方法,其特征在于,根据时间维度限值,对所述数据点序列进行筛选,获得所述目标供应链数据的步骤包括:
分别以所述数据点序列的每个数据点为起始点,沿所述第一数据点序列进行遍历;
计算所述数据点序列中每个数据点与所述起始点的时间刻度差值,在所述时间刻度差值小于或等于所述时间维度限值的情况下,将所述起始点确定为目标数据点;
将多个目标数据点进行集合,生成所述目标供应链数据。
4.根据权利要求1所述的基于数据画像的供应链数据质量量化分析方法,其特征在于,提取所述目标供应链数据的多维特征数据,并将所述多维特征数据输入预设数据质量评价模型,得到所述目标供应链数据的多维量化分析结果的步骤包括:
基于不同的评价维度对所述目标供应链数据进行特征提取,得到不同评价维度下的特征数据;
将所述不同评价维度下的特征数据,输入相应评价维度下的数据质量评价模型,得到所述目标供应链数据不同评价维度下的数据质量评价结果;
将所述目标供应链数据不同评价维度下的数据质量评价结果进行融合,获得所述目标供应链数据的多维量化分析结果。
5.根据权利要求1所述的基于数据画像的供应链数据质量量化分析方法,其特征在于,根据所述目标供应链数据的多维量化分析结果,构建所述目标供应链数据的数据画像的步骤包括:
根据所述目标供应链数据的多维量化分析结果,确定所述目标供应链数据的主节点和多个次节点;
根据所述主节点和所述次节点供应链数据的层次结构和拓扑关系,建所述目标供应链数据的数据画像。
6.根据权利要求1所述的基于数据画像的供应链数据质量量化分析方法,其特征在于,根据所述标准数据画像与所述目标供应链数据的数据画像的画像差异,生成供应链数据质量量化分析报告的步骤包括:
根据所述标准数据画像与所述目标供应链数据的数据画像的画像差异,生成所述目标供应链数据的数据画像的质量缺陷标签;
根据所述质量缺陷标签对应的供应链数据来源,确定匹配的展示模板;
将所述目标供应链数据的数据画像和所述质量缺陷标签导入所述展示模板,生成所述供应链数据质量量化分析报告。
7.根据权利要求6所述的基于数据画像的供应链数据质量量化分析方法,其特征在于,所述方法还包括:
判断所述质量缺陷标签是否位于重点缺陷名单中;
在所述质量缺陷标签位于所述重点缺陷名单中的情况下,在所述供应链数据质量量化分析报告中对所述质量缺陷标签对应的质量缺陷维度进行强化展示;
在所述质量缺陷标签不位于所述重点缺陷名单中的情况下,在所述供应链数据质量量化分析报告中对所述质量缺陷标签对应的质量缺陷维度进行弱化展示。
8.根据权利要求1所述的基于数据画像的供应链数据质量量化分析方法,其特征在于,所述方法还包括:
获取第一目标供应链数据以及第二目标供应链数据;其中,所述第一目标供应链数据和所述第二目标供应链数据为不同时间段的相同业务类型数据;
分别生成所述第一目标供应链数据对应的第一画像和所述第二目标供应链数据对应的第二画像;
根据所述第一画像和所述第二画像的画像差异,生成供应链数据纵向分析结果。
9.一种基于数据画像的供应链数据质量量化分析系统,其特征在于,所述系统包括:
获取模块,用于通过预设接口,根据所述原始供应链数据,生成目标供应链数据;
分析模块,用于提取所述目标供应链数据的多维特征数据,并将所述多维特征数据输入预设数据质量评价模型,得到所述目标供应链数据的多维量化分析结果;
构建模块,用于根据所述目标供应链数据的多维量化分析结果,构建所述目标供应链数据的数据画像;
输出模块,用于获取标准数据画像,根据所述标准数据画像与所述目标供应链数据的数据画像的画像差异,生成供应链数据质量量化分析报告,其中,所述标准数据画像为不存在质量缺陷的数据画像。
10.根据权利要求9所述的基于数据画像的供应链数据质量量化分析系统,其特征在于,所述获取模块包括:
获取子模块,用于确定所述原始供应链数据的时间戳以及业务数据类型;
数据处理子模块,用于按照所述业务数据类型对所述原始供应链数据进行分类,并基于所述时间戳对分类后的原始供应链数据进行整合,获得数据点序列;
筛选子模块,用于根据时间维度限值,对所述数据点序列进行筛选,获得所述目标供应链数据。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2023101186670 | 2023-02-15 | ||
CN202310118667 | 2023-02-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116823043A true CN116823043A (zh) | 2023-09-29 |
Family
ID=88125233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310759288.XA Pending CN116823043A (zh) | 2023-02-15 | 2023-06-26 | 一种基于数据画像的供应链数据质量量化分析方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116823043A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117151438A (zh) * | 2023-10-31 | 2023-12-01 | 思创数码科技股份有限公司 | 一种数据共享质量分析方法、系统、计算机及存储介质 |
-
2023
- 2023-06-26 CN CN202310759288.XA patent/CN116823043A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117151438A (zh) * | 2023-10-31 | 2023-12-01 | 思创数码科技股份有限公司 | 一种数据共享质量分析方法、系统、计算机及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106951925B (zh) | 数据处理方法、装置、服务器及系统 | |
JP6893209B2 (ja) | 構造化されたマルチフィールドファイルのレイアウトの自動解釈 | |
CN110418161A (zh) | 视频审核方法及装置、电子设备及可读存储介质 | |
Maiti et al. | Capturing, eliciting, predicting and prioritizing (CEPP) non-functional requirements metadata during the early stages of agile software development | |
CN109800354B (zh) | 一种基于区块链存储的简历修改意图识别方法及系统 | |
CN110688300A (zh) | 兼容性测试方法、装置、设备及存储介质 | |
CN110471945B (zh) | 活跃数据的处理方法、系统、计算机设备和存储介质 | |
US11675756B2 (en) | Data complementing system and data complementing method | |
CN116823043A (zh) | 一种基于数据画像的供应链数据质量量化分析方法及系统 | |
CN112597775A (zh) | 信贷风险预测方法及装置 | |
CN112633461A (zh) | 应用辅助系统和方法以及计算机可读记录介质 | |
CN112446637A (zh) | 一种建筑施工质量安全在线风险检测方法及系统 | |
CN112508456A (zh) | 食品安全风险评估方法、系统、计算机设备及存储介质 | |
CN115809348A (zh) | 基于sbom+fta框架模型的知识图谱构建方法及系统 | |
CN111190880A (zh) | 一种数据库检测方法、装置和计算机可读存储介质 | |
CN113159118A (zh) | 物流数据指标的处理方法、装置、设备及存储介质 | |
CN113205130A (zh) | 一种数据审核方法、装置、电子设备及存储介质 | |
CN108170838B (zh) | 话题演变的可视化展现方法、应用服务器及计算机可读存储介质 | |
CN115238662A (zh) | 一种招投标文件快速编辑方法及系统 | |
CN114155412A (zh) | 深度学习模型迭代方法、装置、设备及存储介质 | |
CN114519505A (zh) | 铁路客站的设备管理策略生成方法及系统 | |
US20200342302A1 (en) | Cognitive forecasting | |
CN115525377B (zh) | 一种定性标签数据可视化方法、装置、电子设备及介质 | |
JP2021170244A (ja) | 学習モデル構築システムおよびその方法 | |
CN118170686B (zh) | 一种ui自动化测试脚本的生成方法、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |