CN117573877B - 一种供应链协同管理平台物资数据处理方法及系统 - Google Patents
一种供应链协同管理平台物资数据处理方法及系统 Download PDFInfo
- Publication number
- CN117573877B CN117573877B CN202410066570.4A CN202410066570A CN117573877B CN 117573877 B CN117573877 B CN 117573877B CN 202410066570 A CN202410066570 A CN 202410066570A CN 117573877 B CN117573877 B CN 117573877B
- Authority
- CN
- China
- Prior art keywords
- data
- material data
- sample
- analysis
- accuracy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000463 material Substances 0.000 title claims abstract description 152
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000002372 labelling Methods 0.000 claims abstract description 77
- 238000004458 analytical method Methods 0.000 claims abstract description 59
- 230000002159 abnormal effect Effects 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000010234 longitudinal analysis Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 93
- 238000012360 testing method Methods 0.000 claims description 65
- 238000012937 correction Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 6
- 238000007726 management method Methods 0.000 description 18
- 238000009960 carding Methods 0.000 description 8
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Databases & Information Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Strategic Management (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Evolutionary Biology (AREA)
- Development Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Behavior & Ethology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种供应链协同管理平台物资数据处理方法及系统，该方法包括接收企业的原始物资数据信息；将所述原始物资数据信息按照预设标准项提取对应项的信息，形成初步物资数据表；对于初步物资数据表分别进行纵向分析和横向分析确定物资数据异常项，基于异常分析结果形成异常项分析报告，所述按照预设标准项提取对应项采用的命名实体识别模型基于prompt工程、人工标注、知识图谱结合，有效提高了物资数据实体识别的准确性，进而提高了供应链协同管理平台物资数据处理效率。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种供应链协同管理平台物资数据处理方法及系统。
背景技术
目前存在多种物资管理系统，包括ERP、WMS、供应链管理软件等，用于企业对物资进行库存、采购、销售等方面的管理。利用物联网技术结合传感器和网络，实现对物品的实时监测和数据收集。但现有的技术依然存在物资数据缺少标准、分词结果混乱、缺乏定制化需求影响着智能物资梳理系统的发展。现有技术方案中，通过运用AI和ML技术改善物资梳理系统的智能化水平。通过学习和预测分析，让系统能够更好地理解和适应不同类型的物资梳理需求，提高梳理的精准性。但是部分梳理系统存在数据不完整、不规范的问题，导致梳理结果的准确性和全面性不足，系统缺乏灵活性。
发明内容
针对上述现有技术存在的问题，本发明提供了一种供应链协同管理平台物资数据处理方法及系统，有效提高物资梳理的效率和梳理结果的准确性。该技术方案如下：
第一方面，提供了一种供应链协同管理平台物资数据处理方法，包括如下步骤：
接收企业的原始物资数据信息；
将所述原始物资数据信息按照预设标准项提取对应项的信息，形成初步物资数据表；
对于初步物资数据表分别进行纵向分析和横向分析确定物资数据异常项，所述纵向分析包括对至少一个标准项所在纵向方向的全部数据进行异常分析和对每条涵盖所有标准项数据的物资数据在纵向方向进行分析；所述横向分析对每条涵盖所有标准项数据的物资数据在横向方向对每个标准项下的数据进行异常分析；
基于异常分析结果形成异常项分析报告。
在一些实施方式中，上述供应链协同管理平台物资数据处理方法，还包括：
接收企业基于异常项分析报告对原始物资数据信息进行修改完善后的第二物资数据信息；
对第二物资数据信息进行异常项分析。
在一些实施方式中，所述将所述原始物资数据信息按照预设标准项提取对应项的信息，包括基于命名实体识别模型从原始物资数据信息识别提取对应的数据。
在一些实施方式中，所述命名实体识别模型的获取方法，包括如下步骤：
（1）获取样本数据；
（2）对样本数据采用prompt工程进行标注，获取训练数据和测试数据；
（3）利用训练数据训练模型，训练结束后利用测试数据获取模型的识别准确率；
（4）在模型准确率性能处于不同等级时，分别采用对应等级对应的样本数据再标注方法对样本重新标注，获取训练数据和测试数据，所述样本数据再标注方法，包括：引入人工标注数据并基于人工标注数据引导prompt工程机器标注数据的准确率提高，实现样本数据的重新标注，所述样本数据再标注方法，还包括：基于模型准确率性能的不同等级确定人工标注数据对机器标注数据提高准确率的不同引导方式；
（5）重复步骤（3）-（4）直至模型准确率达到训练终止条件。
在一些实施方式中，所述对应等级对应的样本数据再标注方法，包括：
第一样本数据再标注方法：
基于已有训练数据，根据训练数据的标注数据对应的类别对样本进行分类；
在基于原有标注数据进行分类的每个类中选择预设比例数量的训练数据，交由人工处理并获取经人工检查和修正后的预设比例数量的训练数据；
基于人工修正后的预设比例的训练数据的样本和样本对应的标注数据，构建命名实体知识图谱；
利用prompt工程和知识图谱重新对非人工标注的全部样本数据进行标注，得到训练数据；
第二样本数据再标注方法：
基于已有训练数据，根据训练数据的标注数据对应的类别对样本进行分类；
在基于原有标注数据进行分类的部分类中选择预设比例数量的训练数据，交由人工处理并获取经人工检查和修正后的预设比例数量的训练数据，所述部分类满足模型对该类数据识别的准确率低于第二预设阈值；
基于人工修正后的预设比例的训练数据的样本和样本对应的标注数据，构建命名实体知识图谱；
利用prompt工程和知识图谱重新对非人工标注的全部样本数据进行标注，得到训练数据。
在一些实施方式中，所述（4）中模型准确率性能的不同等级至少有3个，其中第一等级为模型准确率达到训练终止条件，第二等级为全部测试数据的测试结果的准确率大于第一预设阈值，同时存在至少一个类别的测试样本的测试结果准确率低于第二预设阈值或者不同类别的测试样本的测试结果准确率偏差大于第三预设阈值；第三等级为全部测试数据的测试结果的准确率小于第一预设阈值。
在一些实施方式中，所述在模型准确率性能处于不同等级时，分别采用对应等级对应的样本数据再标注方法对样本重新标注，包括：
在模型准确率性能处于第三等级时，采用第一样本数据再标注方法；
在模型准确率性能处于第二等级时，采用第二样本数据再标注方法。
在一些实施方式中，所述异常项的表现形式包括但不限于：一物多码、一码多物、名称不统一和一物多分类。
在一些实施方式中，上述供应链协同管理平台物资数据处理方法，还包括：基于供应商企业和采购商企业的处理后的物资数据进行匹配撮合。
第二方面，提供了一种供应链协同管理平台物资数据处理系统，该系统包括：
物资数据接收模块，用于接收企业的原始物资数据信息；
物资数据第一处理模块，用于将所述原始物资数据信息按照预设标准项提取对应项的信息，形成初步物资数据表；
物资数据第二处理模块，用于对于初步物资数据表分别进行纵向分析和横向分析确定物资数据异常项，所述纵向分析包括对至少一个标准项所在纵向方向的全部数据进行异常分析和对每条涵盖所有标准项数据的物资数据在纵向方向进行分析；所述横向分析对每条涵盖所有标准项数据的物资数据在横向方向对每个标准项下的数据进行异常分析；
物资数据处理结果模块，用于基于异常分析结果形成异常项分析报告。
本发明的一种供应链协同管理平台物资数据处理方法及系统，具备如下有益效果：本发明在对物资数据进行梳理的时候，采用的命名实体识别模型基于prompt工程、人工标注、知识图谱结合，有效提高了物资数据实体识别的准确性，进而提高了供应链协同管理平台物资数据处理效率，同时该命名实体识别模型的训练过程基于标注、训练、训练结果反馈调节训练数据集并且提供了多种调节训练数据集的方式，经过多次闭环的循环训练过程，不断提高模型识别准确性。
附图说明
图1是本申请实施例中供应链协同管理平台物资数据处理方法的流程示意图；
图2是本申请实施例中命名实体模型获取方法的流程示意图；
图3是本申请实施例中第一训练数据再标注方法的流程示意图；
图4是本申请实施例中命名实体模型的训练过程的流程示意图；
图5是本申请实施例中招投标平台物资数据处理系统的结构示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参见图1，本申请实施例中提供了一种供应链协同管理平台物资数据处理方法，包括如下步骤：
步骤1，接收企业的原始物资数据信息；
步骤2，将所述原始物资数据信息按照预设标准项提取对应项的信息，形成初步物资数据表；
步骤3，对于初步物资数据表分别进行纵向分析和横向分析确定物资数据异常项，所述纵向分析包括对至少一个标准项所在纵向方向的全部数据进行异常分析和对每条涵盖所有标准项数据的物资数据在纵向方向进行分析；所述横向分析对每条涵盖所有标准项数据的物资数据在横向方向对每个标准项下的数据进行异常分析；
步骤4，基于异常分析结果形成异常项分析报告。
本申请实施例中，针对招投标平台接收到不同企业的物资数据的不完整、不规范问题，对企业的原始物资信息按照对应的标准化方法提取物资关键信息并形成数据表，例如，可以将原始的物资信息提取出物资名称、规格型号、物资类别、采购商、物资编码等等标准项信息，进一步以数据表的每个单元格数据为分析单位，进行多类型的纵向分析和横向分析，例如，以纵向方向为例，针对物资名称一列，可以分析是否存在同一种物资的名称不统一问题，例如“打印纸”和“办公用纸”，在纵向方向的异常项分析，还可以例如是：针对不同条物资数据信息可以分析是否存在一物多分类问题，例如，上一条物资数据信息的物资名称为“打印纸”，物资类别为“办公用品”，而下一条物资数据信息的物资名称为“打印纸”，物资类别为“打印耗材”。本申请实施例中，基于异常项分析报告返给企业方供企业方进行修改修正后，重新规整到招投标平台上。基于本申请实施例的方法，可以对平台上的所有企业或者同领域的企业的物资数据进行规范化处理，并进一步用于平台的供应商和采购商双方供需物资信息的匹配和推荐，提高了平台供需信息匹配的效率和准确率。
在一种实施方式中，上述供应链协同管理平台物资数据处理方法，还包括：
步骤5，接收企业基于异常项分析报告对原始物资数据信息进行修改完善后的第二物资数据信息；
步骤6，对第二物资数据信息进行异常项分析。
本申请实施例中，平台将物资数据异常项分析报告发送给企业，用于企业修改物资数据信息，当平台重新接收该企业更新后的物资数据信息后，重新执行一次物资数据审核流程，确保在招投标平台上企业的物资数据信息准确无误。
在一种实施方式中，上述步骤2中，将所述原始物资数据信息按照预设标准项提取对应项的信息，包括：
步骤21，基于命名实体识别模型从原始物资数据信息识别提取对应的数据。
本申请实施例中，对于企业方提供的原始物资数据信息按照预设标准项提取信息时，利用了在先已经训练完成的命名实体模型，识别物资数据信息的物资名称、规格型号、物资类别、物资编码等关键信息。
进一步说明，上述步骤21中，命名实体识别模型的获取方法，包括如下步骤，参见图2：
（1）获取样本数据；
（2）对样本数据采用prompt工程进行标注，获取训练数据和测试数据；
（3）利用训练数据训练模型，训练结束后利用测试数据获取模型的识别准确率；
（4）在模型准确率性能处于不同等级时，分别采用对应等级对应的样本数据再标注方法对样本重新标注，获取训练数据和测试数据，所述样本数据再标注方法，包括：引入人工标注数据并基于人工标注数据引导prompt工程机器标注数据的准确率提高，实现样本数据的重新标注，所述样本数据再标注方法，还包括：基于模型准确率性能的不同等级确定人工标注数据对机器标注数据提高准确率的不同引导方式；
（5）重复步骤（3）-（4）直至模型准确率达到训练终止条件。
本申请实施例中，对于命名实体模型的训练过程，考虑机器标注精准性对模型性能的影响，在采用机器标注的训练数据对模型进行训练而模型的识别准确性性能较差时，采用人工+机器标注结合的方式重新对样本进行标注，利用人工标注对机器标注产生影响，利用人工标注数据引导机器标注提高数据标注准确性，提高了样本再标注后标注数据的准确性，从而提高了训练模型的对于大量物资数据的实体识别的准确性，提高招投标平台物资数据处理效率。
参见图3，在一种实施方式中，上述步骤（4）中的对应等级对应的样本数据再标注方法，包括：
第一样本数据再标注方法：
基于已有训练数据，根据训练数据的标注数据对应的类别对样本进行分类；
在基于原有标注数据进行分类的每个类中选择预设比例数量的训练数据，交由人工处理并获取经人工检查和修正后的预设比例数量的训练数据；
基于人工修正后的预设比例的训练数据的样本和样本对应的标注数据，构建命名实体知识图谱；
利用prompt工程和知识图谱重新对非人工标注的全部样本数据进行标注，得到训练数据；
第二样本数据再标注方法：
基于已有训练数据，根据训练数据的标注数据对应的类别对样本进行分类；
在基于原有标注数据进行分类的部分类中选择预设比例数量的训练数据，交由人工处理并获取经人工检查和修正后的预设比例数量的训练数据，所述部分类满足模型对该类数据识别的准确率低于第二预设阈值；
基于人工修正后的预设比例的训练数据的样本和样本对应的标注数据，构建命名实体知识图谱；
利用prompt工程和知识图谱重新对非人工标注的全部样本数据进行标注，得到训练数据。
本申请实施例中，不同的样本数据再标注方法，区别在于：人工标注数据对机器标注数据提高准确率的引导方式不同，而该引导方式基于模型准确率性能的不同等级确定；
该引导方式的不同，主要基于人工标注的样本的覆盖类型范围，在第一样本数据再标注方法中，是在基于原有标注数据进行分类的每个类中均选择预设比例数量的训练数据，进行人工标注；例如，可以对原有标注数据进行分类的每个类中均选择5%的训练数据，由人工进行检查和修正标注数据，得到每个类5%人工修正标注数据后的训练数据。在第二样本数据再标注方法中，是在数据识别准确率低于第二预设阈值的类别中，选择5%进行人工标注。
可以理解，在每个类中选择预设比例数量的训练数据进行人工重新标注时，同一类的预设比例数量的训练数据中可能会存在实际为不同类的训练数据即标注数据标注类别错误。
本申请实施例中，基于人工标注数据构造知识图谱，在样本数据再标注方法中，结合知识图谱和prompt工程对样本进行重新机器标注，该步骤中利用知识图谱引导prompt工程的数据标注结果更加准确。需要说明的是，如果多次使用第一样本数据再标注方法或者第二样本数据再标注方法，在每个类中选择预设比例数量的训练数据时，优选非人工标注的数据；在利用知识图谱和prompt工程进行再标注时，优选实施例中，仅对非人工标注的数据进行再标注。
在一种实施方式中，所述（4）中模型准确率性能的不同等级至少有3个，其中第一等级为模型准确率达到训练终止条件，第二等级为全部测试数据的测试结果的准确率大于第一预设阈值，同时存在至少一个类别的测试样本的测试结果准确率低于第二预设阈值或者不同类别的测试样本的测试结果准确率偏差大于第三预设阈值；第三等级为全部测试数据的测试结果的准确率小于第一预设阈值。
本申请实施例中，根据模型识别准确率不同的性能表现，分为多个等级，第三等级为模型性能最差的等级，可以理解，记训练终止条件中对模型准确率要求全部测试数据的测试结果的准确率大于A，则第一预设阈值小于A，而第二预设阈值大于第一预设阈值，例如，训练终止条件中对模型准确率要求全部测试数据的测试结果的准确率大于90%，第一预设阈值为60%，第二预设阈值为90%；在实际分析过程中，先分析全部测试数据的测试结果的准确率是否小于60%，若是，则进行一次样本数据再标注方法，经过一次样本数据再标注方法，进行模型训练，如果全部测试数据的测试结果的准确率大于60%，分析是否存在至少一个类别的测试样本的测试结果准确率低于第二预设阈值或者不同类别的测试样本的测试结果准确率偏差大于第三预设阈值，若是，则进行一次样本数据再标注方法，提高识别准确率较低的类（识别准确率小于90%的类）的数据标注准确性，进行模型训练后如果不同类别的测试样本的测试结果准确率偏差较小且每个类别的测试样本的测试结果准确率都大于90%，此时能够达到训练终止条件。
在一种实施方式中，上述步骤（4），在模型准确率性能处于不同等级时，分别采用对应等级对应的样本数据再标注方法对样本重新标注，包括：
在模型准确率性能处于第三等级时，采用第一样本数据再标注方法；
在模型准确率性能处于第二等级时，采用第二样本数据再标注方法。
基于上述，在此对上述命名实体识别模型的获取方法的步骤进行示意性说明，参见图4：
（1）获取样本数据；
（2）利用prompt工程让大模型对样本数据进行标注得到训练数据，
（3）基于训练数据经过模型训练之后利用测试数据集进行测试，在测试结果的准确率满足第一条件时，进入步骤（4），否则，进入步骤（9），所述第一条件为全部测试数据的测试结果的准确率小于第一预设阈值；
（4）基于步骤（2）标注数据的类别对样本数据进行分类，所述步骤（2）标注数据包括类别标注错误的标注数据即分类后的同一类中实际含有不同类别样本；
（5）对步骤（4）每个分类中选择预设比例的样本对应的标注数据进行人工检查和修正；
（6）基于步骤（5）人工修正后的预设比例的标注数据，构建命名实体知识图谱；
（7）利用prompt工程和步骤（6）得到的知识图谱重新对样本数据进行标注，得到训练数据；
（8）进入步骤（3）；
（9）在测试结果的准确率满足第二条件时，进入步骤（10），否则，进入步骤（12），所述第二条件为同一个类别的测试样本的测试结果准确率低于第二预设阈值或者不同类别的测试样本的测试结果准确率偏差大于第三预设阈值即不同类别的测试样本的测试结果准确率分布不均衡；
（10）对于满足第二条件的测试样本类别，从对应类别的样本中选择预设比例的样本，对预设比例的样本的标注数据进行人工检查和修正；
（11）执行步骤（6）-（8）直至测试结果的准确率既不满足第一条件也不满足第二条件；
（12）确定训练结束，获取命名实体识别模型的模型参数并保存。
需要说明的是，本申请实施例中所述的异常项的表现形式包括但不限于：一物多码、一码多物、名称不统一和一物多分类。
可以理解，对于物资数据信息的“一物多码”、“一码多物”、“名称不统一”和“一物多分类”等数据问题，可以基于平台经过物资大数据智能学习得到的物资名称统一规范、物资类别划分标准规范等进行检验识别，充分考虑物资类别划分的大类小类层层类别的所属关系和关联关系。例如：
平台基于物资大数据学习得到针对不同领域物资处理适用的标准项，并基于该领域下物资的所有候选存在的物资类别的关系进行分析，形成物资类别范围由大到小的层层物资类别划分方法，形成该领域物资数据信息适用的物资类别划分标准规范。
基于上述供应链协同管理平台物资数据处理方法处理后的物资数据，可以应用于供需撮合环节，基于供应商企业和采购商企业的处理后的物资数据进行匹配撮合。
为了清楚，在此说明：样本数据经过标注后，样本和样本对应的标注数据用于训练模型，该样本和样本对应的标注数据统一称为训练数据，另外，考虑训练模型的时候，需要预留一部分训练数据用于模型性能测试，所以本文中训练数据可以用于统称用于训练模型的数据（包括训练数据和测试数据），也可以用于表示区分于测试数据的训练数据，两种理解均不影响对本发明技术方案的理解。
参见图5，本申请实施例提供了一种供应链协同管理平台物资数据处理系统，该系统包括：
物资数据接收模块，用于接收企业的原始物资数据信息；
物资数据第一处理模块，用于将所述原始物资数据信息按照预设标准项提取对应项的信息，形成初步物资数据表；
物资数据第二处理模块，用于对于初步物资数据表分别进行纵向分析和横向分析确定物资数据异常项，所述纵向分析包括对至少一个标准项所在纵向方向的全部数据进行异常分析和对每条涵盖所有标准项数据的物资数据在纵向方向进行分析；所述横向分析对每条涵盖所有标准项数据的物资数据在横向方向对每个标准项下的数据进行异常分析；
物资数据处理结果模块，用于基于异常分析结果形成异常项分析报告。
关于供应链协同管理平台物资数据处理系统的具体限定可以参见上文中对于供应链协同管理平台物资数据处理方法的限定，在此不再赘述。上述供应链协同管理平台物资数据处理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个单元对应的操作。
本发明不局限于上述具体的实施方式，本领域的普通技术人员从上述构思出发，不经过创造性的劳动，所做出的种种变换，均落在本发明的保护范围之内。
Claims (10)
1.一种供应链协同管理平台物资数据处理方法，其特征在于，包括如下步骤：
接收企业的原始物资数据信息；
将所述原始物资数据信息按照预设标准项提取对应项的信息，形成初步物资数据表；
对于初步物资数据表分别进行纵向分析和横向分析确定物资数据异常项，所述纵向分析包括对至少一个标准项所在纵向方向的全部数据进行异常分析和对每条涵盖所有标准项数据的物资数据在纵向方向进行分析；所述横向分析对每条涵盖所有标准项数据的物资数据在横向方向对每个标准项下的数据进行异常分析；
基于异常分析结果形成异常项分析报告。
2.根据权利要求1所述的一种供应链协同管理平台物资数据处理方法，其特征在于，还包括：
接收企业基于异常项分析报告对原始物资数据信息进行修改完善后的第二物资数据信息；
对第二物资数据信息进行异常项分析。
3.根据权利要求2所述的供应链协同管理平台物资数据处理方法，其特征在于，所述将所述原始物资数据信息按照预设标准项提取对应项的信息，包括基于命名实体识别模型从原始物资数据信息识别提取对应的数据。
4.根据权利要求3所述的供应链协同管理平台物资数据处理方法，其特征在于，所述命名实体识别模型的获取方法，包括如下步骤：
（1）获取样本数据；
（2）对样本数据采用prompt工程进行标注，获取训练数据和测试数据；
（3）利用训练数据训练模型，训练结束后利用测试数据获取模型的识别准确率；
（4）在模型准确率性能处于不同等级时，分别采用对应等级对应的样本数据再标注方法对样本重新标注，获取训练数据和测试数据，所述样本数据再标注方法，包括：引入人工标注数据并基于人工标注数据引导prompt工程机器标注数据的准确率提高，实现样本数据的重新标注，所述样本数据再标注方法，还包括：基于模型准确率性能的不同等级确定人工标注数据对机器标注数据提高准确率的不同引导方式；
（5）重复步骤（3）-（4）直至模型准确率达到训练终止条件。
5.根据权利要求4所述的供应链协同管理平台物资数据处理方法，其特征在于，所述对应等级对应的样本数据再标注方法，包括：
第一样本数据再标注方法：
基于已有训练数据，根据训练数据的标注数据对应的类别对样本进行分类；
在基于原有标注数据进行分类的每个类中选择预设比例数量的训练数据，交由人工处理并获取经人工检查和修正后的预设比例数量的训练数据；
基于人工修正后的预设比例的训练数据的样本和样本对应的标注数据，构建命名实体知识图谱；
利用prompt工程和知识图谱重新对非人工标注的全部样本数据进行标注，得到训练数据；
第二样本数据再标注方法：
基于已有训练数据，根据训练数据的标注数据对应的类别对样本进行分类；
在基于原有标注数据进行分类的部分类中选择预设比例数量的训练数据，交由人工处理并获取经人工检查和修正后的预设比例数量的训练数据，所述部分类满足模型对该类数据识别的准确率低于第二预设阈值；
基于人工修正后的预设比例的训练数据的样本和样本对应的标注数据，构建命名实体知识图谱；
利用prompt工程和知识图谱重新对非人工标注的全部样本数据进行标注，得到训练数据。
6.根据权利要求4所述的供应链协同管理平台物资数据处理方法，其特征在于，所述（4）中模型准确率性能的不同等级至少有3个，其中第一等级为模型准确率达到训练终止条件，第二等级为全部测试数据的测试结果的准确率大于第一预设阈值，同时存在至少一个类别的测试样本的测试结果准确率低于第二预设阈值或者不同类别的测试样本的测试结果准确率偏差大于第三预设阈值；第三等级为全部测试数据的测试结果的准确率小于第一预设阈值。
7.根据权利要求6所述的供应链协同管理平台物资数据处理方法，其特征在于，所述在模型准确率性能处于不同等级时，分别采用对应等级对应的样本数据再标注方法对样本重新标注，包括：
在模型准确率性能处于第三等级时，采用第一样本数据再标注方法；
在模型准确率性能处于第二等级时，采用第二样本数据再标注方法。
8.根据权利要求1所述的供应链协同管理平台物资数据处理方法，其特征在于，所述异常项的表现形式包括：一物多码、一码多物、名称不统一和一物多分类。
9.根据权利要求1所述的供应链协同管理平台物资数据处理方法，其特征在于，还包括：基于供应商企业和采购商企业的处理后的物资数据进行匹配撮合。
10.一种供应链协同管理平台物资数据处理系统，其特征在于，包括：
物资数据接收模块，用于接收企业的原始物资数据信息；
物资数据第一处理模块，用于将所述原始物资数据信息按照预设标准项提取对应项的信息，形成初步物资数据表；
物资数据第二处理模块，用于对于初步物资数据表分别进行纵向分析和横向分析确定物资数据异常项，所述纵向分析包括对至少一个标准项所在纵向方向的全部数据进行异常分析和对每条涵盖所有标准项数据的物资数据在纵向方向进行分析；所述横向分析对每条涵盖所有标准项数据的物资数据在横向方向对每个标准项下的数据进行异常分析；
物资数据处理结果模块，用于基于异常分析结果形成异常项分析报告。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410066570.4A CN117573877B (zh) | 2024-01-17 | 2024-01-17 | 一种供应链协同管理平台物资数据处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410066570.4A CN117573877B (zh) | 2024-01-17 | 2024-01-17 | 一种供应链协同管理平台物资数据处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117573877A CN117573877A (zh) | 2024-02-20 |
| CN117573877B true CN117573877B (zh) | 2024-03-22 |
Family
ID=89888608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410066570.4A Active CN117573877B (zh) | 2024-01-17 | 2024-01-17 | 一种供应链协同管理平台物资数据处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117573877B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598463A (zh) * | 2018-10-15 | 2019-04-09 | 平安科技（深圳）有限公司 | 资产管控方法、装置、计算机设备及存储介质 |
| CN110020191A (zh) * | 2018-07-19 | 2019-07-16 | 平安科技（深圳）有限公司 | 电子装置、招商引资的目标对象确定方法及存储介质 |
| CN111368019A (zh) * | 2018-12-06 | 2020-07-03 | 北京国电通网络技术有限公司 | 一种文档数据结构化处理方法 |
| WO2022133210A2 (en) * | 2020-12-18 | 2022-06-23 | Strong Force TX Portfolio 2018, LLC | Market orchestration system for facilitating electronic marketplace transactions |
| CN116304115A (zh) * | 2023-05-19 | 2023-06-23 | 中央军委后勤保障部信息中心 | 一种基于知识图谱的物资匹配替换方法和装置 |
| CN116433179A (zh) * | 2023-04-10 | 2023-07-14 | 西安高科天宏招标代理咨询有限责任公司 | 一种基于数据库的公开招标信息标准化方法 |
-
2024
- 2024-01-17 CN CN202410066570.4A patent/CN117573877B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110020191A (zh) * | 2018-07-19 | 2019-07-16 | 平安科技（深圳）有限公司 | 电子装置、招商引资的目标对象确定方法及存储介质 |
| CN109598463A (zh) * | 2018-10-15 | 2019-04-09 | 平安科技（深圳）有限公司 | 资产管控方法、装置、计算机设备及存储介质 |
| CN111368019A (zh) * | 2018-12-06 | 2020-07-03 | 北京国电通网络技术有限公司 | 一种文档数据结构化处理方法 |
| WO2022133210A2 (en) * | 2020-12-18 | 2022-06-23 | Strong Force TX Portfolio 2018, LLC | Market orchestration system for facilitating electronic marketplace transactions |
| CN116433179A (zh) * | 2023-04-10 | 2023-07-14 | 西安高科天宏招标代理咨询有限责任公司 | 一种基于数据库的公开招标信息标准化方法 |
| CN116304115A (zh) * | 2023-05-19 | 2023-06-23 | 中央军委后勤保障部信息中心 | 一种基于知识图谱的物资匹配替换方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117573877A (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114168716B (zh) | 基于深度学习的工程造价自动抽取和分析方法及装置 | |
| CN112116437A (zh) | 一种线上招标方法及系统、装置 | |
| CN112163553B (zh) | 物料价格核算方法、装置、存储介质和计算机设备 | |
| CN106570232A (zh) | 一种检验规程的自动生成方法 | |
| CN116433052B (zh) | 一种基于智能化的招标信息采集数据分析评价系统 | |
| CN112416778A (zh) | 测试用例推荐方法、装置和电子设备 | |
| CN114519498A (zh) | 一种基于bim模型的质量验评方法和系统 | |
| CN115423578B (zh) | 基于微服务容器化云平台的招投标方法和系统 | |
| Timmer | Productivity measurement in global value chains | |
| CN111353611A (zh) | 一种核电站在役检查大修检验报告自动生成系统及方法 | |
| CN111159167A (zh) | 标注质量检测装置和方法 | |
| CN113886373A (zh) | 一种数据处理方法、装置及电子设备 | |
| CN112199376B (zh) | 一种基于聚类分析的标准知识库管理方法及系统 | |
| CN114493335A (zh) | 用于产品质量追溯的系统 | |
| CN117573877B (zh) | 一种供应链协同管理平台物资数据处理方法及系统 | |
| CN111199493A (zh) | 一种基于客户缴费信息及征信信息的欠费风险识别方法 | |
| CN112966486A (zh) | 一种工程量清单智能生成方法、装置、终端及存储介质 | |
| CN108986786B (zh) | 语音交互设备评级方法、系统、计算机设备和存储介质 | |
| CN111400644B (zh) | 一种用于实验室分析样品的计算处理方法 | |
| CN116187754A (zh) | 生产线故障定位方法、设备及可读存储介质 | |
| CN113592675A (zh) | 一种面向客户承诺的合同订单管理的方法和系统 | |
| CN115146597A (zh) | 有害物质技术文档输出方法、系统、终端设备及存储介质 | |
| CN114331165A (zh) | 一种城市安全绩效评估报告自动生成与分析方法及系统 | |
| CN113986762A (zh) | 一种测试用例的生成方法及装置 | |
| Martínez-Zarzoso et al. | EU-Accession effects on sectoral trade: A Helpman-Melitz-Rubinstein approach with panel data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |