CN117057825B - 一种农产品交易数据处理方法、装置、服务器及存储介质 - Google Patents
一种农产品交易数据处理方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN117057825B CN117057825B CN202311298444.3A CN202311298444A CN117057825B CN 117057825 B CN117057825 B CN 117057825B CN 202311298444 A CN202311298444 A CN 202311298444A CN 117057825 B CN117057825 B CN 117057825B
- Authority
- CN
- China
- Prior art keywords
- data
- agricultural product
- transaction data
- representing
- agricultural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 49
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 17
- 230000002452 interceptive effect Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000007726 management method Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 5
- 239000000835 fiber Substances 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 239000013307 optical fiber Substances 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims 1
- 230000037430 deletion Effects 0.000 claims 1
- 230000003993 interaction Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 4
- 238000013499 data model Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013479 data entry Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/018—Certifying business or products
- G06Q30/0185—Product, service or business identity fraud
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
- G06Q30/0635—Processing of requisition or of purchase orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Finance (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Marine Sciences & Fisheries (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Husbandry (AREA)
- Agronomy & Crop Science (AREA)
- Mining & Mineral Resources (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
Abstract
本发明涉及数据处理领域，尤其涉及一种农产品交易数据处理方法、装置、服务器及存储介质，所述方法包括：对农产品交易数据进行预处理，计算农产品交易数据真实度，基于真实度对农产品交易数据中的虚假数据进行标记，基于农产品交易数据特征对农产品交易数据进行聚类处理，基于设计的表结构对农产品交易数据进行存储。本发明基于农产品交易数据中的特征进行数据去重，并且通过计算数据整体真实度对虚假数据进行标记，能够减少数据重复，保证数据的真实性。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种农产品交易数据处理方法、装置、服务器及存储介质。
背景技术
数据处理的过程大致分为数据的准备、处理和输出3个阶段。在数据准备阶段，将数据脱机输入到穿孔卡片、穿孔纸带、磁带或磁盘。这个阶段也可以称为数据的录入阶段。数据录入以后，就要由计算机对数据进行处理，为此预先要由用户编制程序并把程序输入到计算机中，计算机是按程序的指示和要求对数据进行处理的。所谓处理，就是指数据采集：采集所需的信息；数据转换：把信息转换成机器能够接收的形式；数据分组：指定编码，按有关信息进行有效的分组；数据组织：整理数据或用某些方法安排数据，以便进行处理；数据计算：进行各种算术和逻辑运算，以便得到进一步的信息；数据存储：将原始数据或计算的结果保存起来,供以后使用；数据检索:按用户的要求找出有用的信息；数据排序：把数据按一定要求排成次序。处理就是指所述8个方面工作中的一个或若干个的组合。最后输出的是各种文字和数字的表格和报表。数据处理系统已广泛地用于各种企业和事业，内容涉及薪金支付，票据收发、信贷和库存管理、生产调度、计划管理、销售分析等。它能产生操作报告、金融分析报告和统计报告等。数据处理技术涉及到文卷系统、数据库管理系统、分布式数据处理系统等方面的技术。此外，由于数据或信息大量地应用于各种各样的企业和事业机构，工业化社会中已形成一个独立的信息处理业。数据和信息，本身已经成为人类社会中极其宝贵的资源。信息处理业对这些资源进行整理和开发，借以推动信息化社会的发展。
如授权公告号为CN110457336B的中国专利公开了一种交易数据处理方法及装置，所述方法包括：接收核心银行系统发送的一组或多组交易主键和每组交易主键对应的交易数据；接收交易链路上多个节点系统发送的与所述每组交易主键对应的交易附加数据，其中所述交易链路上多个节点系统发送的与所述每组交易主键对应的交易附加数据包括：渠道系统发送的与每组交易主键对应的渠道附加数据、场景系统发送的与每组交易主键对应的场景附加数据和外围产品系统发送的与每组交易主键对应的产品附加数据；对每组交易主键对应的交易数据、渠道附加数据、场景附加数据和产品附加数据进行整合。该发明有效提高客户交易数据的完整性，满足客户及监管机构对交易数据完整性的要求。
如授权公告号为CN104573990B的中国专利公开了一种产品交易数据处理方法及装置，所述方法包括：定义产品的销售周期静态配置信息表；根据销售周期静态配置信息表，定义产品的销售周期登记表，销售周期登记表包括各销售阶段对应的销售日期；定义产品的可交易信息表，可交易信息表包括各销售阶段对应的可进行交易的交易代码；获取当前交易数据，当前交易数据包括当前进行交易的交易代码；结合可交易信息表和销售周期登记表，判断当前时间对应的销售阶段所对应的可进行交易的交易代码，是否具有当前进行交易的交易代码；若是，对交易数据进行处理。该发明实现了不同的产品的销售周期的统一管理，降低了银行系统的程序复杂性较高，且提高了数据的处理效率。
以上专利均存在本背景技术提出的问题：农产品交易数据冗杂，其中会存在多条重复数据，不能较好去重则会对数据存储造成较大压力，而且农产品交易数据来源与各个交易平台，其中会包括虚假交易数据，对农产品交易数据的真实性提出了挑战。为了解决这些问题，本申请设计了一种农产品交易数据处理方法、装置、服务器及存储介质。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供了一种农产品交易数据处理方法、装置、服务器及存储介质。
为实现上述目的，本发明提供如下技术方案：
一种农产品交易数据处理方法，包括以下步骤：
步骤S1：对农产品交易数据进行预处理；
步骤S2：计算农产品交易数据真实度；
步骤S3：基于真实度对农产品交易数据中的虚假数据进行标记；
步骤S4：基于农产品交易数据特征对农产品交易数据进行聚类处理；
步骤S5：基于设计的表结构对农产品交易数据进行存储。
进一步地，步骤S1具体包括以下步骤：
步骤S1.1：将非数字类型的农产品交易数据转换为数字；
步骤S1.2：对农产品交易数据进行数据标准化操作；
步骤S1.3：对农产品交易数据进行去重处理。
进一步地，步骤S1.3具体包括以下步骤：
步骤S1.3.1：选取农产品交易数据中的交易订单来源平台、交易订单生成时间、交易订单编号、农产品编号、买家ID和卖家ID作为特征，建立农产品交易特征数据集；
步骤S1.3.2：设定农产品交易特征值函数为，计算公式为：
，
其中，表示设定的农产品交易特征值数量，/>表示农产品交易特征数据集中特征数量，/>表示第/>个农产品交易特征值函数，/>表示农产品交易特征数据集中的第/>个特征，/>、/>和/>表示农产品交易特征值函数的第/>个农产品交易特征值函数的系数；
步骤S1.3.3：依次计算每组农产品交易数据特征的特征值，得到特征值集合，/>；
步骤S1.3.4：设农产品交易数据特征值集合相似度为，计算公式为：
，
其中，表示农产品交易数据特征值集合相似度，/>和/>分别表示两组农产品交易数据的特征值集合；
步骤S1.3.5：当两组农产品交易数据特征值集合相似度时，判断该两组农产品交易数据为重复数据，对该两组数据进行去重处理。
进一步地，所述农产品交易数据真实度，计算公式为：
，
其中，表示农产品交易数据真实度，/>表示农产品交易数据的数据真实度，表示农产品交易数据的数据源真实度，/>表示农产品交易数据的数据真实度权重，表示农产品交易数据的数据源真实度权重。
进一步地，农产品交易数据的数据真实度，计算公式为：
；
；
；
其中，表示农产品交易订单数据的真实度，/>表示订单重要特征数据的数量，表示订单重要特征数据的缺失数量，/>表示订单除重要特征之外部分数据的数量，/>表示订单除重要特征之外部分数据的缺失数量，/>表示订单中农产品单价与该交易订单编号农产品的平均单价的偏离程度，/>表示订单中农产品销售数量与该交易订单编号农产品的平均销售数量的偏离程度，/>和/>分别表示农产品交易订单数据中重要特征数据和除重要特征之外部分数据的权重，/>表示农产品交易订单买家卖家数据的真实度，/>表示农产品交易订单买家特征数据的数量，/>表示农产品交易订单买家特征数据的缺失数量，/>表示农产品交易订单卖家特征数据的数量，/>表示农产品交易订单卖家特征数据的缺失数量，/>表示农产品交易订单卖家农产品来源的真实度，/>和/>分别表示农产品交易订单买家卖家数据中买家数据和卖家数据的权重，/>表示农产品交易订单数据的权重，/>表示农产品交易订单买家卖家数据的权重。
进一步地，农产品交易数据的数据源真实度，计算公式为：
，
其中，表示其余所有数据源的数据源真实度，/>表示取平均值函数，表示该数据源第一次与本地交互农产品交易数据，/>表示该数据源第/>次与本地交互农产品交易数据时的数据源真实度，/>表示该数据源第/>次与本地交互农产品交易数据的数据真实度，/>表示该数据源非第一次与本地交互农产品交易数据，/>表示该数据源第/>次与本地交互农产品交易数据，/>表示该数据源本次是第/>次与本地交互农产品交易数据。
进一步地，步骤S3包括：设定真实度阈值为，当农产品交易数据真实度/>小于时，标记该组农产品交易数据为虚假数据。
步骤S4具体包括以下步骤：
步骤S4.1：随机选取个农产品交易数据的特征作为初始聚类中心；
步骤S4.2：计算其余农产品交易数据的特征与聚类中心的距离，根据距离将农产品交易数据分配到最相似的聚类；
步骤S4.3：计算每个聚类的均值作为新的聚类中心；
步骤S4.4：聚类中心改变，则迭代执行步骤S4.2~步骤S4.3，直到聚类中心未发生变化，完成对农产品交易数据的聚类处理。
进一步地，表结构具体包括：订单信息表、卖家信息表、买家信息表、农产品信息表和农产品出厂信息表，其中，订单信息表、卖家信息表和买家信息表以交易订单编号为主键相连接并存储，卖家信息表和农产品信息表以农产品编号为主键相连接并存储，农产品信息表和农产品出厂信息表以农产品出厂工厂编号为主键相连接并存储。
一种农产品交易数据处理装置，包括：处理器、存储器、输入设备和总线，其中，处理器用于对农产品交易数据进行转换、数据平滑和标准化操作，对农产品交易数据进行去重处理，通过计算真实度对农产品交易数据的虚假数据进行标记，基于特征对农产品交易数据进行聚类处理；存储器用于基于订单信息表、卖家信息表、买家信息表、农产品信息表和农产品出厂信息表对农产品交易数据进行存储；输入设备用于获取农产品交易数据，包括：订单信息、卖家信息、买家信息、农产品信息和农产品出厂信息；总线用于将所述处理器、存储器、输入设备相连。
一种农产品交易数据处理服务器，包括：存储介质、光纤交换机、虚拟化服务器、虚拟化管理服务器和核心交换机，其中，存储介质用于存储处理后的农产品交易数据；光纤交换机用于把虚拟化服务器与存储介质通过物理方式相连；虚拟化服务器用于将多个物理网络抽象为一个虚拟网络或者将一个物理网络分割为多个逻辑网络；虚拟化管理服务器用于通过虚拟化技术的分布式资源调度实现服务器的自动负载迁移；核心交换机用于高速实现的数据包转发。
一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行上述的一种农产品交易数据处理方法。
与现有技术相比，本发明的有益效果是：
1.本发明提出的一种农产品交易数据处理方法，通过选取农产品交易数据中的特征数据，计算农产品交易数据特征值集合的相似度，并基于相似度判断数据是否重复，通过删除重复数据消除数据冗余。
2.本发明提出的一种农产品交易数据处理方法，对所有农产品交易数据进行真实度计算，通过数据真实度和数据源真实度计算农产品交易数据整体真实度，对虚假数据做出标记，能够保证农产品交易数据的真实性。
3.本发明提出的一种农产品交易数据处理方法，通过表结构和主键的设计，将订单信息表、卖家信息表和买家信息表以交易订单编号为主键相连接并存储，卖家信息表和农产品信息表以农产品编号为主键相连接并存储，农产品信息表和农产品出厂信息表以农产品出厂工厂编号为主键相连接并存储，使得农产品交易数据查询时效率更高，更快更精准查询到所需信息。
附图说明
通过阅读参照以下附图所作的对非限制性实施例的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例1中一种农产品交易数据处理方法的流程示意图；
图2为本发明实施例2中一种农产品交易数据处理方法的实体关系图；
图3为本发明实施例3中一种农产品交易数据处理方法的具体流程图；
图4为本发明实施例4中一种农产品交易数据处理装置图；
图5为本发明实施例5中一种农产品交易数据处理服务器拓扑图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。
实施例1
请参阅图1，本发明提供的一种实施例：一种农产品交易数据处理方法，包括以下步骤：
步骤S1：对农产品交易数据进行预处理；
步骤S2：计算农产品交易数据真实度；
步骤S3：基于真实度对农产品交易数据中的虚假数据进行标记；
步骤S4：基于农产品交易数据特征对农产品交易数据进行聚类处理；
步骤S5：基于设计的表结构对农产品交易数据进行存储。
步骤S1具体包括以下步骤：
步骤S1.1：将非数字类型的农产品交易数据转换为数字；
步骤S1.2：对农产品交易数据进行数据标准化操作；
步骤S1.3：对农产品交易数据进行去重处理。
步骤S1.3具体包括以下步骤：
步骤S1.3.1：选取农产品交易数据中的交易订单来源平台、交易订单生成时间、交易订单编号、农产品编号、买家ID和卖家ID作为特征，建立农产品交易特征数据集；
步骤S1.3.2：设定农产品交易特征值函数为，计算公式为：
，
其中，表示设定的农产品交易特征值数量，/>表示农产品交易特征数据集中特征数量，/>表示第/>个农产品交易特征值函数，/>表示农产品交易特征数据集中的第/>个特征，/>、/>和/>表示农产品交易特征值函数的第/>个农产品交易特征值函数的系数；
步骤S1.3.3：依次计算每组农产品交易数据特征的特征值，得到特征值集合，/>；
步骤S1.3.4：设农产品交易数据特征值集合相似度为，计算公式为：
，
其中，表示农产品交易数据特征值集合相似度，/>和/>分别表示两组农产品交易数据的特征值集合；
步骤S1.3.5：当两组农产品交易数据特征值集合相似度时，判断该两组农产品交易数据为重复数据，对该两组数据进行去重处理。
农产品交易数据真实度，计算公式为：
，
其中，表示农产品交易数据真实度，/>表示农产品交易数据的数据真实度，表示农产品交易数据的数据源真实度，/>表示农产品交易数据的数据真实度权重，表示农产品交易数据的数据源真实度权重。
农产品交易数据的数据真实度，计算公式为：
；
；
；
其中，表示农产品交易订单数据的真实度，/>表示订单重要特征数据的数量，表示订单重要特征数据的缺失数量，/>表示订单除重要特征之外部分数据的数量，/>表示订单除重要特征之外部分数据的缺失数量，/>表示订单中农产品单价与该交易订单编号农产品的平均单价的偏离程度，/>表示订单中农产品销售数量与该交易订单编号农产品的平均销售数量的偏离程度，/>和/>分别表示农产品交易订单数据中重要特征数据和除重要特征之外部分数据的权重，/>表示农产品交易订单买家卖家数据的真实度，/>表示农产品交易订单买家特征数据的数量，/>表示农产品交易订单买家特征数据的缺失数量，/>表示农产品交易订单卖家特征数据的数量，/>表示农产品交易订单卖家特征数据的缺失数量，/>表示农产品交易订单卖家农产品来源的真实度，/>和/>分别表示农产品交易订单买家卖家数据中买家数据和卖家数据的权重，/>表示农产品交易订单数据的权重，/>表示农产品交易订单买家卖家数据的权重。
农产品交易数据的数据源真实度，计算公式为：
，
其中，表示其余所有数据源的数据源真实度，/>表示取平均值函数，表示该数据源第一次与本地交互农产品交易数据，/>表示该数据源第/>次与本地交互农产品交易数据时的数据源真实度，/>表示该数据源第/>次与本地交互农产品交易数据的数据真实度，/>表示该数据源非第一次与本地交互农产品交易数据，/>表示该数据源第/>次与本地交互农产品交易数据，/>表示该数据源本次是第/>次与本地交互农产品交易数据。
步骤S3包括：设定真实度阈值为，当农产品交易数据真实度/>小于/>时，标记该组农产品交易数据为虚假数据。
步骤S4具体包括以下步骤：
步骤S4.1：随机选取个农产品交易数据的特征作为初始聚类中心；
步骤S4.2：计算其余农产品交易数据的特征与聚类中心的距离，根据距离将农产品交易数据分配到最相似的聚类；
步骤S4.3：计算每个聚类的均值作为新的聚类中心；
步骤S4.4：聚类中心改变，则迭代执行步骤S4.2~步骤S4.3，直到聚类中心未发生变化，完成对农产品交易数据的聚类处理。
实施例2
请参阅图2，本发明提供的一种实施例：一种农产品交易数据处理方法的实体关系图，包括：订单信息表、卖家信息表、买家信息表、农产品信息表和农产品出厂信息表，其中，订单信息表、卖家信息表和买家信息表以交易订单编号为主键相连接并存储，卖家信息表和农产品信息表以农产品编号为主键相连接并存储，农产品信息表和农产品出厂信息表以农产品出厂工厂编号为主键相连接并存储。一个订单由一个卖家和一个买家交易组成，一个卖家可以上架n种农产品，一种农产品可以由n个农产品工厂生产。
其中，订单信息表包括：交易订单编号、交易订单来源平台、交易订单总金额、交易订单生成时间、交易订单买家备注信息、交易订单状态、交易订单支付方式、农产品编号、交易订单支付单号和交易订单农产品销售数量；卖家信息表包括：交易订单编号、卖家ID、卖家手机号、卖家发货地址、卖家姓名和农产品编号；买家信息表包括：交易订单编号、买家ID、买家手机号、买家收获地址和买家姓名；农产品信息表包括：农产品编号、农产品出厂工厂编号、农产品种类、农产品名称、农产品生产时间、农产品保质期、农产品单价和农产品条码；农产品出厂信息表包括：农产品编号、农产品出厂工厂编号、农产品出厂工厂地址、农产品出厂时间、农产品销售委托方和农产品销售委托方地址。
实体关系图，用于显示实体集之间的关系。它提供了一种表示实体类型、属性和连接的方法；用来描述现实世界的概念模型。实体关系模型是数据库的设计或蓝图，将来可以作为数据库来实现。在实体关系图中，实体集是一组相似的实体(数据模型中的数据对象)，它们可以有属性。在数据库系统中，实体是数据库中的表或属性，因此实体关系图通过显示表和它们的属性之间的关系来显示数据库的完整逻辑结构。实体关系图包括：1.实体：实体表示数据模型中的数据对象或组件。例如，人、学生和音乐都可以被视为数据对象。数据模型中有一个特殊的实体：弱实体，它不能通过自身的属性唯一识别，并且依赖于与其他实体的关系，弱实体用双矩形表示。2.属性：属性代表一个实体的属性，如一个人的姓名、年龄、地址和其他属性；在电流变图中用椭圆表示，有四种类型的属性：关键属性：可以唯一标识实体集内的实体；复合属性:属于其他属性组合的属性；多值属性：可以包含多个值的属性称为多值属性，用双椭圆表示；派生属性：该值是动态的，从另一个属性派生而来，用点椭圆表示。3.关系：关系用于表示实体之间的关系，在实体关系图中用菱形表示，有四种类型的关系：一对一、一对多、多对一和多对多。
实施例3
请参阅图3，本发明提供的一种实施例：一种农产品交易数据处理方法的具体流程图，包括：将非数字类型的农产品交易数据转换为数字；对农产品交易数据进行数据标准化操作；基于特征值集合计算集合相似度，判断是否为重复数据并进行去重；计算数据整体真实度，判断是否为虚假数据并对虚假数据进行标记；基于特征对农产品交易数据进行聚类处理；基于设计的表结构对农产品交易数据进行存储。
实施例4
请参阅图4，本发明提供的一种实施例：一种农产品交易数据处理装置，包括：处理器、存储器、输入设备和总线，其中，所述处理器用于对农产品交易数据进行转换、数据平滑和标准化操作，对农产品交易数据进行去重处理，通过计算真实度对农产品交易数据的虚假数据进行标记，基于特征对农产品交易数据进行聚类处理；所述存储器用于基于订单信息表、卖家信息表、买家信息表、农产品信息表和农产品出厂信息表对农产品交易数据进行存储；所述输入设备用于获取农产品交易数据，包括：订单信息、卖家信息、买家信息、农产品信息和农产品出厂信息；所述总线用于将所述处理器、存储器、输入设备相连。
实施例5
请参阅图5，本发明提供的一种实施例：一种农产品交易数据处理服务器，包括：存储介质、光纤交换机、虚拟化服务器、虚拟化管理服务器和核心交换机，其中，所述存储介质用于存储处理后的农产品交易数据；所述光纤交换机用于把虚拟化服务器与存储介质通过物理方式相连；所述虚拟化服务器用于将多个物理网络抽象为一个虚拟网络或者将一个物理网络分割为多个逻辑网络；所述虚拟化管理服务器用于通过虚拟化技术的分布式资源调度实现服务器的自动负载迁移；所述核心交换机用于高速实现的数据包转发。
虚拟机(英文全称：Virtual Machine)是指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统，目前流行的虚拟机软件有VMware、Virtual Box和Virtual PC，它们都能在Windows系统上虚拟出多个计算机，每个虚拟计算机可以独立运行，可以安装各种软件与应用等，虚拟机是将一台计算机虚拟化实现一台计算机具备多台计算机的功能，但整机性能也会被各个虚拟机所分配划分，因此划分虚拟机越多，各个虚拟机所分配的CPU、内存、存储空间资源也越少，因此组建虚拟机通常是配置越高越好，因此广泛使用于服务器等行业。
本发明提供的一种实施例：一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行上述所述的一种农产品交易数据处理方法。
以上所述仅为本申请的较佳实例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (6)
1.一种农产品交易数据处理方法，其特征在于，包括以下步骤：
步骤S1：对农产品交易数据进行预处理；
步骤S2：计算农产品交易数据真实度；
步骤S3：基于真实度对农产品交易数据中的虚假数据进行标记；
步骤S4：基于农产品交易数据特征对农产品交易数据进行聚类处理；
步骤S5：基于设计的表结构对农产品交易数据进行存储；
所述步骤S1具体包括以下步骤：
步骤S1.1：将非数字类型的农产品交易数据转换为数字；
步骤S1.2：对农产品交易数据进行数据标准化操作；
步骤S1.3：对农产品交易数据进行去重处理；
所述步骤S1.3具体包括以下步骤：
步骤S1.3.1：选取农产品交易数据中的交易订单来源平台、交易订单生成时间、交易订单编号、农产品编号、买家ID和卖家ID作为特征，建立农产品交易特征数据集；
步骤S1.3.2：设定农产品交易特征值函数为，计算公式为：
，
其中，表示设定的农产品交易特征值数量，/>表示农产品交易特征数据集中特征数量，/>表示第/>个农产品交易特征值函数，/>表示农产品交易特征数据集中的第/>个特征，/>、/>和/>表示农产品交易特征值函数的第/>个农产品交易特征值函数的系数；
步骤S1.3.3：依次计算每组农产品交易数据特征的特征值，得到特征值集合，；
步骤S1.3.4：设农产品交易数据特征值集合相似度为，计算公式为：
，
其中，表示农产品交易数据特征值集合相似度，/>和/>分别表示两组农产品交易数据的特征值集合；
步骤S1.3.5：当两组农产品交易数据特征值集合相似度时，判断该两组农产品交易数据为重复数据，对该两组数据进行去重处理；
所述步骤S2中，所述农产品交易数据真实度，计算公式为：
，
其中，表示农产品交易数据真实度，/>表示农产品交易数据的数据真实度，/>表示农产品交易数据的数据源真实度，/>表示农产品交易数据的数据真实度权重，/>表示农产品交易数据的数据源真实度权重；
所述农产品交易数据的数据真实度，计算公式为：
；
；
；
其中，表示农产品交易订单数据的真实度，/>表示订单重要特征数据的数量，/>表示订单重要特征数据的缺失数量，/>表示订单除重要特征之外部分数据的数量，/>表示订单除重要特征之外部分数据的缺失数量，/>表示订单中农产品单价与该交易订单编号农产品的平均单价的偏离程度，/>表示订单中农产品销售数量与该交易订单编号农产品的平均销售数量的偏离程度，/>和/>分别表示农产品交易订单数据中重要特征数据和除重要特征之外部分数据的权重，/>表示农产品交易订单买家卖家数据的真实度，/>表示农产品交易订单买家特征数据的数量，/>表示农产品交易订单买家特征数据的缺失数量，/>表示农产品交易订单卖家特征数据的数量，/>表示农产品交易订单卖家特征数据的缺失数量，/>表示农产品交易订单卖家农产品来源的真实度，/>和/>分别表示农产品交易订单买家卖家数据中买家数据和卖家数据的权重，/>表示农产品交易订单数据的权重，/>表示农产品交易订单买家卖家数据的权重；
所述农产品交易数据的数据源真实度，计算公式为：
，
其中，表示其余所有数据源的数据源真实度，/>表示取平均值函数，表示该数据源第一次与本地交互农产品交易数据，/>表示该数据源第/>次与本地交互农产品交易数据时的数据源真实度，/>表示该数据源第/>次与本地交互农产品交易数据的数据真实度，/>表示该数据源非第一次与本地交互农产品交易数据，/>表示该数据源第/>次与本地交互农产品交易数据，/>表示该数据源本次是第/>次与本地交互农产品交易数据；
所述步骤S3包括：设定真实度阈值为，当农产品交易数据真实度/>小于/>时，标记该组农产品交易数据为虚假数据。
2.根据权利要求1所述的一种农产品交易数据处理方法，其特征在于，所述步骤S4具体包括以下步骤：
步骤S4.1：随机选取个农产品交易数据的特征作为初始聚类中心；
步骤S4.2：计算其余农产品交易数据的特征与聚类中心的距离，根据距离将农产品交易数据分配到最相似的聚类；
步骤S4.3：计算每个聚类的均值作为新的聚类中心；
步骤S4.4：聚类中心改变，则迭代执行步骤S4.2~步骤S4.3，直到聚类中心未发生变化，完成对农产品交易数据的聚类处理。
3.根据权利要求2所述的一种农产品交易数据处理方法，其特征在于，所述步骤S4中，所述表结构具体包括：订单信息表、卖家信息表、买家信息表、农产品信息表和农产品出厂信息表，其中，订单信息表、卖家信息表和买家信息表以交易订单编号为主键相连接并存储，卖家信息表和农产品信息表以农产品编号为主键相连接并存储，农产品信息表和农产品出厂信息表以农产品出厂工厂编号为主键相连接并存储。
4.一种农产品交易数据处理装置，其基于权利要求1-3中任一项所述的一种农产品交易数据处理方法实现，其特征在于，包括：处理器、存储器、输入设备和总线，其中，所述处理器用于对农产品交易数据进行转换、数据平滑和标准化操作，对农产品交易数据进行去重处理，通过计算真实度对农产品交易数据的虚假数据进行标记，基于特征对农产品交易数据进行聚类处理；所述存储器用于基于订单信息表、卖家信息表、买家信息表、农产品信息表和农产品出厂信息表对农产品交易数据进行存储；所述输入设备用于获取农产品交易数据，包括：订单信息、卖家信息、买家信息、农产品信息和农产品出厂信息；所述总线用于将所述处理器、存储器、输入设备相连。
5.一种农产品交易数据处理服务器，其基于权利要求1-3中任一项所述的一种农产品交易数据处理方法实现，其特征在于，包括：存储介质、光纤交换机、虚拟化服务器、虚拟化管理服务器和核心交换机，其中，所述存储介质用于存储处理后的农产品交易数据；所述光纤交换机用于把虚拟化服务器与存储介质通过物理方式相连；所述虚拟化服务器用于将多个物理网络抽象为一个虚拟网络或者将一个物理网络分割为多个逻辑网络；所述虚拟化管理服务器用于通过虚拟化技术的分布式资源调度实现服务器的自动负载迁移；所述核心交换机用于高速实现的数据包转发。
6.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行权利要求1-3中任一项所述的一种农产品交易数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311298444.3A CN117057825B (zh) | 2023-10-09 | 2023-10-09 | 一种农产品交易数据处理方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311298444.3A CN117057825B (zh) | 2023-10-09 | 2023-10-09 | 一种农产品交易数据处理方法、装置、服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117057825A CN117057825A (zh) | 2023-11-14 |
| CN117057825B true CN117057825B (zh) | 2023-12-19 |
Family
ID=88659366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311298444.3A Active CN117057825B (zh) | 2023-10-09 | 2023-10-09 | 一种农产品交易数据处理方法、装置、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117057825B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103268566A (zh) * | 2013-05-23 | 2013-08-28 | 新疆卡尔罗媒体科技有限公司 | 一种社交网络平台系统及互动方法 |
| CN104166924A (zh) * | 2014-07-29 | 2014-11-26 | 深圳市深信信息技术有限公司 | 一种农产品电子交易管理系统 |
| KR101671227B1 (ko) * | 2015-05-22 | 2016-11-01 | 줌인터넷 주식회사 | 문서 중복 및 유사도를 검출하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록 매체 |
| CN106910101A (zh) * | 2016-07-21 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 群体虚假交易识别方法及装置 |
| CN109377247A (zh) * | 2018-10-29 | 2019-02-22 | 中钢银通电子商务股份有限公司 | 应用于大宗现货交易平台的商品真实性验证方法及系统 |
| CN111340509A (zh) * | 2020-05-22 | 2020-06-26 | 支付宝(杭州)信息技术有限公司 | 一种虚假交易识别方法、装置及电子设备 |
| CN111651477A (zh) * | 2020-05-27 | 2020-09-11 | 福建博思软件股份有限公司 | 基于语义相似度的多源异构商品一致性判别方法和装置 |
| CN111861505A (zh) * | 2020-06-28 | 2020-10-30 | 石家庄铁道大学 | 基于区块链的农产品溯源方法 |
| CN111985930A (zh) * | 2020-09-08 | 2020-11-24 | 中国银行股份有限公司 | 客户号生成方法及装置 |
| CN112884554A (zh) * | 2021-03-18 | 2021-06-01 | 南通大学 | 一种基于联盟链的物联网数据拍卖系统的拍卖方法 |
| CN114648390A (zh) * | 2021-06-22 | 2022-06-21 | 布瑞克农业大数据科技集团有限公司 | 一种农产品推广广告的生成方法和系统 |
| CN116720881A (zh) * | 2023-08-08 | 2023-09-08 | 新立讯科技股份有限公司 | 基于定位信息的农产品销售监管预警方法、系统及介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10831827B2 (en) * | 2016-04-01 | 2020-11-10 | International Business Machines Corporation | Automatic extraction of user mobility behaviors and interaction preferences using spatio-temporal data |
| CN111857550B (zh) * | 2019-04-29 | 2024-03-22 | 伊姆西Ip控股有限责任公司 | 用于数据去重的方法、设备以及计算机可读介质 |
-
2023
- 2023-10-09 CN CN202311298444.3A patent/CN117057825B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103268566A (zh) * | 2013-05-23 | 2013-08-28 | 新疆卡尔罗媒体科技有限公司 | 一种社交网络平台系统及互动方法 |
| CN104166924A (zh) * | 2014-07-29 | 2014-11-26 | 深圳市深信信息技术有限公司 | 一种农产品电子交易管理系统 |
| KR101671227B1 (ko) * | 2015-05-22 | 2016-11-01 | 줌인터넷 주식회사 | 문서 중복 및 유사도를 검출하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록 매체 |
| CN106910101A (zh) * | 2016-07-21 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 群体虚假交易识别方法及装置 |
| CN109377247A (zh) * | 2018-10-29 | 2019-02-22 | 中钢银通电子商务股份有限公司 | 应用于大宗现货交易平台的商品真实性验证方法及系统 |
| CN111340509A (zh) * | 2020-05-22 | 2020-06-26 | 支付宝(杭州)信息技术有限公司 | 一种虚假交易识别方法、装置及电子设备 |
| CN111651477A (zh) * | 2020-05-27 | 2020-09-11 | 福建博思软件股份有限公司 | 基于语义相似度的多源异构商品一致性判别方法和装置 |
| CN111861505A (zh) * | 2020-06-28 | 2020-10-30 | 石家庄铁道大学 | 基于区块链的农产品溯源方法 |
| CN111985930A (zh) * | 2020-09-08 | 2020-11-24 | 中国银行股份有限公司 | 客户号生成方法及装置 |
| CN112884554A (zh) * | 2021-03-18 | 2021-06-01 | 南通大学 | 一种基于联盟链的物联网数据拍卖系统的拍卖方法 |
| CN114648390A (zh) * | 2021-06-22 | 2022-06-21 | 布瑞克农业大数据科技集团有限公司 | 一种农产品推广广告的生成方法和系统 |
| CN116720881A (zh) * | 2023-08-08 | 2023-09-08 | 新立讯科技股份有限公司 | 基于定位信息的农产品销售监管预警方法、系统及介质 |
Non-Patent Citations (3)
| Title |
|---|
| 一种多源数据融合过程中的实体关联性计算方法;周凯等;《 中国人民公安大学学报(自然科学版) 》;第99-103页 * |
| 基于改进Simhash的虚拟机镜像去重方法;张灿阳;刘晓洁;;四川大学学报(自然科学版)(第01期);第57-65页 * |
| 结合深度置信网络和模糊集的虚假交易识别研究;张李义;刘畅;;现代图书情报技术(第01期);第32-39页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117057825A (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210374610A1 (en) | Efficient duplicate detection for machine learning data sets | |
| US20190205993A1 (en) | Transaction data categorizer system and method | |
| CA2953817C (en) | Feature processing tradeoff management | |
| WO2021174944A1 (zh) | 基于目标对象活跃度的消息推送方法及相关设备 | |
| US20130110871A1 (en) | Distributed platform for network analysis | |
| CN103678659A (zh) | 一种基于随机森林算法的电子商务网站欺诈用户识别方法及系统 | |
| CN112365355B (zh) | 实时计算基金估值和风险指标的方法、装置及可读介质 | |
| CN111966886A (zh) | 对象推荐方法、对象推荐装置、电子设备及存储介质 | |
| CN110942392A (zh) | 一种业务数据处理方法、装置、设备和介质 | |
| Sai et al. | Friend Recommendation System Using Map-Reduce and Spark: A Comparison Study | |
| JP3185167B2 (ja) | データ加工システム | |
| CN117057825B (zh) | 一种农产品交易数据处理方法、装置、服务器及存储介质 | |
| CN111159355A (zh) | 客户投诉单处理方法及装置 | |
| CN117033431A (zh) | 工单处理方法、装置、电子设备和介质 | |
| WO2016119508A1 (zh) | 基于Spark系统的大规模对象识别方法 | |
| US20220148048A1 (en) | Leveraging structured data to rank unstructured data | |
| Gautam et al. | Research Trend of Machine Learning for Big Data Application on Cloud | |
| CN111124394A (zh) | 基于元数据的表单配置方法及装置、设备和介质 | |
| CN110738538A (zh) | 识别相似物品的方法和装置 | |
| CN115952174B (zh) | 一种数据表联接方法、系统、终端及存储介质 | |
| CN111159398B (zh) | 一种识别商户类型的方法及装置 | |
| Lee et al. | Development of electric trading system using big data | |
| He et al. | Case Study: 2018 Tencent Advertising Algorithm Competition—Audience Lookalike Expansion | |
| CN114036174A (zh) | 数据更新方法、装置、设备及存储介质 | |
| CN117196278A (zh) | 一种基于领域驱动设计的企业数字化研发转型方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 210012 room 801-810, 8 building, 7 Ande Gate Street, Yuhuatai District, Nanjing, Jiangsu, China, 57 Patentee after: Xinlixun Technology Group Co.,Ltd. Country or region after: China Address before: 210012 room 801-810, 8 building, 7 Ande Gate Street, Yuhuatai District, Nanjing, Jiangsu, China, 57 Patentee before: New Lixun Technology Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |