CN116882867B - 一种物流数据处理与分析方法及装置 - Google Patents

一种物流数据处理与分析方法及装置 Download PDF

Info

Publication number
CN116882867B
CN116882867B CN202310891345.XA CN202310891345A CN116882867B CN 116882867 B CN116882867 B CN 116882867B CN 202310891345 A CN202310891345 A CN 202310891345A CN 116882867 B CN116882867 B CN 116882867B
Authority
CN
China
Prior art keywords
data
cargo
requests
different clients
needed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310891345.XA
Other languages
English (en)
Other versions
CN116882867A (zh
Inventor
周永钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yizhan Shanghai Supply Chain Management Co ltd
Original Assignee
Yizhan Shanghai Supply Chain Management Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yizhan Shanghai Supply Chain Management Co ltd filed Critical Yizhan Shanghai Supply Chain Management Co ltd
Priority to CN202310891345.XA priority Critical patent/CN116882867B/zh
Publication of CN116882867A publication Critical patent/CN116882867A/zh
Application granted granted Critical
Publication of CN116882867B publication Critical patent/CN116882867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/81—Indexing, e.g. XML tags; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/84—Mapping; Conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明的实施例公开了一种物流数据处理与分析方法及装置。方法包括：采集并统计不同类型的货物数据并存储；根据所述货物数据的类型为每条所述货物数据编码，生成数据字段；按照预定义规则，为不同客户端创建不同的数据字段之间的联结关系，为每种联结关系生成校验编码，存储映射关系；接收来自不同客户端的数据请求，根据不同客户端的数据获取输出对应的校验编码；解析所述校验编码，向客户端输出对应的货物数据。装置包括存储模块，数据字段生成模块，映射关系生成模块，校验编码输出模块，校验编码解析模块和分布式并发控制模块。本发明能够实现物流数据的标准化，提高了数据的一致性，使来自不同平台的数据能够进行有效的整合和对比。

Description

一种物流数据处理与分析方法及装置
技术领域
本发明涉及物流监控技术领域，特别涉及一种物流数据处理与分析方法及装置。
背景技术
物流管理是一种复杂的流程，涉及物流活动的规划、组织、指挥、协调、控制和监督。物流管理的目标是协调各项物流活动，以便减少物流成本并提高物流效率。在物流活动中，会涉及到多个对象，例如人、车、货物、和场地，对这些对象的数据进行分析对实现有效的物流管理至关重要。
然而，在实践中我们面临着挑战，这些对象的数据通常分布在不同的系统中。举例来说，人员数据可能散布在客户关系管理(CRM)系统和订单管理系统(OMS)中；车辆数据可能存储在物流园区的停车场系统中；货物数据可能位于仓库管理系统(WMS)中；而场地(例如仓库)的数据可能在物流园区的物业管理系统中。
这些分散在各个系统中的数据主要带来了两大问题。首先，由于每个系统的数据结构可能存在差异，不能简单地将所有数据合并在一起进行统一的分析。这种数据多样性导致我们不能直接对数据进行处理，反而需要逐个解析不同系统中的数据，增加了复杂性和工作量。其次，各系统中的数据之间可能没有清晰的关联关系。也就是说我们需要在进行物流数据分析时，采取特殊的手段来选取并关联必要的数据，这需要额外的计算资源和时间，导致数据处理的效率低下。
这种数据碎片化和结构差异性问题严重影响了物流数据分析的效率。我们需要找到一种有效的方法，以克服这些挑战，以便我们能够更有效地进行物流管理。
发明内容
有鉴于此，本发明实施例的目的在于提供一种物流数据处理与分析方法及装置，能够实现物流数据的标准化，提高了数据的一致性，使得来自不同系统或者平台的数据能够进行有效的整合和对比，提高了数据处理和分析的效率，对于跟踪货物的状态、优化库存管理和预测货运需求等方面具有积极的影响。
第一方面，本发明实施例提供了一种物流数据处理与分析方法，其中，包括：
采集并统计不同类型的货物数据，存储所述货物数据；
根据所述货物数据的类型为每条所述货物数据编码，生成数据字段；
按照预定义规则，为不同客户端创建不同的数据字段之间的联结关系，为每种联结关系生成校验编码并存储映射关系；
接收来自不同客户端的数据请求，根据不同客户端的数据请求获取对应的校验编码；
解析所述校验编码，向客户端输出对应的货物数据。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述货物数据的类型包括发货日期、发货地点、货物种类、货物数量、货物重量、成交金额、运输形式、运输路线、暂存时间、暂存地点以及收件地点中的至少一个。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，
所述数据字段包括前缀和数据编码；
所述前缀包括根据发货方生成的发货方标识信息；
所述数据编码包括定性编码和定量编码，所述定性编码表示所述货物数据的类型，所述定量编码表示所述货物数据的参数。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述按照预定义规则，为不同客户端创建不同的数据字段之间的联结关系，为每种联结关系生成校验编码并存储映射关系包括：
基于不同客户端的请求定义规则，为不同的客户端设定可访问的数据货物数据的类型、访问时间、访问频率限制中的至少一项；
根据所定义的规则，通过函数将需要的数据字段之间进行联结；
将每种联结关系转换成对应的字符串，使用哈希函数为每种联结关系生成唯一的校验编码；
存储所述校验编码和所述联结关系的映射关系。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述接收来自不同客户端的数据请求，根据不同客户端的数据请求获取对应的校验编码，包括：
接收客户端的数据请求，所述数据请求中包含描述所需要的联结关系的JSON对象；
将所述JSON对象转换成对应的字符串；
使用哈希函数生成对应的校验编码。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述解析所述校验编码，向客户端输出对应的货物数据，包括：
使用所述校验编码，在存储的所述映射关系中查找对应的所述联结关系；
根据查找到的对应的所述联结关系，获取需要的所述货物数据。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，还包括采用分布式并发控制，管理对客户端获取需要的所述货物数据的授权。
结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述采用分布式并发控制，管理对客户端获取需要的所述货物数据的授权，包括：
接收来自不同客户端的数据请求和对应所述数据请求的解锁请求；
向分布式并发控制节点发送获取需要的所述货物数据的解锁请求；
使分布式并发控制节点读取获取需要的所述货物数据的分布式锁授权列表，若所述分布式锁授权列表中获取需要的所述货物数据对应的节点的本地锁的使用状态为释放状态，则当前节点的授权状态为未授权，可向存储的所述货物数据中发送获取需要的所述货物数据的分布式锁授权指令；
从存储的所述货物数据中得到需要的所述货物数据，并使所述分布式锁授权列表中获取需要的所述货物数据对应的节点的授权状态设置为已授权。
第二方面，本发明实施例还提供了一种物流数据处理与分析装置，所述物流数据处理与分析装置执行所述计算机程序时实现如前所述的方法；
所述物流数据处理与分析装置包括：
存储模块，用于采集并统计不同类型的货物数据，存储所述货物数据；
数据字段生成模块，用于根据所述货物数据的类型为每条所述货物数据编码，生成数据字段；
映射关系生成模块，用于按照预定义规则，为不同客户端创建不同的数据字段之间的联结关系，为每种联结关系生成校验编码并存储映射关系；
校验编码输出模块，用于接收来自不同客户端的数据请求，根据不同客户端的数据请求获取对应的校验编码；
校验编码解析模块，用于解析所述校验编码，向客户端输出对应的货物数据。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述物流数据处理与分析装置还包括分布式并发控制模块，采用分布式并发控制，管理对客户端获取需要的所述货物数据的授权；
所述分布式并发控制模块包括：
解锁请求接收单元，用于接收来自不同客户端的数据请求和对应所述数据请求的解锁请求；
解锁请求发送单元，用于向分布式并发控制节点发送获取需要的所述货物数据的解锁请求；
授权控制单元，用于使分布式并发控制节点读取获取需要的所述货物数据的分布式锁授权列表，若所述分布式锁授权列表中获取需要的所述货物数据对应的节点的本地锁的使用状态为释放状态，则当前节点的授权状态为未授权，可向存储的所述货物数据中发送获取需要的所述货物数据的分布式锁授权指令；
货物数据解析单元，用于从存储的所述货物数据中得到需要的所述货物数据，并使所述分布式锁授权列表中获取需要的所述货物数据对应的节点的授权状态设置为已授权。
本发明实施例的有益效果是：
本发明可以整体提升物流数据的管理和利用效能。通过为每条货物数据编码和生成数据字段，实现数据的标准化，使得来自不同系统的货物信息可以进行有效的对比和整合，进一步提高了数据处理和分析的效率；同时，通过预定义规则创建的数据字段联结关系以及对应的校验编码，增强物流信息的多维度关联性和数据检索效率，更好地理解和利用物流数据，无论是仓库管理人员，还是供应链决策者，都能根据特定的校验编码快速地获取到所需的货物数据；另外，本发明还通过解析校验编码来获取数据，提高了物流数据的安全性，防止了未经授权的访问。本发明的物流数据处理与分析方法加强了物流数据的管理能力，提高了物流管理的效率和服务水平。
本发明采用分布式并发控制管理对客户端获取货物数据的授权，可以大幅提高数据访问的效率，由于该方法允许多个客户端同时而不是依次访问数据，因此在需要处理大量请求的大型物流环境中，这种功能极为重要。尽管并发访问得以实现，但并发控制机制确保了所有操作的连贯性和一致性，即使在高并发环境下也能保障数据的完整性和一致性。这种管理方法在细粒度层面上进行数据权限控制，只允许授权客户端访问和操作数据，从而有效地提高了物流数据的安全性。分布式系统因其强大的容错能力，即使部分系统出现故障，其他部分仍能正常运行，保证了物流数据访问和操作的稳定性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明物流数据处理与分析方法的流程图。
图2为本发明物流数据处理与分析方法中采用分布式并发控制，管理对客户端获取需要的所述货物数据的授权的流程图。
图3为本发明物流数据处理与分析装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件能够以各种不同的配置来布置和设计。
请参照图1，本发明的第一个实施例提供一种物流数据处理与分析方法，其中，包括：
采集并统计不同类型的货物数据，存储所述货物数据；
根据所述货物数据的类型为每条所述货物数据编码，生成数据字段；
按照预定义规则，为不同客户端创建不同的数据字段之间的联结关系，为每种联结关系生成校验编码并存储映射关系；
接收来自不同客户端的数据请求，根据不同客户端的数据请求获取对应的校验编码；
解析所述校验编码，向客户端输出对应的货物数据。
具体的，所述货物数据的类型包括发货日期、发货地点、货物种类、货物数量、货物重量、成交金额、运输形式、运输路线、暂存时间、暂存地点以及收件地点中的至少一个。
具体的，所述数据字段包括前缀和数据编码；
所述前缀包括根据发货方生成的发货方标识信息；
所述数据编码包括定性编码和定量编码，所述定性编码表示所述货物数据的类型，所述定量编码表示所述货物数据的参数。
具体的，所述按照预定义规则，为不同客户端创建不同的数据字段之间的联结关系，为每种联结关系生成校验编码并存储映射关系包括：
基于不同客户端的请求定义规则，为不同的客户端设定可访问的数据货物数据的类型、访问时间以及访问频率限制中的至少一项；
在本发明的一种实施例中，定义规则，首先明确需要控制哪些客户端可以访问哪些数据，或者在什么条件下可以访问这些数据。
然后对客户端进行分类和分析，理解各自的特性和需求，有些客户端可能需要访问货物的全部数据，有些客户端只需要访问部分数据，有些客户端需要频繁地请求数据，有些只是偶尔请求。
对数据进行分类和分析，理解它们的特性和使用情况，例如有些数据是敏感的，需要特殊的访问控制，有些数据容量较大，需要特殊的处理方式，有些数据经常发生变动，需要及时的更新。
清楚指明在什么条件下可以进行什么样的操作，如“所有客户端都可以访问所有非敏感数据”，“客户端A可以在工作日的9点到5点访问数据X，但不能访问数据Y”。
定义好规则后，需要对其进行测试，检查是否能够满足需求，并根据反馈进行调整。
根据所定义的规则，通过函数将需要的数据字段之间进行联结；
若使用Python语言，可通过pd.merge函数将需要的数据字段之间进行联结。
将每种联结关系转换成对应的字符串，使用哈希函数为每种联结关系生成唯一的校验编码；
存储所述校验编码和所述联结关系的映射关系。
在本发明的一种实施例中，为收货方user定义一种联结关系，包括发货日期delivery date、发货地点delivery location、货物种类type、成交金额amount和收件地点receipt location，
使用函数def relation_to_string(relation):
return relation['table1']+'-'+relation['table2']+'-'+relation['table3']+'-'+relation['table4']+'-'+relation['table5']+'-'+relation['on']，将联结关系转换为一个字符串；
使用哈希函数来生成校验编码，
使用函数hash_code1＝generate_hash_code(join_relation1)
print(hash_code1)
输出一串哈希值，得到生成的校验编码。
具体的，所述接收来自不同客户端的数据请求，根据不同客户端的数据请求获取对应的校验编码，包括：
接收客户端的数据请求，所述数据请求中包含描述所需要的联结关系的JSON对象；
将所述JSON对象转换成对应的字符串；
使用哈希函数生成对应的校验编码。
具体的，所述解析所述校验编码，向客户端输出对应的货物数据，包括：
使用所述校验编码，在存储的所述映射关系中查找对应的所述联结关系；
根据查找到的对应的所述联结关系，获取需要的所述货物数据。
具体的，还包括采用分布式并发控制，管理对客户端获取需要的所述货物数据的授权。
如图2所示，具体的，所述采用分布式并发控制，管理对客户端获取需要的所述货物数据的授权，包括：
接收来自不同客户端的数据请求和对应所述数据请求的解锁请求；
向分布式并发控制节点发送获取需要的所述货物数据的解锁请求；
使分布式并发控制节点读取获取需要的所述货物数据的分布式锁授权列表，若所述分布式锁授权列表中获取需要的所述货物数据对应的节点的本地锁的使用状态为释放状态，则当前节点的授权状态为未授权，可向存储的所述货物数据中发送获取需要的所述货物数据的分布式锁授权指令；
从存储的所述货物数据中得到需要的所述货物数据，并使所述分布式锁授权列表中获取需要的所述货物数据对应的节点的授权状态设置为已授权。
请参照图3，本发明的第二个实施例提供一种物流数据处理与分析装置，所述物流数据处理与分析装置执行所述计算机程序时实现如前所述的方法；
所述物流数据处理与分析装置包括：
存储模块，用于采集并统计不同类型的货物数据，存储所述货物数据；
数据字段生成模块，用于根据所述货物数据的类型为每条所述货物数据编码，生成数据字段；
映射关系生成模块，用于按照预定义规则，为不同客户端创建不同的数据字段之间的联结关系，为每种联结关系生成校验编码并存储映射关系；
校验编码输出模块，用于接收来自不同客户端的数据请求，根据不同客户端的数据请求获取对应的校验编码；
校验编码解析模块，用于解析所述校验编码，向客户端输出对应的货物数据。
具体的，所述物流数据处理与分析装置还包括分布式并发控制模块，采用分布式并发控制，管理对客户端获取需要的所述货物数据的授权；
所述分布式并发控制模块包括：
解锁请求接收单元，用于接收来自不同客户端的数据请求和对应所述数据请求的解锁请求；
解锁请求发送单元，用于向分布式并发控制节点发送获取需要的所述货物数据的解锁请求；
授权控制单元，用于使分布式并发控制节点读取获取需要的所述货物数据的分布式锁授权列表，若所述分布式锁授权列表中获取需要的所述货物数据对应的节点的本地锁的使用状态为释放状态，则当前节点的授权状态为未授权，可向存储的所述货物数据中发送获取需要的所述货物数据的分布式锁授权指令；
货物数据解析单元，用于从存储的所述货物数据中得到需要的所述货物数据，并使所述分布式锁授权列表中获取需要的所述货物数据对应的节点的授权状态设置为已授权。
本发明实施例旨在保护一种物流数据处理与分析方法及装置，具备如下效果：
1.提升物流信息一致性。通过为每条货物数据编码和生成数据字段，可以统一标准化各类货物的数据，使得来自不同系统或者平台的数据能够进行有效的整合和对比，进一步提高了数据处理和分析的效率，对于跟踪货物的状态，优化库存管理，预测货运需求等方面具有积极的影响。
2.增强物流信息关联性。通过预定义规则为不同客户端创建不同的数据字段之间的联结关系，以及为每种联结关系生成校验编码并存储映射关系，实现物流信息的多维度关联，更好地理解和利用物流数据间的关系。在时间中，能够根据货物的信息关联到具体的供应商、运输路线、仓库位置等。
3.提高物流数据检索效率。接收来自不同客户端的数据请求，根据不同客户端的数据请求获取对应的校验编码，能够大大提高数据的检索效率。无论是仓库管理人员，还是供应链决策者，都能根据特定的校验编码快速地获取到所需的货物数据，大大提高物流操作的效率。
4.保障物流数据安全。通过解析校验编码来获取对应的货物数据，提升了物流数据的安全性。只有持有正确校验编码的客户端才能获取到对应的数据，防止了未经授权的访问，增强了物流数据的安全保障。
5.提升物流管理效能。本发明的物流数据处理与分析方法加强了物流数据管理的能力，使得物流管理可以应对大量、复杂、分散的数据，并提供准确、快速的数据服务，从而提高整体的物流管理效率和服务水平。
6.分布式并发控制管理。通过分布式并发控制管理对客户端获取货物数据的授权，在提升数据访问效率，保障数据安全性和一致性的同时，也增强了系统的容错能力，对于大规模物流管理系统来说，具有重要价值。
本发明实施例所提供的物流数据处理与分析方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述物流数据处理与分析方法，从而能够实现物流数据的标准化，提高了数据的一致性，使得来自不同系统或者平台的数据能够进行有效的整合和对比，提高了数据处理和分析的效率，对于跟踪货物的状态、优化库存管理和预测货运需求等方面具有积极的影响。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种物流数据处理与分析方法，其特征在于，包括：
采集并统计不同类型的货物数据，存储所述货物数据；
根据所述货物数据的类型为每条所述货物数据编码，生成数据字段；
按照预定义规则，为不同客户端创建不同的数据字段之间的联结关系，为每种联结关系生成校验编码并存储映射关系；
接收来自不同客户端的数据请求，根据不同客户端的数据请求获取对应的校验编码；
解析所述校验编码，向客户端输出对应的货物数据；
还包括采用分布式并发控制，管理对客户端获取需要的所述货物数据的授权，并进一步包括：
接收来自不同客户端的数据请求和对应所述数据请求的解锁请求；
向分布式并发控制节点发送获取需要的所述货物数据的解锁请求；
使分布式并发控制节点读取获取需要的所述货物数据的分布式锁授权列表，若所述分布式锁授权列表中获取需要的所述货物数据对应的节点的本地锁的使用状态为释放状态，则当前节点的授权状态为未授权，可向存储的所述货物数据中发送获取需要的所述货物数据的分布式锁授权指令；
从存储的所述货物数据中得到需要的所述货物数据，并使所述分布式锁授权列表中获取需要的所述货物数据对应的节点的授权状态设置为已授权。
2.根据权利要求1所述的物流数据处理与分析方法，其特征在于，所述货物数据的类型包括发货日期、发货地点、货物种类、货物数量、货物重量、成交金额、运输形式、运输路线、暂存时间、暂存地点以及收件地点中的至少一个。
3.根据权利要求2所述的物流数据处理与分析方法，其特征在于，
所述数据字段包括前缀和数据编码；
所述前缀包括根据发货方生成的发货方标识信息；
所述数据编码包括定性编码和定量编码，所述定性编码表示所述货物数据的类型，所述定量编码表示所述货物数据的参数。
4.根据权利要求1所述的物流数据处理与分析方法，其特征在于，所述按照预定义规则，为不同客户端创建不同的数据字段之间的联结关系，为每种联结关系生成校验编码并存储映射关系包括：
基于不同客户端的请求定义规则，为不同的客户端设定可访问的数据货物数据的类型、访问时间以及访问频率限制中的至少一项；
根据所定义的规则，通过函数将需要的数据字段之间进行联结；
将每种联结关系转换成对应的字符串，使用哈希函数为每种联结关系生成唯一的校验编码；
存储所述校验编码和所述联结关系的映射关系。
5.根据权利要求4所述的物流数据处理与分析方法，其特征在于，所述接收来自不同客户端的数据请求，根据不同客户端的数据请求获取对应的校验编码，包括：
接收客户端的数据请求，所述数据请求中包含描述所需要的联结关系的JSON对象；
将所述JSON对象转换成对应的字符串；
使用哈希函数生成对应的校验编码。
6.根据权利要求5所述的物流数据处理与分析方法，其特征在于，所述解析所述校验编码，向客户端输出对应的货物数据，包括：
使用所述校验编码，在存储的所述映射关系中查找对应的所述联结关系；
根据查找到的对应的所述联结关系，获取需要的所述货物数据。
7.一种物流数据处理与分析装置，其特征在于，所述物流数据处理与分析装置执行计算机程序时实现如权利要求1至6中任一项所述的方法；
所述物流数据处理与分析装置包括：
存储模块，用于采集并统计不同类型的货物数据，存储所述货物数据；
数据字段生成模块，用于根据所述货物数据的类型为每条所述货物数据编码，生成数据字段；
映射关系生成模块，用于按照预定义规则，为不同客户端创建不同的数据字段之间的联结关系，为每种联结关系生成校验编码并存储映射关系；
校验编码输出模块，用于接收来自不同客户端的数据请求，根据不同客户端的数据请求获取对应的校验编码；
校验编码解析模块，用于解析所述校验编码，向客户端输出对应的货物数据；
所述物流数据处理与分析装置还包括分布式并发控制模块，采用分布式并发控制，管理对客户端获取需要的所述货物数据的授权；
所述分布式并发控制模块包括：
解锁请求接收单元，用于接收来自不同客户端的数据请求和对应所述数据请求的解锁请求；
解锁请求发送单元，用于向分布式并发控制节点发送获取需要的所述货物数据的解锁请求；
授权控制单元，用于使分布式并发控制节点读取获取需要的所述货物数据的分布式锁授权列表，若所述分布式锁授权列表中获取需要的所述货物数据对应的节点的本地锁的使用状态为释放状态，则当前节点的授权状态为未授权，可向存储的所述货物数据中发送获取需要的所述货物数据的分布式锁授权指令；
货物数据解析单元，用于从存储的所述货物数据中得到需要的所述货物数据，并使所述分布式锁授权列表中获取需要的所述货物数据对应的节点的授权状态设置为已授权。
CN202310891345.XA 2023-07-19 2023-07-19 一种物流数据处理与分析方法及装置 Active CN116882867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310891345.XA CN116882867B (zh) 2023-07-19 2023-07-19 一种物流数据处理与分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310891345.XA CN116882867B (zh) 2023-07-19 2023-07-19 一种物流数据处理与分析方法及装置

Publications (2)

Publication Number Publication Date
CN116882867A CN116882867A (zh) 2023-10-13
CN116882867B true CN116882867B (zh) 2024-06-07

Family

ID=88260156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310891345.XA Active CN116882867B (zh) 2023-07-19 2023-07-19 一种物流数据处理与分析方法及装置

Country Status (1)

Country Link
CN (1) CN116882867B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464076A (zh) * 2017-07-19 2017-12-12 太仓埃特奥数据科技有限公司 一种基于物流数据的在线监管系统
CN112149068A (zh) * 2019-06-27 2020-12-29 北京数安鑫云信息技术有限公司 基于访问的授权校验方法、信息的生成方法及装置、服务器
CN113296904A (zh) * 2021-02-10 2021-08-24 阿里巴巴集团控股有限公司 分布式系统中分布式锁调度方法及装置
CN113888069A (zh) * 2021-03-15 2022-01-04 南京中理外轮理货有限公司 一种基于哈希函数的理货信息获取方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902537B2 (en) * 2016-11-23 2021-01-26 Electronics And Telecommunications Research Institute Method of processing logistics information, logistics information processing server using the same, and logistics managing apparatus using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464076A (zh) * 2017-07-19 2017-12-12 太仓埃特奥数据科技有限公司 一种基于物流数据的在线监管系统
CN112149068A (zh) * 2019-06-27 2020-12-29 北京数安鑫云信息技术有限公司 基于访问的授权校验方法、信息的生成方法及装置、服务器
CN113296904A (zh) * 2021-02-10 2021-08-24 阿里巴巴集团控股有限公司 分布式系统中分布式锁调度方法及装置
CN113888069A (zh) * 2021-03-15 2022-01-04 南京中理外轮理货有限公司 一种基于哈希函数的理货信息获取方法及系统

Also Published As

Publication number Publication date
CN116882867A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
US20200065759A1 (en) Method and Apparatus for Managing, Displaying, Analyzing, Coordinating, and Optimizing Innovation, Engineering, Manufacturing, and Logistics Infrastructures
US7904350B2 (en) Network-based supply chain management method
US9311488B2 (en) System and method for removing customer personal information from an electronic device
US20110137924A1 (en) Cluster processing of an aggregated dataset
Chen et al. Preservation of structural properties in optimization with decisions truncated by random variables and its applications
US20120102361A1 (en) Heuristic policy analysis
US20140100910A1 (en) System and Method for Audits with Automated Data Analysis
US20080209029A1 (en) System and method for monitoring business performance using monitoring artifacts
US10127249B2 (en) System and method for new database permitting
US20090112743A1 (en) System and method for reporting according to eu vat related legal requirements
US11188969B2 (en) Data-analysis-based validation of product review data and linking to supply chain record data
US20060155595A1 (en) Method and apparatus of managing supply chain exceptions
US20220335553A1 (en) System and a method for generating and managing machine executable digital contracts
CN112001586A (zh) 基于区块链共识机制的企业联网大数据审计风险控制架构
CN103026334A (zh) 数据分类
US20230334609A1 (en) Information management method and non-transitory, computer readable, tangible storage medium storing information management program
CN116562826B (zh) 一种基于用户需求的客户erp系统管理方法、系统及介质
Sun et al. Expert system for automatic microservices identification using API similarity graph
US8688499B1 (en) System and method for generating business process models from mapped time sequenced operational and transaction data
CN106487799A (zh) 基于云平台的设备信息存储系统
CN116882867B (zh) 一种物流数据处理与分析方法及装置
KR102551754B1 (ko) 소비자 오더 기반으로 상호 다른 3pl 물류네트워크의 빅테이터 연산과　실시간 재고 및 설치기사를 매칭함으로써 정확하고 신속한 배송설치가 가능한 홈인 풀필먼트 서비스 플랫폼의 운영방법
US20140149186A1 (en) Method and system of using artifacts to identify elements of a component business model
US20100250621A1 (en) Financial-analysis support apparatus and financial-analysis support method
US20070299849A1 (en) Logging of application messages

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant