CN113220756A - 物流数据实时处理方法、装置、设备及存储介质 - Google Patents
物流数据实时处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113220756A CN113220756A CN202110318333.9A CN202110318333A CN113220756A CN 113220756 A CN113220756 A CN 113220756A CN 202110318333 A CN202110318333 A CN 202110318333A CN 113220756 A CN113220756 A CN 113220756A
- Authority
- CN
- China
- Prior art keywords
- data
- logistics
- logistics data
- real
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 26
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 167
- 238000004458 analytical method Methods 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000007405 data analysis Methods 0.000 claims abstract description 32
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 238000001914 filtration Methods 0.000 claims description 41
- 238000012544 monitoring process Methods 0.000 claims description 38
- 238000012937 correction Methods 0.000 claims description 17
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 230000008520 organization Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000000586 desensitisation Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 2
- 238000005111 flow chemistry technique Methods 0.000 claims 1
- 238000006116 polymerization reaction Methods 0.000 abstract description 6
- 238000012360 testing method Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 10
- 230000002776 aggregation Effects 0.000 description 8
- 238000004220 aggregation Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000012384 transportation and delivery Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 241000283965 Ochotona princeps Species 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 239000000872 buffer Substances 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及物流技术领域，公开了一种物流数据实时处理方法、装置、设备及存储介质，用于提高物流数据采集和分析处理的时效性，以及提高实时物流数据汇总报表的生成效率。物流数据实时处理方法包括：获取初始物流数据，并将初始物流数据存储至消息队列中，初始物流数据为非结构化数据类型的物流数据；通过大数据分析引擎对消息队列中的初始物流数据进行数据预处理，得到目标物流数据；通过预设的实时流处理维度模型对目标物流数据进行维度分析处理，得到多维度物流数据，多维度物流数据为多维度结构化数据类型的物流数据；按照预设的指标和预设的维度对多维度物流数据进行聚合处理，得到实时物流数据汇总报表。
Description
技术领域
本发明涉及物流技术领域，尤其涉及一种物流数据实时处理方法、装置、设备及存储介质。
背景技术
随着电子商务领域的不断成熟，物流领域信息化的不断完善，物流领域对物流数据处理的需求越来越大。物流产生的数据量庞大，包含结构化、半结构化和非结构化数据，并且实时不断产生，迫切需要高效、稳定的大数据处理方法对数据进行处理。大数据处理需要很多先进的科学技术结合起来应用以在可以容忍的时间内处理数据得到结果。目前应用广泛的大数据技术包括数据采集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测与结果呈现。
大数据处理平台一般由数据聚合层、消息中间件、分布式应用程序协调服务、实时计算集群、离线计算集群、分布式数据库、分布式文件系统、算法与模型、可视化管理系统组成。大数据处理平台在大数据时代能够为用户提供所需要的数据处理能力，帮助用户更好地做出决策。物流数据处理包括对实时产生的订单数据、仓储数据、货运车辆产生的GPS信息、车辆信息等进行实时处理，还包括对已有的历史车辆轨迹、历史订单数据等进行大数据分析及预测。
当前业内主要采用离线数据采集策略，例如，文件推送、库对库推送等，按天或小时进行数据采集和分析处理，存在数据报表时效性差的问题。
发明内容
本发明提供了一种物流数据实时处理方法、装置、设备及存储介质，用于提高物流数据采集和分析处理的时效性，以及提高实时物流数据汇总报表的生成效率。
为实现上述目的，本发明第一方面提供了一种物流数据实时处理方法，包括：获取初始物流数据，并将所述初始物流数据存储至消息队列中，所述初始物流数据为非结构化数据类型的物流数据；通过大数据分析引擎对所述消息队列中的初始物流数据进行数据预处理，得到目标物流数据；通过预设的实时流处理维度模型对所述目标物流数据进行维度分析处理，得到多维度物流数据，所述多维度物流数据为结构化数据类型的多维指标数据；获取应用报表生成请求，根据所述应用报表生成请求对所述多维度物流数据进行统计处理，得到实时物流数据汇总报表。
一种可行的实施方式中，所述获取初始物流数据，并将所述初始物流数据存储至消息队列中，所述初始物流数据为非结构化数据类型的物流数据，包括：通过预设的定时任务从预设的数据源中实时采集物流扫描数据、物流车辆进出站数据、物流视频监控特征数据和物流日志数据，预设的数据源用于指示预先设置的多种数据主题的数据源；将所述物流扫描数据、所述物流车辆进出站数据、所述物流视频监控特征数据和所述物流日志数据分别存储至消息队列中，得到初始物流数据，所述初始物流数据为非结构化数据类型的物流数据。
一种可行的实施方式中，所述通过大数据分析引擎对所述消息队列中的初始物流数据进行数据预处理，得到目标物流数据，包括：通过大数据分析引擎按照预设的数据格式对所述消息队列中的初始物流数据进行数据解析处理，得到已解析的物流数据；从预设的过滤规则信息中提取多个过滤条件字段，并按照所述多个过滤条件字段对所述已解析的物流数据进行过滤处理，得到不符合过滤规则的物流数据；对所述不符合过滤规则的物流数据匹配对应的修正策略，并根据所述修正策略对所述不符合过滤规则的物流数据进行数据修正，得到目标物流数据，并对所述目标物流数据进行缓存处理。
一种可行的实施方式中，所述通过预设的实时流处理维度模型对所述目标物流数据进行维度分析处理，得到多维度物流数据，所述多维度物流数据为结构化数据类型的多维指标数据，包括：通过预设的实时流处理维度模型按照预设的多个主题对所述目标物流数据进行拆分处理，得到多个主题物流数据；按照预设的指标维度对所述多个主题物流数据进行细粒度拆分，得到多维度物流数据，将所述多维度物流数据存储至各主题对应的明细数据表中，所述多维度物流数据为结构化数据类型的多维指标数据。
一种可行的实施方式中，所述获取应用报表生成请求，根据所述应用报表生成请求对所述多维度物流数据进行统计处理，得到实时物流数据汇总报表，包括：接收应用报表生成请求，对所述应用报表生成请求进行参数解析，得到多个业务指标和多个物流数据统计字段，并对所述多个业务指标进行分析，确定各业务指标对应的目标主题；基于各业务指标对应的目标主题获取并分析所述目标主题对应的业务维度，得到与各业务指标相对应的目标业务维度；按照所述目标业务维度从所述各主题对应的明细数据表中提取目标维度物流数据，所述目标维度物流数据包括维度字段和维值字段；对所述多个业务指标和所述目标维度物流数据进行聚合处理，得到指标扁平化的数据宽表，基于所述指标扁平化的数据宽表和所述多个物流数据统计字段生成实时物流数据汇总报表，并将所述实时物流数据汇总报表存储至预设的文件目录中。
一种可行的实施方式中，在所述获取应用报表生成请求，根据所述应用报表生成请求对所述多维度物流数据进行统计处理，得到实时物流数据汇总报表之后，所述物流数据实时处理方法还包括：接收报表上传请求，按照所述报表上传请求确定报表标识，并根据所述报表标识从预设的文件目录中读取所述实时物流数据汇总报表；对所述实时物流数据汇总报表进行数据脱敏处理，得到已脱敏物流报表，并通过预设的文件传输方式将所述已脱敏物流报表上传至预设的文件存储系统。
一种可行的实施方式中，在所述获取应用报表生成请求，根据所述应用报表生成请求对所述多维度物流数据进行统计处理，得到实时物流数据汇总报表之后，所述物流数据实时处理方法还包括：接收报表推送请求，按照所述报表推送请求确定目标报表和业务组织结构的目标节点，所述目标报表属于所述实时物流数据汇总报表；根据预设的通知方式将所述目标报表推送至所述目标节点，以使得所述目标节点对所述目标报表中的异常监控结果数据进行响应处理，所述预设的通知方式包括邮件方式和消息推送方式。
本发明第二方面提供了一种物流数据实时处理装置，包括：获取模块，用于获取初始物流数据，并将所述初始物流数据存储至消息队列中，所述初始物流数据为非结构化数据类型的物流数据；预处理模块，用于通过大数据分析引擎对所述消息队列中的初始物流数据进行数据预处理，得到目标物流数据；分析模块，用于通过预设的实时流处理维度模型对所述目标物流数据进行维度分析处理，得到多维度物流数据，所述多维度物流数据为结构化数据类型的多维指标数据；统计模块，用于获取应用报表生成请求，根据所述应用报表生成请求对所述多维度物流数据进行统计处理，得到实时物流数据汇总报表。
一种可行的实施方式中，所述获取模块具体用于：通过预设的定时任务从预设的数据源中实时采集物流扫描数据、物流车辆进出站数据、物流视频监控特征数据和物流日志数据，预设的数据源用于指示预先设置的多种数据主题的数据源；将所述物流扫描数据、所述物流车辆进出站数据、所述物流视频监控特征数据和所述物流日志数据分别存储至消息队列中，得到初始物流数据，所述初始物流数据为非结构化数据类型的物流数据。
一种可行的实施方式中，所述预处理模块具体用于：通过大数据分析引擎按照预设的数据格式对所述消息队列中的初始物流数据进行数据解析处理，得到已解析的物流数据；从预设的过滤规则信息中提取多个过滤条件字段，并按照所述多个过滤条件字段对所述已解析的物流数据进行过滤处理，得到不符合过滤规则的物流数据；对所述不符合过滤规则的物流数据匹配对应的修正策略，并根据所述修正策略对所述不符合过滤规则的物流数据进行数据修正，得到目标物流数据，并对所述目标物流数据进行缓存处理。
一种可行的实施方式中，所述分析模块具体用于：通过预设的实时流处理维度模型按照预设的多个主题对所述目标物流数据进行拆分处理，得到多个主题物流数据；按照预设的指标维度对所述多个主题物流数据进行细粒度拆分，得到多维度物流数据，将所述多维度物流数据存储至各主题对应的明细数据表中，所述多维度物流数据为结构化数据类型的多维指标数据。
一种可行的实施方式中，所述统计模块具体用于：接收应用报表生成请求，对所述应用报表生成请求进行参数解析，得到多个业务指标和多个物流数据统计字段，并对所述多个业务指标进行分析，确定各业务指标对应的目标主题；基于各业务指标对应的目标主题获取并分析所述目标主题对应的业务维度，得到与各业务指标相对应的目标业务维度；按照所述目标业务维度从所述各主题对应的明细数据表中提取目标维度物流数据，所述目标维度物流数据包括维度字段和维值字段；对所述多个业务指标和所述目标维度物流数据进行聚合处理，得到指标扁平化的数据宽表，基于所述指标扁平化的数据宽表和所述多个物流数据统计字段生成实时物流数据汇总报表，并将所述实时物流数据汇总报表存储至预设的文件目录中。
一种可行的实施方式中，所述物流数据实时处理装置还包括：读取模块，用于接收报表上传请求，按照所述报表上传请求确定报表标识，并根据所述报表标识从预设的文件目录中读取所述实时物流数据汇总报表；上传模块，用于对所述实时物流数据汇总报表进行数据脱敏处理，得到已脱敏物流报表，并通过预设的文件传输方式将所述已脱敏物流报表上传至预设的文件存储系统。
一种可行的实施方式中，所述物流数据实时处理装置还包括：确定模块，用于接收报表推送请求，按照所述报表推送请求确定目标报表和业务组织结构的目标节点，所述目标报表属于所述实时物流数据汇总报表；推送模块，用于根据预设的通知方式将所述目标报表推送至所述目标节点，以使得所述目标节点对所述目标报表中的异常监控结果数据进行响应处理，所述预设的通知方式包括邮件方式和消息推送方式。
本发明第三方面提供了一种物流数据实时处理设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述物流数据实时处理设备执行上述的物流数据实时处理方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的物流数据实时处理方法。
本发明提供的技术方案中，获取初始物流数据，并将所述初始物流数据存储至消息队列中，所述初始物流数据为非结构化数据类型的物流数据；通过大数据分析引擎对所述消息队列中的初始物流数据进行数据预处理，得到目标物流数据；通过预设的实时流处理维度模型对所述目标物流数据进行维度分析处理，得到多维度物流数据，所述多维度物流数据为结构化数据类型的多维指标数据；获取应用报表生成请求，根据所述应用报表生成请求对所述多维度物流数据进行统计处理，得到实时物流数据汇总报表。本发明实施例中，通过大数据分析引擎对消息队列中的初始物流数据进行数据预处理，得到目标物流数据；通过预设的实时流处理维度模型对目标物流数据进行维度分析处理，得到多维度物流数据；按照预设的指标和预设的维度对多维度物流数据进行聚合处理，得到实时物流数据汇总报表。提高了物流数据采集和分析处理的时效性和实时性，以及提高了实时物流数据汇总报表的生成效率。
附图说明
图1为本发明实施例中物流数据实时处理方法的一个实施例示意图；
图2为本发明实施例中物流数据实时处理方法的另一个实施例示意图；
图3为本发明实施例中物流数据实时处理装置的一个实施例示意图；
图4为本发明实施例中物流数据实时处理装置的另一个实施例示意图；
图5为本发明实施例中物流数据实时处理设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种物流数据实时处理方法、装置、设备及存储介质，用于通过预设的实时流处理维度模型对目标物流数据进行维度分析处理，得到多维度物流数据；按照预设的指标和预设的维度对多维度物流数据进行聚合处理，得到实时物流数据汇总报表，提高实时物流数据汇总报表的生成效率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中物流数据实时处理方法的一个实施例包括：
101、获取初始物流数据，并将初始物流数据存储至消息队列中，初始物流数据为非结构化数据类型的物流数据。
具体的，服务器从预设的数据源中实时采集初始物流数据，并将初始物流数据存储至消息队列中。其中，预设的数据源用于提供快递公司扫描操作数据、车辆进出站记录数据、车辆全球定位系统GPS数据、监控视频流数据、组织架构员工信息等基础数据。初始物流数据包括物流扫描数据、物流车辆进出站数据、物流视频监控特征数据和物流日志数据，物流扫描数据、物流车辆进出站数据、物流视频监控特征数据和物流日志数据均为非结构化数据类型的物流数据。
进一步地，服务器接收终端实时上报的物流扫描数据和物流车辆进出站数据，物流扫描数据包括物流订单数据和物流配送数据，物流车辆进出站数据包括物流车辆位置数据、电子地磅称重数据和物流车辆签到数据；服务器通过预设的视频采集接口，按照根据各视频监控对应的网络连接地址和网络端口轮询采集高清视频流(也就是，监控视频流数据)，并对高清视频流依次进行截取视频数据快照和提取视频特征，得到物流视频监控特征数据；服务器定时获取各类数据库的二进制日志文件binlog，并对binlog进行结构解析，得到物流日志数据。服务器在采集初始物流数据过程中，还分别清理预设的数据源中的异常数据。需要说明的是，消息队列(例如，卡夫卡kafka)的入列与出列速度均可达到为毫秒级，并且消息队列在物流数据高峰期对初始物流数据缓冲处理，提高了物流数据的采集和处理效率。
可以理解的是，本发明的执行主体可以为物流数据实时处理装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
102、通过大数据分析引擎对消息队列中的初始物流数据进行数据预处理，得到目标物流数据。
具体的，服务器通过大数据分析引擎flink对消息队列中的物流扫描数据、物流车辆进出站数据、物流视频监控特征数据和/或物流日志数据进行数据解析和数据过滤处理，得到目标物流数据。进一步地，当初始物流数据为物流扫描数据时，服务器通过flink对实时上报的物流扫描数据进行数据解析，并识别多个完整的语句片段；当初始物流数据为物流车辆进出站数据时，服务器通过flink对物流车辆进出站数据进行数据解析，得到车辆位置信息和车辆运输信息；当初始物流数据为物流视频监控特征数据时，服务器通过flink对流视频监控特征数据删除相同的视频特征数据，得到多个视频数据；当初始物流数据为物流日志数据时，服务器通过flink根据预设的操作类型从二进制日志文件binlog(也就是，物流日志数据)中提取对应的IS对象简谱(javascript object notation，JSON)字符，并从JSON字符中提取目标操作数据，预设的操作类型包括写入类型、修改类型和删除类型。进一步地，服务器还可以定时采集缓慢变化维度数据。然后，服务器对完整的语句片段、车辆位置信息、车辆运输信息、多个视频数据和目标操作数据进行数据过滤和数据修正处理，得到目标物流数据，并将目标物流数据存储至在分布式非关系型数据库pika中。
103、通过预设的实时流处理维度模型对目标物流数据进行维度分析处理，得到多维度物流数据，多维度物流数据为结构化数据类型的多维指标数据。
具体的，服务器从pika中提取目标物流数据；服务器通过预设的实时流处理维度模型(例如，flink-sink模型)按照预设的数据指标体系对目标物流数据进行主题、维度、指标分析处理，得到多维度物流数据，多维度物流数据为结构化数据类型的多维指标数据，多维度物流数据为结构化数据类型的多维指标数据；服务器将多维度物流数据存储至预设的明细数据表中，预设的明细数据表与预设的主题相对应。
需要说明的是，通过预设的实时流处理维度模型为预先训练好的实时流数据处理模型。服务器按照预设的业务主题、预设的业务维度和预设的业务指标构建预设的数据指标体系，并将预设的数据指标体系存储至mysql镜像库中，以实现物流数据实时处理的及时性和一致性。预设的业务主题、预设的业务维度和预设的业务指标之间存在关联映射关系。
104、获取应用报表生成请求，根据应用报表生成请求对多维度物流数据进行统计处理，得到实时物流数据汇总报表。
需要说明的是，各预设的业务系统根据各自需求(也就是，应用报表生成请求)从消息队列中获取相关业务指标(也就是，预设的业务指标)，形成实时物流数据汇总报表，实时物流数据汇总报表用于指示按照相关业务指标实现物流数据的实时分析监控。应用报表生成请求为终端根据实际业务需求设置并发送的访问请求。
具体的，服务器接收应用报表生成请求，对应用报表生成请求进行参数解析，得到已解析参数，服务器对已解析参数进行校验，得到校验结果，当校验结果为校验通过时，服务器从已解析参数中读取多个业务指标和多个物流数据统计字段，并通过多个业务指标匹配预设的数据库，得到各业务指标对应的目标主题；服务器基于各业务指标对应的目标主题从预设的主题维度关系表中查询与各业务指标相对应的目标业务维度；服务器按照目标业务维度从各主题对应的明细数据表中提取目标维度物流数据；服务器通过预设的聚合函数doris对多个业务指标和目标维度物流数据进行聚合处理，得到指标扁平化的数据宽表，服务器基于多个物流数据统计字段对指标扁平化的数据宽表进行数据分析和统计处理，得到物流数据统计结果；服务器按照物流数据统计结果生成实时物流数据汇总报表，并将实时物流数据汇总报表存储至预设的文件目录中。各预设的业务系统具有各自对应的文件目录。
进一步地，服务器还可以采用离线作业实现聚合处理(例如，3-5分钟的离线跑批处理)，避免实时应用实时物流数据汇总报表和明细数据表同步更新，由于时间差异导致实时物流数据汇总报表不一致的情况。进一步地，服务器还可以将目标报表发送至终端，以使得终端对实时物流数据汇总报表进行展示，实现对实时物流数据汇总报表的可视化管理。例如，终端以页面热力图方式对实时物流数据汇总报表进行展示，以便于目标人员直观查看各快递网点的物流配送情况。
本发明实施例中，通过大数据分析引擎对消息队列中的初始物流数据进行数据预处理，得到目标物流数据；通过预设的实时流处理维度模型对目标物流数据进行维度分析处理，得到多维度物流数据；按照预设的指标和预设的维度对多维度物流数据进行聚合处理，得到实时物流数据汇总报表。提高了物流数据采集和分析处理的时效性和实时性，以及提高了实时物流数据汇总报表的生成效率。
请参阅图2，本发明实施例中物流数据实时处理方法的另一个实施例包括：
201、获取初始物流数据，并将初始物流数据存储至消息队列中，初始物流数据为非结构化数据类型的物流数据。
其中，消息队列可以为卡夫卡kafka，也可以为其他消息队列，具体此处不做限定。可选的，服务器通过预设的定时任务从预设的数据源中实时采集物流扫描数据、物流车辆进出站数据、物流视频监控特征数据和物流日志数据，预设的数据源用于指示预先设置的多种数据主题的数据源，多种数据主题可以包括物流基础数据主题(例如，物流组织架构中员工信息等)、车辆轨迹主题、物流监控主题和物流配送主题，还可以包括其他主题，具体此处不做限定；服务器将物流扫描数据、物流车辆进出站数据、物流视频监控特征数据和物流日志数据分别存储至消息队列中，得到初始物流数据，初始物流数据为非结构化数据类型的物流数据，非结构化数据类型用于指示初始物流数据结构不规则或不完整。例如，服务器将物流扫描数据、车辆实时位置信息(属于物流车辆进出站数据)、物流视频监控特征数据和关系型数据库mysql的二进制文件binlog(也就是，物流日志数据)推送至消息队列kafka，得到初始物流数据，进一步地，服务器通过kafka对初始物流数据进行削峰填谷和缓存处理。
需要说明的是，物流扫描数据用于指示快递终端扫描设备(扫描操作事件数据，快递终端扫描设备可以包括手持把枪、分拣机械设备、交叉带设备、高拍仪，还可以包括其他扫描设备，具体此处不做限定。物流车辆进出站数据可以包括车辆实时位置数据、电子地磅称重数据和车辆签到数据，还可以包括其他数据，具体此处不做限定。物流视频监控特征数据包括快递中心的视频监控特征数据和快递网点的视频监控特征数据。物流日志数据包括实时财务结算数据和快点网点层级维护数据。进一步地，预设的数据源还可以提供各数据仓库的处理结果数据和数据库集群的处理结果数据，具体此处不做限定。其中，数据仓库可以为数仓hive，数据库集群可以为mysql集群。
202、通过大数据分析引擎对消息队列中的初始物流数据进行数据预处理，得到目标物流数据。
其中，大数据分析引擎可以为分布式流数据流引擎flink，还可以为分布式流式处理框架storm，具体此处不做限定。可选的，服务器通过大数据分析引擎按照预设的数据格式对消息队列中的初始物流数据进行数据解析处理，得到已解析的物流数据，预设的数据格式可以为JS对象简谱(javascript object notation，JSON)，还可以为其他数据格式，具体此处不做限定。例如，服务器通过flink和java库函数，按照JSON数据格式将格式化的kafka-json字符串(也就是，初始物流数据)进行解析，得到已解析的物流数据；服务器从预设的过滤规则信息中提取多个过滤条件字段，并按照多个过滤条件字段对已解析的物流数据进行过滤处理，得到不符合过滤规则的物流数据，预设的过滤规则信息预先存储在预设的内存数据库(例如远程字典服务redis等内存数据库)中，例如，服务器按照运单号、中心编码和用户手机号(也就是，多个过滤条件字段)对已解析的物流数据进行过滤处理，得到不符合过滤规则的物流数据，多个过滤条件字段还可以包括快件重量等字段，具体此处不做限定；服务器对不符合过滤规则的物流数据匹配对应的修正策略，并根据修正策略对不符合过滤规则的物流数据进行数据修正，得到目标物流数据，并对目标物流数据进行缓存处理。例如，不符合过滤规则的物流数据包括车辆位置信息偏离预设的配送轨迹信息时，服务器通过修正策略对车辆位置信息进行纠偏处理，得到目标物流数据，然后服务器将目标物流数据存储至预设的内存数据库中。
203、通过预设的实时流处理维度模型对目标物流数据进行维度分析处理，得到多维度物流数据，多维度物流数据为结构化数据类型的多维指标数据。
可以理解的是，预设的实时流处理维度模型为预先训练好的，对物流数据进行实时流式处理的模型，并能够实现实时物流数据的可伸缩、高吞吐量和容错流处理。例如，预设的实时流处理维度模型可以为快速计算引擎spark模型，也可以为实时计算框架sparkstreaming模型，具体此处不做限定。进一步地，服务器获取样本数据集，并按照预设比例对样本数据集划分为训练数据集和测试数据集，预设比例可以为6:4，也可以为5:5，具体此处不做限定；服务器基于训练数据集对预设的初始模型(例如，spark初始模型)进行模型训练，得到已训练模型(例如，已训练的spark模型)；服务器根据测试数据集对已训练模型进行模型测试，得到测试结果，当测试结果为测试通过时，将已训练模型设置为预设的实时流处理维度模型。具体的，服务器根据测试结果确定已训练模型的准确率；若已训练模型的准确率大于或等于预置准确率阈值，则服务器确定测试结果为测试通过；若已训练模型的准确率小于预置准确率阈值，则服务器确定测试结果为测试未通过。例如，预置准确率阈值为0.935(也可以为93.5％)，若已训练模型的准确率为0.944，则服务器确定测试结果为测试通过，若已训练模型的准确率为0.832，则服务器确定测试结果为测试未通过，服务器从测试数据集中提取测试失败的测试数据，并将测试失败的测试数据更新至训练数据集中，得到已更新的训练数据集，服务器通过已更新的训练数据集对已训练模型进行迭代优化，得到最终训练好的模型，并将最终训练好的模型设置为预设的实时流处理维度模型。
可选的，服务器通过预设的实时流处理维度模型按照预设的多个主题对目标物流数据进行拆分处理，得到多个主题物流数据，每个主题物流数据具有对应的主题标签，例如，物流基础数据主题对应的物流数据具有基础数据标签，车辆轨迹主题对应的物流数据具有车辆轨迹标签，物流监控主题具有物流监控标签，以及物流配送主题对应的物流数据具有物流配送标签；服务器按照预设的指标维度对多个主题物流数据进行细粒度拆分，得到多维度物流数据，服务器将多维度物流数据存储至各主题对应的明细数据表中，多维度物流数据为结构化数据类型的多维指标数据。其中，预设的指标维度用于指示预先按照各主题配置好的维度信息和指标信息。进一步地，服务器根据维度信息和指标信息对多个主题物流数据进行细粒度拆分，得到多维度物流数据，明细数据表的内容用于指示目标业务或者目标业务的子业务分类。
204、获取应用报表生成请求，根据应用报表生成请求对多维度物流数据进行统计处理，得到实时物流数据汇总报表。
其中，应用报表生成请求为终端根据实际业务需求设置并发送的访问请求，例如，应用报表生成请求用于统计快递网点A的视频监控异常次数。可选的，服务器接收应用报表生成请求，对应用报表生成请求进行参数解析，得到多个业务指标和多个物流数据统计字段，并对多个业务指标进行分析，服务器确定各业务指标对应的目标主题，进一步地，服务器对多个业务指标进行相关性分析和归类处理，得到主题标签，服务器按照主题标签确定各业务指标对应的目标主题；服务器基于各业务指标对应的目标主题获取并分析目标主题对应的业务维度，得到与各业务指标相对应的目标业务维度；服务器按照目标业务维度从各主题对应的明细数据表中提取目标维度物流数据，目标维度物流数据包括维度字段和维值字段；服务器对多个业务指标和目标维度物流数据进行聚合处理，得到指标扁平化的数据宽表，例如，服务器通过预设的聚合函数(例如doris)对多个业务指标和目标维度物流数据进行聚合处理，避免各应用写入各自的数据，导致同一个指标数据在不同应用中存在不一致的情况，服务器基于指标扁平化的数据宽表和多个物流数据统计字段生成实时物流数据汇总报表，并将实时物流数据汇总报表存储至预设的文件目录中。服务器通过预设的实时流处理维度模型实时进行物流数据采集和分析，达到秒级监控和分析报告，极大地提高了物流数据的时效，满足物流业务对各种事件快速响应的数据支撑。
进一步地，服务器接收报表上传请求，按照报表上传请求确定报表标识，其中，报表标识与实时物流数据汇总报表一一对应，并根据报表标识从预设的文件目录中读取实时物流数据汇总报表；服务器对实时物流数据汇总报表进行数据脱敏处理，得到已脱敏物流报表，并通过预设的文件传输方式(例如文件传输服务FTS或安全可控文件传输服务MFT等)将已脱敏物流报表上传至预设的文件存储系统。例如，服务器对实时物流数据汇总报表中的用户身份证号进行脱敏处理，统一处理为123456，提高了报表数据的安全性。
205、接收报表推送请求，按照报表推送请求确定目标报表和业务组织结构的目标节点，目标报表属于实时物流数据汇总报表。
具体的，服务器接收报表推送请求，服务器对报表推送请求进行参数解析，得到待推送报表标识和业务组织结构的目标节点标识；服务器根据待推送报表标识从预设的文件目录中读取目标报表；服务器获取预设的业务组织结构，并根据目标节点标识确定业务组织结构中的目标节点。
206、根据预设的通知方式将目标报表推送至目标节点，以使得目标节点对目标报表中的异常监控结果数据进行响应处理，预设的通知方式包括邮件方式和消息推送方式。
其中，预设的通知方式还可以包括短信推送方式，具体此处不做限定。具体的，当预设的通知方式为邮件方式时，服务器基于简单邮件传送协议(simple mail transferprotocol，SMTP)设置邮件内容信息，并将邮件内容信息和目标报表推送至目标节点，服务器通过SMTP协议能够实现通知推送效率；当预设的通知方式为消息推送方式时，服务器对目标报表设置目标消息，并将目标消息写入至预设的消息队列，服务器通过预设的消息队列将目标消息推送至目标节点，当目标节点接收到目标消息时，目标节点根据目标消息从服务器中获取目标报表，当目标节点检测到目标报表存在异常监控结果数据时，目标节点根据异常监测结果数据触发对应的响应处理流程。例如，目标节点为快递网点或分拨中心，快递网点或分拨中心能够实时获取最新的数据统计和分析报告(也就是，目标报表)，并能够获取最新的异常情况监控数据(也就是，目标报表中的异常监控结果数据)，并实时响应处理。
需要说明的是，服务器通过消息队列能够提高提高通知推送的并发度，目标消息包括目标报表的文件路径数据。
本发明实施例中，通过大数据分析引擎对消息队列中的初始物流数据进行数据预处理，得到目标物流数据；通过预设的实时流处理维度模型对目标物流数据进行维度分析处理，得到多维度物流数据；按照预设的指标和预设的维度对多维度物流数据进行聚合处理，得到实时物流数据汇总报表。提高了物流数据采集和分析处理的时效性和实时性，以及提高了实时物流数据汇总报表的生成效率。
上面对本发明实施例中物流数据实时处理方法进行了描述，下面对本发明实施例中物流数据实时处理装置进行描述，请参阅图3，本发明实施例中物流数据实时处理装置一个实施例包括：
获取模块301，用于获取初始物流数据，并将初始物流数据存储至消息队列中，初始物流数据为非结构化数据类型的物流数据；
预处理模块302，用于通过大数据分析引擎对消息队列中的初始物流数据进行数据预处理，得到目标物流数据；
分析模块303，用于通过预设的实时流处理维度模型对目标物流数据进行维度分析处理，得到多维度物流数据，多维度物流数据为结构化数据类型的多维指标数据；
统计模块304，用于获取应用报表生成请求，根据应用报表生成请求对多维度物流数据进行统计处理，得到实时物流数据汇总报表。
本发明实施例中，通过大数据分析引擎对消息队列中的初始物流数据进行数据预处理，得到目标物流数据；通过预设的实时流处理维度模型对目标物流数据进行维度分析处理，得到多维度物流数据；按照预设的指标和预设的维度对多维度物流数据进行聚合处理，得到实时物流数据汇总报表。提高了物流数据采集和分析处理的时效性和实时性，以及提高了实时物流数据汇总报表的生成效率。
请参阅图4，本发明实施例中物流数据实时处理装置的另一个实施例包括：
获取模块301，用于获取初始物流数据，并将初始物流数据存储至消息队列中，初始物流数据为非结构化数据类型的物流数据；
预处理模块302，用于通过大数据分析引擎对消息队列中的初始物流数据进行数据预处理，得到目标物流数据；
分析模块303，用于通过预设的实时流处理维度模型对目标物流数据进行维度分析处理，得到多维度物流数据，多维度物流数据为结构化数据类型的多维指标数据；
统计模块304，用于获取应用报表生成请求，根据应用报表生成请求对多维度物流数据进行统计处理，得到实时物流数据汇总报表。
可选的，获取模块301还可以具体用于：
通过预设的定时任务从预设的数据源中实时采集物流扫描数据、物流车辆进出站数据、物流视频监控特征数据和物流日志数据，预设的数据源用于指示预先设置的多种数据主题的数据源；
将物流扫描数据、物流车辆进出站数据、物流视频监控特征数据和物流日志数据分别存储至消息队列中，得到初始物流数据，初始物流数据为非结构化数据类型的物流数据。
可选的，预处理模块302还可以具体用于：
通过大数据分析引擎按照预设的数据格式对消息队列中的初始物流数据进行数据解析处理，得到已解析的物流数据；
从预设的过滤规则信息中提取多个过滤条件字段，并按照多个过滤条件字段对已解析的物流数据进行过滤处理，得到不符合过滤规则的物流数据；
对不符合过滤规则的物流数据匹配对应的修正策略，并根据修正策略对不符合过滤规则的物流数据进行数据修正，得到目标物流数据，并对目标物流数据进行缓存处理。
可选的，分析模块303还可以具体用于：
通过预设的实时流处理维度模型按照预设的多个主题对目标物流数据进行拆分处理，得到多个主题物流数据；
按照预设的指标维度对多个主题物流数据进行细粒度拆分，得到多维度物流数据，将多维度物流数据存储至各主题对应的明细数据表中，多维度物流数据为结构化数据类型的多维指标数据。
可选的，统计模块304还可以具体用于：
接收应用报表生成请求，对应用报表生成请求进行参数解析，得到多个业务指标和多个物流数据统计字段，并对多个业务指标进行分析，确定各业务指标对应的目标主题；
基于各业务指标对应的目标主题获取并分析目标主题对应的业务维度，得到与各业务指标相对应的目标业务维度；
按照目标业务维度从各主题对应的明细数据表中提取目标维度物流数据，目标维度物流数据包括维度字段和维值字段；
对多个业务指标和目标维度物流数据进行聚合处理，得到指标扁平化的数据宽表，基于指标扁平化的数据宽表和多个物流数据统计字段生成实时物流数据汇总报表，并将实时物流数据汇总报表存储至预设的文件目录中。
可选的，物流数据实时处理装置还包括：
读取模块305，用于接收报表上传请求，按照报表上传请求确定报表标识，并根据报表标识从预设的文件目录中读取实时物流数据汇总报表；
上传模块306，用于对实时物流数据汇总报表进行数据脱敏处理，得到已脱敏物流报表，并通过预设的文件传输方式将已脱敏物流报表上传至预设的文件存储系统。
可选的，物流数据实时处理装置还包括：
确定模块307，用于接收报表推送请求，按照报表推送请求确定目标报表和业务组织结构的目标节点，目标报表属于实时物流数据汇总报表；
推送模块308，用于根据预设的通知方式将目标报表推送至目标节点，以使得目标节点对目标报表中的异常监控结果数据进行响应处理，预设的通知方式包括邮件方式和消息推送方式。
本发明实施例中，通过大数据分析引擎对消息队列中的初始物流数据进行数据预处理，得到目标物流数据；通过预设的实时流处理维度模型对目标物流数据进行维度分析处理，得到多维度物流数据；按照预设的指标和预设的维度对多维度物流数据进行聚合处理，得到实时物流数据汇总报表。提高了物流数据采集和分析处理的时效性和实时性，以及提高了实时物流数据汇总报表的生成效率。
上面图3和图4从模块化的角度对本发明实施例中的物流数据实时处理装置进行详细描述，下面从硬件处理的角度对本发明实施例中物流数据实时处理设备进行详细描述。
图5是本发明实施例提供的一种物流数据实时处理设备的结构示意图，该物流数据实时处理设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对物流数据实时处理设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在物流数据实时处理设备500上执行存储介质530中的一系列指令操作。
物流数据实时处理设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的物流数据实时处理设备结构并不构成对物流数据实时处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述物流数据实时处理方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种物流数据实时处理方法，其特征在于，所述物流数据实时处理方法包括：
获取初始物流数据，并将所述初始物流数据存储至消息队列中，所述初始物流数据为非结构化数据类型的物流数据；
通过大数据分析引擎对所述消息队列中的初始物流数据进行数据预处理，得到目标物流数据；
通过预设的实时流处理维度模型对所述目标物流数据进行维度分析处理，得到多维度物流数据，所述多维度物流数据为结构化数据类型的多维指标数据；
获取应用报表生成请求，根据所述应用报表生成请求对所述多维度物流数据进行统计处理，得到实时物流数据汇总报表。
2.根据权利要求1所述的物流数据实时处理方法，其特征在于，所述获取初始物流数据，并将所述初始物流数据存储至消息队列中，所述初始物流数据为非结构化数据类型的物流数据，包括：
通过预设的定时任务从预设的数据源中实时采集物流扫描数据、物流车辆进出站数据、物流视频监控特征数据和物流日志数据，预设的数据源用于指示预先设置的多种数据主题的数据源；
将所述物流扫描数据、所述物流车辆进出站数据、所述物流视频监控特征数据和所述物流日志数据分别存储至消息队列中，得到初始物流数据，所述初始物流数据为非结构化数据类型的物流数据。
3.根据权利要求1所述的方法，其特征在于，所述通过大数据分析引擎对所述消息队列中的初始物流数据进行数据预处理，得到目标物流数据，包括：
通过大数据分析引擎按照预设的数据格式对所述消息队列中的初始物流数据进行数据解析处理，得到已解析的物流数据；
从预设的过滤规则信息中提取多个过滤条件字段，并按照所述多个过滤条件字段对所述已解析的物流数据进行过滤处理，得到不符合过滤规则的物流数据；
对所述不符合过滤规则的物流数据匹配对应的修正策略，并根据所述修正策略对所述不符合过滤规则的物流数据进行数据修正，得到目标物流数据，并对所述目标物流数据进行缓存处理。
4.根据权利要求1所述的物流数据实时处理方法，其特征在于，所述通过预设的实时流处理维度模型对所述目标物流数据进行维度分析处理，得到多维度物流数据，所述多维度物流数据为结构化数据类型的多维指标数据，包括：
通过预设的实时流处理维度模型按照预设的多个主题对所述目标物流数据进行拆分处理，得到多个主题物流数据；
按照预设的指标维度对所述多个主题物流数据进行细粒度拆分，得到多维度物流数据，将所述多维度物流数据存储至各主题对应的明细数据表中，所述多维度物流数据为结构化数据类型的多维指标数据。
5.根据权利要求4所述的物流数据实时处理方法，其特征在于，所述获取应用报表生成请求，根据所述应用报表生成请求对所述多维度物流数据进行统计处理，得到实时物流数据汇总报表，包括：
接收应用报表生成请求，对所述应用报表生成请求进行参数解析，得到多个业务指标和多个物流数据统计字段，并对所述多个业务指标进行分析，确定各业务指标对应的目标主题；
基于各业务指标对应的目标主题获取并分析所述目标主题对应的业务维度，得到与各业务指标相对应的目标业务维度；
按照所述目标业务维度从所述各主题对应的明细数据表中提取目标维度物流数据，所述目标维度物流数据包括维度字段和维值字段；
对所述多个业务指标和所述目标维度物流数据进行聚合处理，得到指标扁平化的数据宽表，基于所述指标扁平化的数据宽表和所述多个物流数据统计字段生成实时物流数据汇总报表，并将所述实时物流数据汇总报表存储至预设的文件目录中。
6.根据权利要求1-5中任意一项所述的物流数据实时处理方法，其特征在于，在所述获取应用报表生成请求，根据所述应用报表生成请求对所述多维度物流数据进行统计处理，得到实时物流数据汇总报表之后，所述物流数据实时处理方法还包括：
接收报表上传请求，按照所述报表上传请求确定报表标识，并根据所述报表标识从预设的文件目录中读取所述实时物流数据汇总报表；
对所述实时物流数据汇总报表进行数据脱敏处理，得到已脱敏物流报表，并通过预设的文件传输方式将所述已脱敏物流报表上传至预设的文件存储系统。
7.根据权利要求1-5中任意一项所述的物流数据实时处理方法，其特征在于，在所述获取应用报表生成请求，根据所述应用报表生成请求对所述多维度物流数据进行统计处理，得到实时物流数据汇总报表之后，所述物流数据实时处理方法还包括：
接收报表推送请求，按照所述报表推送请求确定目标报表和业务组织结构的目标节点，所述目标报表属于所述实时物流数据汇总报表；
根据预设的通知方式将所述目标报表推送至所述目标节点，以使得所述目标节点对所述目标报表中的异常监控结果数据进行响应处理，所述预设的通知方式包括邮件方式和消息推送方式。
8.一种物流数据实时处理装置，其特征在于，所述物流数据实时处理装置包括：
获取模块，用于获取初始物流数据，并将所述初始物流数据存储至消息队列中，所述初始物流数据为非结构化数据类型的物流数据；
预处理模块，用于通过大数据分析引擎对所述消息队列中的初始物流数据进行数据预处理，得到目标物流数据；
分析模块，用于通过预设的实时流处理维度模型对所述目标物流数据进行维度分析处理，得到多维度物流数据，所述多维度物流数据为结构化数据类型的多维指标数据；
统计模块，用于获取应用报表生成请求，根据所述应用报表生成请求对所述多维度物流数据进行统计处理，得到实时物流数据汇总报表。
9.一种物流数据实时处理设备，其特征在于，所述物流数据实时处理设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述物流数据实时处理设备执行如权利要求1-7中任意一项所述的物流数据实时处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任意一项所述的物流数据实时处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110318333.9A CN113220756A (zh) | 2021-03-25 | 2021-03-25 | 物流数据实时处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110318333.9A CN113220756A (zh) | 2021-03-25 | 2021-03-25 | 物流数据实时处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113220756A true CN113220756A (zh) | 2021-08-06 |
Family
ID=77084043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110318333.9A Pending CN113220756A (zh) | 2021-03-25 | 2021-03-25 | 物流数据实时处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113220756A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113886880A (zh) * | 2021-10-09 | 2022-01-04 | 京东科技信息技术有限公司 | 数据保护的方法、系统、设备及存储介质 |
| CN114168672A (zh) * | 2021-12-13 | 2022-03-11 | 明觉科技（北京）有限公司 | 日志数据的处理方法、装置、系统以及介质 |
| CN114528458A (zh) * | 2022-01-04 | 2022-05-24 | 上海东普信息科技有限公司 | 物流轨迹推送方法、装置、设备及存储介质 |
| CN114936214A (zh) * | 2022-03-21 | 2022-08-23 | 上海东普信息科技有限公司 | 数据实时更新方法、装置、设备及存储介质 |
| CN116151542A (zh) * | 2022-11-30 | 2023-05-23 | 上海韵达高新技术有限公司 | 物流订单实时监控方法、装置、设备及存储介质 |
| CN117540827A (zh) * | 2024-01-08 | 2024-02-09 | 杭州吉利汽车数字科技有限公司 | 模型热更新方法、装置、设备及计算机可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107193967A (zh) * | 2017-05-25 | 2017-09-22 | 南开大学 | 一种多源异构行业领域大数据处理全链路解决方案 |
| CN110502559A (zh) * | 2019-07-25 | 2019-11-26 | 浙江公共安全技术研究院有限公司 | 一种可信安全跨域数据交换的数据总线及传输方法 |
| CN110618983A (zh) * | 2019-08-15 | 2019-12-27 | 复旦大学 | 基于json文档结构的工业大数据多维分析与可视化方法 |
| CN111460024A (zh) * | 2020-04-29 | 2020-07-28 | 上海东普信息科技有限公司 | 基于Elasticsearch的实时业务系统 |
| CN111651510A (zh) * | 2020-05-14 | 2020-09-11 | 拉扎斯网络科技（上海）有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
| CN112035404A (zh) * | 2020-08-28 | 2020-12-04 | 康键信息技术（深圳）有限公司 | 医疗数据监控与预警方法、装置、设备及存储介质 |
| US20200402058A1 (en) * | 2019-06-20 | 2020-12-24 | Coupang Corp. | Systems and methods for real-time processing of data streams |
| US20210074415A1 (en) * | 2018-05-16 | 2021-03-11 | Shanghai Svm Medical Technology Co., Ltd. | Medical cloud platform data sharing system and method based on third-party business |
-
2021
- 2021-03-25 CN CN202110318333.9A patent/CN113220756A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107193967A (zh) * | 2017-05-25 | 2017-09-22 | 南开大学 | 一种多源异构行业领域大数据处理全链路解决方案 |
| US20210074415A1 (en) * | 2018-05-16 | 2021-03-11 | Shanghai Svm Medical Technology Co., Ltd. | Medical cloud platform data sharing system and method based on third-party business |
| US20200402058A1 (en) * | 2019-06-20 | 2020-12-24 | Coupang Corp. | Systems and methods for real-time processing of data streams |
| CN110502559A (zh) * | 2019-07-25 | 2019-11-26 | 浙江公共安全技术研究院有限公司 | 一种可信安全跨域数据交换的数据总线及传输方法 |
| CN110618983A (zh) * | 2019-08-15 | 2019-12-27 | 复旦大学 | 基于json文档结构的工业大数据多维分析与可视化方法 |
| CN111460024A (zh) * | 2020-04-29 | 2020-07-28 | 上海东普信息科技有限公司 | 基于Elasticsearch的实时业务系统 |
| CN111651510A (zh) * | 2020-05-14 | 2020-09-11 | 拉扎斯网络科技（上海）有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
| CN112035404A (zh) * | 2020-08-28 | 2020-12-04 | 康键信息技术（深圳）有限公司 | 医疗数据监控与预警方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 冷凯君: "基于大数据时代背景下农产品冷链物流一体化模式研究", 九州出版社, pages: 95 - 97 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113886880A (zh) * | 2021-10-09 | 2022-01-04 | 京东科技信息技术有限公司 | 数据保护的方法、系统、设备及存储介质 |
| CN114168672A (zh) * | 2021-12-13 | 2022-03-11 | 明觉科技（北京）有限公司 | 日志数据的处理方法、装置、系统以及介质 |
| CN114168672B (zh) * | 2021-12-13 | 2022-09-23 | 明觉科技（北京）有限公司 | 日志数据的处理方法、装置、系统以及介质 |
| CN114528458A (zh) * | 2022-01-04 | 2022-05-24 | 上海东普信息科技有限公司 | 物流轨迹推送方法、装置、设备及存储介质 |
| CN114936214A (zh) * | 2022-03-21 | 2022-08-23 | 上海东普信息科技有限公司 | 数据实时更新方法、装置、设备及存储介质 |
| CN116151542A (zh) * | 2022-11-30 | 2023-05-23 | 上海韵达高新技术有限公司 | 物流订单实时监控方法、装置、设备及存储介质 |
| CN117540827A (zh) * | 2024-01-08 | 2024-02-09 | 杭州吉利汽车数字科技有限公司 | 模型热更新方法、装置、设备及计算机可读存储介质 |
| CN117540827B (zh) * | 2024-01-08 | 2024-04-09 | 杭州吉利汽车数字科技有限公司 | 模型热更新方法、装置、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113220756A (zh) | 物流数据实时处理方法、装置、设备及存储介质 | |
| CN108416620B (zh) | 一种基于大数据的画像数据的智能社交广告投放平台 | |
| CN108446210B (zh) | 系统性能的度量方法、存储介质和服务器 | |
| CN111740884B (zh) | 一种日志处理方法及电子设备、服务器、存储介质 | |
| CN109697456B (zh) | 业务分析方法、装置、设备及存储介质 | |
| CN107451149B (zh) | 流量数据查询任务的监控方法及其装置 | |
| CN113360554B (zh) | 一种数据抽取、转换和加载etl的方法和设备 | |
| CN114936214A (zh) | 数据实时更新方法、装置、设备及存储介质 | |
| CN113965389B (zh) | 一种基于防火墙日志的网络安全管理方法、设备及介质 | |
| CN111858274B (zh) | 一种大数据评分系统稳定性监控方法 | |
| CN113590556A (zh) | 一种基于数据库的日志处理方法、装置及设备 | |
| US11568344B2 (en) | Systems and methods for automated pattern detection in service tickets | |
| CN110399268A (zh) | 一种异常数据检测的方法、装置及设备 | |
| CN109308290B (zh) | 一种基于cim的高效数据清洗转换方法 | |
| CN111339052A (zh) | 一种非结构化日志数据处理方法及装置 | |
| CN114356712B (zh) | 数据处理方法、装置、设备、可读存储介质及程序产品 | |
| CN113806343B (zh) | 一种车联网数据质量的评估方法和系统 | |
| US11822578B2 (en) | Matching machine generated data entries to pattern clusters | |
| CN117251414B (zh) | 一种基于异构技术的数据存储及处理方法 | |
| CN112100177A (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
| Vasthimal et al. | Scalable data reporting platform for a/b tests | |
| CN116132448A (zh) | 基于人工智能的数据分流方法及相关设备 | |
| CN114331740A (zh) | 产业图谱大数据分析及扫描的数字化投资价值管理方法 | |
| Racka | Apache Nifi As A Tool For Stream Processing Of Measurement Data | |
| CN112346938B (zh) | 操作审计方法、装置及服务器和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210806 |