CN116189330A - 用于工程车辆工况数据的处理方法、存储介质及处理器 - Google Patents
用于工程车辆工况数据的处理方法、存储介质及处理器 Download PDFInfo
- Publication number
- CN116189330A CN116189330A CN202211538598.0A CN202211538598A CN116189330A CN 116189330 A CN116189330 A CN 116189330A CN 202211538598 A CN202211538598 A CN 202211538598A CN 116189330 A CN116189330 A CN 116189330A
- Authority
- CN
- China
- Prior art keywords
- data
- working condition
- engineering vehicle
- condition data
- working
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012552 review Methods 0.000 claims abstract description 8
- 230000001960 triggered effect Effects 0.000 claims abstract description 4
- 238000012423 maintenance Methods 0.000 claims description 23
- 239000000446 fuel Substances 0.000 claims description 20
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 7
- 239000002828 fuel tank Substances 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 238000007726 management method Methods 0.000 description 45
- 230000008569 process Effects 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 12
- 239000000306 component Substances 0.000 description 11
- 238000004590 computer program Methods 0.000 description 11
- 238000005065 mining Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000010276 construction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 4
- 238000013499 data model Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y20/00—Information sensed or collected by the things
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y20/00—Information sensed or collected by the things
- G16Y20/20—Information sensed or collected by the things relating to the thing itself
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/20—Analytics; Diagnosis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/009—Security arrangements; Authentication; Protecting privacy or anonymity specially adapted for networks, e.g. wireless sensor networks, ad-hoc networks, RFID networks or cloud networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/03—Protecting confidentiality, e.g. by encryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
Landscapes
- Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
Abstract
本申请实施例提供一种用于工程车辆工况数据的处理方法、存储介质及处理器。方法包括:通过数据采集装置实时采集工程车辆的工况数据;通过数据处理设备对工况数据加密后传输至预设物联网平台;预设物联网平台对加密后的工况数据进行解析得到明文的工况数据;大数据平台读取明文的工况数据并存储至数据湖Hudi中;实时计算引擎flink对读取的工况数据进行预处理并存储至数据湖Hudi中;数据湖Hudi对读取的工况数据和预处理后的数据进行组合加工,以生成对应的数据报表并发送至管理平台;在管理平台接收到用户触发的数据处理请求的情况下,通过预设报告模板展示数据报表以供用户查阅。本申请实现了对工程车辆全生命周期实时管理。
Description
技术领域
本申请涉及数字技术领域,具体涉及一种用于工程车辆工况数据的处理方法、存储介质及处理器。
背景技术
数字技术在现代经济中正在发挥着改变游戏规则的作用,很多设备运营商与租赁商都在谋求数字化转型,以达到提高公司车辆设备的运营效率,生产效率和管理水平的目的。
目前,现有矿用自卸车在经营管理方面存在过程管理依赖人工反馈和人工管理,无法做到实时性管理。通常情况下,用户需要在当天矿用自卸车辆结束施工后手工统计每台车辆的油耗、里程、工作时长与装卸料等运行情况,并人工规划第二天的行车线路与施工规划,这种全程依靠人工滞后记录数据的方法具有滞后性且效率低,无法实现矿用自卸车生产运行的全生命周期实时管理。
发明内容
本申请实施例的目的是提供一种用于工程车辆工况数据的处理方法、存储介质及处理器。
为了实现上述目的,本申请第一方面提供一种用于工程车辆工况数据的处理方法,包括:
自卸车上安装有数据采集装置和数据处理设备,处理方法包括:通过数据采集装置实时采集工程车辆的工况数据;通过数据处理设备对工况数据加密,并将加密后的工况数据传输至预设物联网平台;预设物联网平台的实时计算引擎flink按照预设解析规则对加密后的工况数据进行解析,以得到明文的工况数据,并将明文的工况数据存储至不同主题的kafka消息队列中;大数据平台的实时计算引擎flink从kafka消息队列中读取明文的工况数据,并将读取的工况数据存储至数据湖Hudi中;实时计算引擎flink对读取的工况数据进行预处理,并将预处理后的数据存储至数据湖Hudi中;数据湖Hudi按照预设配置规则对读取的工况数据和预处理后的数据进行组合加工,以生成对应的数据报表;将数据报表发送至管理平台;在管理平台接收到用户触发的数据处理请求的情况下,通过管理平台的预设报告模板展示数据报表,以供用户查阅。
在一个实施例中,工况数据包括工程车辆的实时位置,处理方法还包括:根据工程车辆在多个时间点的实时位置确定工程车辆的实际工作路径;对比实际工作路径与最优工作路径,其中,最优工作路径是大数据平台根据用户在管理平台选择的多个目标位置生成的;在最优工作路径与实际工作路径存在偏差的情况下,记录路径的偏差数据。
在一个实施例中,工况数据包括工程车辆的无效工作开始时间点、无效工作结束时间点、无效工作开始油耗以及无效工作结束油耗,其中,无效工作是指工程车辆的发动机处于怠速工作模式,无效工作开始油耗是指在无效工作开始时间点时工程车辆的油耗,无效工作结束油耗是指工作结束时间点时工程车辆的油耗;处理方法还包括:通过任意两个相邻的无效工作开始时间点和无效工作结束时间点确定工程车辆的无效工作时长,以确定出在预设时间段内工程车辆的无效工作总时长;通过任意两个相邻的无效工作开始时间点和无效工作结束时间点所对应的工作开始油耗和工作结束油耗,确定在每个无效工作时长内工程车辆的无效工作油耗,以确定出在预设时间段内工程车辆的无效工作总油耗。
在一个实施例中,偏差数据包括工程车辆在偏差的工作路径上的偏差行驶时长,处理方法还包括:通过偏差行驶时长、无效工作总时长以及无效工作总油耗确定工程车辆在预设时间段内的工作效率;根据工程车辆在多个预设时间段内的工作效率生成工程车辆的工作效率数据报表;通过管理平台的效率报告模板展示工作效率数据报表,以供用户查阅。
在一个实施例中,工况数据包括工程车辆在历史日期内发动机的累计通电时长和工作时长,处理方法还包括:将任意一个历史日期内的累计通电时长与上一个历史日期内的累计通电时长的差值确定为工程车辆在历史日期内发动机的实际通电时长;将历史日期内的工作时长与上一个历史日期内的工作时长的差值确定为工程车辆在历史日期内发动机的实际工作时长。
在一个实施例中,工况数据包括工程车辆在历史日期的零点燃油液位百分比、二十四点燃油液位百分比以及燃油箱容量,处理方法还包括:将零点燃油液位百分比与二十四点燃油液位百分比的差值与燃油箱容量的乘积,确定为工程车辆在历史日期的燃油消耗。
在一个实施例中,处理方法还包括:通过发动机的实际通电时长、发动机的实际工作时长以及燃油消耗确定工程车辆在历史日期的经济效率;根据工程车辆在历史日期的经济效率生成工程车辆的经济效率数据报表;通过管理平台的效率报告模板展示经济效率数据报表,以供用户查阅。
在一个实施例中,管理平台具有信息实时推送功能,处理方法还包括:在大数据平台检测到工况数据存在异常的情况下,大数据平台将异常工况数据进行组合加工,以生成对应的异常数据报表;将异常数据报表发送至管理平台;管理平台推送相应的预警信息至用户,其中,预警信息包括管理平台根据预设报告模板展示的异常数据报表。
在一个实施例中,处理方法还包括:获取工程车辆的档案信息;大数据平台根据档案信息确定工程车辆的保养规则;将工况数据与保养规则进行匹配,以生成对应的工程车辆的保养数据报表;将保养数据报表发送至管理平台;管理平台推送相应的保养信息至用户,其中,保养信息包括管理平台根据预设报告模板展示的保养信息报表。
本申请第二方面提供一种机器可读存储介质,该机器可读存储介质上存储有指令,该指令在被处理器执行时使得所述处理器被配置成执行上述的用于工程车辆工况数据的处理方法。
本申请第三方面提供一种处理器,被配置成执行上述的用于工程车辆工况数据的处理方法。
通过上述技术方案,实现了对工程车辆生产运行的全生命周期管理,实时自动发现识别矿用自卸车辆的运行状态以及检测工程车辆有价值数据,动态统计工程车辆的工况数据,提高了管理效率。
本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本申请实施例,但并不构成对本申请实施例的限制。在附图中:
图1示意性示出了根据本申请实施例的用于工程车辆工况数据的处理方法的流程示意图;
图2示意性示出了根据本申请实施例的计算机设备的内部结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解的是,此处所描述的具体实施方式仅用于说明和解释本申请实施例,并不用于限制本申请实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1示意性示出了根据本申请实施例的用于工程车辆工况数据的处理方法的流程示意图。如图1所示,在本申请一实施例中,提供了一种用于工程车辆工况数据的处理方法,包括以下步骤:
步骤101,通过数据采集装置实时采集工程车辆的工况数据。
步骤102,通过数据处理设备对工况数据加密,并将加密后的工况数据传输至预设物联网平台。
步骤103,预设物联网平台的实时计算引擎flink按照预设解析规则对加密后的工况数据进行解析,以得到明文的工况数据,并将明文的工况数据存储至不同主题的kafka消息队列中。
步骤104,大数据平台的实时计算引擎flink从kafka消息队列中读取明文的工况数据,并将读取的工况数据存储至数据湖Hudi中。
步骤105,实时计算引擎flink对读取的工况数据进行预处理,并将预处理后的数据存储至数据湖Hudi中。
步骤106,数据湖Hudi按照预设配置规则对读取的工况数据和预处理后的数据进行组合加工,以生成对应的数据报表。
步骤107,将数据报表发送至管理平台。
步骤108,在管理平台接收到用户触发的数据处理请求的情况下,通过管理平台的预设报告模板展示数据报表,以供用户查阅。
数据采集又称数据获取,数据采集装置就是指能够获取目标物体数据的一种装置。工程车辆是指用于建筑工程的车辆的统称,在本技术方案中,可以是指矿用自卸车。通过数据采集装置实时采集工程车辆的工况数据,并通过数据处理设备对工况数据加密。具体地,在本技术方案中,矿用自卸车在生产的过程中会为其安装发动机控制单元ECU传感器、车载控制单元BCM传感器以及边缘计算数据终端。其中,发动机控制单元ECU传感器、车载控制单元BCM传感器相当于数据采集装置,可以用于实时采集矿用自卸车在生产作业过程中的工况数据,例如不同时刻的速度、油门开度、制动开度、扭矩输出、油位、瞬时油耗、累计油耗、液力缓行状态、缸内制动、胎压、货箱载重以及排气制动等。采集的工况数据通过PLC总线传输至边缘计算数据终端,边缘计算数据终端是一种数据处理设备,其在整合ECU传感器与BCM传感器传输的工况数据后,通过搭载4G/5G物联网卡,将总线数据进行私有传输协议加密,并将完成加密后的工况数据通过4G/5G网络并基于私有传输协议传输至云端的网关,且在传输至云端网关过程中会经过LVS进行基于IP的负债均衡,防止传输的工况数据存在问题而导致工况数据积压,以保证工况数据能够实时上传。
进一步地,通过ECU传感器和BCM传感器对矿用自卸车进行实时工况数据采集,同时将采集的工况数据通过边缘计算数据终端进行加密后,将加密后的工况数据传输至预设物联网平台。其中,预设物联网平台是指自研内部使用的物联网平台。物联网平台包括Mysql数据库、Kafka以及Flink,Mysql数据库是一个关系型数据库,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样能够增加速度提高了灵活性。Kafka是一种高吞吐量的分布式发布订阅消息平台,其可以处理消费者在网站中的所有动作流数据,每条发布到Kafka集群的消息都有一个类别,即Topic,也可以称为主题。Flink是一种实时计算引擎,也称之为分布式流处理器,能够实时分析计算数据。在本技术方案中,Mysql数据库用于存放矿用自卸车的设备档案,Kafka用于存放矿用自卸车的工况数据,Flink用于实时分析计算工况数据。具体地,物联网平台将接收的加密工况原始数据存放在Kafka消息队列中,通过实时计算引擎Flink按照预设的解析规则对Kafka消息队列中存放的加密原始工况数据实时解析,得到明文的工况数据,再将明文的工况数据按照不同的Topic存放至Kafka消息队列中。
在物联网平台将解析后的即明文的工况数据按照不同的Topic存放至Kafka消息队列中后,大数据平台将明文的工况数据进行读取并分析。具体地,传统使用的大数据平台的数据仓库普遍使用hive组件作为数据仓库存储组件,但数据从源系统通过ETL抽取、转换与导入进大数据平台后,因为hive组件不能对数据做update/insert操作,数据更新操作只能将数据全量删除后再进行全量插入,不能满足实时数据分析场景的性能要求。因此,在本技术方案中,大数据平台的数据仓库使用Flink CDC+Flink流计算+Hudi数据湖的模式,实现数据的实时入湖与实时分析。其中,Hudi是一种数据湖的存储格式,主要以表格形式存放数据。CDC是指一种用于捕获数据库中数据变更的技术,Flink CDC是CDC在Flink的一种实现,具体体现为一系列的Flink CDC Connector,Flink CDC Connector是Flink的一组Source连接器,是Flink CDC的核心组件,这些连接器负责从MySQL、PostgreSQL、Oracle、MongoDB等数据库读取存量历史数据和增量变更数据。具体地,大数据平台通过Flink CDC的模式读取物联网Mysql binlog日志,将档案数据的变动实时同步到大数据平台,同时通过Flink的流计算模式获取按照不同的Topic存放在Kafka消息队列中的工况数据,实时将工况数据同步到大数据平台。大数据平台将获取的工况数据存放至数据湖Hudi中,同时通过Flink流对获取到的工况数据进行预处理,并将预处理后的工况数据同时也存储至数据湖Hudi中。
进一步地,大数据平台hive组件同时能够访问Hudi的表数据,其中,hive组件是指一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。通过在创建的hudi MOR表时添加'hive_sync.enable'参数即“是否同步元数据到hive”,将'hive_sync.enable'设置为'true'即确认同步,添加'hive_sync.metastore.urls'参数即“hive元数据存储的url地址”,将‘hive_sync.metastore.urls'设置为hive的元数据存放路径。在配置完成,且hudi中每一张表被创建后,会及时将MetaStore元数据同步到hive的元数据库,使用hive组件便可以同步访问Hudi的表数据,以便后续的批处理操作。需注意的是,此处的hive只起查询引擎的作用,数据还是保存在hudi中,以此方式实现了大数据平台的实时数据仓库模式。数据湖Hudi将Flink读取的工况数据与Flink预处理后的工况数据进行组合加工,以数据报表的形式进行存放。将数据湖Hudi加工组合的数据报表传输至管理平台的数据库Doris中,管理平台根据用户触发数据处理请求,调用数据库Doris存放的数据报表并以预设报告模板的形式,将工况数据展示给用户。
其中,管理平台可以是指自研内部使用的智慧管理app。在对大数据分析处理后的工况数据进行展示时,譬如制作报表或者提供即席查询的接口,为了便于最终管理报表的展示,可以选择高性能的分布式OLAP数据分析型的数据库进行承载。在本实施例中,可以选用Dorisdb作为OLAP存储引擎,由于DorisDB是一款经过业界检验、现代化,面向多种数据分析场景的、兼容MySQL协议的、高性能分布式关系型列式数据库,具有出色的性能表现,可以通过Dorisdb官方指定的Stream Load的方式通过定时调度,将分析结果数据导入到DorisDB中。在DorisDB的数据库表设计规范中,表名与表字段的定义需要与Hudi中的表名一致,表的设计上如果是明细表与流水表选择DUPLICATE KEY模型,如果是维度表选择UNIQUE KEY模型。同时为了将数据有效的分布在各个数据节点,通过指定DISTRIBUTED BYHASH模型将数据均匀分配,以保证客户端可以高效高速的对工况数据进行访问。
上述技术方案,通过整合边缘计算数据终端、自研物联网平台、大数据平台、消息队列kafka、数据湖Hudi、实时计算引擎Flink以及管理平台,实现了对工程车辆生产运行的全生命周期管理,实时自动发现识别矿用自卸车辆的运行状态以及检测工程车辆有价值数据,动态统计工程车辆的工况数据,提高了管理效率。
图1为一个实施例中用于工程车辆工况数据的处理方法的流程示意图。应该理解的是,虽然图1的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,用户可以通过管理平台具备的地图功能手动输入工程车辆的目标位置,例如始发点、装料点、卸料点以及候车区等,大数据平台调用百度地图服务接口,根据用户输入的多个目标位置为工程车辆规划出最优工作路径。同时,大数据平台根据获取到的工程车辆的多个实时位置确定出工程车辆的实际工作路径。大数据平台通过Flink实时计算工程车辆当前位置的经度和纬度,将实际工作路径与最优工作路径进行对比,记录下其中的偏差的工作路径和在偏差工作路径行驶的时长。
进一步地,大数据平台实时获取工程车辆的发动机状态、车速以及累计油耗等实时工况数据,通过Flink实时分析工程车辆在预设时间段内的无效工作时长和无效工作油耗。具体地,大数据平台的数据仓库使用Flink CEP即复杂事件分析法对工程车辆的发动机状态、车速以及累计油耗等实时工况数据进行分析,例如,通过Flink CEP设计基于复杂事件数据模型,可以将工程车辆的一条工况数据视为此模型对应工程车辆的一个事件,当这条工况数据被Flink消费时,即认为一个事件已经发生。当车速为0时,则判定当前的发动机状态为怠速,其中,怠速是指发动机没有对外输出做功的一种工作状态,这条工况数据被认为有效并作为此数据模型的一个开始事件即无效工作的开始,在后续的每条工况数据被消费时,都进行车速与发动机状态的判断。直到一条工况数据被消费时,车速与发动机状态的值发生了变化且持续30秒以上,这条工况数据则被作为此数据模型的一个结束事件即无效工作的结束。将此时间段内的工况数据进行合并作为一条工况数据,记录此时间段工程车辆的无效工作开始时间点、无效工作结束时间点、无效工作开始油耗、无效工作结束油耗等无效工作信息,并将无效工作信息存储至数据湖Hudi中。通过相邻的无效工作结束时间点和无效工作开始时间点的差值得出无效工作时长,以及其对应的无效工作结束油耗和无效工作开始油耗的差值得出无效工作油耗,同时,通过Flink将预设时间段内例如一天中所有的无效工作时长和无效工作油耗分别累加,以得到在一天中工程车辆的无效工作总时长和无效工作总油耗。
进一步地,可以根据工程车辆的偏差的工作路径、在偏差工作路径行驶的时长、无效工作总时长以及无效工作总油耗,计算出工程车辆在预设时间段类例如在一天中的工作效率,通过数据湖Hudi根据工作效率组合加工生成对应的工作效率数据报表,将工作效率报表传输至管理平台数据库Doris中,同时管理平台调用并以工作效率数据报表的形式展示给用户查阅。
在一个实施例中,大数据平台实时获取工程车辆的发电机通电时长、发电机的工作时长以及燃油消耗,从而根据发电机累计通电时长、发电机的工作时长以及燃油消耗分析对应的工程车辆的经济效率。具体地,通过数据湖Hudi设计工程车辆工况数据的表存储模型,将Hudi表以日期dt为分区,历史日期例如今天的数据分区存储当天作业的工程车辆的最新一条有值工况数据,上一个历史日期例如昨天数据分期存储工程车辆最后一条有值的工况数据,通过历史日期最新数据与上一个历史日期最后数据的差值计算工程车辆的的工况统计数据,进而分析对应的经济效率。具体地,可以通过计算任意一个历史日期内例如今日的累计通电时长与上一个历史日期内例如昨日的累计通电时长的差值,得出工程车辆在历史日期内例如今日发动机的实际通电时长。通过计算历史日期内例如今日的工作时长与上一个历史日期内例如昨日的工作时长的差值,得出工程车辆在历史日期内例如今日发动机的实际工作时长。同时,获取工程车辆的燃油箱容量,通过计算历史日期例如今日零点燃油液位百分比与二十四点燃油液位百分比的差值与燃油箱容量的乘积,得出工程车辆在历史日期例如今日的燃油消耗。
进一步地,可以根据发动机的实际通电时长、发动机的实际工作时长以及燃油消耗,计算出工程车辆在预设时间段类例如在今日的经济效率,通过数据湖Hudi根据经济效率组合加工生成对应的经济效率数据报表,将经济效率报表传输至管理平台数据库Doris中,同时管理平台调用并以经济效率数据报表的形式展示给用户查阅。
在一个实施例中,管理平台具有信息实时推送功能,Flink对工况数据进行处理,在检测到工况数据存在异常即工况数据的值不属于正常范围时,将检测到异常工况数据进行组合加工,以生成对应的异常数据报表存储至数据湖Hudi中。同时,将异常数据报表发送至管理平台的数据库Doris中,管理平台推送相应的预警信息至用户,以及时通知用户工程车辆当前存在的风险。
进一步地,基于大数据平台Flink消费物联网平台中的kafka工况数据,获取发动机累计工作时长、累计里程,通过Flink CDC获取工程车辆的设备档案信息,掌握每台工程车辆的发货时间、底盘与车辆型号等信息。通过配置指定不同底盘与型号的工程车辆,定义以工作时长、行驶里程与发货后天数为周期的工程车俩的保养规则,并将实时获取到的工程车辆工况数据与保养规则进行匹配计算,生成对应的工程车辆的保养数据报表。同时,将保养数据报表发送至管理平台,管理平台推送相应的保养信息至用户,以供用户按需求对工程车辆进行保养。
本方案中,采用了创新性的流程设计和技术创新,实现了车辆终端、物联网平台、大数据平台与手机app的数据联通。车辆终端方面首先通过发动机控制单元ECU、车载控制单元BCM与边缘计算数据终端,将车辆运行数据进行有效整合并上报,物联网平台接收车辆数据终端上报数据,并解析私密数据后传递给大数据平台组件。大数据平台组件通过FlinkCDC或Flink流处理获取数据后,利用Flink CEP复杂事件模型等技术进行实时计算,并将基于规则计算后的结果数据推送到OLAP分析型分布式数据库Doris。用户使用手机app读取Doris数据,即可查看每辆车辆当前的位置,行驶的轨迹,施工效率、车辆异常与车辆保养所有数据信息,实现了车辆施工运行过程中的全生命周期监控管理。本技术方案对工程车辆全过程数据完成实时的自动化流转、高效的统计分析计算与数据可呈现化,有效地提高了管理效率,并解决因人工的数据统计分析带来的效率与准确率低下的问题。同时能够对车辆异常情况与保养推荐的实时判断识别,并实时将异常余保养信息通过app推荐给用户。相比以往全程需要通过人工排查、分析原因以及解决问题的模式,本技术采用的实时全程监控管理模式能够在车辆出现问题时,立即预警,达到了实时预测性维护的目的,提高了服务水平和管理效率,降低了服务成本,减少了不必要的纠纷和经济损失。
本申请实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现上述用于工程车辆工况数据的处理方法。
本申请实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述用于工程车辆工况数据的处理方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图2所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、存储器(图中未示出)和数据库(图中未示出)。其中,该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A04。该非易失性存储介质A04存储有操作系统B01、计算机程序B02和数据库(图中未示出)。该内存储器A03为非易失性存储介质A04中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的数据库用于存储用于工程车辆工况数据的处理方法数据。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序B02被处理器A01执行时以实现一种用于工程车辆工况数据的处理方法。
本领域技术人员可以理解,图2中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本申请实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现用于工程车辆工况数据的处理方法。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化用于工程车辆工况数据的处理方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (11)
1.一种用于工程车辆工况数据的处理方法,其特征在于,所述自卸车上安装有数据采集装置和数据处理设备,所述处理方法包括:
通过所述数据采集装置实时采集所述工程车辆的工况数据;
通过所述数据处理设备对所述工况数据加密,并将加密后的工况数据传输至预设物联网平台;
所述预设物联网平台的实时计算引擎flink按照预设解析规则对加密后的工况数据进行解析,以得到明文的工况数据,并将所述明文的工况数据存储至不同主题的kafka消息队列中;
大数据平台的实时计算引擎flink从所述kafka消息队列中读取所述明文的工况数据,并将读取的工况数据存储至数据湖Hudi中;
所述实时计算引擎flink对所述读取的工况数据进行预处理,并将预处理后的数据存储至数据湖Hudi中;
所述数据湖Hudi按照预设配置规则对所述读取的工况数据和所述预处理后的数据进行组合加工,以生成对应的数据报表;
将所述数据报表发送至管理平台;
在所述管理平台接收到用户触发的数据处理请求的情况下,通过所述管理平台的预设报告模板展示所述数据报表,以供所述用户查阅。
2.根据权利要求1所述的用于工程车辆工况数据的处理方法,其特征在于,所述工况数据包括所述工程车辆的实时位置,所述处理方法还包括:
根据所述工程车辆在多个时间点的实时位置确定所述工程车辆的实际工作路径;
对比所述实际工作路径与最优工作路径,其中,所述最优工作路径是所述大数据平台根据用户在所述管理平台选择的多个目标位置生成的;
在所述最优工作路径与所述实际工作路径存在偏差的情况下,记录路径的偏差数据。
3.根据权利要求1所述的用于工程车辆工况数据的处理方法,其特征在于,所述工况数据包括所述工程车辆的无效工作开始时间点、无效工作结束时间点、无效工作开始油耗以及无效工作结束油耗,其中,无效工作是指所述工程车辆的发动机处于怠速工作模式,所述无效工作开始油耗是指在所述无效工作开始时间点时所述工程车辆的油耗,所述无效工作结束油耗是指所述无效工作结束时间点时所述工程车辆的油耗;
所述处理方法还包括:
通过任意两个相邻的所述无效工作开始时间点和所述无效工作结束时间点确定所述工程车辆的无效工作时长,以确定出在预设时间段内所述工程车辆的无效工作总时长;
通过任意两个相邻的所述无效工作开始时间点和所述无效工作结束时间点所对应的无效工作开始油耗和无效工作结束油耗,确定在每个无效工作时长内所述工程车辆的无效工作油耗,以确定出在所述预设时间段内所述工程车辆的无效工作总油耗。
4.根据权利要求2或3所述的用于工程车辆工况数据的处理方法,其特征在于,所述偏差数据包括所述工程车辆在偏差的工作路径上的偏差行驶时长,所述处理方法还包括:
通过所述偏差行驶时长、无效工作总时长以及无效工作总油耗确定所述工程车辆在预设时间段内的工作效率;
根据所述工程车辆在多个预设时间段内的工作效率生成所述工程车辆的工作效率数据报表;
通过所述管理平台的效率报告模板展示所述工作效率数据报表,以供所述用户查阅。
5.根据权利要求1所述的用于工程车辆工况数据的处理方法,其特征在于,所述工况数据包括所述工程车辆在历史日期内发动机的累计通电时长和工作时长,所述处理方法还包括:
将任意一个历史日期内的累计通电时长与上一个历史日期内的累计通电时长的差值确定为所述工程车辆在所述历史日期内发动机的实际通电时长;
将所述历史日期内的工作时长与上一个历史日期内的工作时长的差值确定为所述工程车辆在所述历史日期内发动机的实际工作时长。
6.根据权利要求1所述的用于工程车辆工况数据的处理方法,其特征在于,所述工况数据包括所述工程车辆在历史日期的零点燃油液位百分比、二十四点燃油液位百分比以及燃油箱容量,所述处理方法还包括:
将所述零点燃油液位百分比与所述二十四点燃油液位百分比的差值与所述燃油箱容量的乘积,确定为所述工程车辆在所述历史日期的燃油消耗。
7.根据权利要求5或6所述的用于工程车辆工况数据的处理方法,其特征在于,所述处理方法还包括:
通过发动机的实际通电时长、发动机的实际工作时长以及燃油消耗确定所述工程车辆在所述历史日期的经济效率;
根据所述工程车辆在所述历史日期的经济效率生成所述工程车辆的经济效率数据报表;
通过所述管理平台的效率报告模板展示所述经济效率数据报表,以供所述用户查阅。
8.根据权利要求1所述的用于工程车辆工况数据的处理方法,其特征在于,所述管理平台具有信息实时推送功能,所述处理方法还包括:
在所述大数据平台检测到所述工况数据存在异常的情况下,所述大数据平台将所述异常工况数据进行组合加工,以生成对应的异常数据报表;
将所述异常数据报表发送至所述管理平台;
所述管理平台推送相应的预警信息至所述用户,其中,所述预警信息包括所述管理平台根据预设报告模板展示的所述异常数据报表。
9.根据权利要求8所述的用于工程车辆工况数据的处理方法,其特征在于,所述处理方法还包括:
获取所述工程车辆的档案信息;
所述大数据平台根据所述档案信息确定所述工程车辆的保养规则;
将所述工况数据与所述保养规则进行匹配,以生成对应的所述工程车辆的保养数据报表;
将所述保养数据报表发送至所述管理平台;
所述管理平台推送相应的保养信息至所述用户,其中,所述保养信息包括所述管理平台根据预设报告模板展示的所述保养信息报表。
10.一种机器可读存储介质,该机器可读存储介质上存储有指令,其特征在于,该指令在被处理器执行时使得所述处理器被配置成执行根据权利要求1至9中任一项所述的用于工程车辆工况数据的处理方法。
11.一种处理器,其特征在于,被配置成执行根据权利要求1至9中任意一项所述的用于工程车辆工况数据的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211538598.0A CN116189330A (zh) | 2022-12-01 | 2022-12-01 | 用于工程车辆工况数据的处理方法、存储介质及处理器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211538598.0A CN116189330A (zh) | 2022-12-01 | 2022-12-01 | 用于工程车辆工况数据的处理方法、存储介质及处理器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116189330A true CN116189330A (zh) | 2023-05-30 |
Family
ID=86451274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211538598.0A Pending CN116189330A (zh) | 2022-12-01 | 2022-12-01 | 用于工程车辆工况数据的处理方法、存储介质及处理器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116189330A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116795664A (zh) * | 2023-08-25 | 2023-09-22 | 四川省农村信用社联合社 | 一种自动化处理增全量历史数据保存方法 |
CN116980890A (zh) * | 2023-09-20 | 2023-10-31 | 北京集度科技有限公司 | 信息安全通信装置、方法、车辆、计算机程序产品 |
CN117743470A (zh) * | 2024-02-06 | 2024-03-22 | 中科云谷科技有限公司 | 用于异构大数据的处理系统 |
-
2022
- 2022-12-01 CN CN202211538598.0A patent/CN116189330A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116795664A (zh) * | 2023-08-25 | 2023-09-22 | 四川省农村信用社联合社 | 一种自动化处理增全量历史数据保存方法 |
CN116795664B (zh) * | 2023-08-25 | 2023-10-31 | 四川省农村信用社联合社 | 一种自动化处理增全量历史数据保存方法 |
CN116980890A (zh) * | 2023-09-20 | 2023-10-31 | 北京集度科技有限公司 | 信息安全通信装置、方法、车辆、计算机程序产品 |
CN116980890B (zh) * | 2023-09-20 | 2023-12-22 | 北京集度科技有限公司 | 信息安全通信装置、方法、车辆、计算机程序产品 |
CN117743470A (zh) * | 2024-02-06 | 2024-03-22 | 中科云谷科技有限公司 | 用于异构大数据的处理系统 |
CN117743470B (zh) * | 2024-02-06 | 2024-05-07 | 中科云谷科技有限公司 | 用于异构大数据的处理系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116189330A (zh) | 用于工程车辆工况数据的处理方法、存储介质及处理器 | |
CN110825801B (zh) | 基于分布式架构的列车信号系统车载日志分析系统和方法 | |
CN111539633A (zh) | 一种业务数据质量的稽核方法、系统、装置和存储介质 | |
CN106649828B (zh) | 一种数据查询方法及系统 | |
CN111400288A (zh) | 数据质量检查方法及系统 | |
CN113502870B (zh) | 挖掘机工况判定方法及装置 | |
CN111325428A (zh) | 一种工单推送方法、装置及存储介质 | |
CN116842055A (zh) | 用于物联网数据批流一体处理的系统及方法 | |
CN112100227A (zh) | 一种基于多级异构数据存储的大数据处理方法 | |
CN108563776A (zh) | 离线数据获取方法及系统、服务器及存储介质 | |
CN107656943B (zh) | 任务查询方法及服务器 | |
CN113645287A (zh) | 汽车报文存储方法及装置、汽车报文存储系统 | |
CN116775716A (zh) | 数据查询方法、装置、存储介质及电子设备 | |
CN106528849B (zh) | 面向完整历史记录的图查询开销方法 | |
CN115664992A (zh) | 网络运行数据的处理方法、装置、电子设备及介质 | |
CN110647575A (zh) | 基于分布式的异构处理框架构建方法及系统 | |
CN114860851A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN110363515B (zh) | 权益卡账户信息查询方法、系统、服务器及可读存储介质 | |
CN112596974A (zh) | 一种全链路监控方法、装置、设备和存储介质 | |
CN111159142B (zh) | 一种数据处理方法及装置 | |
CN110737297A (zh) | 基于物联网的实现远程多温室环境控制的方法及装置 | |
CN115795185B (zh) | 风险行程筛查方法、装置、计算机设备和存储介质 | |
CN117857465B (zh) | 数据处理方法、装置、设备及存储介质、程序产品 | |
US10936571B1 (en) | Undo based logical rewind in a multi-tenant system | |
CN116226043A (zh) | 日志的查询方法、系统、装置、处理器及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |