CN113742366A - 数据处理方法、装置、计算机设备及存储介质 - Google Patents

数据处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113742366A
CN113742366A CN202111084149.9A CN202111084149A CN113742366A CN 113742366 A CN113742366 A CN 113742366A CN 202111084149 A CN202111084149 A CN 202111084149A CN 113742366 A CN113742366 A CN 113742366A
Authority
CN
China
Prior art keywords
data
task
data analysis
vehicle
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111084149.9A
Other languages
English (en)
Other versions
CN113742366B (zh
Inventor
程裕恒
杨柳
王超
刘道桂
阳涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111084149.9A priority Critical patent/CN113742366B/zh
Publication of CN113742366A publication Critical patent/CN113742366A/zh
Application granted granted Critical
Publication of CN113742366B publication Critical patent/CN113742366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Abstract

本申请提供了一种数据处理方法、装置、计算机设备及存储介质,应用于智慧交通领域。所述方法包括:对终端提交的数据分析任务进行解析,得到任务参数信息;基于所述车辆信号、所述时间范围和所述车辆标识,从数据库中获取车辆数据;基于所述时间粒度和所述算子对所述车辆数据进行处理,得到数据分析结果;向所述终端返回所述数据分析结果,由所述终端显示所述数据分析结果。上述技术方案,通过对终端提交的数据分析任务进行解析,得到任务参数信息,再基于该任务参数信息执行该数据分析任务,向终端返回数据分析结果,使得用户不需要具备专业知识即可以实现数据查询,操作方式简单便捷,提高了数据查询效率和人机交互效率。

Description

数据处理方法、装置、计算机设备及存储介质
技术领域
本申请涉及智慧交通领域,特别涉及一种数据处理方法、装置、计算机设备及存储介质。
背景技术
随着互联网技术的发展,服务商的数据库中存储了大量经过授权后采集的数据,这些数据中蕴含着大量的有用信息,如何对这些数据进行分析和提取,来获得有用的信息,是一个研究的方向。
目前,通常使用开源的HUE(Hadoop User Experience,Hadoop用户体验)程序来查看和管理HDFS(Hadoop Distributed File System,Hadoop分布式文件系统),通过HUE的程序界面编写SQL(Structured Query Language,结构化查询语言)语句来查询Hadoop的数据库,并显示查询结果。
上述技术方案仅支持通过SQL语句进行查询,也即需要查询人员具备专业知识才能够进行查询,导致查询效率低下,人机交互效率低。
发明内容
本申请实施例提供了一种数据处理方法、装置、计算机设备及存储介质,使得用户通过提交数据分析任务即可查询数据分析结果,不需要具备专业知识也可以实现数据查询,操作方式简单便捷,提高了数据查询效率和人机交互效率。所述技术方案如下:
一方面,提供了一种数据处理方法,应用于服务器,所述方法包括:
对终端提交的数据分析任务进行解析,得到任务参数信息,所述任务参数信息包括车辆信号、时间范围、车辆标识、时间粒度以及算子;
基于所述车辆信号、所述时间范围和所述车辆标识,从数据库中获取车辆数据,所述车辆信号用于指示车辆的运行状态;
基于所述时间粒度和所述算子对所述车辆数据进行处理,得到数据分析结果;
向所述终端返回所述数据分析结果,由所述终端显示所述数据分析结果。
另一方面,提供了一种数据处理方法,应用于终端,所述方法包括:
显示数据分析任务界面,所述数据分析任务界面显示有车辆信号参数、时间范围参数、车辆标识参数、时间粒度参数以及算子参数;
基于在所述数据分析任务界面上的参数设置操作,生成数据分析任务,所述数据分析任务包括车辆信号、时间范围、车辆标识、时间粒度以及算子,所述车辆信号用于指示车辆的运行状态;
向服务器提交所述数据分析任务,显示所述服务器执行所述数据分析任务后返回的数据分析结果。
另一方面,提供了一种数据处理装置,配置于服务器,所述装置包括:
任务解析模块,用于对终端提交的数据分析任务进行解析,得到任务参数信息,所述任务参数信息包括车辆信号、时间范围、车辆标识、时间粒度以及算子,所述车辆信号用于指示车辆的运行状态;
数据获取模块,用于基于所述车辆信号、所述时间范围和所述车辆标识,从数据库中获取车辆数据;
数据处理模块,用于基于所述时间粒度和所述算子对所述车辆数据进行处理,得到数据分析结果;
结果发送模块,用于向所述终端返回所述数据分析结果,由所述终端显示所述数据分析结果。
在一些实施例中,在一些实施例中,该数据获取模块,用于基于该车辆信号、该时间范围和该车辆标识,生成查询语句;执行该查询语句,从数据库中获取车辆数据。
在一些实施例中,该数据处理模块,用于按照该时间粒度对该车辆数据进行划分,得到多个时间粒度数据;基于该算子,对该多个时间粒度数据进行分析,得到该数据分析结果。
在一些实施例中,该数据处理模块,用于响应于该算子为预测算子,获取该预测算子对应的预测时间范围;基于该车辆数据、该时间粒度以及该预测时间范围,确定该数据分析结果,该数据分析结果用于指示该车辆数据在该预测时间范围内将达到的值。
在一些实施例中,该装置还包括:
第一界面发送模块,用于响应于接收到该终端发送的分析任务创建请求,返回数据分析任务界面,由该终端显示该数据分析任务界面,该数据分析任务界面显示有车辆信号参数、时间范围参数、车辆标识参数、时间粒度参数以及算子参数。
在一些实施例中,该装置还包括:
任务写入模块,用于将该数据分析任务写入任务记录表;
状态设置模块,用于响应于该数据分析任务未完成,将该数据分析任务的任务状态设置为运行中;
结果发送模块,用于响应于该数据分析任务已完成,向该终端返回该数据分析结果。
在一些实施例中,该装置还包括:
第二界面发送模块,用于响应于接收到该终端发送的导出任务创建请求,返回数据导出任务界面,由该终端显示该数据导出任务界面,该数据导出任务界面显示有语句输入区域;
任务执行模块,用于接收并执行该终端生成的数据导出任务,得到执行该数据导出任务的进度信息;
信息发送模块,用于向该终端返回该进度信息,由该终端显示该进度信息。
另一方面,提供了一种数据处理装置,配置于终端,所述方法包括:
界面显示模块,用于显示数据分析任务界面,所述数据分析任务界面显示有车辆信号参数、时间范围参数、车辆标识参数、时间粒度参数以及算子参数;
任务生成模块,用于基于在所述数据分析任务界面上的参数设置操作,生成数据分析任务,所述数据分析任务包括车辆信号、时间范围、车辆标识、时间粒度以及算子,所述车辆信号用于指示车辆的运行状态;
任务提交模块,用于向服务器提交所述数据分析任务;
结果显示模块,用于显示所述服务器执行所述数据分析任务后返回的数据分析结果。
在一些实施例中,所述数据分析结果包括至少两种结果图;
所述结果显示模块,还用于响应于结果切换操作,将当前显示的第一结果图切换为所述结果切换操作指示的第二结果图。
在一些实施例中,所述界面显示模块,还用于显示数据导出任务界面,所述数据导出任务界面显示有语句输入区域;
所述任务生成模块,还用于基于在所述语句输入区域的输入的数据导出语句,生成数据导出任务;
所述任务提交模块,还用于向所述服务器提交所述数据导出任务,显示所述服务器执行所述数据导出任务的进度信息。
在一些实施例中,所述装置还包括:
所述界面显示模块,还用于响应于所述进度信息指示所述数据导出任务已执行完毕,显示导出控件;
数据导出模块,用于响应于对所述导出控件的触发操作,导出所述数据导出任务对应的车辆数据。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器用于存储至少一段计算机程序,所述至少一段计算机程序由所述处理器加载并执行以实现本申请实施例中的数据处理方法中所执行的操作。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一段计算机程序,所述至少一段计算机程序由处理器加载并执行以实现如本申请实施例中数据处理方法中所执行的操作。
另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机程序代码,该计算机程序代码存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序代码,处理器执行该计算机程序代码,使得该计算机设备执行上述各个方面的各种可选实现方式中提供的数据处理方法。
本申请实施例提供的技术方案带来的有益效果是:
本申请实施例提供了一种数据处理方法,通过对终端提交的数据分析任务进行解析,得到任务参数信息,再基于该任务参数信息执行该数据分析任务,向终端返回数据分析结果,使得用户不需要具备专业知识即可以实现数据查询,操作方式简单便捷,提高了数据查询效率和人机交互效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例提供的一种数据处理方法的实施环境示意图;
图2是根据本申请实施例提供的一种数据处理方法的流程图;
图3是根据本申请实施例提供的另一种数据处理方法的流程图;
图4是根据本申请实施例提供的一种数据处理方法的交互流程图;
图5是根据本申请实施例提供的一种数据分析任务界面的示意图;
图6是根据本申请实施例提供的一种数据导出任务界面的示意图;
图7是根据本申请实施例提供的一种任务管理界面的示意图;
图8是根据本申请实施例提供的另一种任务管理界面的示意图;
图9是根据本申请实施例提供的另一种数据处理方法的流程示意图;
图10是根据本申请实施例提供的一种数据处理装置的框图;
图11是根据本申请实施例提供的另一种数据处理装置的框图;
图12是根据本申请实施例提供的另一种数据处理装置的框图;
图13是根据本申请实施例提供的另一种数据处理装置的框图;
图14是根据本申请实施例提供的一种终端的结构框图;
图15是根据本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。
本申请中术语“至少一个”是指一个或多个,“多个”的含义是指两个或两个以上。
以下,对本申请涉及的术语进行解释。
智能交通系统(Intelligent Traffic System,ITS)又称智能运输系统(Intelligent Transportation System),是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造,加强车辆、道路、使用者三者之间的联系,从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。该智能交通系统包括Hadoop分布式文件系统(HDFS,Hadoop Distributed File System),车辆将车辆数据进行上报,该智能交通系统将车辆上报的车辆数据存储在Hadoop分布式文件系统中。本申请实施例提供的数据处理方法,能够对上述智能交通系统中的数据进行查询和处理。
Hadoop分布式文件系统(HDFS,Hadoop Distributed File System)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed FileSystem)。HDFS和现有的分布式文件系统有很多共同点。但同时,HDFS和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。
SQL(Structured Query Language,结构化查询语言),是一种特殊目的的编程语言,是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统。
VIN(Vehicle Identification Number,车辆识别号码或车架号码),是一组由十七个字母或数字组成,用于汽车上的一组独一无二的号码,可以识别汽车的生产商、引擎、底盘序号及其他性能等资料。
hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce(一种编程模型,用于大规模数据集的并行运算)任务来执行。
SSH(Secure Shell)是一种通用的、功能强大的、基于软件的网络安全解决方案。SSH为创建在应用层和传输层基础上的安全协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题。
Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark,拥有Hadoop所具有的优点;但不同于MapReduce的是:Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
MongoDB是一个基于分布式文件存储的数据库,是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。
本申请实施例提供的数据处理方法,能够由计算机设备执行。在一些实施例中,该计算机设备为终端或服务器。下面首先以计算机设备为服务器为例,介绍一下本申请实施例提供的数据处理方法的实施环境,图1是根据本申请实施例提供的一种数据处理方法的实施环境示意图。参见图1,该实施环境包括终端101、服务器102和终端103。
终端101和服务器102能够通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。终端103和服务器102能够通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
在一些实施例中,终端101是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、车载终端、智能语音交互设备等,但并不局限于此。终端101安装和运行有用于数据处理的应用程序,该终端101登录有用户账号,用户能够通过该用户账号在该应用程序中设置任务参数,以使得终端生成数据分析任务,并向服务器提交该数据分析任务,从而实现本申请实施例提供的数据处理方法。在一些实施例中,该终端101为任意能够访问网页的终端,用户基于该终端101访问服务器102提供的网页端,实现本申请实施例提供的数据处理方法。
在一些实施例中,服务器102是独立的物理服务器,也能够是多个物理服务器构成的服务器集群或者分布式系统,还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。服务器102用于为支持数据查询的应用程序提供后台服务,如数据处理服务。在一些实施例中,服务器102承担主要计算工作,终端101承担次要计算工作;或者,服务器102承担次要计算工作,终端101承担主要计算工作;或者,服务器102和终端101二者之间采用分布式计算架构进行协同计算。
在一些实施例中,终端103为任一车辆上安装的车载终端,该终端103用于向服务器102上传车辆数据,该车辆数据为经过充分授权和批准后所采集和使用的数据。本领域技术人员可以知晓,上述终端103的数量可以更多或更少。比如上述终端103可以仅为一个,或者上述终端103为几十个或几百个,或者更多数量。本申请实施例对终端103的数量和设备类型不加以限定。
图2是根据本申请实施例提供的一种数据处理方法的流程图,如图2所示,在本申请实施例中以由服务器执行为例进行说明。该数据处理方法包括以下步骤:
201、服务器对终端提交的数据分析任务进行解析,得到任务参数信息,该任务参数信息包括车辆信号、时间范围、车辆标识、时间粒度以及算子,该车辆信号用于指示车辆的运行状态。
在本申请实施例中,该终端可以为车载终端,还可以为车载终端以外的终端,该终端安装和运行有客户端,或者能够访问网页端,该服务器用于为上述客户端或者网页端提供后台服务。服务器接收到数据分析任务之后,对该数据分析任务进行解析,得到车辆信号、时间范围、车辆标识、时间粒度以及算子。其中,该车辆信号包括速度信号、加速度信号、电池温度信号、电池余量信号以及位置信号等,本申请实施例对此不进行限制。其中,该时间粒度包括分钟、小时、天、周、月以及年等,本申请实施例对此不进行限制。
202、服务器基于该车辆信号、该时间范围和该车辆标识,从数据库中获取车辆数据。
在本申请实施例中,服务器能够基于该车辆信号、时间范围和车辆标识,生成数据库查询语句,然后从数据库中获取查询到的车辆数据。
203、服务器基于该时间粒度和该算子对该车辆数据进行处理,得到数据分析结果。
在本申请实施例中,服务器在获取到车辆数据之后,按照时间粒度对车辆数据划分,使用该算子对划分后的车辆数据依次进行处理,得到数据分析结果。
204、服务器向该终端返回该数据分析结果,由该终端显示该数据分析结果。
在本申请实施例中,服务器在得到该数据分析结果之后,能够将该数据分析结果返回至该终端,由终端对该数据分析结果进行显示,从而用户能够基于该结果信息直观的了解对车辆数据的分析结果。
本申请实施例提供了一种数据处理方法,通过对终端提交的数据分析任务进行解析,得到任务参数信息,再基于该任务参数信息执行该数据分析任务,向终端返回数据分析结果,使得用户不需要具备专业知识即可以实现数据查询,操作方式简单便捷,提高了数据查询效率和人机交互效率。
图3是根据本申请实施例提供的另一种数据处理方法的流程图,如图3所示,在本申请实施例中以由终端执行为例进行说明。该数据处理方法包括以下步骤:
301、终端显示数据分析任务界面,该数据分析任务界面显示有车辆信号参数、时间范围参数、车辆标识参数、时间粒度参数以及算子参数。
在本申请实施例中,该终端可以为车载终端,还可以为车载终端以外的终端,该终端安装和运行有用于数据处理的客户端,或者能够访问用于数据处理的网页端。该终端能够显示的数据分析任务界面,用户能够在该数据分析任务界面上设置车辆信号参数、时间范围参数、车辆标识参数、时间粒度参数以及算子参数的参数值。
302、终端基于在该数据分析任务界面上的参数设置操作,生成数据分析任务,该数据分析任务包括车辆信号、时间范围、车辆标识、时间粒度以及算子,车辆信号用于指示车辆的运行状态。
在本申请实施例中,终端基于用户在上述数据分析人物界面上设置的参数值,生成数据处理任务,该数据分析任务包括车辆信号、时间范围、车辆标识、时间粒度以及算子。该数据处理任务用于指示服务器基于上述该数据分析任务包括车辆信号、时间范围、车辆标识、时间粒度以及算子,对车辆数据进行分析。其中,该车辆信号包括速度信号、加速度信号、电池温度信号、电池余量信号以及位置信号等,本申请实施例对此不进行限制。其中,该时间粒度包括分钟、小时、天、周、月以及年等,本申请实施例对此不进行限制。
303、终端向服务器提交该数据分析任务,显示该服务器执行该数据分析任务后返回的数据分析结果。
在本申请实施例中,终端将数据分析任务提交至服务器后,服务器执行该数据分析任务,然后将执行该数据分析任务得到的数据分析结果返回至该终端,该终端向用于展示该数据分析结果。
本申请实施例提供了一种数据处理方法,通过在终端显示数据分析任务界面,使得用户能够基于该数据分析任务界面上显示的至少一个任务参数,来创建数据分析任务,并显示数据分析结果,也即用户不需要具备专业知识也可以实现数据查询,操作方式简单便捷,提高了数据查询效率和人机交互效率。
图4是根据本申请实施例提供的一种数据处理方法的交互流程图,如图4所示,在本申请实施例中以终端与服务器之间的交互为例进行说明。该方法包括以下步骤:
401、响应于接收到终端发送的分析任务创建请求,服务器返回数据分析任务界面,该数据分析任务界面显示有车辆信号参数、时间范围参数、车辆标识参数、时间粒度参数以及算子参数。
在本申请实施例中,该终端可以为车载终端,还可以为车载终端以外的终端,该终端安装和运行有用于数据处理的客户端,或者能够访问用于数据处理的网页端。用户能够基于该终端发送分析任务创建请求,由服务器对该分析任务创建请求进行响应,返回该分析任务创建请求对应的数据分析任务界面。
在一些实施例中,终端在发送分析任务创建请求之前,能够显示任务管理界面,该任务管理界面包括数据分析任务子界面和数据提取任务子界面,该数据分析子界面显示有分析任务请求控件,用于请求创建数据分析任务。该数据提取任务子界面显示有提取任务请求控件,用于请求创建数据提取任务。当然,该任务管理界面还能够显示至少一个任务请求控件,一个任务请求控件用于请求创建一种类型的数据处理任务,如数据导入控件用于请求创建数据导入任务等。
在一些实施例中,响应于终端检测到对数据分析控件的触发操作,终端向服务器发送该分析任务创建请求。响应于终端检测到对数据导出控件的触发操作,终端向服务器发送导出任务创建请求,该导出任务创建请求用于指示服务器返回数据导出任务界面。响应于接收到终端发送的导出任务创建请求,服务器返回数据导出任务界面,该数据导出任务界面显示有语句输入区域,该语句输入区域用于输入SQL语句。
402、终端显示数据分析任务界面。
在本申请实施例中,终端接收并显示服务器返回的数据分析任务界面。该数据分析任务界面显示有待设置的车辆信号参数、时间范围参数、车辆标识参数、时间粒度参数以及算子参数,用户能够在该数据分析任务界面对上述参数进行设置。
图5是根据本申请实施例提供的一种数据分析任务界面的示意图。参见图5所示,该数据分析任务界面用于新建分析任务。该数据分析任务界面显示有车辆信号参数“信号”,用户能够为该车辆信号参数设置多个车辆信号,该车辆信号用于指示车辆的运行状态,该车辆信号包括速度信号、加速度信号、电池温度信号、电池余量信号、水温信号以及位置信号等。该数据分析任务界面显示有算子参数“算子”,用户能够从该多个算子中选择需要的算子,算子包括最大值、最小值、均值、计数以及预测。该数据分析任务界面显示有时间范围参数“起止时间”,用户能够通过下方的日历控件方便的选择开始时间和结束时间,从而获取在该开始时间和结束时间范围内采集的车辆数据。该数据分析任务界面显示有车辆标识参数“数据输入形式”,用户能够从三种数据输入形式中选择任意一种数据输入形式作为车辆标识参数,三种数据输入形式包括:输入车辆的VIN码,导入车辆的VIN码,以及选择车辆的车型。该数据分析任务界面显示有时间粒度参数“时间粒度”,用户能够从多个时间粒度中选择合适的时间粒度,该时间粒度包括分钟、小时、天、周、月以及年。响应于对该数据分析界面中提交控件的触发操作,终端能够生成数据分析任务。需要说明的是,图5示例性的还示出了“周期更新”这一选项,使得可以将该数据分析任务配置为周期任务,每日/每周/每月定时执行,本申请实施例对周期任务的执行周期的配置方式不进行限定。
403、终端基于在数据分析任务界面上的参数设置操作,生成数据分析任务,该数据分析任务包括车辆信号、时间范围、车辆标识、时间粒度以及算子,该车辆信号用于指示车辆的运行状态。
在本申请实施例中,终端检测到对数据分析任务界面上任一参数的参数设置操作时,根据该设置操作,显示该参数对应的参数值,如设置的车辆信号、选择的时间范围等。该数据分析任务界面上还显示有第一提交控件,响应于对该第一提交控件的触发操作,终端获取当前各参数的参数值,即获取已设置的车辆信号、时间范围、车辆标识、时间粒度以及算子,生成包括上述参数值的数据分析任务。需要说明的是,若任一参数未设置,则终端显示提示信息,以提示用户设置该参数,本申请实施例对提示方式不进行限制。
404、终端向服务器提交该数据分析任务。
在本申请实施例中,终端向服务器提交已创建的数据分析任务,由服务器执行该数据分析任务。
在一些实施例中,终端登录有用户账号,终端提交该数据分析任务时携带该用户账号。服务器能够基于该用户账号的账号权限,来判断是否能够执行该数据分析任务。若用户账号具有权限,则服务器能够执行该数据分析任务;若用户账号不具有权限,则服务器不执行该数据分析任务。
405、服务器对终端提交的数据分析任务进行解析,得到任务参数信息,该任务参数信息包括车辆信号、时间范围、车辆标识、时间粒度以及算子。
在本申请实施例中,服务器获取到数据分析任务之后,对该数据分析任务进行解析,然后得到该数据分析任务中包括的车辆信号、时间范围、车辆标识、时间粒度以及算子。
在一些实施例中,在接收到终端提交的数据分析任务之后,能够将该数据分析任务的任务信息,如终端登录的用户账号、该数据分析任务的类型以及该数据分析任务的任务内容等,写入任务记录表中,并将该数据分析任务的任务状态设置为运行中。通过将数据分析任务的相关信息写入任务记录表中,便于查阅已创建的数据分析任务。
在一些实施例中,服务器上部署有通用计算服务,该通用计算服务能够创建子线程,通过SSH进入到Hadoop集群,并执行该数据分析任务,该数据分析任务为spark任务。服务器能够通过该子线程轮询该数据分析任务的任务状态。
406、服务器基于车辆信号、时间范围和车辆标识,从数据库中获取车辆数据。
在本申请实施例中,在解析得到上述车辆信号、时间范围和车辆标识之后,能够基于该车辆信号、时间范围和车辆标识,生成查询语句,然后执行该查询语句,实现从数据库中获取车辆数据。
例如,该数据分析任务为spark任务,该spark任务根据不同的任务参数,组装SQL语句并执行hiveSQL。以车辆信号为signal1和signal2,车辆标识包括车系车型:car_series=car_series1和车辆ID:car_id=id1,时间范围为20210101-20210707为例,组装得到的SQL语句为:select signal1,signal2 from table where car_series=car_series1 and car_id=id1 and date between 20210101 and 20210701,通过在spark中执行该SQL语句,得到车辆数据。
需要说明的是,由于在SQL语句中select是spark的transformation(转换)算子,有懒加载的特征,不会形成sparkjob执行,因此使用较少的计算资源即可实现,且运算速度快。
407、服务器基于时间粒度和算子对车辆数据进行处理,得到数据分析结果。
在本申请实施例中,服务器够根据不同任务的算子进行统计,按照时间粒度对车辆数据进行划分,得到多个时间粒度数据,然后基于该算子,对该多个时间粒度数据进行分析,得到数据分析结果。
在一些实施例中,算子包括最大值、最小值、均值、计数、总数、区间统计以及topN,先按照时间粒度进行groupby(分组),再使用spark中的不同函数进行计算。若时间粒度为分钟,则将车辆数据按照分钟进行划分,得到多个分钟数据,每个分钟数据对应的都是1分钟内的车辆数据。若时间粒度为天,则将车辆数据按照天进行划分,得到多个天数据,每个天数据对应的都是1天内的车辆数据。其中,最大值计算使用spark.sql中的max()函数;最小值计算使用spark.sql中的min()函数;均值计算使用spark.sql中的mean()函数;计数计算使用spark.sql中的count()函数;总数计算使用spark.sql中的sum()函数;区间统计计算使用spark.ml.feature中的Bucketizer()函数;topN计算使用map partition函数计算每个partition(分组)的topN之后,再reduce计算所有partition的TopN得到最终的结果。需要说明的是,本申请实施例以用户选择一个时间粒度为例进行说明,该时间粒度还可以多选,如同时选择天和月两个时间粒度,则先按照时间粒度为天进行数据分析,再按照时间粒度为月进行数据分析。
在一些实施例中,该算子为预测算子时,服务器基于该预测算子对应的预测时间范围来确定上述数据分析结果。相应的,响应于该算子为预测算子,服务器获取该预测算子对应的预测时间范围,然后基于该车辆数据、时间粒度以及该预测时间范围,确定该数据分析结果,该数据分析结果用于指示该车辆数据在该预测时间范围内将达到的值。
例如,在算子为预测算子时,调用prophet算法,将获取到的车辆数据输入该prophet算法中,预测未来日期中的数据。在预测时,首先加载prophet库,设置需要预测的预测时间范围与时间粒度,如预测未来365天信号值的走势。其中,该预测时间范围和时间粒度可以在创建数据分析任务时设置,也可以在prophet算法中设置,本申请实施例对此不进行限制。
在一些实施例中,服务器在得到数据分析结果之后,能够将该数据分析结果保存至MongoDB。由于MongoDB优势是文档型数据库,无需预先创建表即可直接写入,因此能够节约存储数据分析结果的时间。
需要说明的是,响应于数据分析任务已完成,即已得到上述数据分析结果,则服务器执行向终端返回数据分析结果的步骤。
在一些实施例中,若终端向服务器发送的是导出任务创建请求,则服务器返回数据导出任务界面,该数据导出任务界面显示有语句输入区域。终端显示该数据导出任务界面,基于在该语句输入区域的输入的数据导出语句,生成数据导出任务,向服务器提交该数据导出任务。服务器接收并执行终端生成的数据导出任务,得到执行该数据导出任务的进度信息,向终端返回该进度信息。终端显示该服务器执行该数据导出任务的进度信息。
例如,图6是根据本申请实施例提供的一种数据导出任务界面的示意图。参见图6所示,该数据导出任务界面用于新建导出任务。该数据导出任务界面显示有语句输入区域和导出格式,该语句输入区域用于输入HiveSQL语句,该导出格式用于设置数据导出的格式,以实现大批量数据导出功能。执行任务完成后,根据选择的格式,生成不同格式的文件并存储至HDFS中。通过执行Hadoopfs-cp命令将生成的文件复制到COS(Cloud ObjectStorage,云对象存储)中,复制完成后,将文件在COS中的地址存储至任务记录表中。
408、服务器向终端返回数据分析结果。
在本申请实施例中,服务器在得到数据分析结果之后,能够将该数据分析结果返回至提交该数据分析任务的终端。其中,该数据分析结果可以为报表的形式或者折线图、柱状图等形式,本申请实施例对此不进行限制。
409、终端显示该数据分析结果。
在本申请实施例中,终端显示任务管理界面,该任务管理界面包括数据提取任务子界面和数据分析任务子界面,该数据提取任务子界面用于展示终端登录的用户账号所提交的至少一个数据提取任务的进度信息,该数据分析任务子界面用于展示该用户账号所提交的至少一个数据分析任务的任务信息。
例如,图7是根据本申请实施例提供的一种任务管理界面的示意图。如图7所示,示例性示出了任务管理界面中的数据提取任务子界面,该数据提取任务子界面除了显示有提取任务请求控件“新建任务”以外,还显示有已提交的多个数据提取任务,数据提取任务包括正在处理、已取消、失败以及已完成四种任务状态。正在处理的数据提取任务可以取消,取消后任务状态更新为已取消状态。数据提取任务完成后,任务状态由正在处理更新为已完成,此时数据提取任务子界面显示“导出”控件,通过触发该“导出”控件,能够导出对应的车辆数据。数据提取任务失败后,任务状态由正在处理跟新为失败,此时数据提取任务子界面显示“查看失败原因”控件,通过触发该“查看失败原因”控件,能够显示任务失败的原因。该数据提取任务子界面还提供了按照任务状态筛选、搜索、设置单页显示数量以及翻页功能,在此不再赘述。
在一些实施例中,数据分析结果包括至少两种结果图,响应于结果切换操作,终端将当前显示的第一结果图切换为该结果切换操作指示的第二结果图。即能够通过结果切换操作,切换数据分析结果的显示方式,如从折线图切换为饼图或者柱状图等。
例如,参见图8所示,图8是根据本申请实施例提供的另一种任务管理界面的示意图。如图8中的(a)所示,示例性示出了任务管理界面中的数据分析任务子界面,该数据分析任务子界面除了显示有分析任务请求控件“新建任务”以外,还显示有已提交的多个数据分析任务。数据分析任务包括已完成和正在处理两种状态。数据分析任务完成后,由正在处理状态更新为已完成状态,此时数据分析任务子界面显示“查看分析报表”控件,通过触发该“查看分析报表”控件,能够显示该数据分析任务对应的报表。如图8中的(b)所示,示例性示出了某个数据分析任务对应的报表,该报表包括今天、昨天、近7天、近30天以及自选时间这五种查看粒度。在一些实施例中,该查看粒度与创建数据分析任务时选择的时间粒度相关,即选择了一种时间粒度,则提供对应的查看粒度,若时间粒度选择了天,则查看粒度为与天相关的查看粒度:今天、昨天以及近7天等,若时间粒度选择了周,则查看粒度为与周相关的查看粒度:本周、上周以及近三周等。在一些实施例中,图8中未示出饼图、柱状图以及折线图这三个结果切换控件,默认显示折线图,通过点击饼图能够显示饼图,通过点击柱状图能够显示柱状图。
在一些实施例中,为了使本申请实施例提供的数据处理方法更容易理解,参见图9所示,图9是根据本申请实施例提供的另一种数据处理方法的流程示意图。用户基于网页端提交任务。服务器基于通用计算服务将该任务的任务信息写入任务记录表,并将任务的任务状态设置为运行中(running)。任务状态改为运行中之后,基于通用计算服务创建子线程进行任务状态轮询,通过SSH进入到Hadoop集群,执行对应的spark任务,即数据分析任务或数据提取任务。sprak任务在执行过程中基于hiveonspark这一计算引擎,根据HiveSQL从HDFS中获取数据,并进行计算。将计算结果保存至MongoDB或者COS中,该计算结果支持导出和压缩。将任务的处理结果写入任务记录。向网页端返回任务状态。需要说明的是,可以使用HBase数据库或者其他数据库替代上述hive,HBase相较于hive的查询速度较快,但是会占用较大的空间。
本申请实施例提供的数据处理方法,通过对终端提交的数据分析任务进行解析,得到任务参数信息,再基于该任务参数信息执行该数据分析任务,向终端返回数据分析结果,使得用户不需要具备专业知识即可以实现数据查询,操作方式简单便捷,提高了数据查询效率和人机交互效率。例如方便不熟悉SQL或者不熟悉数据分析的工作人员进行快速的车辆信号查询等。并且,通过在数据分析任务中提供预测功能,使得能够对一些周期信号进行预测,如电池温度,从而有效防范未来温度升高的趋势。
图10是根据本申请实施例提供的一种数据处理装置的框图。该装置用于执行上述数据处理方法中的步骤,参见图10,装置包括:任务解析模块1001、数据获取模块1002、数据处理模块1003以及结果发送模块1004。
任务解析模块1001,用于对终端提交的数据分析任务进行解析,得到任务参数信息,该任务参数信息包括车辆信号、时间范围、车辆标识、时间粒度以及算子,该车辆信号用于指示车辆的运行状态;
数据获取模块1002,用于基于该车辆信号、该时间范围和该车辆标识,从数据库中获取车辆数据;
数据处理模块1003,用于基于该时间粒度和该算子对该车辆数据进行处理,得到数据分析结果;
结果发送模块1004,用于向该终端返回该数据分析结果,由该终端显示该数据分析结果。
在一些实施例中,该数据获取模块1002,用于基于该车辆信号、该时间范围和该车辆标识,生成查询语句;执行该查询语句,从数据库中获取车辆数据。
在一些实施例中,该数据处理模块1003,用于按照该时间粒度对该车辆数据进行划分,得到多个时间粒度数据;基于该算子,对该多个时间粒度数据进行分析,得到该数据分析结果。
在一些实施例中,该数据处理模块1003,用于响应于该算子为预测算子,获取该预测算子对应的预测时间范围;基于该车辆数据、该时间粒度以及该预测时间范围,确定该数据分析结果,该数据分析结果用于指示该车辆数据在该预测时间范围内将达到的值。
在一些实施例中,图11是根据本申请实施例提供的另一种数据处理装置的框图,参见图11所示,该装置还包括:
第一界面发送模块1005,用于响应于接收到该终端发送的分析任务创建请求,返回数据分析任务界面,由该终端显示该数据分析任务界面,该数据分析任务界面显示有车辆信号参数、时间范围参数、车辆标识参数、时间粒度参数以及算子参数。
在一些实施例中,参见图11所示,该装置还包括:
任务写入模块1006,用于将该数据分析任务写入任务记录表;
状态设置模块1007,用于响应于该数据分析任务未完成,将该数据分析任务的任务状态设置为运行中;
结果发送模块1004,用于响应于该数据分析任务已完成,向该终端返回该数据分析结果。
在一些实施例中,参见图11所示,该装置还包括:
第二界面发送模块1008,用于响应于接收到该终端发送的导出任务创建请求,返回数据导出任务界面,由该终端显示该数据导出任务界面,该数据导出任务界面显示有语句输入区域;
任务执行模块1009,用于接收并执行该终端生成的数据导出任务,得到执行该数据导出任务的进度信息;
信息发送模块1010,用于向该终端返回该进度信息,由该终端显示该进度信息。
本申请实施例提供了一种数据处理装置,通过对终端提交的数据分析任务进行解析,得到任务参数信息,再基于该任务参数信息执行该数据分析任务,向终端返回数据分析结果,使得用户不需要具备专业知识即可以实现数据查询,操作方式简单便捷,提高了数据查询效率和人机交互效率。
需要说明的是:上述实施例提供的数据处理装置在进行数据处理时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的数据处理装置与数据处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图12是根据本申请实施例提供的另一种数据处理装置的框图。该装置用于执行上述数据处理方法中的步骤,参见图12,装置包括:界面显示模块1201、任务生成模块1202、任务提交模块1203以及结果显示模块1204。
界面显示模块1201,用于显示数据分析任务界面,该数据分析任务界面显示有车辆信号参数、时间范围参数、车辆标识参数、时间粒度参数以及算子参数;
任务生成模块1202,用于基于在该数据分析任务界面上的参数设置操作,生成数据分析任务,该数据分析任务包括车辆信号、时间范围、车辆标识、时间粒度以及算子;
任务提交模块1203,用于向服务器提交该数据分析任务;
结果显示模块1204,用于显示该服务器执行该数据分析任务后返回的数据分析结果。
在一些实施例中,该数据分析结果包括至少两种结果图;
该结果显示模块1204,还用于响应于结果切换操作,将当前显示的第一结果图切换为该结果切换操作指示的第二结果图。
在一些实施例中,该装置还包括:
界面显示模块1201,还用于显示数据导出任务界面,该数据导出任务界面显示有语句输入区域;
任务生成模块1202,还用于基于在该语句输入区域的输入的数据导出语句,生成数据导出任务;
任务提交模块1203,还用于向该服务器提交该数据导出任务,显示该服务器执行该数据导出任务的进度信息。
在一些实施例中,图13是根据本申请实施例提供的另一种数据处理装置的框图,参见图13所示,该装置还包括:
界面显示模块1201,还用于响应于该进度信息指示该数据导出任务已执行完毕,显示导出控件;
数据导出模块1205,用于响应于对该导出控件的触发操作,导出该数据导出任务对应的车辆数据。
本申请实施例提供了一种数据处理装置,通过在终端显示数据分析任务界面,使得用户能够基于该数据分析任务界面上显示的至少一个任务参数,来创建数据分析任务,并显示数据分析结果,也即用户不需要具备专业知识也可以实现数据查询,操作方式简单便捷,提高了数据查询效率和人机交互效率。
需要说明的是:上述实施例提供的数据处理装置在进行数据处理时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的数据处理装置与数据处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
在本申请实施例中,计算机设备能够被配置为终端或者服务器,当计算机设备被配置为终端时,可以由终端作为执行主体来实施本申请实施例提供的技术方案,当计算机设备被配置为服务器时,可以由服务器作为执行主体来实施本申请实施例提供的技术方案,也可以通过终端和服务器之间的交互来实施本申请提供的技术方案,本申请实施例对此不作限定。
计算机设备被配置为终端时,图14是根据本申请实施例提供的一种终端1400的结构框图。该终端1400可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(MovingPicture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端1400包括有:处理器1401和存储器1402。
处理器1401可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1401可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1401也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1401可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1401还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1402可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1402还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1402中的非暂态的计算机可读存储介质用于存储至少一个计算机程序,该至少一个计算机程序用于被处理器1401所执行以实现本申请中方法实施例提供的数据处理方法。
在一些实施例中,终端1400还可选包括有:外围设备接口1403和至少一个外围设备。处理器1401、存储器1402和外围设备接口1403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1403相连。具体地,外围设备包括:射频电路1404、显示屏1405、摄像头组件1406、音频电路1407、定位组件1408和电源1409中的至少一种。
外围设备接口1403可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1401和存储器1402。在一些实施例中,处理器1401、存储器1402和外围设备接口1403被集成在同一芯片或电路板上;在一些其他实施例中,处理器1401、存储器1402和外围设备接口1403中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1404用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1404将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。在一些实施例中,射频电路1404包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1404还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1405用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1405是触摸显示屏时,显示屏1405还具有采集在显示屏1405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1401进行处理。此时,显示屏1405还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1405可以为一个,设置在终端1400的前面板;在另一些实施例中,显示屏1405可以为至少两个,分别设置在终端1400的不同表面或呈折叠设计;在另一些实施例中,显示屏1405可以是柔性显示屏,设置在终端1400的弯曲表面上或折叠面上。甚至,显示屏1405还可以设置成非矩形的不规则图形,也即异形屏。显示屏1405可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
摄像头组件1406用于采集图像或视频。在一些实施例中,摄像头组件1406包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1406还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1401进行处理,或者输入至射频电路1404以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1401或射频电路1404的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1407还可以包括耳机插孔。
定位组件1408用于定位终端1400的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1408可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源1409用于为终端1400中的各个组件进行供电。电源1409可以是交流电、直流电、一次性电池或可充电电池。当电源1409包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1400还包括有一个或多个传感器1410。该一个或多个传感器1410包括但不限于:加速度传感器1411、陀螺仪传感器1412、压力传感器1413、指纹传感器1414、光学传感器1415以及接近传感器1416。
加速度传感器1411可以检测以终端1400建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1411可以用于检测重力加速度在三个坐标轴上的分量。处理器1401可以根据加速度传感器1411采集的重力加速度信号,控制显示屏1405以横向视图或纵向视图进行用户界面的显示。加速度传感器1411还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1412可以检测终端1400的机体方向及转动角度,陀螺仪传感器1412可以与加速度传感器1411协同采集用户对终端1400的3D动作。处理器1401根据陀螺仪传感器1412采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1413可以设置在终端1400的侧边框和/或显示屏1405的下层。当压力传感器1413设置在终端1400的侧边框时,可以检测用户对终端1400的握持信号,由处理器1401根据压力传感器1413采集的握持信号进行左右手识别或快捷操作。当压力传感器1413设置在显示屏1405的下层时,由处理器1401根据用户对显示屏1405的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1414用于采集用户的指纹,由处理器1401根据指纹传感器1414采集到的指纹识别用户的身份,或者,由指纹传感器1414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1401授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1414可以被设置在终端1400的正面、背面或侧面。当终端1400上设置有物理按键或厂商Logo时,指纹传感器1414可以与物理按键或厂商Logo集成在一起。
光学传感器1415用于采集环境光强度。在一个实施例中,处理器1401可以根据光学传感器1415采集的环境光强度,控制显示屏1405的显示亮度。具体地,当环境光强度较高时,调高显示屏1405的显示亮度;当环境光强度较低时,调低显示屏1405的显示亮度。在另一个实施例中,处理器1401还可以根据光学传感器1415采集的环境光强度,动态调整摄像头组件1406的拍摄参数。
接近传感器1416,也称距离传感器,通常设置在终端1400的前面板。接近传感器1416用于采集用户与终端1400的正面之间的距离。在一个实施例中,当接近传感器1416检测到用户与终端1400的正面之间的距离逐渐变小时,由处理器1401控制显示屏1405从亮屏状态切换为息屏状态;当接近传感器1416检测到用户与终端1400的正面之间的距离逐渐变大时,由处理器1401控制显示屏1405从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图14中示出的结构并不构成对终端1400的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
计算机设备被配置为服务器时,图15是根据本申请实施例提供的一种服务器的结构示意图,该服务器1500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central Processing Units,CPU)1501和一个或一个以上的存储器1502,其中,该存储器1502中存储有至少一条计算机程序,该至少一条计算机程序由该处理器1501加载并执行以实现上述各个方法实施例提供的数据处理方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一段计算机程序,该至少一段计算机程序由计算机设备的处理器加载并执行以实现上述实施例的数据处理方法中计算机设备所执行的操作。例如,所述计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序代码,该计算机程序代码存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序代码,处理器执行该计算机程序代码,使得该计算机设备执行上述各种可选实现方式中提供的数据处理方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (16)

1.一种数据处理方法,其特征在于,应用于服务器,所述方法包括:
对终端提交的数据分析任务进行解析,得到任务参数信息,所述任务参数信息包括车辆信号、时间范围、车辆标识、时间粒度以及算子,所述车辆信号用于指示车辆的运行状态;
基于所述车辆信号、所述时间范围和所述车辆标识,从数据库中获取车辆数据;
基于所述时间粒度和所述算子对所述车辆数据进行处理,得到数据分析结果;
向所述终端返回所述数据分析结果,由所述终端显示所述数据分析结果。
2.根据权利要求1所述的方法,其特征在于,所述基于所述车辆信号、所述时间范围和所述车辆标识,从数据库中获取车辆数据,包括:
基于所述车辆信号、所述时间范围和所述车辆标识,生成查询语句;
执行所述查询语句,从数据库中获取车辆数据。
3.根据权利要求1所述的方法,其特征在于,所述基于所述时间粒度和所述算子对所述车辆数据进行处理,得到数据分析结果,包括:
按照所述时间粒度对所述车辆数据进行划分,得到多个时间粒度数据;
基于所述算子,对所述多个时间粒度数据进行分析,得到所述数据分析结果。
4.根据权利要求1所述的方法,其特征在于,所述基于所述时间粒度和所述算子对所述车辆数据进行处理,得到数据分析结果,包括:
响应于所述算子为预测算子,获取所述预测算子对应的预测时间范围;
基于所述车辆数据、所述时间粒度以及所述预测时间范围,确定所述数据分析结果,所述数据分析结果用于指示所述车辆数据在所述预测时间范围内将达到的值。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
响应于接收到所述终端发送的分析任务创建请求,返回数据分析任务界面,由所述终端显示所述数据分析任务界面,所述数据分析任务界面显示有车辆信号参数、时间范围参数、车辆标识参数、时间粒度参数以及算子参数。
6.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
将所述数据分析任务写入任务记录表;
响应于所述数据分析任务未完成,将所述数据分析任务的任务状态设置为运行中;
响应于所述数据分析任务已完成,执行向所述终端返回所述数据分析结果的步骤。
7.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
响应于接收到所述终端发送的导出任务创建请求,返回数据导出任务界面,由所述终端显示所述数据导出任务界面,所述数据导出任务界面显示有语句输入区域;
接收并执行所述终端生成的数据导出任务,得到执行所述数据导出任务的进度信息;
向所述终端返回所述进度信息,由所述终端显示所述进度信息。
8.一种车辆数据处理方法,其特征在于,应用于终端,所述方法包括:
显示数据分析任务界面,所述数据分析任务界面显示有车辆信号参数、时间范围参数、车辆标识参数、时间粒度参数以及算子参数;
基于在所述数据分析任务界面上的参数设置操作,生成数据分析任务,所述数据分析任务包括车辆信号、时间范围、车辆标识、时间粒度以及算子,所述车辆信号用于指示车辆的运行状态;
向服务器提交所述数据分析任务,显示所述服务器执行所述数据分析任务后返回的数据分析结果。
9.根据权利要求8所述的方法,其特征在于,所述数据分析结果包括至少两种结果图;
所述方法还包括:
响应于结果切换操作,将当前显示的第一结果图切换为所述结果切换操作指示的第二结果图。
10.根据权利要求8所述的方法,其特征在于,所述方法还包括:
显示数据导出任务界面,所述数据导出任务界面显示有语句输入区域;
基于在所述语句输入区域的输入的数据导出语句,生成数据导出任务;
向所述服务器提交所述数据导出任务,显示所述服务器执行所述数据导出任务的进度信息。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
响应于所述进度信息指示所述数据导出任务已执行完毕,显示导出控件;
响应于对所述导出控件的触发操作,导出所述数据导出任务对应的车辆数据。
12.一种数据处理装置,其特征在于,配置于服务器,所述装置包括:
任务解析模块,用于对终端提交的数据分析任务进行解析,得到任务参数信息,所述任务参数信息包括车辆信号、时间范围、车辆标识、时间粒度以及算子,所述车辆信号用于指示车辆的运行状态;
数据获取模块,用于基于所述车辆信号、所述时间范围和所述车辆标识,从数据库中获取车辆数据;
数据处理模块,用于基于所述时间粒度和所述算子对所述车辆数据进行处理,得到数据分析结果;
结果发送模块,用于向所述终端返回所述数据分析结果,由所述终端显示所述数据分析结果。
13.一种数据处理装置,其特征在于,配置于终端,所述方法包括:
界面显示模块,用于显示数据分析任务界面,所述数据分析任务界面显示有车辆信号参数、时间范围参数、车辆标识参数、时间粒度参数以及算子参数;
任务生成模块,用于基于在所述数据分析任务界面上的参数设置操作,生成数据分析任务,所述数据分析任务包括车辆信号、时间范围、车辆标识、时间粒度以及算子,所述车辆信号用于指示车辆的运行状态;
任务提交模块,用于向服务器提交所述数据分析任务;
结果显示模块,用于显示所述服务器执行所述数据分析任务后返回的数据分析结果。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器用于存储至少一段计算机程序,所述至少一段计算机程序由所述处理器加载并执行权利要求1至7任一项权利要求所述的数据处理方法,或者执行权利要求8至11任一项权利要求所述的数据处理方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储至少一段计算机程序,所述至少一段计算机程序用于执行权利要求1至7任一项权利要求所述的数据处理方法,或者执行权利要求8至11任一项权利要求所述的数据处理方法。
16.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序代码,所述计算机程序代码存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取所述计算机程序代码,处理器执行所述计算机程序代码,使得所述计算机设备执行权利要求1至7任一项权利要求所述的数据处理方法,或者执行权利要求8至11任一项权利要求所述的数据处理方法。
CN202111084149.9A 2021-09-14 2021-09-14 数据处理方法、装置、计算机设备及存储介质 Active CN113742366B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111084149.9A CN113742366B (zh) 2021-09-14 2021-09-14 数据处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111084149.9A CN113742366B (zh) 2021-09-14 2021-09-14 数据处理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113742366A true CN113742366A (zh) 2021-12-03
CN113742366B CN113742366B (zh) 2023-07-21

Family

ID=78739376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111084149.9A Active CN113742366B (zh) 2021-09-14 2021-09-14 数据处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113742366B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114217931A (zh) * 2021-12-21 2022-03-22 广州瑞修得信息科技有限公司 一种关于用户终端的应用程序管理方法及智能诊修系统
CN114546279A (zh) * 2022-02-24 2022-05-27 重庆紫光华山智安科技有限公司 Io请求预测方法、装置、存储节点及可读存储介质
CN115494989A (zh) * 2022-11-17 2022-12-20 帆软软件有限公司帆软南京分公司 分析节点生成方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008690A (zh) * 2019-04-04 2019-07-12 百度在线网络技术(北京)有限公司 终端应用的权限管理方法、装置、设备和介质
WO2019178979A1 (zh) * 2018-03-21 2019-09-26 平安科技(深圳)有限公司 报表数据查询方法、装置、存储介质和服务器
CN111552470A (zh) * 2019-12-31 2020-08-18 远景智能国际私人投资有限公司 物联网中的数据分析任务创建方法、装置及存储介质
CN112416964A (zh) * 2020-11-17 2021-02-26 深圳依时货拉拉科技有限公司 一种数据处理的方法、装置、系统、计算机设备及计算机可读存储介质
CN112749194A (zh) * 2020-06-03 2021-05-04 腾讯科技(深圳)有限公司 可视化的数据处理方法、装置、电子设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019178979A1 (zh) * 2018-03-21 2019-09-26 平安科技(深圳)有限公司 报表数据查询方法、装置、存储介质和服务器
CN110008690A (zh) * 2019-04-04 2019-07-12 百度在线网络技术(北京)有限公司 终端应用的权限管理方法、装置、设备和介质
CN111552470A (zh) * 2019-12-31 2020-08-18 远景智能国际私人投资有限公司 物联网中的数据分析任务创建方法、装置及存储介质
CN112749194A (zh) * 2020-06-03 2021-05-04 腾讯科技(深圳)有限公司 可视化的数据处理方法、装置、电子设备及可读存储介质
CN112416964A (zh) * 2020-11-17 2021-02-26 深圳依时货拉拉科技有限公司 一种数据处理的方法、装置、系统、计算机设备及计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114217931A (zh) * 2021-12-21 2022-03-22 广州瑞修得信息科技有限公司 一种关于用户终端的应用程序管理方法及智能诊修系统
CN114546279A (zh) * 2022-02-24 2022-05-27 重庆紫光华山智安科技有限公司 Io请求预测方法、装置、存储节点及可读存储介质
CN114546279B (zh) * 2022-02-24 2023-11-14 重庆紫光华山智安科技有限公司 Io请求预测方法、装置、存储节点及可读存储介质
CN115494989A (zh) * 2022-11-17 2022-12-20 帆软软件有限公司帆软南京分公司 分析节点生成方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN113742366B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN113742366B (zh) 数据处理方法、装置、计算机设备及存储介质
CN111338910B (zh) 日志数据处理、显示方法、装置、设备及存储介质
CN111090687B (zh) 数据处理方法及装置、系统、计算机可读存储介质
CN111694834A (zh) 图数据的入库方法、装置、设备及可读存储介质
CN108132790B (zh) 检测无用代码的方法、装置及计算机存储介质
CN111949680A (zh) 数据处理方法、装置、计算机设备及存储介质
CN111897525A (zh) 大数据处理方法及系统
CN112162843A (zh) 工作流执行方法、装置、设备及存储介质
CN114244595A (zh) 权限信息的获取方法、装置、计算机设备及存储介质
CN110995842A (zh) 业务数据下载方法、装置、设备及存储介质
CN113138771A (zh) 数据处理方法、装置、设备及存储介质
CN111338933A (zh) 埋点验证方法、装置、设备及存储介质
CN111061803A (zh) 任务处理方法、装置、设备及存储介质
WO2021008287A1 (zh) 字符推荐方法、装置、计算机设备及存储介质
CN114168369A (zh) 日志显示方法、装置、设备及存储介质
CN112036492A (zh) 样本集处理方法、装置、设备及存储介质
CN113204302B (zh) 基于虚拟机器人的操作方法、装置、设备及存储介质
CN112612540B (zh) 数据模型配置方法、装置、电子设备及存储介质
CN111522798B (zh) 数据同步方法、装置、设备及可读存储介质
CN113900920A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN111125095B (zh) 数据前缀添加的方法、装置、电子设备及介质
CN116244299A (zh) 业务数据路径的确定方法、装置、电子设备及介质
CN112905328A (zh) 任务处理方法、装置及计算机可读存储介质
CN114385723A (zh) 数据读取方法、装置、电子设备及存储介质
CN113392120A (zh) 获取SQLite的执行信息的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant