CN112765259A - 一种地铁线网中心的数据处理方法及装置 - Google Patents

一种地铁线网中心的数据处理方法及装置 Download PDF

Info

Publication number
CN112765259A
CN112765259A CN202110074462.8A CN202110074462A CN112765259A CN 112765259 A CN112765259 A CN 112765259A CN 202110074462 A CN202110074462 A CN 202110074462A CN 112765259 A CN112765259 A CN 112765259A
Authority
CN
China
Prior art keywords
data
processing
processing step
preset
combination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110074462.8A
Other languages
English (en)
Inventor
郭健
李金广
张念胜
朱元林
刘见
乔羽
宋沛
王建丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense TransTech Co Ltd
Original Assignee
Hisense TransTech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense TransTech Co Ltd filed Critical Hisense TransTech Co Ltd
Priority to CN202110074462.8A priority Critical patent/CN112765259A/zh
Publication of CN112765259A publication Critical patent/CN112765259A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/174—Form filling; Merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
    • G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种地铁线网中心的数据处理方法及装置，其中方法为：获取待处理数据和数据处理工具的操作命令组合；所述操作命令组合中各操作命令的任一操作命令均存在映射的预设处理步骤；根据所述各操作命令映射的预设处理步骤，确定处理步骤组合；所述处理步骤组合包括至少一个预设处理步骤；通过所述数据处理工具，根据所述处理步骤组合中的各预设处理步骤，处理所述待处理数据。

Description

一种地铁线网中心的数据处理方法及装置
技术领域
本发明涉及轨道交通的数据分析技术领域，尤其涉及一种地铁线网中心的数据处理方法及装置。
背景技术
在一些应用场景下，需要处理大量、复杂的数据。如地铁线网中心要基于多条线路多个业务系统的数据进行分析，数据来源多、数据量大、结构差异大，且处理数据的需求复杂而多变。因此，需要相应的数据处理工具来完成相应的数据处理目标。
目前的方式中，使用者会先分析具体的业务需求，而后在数据处理工具的后台编写程序，从而使得数据处理工具实现相应业务需求的功能。然而这种方式下，要求使用者有较高的技术门槛，需具备编程能力，而且业务需求多种多样，这也需要使用者每次有新需求时都要临时编写程序。因此，目前的数据处理工具不够灵活，使用不方便。
发明内容
本发明提供一种地铁线网中心的数据处理方法及装置，解决了现有技术中目前的数据处理工具不够灵活的问题。
第一方面，本发明提供一种地铁线网中心的数据处理方法，包括：
获取待处理数据和数据处理工具的操作命令组合；所述操作命令组合中各操作命令的任一操作命令均存在映射的预设处理步骤；
根据所述各操作命令映射的预设处理步骤，确定处理步骤组合；所述处理步骤组合包括至少一个预设处理步骤；
通过所述数据处理工具，根据所述处理步骤组合中的各预设处理步骤，处理所述待处理数据。
上述方式下，无需提前确定业务需求，可以通过数据处理工具的操作命令组合表征具体的业务需求，在临时获取待处理数据和数据处理工具的操作命令组合后，可以根据所述操作命令组合中各操作命令映射的预设处理步骤，确定处理步骤组合，从而直接通过所述数据处理工具，执行所述处理步骤组合中的各预设处理步骤，实现所述操作命令组合表征的具体业务需求相应的数据处理。
可选的，所述根据所述处理步骤组合中的各预设处理步骤，处理所述待处理数据，包括：
根据所述处理步骤组合中的各预设处理步骤，确定所述各预设处理步骤中的各实际处理步骤和步骤执行顺序；所述各实际处理步骤为所述各预设处理步骤中实际待执行的处理步骤；
按照所述步骤执行顺序，执行所述各实际处理步骤。
上述方法中，合适的所述步骤执行顺序，可以使得各所述处理步骤组合在实际执行时与实际需求更相适应。
可选的，所述通过所述数据处理工具，根据所述处理步骤组合中的各预设处理步骤，处理所述待处理数据，包括：
将所述处理步骤组合解析为预设编程应用的数据结构对象；
通过所述预设编程应用，通过处理所述数据结构对象，处理所述待处理数据。
上述方法中，通过所述数据结构对象，可以使得所述处理步骤组合更加标准化，因此处理所述待处理数据，可以通过预设编程应用统一处理，通过统一工具处理，使得处理步骤的错误率更低。
可选的，所述待处理数据包括第一数据服务的第一数据表和第二数据服务的第二数据表；所述第一数据表的表结构为第一表结构；所述第二数据表的表结构为第二表结构；所述处理步骤组合包括左右合并处理步骤；所述左右合并处理步骤具体为：
按照预设关联规则，将所述第一数据表和所述第二数据表合并为横向数据表；所述横向数据表的表结构是根据所述预设关联规则确定的。
上述方式下，通过左右合并处理步骤，将所述第一数据表和所述第二数据表合并为横向数据表，从而进一步地增加数据处理的灵活性。
可选的，所述待处理数据包括第三数据服务的第三数据表和第四数据服务的第四数据表；所述第三数据表的表结构和所述第四数据表的表结构相同；所述处理步骤组合包括上下合并处理步骤；所述上下合并处理步骤具体为：
将所述第三数据表和所述第四数据表合并为纵向数据表；所述纵向数据表的表结构与所述第三数据表以及所述第四数据表的表结构均相同。
上述方式下，通过上下合并处理步骤，将所述第三数据表以及所述第四数据表合并为纵向数据表，从而进一步地增加数据处理的灵活性。
可选的，所述待处理数据包括分组汇聚处理步骤；所述分组汇聚处理步骤具体如下：
针对所述待处理数据中任一数据服务的数据，根据分组字段，对所述数据服务的数据进行分组，获得各分组数据；
针对所述各分组数据中任一分组数据，确定所述分组数据的数据统计指标。
上述方式下，通过将数据服务的数据分组，通过确定所述分组数据的数据统计指标，可以进一步展示分组数据的信息。
可选的，针对所述各预设处理步骤任一预设处理步骤，若执行了所述预设处理步骤，则输出所述待处理数据的可视化数据预览界面，从而预览所述预设处理步骤执行后的数据处理状态。
上述方法中，通过输出所述待处理数据的可视化数据预览界面，从而预览所述预设处理步骤执行后的数据处理状态，所以每一步都能预览，及时反应出所述待处理数据的状态。
第二方面，本发明提供一种地铁线网中心的数据处理装置，包括：获取模块，用于获取待处理数据和数据处理工具的操作命令组合；所述操作命令组合中各操作命令的任一操作命令均存在映射的预设处理步骤；
处理模块，用于根据所述各操作命令映射的预设处理步骤，确定处理步骤组合；所述处理步骤组合包括至少一个预设处理步骤；通过所述数据处理工具，根据所述处理步骤组合中的各预设处理步骤，处理所述待处理数据。
可选的，所述处理模块具体用于：
根据所述处理步骤组合中的各预设处理步骤，确定所述各预设处理步骤中的各实际处理步骤和步骤执行顺序；所述各实际处理步骤为所述各预设处理步骤中实际待执行的处理步骤；
按照所述步骤执行顺序，执行所述各实际处理步骤。
可选的，所述处理模块具体用于：
将所述处理步骤组合解析为预设编程应用的数据结构对象；
通过所述预设编程应用，通过处理所述数据结构对象，处理所述待处理数据。
可选的，所述待处理数据包括第一数据服务的第一数据表和第二数据服务的第二数据表；所述第一数据表的表结构为第一表结构；所述第二数据表的表结构为第二表结构；所述处理步骤组合包括左右合并处理步骤；所述左右合并处理步骤具体为：
按照预设关联规则，将所述第一数据表和所述第二数据表合并为横向数据表；所述横向数据表的表结构是根据所述预设关联规则确定的。
可选的，所述待处理数据包括第三数据服务的第三数据表和第四数据服务的第四数据表；所述第三数据表的表结构和所述第四数据表的表结构相同；所述处理步骤组合包括上下合并处理步骤；所述上下合并处理步骤具体为：
将所述第三数据表和所述第四数据表合并为纵向数据表；所述纵向数据表的表结构与所述第三数据表以及所述第四数据表的表结构均相同。
可选的，所述待处理数据包括分组汇聚处理步骤；所述分组汇聚处理步骤具体如下：
针对所述待处理数据中任一数据服务的数据，根据分组字段，对所述数据服务的数据进行分组，获得各分组数据；
针对所述各分组数据中任一分组数据，确定所述分组数据的数据统计指标。
可选的，所述处理模块还用于：
针对所述各预设处理步骤任一预设处理步骤，若执行了所述预设处理步骤，则输出所述待处理数据的可视化数据预览界面，从而预览所述预设处理步骤执行后的数据处理状态。
上述第二方面及第二方面各个可选装置的有益效果，可以参考上述第一方面及第一方面各个可选方法的有益效果，这里不再赘述。
第三方面，本发明提供一种计算机设备，包括程序或指令，当所述程序或指令被执行时，用以执行上述第一方面及第一方面各个可选的方法。
第四方面，本发明提供一种存储介质，包括程序或指令，当所述程序或指令被执行时，用以执行上述第一方面及第一方面各个可选的方法。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种地铁线网中心的数据处理方法对应的流程示意图；
图2为本发明实施例提供的一种地铁线网中心的数据处理方法中可视化数据预览的示意图；
图3为本发明实施例提供的一种地铁线网中心的数据处理方法中上下合并处理步骤和上下合并处理步骤对应的流程示意图；
图4为本发明实施例提供的一种地铁线网中心的数据处理方法中按照数据结构对象执行的流程示意图；
图5为本发明实施例提供的一种地铁线网中心的数据处理方法中流式计算的示意图；
图6为本发明实施例提供的一种地铁线网中心的数据处理装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，本申请实施例提供一种地铁线网中心的数据处理方法。
步骤101：获取待处理数据和数据处理工具的操作命令组合。
所述操作命令组合中各操作命令的任一操作命令均存在映射的预设处理步骤。
步骤102：根据所述各操作命令映射的预设处理步骤，确定处理步骤组合。
所述处理步骤组合包括至少一个预设处理步骤。
步骤103：通过所述数据处理工具，根据所述处理步骤组合中的各预设处理步骤，处理所述待处理数据。
步骤101～步骤102的方法中，举例来说，数据处理工具可以为预设的数据处理逻辑代码的组合，如B/S架构的数据处理逻辑代码的组合，操作命令可以在前端页面收集，如操作过程可以为拖拽，点击等，操作完成之后会形成处理步骤组合。操作命令和预设处理步骤间的映射关系也可以提前设置，各预设处理步骤是可以任意组合的，每个预设处理步骤都有预设的处理逻辑与之相对应。
一种可选实施方式中，针对所述各预设处理步骤任一预设处理步骤，若执行了所述预设处理步骤，则输出所述待处理数据的可视化数据预览界面，从而预览所述预设处理步骤执行后的数据处理状态。
如图2所示，本发明实施例可以通过可视化的方式，可对复杂的数据分析逻辑分步骤拆解，方便用户快速构建数据分析过程，并及时预览分析结果。
进一步地，举例来说，如图2所示，预设处理步骤可以如下：
(1)选字段。在进入前端界面后，可以先执行选字段步骤，即定义数据源每条数据记录的结构。具体来说，可以选择预设业务的一个数据服务作为业务主表，然后显示该数据服务下的相关业务字段进行数据预览。在下拉框中根据分类选择需要的数据服务，选择后将该数据服务的字段展示到字段列表中。
需要说明的是，数据服务可以为预设的一套数据处理的逻辑，用于实现具体数据分析的目的，可由一个或多个数据处理步骤实现。数据服务可以包括多种要素如数据表、后台的数据运行等。
(2)过滤。过滤是对数据服务中所选的某个或者某些字段的值作为过滤条件进行的数据筛选操作。如图2所示，点击步骤导航栏中的“+”按钮，或者在两个预设处理步骤之间，点击连线上“+”按钮，可添加其它的预设处理步骤，鼠标悬浮在预设处理步骤的按钮上时显示“删除”图标可以删除该预设处理步骤。
(3)新增列。新增列是对数据服务中现有的字段进行拼接或者再计算得到一个新的数据列。
支持常见的函数如表1所示：
类型 函数
数值函数 ABS、CEIL、FLOOR、ROUND及+-*/
文本函数 CONCAT、SUBSTRING、LENGTH
时间函数 YEAR、YM、YMD
表1
(4)分组汇总。分组汇总是对数据服务中的字段按照预设字段分组。还可以对每个分组数据的字段进行求和、求平均、统计个数等求相应数据统计指标的操作。
一种可选实施方式中，所述待处理数据包括分组汇聚处理步骤；所述分组汇聚处理步骤具体如下：
针对所述待处理数据中任一数据服务的数据，根据分组字段，对所述数据服务的数据进行分组，获得各分组数据；
针对所述各分组数据中任一分组数据，确定所述分组数据的数据统计指标。
可选的分组数据方式如下：
Figure BDA0002907076550000081
表2
可选的数据统计指标如下：
Figure BDA0002907076550000082
表3
(5)左右合并。左右合并是将两个有关联关系的数据服务合并在一起，生成一个新的数据服务。它的主要意义在于：可以关联两个不同数据源的数据服务，实现不同数据库中的两个数据表的关联。
一种可选实施方式中，所述待处理数据包括第一数据服务的第一数据表和第二数据服务的第二数据表；所述第一数据表的表结构为第一表结构；所述第二数据表的表结构为第二表结构；所述处理步骤组合包括左右合并处理步骤；所述左右合并处理步骤具体为：
按照预设关联规则，将所述第一数据表和所述第二数据表合并为横向数据表；所述横向数据表的表结构是根据所述预设关联规则确定的。
举例来说，预设关联规则中，第一数据表的第一数据列和第二数据表的第二数据列相关联，第一数据表的数据记录的第一数据列和第二数据表的数据记录第二数据列满足预设关联规则时，两条数据记录关联成功，并合并为横向数据表中的数据记录，横向数据表中的数据记录也可以在预设关联规则定义合并后的结构，如保留第一数据列和第二数据列，只保留第一数据列和\或第二数据列，还可以根据第一数据列和第二数据列，得到横向数据表中的一个或多个数据列，可以根据业务场景做具体设计。
(6)上下合并。上下合并是将两个拥有类似数据列的数据服务合并成一个结果集。左右合并的方向是横向扩展，上下合并是纵向扩展；左右合并是增加列数，上下合并是增加记录条数。该功能的主要意义在于：整合同一表结构的不同分区表的数据。
一种可选实施方式中，所述待处理数据包括第三数据服务的第三数据表和第四数据服务的第四数据表；所述第三数据表的表结构和所述第四数据表的表结构相同；所述处理步骤组合包括上下合并处理步骤；所述上下合并处理步骤具体为：
将所述第三数据表和所述第四数据表合并为纵向数据表；所述纵向数据表的表结构与所述第三数据表以及所述第四数据表的表结构均相同。
由于第三数据表的表结构和所述第四数据表的表结构相同，所以直接合并即可得到纵向数据表。
如图3所示，需要说明的是，可以设置在当前步骤有可预览的数据(主表)之后，再添加“左右合并”或“上下合并”步骤选择另一个数据源接口的数据作为“从表”输入。主表数据、从表数据通过“合并”算法进行关联处理，然后可预览合并后的数据。如果有多个数据源要合并则通过多个“左右合并”或“上下合并”的步骤进行添加。同时也可以根据预览结果为导向，添加其它类型的步骤进行动态调整。
(7)排序。排序是对数据服务中数据按照的某个或者某些字段进行升序或者降序的排列。排序通可以作为较后执行的处理步骤，或者即使中间步骤也有排序，最终呈现的结果是最后一个排序起作用。
(8)字段设置。字段设置是对数据服务中的字段设置显示隐藏、重命名，可以作为最后执行的预设处理步骤，设置数据服务中最终要展示的字段和名称。
需要说明的是，上述步骤中，本提案支持可视化分步骤向导式的数据分析、数据预览，包括选字段、过滤、新增列、分组汇总、左右合并、上下合并、排序、字段设置8个步骤。后台的内置步骤解析引擎和数据处理引擎，对用户设置的步骤进行解析并处理，返回正确的数据处理结果。
由此可见，本发明实施例支持任意预设处理步骤的任意组合，用户无需关心预设处理步骤的使用顺序，通过随意的组合即可得到想要的数据结果，降低了用户使用难度，灵活性强。
综合(1)～(8)的场景，一种具体的使用流程如图3所示，本发明实施例支持跨数据源的数据分析，针对不同来源、不同格式、不同语义、不同特点的数据源临时进行逻辑或物理上的有机集成，解决了跨数据源的数据无法联合处理分析的难题。
当上述方案应用于地铁线网中心跨数据源的场景时，可预先配置多数据源，通过可视化的操作方式，分步骤对数据进行处理，包括过滤、汇总、计算列、排序、多表关联合并等，实现复杂的业务逻辑，同时可以对每个预设处理步骤的数据进行预览，方便进行错误排查、逻辑修正等，保存即可生效。具有即时生效、操作简单、复杂业务分步骤拆解等优点，可以帮助用户快速构建数据服务，满足地铁线网中心复杂多变的业务需求。
一种可选实施方式中，步骤103具体可以如下：
根据所述处理步骤组合中的各预设处理步骤，确定所述各预设处理步骤中的各实际处理步骤和步骤执行顺序；按照所述步骤执行顺序，执行所述各实际处理步骤。
所述各实际处理步骤为所述各预设处理步骤中实际待执行的处理步骤。
需要说明的是，所述各实际处理步骤既可以为所述各预设处理步骤，也可以在所述各预设处理步骤基础上变化。而所述步骤执行顺序可以综合考虑各实际处理步骤，并不简单地按照所述各预设处理步骤的顺序依次执行。比如，当有多个排序步骤时，要优化成只处理最后一个步骤的排序即可。当有过滤步骤时，要优化成在数据接口获取数据时就是过滤后的数据。
数据服务可以由上述步骤(1)～(8)中的一个或几个任意组合形成所述各预设处理步骤。数据依次在步骤(1)～(8)之间流转，经过各自的算法(选字段、过滤、分组、排序等)处理后，该步的输出作为下步的输入，直到最后一步。各步骤可预览中间结果，可动态调整步骤。
一种可选实施方式中，步骤103具体可以如下：
将所述处理步骤组合解析为预设编程应用的数据结构对象；
通过所述预设编程应用，通过处理所述数据结构对象，处理所述待处理数据。
如图4所示，举例来说，用户构建完成的数据服务步骤会自动被序列化为Json格式交由后台处理，数据处理工具可以包括步骤解析引擎、数据处理引擎两大部分，其作用如下：
步骤解析引擎负责将所述处理步骤组合进行解析，处理为Java中的Step对象，包含用户操作步骤的顺序、当前所在步骤、操作详情等信息。再由数据处理引擎对Step对象进行逐步处理，数据处理引擎内置了针对选字段、过滤、新增列、分组汇总、左右合并、上下合并、排序、字段设置等预设处理步骤。数据在数据处理引擎内部的各预设处理步骤之间进行流转，每一个预设处理步骤的数据输入为其前一预设处理步骤的数据处理结果，用户可查看任一中间预设处理步骤的数据处理结果。
需要说明的是，步骤103的执行过程中，可以通过流式内存执行。查看任一预设处理步骤的数据时，可先将数据全部查询取至内存，再在内存中采用流式计算进行数据分预设处理步骤处理。流式计算说明如下：
如图5所示，将要处理的元素集合(所述处理步骤组合)看作一种数据流，数据流在管道中传输，并且可以在管道的节点上进行处理，比如过滤(filter)、排序(map)、聚合(skip)等。数据流在管道中经过中间操作的处理，最后由终端操作得到前面处理的结果，效果如下：
流式计算自身可以优化处理遍历过程中的过滤、截取、排序等，可以将多步的遍历合成一个遍历来做。同时也提供了流式的并行处理接口充分利用硬件资源提高处理效率。本发明实施例支持流式内存计算，通过在内存中采用流式计算进行数据分步骤处理，以提升数据的处理效率。本发明实施例采用流式计算在内存中进行数据分步骤处理，有效提升了查询效率，减少了用户数据预览的等待时间。
上述方案中，实现了支持可视化操作的跨数据源的数据处理工具。针对常用的数据分析构建的逻辑需求，将复杂需求分解为多个预设处理步骤，包括选字段、过滤、分组汇总、新增列、左右合并、上下合并、字段设置、排序等，后台对逐个预设处理步骤进行了对应的实现，采用可视化操作的方式，对多个预设处理步骤进行任意组合，快速构建数据服务，将多个预设处理步骤进行序列化，后台通过步骤解析引擎对预设处理步骤进行识别，再通过数据处理引擎对依照操作步骤进行数据处理，从而快速返回正确数据处理结果，以满足复杂多变的业务需求。
上述方案应用于地铁线网中心时，支持复杂业务分步骤拆解，分步骤预览数据。另外，上述方案支持跨数据源的数据联合分析，可进行交互良好的可视化操作，还可以采用高效率的流式内存计算，具有一键保存，即时生效等核心优势。
如图6所示，本发明提供一种地铁线网中心的数据处理装置，包括：获取模块601，用于获取待处理数据和数据处理工具的操作命令组合；所述操作命令组合中各操作命令的任一操作命令均存在映射的预设处理步骤；
处理模块602，用于根据所述各操作命令映射的预设处理步骤，确定处理步骤组合；所述处理步骤组合包括至少一个预设处理步骤；通过所述数据处理工具，根据所述处理步骤组合中的各预设处理步骤，处理所述待处理数据。
可选的，所述处理模块602具体用于：
根据所述处理步骤组合中的各预设处理步骤，确定所述各预设处理步骤中的各实际处理步骤和步骤执行顺序；所述各实际处理步骤为所述各预设处理步骤中实际待执行的处理步骤；
按照所述步骤执行顺序，执行所述各实际处理步骤。
可选的，所述处理模块602具体用于：
将所述处理步骤组合解析为预设编程应用的数据结构对象；
通过所述预设编程应用，通过处理所述数据结构对象，处理所述待处理数据。
可选的，所述待处理数据包括第一数据服务的第一数据表和第二数据服务的第二数据表；所述第一数据表的表结构为第一表结构；所述第二数据表的表结构为第二表结构；所述处理步骤组合包括左右合并处理步骤；所述左右合并处理步骤具体为：
按照预设关联规则，将所述第一数据表和所述第二数据表合并为横向数据表；所述横向数据表的表结构是根据所述预设关联规则确定的。
可选的，所述待处理数据包括第三数据服务的第三数据表和第四数据服务的第四数据表；所述第三数据表的表结构和所述第四数据表的表结构相同；所述处理步骤组合包括上下合并处理步骤；所述上下合并处理步骤具体为：
将所述第三数据表和所述第四数据表合并为纵向数据表；所述纵向数据表的表结构与所述第三数据表以及所述第四数据表的表结构均相同。
可选的，所述待处理数据包括分组汇聚处理步骤；所述分组汇聚处理步骤具体如下：
针对所述待处理数据中任一数据服务的数据，根据分组字段，对所述数据服务的数据进行分组，获得各分组数据；
针对所述各分组数据中任一分组数据，确定所述分组数据的数据统计指标。
可选的，所述处理模块602还用于：
针对所述各预设处理步骤任一预设处理步骤，若执行了所述预设处理步骤，则输出所述待处理数据的可视化数据预览界面，从而预览所述预设处理步骤执行后的数据处理状态。
基于同一发明构思，本发明实施例还提供了一种计算机设备，包括程序或指令，当所述程序或指令被执行时，如本发明实施例提供的数据处理方法及任一可选方法被执行。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，包括程序或指令，当所述程序或指令被执行时，如本发明实施例提供的数据处理方法及任一可选方法被执行。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种地铁线网中心的数据处理方法，其特征在于，包括：
获取待处理数据和数据处理工具的操作命令组合；所述操作命令组合中各操作命令的任一操作命令均存在映射的预设处理步骤；
根据所述各操作命令映射的预设处理步骤，确定处理步骤组合；所述处理步骤组合包括至少一个预设处理步骤；
通过所述数据处理工具，根据所述处理步骤组合中的各预设处理步骤，处理所述待处理数据。
2.如权利要求1所述的方法，其特征在于，所述根据所述处理步骤组合中的各预设处理步骤，处理所述待处理数据，包括：
根据所述处理步骤组合中的各预设处理步骤，确定所述各预设处理步骤中的各实际处理步骤和步骤执行顺序；所述各实际处理步骤为所述各预设处理步骤中实际待执行的处理步骤；
按照所述步骤执行顺序，执行所述各实际处理步骤。
3.如权利要求1所述的方法，其特征在于，所述通过所述数据处理工具，根据所述处理步骤组合中的各预设处理步骤，处理所述待处理数据，包括：
将所述处理步骤组合解析为预设编程应用的数据结构对象；
通过所述预设编程应用，通过处理所述数据结构对象，处理所述待处理数据。
4.如权利要求1至3任一项所述的方法，其特征在于，所述待处理数据包括第一数据服务的第一数据表和第二数据服务的第二数据表；所述第一数据表的表结构为第一表结构；所述第二数据表的表结构为第二表结构；所述处理步骤组合包括左右合并处理步骤；所述左右合并处理步骤具体为：
按照预设关联规则，将所述第一数据表和所述第二数据表合并为横向数据表；所述横向数据表的表结构是根据所述预设关联规则确定的。
5.如权利要求1至3任一项所述的方法，其特征在于，所述待处理数据包括第三数据服务的第三数据表和第四数据服务的第四数据表；所述第三数据表的表结构和所述第四数据表的表结构相同；所述处理步骤组合包括上下合并处理步骤；所述上下合并处理步骤具体为：
将所述第三数据表和所述第四数据表合并为纵向数据表；所述纵向数据表的表结构与所述第三数据表以及所述第四数据表的表结构均相同。
6.如权利要求1至3任一项所述的方法，其特征在于，所述待处理数据包括分组汇聚处理步骤；所述分组汇聚处理步骤具体如下：
针对所述待处理数据中任一数据服务的数据，根据分组字段，对所述数据服务的数据进行分组，获得各分组数据；
针对所述各分组数据中任一分组数据，确定所述分组数据的数据统计指标。
7.如权利要求1至3任一项所述的方法，其特征在于，还包括：
针对所述各预设处理步骤任一预设处理步骤，若执行了所述预设处理步骤，则输出所述待处理数据的可视化数据预览界面，从而预览所述预设处理步骤执行后的数据处理状态。
8.一种地铁线网中心的数据处理装置，其特征在于，包括：
获取模块，用于获取待处理数据和数据处理工具的操作命令组合；所述操作命令组合中各操作命令的任一操作命令均存在映射的预设处理步骤；
处理模块，用于根据所述各操作命令映射的预设处理步骤，确定处理步骤组合；所述处理步骤组合包括至少一个预设处理步骤；通过所述数据处理工具，根据所述处理步骤组合中的各预设处理步骤，处理所述待处理数据。
9.一种计算机设备，其特征在于，包括程序或指令，当所述程序或指令被执行时，如权利要求1至7中任意一项所述的方法被执行。
10.一种计算机可读存储介质，其特征在于，包括程序或指令，当所述程序或指令被执行时，如权利要求1至7中任意一项所述的方法被执行。
CN202110074462.8A 2021-01-20 2021-01-20 一种地铁线网中心的数据处理方法及装置 Pending CN112765259A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110074462.8A CN112765259A (zh) 2021-01-20 2021-01-20 一种地铁线网中心的数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110074462.8A CN112765259A (zh) 2021-01-20 2021-01-20 一种地铁线网中心的数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN112765259A true CN112765259A (zh) 2021-05-07

Family

ID=75703475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110074462.8A Pending CN112765259A (zh) 2021-01-20 2021-01-20 一种地铁线网中心的数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN112765259A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957748A (zh) * 2009-07-17 2011-01-26 中国移动通信集团黑龙江有限公司 一种数据逻辑分析方法、装置及系统
CN107133273A (zh) * 2017-04-07 2017-09-05 青岛海信网络科技股份有限公司 一种基于大数据的交通线网数据处理方法和服务器集群
US20180218053A1 (en) * 2017-02-01 2018-08-02 Anvizent Analytics Pvt., LTD. Big Data Analytical Platform Tools And Methods Of Use
CN108460090A (zh) * 2018-01-25 2018-08-28 联动优势科技有限公司 一种数据处理方法和应用服务器
CN109388667A (zh) * 2017-08-14 2019-02-26 中兴通讯股份有限公司 组件化大数据处理方法、系统及计算机可读存储介质
CN110955646A (zh) * 2019-11-29 2020-04-03 北京达佳互联信息技术有限公司 一种数据存储、查询方法、装置、设备及介质
CN111177200A (zh) * 2019-12-31 2020-05-19 北京九章云极科技有限公司 一种数据处理系统及方法
CN111949680A (zh) * 2019-05-17 2020-11-17 杭州海康威视数字技术股份有限公司 数据处理方法、装置、计算机设备及存储介质
CN111984666A (zh) * 2019-05-23 2020-11-24 北京数聚鑫云信息技术有限公司 数据库访问方法、装置、计算机可读存储介质和计算机设备
CN112084208A (zh) * 2019-06-14 2020-12-15 北京京东尚科信息技术有限公司 数据可视化方法及系统、存储介质及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957748A (zh) * 2009-07-17 2011-01-26 中国移动通信集团黑龙江有限公司 一种数据逻辑分析方法、装置及系统
US20180218053A1 (en) * 2017-02-01 2018-08-02 Anvizent Analytics Pvt., LTD. Big Data Analytical Platform Tools And Methods Of Use
CN107133273A (zh) * 2017-04-07 2017-09-05 青岛海信网络科技股份有限公司 一种基于大数据的交通线网数据处理方法和服务器集群
CN109388667A (zh) * 2017-08-14 2019-02-26 中兴通讯股份有限公司 组件化大数据处理方法、系统及计算机可读存储介质
CN108460090A (zh) * 2018-01-25 2018-08-28 联动优势科技有限公司 一种数据处理方法和应用服务器
CN111949680A (zh) * 2019-05-17 2020-11-17 杭州海康威视数字技术股份有限公司 数据处理方法、装置、计算机设备及存储介质
CN111984666A (zh) * 2019-05-23 2020-11-24 北京数聚鑫云信息技术有限公司 数据库访问方法、装置、计算机可读存储介质和计算机设备
CN112084208A (zh) * 2019-06-14 2020-12-15 北京京东尚科信息技术有限公司 数据可视化方法及系统、存储介质及电子设备
CN110955646A (zh) * 2019-11-29 2020-04-03 北京达佳互联信息技术有限公司 一种数据存储、查询方法、装置、设备及介质
CN111177200A (zh) * 2019-12-31 2020-05-19 北京九章云极科技有限公司 一种数据处理系统及方法

Similar Documents

Publication Publication Date Title
US20170193116A1 (en) Indirect Filtering in Blended Data Operations
JP2017224331A (ja) 個別のデータ値に対する効率よい演算を行うための方法、装置、並びにコンピュータ可読媒体
US20120036463A1 (en) Metric navigator
CN105550241A (zh) 多维数据库查询方法及装置
JP6862531B2 (ja) ガイド付きデータ探索
CN104685499A (zh) 过滤/投影操作的硬件实现
CN115423993A (zh) 一种基于三维gis的分层分户单体化方法及系统
CN114254021A (zh) 一种多源数据处理方法及数据工厂
CN114372060A (zh) 数据存储方法、装置、设备及存储介质
CN110019341B (zh) 一种数据查询方法及装置
CN111784246B (zh) 物流路径的估测方法
CN112765259A (zh) 一种地铁线网中心的数据处理方法及装置
CN110807072A (zh) 交互式特征分箱处理方法、设备及可读存储介质
CN113867850A (zh) 数据处理方法、装置、设备和存储介质
JP2019528522A (ja) タスク処理方法及び分散コンピューティングフレームワーク
CN107122849B (zh) 基于SparkR的产品检测总完工时间极小化方法
CN115409541A (zh) 基于数据血缘的卷烟品牌数据处理方法
CN113990068A (zh) 交通数据的处理方法、装置、设备以及存储介质
CN107679025A (zh) 一种对工作表的图表展示进行操作与维护方法
US20150081735A1 (en) System and method for fast identification of variable roles during initial data exploration
CN112084092A (zh) 一种诊断规则的确定方法、装置、设备及存储介质
CN111784248B (zh) 物流溯源方法
CN113204602B (zh) 数据处理方法、装置、设备及存储介质
CN110704470B (zh) 一种账单数据排重方法、终端设备及存储介质
CN114491307B (zh) 一种设备聚合方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210507