CN112579691B - 一种支持大屏展示的数据处理方法及装置 - Google Patents

一种支持大屏展示的数据处理方法及装置 Download PDF

Info

Publication number
CN112579691B
CN112579691B CN202011543522.8A CN202011543522A CN112579691B CN 112579691 B CN112579691 B CN 112579691B CN 202011543522 A CN202011543522 A CN 202011543522A CN 112579691 B CN112579691 B CN 112579691B
Authority
CN
China
Prior art keywords
display
data
service
screen
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011543522.8A
Other languages
English (en)
Other versions
CN112579691A (zh
Inventor
张研
钱剑林
胡祥
戴静
王鹏飞
孙冬阳
赵守云
汤波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Aisino Technology Co ltd
Original Assignee
Anhui Aisino Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Aisino Technology Co ltd filed Critical Anhui Aisino Technology Co ltd
Priority to CN202011543522.8A priority Critical patent/CN112579691B/zh
Publication of CN112579691A publication Critical patent/CN112579691A/zh
Application granted granted Critical
Publication of CN112579691B publication Critical patent/CN112579691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种支持大屏展示的数据处理方法及装置，其包括：获取业务数据，按业务类型将所述业务数据存入计算队列；从所述计算队列获取所述业务数据，并按相应的业务规则生成展示数据，将所述展示数据按业务类型存入展示队列；其中，所述业务规则与所述业务类型一一对应；从所述展示队列获取所述展示数据，并根据所述展示数据确定展示报文；按所述业务类型获取所述展示报文并在大屏进行展示。本发明采用流式计算和消息队列，可实现大批量数据的实时计算处理，并可实现大屏的局部刷新，从而提升了大屏展示的实时性。本发明同时提供了一种低成本的大屏回放的方法，不用录屏，仅保存历史展示数据来支持大屏回放。

Description

一种支持大屏展示的数据处理方法及装置
技术领域
本发明涉及大屏展示技术领域，具体涉及一种支持大屏展示的数据处理方法及装置。
背景技术
随着大屏应用场景越来越多，客户对于大屏展示的性能要求也越来越高，需要实时性好且支持回放的大数据场景下的大屏展示方案。
现有技术大多采用调度方法，将大屏展示数据收集到结构化或者非结构化表中，再通过JOB(作业)调度来触发计算处理服务，然后通过WEBSOCKET(网络套接字)推送至大屏进行展示。因此，大屏展示依赖于JOB调度频率，大屏刷新方式为全量数据刷新，实时性较差，也不支持回放。
发明内容
为解决现有技术的问题，本发明提出了一种支持大屏展示的数据处理方法及装置。
本发明第一方面提供一种支持大屏展示的数据处理方法，其包括：
获取业务数据，按业务类型将所述业务数据存入计算队列；
从所述计算队列获取所述业务数据，并按相应的业务规则生成展示数据，将所述展示数据按业务类型存入展示队列；其中，所述业务规则与所述业务类型一一对应；
从所述展示队列获取所述展示数据，并根据所述展示数据确定展示报文；
按所述业务类型获取所述展示报文并在大屏进行展示。
进一步地，当从所述计算队列获取所述业务数据时，还包括：将所述业务数据存入业务数据库，并存放相应的第一状态消息到所述计算队列；从所述计算队列获取所述第一状态消息，并从所述业务数据库获取相应的所述业务数据；其中，所述第一状态消息用于通知去获取所述业务数据，所述业务数据用于生成所述展示数据。
进一步地，当从所述展示队列获取所述展示数据时，还包括：将所述展示数据存入缓存数据库，并存放相应的第二状态消息到所述展示队列；从所述展示队列获取所述第二状态消息；从所述缓存数据库获取相应的所述展示数据；其中，所述第二状态消息用于通知去获取所述展示数据，所述展示数据用于确定展示报文。
进一步地，当从所述展示队列获取所述第二状态消息时，还包括：将所述第二状态消息推送到大屏服务，然后所述大屏服务调用展示服务；其中，所述展示服务用于从所述缓存数据库获取相应的所述展示数据并确定所述展示报文。
进一步地，将所述展示数据存入缓存数据库时，还包括：同时复制所述缓存数据库中的其余的所述展示数据的最近值，并和当前时刻生成的所述展示数据一起保存到所述缓存数据库中，用于大屏回放。
进一步地，还包括：当所述大屏回放时，调用所述展示服务，所述展示服务从所述缓存数据库中获取指定时间的所述大屏的全部所述业务类型的所述展示数据，并根据所述展示数据确定所述大屏的全部所述业务类型的所述展示报文，将所述展示报文在所述大屏进行展示。
进一步地，所述按所述业务类型获取所述展示报文并在大屏进行展示包括：获取所述展示报文，将所述展示报文的字段赋值给相应的显示模型的相应字段，所述显示模型的数据被刷新并在所述大屏进行展示。
进一步地，还包括：建立所述展示报文的字段和所述显示模型的字段的对应关系；其中，所述展示报文的字段可对应多个所述显示模型的字段；其中，所述显示模型在所述大屏展示，所述大屏包含一个或多个所述显示模型。
进一步地，所述展示报文的格式包括JSON报文格式、XML报文格式、自定义报文格式或数据表格式。
本发明第二方面提供一种支持大屏展示的数据处理装置，其包括：
数据抽取单元，用于获取业务数据，按业务类型将所述业务数据存入计算队列；
计算服务单元，用于从所述计算队列获取所述业务数据，并按相应的业务规则生成展示数据，将所述展示数据按业务类型存入展示队列；其中，所述业务规则与所述业务类型一一对应；
展示服务单元，用于从所述展示队列获取所述展示数据，并根据所述展示数据确定展示报文；
大屏服务单元，用于按所述业务类型获取所述展示报文并在大屏进行展示。
本发明采用流式计算和消息队列，通过对不同类型的业务数据的并发的流式处理，可实现大批量数据的实时计算，从而使大屏展示具备较好的实时性。可按业务类型来刷新大屏展示，当有业务数据更新时，仅仅更新相应的显示模型，而不必全量刷新整个大屏，从而实现了大屏的局部刷新，并降低了大屏展示的数据处理量，即提升了大屏展示的实时性。本发明同时提供了一种低成本的大屏回放的方法，不用录屏，仅保存多个时刻的历史展示数据来支持大屏回放。
附图说明
图1为根据本发明实施例的一种支持大屏展示的数据处理方法的基本流程图；
图2为根据本发明实施例的业务数据和计算队列按类型对应关系的示意图；
图3为根据本发明实施例的数据处理过程(包括数据流向及相关功能模块)示意图；
图4为根据本发明实施例的一种柱状图显示模型的示意图；
图5为根据本发明实施例的一种支持大屏展示的数据处理装置的基本组成图。
具体实施方式
下面将参照附图详细描述根据本发明的实施例，描述涉及附图时，除非另有表示，不同附图中的相同附图标记表示相同或相似的要素。要说明的是，以下示例性实施例中所描述的实施方式并不代表本发明的所有实施方式。它们仅是与如权利要求书中所详述的、本发明公开的一些方面相一致的例子，本发明的范围并不局限于此。在不矛盾的前提下，本发明各个实施例中的特征可以相互组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
本发明第一方面提供了一种支持大屏展示的数据处理方法的实施例，如图1所示，包括步骤S1至S4：
在步骤S1中，获取业务数据，按业务类型将所述业务数据存入计算队列。
具体地，通过数据抽取服务从客户数据库中实时抽取业务数据，然后按照业务数据的业务类型存入相应的计算队列；其中，数据抽取服务可采用开源软件平台Canal，计算队列可采用开源软件平台Kafka。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据，Kafka是Canal默认支持的。
在步骤S2中，从所述计算队列获取所述业务数据，并按相应的业务规则生成展示数据，将所述展示数据按业务类型存入展示队列；其中，所述业务规则与所述业务类型一一对应。
具体地，计算服务获取业务数据，并根据其业务类型运用相应的业务规则进行计算处理，得到用于大屏展示的展示数据；然后，将展示数据按业务类型存入展示队列；其中，计算服务可采用开源软件框架Flink，展示队列可采用Kafka。Flink以数据并行和流水线方式执行任意流数据程序，具备高并发、低延迟的大数据的流式处理能力。
例如，针对网上购物平台的大数据分析处理，将“订单购买区域统计”作为一种业务类型，相关的业务数据被存放在一个计算队列中；将“订单购买年龄统计”作为另一种业务类型，相关的业务数据被存放在另一个计算队列中。当客户数据库中“订单购买区域统计”相关的业务数据更新时，数据抽取服务将该业务数据存入相应的计算队列中；计算服务获取到该业务数据后，按照相应的业务规则进行计算处理，得到指定商品的按购买区域统计的订单数量，然后存入“订单购买区域统计”对应的展示队列中。同样地，当客户数据库中“订单购买年龄统计”相关的业务数据更新时，数据抽取服务将该业务数据存入相应的计算队列中；计算服务获取到该业务数据后，按照相应的业务规则进行计算处理，得到指定商品的按购买年龄统计的订单数量，然后存入“订单购买年龄统计”对应的展示队列中。客户数据库的不同类型的业务数据更新是并发的，计算服务支持多数据流的并行处理，可实现对不同类型的业务数据的并发的流式计算处理。
在本发明实施例中，在计算服务中，业务类型和业务规则一一对应，计算服务按相应的业务规则对业务数据进行计算处理，得到展示数据。例如，大屏要展示每小时订单的产生量以及购买商品的客户年龄段分布两个指标，原始业务数据包括业务系统产生的销售订单以及这些客户的年龄，计算服务根据业务规则按照订单产生时间统计每个小时的订单量以及这些订单在各年龄的分布情况，这些数据计算完成后，作为展示数据存入相应的展示队列。
在本发明实施例中，业务类型和计算队列、展示队列一一对应，如图2所示，业务数据DATA-1对应的计算队列为DATA-1-KEY，业务数据DATA-2对应的计算队列为DATA-2-KEY，以此类推；其中，关键字DATA-1-KEY和DATA-2-KEY用于标识计算队列且与业务类型一一对应。同理，展示队列与业务类型也一一对应。
在本发明实施例中，计算队列和展示队列可采用开源软件平台Kafka，队列的消费者需要先向Kafka队列订阅，然后会一直接收到相应的队列数据消息，直到取消订阅。
在步骤S3中，从所述展示队列获取所述展示数据，并根据所述展示数据确定展示报文。
具体地，根据大屏服务的显示模型所支持的数据格式，展示服务将展示数据转换处理为JSON(JavaScript Object Notation，JS对象简谱)或者XML(Extensible Mark-upLanguage，可扩展标记语言)格式的展示报文。在本发明的另一实施例中，展示报文可为数据表项的格式。
在步骤S4中，按所述业务类型获取所述展示报文并在大屏进行展示。
具体地，根据展示报文的业务类型将展示报文里的数据赋值给相应的显示模型，从而刷新了相应的显示模型在大屏中的展示。
在本发明实施例中，采用流式计算和消息队列，通过对不同类型的业务数据的并发的流式处理，可实现大批量数据的实时计算，从而使大屏展示具备较好的实时性。可按业务类型来刷新大屏展示，当有业务数据更新时，仅仅更新相应的显示模型，而不必全量刷新整个大屏，从而实现了大屏的局部刷新，并降低了大屏展示的数据处理量，即提升了大屏展示的实时性。
可选地，当从所述计算队列获取所述业务数据时，该方法还包括：将所述业务数据存入业务数据库，并存放相应的第一状态消息到所述计算队列；从所述计算队列获取所述第一状态消息，并从所述业务数据库获取相应的所述业务数据；其中，所述第一状态消息用于通知去获取所述业务数据，所述业务数据用于生成所述展示数据。所述第一状态消息和所述业务数据按所述业务类型一一对应。在本实施例中，业务数据被存放到业务数据库而不是计算队列中，可保存较长时间并用于后续数据核对等用途；同时，将业务数据对应的第一状态消息存放到计算队列中，用于通知计算服务去业务数据库中获取业务数据以及进行后续处理。第一状态消息通过消息队列的方式传递，计算服务作为消息队列的消费者先订阅该消息，一旦有该消息到来，计算服务可立即处理，提高了数据处理的实时性，且不同业务类型的消息队列可并发处理，互不影响。
具体地，如图3所示，数据库服务(Flume Kudu)订阅了计算队列(Kafka)的业务数据，当数据抽取服务(Canal)从客户数据库(MySql)中抽取客户数据(D1)并按照业务类型将业务数据(D2)存入计算队列时，数据库服务获取到业务数据(D3)并保存该数据(D4)到业务数据库(Kudu)中，然后存入第一状态消息(D5)到计算队列中，第一状态消息用于通知计算服务(Flink)去提取业务数据。计算服务订阅了计算队列的第一状态消息；当计算服务获取到第一状态消息(D6)时，从业务数据库中获取相应的业务数据(D7)，并按相应的业务规则进行计算处理得到展示数据，然后按相应的业务类型将展示数据(D8)存入展示队列。图3中，D1-D8的编号顺序代表数据流处理的顺序，编号不同不表示数据不同，D2、D3、D4的业务数据是相同的，D5和D6的第一状态消息也是相同的。同理，D9-D16的编号顺序代表数据流处理的顺序，编号不同不表示数据不同。
可选地，当从所述展示队列获取所述展示数据时，该方法还包括：将所述展示数据存入缓存数据库，并存放相应的第二状态消息到所述展示队列；从所述展示队列获取所述第二状态消息；从所述缓存数据库获取相应的所述展示数据；其中，所述第二状态消息用于通知去获取所述展示数据，所述展示数据用于确定展示报文。所述第二状态消息和所述展示数据按所述业务类型一一对应。
可选地，从所述展示队列获取所述第二状态消息时，该方法还包括：将所述第二状态消息推送到大屏服务，然后所述大屏服务调用展示服务；其中，所述展示服务用于从所述缓存数据库获取相应的所述展示数据并确定所述展示报文。
在本实施例中，展示数据被存放到缓存数据库而不是展示队列中，可保存较长时间并用于大屏回放；同时，将展示数据对应的第二状态消息存放到计算队列中，用于推送服务去通知大屏服务展示数据已准备好，大屏服务再调用展示服务去缓存数据库中获取展示数据以及进行后续处理。第二状态消息通过消息队列的方式传递，推送服务作为消息队列的消费者先订阅该消息，一旦有该消息到来，推送服务可立即处理，提高了数据处理的实时性，且不同业务类型的消息队列可并发处理，互不影响。
具体地，如图3所示，展示服务订阅了展示队列的展示数据，展示服务从展示队列获取展示数据(D8)并将该数据(D10)保存到缓存数据库(Redis)中，然后存放第二状态消息(D11)到展示队列中；推送服务订阅了展示队列的第二状态消息，推送服务从展示队列获取第二状态消息(D12)后，通过WebSocket将该消息(D13)推送给大屏服务；大屏服务调用展示服务(D14)，展示服务从缓存数据库中获取相应的展示数据(D15)并转换为JSON格式或XML格式的展示报文(D16)，大屏服务将该报文的数据赋值给相应的显示模型以刷新大屏展示。
在本发明实施例中，计算队列和展示队列可采用开源软件平台Kafka，队列的消费者需要先向Kafka队列订阅，然后会一直接收到相应的队列状态消息，直到取消订阅。
在本发明的另一实施例中，展示服务将展示数据转换为数据表项并保存在缓存数据库中，当大屏服务调用展示服务时，展示服务从缓存数据库中获取该数据表项并提供给大屏服务以刷新相应的显示模型。其中，显示模型的字段与数据表的相应字段相对应。
可选地，所述将所述展示数据存入缓存数据库还包括：同时复制所述缓存数据库中的其余的所述展示数据的最近值，并和当前时刻生成的所述展示数据一起保存到所述缓存数据库中，用于大屏回放。
具体地，只要客户数据库有数据更新，就会触发相应的计算和展示处理，刷新相应的显示模型，做到局部刷新大屏而不是全量刷新大屏，提升了大屏展示刷新的效率。另一方面，对这部分更新的业务数据进行处理后的展示数据被保存到缓存数据库中，用于大屏回放。并且，不只是保存这部分最新生成的展示数据，而是保存当前整个大屏的所有展示数据的最新值，相当于对当前展示数据进行快照。因此，只要有业务数据更新，就会保存一份整个大屏的所有展示数据的快照。于是，缓存数据库中保存有多个时刻的多份大屏展示数据的快照，可用于大屏回放。
在本发明的另一实施例中，还可以复制一些设定时间段的展示数据到缓存数据库的设定位置，便于提高回放的速度，而不必在整个缓存数据库中去查找。例如，可以缓存最近1小时、最近1天的展示数据到缓存数据库的设定位置中，这样提取展示数据的速度会大大提高。
可选地，该方法还包括：当所述大屏回放时，调用所述展示服务，所述展示服务从所述缓存数据库中获取指定时间的所述大屏的全部所述业务类型的所述展示数据，并根据所述展示数据确定所述大屏的全部所述业务类型的所述展示报文，将所述展示报文在所述大屏进行展示。
具体地，当需要大屏回放时，大屏服务调用展示服务的接口，通过展示服务URL向展示服务请求大屏展示的全量的展示报文，展示服务从缓存数据库中获取指定时间的全部业务类型的展示数据，然后确定整个大屏的全部显示模型所需的展示报文。缓存数据库中不一定有指定时间点的全量展示数据，获取该指定时间点前的最近的全量展示数据即可。
可选地，所述按所述业务类型获取所述展示报文并在大屏展示包括：获取所述展示报文，将所述展示报文的字段赋值给相应的显示模型的相应字段，所述显示模型的数据被刷新并在所述大屏进行展示。具体地，将所述展示报文的字段赋值给相应的显示模型的数据模板的相应字段，从而刷新了大屏中的显示模型的显示UI(User Interface，用户界面)。
具体地，该方法还包括：建立所述展示报文的字段和所述显示模型的字段的对应关系；其中，所述展示报文的字段可对应多个所述显示模型的字段；其中，所述显示模型在所述大屏展示，所述大屏包含一个或多个所述显示模型。
在本发明实施例中，其中一个显示模型的显示UI如图4所示，在大屏展示“各年龄段对商品的购买量”的柱状图，该显示模型柱状图的数据模板如下表1所示。
表1
A B C D
18-28岁 28-48岁 48岁以上
游戏卡 12888 5678 344
笔记本 23112 13322 344
针线盒 2344 345 3122
该显示模型绑定的相应的JSON格式的展示报文如下：
Figure BDA0002855266840000091
Figure BDA0002855266840000101
大屏服务向展示服务URL(uniform resource locator，统一资源定位)请求模型类型为“TJ00A001”且时间段从2020-11-01 00:00:00开始到当前的展示报文，上述为请求成功的返回报文，该模型就是图4的柱状图。根据TJ00A001类型，在显示模型的数据模板中设置：数据模板(表1)中A列绑定返回的JSON报文的AxisLabel节点，第一行绑定SeriesLabel节点，data(数值域)绑定SeriesDate节点。设置绑定关系相当于建立展示报文的字段和显示模型的字段的对应关系。
在本发明实施例中，一个展示报文可绑定多个显示模型，例如，大屏中有这三种商品的按年龄段购买统计的三张饼图，那么该展示报文的相应字段会分别绑定到相应的饼图的数据模板的相应字段。
可选地，所述展示报文的格式包括JSON报文格式、XML报文格式、自定义报文格式或数据表格式。
在本发明的另一实施例中，大屏的显示模型还可以绑定数据表来刷新，不限于上述报文格式。一种业务类型对应一个展示数据表；一个展示数据表可对应多个显示模型，即一个展示数据表中的字段可对应多个显示模型的相应的字段，一个展示数据表中的数据可提供给多个显示模型所用。
本发明第二方面提供一种支持大屏展示的数据处理装置的实施例，如图5所示，图中箭头表示数据流在功能模块间的传递方向。所述支持大屏展示的数据处理装置包括：
数据抽取单元100，用于获取业务数据，按业务类型将所述业务数据存入计算队列；
计算服务单元102，用于从所述计算队列获取所述业务数据，并按相应的业务规则生成展示数据，将所述展示数据按业务类型存入展示队列；其中，所述业务规则与所述业务类型一一对应；
展示服务单元104，用于从所述展示队列获取所述展示数据，并根据所述展示数据确定展示报文；
大屏服务单元105，用于按所述业务类型获取所述展示报文并在大屏进行展示。
本发明采用流式计算和消息队列，通过对不同类型的业务数据的并发的流式处理，可实现大批量数据的实时计算，从而使大屏展示具备较好的实时性。本发明可按业务类型来刷新大屏展示，当有业务数据更新时，仅仅更新相应的显示模型，而不必全量刷新整个大屏，从而实现了大屏的局部刷新，并降低了大屏展示的数据处理量，即提升了大屏展示的实时性。本发明同时提供了一种低成本的大屏回放的方法，不用录屏，仅保存历史展示数据来支持大屏回放。
虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (6)

1.一种支持大屏展示的数据处理方法，其特征在于，包括：
获取业务数据，按业务类型将所述业务数据存入计算队列；
从所述计算队列获取所述业务数据，并按相应的业务规则生成展示数据，将所述展示数据按业务类型存入展示队列；其中，所述业务规则与所述业务类型一一对应；
从所述展示队列获取所述展示数据，并根据所述展示数据确定展示报文；
按所述业务类型获取所述展示报文并在大屏进行展示；
其中，当从所述展示队列获取所述展示数据时，所述支持大屏展示的数据处理方法还包括：
将所述展示数据存入缓存数据库，并存放相应的第二状态消息到所述展示队列；
从所述展示队列获取所述第二状态消息；从所述缓存数据库获取相应的所述展示数据；其中，所述第二状态消息用于通知去获取所述展示数据，所述展示数据用于确定展示报文；
当从所述展示队列获取所述第二状态消息时，所述支持大屏展示的数据处理方法还包括：
将所述第二状态消息推送到大屏服务，然后所述大屏服务调用展示服务；其中，所述展示服务用于从所述缓存数据库获取相应的所述展示数据并确定所述展示报文；
将所述展示数据存入缓存数据库时，所述支持大屏展示的数据处理方法还包括：
同时复制所述缓存数据库中的其余的所述展示数据的最近值，并和当前时刻生成的所述展示数据一起保存到所述缓存数据库中，用于大屏回放；其中，所述最近值为最近一定时间段内的所述展示数据；
所述支持大屏展示的数据处理方法还包括：
当所述大屏回放时，调用所述展示服务，所述展示服务从所述缓存数据库中获取指定时间的所述大屏的全部所述业务类型的所述展示数据，并根据所述展示数据确定所述大屏的全部所述业务类型的所述展示报文，将所述展示报文在所述大屏进行展示。
2.根据权利要求1所述的支持大屏展示的数据处理方法，其特征在于，当从所述计算队列获取所述业务数据时，还包括：
将所述业务数据存入业务数据库，并存放相应的第一状态消息到所述计算队列；
从所述计算队列获取所述第一状态消息，并从所述业务数据库获取相应的所述业务数据；其中，所述第一状态消息用于通知去获取所述业务数据，所述业务数据用于生成所述展示数据。
3.根据权利要求1或2所述的支持大屏展示的数据处理方法，其特征在于，所述按所述业务类型获取所述展示报文并在大屏进行展示包括：
获取所述展示报文，将所述展示报文的字段赋值给相应的显示模型的相应字段，所述显示模型的数据被刷新并在所述大屏进行展示。
4.根据权利要求3所述的支持大屏展示的数据处理方法，其特征在于，还包括：
建立所述展示报文的字段和所述显示模型的字段的对应关系；其中，所述展示报文的字段对应多个所述显示模型的字段；其中，所述显示模型在所述大屏展示，所述大屏包含一个或多个所述显示模型。
5.根据权利要求1所述的支持大屏展示的数据处理方法，其特征在于，所述展示报文的格式包括JSON报文格式、XML报文格式、自定义报文格式或数据表格式。
6.一种支持大屏展示的数据处理装置，其特征在于，包括：
数据抽取单元，用于获取业务数据，按业务类型将所述业务数据存入计算队列；
计算服务单元，用于从所述计算队列获取所述业务数据，并按相应的业务规则生成展示数据，将所述展示数据按业务类型存入展示队列；其中，所述业务规则与所述业务类型一一对应；
展示服务单元，用于从所述展示队列获取所述展示数据，并根据所述展示数据确定展示报文；
大屏服务单元，用于按所述业务类型获取所述展示报文并在大屏进行展示；
其中，当从所述展示队列获取所述展示数据时，所述展示服务单元还用于将所述展示数据存入缓存数据库，并存放相应的第二状态消息到所述展示队列；以及用于从所述展示队列获取所述第二状态消息；从所述缓存数据库获取相应的所述展示数据；其中，所述第二状态消息用于通知去获取所述展示数据，所述展示数据用于确定展示报文；
当从所述展示队列获取所述第二状态消息时，所述展示服务单元还用于将所述第二状态消息推送到大屏服务，然后所述大屏服务调用展示服务；其中，所述展示服务用于从所述缓存数据库获取相应的所述展示数据并确定所述展示报文；
将所述展示数据存入缓存数据库时，所述展示服务单元还用于同时复制所述缓存数据库中的其余的所述展示数据的最近值，并和当前时刻生成的所述展示数据一起保存到所述缓存数据库中，用于大屏回放；其中，所述最近值为最近一定时间段内的所述展示数据；
所述大屏服务单元还用于当所述大屏回放时，调用所述展示服务，所述展示服务从所述缓存数据库中获取指定时间的所述大屏的全部所述业务类型的所述展示数据，并根据所述展示数据确定所述大屏的全部所述业务类型的所述展示报文，将所述展示报文在所述大屏进行展示。
CN202011543522.8A 2020-12-24 2020-12-24 一种支持大屏展示的数据处理方法及装置 Active CN112579691B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011543522.8A CN112579691B (zh) 2020-12-24 2020-12-24 一种支持大屏展示的数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011543522.8A CN112579691B (zh) 2020-12-24 2020-12-24 一种支持大屏展示的数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN112579691A CN112579691A (zh) 2021-03-30
CN112579691B true CN112579691B (zh) 2022-11-08

Family

ID=75139225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011543522.8A Active CN112579691B (zh) 2020-12-24 2020-12-24 一种支持大屏展示的数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN112579691B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114070813B (zh) * 2021-11-02 2023-04-21 广州海鹚网络科技有限公司 多媒体屏幕信息广播的方法
CN114756630B (zh) * 2022-04-18 2024-04-19 焦点科技股份有限公司 一种基于Flink状态的实时数仓建设方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373254A (ja) * 2000-07-14 2002-12-26 Tokyo Stock Exchange Inc 配信可能通知ネットワークシステム及び情報処理装置，配信可能通知方法，プログラム並びに記憶媒体
CN106790549A (zh) * 2016-12-23 2017-05-31 北京奇虎科技有限公司 一种数据更新方法及装置
CN111222930A (zh) * 2020-01-02 2020-06-02 大象慧云信息技术有限公司 支持大屏幕展示的发票监控方法、装置及系统
CN111597184A (zh) * 2020-04-01 2020-08-28 深圳英飞拓智能技术有限公司 一种基于树形结构数据的消息发布与订阅的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106790407B (zh) * 2016-11-29 2019-08-02 中通服咨询设计研究院有限公司 一种基于dlp大屏异构事务处理和信息通讯的系统
CN108334295B (zh) * 2018-01-24 2019-06-25 广州国交润万交通信息有限公司 一种监控pc与拼接大屏操作与显示同步及分离方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373254A (ja) * 2000-07-14 2002-12-26 Tokyo Stock Exchange Inc 配信可能通知ネットワークシステム及び情報処理装置，配信可能通知方法，プログラム並びに記憶媒体
CN106790549A (zh) * 2016-12-23 2017-05-31 北京奇虎科技有限公司 一种数据更新方法及装置
CN111222930A (zh) * 2020-01-02 2020-06-02 大象慧云信息技术有限公司 支持大屏幕展示的发票监控方法、装置及系统
CN111597184A (zh) * 2020-04-01 2020-08-28 深圳英飞拓智能技术有限公司 一种基于树形结构数据的消息发布与订阅的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张桂芹等.浅谈大屏可视化系统在电网中的应用.《电气应用》.2015,第34卷(第07期),44-48. *

Also Published As

Publication number Publication date
CN112579691A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN109697629B (zh) 产品数据推送方法及装置、存储介质、计算机设备
WO2017167065A1 (zh) 页面资源投放方法及装置
CN109961357B (zh) 用户数据处理方法、装置、电子设备及存储介质
WO2022127543A1 (zh) 广告信息处理方法、装置、设备和存储介质
CN112579691B (zh) 一种支持大屏展示的数据处理方法及装置
CN107526810B (zh) 建立点击率预估模型的方法及装置、展示方法及装置
CN108269107B (zh) 用户信息处理方法及装置
CN110910203A (zh) 一种商品页面的内容展示方法及装置
JP2020177668A (ja) ユーザ画像の処理方法、ユーザ画像の処理装置、サーバ及び記憶媒体
US20130332386A1 (en) Content management
US8051110B2 (en) Identifying screen flows to support multiple entities and their diverse rules with a single application instance
CN114265657A (zh) 一种小程序的页面显示方法及装置
CN117670441A (zh) 智能分屏显示方法、系统、存储介质及电子设备
CN108319722A (zh) 数据访问方法、装置、电子设备及计算机可读存储介质
CN106920124A (zh) 一种数据采集和分析方法及装置
CN109344327B (zh) 用于生成信息的方法和装置
CN116757715A (zh) 排行榜生成方法及装置、存储介质、计算机设备
GB2526910A (en) Report generation system and method
WO2022001297A1 (zh) 数据处理方法、装置、设备及计算机可读存储介质
CN112948441B (zh) 一种面向财务数据的多维数据归集方法及设备
CN110781191B (zh) 编排数据的处理方法及服务器
CN113918548A (zh) 基于私域流量的问卷调查方法、装置及存储介质
CN113435960A (zh) 虚拟物品显示方法、装置、电子设备和计算机可读介质
CN113139835A (zh) 数据处理方法、装置、非易失性存储介质及处理器
CN107169845B (zh) 一种商户属性查询方法、装置及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant