CN115190036B - 一种实时数据汇聚的一致性校验方法及系统 - Google Patents
一种实时数据汇聚的一致性校验方法及系统 Download PDFInfo
- Publication number
- CN115190036B CN115190036B CN202210623417.8A CN202210623417A CN115190036B CN 115190036 B CN115190036 B CN 115190036B CN 202210623417 A CN202210623417 A CN 202210623417A CN 115190036 B CN115190036 B CN 115190036B
- Authority
- CN
- China
- Prior art keywords
- data
- data packet
- sent
- time
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000002776 aggregation Effects 0.000 title claims abstract description 21
- 238000004220 aggregation Methods 0.000 title claims abstract description 21
- 238000012795 verification Methods 0.000 title claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000013500 data storage Methods 0.000 claims abstract description 14
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 230000005540 biological transmission Effects 0.000 claims description 52
- 238000003860 storage Methods 0.000 claims description 18
- 230000002159 abnormal effect Effects 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 9
- 238000004519 manufacturing process Methods 0.000 description 12
- 230000007246 mechanism Effects 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000003245 coal Substances 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013479 data entry Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013524 data verification Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
- H04L43/028—Capturing of monitoring data by filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种实时数据汇聚的一致性校验方法及系统，属于数据处理领域。所述一种实时数据汇聚的一致性校验方法包括：采集器从外部采集数据并对数据进行处理生成数据包，经过处理后的数据包发送至消息服务器缓存；服务端从所述消息服务器接收数据包，并将数据包处理为数据后存储到数据库，在数据存储的过程中形成入库日志，服务端监控入库日志，输出数据的入库结果；采集器获取入库结果，将入库的数据与采集的数据进行一致性比对。本方法通过“数据过滤‑数据收集‑数据压缩‑数据发送‑数据接收‑数据解压‑数据存储‑一致性校验‑数据重发/补发”的处理方式，确保了数据的一致性。
Description
技术领域
本发明涉及数据处理领域，具体地涉及一种实时数据汇聚的一致性校验方法及一种实时数据汇聚的一致性校验系统。
背景技术
智能运输安全生产监控系统，是指大型露天煤矿生产中运输生产调度和运输安全管控的软件系统。该系统对煤矿生产现场的设备和人员的状态进行实时监控,并将产生的实时现场数据通过网络远距离传输，最终汇聚到数据中心进行集中处理。
由于数据传输跨越多个网段和设备，网络故障、设备宕机等都有可能造成传输过程中产生数据丢失、导致汇聚后的全域数据与某个现场实时产生的局部数据不一致、不准确、不完整。如果不能进行准确校验处理，将对生产现场状况产生误判，产生不符合生产现场实际情况的分析结果，在安全与效益方面带来巨大的隐患。
发明内容
本发明实施方式的目的是提供一种实时数据汇聚的一致性校验方法及系统，以至少解决生产现场向数据库内数据传输过程中因网络故障等原因致使数据丢失导致的汇聚后全域数据与现场实时产生的局部数据不一致的问题。
为了实现上述目的，本发明第一方面提供一种实时数据汇聚的一致性校验方法，由采集器执行，包括：
将实时采集数据传输至服务端进行存储入库；
根据获取的数据入库结果，确定成功入库数据；
将成功入库数据与对应的采集数据进行一致性比对，获得比对结果。
本方法通过比对数据入库后与采集时的信息，确认数据的完好情况。
可选的，所述实时采集数据以数据包形式传输至服务端；
所述将实时采集数据传输至服务端进行存储入库，包括：
利用预定义的规则对实时采集数据进行过滤，并对过滤后数据进行暂存处理；
当暂存数据的条数达到设定的阈值时，对暂存数据进行打包压缩处理以生成数据包；
将所述数据包发送至消息服务器进行缓存，以使服务端从消息服务器接收所述数据包。
以数据包的形式传输数据，确保了再少量损失实时性的同时，降低网络传输的并发程度，提高数据传输的有效性和并保证数据传输的成功率；对数据进行过滤，可以减少无效数据，降低数据集的大小；对数据进行压缩，可以减少网络传输IO。
可选的，所述将所述数据包发送至消息服务器，包括：
每次将N个待发送的数据包列入待发送队列，采用异步发送的方式将待发送队列中的数据包发送至消息服务器。
可选的，所述将待发送队列中的数据包发送至消息服务器，还包括：
确认待发送队列中的每一数据包是否成功发送至消息服务器：
若是，则将成功发送的数据包列入待确认队列，否则，重新发送未成功发送的数据包。
将数据包分为待发送和待确认两部分，可以通过监控这两部分的数据包来确定数据包是否发送成功以及存储成功；而异步发送的方式可以提升数据的发送速度。
可选的，所述重新发送未成功发送的数据包，包括：
监控待发送队列中的待发送的数据包的发送时间，若一数据包的发送时间超过T1，则给出一次重发警报；
若重发警报次数大于N1，则采用同步发送的方式发送一个数据包到消息服务器；
若同步发送的数据包发送失败，则表示当前传输网络或者消息服务器出现异常，发出异常通知；若同步发送的数据包发送成功，则循环采用异步发送的方式发送后续的数据包，直到待发送队列中不存在发送时间超出T1的数据包。
当数据包发送失败时，采集器会重新发送数据包，数据包重发保证了在发生含消息队列服务不可用时(例如网络问题)，数据能够再次发送出去。
可选的，所述方法还包括：获取入库结果，包括：
通过接口查询服务端生成的数据入库结果；或
接受服务端通过消息服务器推送的数据入库结果。
采集器通过主动查询和被动接收两种方式来确认入库结果，当需要立刻查询时，就可采用主动查询的方式，而被动接收则具有持续性，服务端在完成数据存储后会持续的推送入库结果。
可选的，所述方法还包括：
响应于服务器发送的补发指令，对未成功入库数据进行补发：
监控待确认队列中的数据包的发送时间，若数据包的发送时间超过T2，则给出一次补发警报；
若补发警报的次数大于N2，则直接查询数据入库结果；
如果查询时间超时，表示传输网络或者服务端出现异常，发出异常通知；如果查询时间不超时，则根据数据入库结果判断数据入库是否成功；
如果成功，则从待确认队列中删除成功入库的数据包，如果不成功，则将未成功入库的数据包从待确认队列移动到待发送队列，等待后续发送；
循环查询数据入库结果进行判断处理，直到待确认队列中不存在发送时间超过T2的数据包。
采集器通过监控待确认队列的数据包和入库结果，可以发现数据是否入库成功，对不成功的数据重新补发，数据补发弥补了当数据入库不成功造成的前后数据不一致的问题。
可选的，所述服务端通过消息服务器将入库结果推送给采集器包括：
服务端监控入库日志，当日志数量超过N3或者数据的入库时间间隔超过T3时，服务端将数据的入库结果发送给消息服务器，采集器从消息服务器接收入库结果，根据数据的入库结果在待确认队列中找到对应的数据包进行确认，其中，T3为预设的时间间隔，N3为收到单个采集器发送的数据包且未回发确认的数量。
服务端通过监控入库日志，确保在规定的时间内反馈入库结果，避免出现入库不成功，但是采集器并未接收到不成功的消息而不补发数据包的问题。
本发明第二方面提供一种实时数据汇聚的一致性校验方法，由服务端执行，包括：
对接收自采集器的实时采集数据执行数据存储入库，并在每一数据存储入库过程中形成入库日志；
监控每一入库日志，生成数据入库结果；
将数据入库结果传输至采集器，以使采集器根据数据入库结果将成功入库数据与对应的实时采集数据进行一致性比对。
可选的，所述将数据入库结果传输至采集器，包括：
监控每一入库日志，当入库日志数量超过N3或者每一数据存储入库之间的时间间隔超过T3时，将数据入库结果发送给消息服务器，以使采集器从消息服务器接收数据入库结果。
本发明第三方面提供一种实时数据汇聚的一致性校验系统，包括：
采集器，用于采集数据，以及获取数据的入库结果，根据入库结果，将采集的数据与入库的数据进行一致性比对；
所述消息服务器，用于转存数据；
所述服务端，用于接收数据，并将接收的数据进行存储入库，同时监控在数据存储过程中形成的入库日志，生成数据的入库结果；
所述数据库，用于存储数据。
本系统通过采集器采集现场数据，对数据进行过滤并进行压缩传输，从而减少了网络传输和存储量，解决了实时数据量大和容易产生网络拥堵的问题；通过高吞吐量高性能并可弹性扩展的消息服务器进行传输，保证了网络正常情况下的数据高速传输；通过NoSQL数据库存储大容量的数据，并能提供快速的查询性能。
上述技术方案，突破了传统现场数据采集方法在广域网环境下，没有数据一致性保护机制的难题，本技术方案能够在丢失数据、数据无法补回的情况下，使得企业能利用完整的实时现场数据进行正确的分析和决策。
同时，本方案还具有高并发、高吞吐量和高可用的特点，在增加硬件资源时能线性的提高性能，对所支撑的测点没有上限，能支撑大型集团化公司对下属厂矿的现场数据汇聚要求。
本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：
图1是本发明一种实施方式提供的一种实时数据汇聚的一致性校验系统的结构框架示意图；
图2是本发明一种实施方式提供的一种实时数据汇聚的一致性校验方法的流程示意图；
图3是本发明一种实施方式提供的采集器发送数据的流程示意图；
图4是本发明一种实施方式提供的服务端接收数据的流程示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
图1是本发明一种实施方式提供的一种实时数据汇聚的一致性校验系统的结构框架示意图。如图1所示，本发明实施方式提供一种实时数据汇聚的一致性校验系统，该系统主要包括四个部分：采集器、消息服务器、服务端和NoSQL数据库。
其中，采集器负责现场数据的采集和发送，采集器支持多种协议和接口的数据源，具有数据过滤、压缩、打包、重发等功能。当管理网和控制网分离时，需要在网闸内和网闸外分别部署采集器。网闸内的采集器负责数据收集和处理工作，网闸外采集器主要负责数据发送工作。网闸外的数据采集现场实时数据传输给网闸内的采集器，网闸内的采集器对数据依次进行过滤、压缩、打包后生成数据包，生成的数据包采用异步发送的方式发送给消息服务器，异步发送机制可提升发送的效率。
消息服务器主要起到一个数据转存的作用，消息服务器采用集群的形式，即保证了消息服务的可用性又使得其吞吐量可横向扩展。采集器传输来的数据包在消息服务器集群上暂存，而后再转发给服务端，服务端返回的用于进行确认的确认数据包也先传输至消息服务器上暂存，而后转发给采集器。
服务端负责接收数据以及将数据入库，服务端同样采用集群机制，提升了可用性和吞吐量。服务端从消息服务器处接收数据包，对数据包进行解压、解包，而后将解包后的数据存入至数据库，在存入过程中生成入库日志，实时监测数据入库结果，并将数据入库结果回传给消息服务器，或者通过一个数据接口，由采集器直接通过接口查询数据入库结果。
数据库负责数据的存储，数据库采用NoSQL数据库，通过分片机制，提供高速插入和查询性能。
图2是本发明一种实施方式提供的一种实时数据汇聚的一致性校验方法的流程示意图。如图2所示，本发明实施方式提供一种实时数据汇聚的一致性校验方法，该方法主要由采集器和服务端二者配合实现，采集器主要实现数据采集、数据发送和数据校验，服务端主要实现数据接收和确认结果推送。
本方法主要包括：采集器从外部采集数据并对数据进行处理生成数据包，经过处理后的数据包发送至消息服务器中的消息队列缓存；服务端从所述消息服务器的消息队列中接收数据包，并将数据包处理为数据后存储到数据库，在数据存储的过程中形成入库日志，服务端监控入库日志，输出数据的入库结果；采集器获取入库结果，将入库的数据与采集的数据进行一致性比对。
在本实施例中，采集器采集数据进行处理发送的具体过程如下：
采集器从外部接口获得实时数据，每当有新数据到来时，数据过滤器利用预先配置的过滤规则对新来的数据进行过滤，以减少无效数据，降低数据集的大小，过滤后的数据进行暂存，当暂存的数据条数达到一定的阈值时，数据被压缩打包，等待被发送；如图3所示，将等待发送对数据包列入待发送队列，采用异步发送的方式将待发送的数据包发送至消息服务器，异步发送可以提升数据的发送速度。如果数据包被成功发送至消息服务器，则将数据包列入待确认队列，如果数据包发送不成功，则采集器重新发送数据包。
数据重发保证了当消息队列服务不可以用时，数据能够再次的发送出去，例如当传输网络出现问题，系统会通知管理员进行查看，确保数据的发送成功。
在本实施例中，服务端接收数据包进行存储的具体过程包括：
如图4所示，服务端多线程的从消息服务器处接收数据包，对数据包进行解压解包后得到数据，将数据存入数据库，如果存储成功，则将数据包信息记录在数据库中形成入库日志，如果存储不成功，则通知采集器补发数据。
入库日志是服务端发送入库确认和采集器主动查询入库确认的基础。由于采集的数据比较多，所以只需保留一定时间窗口内的日志，定期清理超过时间窗口的日志。
服务端在完成数据的接收存储后，还需返回入库结果，采集器根据入库结果来确认数据是否发送成功。在本实施例中，采集器可直接通过接口查询入库结果，也可从消息服务器处接收由服务端返回的入库结果。通过主动查询和被动接收两种方式来确认入库结果，当需要立刻查询时，就可采用主动查询的方式，而被动接收则具有持续性，服务端在完成数据存储后会持续的推送入库结果。
采集器会根据入库结果对发送的数据进行判断，如果入库失败，采集器会根据返回的入库结果，再次补发对应的数据，避免数据出现遗漏，保证数据的一致性。
在一些可行的实施例中，采集器重新发送数据包的具体过程包括：
采集器监控待发送队列中的数据包的发送时间，若数据包发送时间超过T1，则给出一次重发警报，若重发警报次数大于N1，则采用同步发送的方式发送一个数据包到消息队列；若该数据包发送失败，则表示当前传输网络或者消息服务器出现异常，发出异常通知给管理员；若该数据包发送成功，则循环采用异步发送的方式发送后续的数据包，直到待发送队列中不存在发送时间超出T1的数据包；同步发送需要获得接收端的回应确认，利于判传输异常，而异步发送的效率更高，当传输不存在异常后，采用异步发送的方式能够提供传输效率，其中，T1为预设的超时重发时间，默认2分钟，N1为预设的重发警报次数上限，默认值为100。
在一些可行的实施例中，采集器补发数据具体过程包括：
采集器监控待确认队列中数据包的发送时间，若数据包发送时间超过T2，则给出一次补发警报，若补发警报的次数大于N2，则采集器直接通过接口查询入库结果，如果查询时间超时，则表示传输网络或者服务端出现异常，发送异常通知给管理员；如果查询时间不超时，则根据入库结果判断入库是否成功，如果成功，则从待确认队列中删除成功入库的数据包，如果不成功，则将未成功入库的数据包从待确认队列移动到待发送队列，等待后续发送；循环查询数据入库结果进行判断处理，直到待确认队列中不存在发送时间超过T2的数据包。其中，T2为预设的确认补发时间，N2为预设的补发报警次数上限，循环的从服务端查询入库结果进行处理，直到待确认队列中没有发送时间超过T2的数据包。
在一些可行的实施例中，服务端向采集器主动推送入库结果具体过程包括：
服务端监控入库日志，当日志数量超过N3或者数据的入库时间间隔超过T3时，服务端将数据的入库结果发送给消息服务器，采集器从消息服务器接收入库结果，根据数据的入库结果在待确认队列中找到对应的数据包进行确认，其中，T3为预设的时间间隔，N3为收到单个采集器发送的数据包且未回发确认的数量。若入库成功，则在确认入库成功后并从待确认队列中将该数据包删除，若入库失败，则需要采集器重新发送数据，再一次入库。
本实施例提供的技术方案采用“数据过滤-数据收集-数据压缩-数据发送-数据接收-数据解压-数据存储-一致性校验-数据重发/补发”的处理方式确保数据的一致性。在整个过程中，实时采集运输生产现场的数据信息，采用高可用机制，保证数据的低丢失率，再辅以服务端校验结果，采集器通过被动接收和主动查询校验结果的双重机制进行查缺补漏，保证了数据的最终一致性。在重发和补发时，考虑了网络和服务的动态可用性，避免了无意义的数据发送，减少了硬件和网络资源的浪费。同时加入了管理员通知机制，当网络和服务出现问题时，使得故障时管理员能及时介入，查找并解决问题。本技术方案解决了因不能进行准确校验处理，导致智能运输安全生产监控系统对生产现场状况产生误判，并产生不符合生产现场实际情况的分析结果的问题，给露天煤矿智能运输与安全生产在安全与效益方面带来了巨大的提升。
本领域技术人员可以理解实现上述实施方式的方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上结合附图详细描述了本发明的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。
Claims (5)
1.一种实时数据汇聚的一致性校验方法，由采集器执行，其特征在于，包括：
将实时采集数据传输至服务端进行存储入库；
根据获取的数据入库结果，确定成功入库数据；
将成功入库数据与对应的采集数据进行一致性比对，获得比对结果；
所述实时采集数据以数据包形式传输至服务端；
所述将实时采集数据传输至服务端进行存储入库，包括：
利用预定义的规则对实时采集数据进行过滤，并对过滤后数据进行暂存处理；
当暂存数据的条数达到设定的阈值时，对暂存数据进行打包压缩处理以生成数据包；
将所述数据包发送至消息服务器进行缓存，以使服务端从消息服务器接收所述数据包；
所述将所述数据包发送至消息服务器，包括：
每次将N个待发送的数据包列入待发送队列，采用异步发送的方式将待发送队列中的数据包发送至消息服务器；
所述将待发送队列中的数据包发送至消息服务器，还包括：
确认待发送队列中的每一数据包是否成功发送至消息服务器：
若是，则将成功发送的数据包列入待确认队列，否则，重新发送未成功发送的数据包；
所述重新发送未成功发送的数据包，包括：
监控待发送队列中的数据包的发送时间，若一数据包的发送时间超过T1，则给出一次重发警报；
若重发警报次数大于N1，则采用同步发送的方式发送一个数据包到消息服务器；
若同步发送的数据包发送失败，则表示当前传输网络或者消息服务器出现异常，发出异常通知；若同步发送的数据包发送成功，则循环采用异步发送的方式发送后续的数据包，直到待发送队列中不存在发送时间超出T1的数据包。
2.根据权利要求1所述的实时数据汇聚的一致性校验方法，其特征在于，所述方法还包括：获取入库结果，包括：
通过接口查询服务端生成的数据入库结果；或
接受服务端通过消息服务器推送的数据入库结果。
3.根据权利要求2所述的实时数据汇聚的一致性校验方法，其特征在于，所述方法还包括：
响应于服务器发送的补发指令，对未成功入库数据进行补发：
监控待确认队列中的数据包的发送时间，若数据包的发送时间超过T2，则给出一次补发警报；
若补发警报的次数大于N2，则直接查询数据入库结果；
如果查询时间超时，表示传输网络或者服务端出现异常，发出异常通知；如果查询时间不超时，则根据数据入库结果判断数据入库是否成功；
如果成功，则从待确认队列中删除成功入库的数据包，如果不成功，则将未成功入库的数据包从待确认队列移动到待发送队列，等待后续发送；
循环查询数据入库结果进行判断处理，直到待确认队列中不存在发送时间超过T2的数据包。
4.根据权利要求2所述的实时数据汇聚的一致性校验方法，其特征在于，所述服务端通过消息服务器将入库结果推送给采集器，包括：
服务端监控入库日志，当日志数量超过N3或者数据的入库时间间隔超过T3时，服务端将数据的入库结果发送给消息服务器，采集器从消息服务器接收入库结果，根据数据的入库结果在待确认队列中找到对应的数据包进行确认，其中，T3为预设的时间间隔，N3为收到单个采集器发送的数据包且未回发确认的数量。
5.一种实时数据汇聚的一致性校验系统，其特征在于，包括：
采集器，用于：
实时采集数据，并将实时采集数据传输至服务端；
获取数据入库结果，并根据获取的数据入库结果确定成功入库数据；
将成功入库数据与对应的采集数据进行一致性比对；
所述实时采集数据以数据包形式传输至服务端；
将实时采集数据传输至服务端进行存储入库，包括：
利用预定义的规则对实时采集数据进行过滤，并对过滤后数据进行暂存处理；
当暂存数据的条数达到设定的阈值时，对暂存数据进行打包压缩处理以生成数据包；
将所述数据包发送至消息服务器进行缓存，以使服务端从消息服务器接收所述数据包；
所述将所述数据包发送至消息服务器，包括：
每次将N个待发送的数据包列入待发送队列，采用异步发送的方式将待发送队列中的数据包发送至消息服务器；
所述将待发送队列中的数据包发送至消息服务器，还包括：
确认待发送队列中的每一数据包是否成功发送至消息服务器：
若是，则将成功发送的数据包列入待确认队列，否则，重新发送未成功发送的数据包；
所述重新发送未成功发送的数据包，包括：
监控待发送队列中的数据包的发送时间，若一数据包的发送时间超过T1，则给出一次重发警报；
若重发警报次数大于N1，则采用同步发送的方式发送一个数据包到消息服务器；
若同步发送的数据包发送失败，则表示当前传输网络或者消息服务器出现异常，发出异常通知；若同步发送的数据包发送成功，则循环采用异步发送的方式发送后续的数据包，直到待发送队列中不存在发送时间超出T1的数据包；
消息服务器，用于转存实时采集数据；
所述服务端，用于：
接收实时采集数据，并对接收的实时采集数据执行数据存储入库；
在每一数据存储入库过程中形成入库日志，并监控每一入库日志，生成数据入库结果；
数据库，用于存储实时采集数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210623417.8A CN115190036B (zh) | 2022-06-02 | 2022-06-02 | 一种实时数据汇聚的一致性校验方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210623417.8A CN115190036B (zh) | 2022-06-02 | 2022-06-02 | 一种实时数据汇聚的一致性校验方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115190036A CN115190036A (zh) | 2022-10-14 |
| CN115190036B true CN115190036B (zh) | 2024-01-16 |
Family
ID=83513506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210623417.8A Active CN115190036B (zh) | 2022-06-02 | 2022-06-02 | 一种实时数据汇聚的一致性校验方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115190036B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101478623A (zh) * | 2009-02-02 | 2009-07-08 | 中国网络通信集团公司 | 话单传输方法及系统 |
| CN106649496A (zh) * | 2016-10-10 | 2017-05-10 | 国信优易数据有限公司 | 一种政务数据采集共享系统与方法 |
| CN107818106A (zh) * | 2016-09-13 | 2018-03-20 | 腾讯科技（深圳）有限公司 | 一种大数据离线计算数据质量校验方法和装置 |
| CN108933798A (zh) * | 2017-05-23 | 2018-12-04 | 杭州海康威视数字技术股份有限公司 | 数据存储方法、存储服务器及系统 |
| CN110515927A (zh) * | 2019-08-28 | 2019-11-29 | 中国工商银行股份有限公司 | 数据处理方法及其系统、电子设备和介质 |
| CN111614712A (zh) * | 2020-03-13 | 2020-09-01 | 北京旷视科技有限公司 | 数据校验系统、方法、装置、服务器及存储介质 |
| CN113965576A (zh) * | 2021-11-19 | 2022-01-21 | 湖南快乐阳光互动娱乐传媒有限公司 | 基于容器的大数据采集方法、装置、存储介质和设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109408108A (zh) * | 2018-10-12 | 2019-03-01 | 天津理工大学 | 一种基于区块链的软件版本数据管理系统及建立方法 |
-
2022
- 2022-06-02 CN CN202210623417.8A patent/CN115190036B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101478623A (zh) * | 2009-02-02 | 2009-07-08 | 中国网络通信集团公司 | 话单传输方法及系统 |
| CN107818106A (zh) * | 2016-09-13 | 2018-03-20 | 腾讯科技（深圳）有限公司 | 一种大数据离线计算数据质量校验方法和装置 |
| CN106649496A (zh) * | 2016-10-10 | 2017-05-10 | 国信优易数据有限公司 | 一种政务数据采集共享系统与方法 |
| CN108933798A (zh) * | 2017-05-23 | 2018-12-04 | 杭州海康威视数字技术股份有限公司 | 数据存储方法、存储服务器及系统 |
| CN110515927A (zh) * | 2019-08-28 | 2019-11-29 | 中国工商银行股份有限公司 | 数据处理方法及其系统、电子设备和介质 |
| CN111614712A (zh) * | 2020-03-13 | 2020-09-01 | 北京旷视科技有限公司 | 数据校验系统、方法、装置、服务器及存储介质 |
| CN113965576A (zh) * | 2021-11-19 | 2022-01-21 | 湖南快乐阳光互动娱乐传媒有限公司 | 基于容器的大数据采集方法、装置、存储介质和设备 |
Non-Patent Citations (1)
| Title |
|---|
| 数据副本一致性的算法研究与实现;余安东;翟大海;苏瑾;;计算机应用研究(S1);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115190036A (zh) | 2022-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112118174B (zh) | 软件定义数据网关 | |
| CN109460339B (zh) | 日志的流式计算系统 | |
| CN110855493B (zh) | 用于混合环境的应用拓扑图绘制装置 | |
| CN109102691B (zh) | 一种基于链表的电能表事件主动上报处理方法 | |
| CN115190036B (zh) | 一种实时数据汇聚的一致性校验方法及系统 | |
| CN110505307B (zh) | 一种网间交通流数据的交换方法及系统 | |
| US20100088402A1 (en) | Manager, agent, system, and transmission control method | |
| CN117792872A (zh) | 基于5g网络的智能电能表数据采集与分析系统 | |
| CN110908956B (zh) | 一种保信主站系统及其故障信息归档方法 | |
| CN115396752B (zh) | 一种基于Redis的双平面采集数据方法及系统 | |
| CN111970346A (zh) | 物联网数据传输方法及系统 | |
| US20130282846A1 (en) | System and method for processing similar emails | |
| Lee et al. | Monitoring of IoT data for reducing network traffic | |
| CN113485176B (zh) | 一种车辆数据采集缓存重发方法及远程监控终端 | |
| CN103268353B (zh) | 电网报警自动响应系统及电网报警自动响应方法 | |
| CN114697329A (zh) | 一种基于云计算移动网络资源管理的hpc云计算系统 | |
| CN113965447B (zh) | 一种在线云诊断方法、装置、系统、设备及存储介质 | |
| CN115460072A (zh) | 集日志收集、解析、存储与服务为一体的日志处理系统 | |
| CN112187873B (zh) | 车联网数据智能分发方法、装置及系统 | |
| CN101072202A (zh) | 一种电子邮件的监控方法及监控系统 | |
| CN115914418B (zh) | 一种铁路接口网关设备 | |
| CN109586968A (zh) | 大数据平台的日志处理方法和大数据平台的日志处理系统 | |
| CN116389584B (zh) | 电化学储能站云边数据传输方法 | |
| CN115292079A (zh) | 一种大数据平台的数据巡检及备份方法 | |
| CN115934687A (zh) | 两级系统变更数据贯通方法、装置、存储介质及计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 7A, West Side, Central Axis International, No. 19 Anwai West Binhe Road, Dongcheng District, Beijing, 100000 Applicant after: Shenhua Hollysys Information Technology Co.,Ltd. Address before: 100000 4th floor, No. 10, Jiancai Chengzhong Road, Xisanqi, Haidian District, Beijing Applicant before: Guoneng Wangxin Technology (Beijing) Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |