CN109871360A - 生产系统的监控方法和监控系统 - Google Patents
生产系统的监控方法和监控系统 Download PDFInfo
- Publication number
- CN109871360A CN109871360A CN201811625282.9A CN201811625282A CN109871360A CN 109871360 A CN109871360 A CN 109871360A CN 201811625282 A CN201811625282 A CN 201811625282A CN 109871360 A CN109871360 A CN 109871360A
- Authority
- CN
- China
- Prior art keywords
- message
- record
- buffer
- monitoring
- receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明的生产系统的监控方法和监控系统，其中生产系统的监控系统包括：备份库，与生产库连接；消息中心，与备份库连接；监控数据处理中心，与消息中心、备份库分别连接；监控库，与监控数据处理中心连接。生产系统的监控方法包括：步骤一、对生产库的每条记录的变化进行备份；步骤二、接收并处理备份的消息；步骤三、接收并展示处理后的消息。本发明的优点：不会对生产库造成影响；本系统基于增量来更新进度，不需要每次汇总计算结果；系统可以利用多核计算的优势来多线程并行计算，提高性能；不必每次进行数据库查询，提高性能；本系统有数据容错机制，对于网络延迟或者错误造成的消息重发、乱序都能正确处理。
Description
技术领域
本发明涉及生产管理领域，具体涉及一种生产系统的监控方法和监控系统。
背景技术
在电商的生产加工系统中，需要实时监控各道工序的生产进度，比如加工进度、分拣进度、发运进度等，根据各工序实时进度来合理调配资源，保证生产的正常进行。监控系统的稳定性、实时性和数据准确性，对企业生产流程有着较大的影响。
在一般的进度监控系统中，是在用户需要查询进度时，直接从生产数据库中查询、汇总计算结果然后展现；或者定时从生产数据库中查询，然后汇总计算出结果后，保存到一个进度结果数据库中，用户再从结果库中查询，不论哪一种方案，都会频繁的查询生产数据库，造成生产数据库压力过大，影响生产流程。而且在电商数据量大的时候，数据变化频繁，每次汇总计算结果的工作量巨大，结果展现延迟，影响监控结果的实时性。
设计一种对生产数据库影响较小、并且实时性更好的生产进度监控系统，是电商企业的必然需求。
发明内容
本发明要解决的技术问题是提供一种效率较高的生产系统的监控方法和监控系统。
本发明的生产系统的监控系统，包括：
备份库，与生产库连接，用于对生产库的每条记录的变化进行备份；
消息中心，与备份库连接，用于接收备份库的消息；
监控数据处理中心，与消息中心、备份库分别连接，用于订阅、接收并处理消息中心的消息；
监控库，与监控数据处理中心连接，用于接收并展示监控数据处理中心处理的消息。
本发明的生产系统的监控系统，其中，所述监控数据处理中心包括：
获取器，与消息中心、备份库分别连接，用于接收消息中心的消息，并按消息的ID从备份库检索出记录；
比较计算器，与获取器连接，用于接收获取器传递的记录；
缓存器，与比较计算器连接，所述比较计算器将所述记录放入缓存器，并与缓存器中数据比较后更新缓存器，计算所述记录的递增量；
结果库，与比较计算器连接，用于接收比较计算器的计算结果。
本发明的生产系统的监控方法，包括：
步骤一、对生产库的每条记录的变化进行备份；
步骤二、接收并处理备份的消息；
步骤三、接收并展示处理后的消息。
本发明的生产系统的监控方法，其中，所述步骤二接收并处理备份的消息包括：
接收消息，并按消息的ID检索出备份的记录；
接收所述记录，将所述记录放入缓存器，并与缓存器中数据比较后更新缓存器，计算所述记录的递增量；
将计算结果写入结果库。
本发明的生产系统的监控方法，其中，所述与缓存器中数据比较后更新缓存器，计算所述记录的递增量包括：取出缓存器中对应的缓存数据，如果缓存器中不存在，记录为新增的数据，计算所述记录的递增量，和缓存中的旧数据比较，如果状态发生改变，将相应状态的进度完成数相应递增，将新增的进度总数、各进度完成数累加到结果库。
本发明的优点：本系统不查询生产库，不会对生产库造成影响；本系统基于增量来更新进度，不需要每次汇总计算结果；由于只是基于增量来计算进度，各增量之间互不影响，系统可以利用多核计算的优势来多线程并行计算，提高性能；对上一次的来源数据和结果进行缓存，不必每次进行数据库查询，提高性能；本系统有数据容错机制，对于网络延迟或者错误造成的消息重发、乱序都能正确处理。
附图说明
图1为本发明的生产系统的监控系统的结构图；
图2为监控数据处理中心的工作流程图；
图3为本发明的生产系统的监控系统在消息正常顺序发送时的工作流程图；
图4为本发明的生产系统的监控系统在消息乱序发送时的工作流程图；
图5为本发明的生产系统的监控系统在数据并发处理时的工作流程图。
具体实施方式
如图1、图2所示，本发明的生产系统的监控系统，包括：
备份库，与生产库连接，用于对生产库的每条记录的变化进行备份；
消息中心，与备份库连接，用于接收备份库的消息；
监控数据处理中心，与消息中心、备份库分别连接，用于订阅、接收并处理消息中心的消息；
监控库，与监控数据处理中心连接，用于接收并展示监控数据处理中心处理的消息。
本发明的生产系统的监控系统，其中，所述监控数据处理中心包括：
获取器，与消息中心、备份库分别连接，用于接收消息中心的消息，并按消息的ID从备份库检索出记录；
比较计算器，与获取器连接，用于接收获取器传递的记录；
缓存器，与比较计算器连接，所述比较计算器将所述记录放入缓存器，并与缓存器中数据比较后更新缓存器，计算所述记录的递增量；
结果库，与比较计算器连接，用于接收比较计算器的计算结果。
本发明的生产系统的监控方法，包括：
步骤一、对生产库的每条记录的变化进行备份；
步骤二、接收并处理备份的消息；
步骤三、接收并展示处理后的消息。
本发明的生产系统的监控方法，其中，所述步骤二接收并处理备份的消息包括：
接收消息，并按消息的ID检索出备份的记录；
接收所述记录，将所述记录放入缓存器，并与缓存器中数据比较后更新缓存器，计算所述记录的递增量；
将计算结果写入结果库。
本发明的生产系统的监控方法，其中，所述与缓存器中数据比较后更新缓存器，计算所述记录的递增量包括：取出缓存器中对应的缓存数据，如果缓存器中不存在，记录为新增的数据，计算所述记录的递增量，和缓存中的旧数据比较，如果状态发生改变，将相应状态的进度完成数相应递增，将新增的进度总数、各进度完成数累加到结果库。
本发明的生产系统的监控系统利用了生产库会将每条记录的变化同步备份到备份库的特点，在同步备份的时候发出消息，数据处理中心订阅感兴趣的消息，消息中心收到同步消息后，将消息发送到数据处理中心。数据处理中心处理消息，将结果写入监控库供界面展现。
监控数据处理中心的工作流程如下：
1)、接收到一批消息后，因为消息只包含记录id，所以从备份库中按照id检索出记录；
2)、放入缓存，同时取出缓存中对应的的缓存数据，如果缓存中不存在，那么表示是新增的数据，本次进度总数递增；
3)、和缓存中的旧数据比较，如果状态发生改变(加工、分拣、发运等)，相应状态的进度完成数递增；
4)、将本次新增的进度总数、各进度完成数累加到进度结果数据库。
消息乱序发送和重复发送的处理
乱序：由于消息中心的发送机制原因(异步消息)，消息到达的顺序是不保证按照原始顺序的。以订单加工为例，如图3所示，正常消息顺序是：创建订单，加工完成，分拣完成，正常处理流程是先总数加1，接着加工进度加1，然后分拣进度加1。
如果乱序发送，如图4所示，比如顺序是：加工完成，创建订单，分拣完成。那么系统接收到第一个加工完成的消息时，发现缓存中没有该数据，那么会将总数加1，然后根据当前状态加工完成，将加工进度加1，再接收到创建订单的消息时，由于缓存中已经有了该订单，且状态是加工完成，那么这条消息会被丢弃，就不会将总数加1了。同理，如果分拣完成和加工完成顺序乱了，先接收到分拣完成消息的时候，如果发现缓存中状态还没有加工完成，那么就会将加工进度加1后再将分拣进度加1，再接收到加工完成的消息的时候，因为缓存中的状态已经是分拣完成，所以不会再将加工进度加1。
重复发送：由于网络或者是程序错误，消息在发送失败后会重复发送。重复发送的处理机制和乱序发送类似，如果在缓存中的订单状态和当前消息中的订单状态一样甚至更靠后，那么不再处理。
数据并发处理机制：消息的发送机制是多线程并发的，由于数据处理只是处理增量值，也就是每个线程相对于最终结果的偏移量，所以各线程之间互不影响，如图5所示，最后结果只需要加上各线程的结果即可。
本发明的优点：
1.本系统不查询生产库，不会对生产库造成影响；
2.本系统基于增量来更新进度，不需要每次汇总计算结果；
3.由于只是基于增量来计算进度，各增量之间互不影响，系统可以利用多核计算的优势来多线程并行计算，提高性能；
4.对上一次的来源数据和结果进行缓存，不必每次进行数据库查询，提高性能；
5.本系统有数据容错机制，对于网络延迟或者错误造成的消息重发、乱序都能正确处理。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (5)
1.一种生产系统的监控系统，其特征在于，包括：
备份库，与生产库连接，用于对生产库的每条记录的变化进行备份；
消息中心，与备份库连接，用于接收备份库的消息；
监控数据处理中心，与消息中心、备份库分别连接，用于订阅、接收并处理消息中心的消息；
监控库，与监控数据处理中心连接，用于接收并展示监控数据处理中心处理的消息。
2.根据权利要求1所述的生产系统的监控系统，其特征在于，所述监控数据处理中心包括：
获取器，与消息中心、备份库分别连接，用于接收消息中心的消息，并按消息的ID从备份库检索出记录；
比较计算器，与获取器连接，用于接收获取器传递的记录；
缓存器，与比较计算器连接，所述比较计算器将所述记录放入缓存器，并与缓存器中数据比较后更新缓存器，计算所述记录的递增量；
结果库，与比较计算器连接，用于接收比较计算器的计算结果。
3.一种生产系统的监控方法，其特征在于，包括：
步骤一、对生产库的每条记录的变化进行备份；
步骤二、接收并处理备份的消息；
步骤三、接收并展示处理后的消息。
4.根据权利要求3所述的生产系统的监控方法，其特征在于，所述步骤二接收并处理备份的消息包括：
接收消息，并按消息的ID检索出备份的记录；
接收所述记录，将所述记录放入缓存器，并与缓存器中数据比较后更新缓存器，计算所述记录的递增量；
将计算结果写入结果库。
5.根据权利要求4所述的生产系统的监控方法，其特征在于，所述与缓存器中数据比较后更新缓存器，计算所述记录的递增量包括：取出缓存器中对应的缓存数据，如果缓存器中不存在，记录为新增的数据，计算所述记录的递增量，和缓存中的旧数据比较，如果状态发生改变，将相应状态的进度完成数相应递增，将新增的进度总数、各进度完成数累加到结果库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811625282.9A CN109871360A (zh) | 2018-12-28 | 2018-12-28 | 生产系统的监控方法和监控系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811625282.9A CN109871360A (zh) | 2018-12-28 | 2018-12-28 | 生产系统的监控方法和监控系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109871360A true CN109871360A (zh) | 2019-06-11 |
Family
ID=66917274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811625282.9A Pending CN109871360A (zh) | 2018-12-28 | 2018-12-28 | 生产系统的监控方法和监控系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109871360A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100030826A1 (en) * | 2008-07-30 | 2010-02-04 | International Business Machines Corporation | Production-alternate system including production system for processing transactions and alternate system as a backup system of the production system |
| CN102841897A (zh) * | 2011-06-23 | 2012-12-26 | 阿里巴巴集团控股有限公司 | 一种实现增量数据抽取的方法、装置及系统 |
| CN104007732A (zh) * | 2014-06-05 | 2014-08-27 | 南昌弘益科技有限公司 | 生产状态监控系统 |
| CN105357061A (zh) * | 2015-12-11 | 2016-02-24 | 普华基础软件股份有限公司 | 一种基于大数据流处理技术的运维监控分析系统 |
| CN107302569A (zh) * | 2017-06-08 | 2017-10-27 | 武汉火凤凰云计算服务股份有限公司 | 一种面向云平台的安全监控数据采集与存储方法 |
| CN107301196A (zh) * | 2017-05-03 | 2017-10-27 | 北京小度信息科技有限公司 | 数据同步方法、装置、设备及监控服务器 |
| CN108121636A (zh) * | 2017-12-15 | 2018-06-05 | 安徽长泰信息安全服务有限公司 | 一种异地数据库容灾备份方法及装置 |
| CN108549651A (zh) * | 2018-03-05 | 2018-09-18 | 陈玉洪 | 一种主、备数据库同步方法和系统 |
-
2018
- 2018-12-28 CN CN201811625282.9A patent/CN109871360A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100030826A1 (en) * | 2008-07-30 | 2010-02-04 | International Business Machines Corporation | Production-alternate system including production system for processing transactions and alternate system as a backup system of the production system |
| CN102841897A (zh) * | 2011-06-23 | 2012-12-26 | 阿里巴巴集团控股有限公司 | 一种实现增量数据抽取的方法、装置及系统 |
| CN104007732A (zh) * | 2014-06-05 | 2014-08-27 | 南昌弘益科技有限公司 | 生产状态监控系统 |
| CN105357061A (zh) * | 2015-12-11 | 2016-02-24 | 普华基础软件股份有限公司 | 一种基于大数据流处理技术的运维监控分析系统 |
| CN107301196A (zh) * | 2017-05-03 | 2017-10-27 | 北京小度信息科技有限公司 | 数据同步方法、装置、设备及监控服务器 |
| CN107302569A (zh) * | 2017-06-08 | 2017-10-27 | 武汉火凤凰云计算服务股份有限公司 | 一种面向云平台的安全监控数据采集与存储方法 |
| CN108121636A (zh) * | 2017-12-15 | 2018-06-05 | 安徽长泰信息安全服务有限公司 | 一种异地数据库容灾备份方法及装置 |
| CN108549651A (zh) * | 2018-03-05 | 2018-09-18 | 陈玉洪 | 一种主、备数据库同步方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| QICHANGJIAN: "生产库，查询库和测试库的区别" * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10552287B2 (en) | Performance metrics for diagnosing causes of poor performing virtual machines | |
| US11182404B2 (en) | Data replication technique in database management system | |
| WO2020233212A1 (zh) | 一种日志记录的处理方法、服务器及存储介质 | |
| US9026679B1 (en) | Methods and apparatus for persisting management information changes | |
| US9130971B2 (en) | Site-based search affinity | |
| CN106294357B (zh) | 数据处理方法和流计算系统 | |
| US20140236890A1 (en) | Multi-site clustering | |
| US20130006949A1 (en) | Systems and methods for data integrity checking | |
| CN110727727B (zh) | 一种数据库的统计方法及装置 | |
| CN105653322B (zh) | 运维服务器和服务器事件的处理方法 | |
| US9633088B1 (en) | Event log versioning, synchronization, and consolidation | |
| CN111949633A (zh) | 一种基于并行流处理的ict系统运行日志分析方法 | |
| US20160026530A1 (en) | Speculative Data Processing of Streaming Data | |
| CN109522316A (zh) | 日志处理方法、装置、设备和存储介质 | |
| EP2696297B1 (en) | System and method for generating information file based on parallel processing | |
| CN108255621A (zh) | 一种基于binlog的MySQL增量消息解析方法 | |
| CN109783258A (zh) | 一种消息处理方法、装置及服务器 | |
| CN112882906B (zh) | 用于基于软件的仪器化的实时报告的方法、系统以及计算机可读介质 | |
| US10346281B2 (en) | Obtaining and analyzing a reduced metric data set | |
| CN114356692A (zh) | 一种应用监控链路的可视化处理方法、装置及存储介质 | |
| CN106844694B (zh) | 用于同步数据的方法及设备 | |
| CN110324211A (zh) | 一种数据获取方法及装置 | |
| CN106130929B (zh) | 基于图论算法的互联网保险领域的业务报文自动处理方法和系统 | |
| CN105069029A (zh) | 一种实时etl系统及方法 | |
| US11297123B1 (en) | Fault-tolerant data stream processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |