CN103390049A

CN103390049A - 一种基于内存数据库缓存的高速消息队列溢出的处理方法

Info

Publication number: CN103390049A
Application number: CN2013103105335A
Authority: CN
Inventors: 张金钟; 秦家祥; 华国栋; 高洋; 孙力斌
Original assignee: NANJING CITY LINKAGE SYSTEM INTEGRATION CO Ltd
Current assignee: NANJING CITY LINKAGE SYSTEM INTEGRATION CO Ltd
Priority date: 2013-07-23
Filing date: 2013-07-23
Publication date: 2013-11-13

Abstract

本发明公开一种基于内存数据库缓存的高速消息队列溢出的处理方法，包括如下内容：将通信数据写入内存队列中；如果内存队列数据达到设定阈值，则将数据存到远程内存数据库中；如果在读数据的过程中，检测到本地队列中的数据已经下降到额定阈值，则启动数据转移线程，将远程内存数据库队列中的数据转移到本地队列。此方法可有效预防网关数据的丢失，提高系统的可靠性和稳定性，并且采用内存数据库队列，远程队列操作速度也能得到保障。

Description

一种基于内存数据库缓存的高速消息队列溢出的处理方法

技术领域

本发明属于数据通信中的数据安全领域，特别涉及一种基于内存数据库缓存的高速消息队列溢出的处理方法。

背景技术

物联网是新一代信息技术的重要组成部分。其英文名称是“The Internet of things”。由此，顾名思义，“物联网就是物物相连的互联网”。这有两层意思：第一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；第二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。面对越来越多的数据量，物联网网关将承受越来越大的挑战，尤其是消息接收队列和发送队列在消息数据高峰时候就会造成溢出的情况，从而使数据丢失，更严重的情况使服务器内存溢出，造成服务器崩溃。

基于前述分析，为了解决目前网关高速数据在队列中积压而造成队列最终溢出的问题，本案由此产生。

发明内容

本发明的目的，在于提供一种基于内存数据库缓存的高速消息队列溢出的处理方法，其可有效预防网关数据的丢失，提高系统的可靠性和稳定性，并且采用内存数据库队列，远程队列操作速度也能得到保障。

为了达成上述目的，本发明的解决方案是：

一种基于内存数据库缓存的高速消息队列溢出的处理方法，包括如下内容：将通信数据写入内存队列中；如果内存队列数据达到设定阈值，则将数据存到远程内存数据库中；如果在读数据的过程中，检测到本地队列中的数据已经下降到额定阈值，则启动数据转移线程，将远程内存数据库队列中的数据转移到本地队列。

上述将数据写入队列的操作步骤如下：

（11）接收需入队列的数据；

（12）在入队列之前先判断消息队列的数据量是否达到队列的最大阈值，若超过该最大阈值，转步骤（14），若没有超过该最大阈值，转步骤（13）；

（13）判断内存数据库队列计数器的值是否大于0，如果大于0则转步骤（14），否则将接收的数据压入本地队列，然后返回步骤（11）继续接收数据；

（14）将前述需入队列的数据存入内存数据库，发送到远程内存数据库队列中，然后在内存数据库队列计数器中加1；然后返回步骤（11）继续接收数据。

上述步骤（12）中，最大阈值是指队列最大容量的90%。

上述将数据取出队列的操作步骤如下：

（21）从队列中取出数据；

（22）判断内存数据库队列计数器的值是否大于0，如果大于0则转步骤（23），否则转步骤（24）；

（23）判断本地队列的数据量是否低于最小阈值，小于则启动队列转移线程，把程内存数据库队列中的数据转移到本地队列中，转步骤（24）；否则直接转步骤（24）；

（24）将步骤（21）中从队列中取出的数据进行处理。

上述步骤（23）中，最小阈值是指队列最大容量的60%。

上述在数据转移线程中将数据转移的操作步骤如下：

（31）线程开始；

（32）从对应的远程内存数据库队列中取出数据，同时将内存数据库队列计数器的数据量减1；

（33）将前述取出的数据压入到本地对应的队列中；

（34）判断消息队列的数据量是否达到队列的最大阈值，若超过该最大阈值，则退出线程，否则继续判断内存数据库队列计数器的值是否大于0，如果大于0，返回步骤（32），否则退出线程。

采用上述方案后，本发明由于使用远程内存数据库队列来对未处理的接收数据进一步地存储，相对于使用缓存于内存的方法来存储Socket数据，解决了在高速数据接收时，往往存在由于后端数据处理缓慢，而导致队列数据积压，最终使队列溢出、消息丢失的问题，从而使网络通信速度得到提高。

附图说明

图1是本发明的物联网网关消息队列示意图；

图2是本发明的防止消息队列溢出处理流程图；

图3是本发明的消息队列恢复的流程图；

图4是本发明的队列消息转移线程执行的流程图。

具体实施方式

下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。

如图1所示，本发明提供一种基于内存数据库缓存的高速消息队列溢出的处理方法，包括如下内容：将通信数据写入内存队列中；如果内存队列数据达到设定阈值，则将数据序列化成JSON格式，然后通过TCP通信以Key-Value的形式存储到远程内存数据库中，保证数据队列不会溢出造成数据的丢失或服务器的崩溃，此过程在如图1中的编号102、106、111、115中完成的工作；如果在读数据的过程中，检测到本地队列中的数据已经下降到某一额定的阈值，则启动数据转移线程，将远程内存数据库队列中的数据转移到本地队列中，从而保证了系统的安全运行，此过程在如图1中的编号104、109、113、117中完成的工作。

整个详细处理过程如图1所示：

（1）首先网关服务器通过TCP和UDP接收到来自网络的数据（包括Internet网、GPRS网和3G网），此过程由图中的101来完成，主要进行数据的粘包处理、CRC校验处理、解密处理和报文头的解析；

（2）如果编号101过程完成将进行编号102的处理，此处主要进行图中队列1（编号为103）的队列数据检测：如果队列1的数据没有达到预先设定的最大阈值，则直接把接收的数据压人本地队列1中；否则将数据序列化成JSON格式，然后通过TCP通信以Key-Value的形式存储到远程内存数据库中Redis队列1（编号121）中，保证数据队列不会溢出造成数据的丢失或服务器的崩溃。其中编号106、111、115都是完成相同的工作，分别对应本地的队列2（编号108）、队列3（编号112）和队列4（编号116），还有远程队列Redis队列2（编号122）、Redis队列3（编号123）和Redis队列4（编号124）；

（3）接下来将数据从队列1中的数据取出，取出之后进行出队列检测，此过程由编号104进行，如果队列数据小于预先设置的最小阈值，将触发队列数据转移线程，将Redis队列1的数据转移到本地队列1中，从而保证接收数据的有序性。其中编号109、113和117的工作原理与此相同；

（4）把数据从本地队列1中取出之后将进行报文体的解析，编号为105，此处将报文体通过具体的命令字对应的解析方法解析成具体的业务数据压入图1中编号108的队列2；

（5）在数据进行解析完成之后开始具体的业务处理，编号为110，此处也是数据处理的核心，所有的数据库操作都集中在此处，也是处理时间最长的地方，因此数据库操作优化和事务处理将统一进行，确保系统的快速、稳定、安全。并且将数据处理的结果进行反馈。将反馈结果压人队列3中，其中队列3也是其他控制数据、其他平台的发送给远程终端的入口。最后把数据封装成具体的报文，由编号114完成，通过编号118发送到远程终端完成数据的通信过程。

本发明的主要构思在于，每个数据队列前都设有一个内存数据库队列缓存，所有内存数据库队列都部署在内存数据库服务器上，内存数据库服务器与物联网车联网网关服务器之中通过网络连接，其中内存数据库采用Redis，网关采用java语言实现。

本发明主要包括三个操作：入队列操作、出队列操作和数据转移操作，将本地队列中的消息Bean和业务Bean采用JSON数据格式进行存储，从而解决内存数据库中的无法直接存储对象Bean的问题，以下将结合附图进行详细说明。

如图2所示，是入队列操作的流程图，包括如下步骤：

（11）接收数据，此数据包括从Socket接口收到的数据、它的上级队列出队列的数据、其它业务操作需入队列的数据；

（12）在入队列之前先判断消息队列的数据量是否达到队列的最大阈值，若超过该最大阈值，转步骤（14），若没有超过该最大阈值，转步骤（13）；前述最大阈值是指系统配置的MAX阈值，通常设为队列最大容量的90%；

（14）将前述需入队列的数据存入内存数据库，发送到远程的Redis服务器中对应的缓存队列中，然后在Redis队列计数器中加1以登记；然后返回步骤（11）继续接收数据。

如图3所示，是出队列操作的流程图，包括如下步骤：

（21）从队列中取出数据；

（22）判断内存数据库队列计数器的值是否大于0，如果大于0则转步骤（23），否则说明远程内存数据库队列中没有数据，转步骤（24）；

（23）判断本地队列的数据量是否低于最小阈值，小于则启动队列转移线程，把程内存数据库队列中的数据转移到本地队列中，转步骤（24）；否则直接转步骤（24）；前述最小阈值是指系统配置的MIN阈值，通常设为队列最大容量的60%；

（24）将步骤（21）中从队列中取出的数据进行处理。

如图4所示，是数据转移操作的流程图，在数据转移线程中完成，包括如下步骤：

（31）线程开始；

（33）将前述取出的数据压入到本地对应的队列中；

（34）判断消息队列的数据量是否达到该队列预先设定的最大阈值（该最大阈值与步骤（12）中队列的最大阈值可以为相同或不同），若超过该队列预先设定的最大阈值，则退出线程，否则继续判断内存数据库队列计数器的值是否大于0，如果大于0，返回步骤（32），否则退出线程。

Redis队列实现如下：

1. public class RedisQueue<T>

2. {

3. private ShardedJedisPool shardedJedisPool;

4. private String suffix = "_";

5. private String name;

6. private Class<T> clazz;

7.

8. public RedisQueue(ShardedJedisPool shardedJedisPool, Class<T> clazz) {

9. this.shardedJedisPool = shardedJedisPool;

10. this.clazz = clazz;

11. this.name = clazz.getName();

12. }

13.

14. Public RedisQueue(ShardedJedisPool shardedJedisPool, Class<T> clazz, String suffix) {

15. this.shardedJedisPool = shardedJedisPool;

16. this.name = clazz.getName();

17. this.clazz = clazz;

18. this.suffix += suffix;

19. this.name += this.suffix;

20. }

21.

22. public void push(T... ts) {

23. ShardedJedis jedis = shardedJedisPool.getResource();

24. try {

25. for (T t : ts)

26. jedis.lpush(name, JsonUtils.toJson(t));

27. } finally {

28. shardedJedisPool.returnResource(jedis);

29. }

30. }

31.

32. public void push(Collection<T> collection) {

33. ShardedJedis jedis = shardedJedisPool.getResource();

34. try {

35. for (T t : collection)

36. jedis.lpush(name, JsonUtils.toJson(t));

37. } finally {

38. shardedJedisPool.returnResource(jedis);

39. }

40. }

41.

42. public T take() {

43. ShardedJedis jedis = shardedJedisPool.getResource();

44. try {

45. while (true) {

46. Threads.sleep(300l);

47. if (!jedis.exists(name))

48. continue;

49. String jsonT = jedis.rpop(name);

50. if (jsonT != null) {

51. return (T) JsonUtils.toT(jsonT, clazz);

52. }

53. }

54. } finally {

55. shardedJedisPool.returnResource(jedis);

56. }

57. }

58. }

因为Redis数据库是基于Key-Value键值对存在，因此设计的Redis队列无法对本地队列中的消息Bean和业务Bean进行直接存储，因此需要找到一种基于对象Bean到字符串和字符串到对象Bean之间的转换，本发明采用JSON格式存储，JSON(JavaScript Object Notation)是一种轻量级的数据交换格式，它基于JavaScript（Standard ECMA-262 3rd Edition - December 1999）的一个子集。 JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的习惯（包括C, C++, C#, Java, JavaScript, Perl, Python等），这些特性使JSON成为理想的数据交换语言，易于人阅读和编写，同时也易于机器解析和生成。

本地队列Bean数据格式如下：

59. public class TMBean

60. {

61. private int commondID;

62. private int sid;

63. private String tmNo;

64. private int length;

65. private int version;

66. private int headReserve;

67. private String msisdn;

68. private int protocol;

69. private int commMode;

70. private String tmIP;

71. private int tmPort;

72. private byte[] msgBytes;

73. private byte[] msgBody;

74. private byte[] msgHeadBytes;

75. private String sercKey；

76. private byte crcFlag;

77. }

Redis内存数据库中队列存储的JSON数据格式如下：

78. {

79. "commondID":256,

80. "sid":1923111,

81. "tmNo":AA12345,

82. "length":312,

83. "version":0,

84. "headReserve":0,

85. "msisdn":"181111111111",

86. "protocol":0,

87. "commMode":12,

88. "tmIP":null,"tmPort":0,

89. "msgBytes":null,

90. "msgBody":"fjNENEk5NH4=",

91. "msgHeadBytes":"NDNUNCM=",

92. "sercKey":null,

93. "crcFlag":0

94. }

95.

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims

1.一种基于内存数据库缓存的高速消息队列溢出的处理方法，其特征在于包括如下内容：将通信数据写入内存队列中；如果内存队列数据达到设定阈值，则将数据存到远程内存数据库中；如果在读数据的过程中，检测到本地队列中的数据已经下降到额定阈值，则启动数据转移线程，将远程内存数据库队列中的数据转移到本地队列。

2.如权利要求1所述的一种基于内存数据库缓存的高速消息队列溢出的处理方法，其特征在于所述将数据写入队列的操作步骤如下：

（11）接收需入队列的数据；

3.如权利要求2所述的一种基于内存数据库缓存的高速消息队列溢出的处理方法，其特征在于：所述步骤（12）中，最大阈值是指队列最大容量的90%。

4.如权利要求1所述的一种基于内存数据库缓存的高速消息队列溢出的处理方法，其特征在于所述将数据取出队列的操作步骤如下：

（21）从队列中取出数据；

（24）将步骤（21）中从队列中取出的数据进行处理。

5.如权利要求4所述的一种基于内存数据库缓存的高速消息队列溢出的处理方法，其特征在于：所述步骤（23）中，最小阈值是指队列最大容量的60%。

6.如权利要求1所述的一种基于内存数据库缓存的高速消息队列溢出的处理方法，其特征在于所述在数据转移线程中将数据转移的操作步骤如下：

（31）线程开始；

（33）将前述取出的数据压入到本地对应的队列中；