CN106648444A - 一种消息处理方法和设备 - Google Patents
一种消息处理方法和设备 Download PDFInfo
- Publication number
- CN106648444A CN106648444A CN201510728149.6A CN201510728149A CN106648444A CN 106648444 A CN106648444 A CN 106648444A CN 201510728149 A CN201510728149 A CN 201510728149A CN 106648444 A CN106648444 A CN 106648444A
- Authority
- CN
- China
- Prior art keywords
- message
- sent
- reliability assessment
- mark
- corresponding relation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0656—Data buffering arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种消息处理方法和设备,该方法包括:获取待发送的消息;对所述待发送的各消息进行可靠性评估,并根据可靠性评估结果为待发送的各消息设置标识,生成包含标识与可靠性评估结果的对应关系,以及基于所述对应关系生成资源文件;当需要发送所述消息时,基于所述资源文件与所述消息进行匹配,判断是否需要进行持久化处理;若判断结果为否,则对所述消进行非持久化处理;以此根据匹配结果来执行相应的操作,实现了根据需要来确定对消息是否进行持久化的处理,优化权衡系统开销和确保消息可靠性两个方面,使二者达到最优配置。
Description
技术领域
本申请实施例涉及通信技术领域,特别涉及一种消息处理方法。本申请实施例同时还涉及一种消息处理设备。
背景技术
目前消息构造方式有两种,方式一是对消息进行持久化构造,方式二则是对消息进行非持久化构造。
其中持久化消息为可靠的传输模式,在提供者关闭、失败或者异常的场景下能确保消息不会被丢弃或丢失,会缓存对应的消息;但持久化的构造方式存在资源的浪费,在某中情况下针对特定的不需要缓存或者说可容忍部分消息丢失的情况下,该种模式显现出资源浪费,效率较低的缺陷;而非持久化构造的方式不能保证消息的可靠性,在订阅者不活动或者异常场景下即时持有的消息会被丢弃,不能确保可靠性,但是资源占用少,效率相对高。
针对上述两种情况,现有技术中,在对消息进行处理时,要不就是将所有消息进行持久化处理,要不就对所有消息进行非持久化处理,导致无法很好的适应需要,造成资源的浪费或者导致可靠性不足。
发明内容
针对现有技术中的缺陷,本发明提出了一种消息处理方法,用以根据可靠性要求来选择对消息的处理方式,满足了实际的需要,克服现有技术中的缺陷,该包括:
获取待发送的消息;
对所述待发送的各消息进行可靠性评估,并根据可靠性评估结果为待发送的各消息设置标识,生成包含标识与可靠性评估结果的对应关系,以及基于所述对应关系生成资源文件;
当需要发送所述消息时,基于所述资源文件与所述消息进行匹配,判断是否需要进行持久化处理;
若判断结果为是,则对所述消息进行持久化处理;
若判断结果为否,则对所述消进行非持久化处理。
优选的,所述标识具体为消息识别信息;
所述根据可靠性评估结果为待发送的各消息设置标识,具体包括:
针对每个待发送的消息,重载所述消息的消息头字段,并在所述消息中加入消息识别信息,用以标识所述消息。
优选的,所述对应关系中的可靠性评估结果是可以修改的,当对消息的可靠性评估结果变更时,对应的对应关系相应的修改为变更后的可靠性评估结果与标识的对应关系。
优选的,当发送情况异常时,判断待发送的消息队列中是否存在进行了持久化处理的消息;
若判断结果为是,则将所述进行了持久化处理的消息进行缓存,以便发送情况正常时再次进行发送。
本发明还提出了一种消息处理设备,包括:
获取模块,用于获取待发送的消息;
评估模块,用于对所述待发送的各消息进行可靠性评估,并根据可靠性评估结果为待发送的各消息设置标识,生成包含标识与可靠性评估结果的对应关系,以及基于所述对应关系生成资源文件;
判断模块,用于当需要发送所述消息时,基于所述资源文件与所述消息进行匹配,判断是否需要进行持久化处理;
处理模块,用于当判断结果为是时,对所述消息进行持久化处理;以及当判断结果为否时,对所述消进行非持久化处理。
优选的,所述标识具体为消息识别信息;
所述评估模块根据可靠性评估结果为待发送的各消息设置标识,具体包括:
针对每个待发送的消息,重载所述消息的消息头字段,并在所述消息中加入消息识别信息,用以标识所述消息。
优选的,所述对应关系中的可靠性评估结果是可以修改的,当对消息的可靠性评估结果变更时,对应的对应关系相应的修改为变更后的可靠性评估结果与标识的对应关系。
优选的,该设备还包括:
缓存模块,用于当发送情况异常时,判断待发送的消息队列中是否存在进行了持久化处理的消息;
若判断结果为是,则将所述进行了持久化处理的消息进行缓存,以便发送情况正常时再次进行发送。
与现有技术相比,本发明通过获取待发送的消息;对所述待发送的各消息进行可靠性评估,并根据可靠性评估结果为待发送的各消息设置标识,生成包含标识与可靠性评估结果的对应关系,以及基于所述对应关系生成资源文件;后续当需要发送消息时,基于资源文件与所述消息进行匹配,判断是否需要进行持久化处理;若判断结果为是,则对所述消息进行持久化处理;若判断结果为否,则对所述消进行非持久化处理;以此根据匹配结果来执行相应的操作,实现了根据需要来确定对消息是否进行持久化的处理,优化权衡系统开销和确保消息可靠性两个方面,使二者达到最优配置。
附图说明
图1为本发明实施例提出的一种消息处理方法的流程示意图;
图2为本发明实施例提出的一种JIM消息的示意图;
图3为本发明实施例提出的一种消息头部分的示意图;
图4为本发明实施例提出的一种消息属性部分的示意图;
图5为本发明实施例提出的一种消息处理设备的结构示意图;
具体实施方式
如背景技术所述,本发明提出了一种消息处理方法,如图1所示,包括以下步骤:
步骤101、获取待发送的消息;
具体的,待发送的消息可以是JIM(Java Message Service,Java消息服务)消息,当然也可以是其他的消息。
步骤102、对所述待发送的各消息进行可靠性评估,并根据可靠性评估结果为待发送的各消息设置标识,生成包含标识与可靠性评估结果的对应关系,以及基于所述对应关系生成资源文件;
具体的,针对系统中的各待发送的消息,都会进行可靠性评估,以此来评述各待发送的消息需要的可靠性,也即是否需要进行持久化的评估,当可靠性评估为需要进行持久化时,为该消息设置一个标识,例如为0,用以表示该消息后续需要进行可持久化处理,而若是不需要,为该消息设置另一个标识,例如为1,表示该消息后续不需要进行可持久化处理,也即进行非持久化处理,并生成标识与可靠性评估结果的对应关系,后续基于该对应关系生成资源文件,在该资源文件中保存有生成的标识与可靠性评估结果的对应关系。
在一个具体的实施例中,标识可以为消息识别信息;在此情况下,根据可靠性评估结果为待发送的各消息设置标识,具体包括:
针对每个待发送的消息,重载所述消息的消息头字段,并在所述消息中加入消息识别信息,用以标识所述消息。
具体的,以JIM消息为例来进行说明,JIM消息包含三个部分,消息头、消息属性、消息体,其结构如图2所示,其中消息头字段用来提供消息在发送接收时的路由信息和类型以及识别消息的必要数据,一个系统中的消息必须支持一套相同的头字段规范;消息头部分如图3所示,各字段的详细含义参照JMS规范,其中JMS支持为消息增加可选头信息的机制,而消息属性部分为消息头字段的扩展部分,提供一种内建的方法用于给消息添加可选的信息;具体的消息属性部分结构如图4所示,消息体部分为消息实际荷载的特定信息,其中JMS消息体支持5中格式,具体为:
(1)、SreeamMwssage顺序地填充和读取的Java primitive流
(2)、MapMessage名字(String)和键值(Java primitive)对形式
(3)、TextMessage java.lang.String对象
(4)、ObjectMessage可序列化的Java对象
(5)、BytesMessage消息体部分为不间断的字节流
具体添加消息识别信息的方式为通过重载消息头字段,加入相应的消息识别信息来标识消息的属性,针对需要缓存及恢复的消息选择进行持久化的处理,也即创建持久化的消息,以确保订阅者不活动时该消息会被缓存起来或者在会话连接建立失败或发送失败时将其缓存在本地的缓存系统中,待连接恢复后重新推送至发送队列进行重发,确保消息的可靠性;针对可靠性要求不高的消息通过识别信息自动创建非持久化的消息,从而提高资源利用率,提升效率,可靠性无强制要求的消息在异常场景下不缓存,即时丢弃,减少环境资源浪费,提升整体效率;
此外,所述对应关系中的可靠性评估结果是可以修改的,当对消息的可靠性评估结果变更时,对应的对应关系相应的修改为变更后的可靠性评估结果与标识的对应关系;以此不需要每次都对消息进行变动,只需要更改资源文件中的对应关系即可完成关于可靠性要求的变更。
步骤103、当需要发送所述消息时,基于资源文件与消息进行匹配,判断是否需要进行持久化处理;
具体的,以上述例子来进行说明,由于资源文件中存在标识与可靠性评估结果的对应关系,而消息中预设设置有标识,因此可以进行匹配,若消息匹配的结果为需要进行持久化处理,例如标识为0,则执行步骤103,而多匹配的结果为不需要进行持久化处理,例如标识为1,则执行步骤104。
步骤104、若判断结果为是,则对所述消息进行持久化处理。
步骤105、若判断结果为否,则对所述消进行非持久化处理。
具体的,在对消息进行持久化处理以及非持久化处理之后,会对应的生成持久化的消息和非持久化的消息,需要将生成的消息发送出去,具体的,是将生成的消息放置的消息发送队列中进行发送,而具体的发送过程会受到其他因素,例如网络环境等的影响,在此情况下,当发送情况异常时,判断待发送的消息队列中是否存在进行了持久化处理的消息;若判断结果为是,则将所述进行了持久化处理的消息进行缓存,以便发送情况正常时再次进行发送。以此,针对持久化处理的消息有两重保护,最大可能保障了在异常场景下的消息不被丢弃。
为了对本发明进行进一步的说明,本发明实施例还公开了一种消息处理设备,如图5,包括:
获取模块501,用于获取待发送的消息;
评估模块502,用于对所述待发送的各消息进行可靠性评估,并根据可靠性评估结果为待发送的各消息设置标识,生成包含标识与可靠性评估结果的对应关系,以及基于所述对应关系生成资源文件;
判断模块503,用于当需要发送所述消息时,基于所述资源文件与所述消息进行匹配,判断是否需要进行持久化处理;
处理模块504,用于当判断结果为是时,对所述消息进行持久化处理;以及当判断结果为否时,对所述消进行非持久化处理。
所述标识具体为消息识别信息;
所述评估模块根据可靠性评估结果为待发送的各消息设置标识,具体包括:
针对每个待发送的消息,重载所述消息的消息头字段,并在所述消息中加入消息识别信息,用以标识所述消息。
所述对应关系中的可靠性评估结果是可以修改的,当对消息的可靠性评估结果变更时,对应的对应关系相应的修改为变更后的可靠性评估结果与标识的对应关系。
具体的,该设备还包括:
缓存模块,用于当发送情况异常时,判断待发送的消息队列中是否存在进行了持久化处理的消息;
若判断结果为是,则将所述进行了持久化处理的消息进行缓存,以便发送情况正常时再次进行发送。
本发明通过获取待发送的消息;对所述待发送的各消息进行可靠性评估,并根据可靠性评估结果为待发送的各消息设置标识,生成包含标识与可靠性评估结果的对应关系,以及基于所述对应关系生成资源文件;后续当需要发送消息时,基于资源文件与所述消息进行匹配,判断是否需要进行持久化处理;若判断结果为是,则对所述消息进行持久化处理;若判断结果为否,则对所述消进行非持久化处理;以此根据匹配结果来执行相应的操作,实现了根据需要来确定对消息是否进行持久化的处理,优化权衡系统开销和确保消息可靠性两个方面,使二者达到最优配置。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以通过硬件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。
以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。
Claims (8)
1.一种消息处理方法,其特征在于,包括:
获取待发送的消息;
对所述待发送的各消息进行可靠性评估,并根据可靠性评估结果为待发送的各消息设置标识,生成包含标识与可靠性评估结果的对应关系,以及基于所述对应关系生成资源文件;
当需要发送所述消息时,基于所述资源文件与所述消息进行匹配,判断是否需要进行持久化处理;
若判断结果为是,则对所述消息进行持久化处理;
若判断结果为否,则对所述消进行非持久化处理。
2.如权利要求1所述的方法,其特征在于,所述标识具体为消息识别信息;
所述根据可靠性评估结果为待发送的各消息设置标识,具体包括:
针对每个待发送的消息,重载所述消息的消息头字段,并在所述消息中加入消息识别信息,用以标识所述消息。
3.如权利要求1所述的方法,其特征在于,所述对应关系中的可靠性评估结果是可以修改的,当对消息的可靠性评估结果变更时,对应的对应关系相应的修改为变更后的可靠性评估结果与标识的对应关系。
4.如权利要求1所述的方法,其特征在于,当发送情况异常时,判断待发送的消息队列中是否存在进行了持久化处理的消息;
若判断结果为是,则将所述进行了持久化处理的消息进行缓存,以便发送情况正常时再次进行发送。
5.一种消息处理设备,其特征在于,包括:
获取模块,用于获取待发送的消息;
评估模块,用于对所述待发送的各消息进行可靠性评估,并根据可靠性评估结果为待发送的各消息设置标识,生成包含标识与可靠性评估结果的对应关系,以及基于所述对应关系生成资源文件;
判断模块,用于当需要发送所述消息时,基于所述资源文件与所述消息进行匹配,判断是否需要进行持久化处理;
处理模块,用于当判断结果为是时,对所述消息进行持久化处理;以及当判断结果为否时,对所述消进行非持久化处理。
6.如权利要求5所述的设备,其特征在于,所述标识具体为消息识别信息;
所述评估模块根据可靠性评估结果为待发送的各消息设置标识,具体包括:
针对每个待发送的消息,重载所述消息的消息头字段,并在所述消息中加入消息识别信息,用以标识所述消息。
7.如权利要求5所述的设备,其特征在于,所述对应关系中的可靠性评估结果是可以修改的,当对消息的可靠性评估结果变更时,对应的对应关系相应的修改为变更后的可靠性评估结果与标识的对应关系。
8.如权利要求5所述的设备,其特征在于,还包括:
缓存模块,用于当发送情况异常时,判断待发送的消息队列中是否存在进行了持久化处理的消息;
若判断结果为是,则将所述进行了持久化处理的消息进行缓存,以便发送情况正常时再次进行发送。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510728149.6A CN106648444B (zh) | 2015-10-30 | 2015-10-30 | 一种消息处理方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510728149.6A CN106648444B (zh) | 2015-10-30 | 2015-10-30 | 一种消息处理方法和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106648444A true CN106648444A (zh) | 2017-05-10 |
CN106648444B CN106648444B (zh) | 2019-06-28 |
Family
ID=58809388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510728149.6A Active CN106648444B (zh) | 2015-10-30 | 2015-10-30 | 一种消息处理方法和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106648444B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109255091A (zh) * | 2018-08-23 | 2019-01-22 | 北京城市网邻信息技术有限公司 | 共享主题消息的方法、装置、设备及计算机可读存储介质 |
CN111212151A (zh) * | 2020-04-22 | 2020-05-29 | 武汉中科通达高新技术股份有限公司 | 文件传输方法、装置及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103677844A (zh) * | 2013-12-20 | 2014-03-26 | 国云科技股份有限公司 | 一种基于消息链的轻量级数据处理框架 |
CN103838521A (zh) * | 2014-02-28 | 2014-06-04 | 华为技术有限公司 | 一种数据处理方法及装置 |
US20150006834A1 (en) * | 2013-06-29 | 2015-01-01 | Subramanya R. DULLOOR | Method and apparatus for store durability and ordering in a persistent memory architecture |
CN104980450A (zh) * | 2014-04-01 | 2015-10-14 | 阿里巴巴集团控股有限公司 | 一种消息传递方法和系统及消息中间件 |
-
2015
- 2015-10-30 CN CN201510728149.6A patent/CN106648444B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150006834A1 (en) * | 2013-06-29 | 2015-01-01 | Subramanya R. DULLOOR | Method and apparatus for store durability and ordering in a persistent memory architecture |
CN103677844A (zh) * | 2013-12-20 | 2014-03-26 | 国云科技股份有限公司 | 一种基于消息链的轻量级数据处理框架 |
CN103838521A (zh) * | 2014-02-28 | 2014-06-04 | 华为技术有限公司 | 一种数据处理方法及装置 |
CN104980450A (zh) * | 2014-04-01 | 2015-10-14 | 阿里巴巴集团控股有限公司 | 一种消息传递方法和系统及消息中间件 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109255091A (zh) * | 2018-08-23 | 2019-01-22 | 北京城市网邻信息技术有限公司 | 共享主题消息的方法、装置、设备及计算机可读存储介质 |
CN111212151A (zh) * | 2020-04-22 | 2020-05-29 | 武汉中科通达高新技术股份有限公司 | 文件传输方法、装置及存储介质 |
CN111212151B (zh) * | 2020-04-22 | 2020-07-07 | 武汉中科通达高新技术股份有限公司 | 文件传输方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106648444B (zh) | 2019-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103929492A (zh) | 业务链负载均衡方法及其装置、系统 | |
CN105511954A (zh) | 一种报文处理方法及装置 | |
KR20110081441A (ko) | 이동통신 단말기에서 자원 할당 요청 방법 및 장치 | |
CN103716356B (zh) | 基于web的存储过程操作方法、装置和系统 | |
CN111818136A (zh) | 数据处理方法、装置、电子设备及计算机可读介质 | |
CN106878194A (zh) | 一种报文处理方法和装置 | |
JP2012510651A (ja) | サービスのロードバランシング | |
CN106878164A (zh) | 一种报文传输方法和装置 | |
CN109995839A (zh) | 一种负载均衡方法、系统及负载均衡器 | |
CN110784255A (zh) | 一种北斗用户终端通信资源共享系统 | |
CN105264811A (zh) | 元组恢复 | |
CN108833443A (zh) | 一种消息传输方法及系统、计算机设备 | |
CN108401273A (zh) | 一种路由方法和装置 | |
CN106648444A (zh) | 一种消息处理方法和设备 | |
CN104038366B (zh) | 集群节点失效检测方法和系统 | |
CN103188153A (zh) | 一种广播网链路上bfd报文发送方法和设备 | |
CN105406989B (zh) | 处理报文的方法、网卡及系统、更新信息的方法及主机 | |
KR101952187B1 (ko) | 서비스 노드 능력 처리 방법, 장치, 서비스 분류기 및 서비스 제어기 | |
CN104348711B (zh) | 消息接收装置及方法 | |
CN116074253A (zh) | 一种报文链式转发方法及装置 | |
CN107046503A (zh) | 一种报文传输方法、系统及其装置 | |
CN106953884A (zh) | 中间件消息处理方法、装置及中间件平台 | |
CN112650710B (zh) | 数据迁移的发送方法及装置、存储介质、电子装置 | |
CN112988405B (zh) | 微服务自动降级方法、装置及计算设备 | |
CN109587087A (zh) | 一种报文处理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |