CN110019671A - 一种处理实时消息的方法和系统 - Google Patents
一种处理实时消息的方法和系统 Download PDFInfo
- Publication number
- CN110019671A CN110019671A CN201711084607.2A CN201711084607A CN110019671A CN 110019671 A CN110019671 A CN 110019671A CN 201711084607 A CN201711084607 A CN 201711084607A CN 110019671 A CN110019671 A CN 110019671A
- Authority
- CN
- China
- Prior art keywords
- real
- time messages
- message
- update operation
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Abstract
本发明公开了一种处理实时消息的方法和系统,涉及计算机技术领域。该方法的一具体实施方式包括:接收一个或多个主键相同的实时消息;对所述实时消息进行组装以得到一个或多个更新操作对象;发起对搜索系统的访问,然后在本次访问中向所述搜索系统发送所有的所述更新操作对象。该实施方式通过组装主键相同的实时消息,将组装得到的所有更新操作对象发送至Elasticsearch进行聚合处理,实现了对更新操作对象的批量发送,减少了对Elasticsearch的频繁访问,提升了Storm的吞吐量。
Description
技术领域
本发明涉及计算机领域,尤其涉及一种处理实时消息的方法和系统。
背景技术
随着互联网行业的飞速发展,数据越来越重要。其中,实时消息更是关注的焦点。现有技术中一般通过实时流式计算系统对海量实时数据进行处理,具体方案为:实时流式计算系统(Storm)在接收到一条消息后,根据该消息组装在累加聚合时所需的主键,根据该主键从Elasticsearch中查询对应的消息记录,如果未查询到,则将该消息插入到Elasticsearch中;如果查询到消息记录,则将消息记录中的指标值和该消息的指标值(比如网站的浏览量、销售额等)加和后更新到Elasticsearch中,通过上述方式实现了指标值的实时累加聚合。其中,Storm是一个分布式的实时流式计算系统,可以水平扩展、自动容错,延迟达到毫秒级,常用于实时分析、在线机器学习等。Elasticsearch是一个分布式、可扩展的实时搜索与数据分析引擎,可实现数据的存储、聚合、全文检索等。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:Storm每接收一条消息需操作两次Elasticsearch,当消息的数量比较大时,将消息插入到Elasticsearch往往成为瓶颈,导致在实时消息的处理过程中Storm的吞吐量降低。
发明内容
有鉴于此,本发明实施例提供一种处理实时消息的方法和系统,通过组装主键相同的实时消息,将组装得到的所有更新操作对象发送至Elasticsearch进行聚合处理,实现了对更新操作对象的批量发送,减少了对Elasticsearch的频繁访问,提升了Storm的吞吐量。
为实现上述目的,根据本发明实施例的一个方面,提供了一种处理实时消息的方法。
本发明实施例的一种处理实时消息的方法,包括:接收一个或多个主键相同的实时消息;对所述实时消息进行组装以得到一个或多个更新操作对象;发起对搜索系统的访问,然后在本次访问中向所述搜索系统发送所有的所述更新操作对象。
可选地,所述对所述实时消息进行组装以得到一个或多个更新操作对象的步骤之前,还包括:接收系统消息;所述对所述实时消息进行组装以得到一个或多个更新操作对象的步骤之后以及所述发起对搜索系统的访问的步骤之前还包括:确认接收到的消息为所述系统消息,或者确认接收到的消息不是所述系统消息且所述更新操作对象的数量大于等于设定阈值。
可选地,所述对所述实时消息进行组装以得到一个或多个更新操作对象,包括:对所述实时消息进行格式变换后得到消息体对象,根据所述消息体对象和所述实时消息中的指标组装成Script对象,所述Script对象即为更新操作对象。
可选地,所述在本次访问中向所述搜索系统发送所有的所述更新操作对象的步骤之后,还包括:根据发送频次和预设的频次取值区间动态调整所述阈值。
可选地,所述根据发送频次和预设的频次取值区间动态调整所述阈值,包括:当所述发送频次大于所述频次取值区间的最大值时,按照预设增量增加所述阈值;当所述发送频次小于所述频次取值区间的最小值时,按照预设减量减少所述阈值;当所述发送频次在所述频次取值区间内时,所述阈值保持不变。
可选地,采用Storm执行所述处理实时消息的步骤,所述搜索系统为Elasticsearch。
为实现上述目的,根据本发明实施例的另一方面,提供了一种处理实时消息的系统。
本发明实施例的一种处理实时消息的系统,包括:第一接收模块,用于接收一个或多个主键相同的实时消息;组装模块,用于对所述实时消息进行组装以得到一个或多个更新操作对象;发送模块,用于发起对搜索系统的访问,然后在本次访问中向所述搜索系统发送所有的所述更新操作对象。
可选地,所述系统还包括:第二接收模块和确认模块,所述第二接收模块,用于接收系统消息;所述确认模块,用于确认接收到的消息为所述系统消息,或者确认接收到的消息不是所述系统消息且所述更新操作对象的数量大于等于设定阈值。
可选地,所述组装模块,还用于:对所述实时消息进行格式变换后得到消息体对象,根据所述消息体对象和所述实时消息中的指标组装成Script对象,所述Script对象即为更新操作对象。
可选地,所述系统还包括:动态调整模块,用于根据发送频次和预设的频次取值区间动态调整所述阈值。
可选地,所述动态调整模块,还用于:当所述发送频次大于所述频次取值区间的最大值时,按照预设增量增加所述阈值;当所述发送频次小于所述频次取值区间的最小值时,按照预设减量减少所述阈值;当所述发送频次在所述频次取值区间内时,所述阈值保持不变。
为实现上述目的,根据本发明实施例的再一方面,提供了一种电子设备。
本发明实施例的一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例的一种处理实时消息的方法。
为实现上述目的,根据本发明实施例的再一方面,提供了一种计算机可读介质。
本发明实施例的一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例的一种处理实时消息的方法。
上述发明中的一个实施例具有如下优点或有益效果:通过组装主键相同的实时消息,将组装得到的更新操作对象批量发送至Elasticsearch进行聚合处理,减少了对Elasticsearch的频繁访问,提升了Storm的吞吐量;通过系统消息触发批量发送操作,以在实时消息的数量比较小时,仍能够及时对实时消息进行处理;通过动态调整阈值,既能保证消息的实时性也能增加Storm的吞吐能力。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的处理实时消息的方法的主要步骤的示意图;
图2是根据本发明实施例的处理实时消息的方法的主要流程示意图;
图3是根据本发明实施例的处理实时消息的系统的主要模块的示意图;
图4是本发明实施例可以应用于其中的示例性系统架构图;
图5是适用于来实现本发明实施例的电子设备的计算机装置的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的处理实时消息的方法的主要步骤的示意图。如图1所示,本发明实施例的处理实时消息的方法,主要包括如下步骤:
步骤S101:接收一个或多个主键相同的实时消息。实时流式计算系统包括上游处理节点和下游处理节点,上游处理节点从实时消息流中获取实时消息,根据收到的实时消息组装聚合时所需的主键,将具有相同主键的实时消息按路由策略分发到同一下游处理节点。下游处理节点收到该主键相同的实时消息后执行步骤S102。实施例中实时流式计算系统由Storm实现。
步骤S102:对所述实时消息进行组装以得到一个或多个更新操作对象。下游处理接节点对收到的各个实时消息分别进行组装得到各更新操作对象,将所有的所述更新操作对象进行缓存。如果下游处理节点一段时间内仅收到了一个实时消息,则经组装处理后仅得到一个更新操作对象。
步骤S103:发起对搜索系统的访问,然后在本次访问中向所述搜索系统发送所有的所述更新操作对象。下游处理接节点发起对搜索系统访问,然后将缓存中存储的所有更新操作对象发送至搜索系统,该将缓存中存储的所有更新操作对象发送至搜索系统发送过程即为批量发送。实施例中该搜索系统为Elasticsearch。
另外,实时流式计算系统的下游处理节点还接收来自上游处理节点的系统消息,如果接收到的消息为该系统消息,不管缓存中存储有多少个更新操作对象,都会将存储的所有更新操作对象发送至搜索系统;如果收到的消息不是系统消息,则判断缓存中存储的更新操作对象的数量是否超过设定阈值,如果其数量大于等于阈值,则也会将存储的所有更新操作对象发送至搜索系统。
下面以实时流式计算系统为Storm,搜索系统为Elasticsearch对本发明的处理实时消息的方法做进一步详细的说明。
图2是根据本发明实施例的处理实时消息的方法的主要流程示意图。如图2所示,本发明实施例的处理实时消息的方法,包括以下步骤:
步骤S201:Storm的下游处理节点接收实时消息和系统消息。Storm的上游处理节点从实时消息流中获取的实时消息,根据获取的实时消息组装聚合时所需的主键,将具有相同主键的实时消息按路由策略分发到同一下游处理节点;其中,组装是指拼接,具体实现为:假如收到的实时消息里包含a、b、c,则聚合所需的主键可以为a_b_c。所述主键来源于实时消息的部分字段,比如上游处理节点接收到的实时消息为:商品ID、时间和浏览量,聚合时所需的主键为商品ID和时间,浏览量为聚合时的一个指标。
上游处理节点利用定时器策略,定时发送一个带有特殊标示的系统消息到该下游处理节点。所述系统消息可利用Storm自带的定时发送消息的机制发送到下游处理节点,定时间隔可以自己配置。实施例中,将"_system"和"_tick"作为系统消息的特殊标示,即发送到下游处理节点的系统消息的内容为"_tick"的字符串,发送的组件实体为"_system",如果下游处理节点收到的消息中包含该特殊标示,则说明该消息为该带有特殊标示的系统消息;如果下游处理节点收到的消息中不包含该特殊标示,说明收到的消息不是该带有特殊标示的系统消息。
上游处理节点在一个时间段内接收到的主键相同的实时消息可能有上万条,如果将主键相同的实时消息进行随机分发,则主键相同的实时消息可能被分发到不同的下游处理节点中,不同的下游处理节点在将更新操作对象进行缓存以及批量聚合至Elasticsearch时,就不能保证主键相同的实时消息按照原始顺序进行操作,聚合的结果就会不准确。因此,本发明实施例中需要将主键相同的实时消息发送到同一下游处理节点。
步骤S202:下游处理节点对各所述实时消息分别组装得到更新操作对象,对所有的所述更新操作对象分别设置插入(Upsert)属性,将所有的所述更新操作对象添加到Bulk中进行缓存。Storm能处理的消息格式与Elasticsearch能处理的消息格式并不相同,因此在下游处理节点需要对实时消息进行格式变换得到消息体对象,以便于Elasticsearch识别。实施例中更新操作对象为Script对象,该Script对象为根据所述消息体对象和所述实时消息中的指标组装而成。Bulk是Elasticsearch提供的一个应用程序接口(API,Application Programming Interface),可以实现一次请求执行批量的添加、删除、更新等操作。
通过组装Script对象,可以实现对Elasticsearch行内数据的修改、相加等。在本发明实施例中通过如下设置,可实现将消息体对象中kpi_a的值和Elasticsearch中kpi_a的值加和后的结果更新到Elasticsearch的kpi_a字段:"script":"ctx._source.kpi_a+=kpi_a"。其中,kpi_a为实时消息中的指标,是自定义的字段名称。
Upsert属性是Elasticsearch的一个配置,当发送更新操作对象至Elasticsearch时,Elasticsearch会判断该更新操作对象是否已经存在于数据库中,如果不存在,则将其插入到Elasticsearch中;如果存在,则将其的指标值更新到Elasticsearch中。
步骤S203:下游处理节点接收到消息后,判断收到的消息是否为该带有特殊标示的系统消息,如果是,则执行步骤S205;如果不是,则执行步骤S204。实时消息发送到下游处理节点的速率可能大也可能小,如果一段时间内下游处理节点接收的实时消息的数量比较小,所有已经收到的实时消息都在等待Elasticsearch的聚合处理,此时可通过定时发送的系统消息触发批量发送操作。这样,不管缓存中更新操作对象的数量多少,都会定时执行批量发送操作,避免已经收到的实时消息很长时间不能发送到Elasticsearch进行聚合处理,提高消息处理的实时性。
步骤S204:下游处理节点判断缓存的更新操作对象的数量是否超过设定的阈值,如果缓存的数量大于等于阈值,则执行步骤S205;如果缓存的数量小于阈值,则不进行任何处理。当下游处理节点收到的消息不是带有特殊标示的系统消息时,则判断缓存中更新操作对象的数量是否超过设定的阈值。该阈值可进行动态调整,具体调整过程见步骤S206,通过动态调整阈值,既能保证消息的实时性也能增加Storm的吞吐能力。
步骤S205:下游处理节点通过所述Bulk访问Elasticsearch,在本次访问中通过所述Bulk发送缓存中所有的所述更新操作对象至Elasticsearch。本发明实施例通过Bulk实现了更新操作对象的批量发送。
步骤S206:下游处理节点根据发送频次和预设的频次取值区间动态调整所述阈值。当发送频次大于频次取值区间的最大值时,按照预设增量增加阈值;当发送频次小于频次取值区间的最小值时,按照预设减量减少阈值;当发送频次在频次取值区间内时,阈值保持不变。其中,发送频次是指下游处理节点通过Bulk发送更新操作对象至Elasticsearch的频次。
其中,发送频次,预设的频次取值区间(该频次取值区间由为频次设定的最大值和最小值构成),阈值的初始值、最大值和最小值,预设增量和预设减量需要根据具体的场景设定。比如,设定近5分钟发送频次为10000条,频次取值区间为5000到30000,阈值的初始值设置为1000;当近5分钟发送频次为50000条时,则将阈值按预设增量(比如500)增加至1500,依次类推,每间隔5分钟检查一次,增加、减少阈值或者保持不变。但是阈值并不会一直增加或者减少下去,当增加到阈值的最大值(比如20000)或者减少到阈值的最小值(比如100),就不再增加或者减少阈值,此时,阈值就等于最大值或者最小值。
步骤S207:Elasticsearch对所述更新操作对象进行聚合处理。这里所述的聚合处理是将更新操作对象插入或者更新到Elasticsearch中,之后可进行汇总、求和、求平均值或者最大值等操作。通过上述全部处理过程,下游处理节点的平均执行时长从6ms降低至1ms。
通过本发明实施例的处理实时消息的方法可以看出,通过组装主键相同的实时消息,将组装得到的更新操作对象批量发送至Elasticsearch进行聚合处理,减少了对Elasticsearch的频繁访问,提升了Storm的吞吐量;通过系统消息触发批量发送操作,以在实时消息的数量比较小时,仍能够及时对实时消息进行处理;通过动态调整阈值,既能保证消息的实时性也能增加Storm的吞吐能力。
图3是根据本发明实施例的处理实时消息的系统的主要模块的示意图。如图3所示,本发明实施例的处理实时消息的系统300,主要包括:
第一接收模块301,用于接收一个或多个主键相同的实时消息。处理实时消息的系统300为实时流式计算系统的一部分,其包含的功能模块设置在下游处理节点中。上游处理节点从实时消息流中获取实时消息,根据收到的实时消息组装聚合时所需的主键,将具有相同主键的实时消息按路由策略分发到同一下游处理节点。
组装模块302,用于对所述实时消息进行组装以得到一个或多个更新操作对象。对收到的各个实时消息分组进行组装得到各更新操作对象,将所有的所述更新操作对象进行缓存。如果下游处理节点一段时间内仅收到了一个实时消息,则经组装处理后仅得到一个更新操作对象。
发送模块303,用于发起对搜索系统的访问,然后在本次访问中向所述搜索系统发送所有的所述更新操作对象。向所述搜索系统发送的更新操作对象是在缓存中存储的所有更新操作对象,通过该种方式实现了更新操作对象的批量发送。实施例中该实时流式计算系统为Storm,搜索系统为Elasticsearch。
另外,本发明实施例的处理实时消息的系统300还可以包括:第二接收模块、确认模块和动态调整模块(图中未示出)。其中,第二接收模块,用于接收系统消息。所述确认模块,用于确认接收到的消息为所述系统消息,或者确认接收到的消息不是所述系统消息且所述更新操作对象的数量大于等于设定阈值。所述动态调整模块,用于根据发送频次和预设的频次取值区间动态调整所述阈值。
从以上描述可以看出,通过组装主键相同的实时消息,将组装得到的更新操作对象批量发送至Elasticsearch进行聚合处理,减少了对Elasticsearch的频繁访问,提升了Storm的吞吐量;通过系统消息触发批量发送操作,以在实时消息的数量比较小时,仍能够及时对实时消息进行处理;通过动态调整阈值,既能保证消息的实时性也能增加Storm的吞吐能力。
图4示出了可以应用本发明实施例的处理实时消息的方法或处理实时消息的系统的示例性系统架构400。
如图4所示,系统架构400可以包括终端设备401、402、403,网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备401、402、403通过网络404与服务器405交互,以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器405可以是提供各种服务的服务器,例如对用户利用终端设备401、402、403所产生的点击事件提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的点击数据、文本内容等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是,本申请实施例所提供的处理实时消息的方法一般由服务器405执行,相应地,处理实时消息的系统一般设置于服务器405中。
应该理解,图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
根据本发明的实施例,本发明还提供了一种电子设备和一种计算机可读介质。
本发明的电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例的一种处理实时消息的方法。
本发明的计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例的一种处理实时消息的方法。
下面参考图5,其示出了适用于来实现本发明实施例的电子设备的计算机系统500的结构示意图。图5示出的电子设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有计算机系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本发明公开的实施例,上文主要步骤图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行主要步骤图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括第一接收模块、组装模块和发送模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,第一接收模块还可以被描述为“接收一个或多个主键相同的实时消息的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:接收一个或多个主键相同的实时消息;对所述实时消息进行组装以得到一个或多个更新操作对象;发起对搜索系统的访问,然后在本次访问中向所述搜索系统发送所有的所述更新操作对象。
从以上描述可以看出,通过组装主键相同的实时消息,将组装得到的更新操作对象批量发送至Elasticsearch进行聚合处理,减少了对Elasticsearch的频繁访问,提升了Storm的吞吐量;通过系统消息触发批量发送操作,以在实时消息的数量比较小时,仍能够及时对实时消息进行处理;通过动态调整阈值,既能保证消息的实时性也能增加Storm的吞吐能力。
上述产品可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例所提供的方法。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (13)
1.一种处理实时消息的方法,其特征在于,包括:
接收一个或多个主键相同的实时消息;
对所述实时消息进行组装以得到一个或多个更新操作对象;
发起对搜索系统的访问,然后在本次访问中向所述搜索系统发送所有的所述更新操作对象。
2.根据权利要求1所述的方法,其特征在于,所述对所述实时消息进行组装以得到一个或多个更新操作对象的步骤之前,还包括:接收系统消息;
所述对所述实时消息进行组装以得到一个或多个更新操作对象的步骤之后以及所述发起对搜索系统的访问的步骤之前还包括:确认接收到的消息为所述系统消息,或者确认接收到的消息不是所述系统消息且所述更新操作对象的数量大于等于设定阈值。
3.根据权利要求1所述的方法,其特征在于,所述对所述实时消息进行组装以得到一个或多个更新操作对象,包括:对所述实时消息进行格式变换后得到消息体对象,根据所述消息体对象和所述实时消息中的指标组装成Script对象,所述Script对象即为更新操作对象。
4.根据权利要求2所述的方法,其特征在于,所述在本次访问中向所述搜索系统发送所有的所述更新操作对象的步骤之后,还包括:根据发送频次和预设的频次取值区间动态调整所述阈值。
5.根据权利要求4所述的方法,其特征在于,所述根据发送频次和预设的频次取值区间动态调整所述阈值,包括:
当所述发送频次大于所述频次取值区间的最大值时,按照预设增量增加所述阈值;
当所述发送频次小于所述频次取值区间的最小值时,按照预设减量减少所述阈值;
当所述发送频次在所述频次取值区间内时,所述阈值保持不变。
6.根据权利要求1至5的任一项所述的方法,其特征在于,采用Storm执行所述处理实时消息的步骤,所述搜索系统为Elasticsearch。
7.一种处理实时消息的系统,其特征在于,包括:
第一接收模块,用于接收一个或多个主键相同的实时消息;
组装模块,用于对所述实时消息进行组装以得到一个或多个更新操作对象;
发送模块,用于发起对搜索系统的访问,然后在本次访问中向所述搜索系统发送所有的所述更新操作对象。
8.根据权利要求7所述的系统,其特征在于,所述系统还包括:第二接收模块和确认模块,所述第二接收模块,用于接收系统消息;所述确认模块,用于确认接收到的消息为所述系统消息,或者确认接收到的消息不是所述系统消息且所述更新操作对象的数量大于等于设定阈值。
9.根据权利要求7所述的系统,其特征在于,所述组装模块,还用于:对所述实时消息进行格式变换后得到消息体对象,根据所述消息体对象和所述实时消息中的指标组装成Script对象,所述Script对象即为更新操作对象。
10.根据权利要求8所述的系统,其特征在于,所述系统还包括:动态调整模块,用于根据发送频次和预设的频次取值区间动态调整所述阈值。
11.根据权利要求10所述的系统,其特征在于,所述动态调整模块,还用于:
当所述发送频次大于所述频次取值区间的最大值时,按照预设增量增加所述阈值;
当所述发送频次小于所述频次取值区间的最小值时,按照预设减量减少所述阈值;
当所述发送频次在所述频次取值区间内时,所述阈值保持不变。
12.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
13.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711084607.2A CN110019671B (zh) | 2017-11-07 | 2017-11-07 | 一种处理实时消息的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711084607.2A CN110019671B (zh) | 2017-11-07 | 2017-11-07 | 一种处理实时消息的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110019671A true CN110019671A (zh) | 2019-07-16 |
CN110019671B CN110019671B (zh) | 2022-04-12 |
Family
ID=67186767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711084607.2A Active CN110019671B (zh) | 2017-11-07 | 2017-11-07 | 一种处理实时消息的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110019671B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112783924A (zh) * | 2019-11-07 | 2021-05-11 | 北京沃东天骏信息技术有限公司 | 一种脏数据识别方法、装置和系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030172296A1 (en) * | 2002-03-05 | 2003-09-11 | Gunter Carl A. | Method and system for maintaining secure access to web server services using permissions delegated via electronic messaging systems |
US20060184657A1 (en) * | 2000-09-06 | 2006-08-17 | Xanboo, Inc. | Service broker for processing data from a data network |
CN103797500A (zh) * | 2011-06-03 | 2014-05-14 | 维萨国际服务协会 | 虚拟钱包卡选择装置、方法及系统 |
CN104079599A (zh) * | 2013-03-27 | 2014-10-01 | 招商局国际信息技术有限公司 | 一种消息实时同步方法以及集装箱码头作业系统 |
CN105138656A (zh) * | 2015-08-31 | 2015-12-09 | 浪潮软件股份有限公司 | 一种处理数据的方法及装置 |
CN106656840A (zh) * | 2016-11-25 | 2017-05-10 | 杭州安恒信息技术有限公司 | 一种应用于网络爬虫的动态流量控制方法 |
CN107122431A (zh) * | 2017-04-14 | 2017-09-01 | 浙江数链科技有限公司 | 一种实时计算平台及基于实时计算平台的数据计算方法 |
CN107196848A (zh) * | 2017-05-09 | 2017-09-22 | 腾讯科技(深圳)有限公司 | 消息推送方法及装置 |
CN107193831A (zh) * | 2016-03-15 | 2017-09-22 | 阿里巴巴集团控股有限公司 | 信息推荐方法及装置 |
-
2017
- 2017-11-07 CN CN201711084607.2A patent/CN110019671B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060184657A1 (en) * | 2000-09-06 | 2006-08-17 | Xanboo, Inc. | Service broker for processing data from a data network |
US20030172296A1 (en) * | 2002-03-05 | 2003-09-11 | Gunter Carl A. | Method and system for maintaining secure access to web server services using permissions delegated via electronic messaging systems |
CN103797500A (zh) * | 2011-06-03 | 2014-05-14 | 维萨国际服务协会 | 虚拟钱包卡选择装置、方法及系统 |
CN104079599A (zh) * | 2013-03-27 | 2014-10-01 | 招商局国际信息技术有限公司 | 一种消息实时同步方法以及集装箱码头作业系统 |
CN105138656A (zh) * | 2015-08-31 | 2015-12-09 | 浪潮软件股份有限公司 | 一种处理数据的方法及装置 |
CN107193831A (zh) * | 2016-03-15 | 2017-09-22 | 阿里巴巴集团控股有限公司 | 信息推荐方法及装置 |
CN106656840A (zh) * | 2016-11-25 | 2017-05-10 | 杭州安恒信息技术有限公司 | 一种应用于网络爬虫的动态流量控制方法 |
CN107122431A (zh) * | 2017-04-14 | 2017-09-01 | 浙江数链科技有限公司 | 一种实时计算平台及基于实时计算平台的数据计算方法 |
CN107196848A (zh) * | 2017-05-09 | 2017-09-22 | 腾讯科技(深圳)有限公司 | 消息推送方法及装置 |
Non-Patent Citations (1)
Title |
---|
李艳春等: "分布式信息系统中数据交换平台设计与实现", 《计算机工程与设计》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112783924A (zh) * | 2019-11-07 | 2021-05-11 | 北京沃东天骏信息技术有限公司 | 一种脏数据识别方法、装置和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110019671B (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110019211A (zh) | 关联索引的方法、装置和系统 | |
CN110472207A (zh) | 表单生成方法和装置 | |
CN107844324A (zh) | 客户端页面跳转处理方法和装置 | |
CN109981719A (zh) | 信息处理方法及其系统、计算机系统和计算机可读介质 | |
CN109241033A (zh) | 创建实时数据仓库的方法和装置 | |
CN110427304A (zh) | 用于银行系统的运维方法、装置、电子设备以及介质 | |
CN109960212A (zh) | 任务发送方法和装置 | |
CN108984197A (zh) | 一种代码更新方法和装置 | |
CN109840534A (zh) | 处理事件的方法和装置 | |
CN109885593A (zh) | 用于处理信息的方法和装置 | |
CN110362583A (zh) | 一种用于多数据源的数据处理方法和装置 | |
CN109002925A (zh) | 业务量预测方法和装置 | |
CN110083501A (zh) | 接口调用计数方法和装置 | |
CN110019671A (zh) | 一种处理实时消息的方法和系统 | |
CN108959294A (zh) | 一种访问搜索引擎的方法和装置 | |
CN110109912A (zh) | 一种标识符生成方法和装置 | |
CN112000323B (zh) | 一种数据处理方法和装置 | |
CN115496544A (zh) | 一种数据处理的方法和装置 | |
CN109947736A (zh) | 实时计算的方法和系统 | |
CN110032283A (zh) | 一种对联想词进行排序的方法和装置 | |
CN109144991A (zh) | 动态分表的方法、装置、电子设备和计算机可存储介质 | |
CN110020373A (zh) | 静态页面存储、浏览的方法和装置 | |
CN113780827A (zh) | 一种物品筛选方法、装置、电子设备及计算机可读介质 | |
CN112887426A (zh) | 信息流的推送方法、装置、电子设备以及存储介质 | |
CN111782351A (zh) | 一种分布式任务调度的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |