CN114244901A - 数据的处理方法、装置及电子设备 - Google Patents
数据的处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114244901A CN114244901A CN202111387133.5A CN202111387133A CN114244901A CN 114244901 A CN114244901 A CN 114244901A CN 202111387133 A CN202111387133 A CN 202111387133A CN 114244901 A CN114244901 A CN 114244901A
- Authority
- CN
- China
- Prior art keywords
- data
- target server
- forwarded
- forwarding mode
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000012795 verification Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 101000716310 Homo sapiens Protein sidekick-2 Proteins 0.000 description 2
- 102100021005 Protein sidekick-2 Human genes 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 101800000618 Protein kinase C delta type catalytic subunit Proteins 0.000 description 1
- 102100021004 Protein sidekick-1 Human genes 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters
Abstract
本公开提供一种数据的处理方法、装置及电子设备,涉及大数据智能分析技术领域,其中,所述方法包括获取客户端发送的操作数据转发请求,其中,所述请求中包含所述客户端所在终端设备的类型、操作数据的业务类型及待转发的操作数据;根据所述终端设备的类型,确定目标服务器;根据操作数据的业务类型,确定数据转发模式;根据所述数据转发模式,将所述待转发的操作数据发送至目标服务器。由此,在对操作数据进行处理时,可以根据终端设备的类型及操作数据的业务类型,确定数据转发模式及目标服务器,之后即可采用确定出的数据转发模式将操作数据发送至目标服务器,从而不仅提高了数据处理的效率,而且保证了数据转发的可靠性。
Description
技术领域
本公开涉及大数据智能分析技术领域,尤其涉及一种数据的处理方法、装置及电子设备。
背景技术
通常,客户端在采集到数据之后,会将其发送到服务端,服务端在接收到采集数据后,会将其直接进行转发,从而会导致数据的转发过程较为无序和混乱,进而影响数据处理的效率。由此,如何提高数据处理的效率,成为当前亟待解决的问题。
发明内容
本公开提供一种数据的处理方法、装置及电子设备。
根据本公开实施例的第一方面,提供一种数据的处理方法,包括:
获取客户端发送的操作数据转发请求,其中,所述请求中包含所述客户端所在终端设备的类型、操作数据的业务类型及待转发的操作数据;
根据所述终端设备的类型,确定目标服务器;
根据所述操作数据的业务类型,确定数据转发模式,其中,所述数据转发模式为以下至少一项:异步队列实时转发模式及日志转发模式;
根据所述数据转发模式,将所述待转发的操作数据发送至目标服务器。
可选的,所述根据所述数据转发模式,将所述待转发的数据发送至目标服务器,包括:
在数据转发模式为日志转发模式的情况下,将所述待转发的数据进行缓存;
对缓存的数据进行监测,直至监测到最新获取的缓存数据为事件结束关联的数据,将所述待转发的数据进行处理以生成日志;
将所述日志发送至目标服务器。
可选的,所述根据所述数据转发模式,将所述待转发的数据发送至目标服务器,包括:
在数据转发模式为异步队列实时转发模式的情况下,将所述待转发的数据放入所述目标服务器对应的异步队列中,以使所述目标服务器从所述异步队列中读取所述待转发的数据。
可选的,还包括:
接收目标服务器发送的异步队列订阅请求;
创建与所述目标服务器对应的异步队列。
可选的,所述根据所述终端设备的类型,确定目标服务器,包括:
对所述待转发的数据对应的数据格式、时间格式及字符串类型进行校验;
在所述校验通过的情况下,根据所述终端设备的类型,确定目标服务器
根据本公开实施例的第二方面,提供一种数据的处理装置,包括:
获取模块,用于获取客户端发送的操作数据转发请求,其中,所述请求中包含所述客户端所在终端设备的类型、操作数据的业务类型及待转发的操作数据;
第一确定模块,用于根据所述终端设备类型,确定目标服务器;
第二确定模块,用于根据所述操作数据的业务类型,确定数据转发模式,其中,所述数据转发模式为以下至少一项:异步队列实时转发模式及日志转发模式;
发送模块,用于根据所述数据转发模式,将所述待转发的操作数据发送至目标服务器。
可选的,所述发送模块,具体用于:
在数据转发模式为日志转发模式的情况下,将所述待转发的数据进行缓存;
对缓存的数据进行监测,直至监测到最新获取的缓存数据为事件结束关联的数据,将所述待转发的数据进行处理以生成日志;
将所述日志发送至目标服务器。
可选的,所述发送模块,还具体用于:在数据转发模式为异步队列实时转发模式的情况下,将所述待转发的数据放入所述目标服务器对应的异步队列中,以使所述目标服务器从所述异步队列中读取所述待转发的数据。
可选的,所述装置,还包括:
接收模块,用于接收目标服务器发送的异步队列订阅请求;
创建模块,用于创建与所述目标服务器对应的异步队列。
可选的,所述第一确定模块,还具体用于:
对所述待转发的数据对应的数据格式、时间格式及字符串类型进行校验;
在所述校验通过的情况下,根据所述终端设备的类型,确定目标服务器。
根据本公开实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如第一方面实施例所述的方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如第一方面实施例所述的方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现第一方面实施例所述的方法。
本公开的实施例提供的数据的处理方法、装置及电子设备,可以先获取客户端发送的操作数据转发请求,其中,请求中包含客户端所在终端设备的类型、操作数据的业务类型及待转发的操作数据,之后根据终端设备的类型,确定目标服务器,再根据操作数据的业务类型,确定数据转发模式,之后可以根据数据转发模式,将待转发的操作数据发送至目标服务器。由此,在对操作数据进行处理时,可以根据终端设备的类型及操作数据的业务类型,确定数据转发模式及目标服务器,之后即可采用确定出的数据转发模式将操作数据发送至目标服务器,从而在操作数据转发过程中,充分考虑到了终端设备的类型及操作数据的业务类型,之后可以将操作数据按照对应的数据转发模式有序转发至目标服务器,从而不仅提高了数据处理的效率,而且保证了数据转发的可靠性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1为本公开第一实施例提供的一种数据的处理方法的流程图;
图2为本公开第二实施例提供的一种数据的处理方法的流程图;
图3为本公开第三实施例提供的一种数据的处理方法的流程图;
图4为本公开第四实施例提供的一种数据的处理装置的结构示意图;
图5示出了适于用来实现本公开实施方式的示例性电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1为本公开第一实施例提供的一种数据的处理方法的流程图。
本公开实施例的数据的处理方法,可由本公开实施例的数据的处理装置执行,该装置可配置于电子设备中。
如图1所示,该数据的处理方法,包括以下步骤:
步骤101,获取客户端发送的操作数据转发请求,其中,请求中包含客户端所在终端设备的类型、操作数据的业务类型及待转发的操作数据。
其中,终端设备的类型,可以有多种。比如可以为电脑(personal computer,PC)设备、安卓(android)手机设备,苹果(ios)手机设备等等,本公开对此不做限定。
另外,操作数据的业务类型,可以为提前配置好的,其可以有多种情况。举例来说,操作数据的业务类型可以为实时营销、实时推送等实时类型;或者也可以为数据报表、可视化分析等统计类型等等,本公开对此不做限定。
可以理解的是,客户端在采集到操作数据后即可进行操作数据的转发处理;或者在监测到某事件被触发的情况下,即可发送操作数据转发请求等等,本公开对此不做限定。
需要说明的是,本公开的技术方案中,所涉及的操作数据的采集、获取、存储和应用等处理,均符合相关法律法规的规定,且不违背公序良俗。
步骤102,根据终端设备类型,确定目标服务器。
其中,可以提前设定好终端设备的类型与服务器间的对应关系。可以理解的是,任一类型的终端设备,其对应的服务器可以为一个,或者也可以为多个,本公开对此不做限定。
比如,对于PC端对应的服务器可以为服务器1,android端对应的服务器可以为服务器2、ios端对应的服务器可以为服务器3。若通过对获取的操作数据转发请求进行分析处理,确定客户端所在终端设备的类型为PC端,则可以将PC端对应的目标服务器确定为服务器1。或者,通过对获取的操作数据转发请求进行分析处理,确定客户端所在终端设备的类型为ios端,则可以确定服务器3即为对应的目标服务器。
需要说明的是,上述示例只是示意性说明,不能作为对本公开实施例中确定目标服务器的方式等的限定。
步骤103,,根据操作数据的业务类型,确定数据转发模式,其中,数据转发模式为以下至少一项:异步队列实时转发模式及日志转发模式。
可以理解的是,若操作数据的业务类型为实时类型,其对应的数据转发模式可以为异步队列实时转发模式;若操作数据的业务类型为统计类型,其对应的数据转发模式可以为日志转发模式。
比如,操作数据的业务类型为实时营销类,则可以确定数据转发模式为异步队列实时转发模式;或者,操作数据的业务类型为数据报表类,则可以确定数据转发模式为日志转发模式等等,本公开对此不做限定。
或者,操作数据的业务类型为:对某一类型终端设备的数据进行统计分析,则可以根据该终端设备的类型确定目标服务器,并确定数据转发模式为日志转发模式。
可选的,若某一类型终端设备对应的服务器有多个,则可以进一步确定这多个服务器中每个服务器的负载状况,根据每个服务器的负载状况确定目标服务器。比如,可以将负载率最低的服务器确定为目标服务器,或者也可以将负载率低于阈值的任一服务器确定为目标服务器等等,本公开对此不做限定。
比如,根据操作数据转发请求确定客户端所在终端设备的类型为android端,操作数据的业务类型为对android端的数据进行漏斗分析,则可以确定数据转发模式为日志转发模式。若android端对应的服务器为服务器2和服务器3,服务器2当前的负载率为90%,服务器3当前的负载率为9%,则可以确定对应的目标服务器为服务器3。从而,可使得数据发送更为可靠与准确,尽量避免了由于服务器的负载过高,而导致的数据丢失或发送不及时等。
需要说明的是,上述示例只是举例说明,不能作为对本公开实施例中终端设备的类型、操作数据的业务类型以及目标服务器等的限定。
步骤104,根据数据转发模式,将待转发的操作数据发送至目标服务器。
可以理解的是,在确定出数据转发模式以及目标服务器后,可以采用该数据转发模式,将待转发的操作数据发送至目标服务器。
比如,通过对接收的客户端发送的操作数据转发请求进行分析处理,确定出数据转发模式为日志转发、以及目标服务器为服务器2,则可以将按照日志转发模式将该待转发的数据发送至服务器2等等,本公开对此不做限定。
本公开实施例,可以先获取客户端发送的操作数据转发请求,其中,请求中包含客户端所在终端设备的类型、操作数据的业务类型及待转发的操作数据,之后根据终端设备的类型,确定目标服务器,再根据操作数据的业务类型,确定数据转发模式,之后可以根据数据转发模式,将待转发的操作数据发送至目标服务器。由此,在对操作数据进行转发处理时,可以根据终端设备的类型及操作数据的业务类型,确定数据转发模式及目标服务器,之后即可采用确定出的数据转发模式将操作数据发送至目标服务器,从而在操作数据转发过程中,充分考虑到了终端设备的类型及操作数据的业务类型,之后可以将操作数据按照对应的数据转发模式有序转发至目标服务器,从而不仅提高了数据处理的效率,而且保证了数据转发的可靠性。
图2为本公开第二实施例提供的一种数据的处理方法的流程图。
如图2所示,该数据的处理方法,包括以下步骤:
步骤201,获取客户端发送的操作数据转发请求,其中,请求中包含客户端所在终端设备的类型、操作数据的业务类型及待转发的操作数据。
可选的,操作数据转发请求中,还可以包括页面的标识、软件开发工具包(software development kit,SDK)的标识等等,本公开对此不做限定。
可以理解的是,不同的页面标识,可以表征不同的页面内容。在不同的页面上的不同的操作,可以对应不同的业务类型。本公开对此不做限定。
比如,页面标识为A、且为滑动操作的情况下,其对应的操作数据的类型可以为实时类型;或者,页面标识为B的情况下且进行的是点击操作,其对应的操作数据的类型可以为统计类型等等,本公开对此不做限定。
另外,可以根据SDK的标识,确定操作数据的业务类型。
可以理解的是,可以为不同的业务配置不同的SDK标识,从而不同的SDK标识可以表征不同的业务类型。
比如,实时业务1配置的SDK标识为SDK1、实时业务2配置的SDK标识为SDK2、统计业务1配置的SDK标识为SDK11。若请求中包含的SDK标识为SDK2,则可以确定对应的操作数据的业务类型为实时业务2等等。本公开对此不做限定。
步骤202,根据终端设备的类型,确定目标服务器。
步骤203,根据操作数据的业务类型,确定数据转发模式,其中,数据转发模式为以下至少一项:异步队列实时转发模式及日志转发模式。
步骤204,在数据转发模式为异步队列实时转发模式的情况下,将待转发的数据放入目标服务器对应的异步队列中,以使目标服务器从异步队列中读取待转发的数据。
其中,任一目标服务器与异步队列间可以为对应关系。可以理解的是,目标服务器不同,其对应的异步队列也不同,本公开对此不做限定。
比如,已确定待转发的数据1对应的目标服务器为服务器3,服务器3对应的异步队列为异步队列3,则可以将待转发的数据1放入异步队列3中,从而可使得服务器3可以从异步队列3中读取待转发的数据1。由此,在数据转发与处理过程中,可使得目标服务器可以从对应的异步队列中及时读取待转发的数据,提高了数据转发的效率和准确性。
需要说明的是,上述示例只是举例说明,不能作为对本公开实施例中目标服务器及其对应的异步队列等的限定。
另外,异步队列可以为提前创建的,本公开对此不做限定。
可选的,可以先接收目标服务器发送的异步队列订阅请求,之后创建与目标服务器对应的异步队列。
其中,目标服务器可以为发送异步队列订阅请求的任意服务器,其可以为一个,或者也可以为多个。本公开对此不做限定。
比如,服务器1、服务器2和服务器3均发送了异步队列订阅请求,之后可以创建服务器1对应的异步队列1、服务器2对应的异步队列2以及服务器3对应的异步队列3。在确定需要将待转发的数据以异步队列实时转发模式发送至目标服务器时,即可将该待转发的数据放入目标服务器对应的异步队列中,从而节省了时间,提高了效率。
需要说明的是,上述示例只是举例说明,不能作为对本公开实施例中目标服务器及其异步队列等的限定。
步骤205,在数据转发模式为日志转发模式的情况下,将待转发的数据进行缓存。
步骤206,对缓存的数据进行监测,直至监测到最新获取的缓存数据为事件结束关联的数据,将待转发的数据进行处理以生成日志。
其中,在数据转发模式为日志转发模式的情况下,为了保证数据的完整性和全面性,可以先对待转发的数据进行缓存,并对缓存的数据进行监测。
可以理解的是,若最新获取的缓存数据为事件结束关联的数据,即其可以表征当前事件的结束,则可以停止对数据进行缓存,可以将与当前事件相关的缓存数据也即相关的待转发的数据进行处理,以生成日志,该日志可以表征完整的事件情况。
其中,与事件结束关联的数据,可以为提前设定好的数据,或者也可以为具有特定格式的数据等等,本公开对此不做限定。
步骤207,将生成的日志发送至目标服务器。
本公开提供的数据的处理方法,可以适用于任意场景中,比如实时营销、消息推送、报表分析、可视化分析、属性分析、统计分析等等,本公开对此不做限定。
举例来说,可以在客户端中配置SDK,其可以为统一的采集模型,从而可以采集客户端中的操作数据。
比如,业务类型为报表分析,从而在采集到操作数据之后,客户端可以发送操作数据转发请求。从而,数据的采集装置可以获取客户端发送的操作数据转发请求,若通过对该请求进行分析处理,确定请求中包含的客户端所在终端设备的类型为PC端、操作数据的业务类型为报表统计类。之后可以将PC端对应的服务器,比如为服务器1确定为目标服务器。再根据操作数据的业务类型报表统计类,可以确定数据转发模式为批量转发,比如可以为日志转发。之后可以对待转发的数据进行缓存并进行监测,直到监测到最新获取的数据为事件结束关联的数据,从而可以确定该事件结束,之后可以将待转发的数据进行处理以生成日志,并将该日志发送至服务器1。
可以理解的是,本公开提供的数据的处理方法,可以适用于任意场景中,可以适用于任意类型的终端设备中,从而可以在不同类型的终端设备上进行采集处理。另外,从而可根据业务类型选用对应的转发方式,比如实时转发或批量日志形式转发等等,从而进一步提高了数据处理的准确性和可靠性。
需要说明的是,上述示例只是举例说明,不能作为对本公开实施例中对待转发的数据进行处理的方式及过程等的限定。
本公开实施例,可以先获取客户端发送的操作数据转发请求,之后根据终端设备的类型,确定目标服务器,再根据操作数据的业务类型,确定数据转发模式,在数据转发模式为异步队列实时转发模式的情况下,将待转发的数据放入目标服务器对应的异步队列中,以使目标服务器从异步队列中读取待转发的数据,在数据转发模式为日志转发模式的情况下,将待转发的数据进行缓存,对缓存的数据进行监测,直至监测到最新获取的缓存数据为事件结束关联的数据,将待转发的数据进行处理以生成日志,之后可以将生成的日志发送至目标服务器。由此,在对操作数据进行转发处理时,充分考虑到了终端设备的类型及操作数据的业务类型,可以根据终端设备的类型及操作数据的业务类型,确定数据转发模式及目标服务器,之后即可将操作数据按照对应的数据转发模式发送至目标服务器,从而不仅提高了数据处理的效率,而且保证了数据转发的可靠性。
图3为本公开第三实施例提供的一种数据的处理方法的流程图。
如图3所示,该数据的处理方法,包括以下步骤:
步骤301,获取客户端发送的操作数据转发请求,其中,请求中包含客户端所在终端设备的类型、操作数据的业务类型及待转发的操作数据。
步骤302,对待转发的数据对应的数据格式、时间格式及字符串类型进行校验。
可以理解的是,可以提前设定特定的数据格式,从而在获取到待转发的数据后,可以对数据格式进行校验。若该待转发的数据对应的数据格式与特定的数据格式一致,则可以确定数据格式通过校验。
另外,还可以对待转发的数据对应的时间格式进行校验。比如,提前设定的时间格式为X年X月X日,通过对接收到的待转发的数据进行分析处理,确定其对应的时间格式为X月X日X年,二者不一致,则可以确定时间格式未通过校验。相应的,若待转发的数据对应的时间格式与设定的时间格式一致,则可以确定时间格式通过校验。本公开对此不做限定。
可以理解的是,在接收到待转发的数据后,通过对其进行分析处理,可以确定出所属的字符串类型。将该字符串类型与默认的支持规则中字符串格式进行比对,若二者一致,则可以确定字符串类型通过校验。若二者不一致,则可以确定未通过校验。
比如,定义的浮点数样式为(10,2),其中10表示数据的总位数,2标识小数位数。若对当前待转发的数据进行处理后,确定其为(10,3),与定义的浮点数样式不一致,则可以确定未通过校验。本公开对此不做限定。
可以理解的是,在数据格式、时间格式及字符串类型均不匹配的情况下,可以确定待转发的数据校验未通过。
可选的,也可以在数据格式、时间格式及字符串类型中任意一项未匹配的情况下,即可确定待转发的数据校验未通过等等。本公开对此不做限定。
步骤303,在校验通过的情况下,根据终端设备的类型,确定目标服务器。
步骤304,根据操作数据的业务类型,确定数据转发模式,其中,数据转发模式为以下至少一项:异步队列实时转发模式及日志转发模式。
可以理解的是,在校验通过的情况下,可以根据终端设备的类型,确定目标服务器,并根据操作数据的类型,确定数据转发模式。
相应的,在校验未通过的情况下,可以对该待转发的数据进行拦截,不进行后续转发处理等操作,从而可以有效减少数据处理量,提高数据处理效率。
步骤305,根据数据转发模式,将待转发的操作数据发送至目标服务器。
本公开实施例,可以先获取客户端发送的操作数据转发请求,其中,请求中包含客户端所在终端设备的类型、操作数据的业务类型及待转发的操作数据,之后对待转发的数据对应的数据格式、时间格式及字符串类型进行校验,在校验通过的情况下,根据终端设备的类型及操作数据的类型,确定数据转发模式及目标服务器,之后可以根据数据转发模式,将待转发的操作数据发送至目标服务器。由此,通过对待转发数据进行校验,可以有效减少对非法数据的处理,从而减少了数据处理量,提高了效率。
图4为本公开第五实施例提供的一种数据的处理装置的结构示意图。
参照图4,该数据的处理装置400,包括:获取模块410,确定模块420,及发送模块430。
其中,获取模块410,用于获取客户端发送的操作数据转发请求,其中,所述请求中包含所述客户端所在终端设备的类型、操作数据的业务类型及待转发的操作数据。
第一确定模块420,用于根据所述终端设备类型,确定目标服务器;
第二确定模块430,用于根据所述操作数据的业务类型,确定数据转发模式,其中,所述数据转发模式为以下至少一项:异步队列实时转发模式及日志转发模式。
发送模块440,用于根据所述数据转发模式,将所述待转发的操作数据发送至目标服务器。
可选的,所述发送模块440,具体用于:
在数据转发模式为日志转发模式的情况下,将所述待转发的数据进行缓存;
对缓存的数据进行监测,直至监测到最新获取的缓存数据为事件结束关联的数据,将所述待转发的数据进行处理以生成日志;
将所述日志发送至目标服务器。
可选的,所述发送模块440,还具体用于:在数据转发模式为异步队列实时转发模式的情况下,将所述待转发的数据放入所述目标服务器对应的异步队列中,以使所述目标服务器从所述异步队列中读取所述待转发的数据。
可选的,所述装置,还包括:
接收模块,用于接收目标服务器发送的异步队列订阅请求;
创建模块,用于创建与所述目标服务器对应的异步队列。
可选的,所述第一确定模块420,还具体用于:
对所述待转发的数据对应的数据格式、时间格式及字符串类型进行校验;
在所述校验通过的情况下,根据所述终端设备的类型,确定目标服务器。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开实施例的数据的处理装置,可以先获取客户端发送的操作数据转发请求,其中,请求中包含客户端所在终端设备的类型、操作数据的业务类型及待转发的操作数据,之后根据终端设备的类型,确定目标服务器,再根据操作数据的业务类型,确定数据转发模式,之后可以根据数据转发模式,将待转发的操作数据发送至目标服务器。由此,在对操作数据进行转发处理时,可以根据终端设备的类型及操作数据的业务类型,确定数据转发模式及目标服务器,之后即可采用确定出的数据转发模式将操作数据发送至目标服务器,从而在操作数据转发过程中,充分考虑到了终端设备的类型及操作数据的业务类型,之后可以将操作数据按照对应的数据转发模式有序转发至目标服务器,从而不仅提高了数据处理的效率,而且保证了数据转发的可靠性。
为了实现上述实施例,本公开还提出一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时,实现如本公开前述实施例提出的数据的处理方法。
为了实现上述实施例,本公开还提出一种非临时性计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现如本公开前述实施例提出的数据的处理方法。
为了实现上述实施例,本公开还提出一种计算机程序产品,当计算机程序产品中的指令处理器执行时,执行如本公开前述实施例提出的数据的处理方法。
图5示出了适于用来实现本公开实施方式的示例性电子设备的框图。图5显示的电子设备12仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation;以下简称:VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection;以下简称:PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory;以下简称:RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如:光盘只读存储器(Compact Disc Read OnlyMemory;以下简称:CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory;以下简称:DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该电子设备12交互的设备通信,和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network;以下简称:LAN),广域网(Wide Area Network;以下简称:WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与电子设备12的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现前述实施例中提及的方法。
本公开的技术方案,可以先获取客户端发送的操作数据转发请求,其中,请求中包含客户端所在终端设备的类型、操作数据的业务类型及待转发的操作数据,之后根据终端设备的类型,确定目标服务器,再根据操作数据的业务类型,确定数据转发模式,之后可以根据数据转发模式,将待转发的操作数据发送至目标服务器。由此,在对操作数据进行转发处理时,可以根据终端设备的类型及操作数据的业务类型,确定数据转发模式及目标服务器,之后即可采用确定出的数据转发模式将操作数据发送至目标服务器,从而在操作数据转发过程中,充分考虑到了终端设备的类型及操作数据的业务类型,之后可以将操作数据按照对应的数据转发模式有序转发至目标服务器,从而不仅提高了数据处理的效率,而且保证了数据转发的可靠性。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本公开的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本公开的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本公开各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本公开的限制,本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (13)
1.一种数据的处理方法,其特征在于,包括:
获取客户端发送的操作数据转发请求,其中,所述请求中包含所述客户端所在终端设备的类型、操作数据的业务类型及待转发的操作数据;
根据所述终端设备的类型,确定目标服务器;
根据所述操作数据的业务类型,确定数据转发模式,其中,所述数据转发模式为以下至少一项:异步队列实时转发模式及日志转发模式;
根据所述数据转发模式,将所述待转发的操作数据发送至目标服务器。
2.如权利要求1所述的方法,其特征在于,所述根据所述数据转发模式,将所述待转发的数据发送至目标服务器,包括:
在数据转发模式为日志转发模式的情况下,将所述待转发的数据进行缓存;
对缓存的数据进行监测,直至监测到最新获取的缓存数据为事件结束关联的数据,将所述待转发的数据进行处理以生成日志;
将所述日志发送至目标服务器。
3.如权利要求1所述的方法,其特征在于,所述根据所述数据转发模式,将所述待转发的数据发送至目标服务器,包括:
在数据转发模式为异步队列实时转发模式的情况下,将所述待转发的数据放入所述目标服务器对应的异步队列中,以使所述目标服务器从所述异步队列中读取所述待转发的数据。
4.如权利要求3所述的方法,其特征在于,还包括:
接收目标服务器发送的异步队列订阅请求;
创建与所述目标服务器对应的异步队列。
5.如权利要求1-4任一所述的方法,其特征在于,所述根据所述终端设备的类型,确定目标服务器,包括:
对所述待转发的数据对应的数据格式、时间格式及字符串类型进行校验;
在所述校验通过的情况下,根据所述终端设备的类型,确定目标服务器。
6.一种数据的处理装置,其特征在于,包括:
获取模块,用于获取客户端发送的操作数据转发请求,其中,所述请求中包含所述客户端所在终端设备的类型、操作数据的业务类型及待转发的操作数据;
第一确定模块,用于根据所述终端设备类型,确定目标服务器;
第二确定模块,用于根据所述操作数据的业务类型,确定数据转发模式,其中,所述数据转发模式为以下至少一项:异步队列实时转发模式及日志转发模式;
发送模块,用于根据所述数据转发模式,将所述待转发的操作数据发送至目标服务器。
7.如权利要求5所述的装置,其特征在于,所述发送模块,具体用于:
在数据转发模式为日志转发模式的情况下,将所述待转发的数据进行缓存;
对缓存的数据进行监测,直至监测到最新获取的缓存数据为事件结束关联的数据,将所述待转发的数据进行处理以生成日志;
将所述日志发送至目标服务器。
8.如权利要求5所述的装置,其特征在于,所述发送模块,还具体用于:在数据转发模式为异步队列实时转发模式的情况下,将所述待转发的数据放入所述目标服务器对应的异步队列中,以使所述目标服务器从所述异步队列中读取所述待转发的数据。
9.如权利要求8所述的装置,其特征在于,所述装置,还包括:
接收模块,用于接收目标服务器发送的异步队列订阅请求;
创建模块,用于创建与所述目标服务器对应的异步队列。
10.如权利要求6-9任一所述的装置,其特征在于,所述第一确定模块,还具体用于:
对所述待转发的数据对应的数据格式、时间格式及字符串类型进行校验;
在所述校验通过的情况下,根据所述终端设备的类型,确定目标服务器。
11.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至5中任一项所述的数据的处理方法。
12.一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至5中任一项所述的数据的处理方法。
13.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的数据的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111387133.5A CN114244901A (zh) | 2021-11-22 | 2021-11-22 | 数据的处理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111387133.5A CN114244901A (zh) | 2021-11-22 | 2021-11-22 | 数据的处理方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114244901A true CN114244901A (zh) | 2022-03-25 |
Family
ID=80750334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111387133.5A Pending CN114244901A (zh) | 2021-11-22 | 2021-11-22 | 数据的处理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114244901A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103701692A (zh) * | 2013-12-25 | 2014-04-02 | Tcl集团股份有限公司 | 一种转发消息的方法、系统及服务器 |
CN106230896A (zh) * | 2016-07-18 | 2016-12-14 | 深圳国泰安教育技术股份有限公司 | 一种消息推送方法、装置及系统 |
CN109815013A (zh) * | 2019-01-02 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 业务数据处理方法、装置、计算机设备和存储介质 |
CN110633442A (zh) * | 2019-08-19 | 2019-12-31 | 阿里巴巴集团控股有限公司 | 一种推送方法、装置及电子设备 |
CN111522786A (zh) * | 2020-04-21 | 2020-08-11 | 中国建设银行股份有限公司 | 日志处理系统及方法 |
-
2021
- 2021-11-22 CN CN202111387133.5A patent/CN114244901A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103701692A (zh) * | 2013-12-25 | 2014-04-02 | Tcl集团股份有限公司 | 一种转发消息的方法、系统及服务器 |
CN106230896A (zh) * | 2016-07-18 | 2016-12-14 | 深圳国泰安教育技术股份有限公司 | 一种消息推送方法、装置及系统 |
CN109815013A (zh) * | 2019-01-02 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 业务数据处理方法、装置、计算机设备和存储介质 |
CN110633442A (zh) * | 2019-08-19 | 2019-12-31 | 阿里巴巴集团控股有限公司 | 一种推送方法、装置及电子设备 |
CN111522786A (zh) * | 2020-04-21 | 2020-08-11 | 中国建设银行股份有限公司 | 日志处理系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105376335B (zh) | 一种采集数据上传方法和装置 | |
CN110674025B (zh) | 交互行为监测方法、装置以及计算机设备 | |
CN109710439B (zh) | 故障处理方法和装置 | |
CN109002424B (zh) | 文件格式转换方法、装置、计算机设备及存储介质 | |
CN110888731B (zh) | 路由数据采集方法、装置、设备及存储介质 | |
US10346281B2 (en) | Obtaining and analyzing a reduced metric data set | |
CN109818808B (zh) | 故障诊断方法、装置和电子设备 | |
CN108647284B (zh) | 记录用户行为的方法及装置、介质和计算设备 | |
CN112948224A (zh) | 一种数据处理方法、装置、终端及存储介质 | |
CN110554929B (zh) | 数据校验方法、装置、计算机设备及存储介质 | |
CN111966339B (zh) | 埋点参数的录入方法、装置、计算机设备和存储介质 | |
CN115022201B (zh) | 一种数据处理功能测试方法、装置、设备及存储介质 | |
CN111784176A (zh) | 一种数据处理方法、装置、服务器及介质 | |
CN111654405A (zh) | 通信链路的故障节点方法、装置、设备及存储介质 | |
CN116738091A (zh) | 页面监控方法、装置、电子设备及存储介质 | |
CN110990743A (zh) | 应用程序卸载率的确定方法、装置和电子设备 | |
CN114244901A (zh) | 数据的处理方法、装置及电子设备 | |
CN112241362A (zh) | 一种测试方法、装置、服务器及存储介质 | |
CN111797345A (zh) | 应用页面展现方法、装置、计算机设备和存储介质 | |
CN115237716A (zh) | 操作系统的事件记录、统计方法和装置 | |
CN107342917B (zh) | 用于检测网络设备性能的方法和装置 | |
CN111741046B (zh) | 数据上报方法、获取方法、装置、设备及介质 | |
CN114416420A (zh) | 设备问题反馈方法和系统 | |
CN112799957A (zh) | 基于用户行为的故障处理方法、系统、设备和介质 | |
CN111131370B (zh) | 用于检测服务调用是否正确的方法、装置和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |