CN106649342A - 数据采集平台中数据处理的方法及装置 - Google Patents
数据采集平台中数据处理的方法及装置 Download PDFInfo
- Publication number
- CN106649342A CN106649342A CN201510727676.5A CN201510727676A CN106649342A CN 106649342 A CN106649342 A CN 106649342A CN 201510727676 A CN201510727676 A CN 201510727676A CN 106649342 A CN106649342 A CN 106649342A
- Authority
- CN
- China
- Prior art keywords
- data
- pending
- pending data
- data acquisition
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
Abstract
本发明公开了一种数据采集平台中数据处理的方法及装置,涉及计算机技术领域,主要目的在于解决由于不同的数据采集平台使用不同的采集数据方法,因此不同的数据采集平台只能采集特定类型的数据,导致不同的数据采集平台之间通用性较差的问题。本发明的技术方案包括:接收预设数据采集接口发送的待处理数据;预设数据采集接口根据数据采集指令采集待处理数据,数据采集指令中包含待处理数据的数据类型;确定待处理数据的数据类型是否与数据采集指令中的数据类型一致;若一致,则根据预置规范规则将待处理数据进行格式化处理,预置规范规则用于规范待处理数据的格式;将格式化处理后的待处理数据发送至服务器。本发明主要应用于数据采集过程中。
Description
技术领域
本发明涉及计算机技术领域,特别是涉及一种数据采集平台中数据处理的方法及装置。
背景技术
数据分析是组织有目的地收集数据、数据处理、分析数据,使之成为信息的过程。数据分析的前提是数据采集和数据处理,在数据采集过程中数据来源可能不同,格式也可能不同,因此在进行数据采集时,可以使用现有技术中提供的数据采集软件,例如,在采集网页视频播放数据时,可以使用采集网页视频播放数据的软件开发包(Software Development Kit,SDK);在采集移动端的用户行为数据时,可以使用移动端的用户行为数据SDK等等。在数据采集过程中使用的SDK,均有特定的来源信息、特定的数据格式、特定的数据传送格式,在数据处理时要分别针对特定的来源信息、特定的数据格式、特定的数据传送格式进行数据处理。
在使用数据采集软件进行数据采集时,发明人发现其存在如下问题:当同时采集网页视频播放数据与移动端的用户行为数据时,需要对网页视频播放数据与移动端的用户行为分别部署不同的数据采集平台,才能实现同时采集到网页视频播放数据与移动端的用户行为数据;由于不同的数据采集平台的技术构架存在较大差异,即不同的数据采集平台使用的数据采集方法及数据处理方法存在较大差异,因此不同的数据采集平台只能采集特定类型的数据,导致不同的数据采集平台之间通用性较差。
发明内容
有鉴于此,本发明提供的一种数据采集平台中数据处理的方法及装置,主要目的在于解决由于不同的数据采集平台使用不同的采集数据方法,因此不同的数据采集平台只能采集特定类型的数据,导致不同的数据采集平台之间通用性较差的问题。
为了解决上述问题,本发明主要提供如下技术方案:
一方面,本发明提供了一种数据采集平台中数据处理的方法,该方法包括:
接收预设数据采集接口发送的待处理数据;其中,所述预设数据采集接口根据数据采集指令采集所述待处理数据,所述数据采集指令中包含所述待处理数据的数据类型;
确定所述待处理数据的数据类型是否与所述数据采集指令中的数据类型一致;
若一致,则根据预置规范规则将所述待处理数据进行格式化处理,所述预置规范规则用于规范所述待处理数据的格式;
将格式化处理后的所述待处理数据发送至服务器。
另一方面,本发明还提供一种数据采集平台中数据处理的装置,该装置包括:
接收单元,用于接收预设数据采集接口发送的待处理数据;其中,所述预设数据采集接口根据数据采集指令采集所述待处理数据,所述数据采集指令中包含所述待处理数据的数据类型;
确定单元,用于确定所述待处理数据的数据类型是否与所述接收单元接收的所述数据采集指令中的数据类型一致;
处理单元,用于当所述确定单元确定所述待处理数据的数据类型与所述数据采集指令中的数据类型一致时,根据预置规范规则将所述待处理数据进行格式化处理,所述预置规范规则用于规范所述待处理数据的格式;
发送单元,用于将所述处理单元格式化处理后的所述待处理数据发送至服务器。
借由上述技术方案,本发明提供的技术方案至少具有下列优点:
本发明提供的数据采集平台中数据处理的方法及装置,接收预设数据采集接口发送的待处理数据,该预设数据采集接口根据数据采集指令采集待处理数据,该数据采集指令中包含待处理数据的数据类型,确定待处理数据的数据类型与数据采集指令中的数据类型是否一致,若一致,则根据预置规范规则将该待处理数据进行格式化处理,将格式化处理后的待处理数据发送至服务器,与现有技术相比,本发明在数据采集平台中能够将预设采集接口采集的不同数据类型的待处理数据进行统一的格式化处理,即该数据采集平台的通用性好。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的一种数据采集平台中数据处理的方法的流程图;
图2示出了本发明实施例提供的另一种数据采集平台中数据处理的方法的流程图;
图3示出了本发明实施例提供的一种数据采集平台中数据处理的装置的组成框图;
图4示出了本发明实施例提供的另一种数据采集平台中数据处理的装置的组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供一种数据采集平台中数据处理的方法,如图1所示,该方法包括:
101、接收预设数据采集接口发送的待处理数据。
在本发明实施例中,预设数据采集接口位于客户端中,用于采集客户端中各种各样的数据,包括:用户行为数据、移动终端设备的视频播放数据、终端设备的网页信息数据等等;其中,该客户端可以安装于终端设备中;也可以安装于移动终端设备中,本发明对客户端的安装位置不进行限定。需要说明的是,预设数据采集接口在采集待处理数据时,基于服务器发送的数据采集指令采集待处理数据,其中,该数据采集指令中包含待处理数据的数据类型。
本发明实施例应用于采集待处理数据的过程中,当预设数据采集接口从客户端中采集完待处理数据之后,将该待处理数据发送至数据采集平台中,数据采集平台接收该待处理数据对该待处理数据进行格式化处理,处理之后,将处理后的待处理数据发送至服务器,完成服务器采集客户端中的数据。其中,数据采集平台接收到的待处理数据可能为一个,也可能为多个,本发明实施例对接收待处理数据的具体个数不进行限定。
预设数据采集接口在基于数据采集指令采集待处理数据时,其待处理数据的数据类型需根据客户端、数据采集平台的编程语言确定,不同的编程语言对应的数据类型类型可能存在差异。本发明实施例中,所述待处理数据的数据类型包含但不局限于下列内容,例如:整型、字符型、浮点型、字符串等等,本发明实施例对待处理数据的数据类型不进行具体限定。
102、确定所述待处理数据的数据类型是否与所述数据采集指令中的数据类型一致。
在数据采集平台接收到待处理数据之后,首先,确定待处理数据的个数,若待处理数据的个数为至少两个,需分别对至少两个待处理数据确定该待处理数据的数据类型;其次,获取数据采集指令中的数据类型与数据采集平台确定的待处理数据的数据类型是否一致。
本发明实施例中,数据采集平台除了确定待处理数据的数据类型,还包括:确定待处理数据是否包含特殊字符、待处理数据的长度信息等等。若确定待处理数据中包含特殊字符,则将包含特殊字符的待处理数据进行编码处理;若待处理数据的长度超过预设长度阈值,则将该待处理数据根据预设长度阈值进行截取,其中,所述预设长度阈值为人为设置,在设置预设长度阈值时,要基于不同的待处理数据的数据类型进行设置。
103、若一致,则根据预置规范规则将所述待处理数据进行格式化处理。
由步骤102可知,当确定所述待处理数据的数据类型是否与所述数据采集指令中的数据类型一致时,说明该待处理数据为服务器需要采集的数据。在数据采集平台中,在向服务器发送待处理数据之前,由于不确定接收的待处理数据的具体个数,因此需要对待处理数据进行格式化。若待处理数据的个数为至少两个,则需要将该至少两个待处理数据进行拼接,在根据预置规范规则对拼接后的待处理数据进行格式化处理;其中,预置规范规则用于规范所述待处理数据的格式。
需要说明的是,步骤102和步骤103中涉及的对待处理数据的处理,但是步骤102中,涉及的是对单个待处理数据的处理;若待处理数据为多个时,步骤103需要将多个待处理数据进行拼接,将多个待处理数据作为一个整体,对拼接后的待处理数据进行格式化处理。
本发明实施例中,预置规范规则为人为设置的,包括:待处理数据的长度信息、待处理数据的特定格式转换、向服务器发送待处理数据时使用的发送协议等等。本发明实施例中,预设规范规则可以选定默认的预设规范规则,也可以对该预设规范规则进行设置,具体的,本发明实施例对此不进行限定。
示例性的,以预置规范规则中的待处理数据的特定格式转换为例进行说明。若待处理数据为视频缓冲时长vido play buffer time=1200毫秒,而预置规范规则中要求待处理数据的单位为秒,则需要将视频缓冲时长vido playbuffer time=1200毫秒格式化处理为视频缓冲时长vido play buffer time=1.2秒,以上仅为示例性的举例,本发明实施例对预置规范规则不进行具体限定。
104、将格式化处理后的所述待处理数据发送至服务器。
将格式化处理后的待处理数据发送至服务器,实现在一个数据采集平台中实现多种数据类型的待处理数据采集。
本发明实施例提供的数据采集平台中数据处理的方法,接收预设数据采集接口发送的待处理数据,该预设数据采集接口根据数据采集指令采集待处理数据,该数据采集指令中包含待处理数据的数据类型,确定待处理数据的数据类型与数据采集指令中的数据类型是否一致,若一致,则根据预置规范规则将该待处理数据进行格式化处理,将格式化处理后的待处理数据发送至服务器,与现有技术相比,本发明实施例在数据采集平台中能够将预设采集接口采集的不同数据类型的待处理数据进行统一的格式化处理,即该数据采集平台的通用性好。
进一步的,在根据预置规范规则将待处理数据进行格式化处理时,首先确定该待处理数据的数量是否为至少两个,若确定该待处理数据的数量为至少两个,则将该些待处理数据进行拼接,并对拼接后的待处理数据进行格式化处理。若确定待处理数据的数量为一个时,基于所述预置规范规则将所述待处理数据进行格式化处理。本发明实施例中,在将多个待处理数据进行拼接时,通过预设连接符进行拼接,其中,所述预设连接符包含但不局限于以下内容,例如:&、/等等。示例性的,假设,待处理数据为两个,分别为:vido play begin time=09:10,vido play end time=10:00,则拼接后的待处理数据为vido play begin time=09:10&vido play end time=10:00。以上仅为示例性的举例,本发明实施例对待处理数据的个数及内容不进行限定。
进一步的,为了能够成功将格式化处理后的待处理数据发送至服务器,在向服务器发送格式化后的待处理数据时,首先确定发送格式化后待处理数据的发送协议,基于该确定的发送协议将格式化后的待处理数据发送至服务器。作为本发明实施例一种实现方式,解析数据采集指令,获取并确定发送协议,其中,该数据采集指令中还包含有待处理数据的发送协议;作为本发明实施例的另一种实现方式,在数据采集平台中会默认设置一种发送协议,确定该默认的发送协议为发送待处理数据的发送协议;或者,确定在数据采集平台中选定的发送协议为待处理数据的发送协议。本发明实施例中,所述数据发送协议包含但不局限于以下方式,例如,超文本传送协议(Hypertext transfer protocol,HTTP)的GET方法、POST方法以及PUT方法;本发明实施例对发送协议的具体内容不进行限定。
进一步的,在确定待处理数据的数据类型是否与数据采集指令中的数据类型一致时,首先,解析数据采集指令,确定该数据采集指令中的待处理数据的第一数据类型,其次,确定接收到的待处理数据的第二数据类型,并将第一数据类型与第二数据类型进行比对,确定第一数据类型与第二数据类型是否一致,若一致,则根据预置规范规则将所述待处理数据进行格式化处理;若不一致,则数据采集平台将接收到的待处理数据丢弃。
示例性的,假设,数据采集指令指示采集的待处理数据的第一数据类型为电话号码telephone number为数值型,若数据采集平台确定待处理数据telephone number=1234567,确定待处理数据的第二数据类型为数值型,确定所述待处理数据的第二数据类型与所述数据采集指令中的第一数据类型一致;若数据采集平台确定待处理数据telephone number=abCd的第二数据类型为字符型,则确定待处理数据的第二数据类型与所述数据采集指令中的第一数据类型不一致,说明该待处理数据为错误的数据,则将该待处理数据丢弃。
进一步的,为了能够确保数据采集平台中格式化处理后的待处理数据均能够发送至服务器,在将格式化处理后的待处理数据发送至服务器之前,将格式化处理后的待处理数据添加到发送等待队列中,该发送等待队列用于存储格式化处理后的待处理数据。作为本发明实施例的一种实现方式,该发送等待队列还能够控制发送待处理数据的发送时间、监测待处理数据是否发送成功。具体包括:将格式化处理后的待处理数据添加到发送等待队列中,发送等待队列中设置发送待处理数据的间隔时长为10s,即发送等待队列中每隔10s发送一个待处理数据,并监测该待处理数据是否发送成功,若该待处理数据发送成功,则对该待处理数据进行发送成功的标识;若该待处理数据发送失败,则对该待处理数据进行发送失败的标识。本发明实施例中,有关对待处理数据进行发送成功/失败的标识方法请参考现有技术中的相关实现,本发明实施例在此不再进行赘述。需要说明的是,本发明实施例对发送等待队列中发送待处理数据的间隔时长不进行限定。
进一步的,本发明实施例还提供另一种数据采集平台中数据处理的方法,如图2所示,该方法包括:
201、预设数据采集接口采集待处理数据,并将所述待处理数据发送至数据采集平台。
202、数据采集平台接收预设数据采集接口发送的待处理数据。
203、数据采集平台确定所述待处理数据的数据类型是否与所述数据采集指令中的数据类型一致。
若一致,则执行步骤204;若不一致,则执行步骤205。
204、数据采集平台将所述待处理数据丢弃。
205、数据采集平台确定所述待处理数据的数量是否为至少两个。
若确定所述待处理数据的数量为至少两个,则执行步骤206;确定所述待处理数据的数量为一个,则执行步骤207。
206、数据采集平台将所述待处理数据进行拼接。
继续执行步骤207。
207、数据采集平台根据预置规范规则将所述待处理数据进行格式化处理。
208、数据采集平台将格式化处理后的所述待处理数据添加到发送等待队列中。
209、数据采集平台通过发送等待队列向服务器发送待处理数据。
需要说明的是,有关图2中步骤201至步骤209的详细描述,请参考以上有关描述,本发明实施例在此不再进行赘述。
根据上述方法实施例,下面提供一种装置实施例,该装置实施例与前述方法实施例对应,为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。
进一步的,还提供一种数据采集平台中数据处理的装置,如图3所示,该装置包括:
接收单元31,用于接收预设数据采集接口发送的待处理数据;其中,所述预设数据采集接口根据数据采集指令采集所述待处理数据,所述数据采集指令中包含所述待处理数据的数据类型;
确定单元32,用于确定所述待处理数据的数据类型是否与所述接收单元31接收的所述数据采集指令中的数据类型一致;
处理单元33,用于当所述确定单元32确定所述待处理数据的数据类型与所述数据采集指令中的数据类型一致时,根据预置规范规则将所述待处理数据进行格式化处理,所述预置规范规则用于规范所述待处理数据的格式;
发送单元34,用于将所述处理单元33格式化处理后的所述待处理数据发送至服务器。
进一步的,如图4所示,所述处理单元33包括:
确定模块331,用于确定所述待处理数据的数量是否为至少两个;
拼接模块332,用于当所述确定模块331确定所述待处理数据的数量为至少两个时,将所述待处理数据进行拼接;
第一处理模块333,用于基于所述预置规范规则对所述拼接模块332拼接后的所述待处理数据进行格式化处理;
第二处理模块334,用于当所述确定模块331确定所述待处理数据的数量为一个时,基于所述预置规范规则将所述待处理数据进行格式化处理。
进一步的,如图4所示,所述发送单元34包括:
确定模块341,用于确定发送格式化处理后的所述待处理数据的发送协议;
发送模块342,用于基于所述确定模块341确定的所述发送协议将格式化处理后的所述待处理数据发送至所述服务器。
进一步的,如图4所示,所述确定模块341包括:
解析子模块3411,用于解析所述数据采集指令;其中,所述数据采集指令中还包含所述发送协议;
获取子模块3412,用于在所述解析子模块3411解析所述数据采集指令之后,获取并确定所述发送协议;
确定子模块3413,用于确定所述数据采集平台中默认的或者选定的发送协议为所述发送协议。
进一步的,如图4所示,所述确定单元32包括:
解析模块321,用于解析所述数据采集指令,所述第一数据类型为所述数据采集指令中的数据类型;
获取模块322,用于在所述解析模块321解析所述数据采集指令之后,获取第一数据类型;
第一确定模块323,用于确定第二数据类型,所述第二数据类型为所述待处理数据的数据类型;
第二确定模块324,用于确定所述获取模块322获取的所述第一数据类型与得到第一确定模块323确定的所述第二数据类型是否一致;
所述处理单元33,还用于当所述确定单元32确定所述第一数据类型与所述第二数据类型一致时,根据预置规范规则将所述待处理数据进行格式化处理。
进一步的,如图4所示,所述装置还包括:
添加单元35,用于在所述发送单元34将格式化处理后的所述待处理数据发送至服务器之前,将格式化处理后的所述待处理数据添加到发送等待队列中,所述发送等待队列用于存储格式化处理后的所述待处理数据。
本发明实施例提供的数据采集平台中数据处理的装置,接收预设数据采集接口发送的待处理数据,该预设数据采集接口根据数据采集指令采集待处理数据,该数据采集指令中包含待处理数据的数据类型,确定待处理数据的数据类型与数据采集指令中的数据类型是否一致,若一致,则根据预置规范规则将该待处理数据进行格式化处理,将格式化处理后的待处理数据发送至服务器,与现有技术相比,本发明实施例在数据采集平台中能够将预设采集接口采集的不同数据类型的待处理数据进行统一的格式化处理,即该数据采集平台的通用性好。
所述数据采集平台中数据处理的装置包括处理器和存储器,上述接收单元、确定单元、处理单元和发送单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决由于不同的数据采集平台使用不同的采集数据方法,因此不同的数据采集平台只能采集特定类型的数据,导致不同的数据采集平台之间通用性较差的问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM),存储器包括至少一个存储芯片。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序代码:接收预设数据采集接口发送的待处理数据;其中,所述预设数据采集接口根据数据采集指令采集所述待处理数据,所述数据采集指令中包含所述待处理数据的数据类型;确定所述待处理数据的数据类型是否与所述数据采集指令中的数据类型一致;若一致,则根据预置规范规则将所述待处理数据进行格式化处理,所述预置规范规则用于规范所述待处理数据的格式;将格式化处理后的所述待处理数据发送至服务器。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据采集平台中数据处理的方法,其特征在于,包括:
接收预设数据采集接口发送的待处理数据;其中,所述预设数据采集接口根据数据采集指令采集所述待处理数据,所述数据采集指令中包含所述待处理数据的数据类型;
确定所述待处理数据的数据类型是否与所述数据采集指令中的数据类型一致;
若一致,则根据预置规范规则将所述待处理数据进行格式化处理,所述预置规范规则用于规范所述待处理数据的格式;
将格式化处理后的所述待处理数据发送至服务器。
2.根据权利要求1所述的方法,其特征在于,根据预置规范规则将所述待处理数据进行格式化处理包括:
确定所述待处理数据的数量是否为至少两个;
若确定所述待处理数据的数量为至少两个,则将所述待处理数据进行拼接,并基于所述预置规范规则对所述拼接后的所述待处理数据进行格式化处理;
若确定所述待处理数据的数量为一个,则基于所述预置规范规则将所述待处理数据进行格式化处理。
3.根据权利要求2所述的方法,其特征在于,将格式化处理后的所述待处理数据发送至服务器包括:
确定发送格式化处理后的所述待处理数据的发送协议;
基于所述发送协议将格式化处理后的所述待处理数据发送至所述服务器。
4.根据权利要求3所述的方法,其特征在于,确定发送格式化处理后的所述待处理数据的发送协议包括:
解析所述数据采集指令,获取并确定所述发送协议;其中,所述数据采集指令中还包含所述发送协议;
或者,确定所述数据采集平台中默认的或者选定的发送协议为所述发送协议。
5.根据权利要求1-4中任一项所述的方法,其特征在于,确定所述待处理数据的数据类型是否与所述数据采集指令中的数据类型一致包括:
解析所述数据采集指令,并获取第一数据类型,所述第一数据类型为所述数据采集指令中的数据类型;
确定第二数据类型,所述第二数据类型为所述待处理数据的数据类型;
确定所述第一数据类型与所述第二数据类型是否一致;
根据预置规范规则将所述待处理数据进行格式化处理包括:
若确定所述第一数据类型与所述第二数据类型一致,则根据预置规范规则将所述待处理数据进行格式化处理。
6.根据权利要求5所述的方法,其特征在于,在将格式化处理后的所述待处理数据发送至服务器之前,所述方法还包括:
将格式化处理后的所述待处理数据添加到发送等待队列中,所述发送等待队列用于存储格式化处理后的所述待处理数据。
7.一种数据采集平台中数据处理的装置,其特征在于,包括:
接收单元,用于接收预设数据采集接口发送的待处理数据;其中,所述预设数据采集接口根据数据采集指令采集所述待处理数据,所述数据采集指令中包含所述待处理数据的数据类型;
确定单元,用于确定所述待处理数据的数据类型是否与所述接收单元接收的所述数据采集指令中的数据类型一致;
处理单元,用于当所述确定单元确定所述待处理数据的数据类型与所述数据采集指令中的数据类型一致时,根据预置规范规则将所述待处理数据进行格式化处理,所述预置规范规则用于规范所述待处理数据的格式;
发送单元,用于将所述处理单元格式化处理后的所述待处理数据发送至服务器。
8.根据权利要求7所述的装置,其特征在于,所述处理单元包括:
确定模块,用于确定所述待处理数据的数量是否为至少两个;
拼接模块,用于当所述确定模块确定所述待处理数据的数量为至少两个时,将所述待处理数据进行拼接;
第一处理模块,用于基于所述预置规范规则对所述拼接模块拼接后的所述待处理数据进行格式化处理;
第二处理模块,用于当所述确定模块确定所述待处理数据的数量为一个时,基于所述预置规范规则将所述待处理数据进行格式化处理。
9.根据权利要求8所述的装置,其特征在于,所述发送单元包括:
确定模块,用于确定发送格式化处理后的所述待处理数据的发送协议;
发送模块,用于基于所述确定模块确定的所述发送协议将格式化处理后的所述待处理数据发送至所述服务器。
10.根据权利要求9所述的装置,其特征在于,所述确定模块包括:
解析子模块,用于解析所述数据采集指令;其中,所述数据采集指令中还包含所述发送协议;
获取子模块,用于在所述解析子模块解析所述数据采集指令之后,获取并确定所述发送协议;
确定子模块,用于确定所述数据采集平台中默认的或者选定的发送协议为所述发送协议。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510727676.5A CN106649342A (zh) | 2015-10-30 | 2015-10-30 | 数据采集平台中数据处理的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510727676.5A CN106649342A (zh) | 2015-10-30 | 2015-10-30 | 数据采集平台中数据处理的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106649342A true CN106649342A (zh) | 2017-05-10 |
Family
ID=58809217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510727676.5A Pending CN106649342A (zh) | 2015-10-30 | 2015-10-30 | 数据采集平台中数据处理的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106649342A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107229723A (zh) * | 2017-06-05 | 2017-10-03 | 腾讯科技(深圳)有限公司 | 指令处理方法及指令处理装置 |
CN109271454A (zh) * | 2018-10-26 | 2019-01-25 | 金蝶软件(中国)有限公司 | 一种数据同步的方法及网络设备 |
CN110321362A (zh) * | 2019-07-05 | 2019-10-11 | 广东利元亨智能装备股份有限公司 | 数据处理方法、装置及电子设备 |
CN110347569A (zh) * | 2019-06-28 | 2019-10-18 | 浙江吉利控股集团有限公司 | 一种服务器性能数据采集方法及装置 |
CN111447170A (zh) * | 2019-01-17 | 2020-07-24 | 北京京东尚科信息技术有限公司 | 数据处理方法及其系统、计算机系统及计算机可读介质 |
CN113497783A (zh) * | 2020-03-19 | 2021-10-12 | 北京沃东天骏信息技术有限公司 | 处理数据的方法和装置 |
CN113514248A (zh) * | 2021-05-11 | 2021-10-19 | 潍柴动力股份有限公司 | 发动机中传感器的数据处理方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101883009A (zh) * | 2010-06-28 | 2010-11-10 | 华为技术有限公司 | 可靠性数据的自动采集方法、系统及网络管理设备 |
CN102724307A (zh) * | 2012-06-14 | 2012-10-10 | 哈尔滨工业大学(威海) | 用于物联网的信息融合引擎及方法 |
CN103838826A (zh) * | 2014-01-23 | 2014-06-04 | 北京东方泰坦科技股份有限公司 | 动态异构空间信息标绘数据整合方法 |
CN104462121A (zh) * | 2013-09-18 | 2015-03-25 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置及系统 |
CN104869533A (zh) * | 2015-04-30 | 2015-08-26 | 京信通信技术(广州)有限公司 | 一种数据传输的方法及微微基站 |
-
2015
- 2015-10-30 CN CN201510727676.5A patent/CN106649342A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101883009A (zh) * | 2010-06-28 | 2010-11-10 | 华为技术有限公司 | 可靠性数据的自动采集方法、系统及网络管理设备 |
CN102724307A (zh) * | 2012-06-14 | 2012-10-10 | 哈尔滨工业大学(威海) | 用于物联网的信息融合引擎及方法 |
CN104462121A (zh) * | 2013-09-18 | 2015-03-25 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置及系统 |
CN103838826A (zh) * | 2014-01-23 | 2014-06-04 | 北京东方泰坦科技股份有限公司 | 动态异构空间信息标绘数据整合方法 |
CN104869533A (zh) * | 2015-04-30 | 2015-08-26 | 京信通信技术(广州)有限公司 | 一种数据传输的方法及微微基站 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107229723A (zh) * | 2017-06-05 | 2017-10-03 | 腾讯科技(深圳)有限公司 | 指令处理方法及指令处理装置 |
CN107229723B (zh) * | 2017-06-05 | 2022-05-03 | 腾讯科技(深圳)有限公司 | 指令处理方法及指令处理装置 |
CN109271454A (zh) * | 2018-10-26 | 2019-01-25 | 金蝶软件(中国)有限公司 | 一种数据同步的方法及网络设备 |
CN109271454B (zh) * | 2018-10-26 | 2021-02-02 | 金蝶软件(中国)有限公司 | 一种数据同步的方法及网络设备 |
CN111447170A (zh) * | 2019-01-17 | 2020-07-24 | 北京京东尚科信息技术有限公司 | 数据处理方法及其系统、计算机系统及计算机可读介质 |
CN110347569A (zh) * | 2019-06-28 | 2019-10-18 | 浙江吉利控股集团有限公司 | 一种服务器性能数据采集方法及装置 |
CN110321362A (zh) * | 2019-07-05 | 2019-10-11 | 广东利元亨智能装备股份有限公司 | 数据处理方法、装置及电子设备 |
CN113497783A (zh) * | 2020-03-19 | 2021-10-12 | 北京沃东天骏信息技术有限公司 | 处理数据的方法和装置 |
CN113497783B (zh) * | 2020-03-19 | 2024-01-16 | 北京沃东天骏信息技术有限公司 | 处理数据的方法和装置 |
CN113514248A (zh) * | 2021-05-11 | 2021-10-19 | 潍柴动力股份有限公司 | 发动机中传感器的数据处理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106649342A (zh) | 数据采集平台中数据处理的方法及装置 | |
CN108459953A (zh) | 测试方法和装置 | |
US10362086B2 (en) | Method and system for automating submission of issue reports | |
CN109726763B (zh) | 一种信息资产识别方法、装置、设备及介质 | |
CN104461903B (zh) | 基于浏览器的测试客户端的方法和装置 | |
CN103684898A (zh) | 一种监测用户请求在分布式系统中运行的方法及装置 | |
CN105095367B (zh) | 一种客户端数据的采集方法和装置 | |
WO2014176919A1 (en) | Method and system for displaying recommended pages by terminal device | |
CN106535003A (zh) | 处理弹幕信息的方法、装置及系统 | |
CN107766509A (zh) | 一种网页静态备份的方法和装置 | |
CN104268291A (zh) | 一种数据一致性处理方法和系统 | |
CN107506256A (zh) | 一种崩溃数据监控的方法和装置 | |
CN110351281A (zh) | 一种通用数据帧解析方法、装置及设备 | |
CN110798445A (zh) | 公共网关接口测试方法、装置、计算机设备及存储介质 | |
CN109799985A (zh) | 前端代码生成方法及装置、存储介质及电子设备 | |
CN106713011A (zh) | 一种获取测试数据的方法与系统 | |
CN108170600A (zh) | 前端代码测试的覆盖率统计方法、装置及系统 | |
CN106648912A (zh) | 数据采集平台中数据处理的模块化方法及装置 | |
CN101442539B (zh) | 实现字段过滤的方法和装置 | |
CN112286815A (zh) | 一种接口测试脚本的生成方法及其相关设备 | |
CN104796929B (zh) | 网络调试方法及装置 | |
CN106293862B (zh) | 一种可扩展标记语言xml数据的解析方法和装置 | |
CN107239689A (zh) | 一种基于众包的验证信息的识别方法及系统 | |
CN108243238A (zh) | 一种性能数据的采集方法及装置 | |
CN106612261A (zh) | 网站数据获取方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing Applicant after: Beijing Guoshuang Technology Co.,Ltd. Address before: 100086 Cuigong Hotel, 76 Zhichun Road, Shuangyushu District, Haidian District, Beijing Applicant before: Beijing Guoshuang Technology Co.,Ltd. |
|
CB02 | Change of applicant information | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170510 |
|
RJ01 | Rejection of invention patent application after publication |