CN111797149A - 数据采集方法、装置、设备及计算机可读存储介质 - Google Patents
数据采集方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111797149A CN111797149A CN201910569440.1A CN201910569440A CN111797149A CN 111797149 A CN111797149 A CN 111797149A CN 201910569440 A CN201910569440 A CN 201910569440A CN 111797149 A CN111797149 A CN 111797149A
- Authority
- CN
- China
- Prior art keywords
- data
- format
- type
- data acquisition
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本申请实施例提供了一种数据采集方法、装置、设备及计算机可读存储介质,该方法包括:获取待采集数据的业务类型;根据待采集数据的业务类型,确定数据采集接口的类型;根据数据采集接口的类型,确定与数据采集接口的类型对应的数据格式的类型,数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项;根据数据格式的类型,通过数据采集接口对待采集数据进行采集。该方法实现了对数据采集接口的类型及数据采集接口的类型对应的数据格式的类型进行了规划化处理,解决了由于数据采集接口多样化及数据格式的多样化导致的数据混乱和冗余的问题,同时降低了后期的数据处理难度。
Description
技术领域
本申请涉及计算机技术领域,具体而言,本申请涉及一种数据采集方法、装置、设备及计算机可读存储介质。
背景技术
现有技术中采集应用产品各个环节的数据用于进一步的分析和挖掘。由于用户操作应用产品的行为多种多样,现有的数据收集方式,每一种数据业务都设计了一种数据接入方式,造成了一个埋点可能需要写入多个业务接口,很容易造成数据混乱和冗余,加大后期的数据处理难度。数据格式多种多样,一种客户的操作行为对应一条单独的处理模式,大大加深数据处理复杂度和浪费资源成本;例如,每种行为以自己特定格式进行上传数据,后续的数据处理也将对每种行为的特定格式进行开发和优化,大大增加数据存储成本和后续数据开发处理的难度。
发明内容
本申请针对现有的方式的缺点,提出一种数据采集方法、装置、设备及计算机可读存储介质,用以解决数据采集接口多样化及数据采集格式多样化导致的数据混乱和冗余的问题。
第一方面,本申请提供了一种数据采集方法,包括:
获取待采集数据的业务类型;
根据待采集数据的业务类型,确定数据采集接口的类型;
根据数据采集接口的类型,确定与数据采集接口的类型对应的数据格式的类型,数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项;
根据数据格式的类型,通过数据采集接口对待采集数据进行采集。
可选地,根据待采集数据的业务类型,确定数据采集接口的类型,包括:
根据待采集数据的业务类型,确定数据采集接口的类型为初始化接口、登录接口、付费接口和自定义事件接口中的至少一项。
可选地,根据数据采集接口的类型,确定与数据采集接口的类型对应的数据格式的类型,包括以下至少一项:
根据初始化接口,确定与初始化接口对应的数据格式的类型为固定格式;
根据登录接口,确定与登录接口对应的数据格式的类型包括固定格式和基础格式;
根据付费接口,确定与付费接口对应的数据格式的类型包括固定格式、基础格式和消费格式;
根据自定义事件接口,确定与自定义事件接口对应的数据格式的类型包括固定格式、基础格式和自定义格式。
可选地,固定格式,包括以下至少一项:
数据格式版本号、消息标识ID、设备ID、客户端提交消息时间、服务端接收到消息的时间、上传消息设备的媒体访问控制MAC地址、iOS设备的定位标识IMEI、iOS设备的定位标识IDFA、iOS设备的定位标识IDFV、Android设备的定位标识androidID、Android设备的定位标识AdvertisingID、平台、游戏ID、渠道编号ID、用户ID、在线时长、上一个消息ID、数据分区、商城、包名、事件ID、消费、事件。
可选地,基础格式,包括以下至少一项:
游戏版本号、渠道编号ID、设备型号、系统版本、语言、网络类型、设备厂商、分辨率、年龄、性别、引擎、互联网协议IP地址。
可选地,消费格式,包括以下至少一项:
订单ID、消费账号ID、账户渠道名称、充值金额、币种、虚拟币金额、商品ID、支付方式、区服、等级、关卡、失败描述。
可选地,自定义格式,包括以下至少一项:
事件ID、事件值、事件失败。
第二方面,本申请提供了一种数据采集装置,包括:
第一处理模块,用于获取待采集数据的业务类型;
第二处理模块,用于根据待采集数据的业务类型,确定数据采集接口的类型;
第三处理模块,用于根据数据采集接口的类型,确定与数据采集接口的类型对应的数据格式的类型,数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项;
第四处理模块,用于根据数据格式的类型,通过数据采集接口对待采集数据进行采集。
第三方面,本申请提供了一种电子设备,包括:处理器、存储器和总线;
总线,用于连接处理器和存储器;
存储器,用于存储操作指令;
处理器,用于通过调用操作指令,执行本申请第一方面的数据采集方法。
第四方面,本申请提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被用于执行本申请第一方面的数据采集方法。
本申请实施例提供的技术方案,至少具有如下有益效果:
获取待采集数据的业务类型;根据待采集数据的业务类型,确定数据采集接口的类型;根据数据采集接口的类型,确定与数据采集接口的类型对应的数据格式的类型,数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项;根据数据格式的类型,通过数据采集接口对待采集数据进行采集。如此,实现了对数据采集接口的类型及数据采集接口的类型对应的数据格式的类型进行了规划化处理,解决了由于数据采集接口多样化及数据格式的多样化导致的数据混乱和冗余的问题,同时降低了后期的数据处理难度。
本申请附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种数据采集方法的流程示意图;
图2为本申请实施例提供的另一种数据采集方法的流程示意图;
图3为本申请实施例提供的一种数据采集装置的结构示意图;
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
本申请实施例中提供了一种数据采集方法,该方法的流程示意图如图1所示,该方法包括:
S101,获取待采集数据的业务类型。
S102,根据待采集数据的业务类型,确定数据采集接口的类型。
S103,根据数据采集接口的类型,确定与数据采集接口的类型对应的数据格式的类型,数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项。
S104,根据数据格式的类型,通过数据采集接口对待采集数据进行采集。
本申请实施例中,获取待采集数据的业务类型;根据待采集数据的业务类型,确定数据采集接口的类型;根据数据采集接口的类型,确定与数据采集接口的类型对应的数据格式的类型,数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项;根据数据格式的类型,通过数据采集接口对待采集数据进行采集。如此,实现了对数据采集接口的类型及数据采集接口的类型对应的数据格式的类型进行了规划化处理,解决了由于数据采集接口多样化及数据格式的多样化导致的数据混乱和冗余的问题,同时降低了后期的数据处理难度。
可选地,规范化数据格式是为了采集移动端的数据,为了能收集用户在使用应用程序APP时候的行为,以成为后续统计分析以及推荐用的数据基础。采集手机端或者网页端上游戏的信息,可以不局限游戏,所有类型的APP都可以适用于规范化的数据格式。规范化的数据格式,让数据清晰明了;同时设定了不同的接口需要上传数据的格式和内容,对于用户的一些行为进行了归类,提炼了操作该行为所需要的获取的特定信息。
可选地,数据采集接口类型只有初始化接口、登录接口、付费接口和自定义事件接口,就可以支撑全数据业务。待采集数据的不同的业务类型对应不同的应用场景,例如,待采集数据应用于支付场景,则待采集数据的业务类型是支付类型。在高度整合多种业务接口的基础上,对每个接口所需要采集的数据内容对应的固定格式、基础格式、消费格式和自定义格式中的至少一种,数据内容的共性和不同业务场景的必填和非必填信息做了设计。
可选地,数据格式的类型包括:固定格式、基础格式、消费格式和自定义格式。固定栏位(固定格式)就是数据的必要信息和固定信息,每次提交都需要上传的数据信息,例如设备信息,这是为了定位每一条消息的归属。基础栏位(基础格式)属于数据的扩展信息,获取该设备上登录应用的用户信息,属于扩展信息,是非必填项。消费栏位(消费格式):采集使用应用时候消费类行为,都以该格式上传。自定义事件栏位(自定义格式):为了方便开发者自行设计一些栏位信息,个性化的需求;该部分的内容按照jason格式进行数据上传,上传的数据内容由开发者自己设计。
可选地,根据待采集数据的业务类型,确定数据采集接口的类型,包括:
根据待采集数据的业务类型,确定数据采集接口的类型为初始化接口、登录接口、付费接口和自定义事件接口中的至少一项。
可选地,根据数据采集接口的类型,确定与数据采集接口的类型对应的数据格式的类型,包括以下至少一项:
根据初始化接口,确定与初始化接口对应的数据格式的类型为固定格式;
根据登录接口,确定与登录接口对应的数据格式的类型包括固定格式和基础格式;
根据付费接口,确定与付费接口对应的数据格式的类型包括固定格式、基础格式和消费格式;
根据自定义事件接口,确定与自定义事件接口对应的数据格式的类型包括固定格式、基础格式和自定义格式。
可选地,固定格式,包括以下至少一项:
数据格式版本号、消息标识ID、设备ID、客户端提交消息时间、服务端接收到消息的时间、上传消息设备的媒体访问控制MAC地址、iOS设备的定位标识IMEI、iOS设备的定位标识IDFA、iOS设备的定位标识IDFV、Android设备的定位标识androidID、Android设备的定位标识AdvertisingID、平台、游戏ID、渠道编号ID、用户ID、在线时长、上一个消息ID、数据分区、商城、包名、事件ID、消费、事件。
可选地,iOS设备是安装了iOS操作系统的移动设备,Android设备是安装了Android操作系统的移动设备。
可选地,固定栏位:采集数据的必要信息,每一条信息都需要发送一下固定栏位。必填项就是必须要提供的基础信息,固定栏位中某些为必填项,某些是iOS设备必填项Android设备非必填项(imeiID、idfaID、idfvID),还有一些是Android设备必填项iOS设备非必填项(androidID、AdvertisingID);还有一些为调用接口类状态捕捉,例如调用消费类需要填写消费类状态(expendTag),事件类调用事件状态(eventTag),用户登出类调用需要填写在线时长(onlineDuration),为了定位唯一设备唯一消息。固定栏位,如表1所示:
表1固定栏位
versionCode:数据格式版本号,必填项。数据格式版本区分,为后续针对不同数据版本进行不同的数据处理做扩展。
msgID:消息ID,必填项。全局事件跟踪号;通过一定的数据处理加密处理生成唯一标识来确定一条数据。如果接口对某条数据反馈错误代码,可帮助定位错误数据,并在修改后对该条数据进行重发。
uniqueID:设备ID,必填项。辨别设备的标识。iOS设备取值优先级为IMEI>IDFA>IDFV>MAC。Android设备取值优先级为android>AdvertisingID>macID。HTML5方式接入取值使用localstorage ID。其他方式接入,可以使用用户ID或者其他一定逻辑生成的唯一标识。
chargeTime:客户端提交消息时间,必填项。
severTime:服务端接收到消息的时间。选填项,服务器接收消息后填写。
macID:上传消息设备的mac地址。必填项,定位设备的最后选项。
imeiID、idfaID、idfvID:iOS设备必填项,用于定位设备唯一性使用。
androidID、AdvertisingID:Android设备,必填项,用于定位设备唯一性使用。
Platform:识别应用运行环境,选填项,例如:H5、iOS、Android等。
appID:游戏或者应用ID,必填项。
userID:应用登录后获取的用户号,用户登录后必填项。
onlineDuration:在线时长。用户登录后必填项,用户登录应用使用时间长短。
lastMsgID:上一条消息ID,必填项,跟踪消息链路使用。
confinfo:数据分区信息,必填项,如果是特殊数据传输用该字段区分。
Store:分发渠道,必填项,该信息由使用用户自行填写,用于区分app在哪里发布的。
packageName:必填项,由采集程序自行捕捉,包名,接入程序包名称。
expendTag:调用消费接口时,必填项,分四个状态:请求、成功、失败、取消。
eventTag:调用事件接口时,必填项,分四个状态:请求、成功、失败、取消。
可选地,基础格式,包括以下至少一项:
游戏版本号、渠道编号ID、设备型号、系统版本、语言、网络类型、设备厂商、分辨率、年龄、性别、引擎、互联网协议IP地址。
可选地,基础栏位是基础扩展信息,就是固定栏位的补充信息,为选填项。基础栏位,如表2所示:
表2基础栏位
appVersion:选填项,接入应用程序包的版本号。
channelID:选填项,获客渠道,用户从哪个渠道引流获取的。
model:选填项,上传数据设备的信号信息。
osVersion:选填项,上传数据设备对应的系统版本信息。
language:选填项,上传数据设备的语言环境。
network:选填项,上传数据设备的网络类型。
manufacturer:选填项,上传数据设备的制造产商信息。
resolution:选填项,上传数据设备的分辨率。
age:选填项,上传数据设备的使用者年龄。
sex:选填项,上传数据设备的使用者性别。
engine:选填项,应用使用的游戏引擎。
IP:设备IP地址,选填项。
可选地,消费格式,包括以下至少一项:
订单ID、消费账号ID、账户渠道名称、充值金额、币种、虚拟币金额、商品ID、支付方式、区服、等级、关卡、失败描述。
可选地,消费栏位:消费类消息需要提交该信息,以下信息在调用时候强关联组合出现。强关联组合,在调用消费接口时候,就要出现消费栏位的这些内容。体现为某个订单号是由什么消费账号消费的,消费金额和币种是什么,这样一组数据同时出现,例如,消息A和订单A;消息B和金额A(2条数据,不可行),应该是消息A、订单A和金额A(1条数据,可行)。强关联组合的数据是对应于一个用户在一个时间点的消费行为数据。消费栏位,如表3所示:
表3消费栏位
字段英文名 | 字段中文名 | 类型 |
orderID | 订单ID | String |
accountID | 消费账号ID | String |
partner | 账户渠道名称 | String |
currencyAmount | 充值金额 | decimal(18,2) |
currencyType | 币种 | String |
virtualCurrencyAmount | 虚拟币金额 | decimal(18,2) |
subjectID | 商品ID | String |
paymentType | 支付方式 | String |
gameServer | 区服 | String |
level | 等级 | Int |
mission | 关卡 | String |
expendFailDesc | 失败描述 | String |
orderID:消费接口必填项,消费订单号,唯一标识一次交易。
accountID:消费接口必填项,消费账号ID。
partner:消费接口必填项,账户消费渠道名称,例如QQ或者微信。
currencyAmount:消费接口必填项,现金金额与币种对应。
currencyType:消费接口必填项,使用ISO 4217中规范的3位字母代码标记货币类型,充值货币类型。
virtualCurrencyAmount:消费接口选填项,消费后获得的虚拟价值。
subjectID:消费接口选填项,商品ID,玩家购买的充值包类型。
paymentType:消费接口选填项,支付方式。
gameServer:消费接口选填项,消费时对应的区服。
level:消费接口选填项,消费时对应的游戏角色等级。
mission:消费接口选填项,消费时对应的游戏关卡。
expendFailDesc:消费接口选填项,调用消费接口失败时候的描述。
可选地,自定义格式,包括以下至少一项:
事件ID、事件值、事件失败。
可选地,自定义事件栏位:提供灵活可扩展的自定义事件上报方式,方便提交和收集用户个性化的数据。以下字段在调用时强关联组合出现。自定义事件栏位,如表4所示:
表4自定义事件栏位
字段英文名 | 字段中文名 | 类型 |
eventID | 事件ID | String |
eventValue | 事件值 | String |
eventFailDesc | 事件失败 | String |
eventID:自定义事件接口必填项,事件ID,埋点定义事件的标识。
eventValue:自定义事件接口必填项,事件内容,埋点需要上传的内容,内容结构以jason结构上传。
expendFailDesc:自定义事件接口选填项,填写自定义事件失败内容。
本申请实施例中提供了另一种数据采集方法,该方法的流程示意图如图2所示,该方法包括:
S201,调用初始化接口,初始化固定参数,提取设备的基本信息,按固定栏位内所定义的内容和格式上传数据。
S201,调用登录接口,采集应用端用户登录的信息,并按照固定栏位和基础栏位的定义内容和格式上传数据。
S203,在按照顺序调用完初始化接口和登录接口后,根据数据采集需求,任意次数和任意顺序分别调用付费接口和自定义事件接口。
可选地,付费接口按照固定栏位、基础栏位和消费栏位所定义的内容和格式上传数据。自定义事件接口按照固定栏位、基础栏位和自定义栏位所定义的内容和格式上传数据。
S204,在所有调用事件完成后或进程强断后,上传退出信息,结束一次对话。
为了更好的理解本申请实施例所提供的方法,下面结合具体应用场景的示例对本申请实施例的方案进行进一步详细说明。
可选地,初始化接口如下所示,其中,初始化接口对应的数据格式的类型为固定格式。
可选地,登录接口如下所示,其中,登录接口对应的数据格式的类型包括固定格式和基础格式。
可选地,自定义事件接口如下所示,其中,自定义事件接口对应的数据格式的类型包括固定格式、基础格式和自定义格式。
可选地,应用场景为计算今日内收入。打开app,输入storeID、appID,点击初始化按钮;进入登陆成功测试例,输入UserID,点击SUBMIT按钮;进入支付测试例,输入订单号、充值金额、币种等值,点击支付成功按钮;点击登出测试例,退出当前用户。登陆成功测试例是验证用户登录接口是否可以成功采集数据的程序模块,支付测试例是验证付费接口采集数据的程序模块,登出测试例是验证用户从登录接口退出的程序模块。
可选地,应用场景为设计一个漏斗。
{
eventID:Count
eventTag:successed
标签:元宝
便签值等于100
}
打开app,输入storeID、appID,点击初始化按钮;进入登陆成功测试例,输入UserID,点击SUBMIT按钮;进入自定义事件测试例,输入事件ID为Count,元宝为100,点击事件完成按钮;点击登出测试例,退出当前用户。登陆成功测试例是验证用户登录接口是否可以成功采集数据的程序模块,自定义事件测试例是验证自定义事件接口采集数据的程序模块,登出测试例是验证用户从登录接口退出的程序模块。
应用本申请实施例,至少具有如下有益效果:
实现了对数据采集接口的类型及数据采集接口的类型对应的数据格式的类型进行了规划化处理,解决了由于数据采集接口多样化及数据格式的多样化导致的数据混乱和冗余的问题,同时降低了后期的数据处理难度,显著地提升了用户体验。
基于相同的发明构思,本申请实施例还提供了一种数据采集装置,该装置的结构示意图如图3所示,数据采集装置60,包括第一处理模块601、第二处理模块602、第三处理模块603和第四处理模块604。
第一处理模块601,用于获取待采集数据的业务类型;
第二处理模块602,用于根据待采集数据的业务类型,确定数据采集接口的类型;
第三处理模块603,用于根据数据采集接口的类型,确定与数据采集接口的类型对应的数据格式的类型,数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项;
第四处理模块604,用于根据数据格式的类型,通过数据采集接口对待采集数据进行采集。
可选地,第二处理模块602,具体用于根据待采集数据的业务类型,确定数据采集接口的类型为初始化接口、登录接口、付费接口和自定义事件接口中的至少一项。
可选地,第三处理模块603,具体用于根据初始化接口,确定与初始化接口对应的数据格式的类型为固定格式;根据登录接口,确定与登录接口对应的数据格式的类型包括固定格式和基础格式;根据付费接口,确定与付费接口对应的数据格式的类型包括固定格式、基础格式和消费格式;根据自定义事件接口,确定与自定义事件接口对应的数据格式的类型包括固定格式、基础格式和自定义格式。
可选地,固定格式,包括以下至少一项:数据格式版本号、消息标识ID、设备ID、客户端提交消息时间、服务端接收到消息的时间、上传消息设备的媒体访问控制MAC地址、iOS设备的定位标识IMEI、iOS设备的定位标识IDFA、iOS设备的定位标识IDFV、Android设备的定位标识androidID、Android设备的定位标识AdvertisingID、平台、游戏ID、渠道编号ID、用户ID、在线时长、上一个消息ID、数据分区、商城、包名、事件ID、消费、事件。
可选地,基础格式,包括以下至少一项:游戏版本号、渠道编号ID、设备型号、系统版本、语言、网络类型、设备厂商、分辨率、年龄、性别、引擎、互联网协议IP地址。
可选地,消费格式,包括以下至少一项:订单ID、消费账号ID、账户渠道名称、充值金额、币种、虚拟币金额、商品ID、支付方式、区服、等级、关卡、失败描述。
可选地,自定义格式,包括以下至少一项:事件ID、事件值、事件失败。
应用本申请实施例,至少具有如下有益效果:
获取待采集数据的业务类型;根据待采集数据的业务类型,确定数据采集接口的类型;根据数据采集接口的类型,确定与数据采集接口的类型对应的数据格式的类型,数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项;根据数据格式的类型,通过数据采集接口对待采集数据进行采集。如此,实现了对数据采集接口的类型及数据采集接口的类型对应的数据格式的类型进行了规划化处理,解决了由于数据采集接口多样化及数据格式的多样化导致的数据混乱和冗余的问题,同时降低了后期的数据处理难度。
本申请实施例提供的数据采集装置中未详述的内容,可参照上述实施例提供的数据采集方法,本申请实施例提供的数据采集装置能够达到的有益效果与上述实施例提供的数据采集方法相同,在此不再赘述。
基于相同的发明构思,本申请实施例还提供了一种电子设备,该电子设备的结构示意图如图4所示,该电子设备7000包括至少一个处理器7001、存储器7002和总线7003,至少一个处理器7001均与存储7002电连接;存储器7002被配置用于存储有至少一个计算机可执行指令,处理器7001被配置用于执行该至少一个计算机可执行指令,从而执行如本申请实施例中任意一个实施例或任意一种可选实施方式提供的任意一种数据采集方法的步骤。
进一步,处理器7001可以是FPGA(Field-Programmable Gate Array,现场可编程门阵列)或者其它具有逻辑处理能力的器件,如MCU(Microcontroller Unit,微控制单元)、CPU(Central Process Unit,中央处理器)。
应用本申请实施例,至少具有如下有益效果:
取待采集数据的业务类型;根据待采集数据的业务类型,确定数据采集接口的类型;根据数据采集接口的类型,确定与数据采集接口的类型对应的数据格式的类型,数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项;根据数据格式的类型,通过数据采集接口对待采集数据进行采集。如此,实现了对数据采集接口的类型及数据采集接口的类型对应的数据格式的类型进行了规划化处理,解决了由于数据采集接口多样化及数据格式的多样化导致的数据混乱和冗余的问题,同时降低了后期的数据处理难度。
基于相同的发明构思,本申请实施例还提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序用于被处理器执行时实现本申请实施例中任意一个实施例或任意一种数据采集方法的步骤。
本申请实施例提供的计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(RandomAccess Memory,随即存储器)、EPROM(Erasable Programmable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,可读存储介质包括由设备(例如,计算机)以能够读的形式存储或传输信息的任何介质。
应用本申请实施例,至少具有如下有益效果:
取待采集数据的业务类型;根据待采集数据的业务类型,确定数据采集接口的类型;根据数据采集接口的类型,确定与数据采集接口的类型对应的数据格式的类型,数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项;根据数据格式的类型,通过数据采集接口对待采集数据进行采集。如此,实现了对数据采集接口的类型及数据采集接口的类型对应的数据格式的类型进行了规划化处理,解决了由于数据采集接口多样化及数据格式的多样化导致的数据混乱和冗余的问题,同时降低了后期的数据处理难度。
本技术领域技术人员可以理解,可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解,可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现,从而通过计算机或其他可编程数据处理方法的处理器来执行本申请公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解,本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种数据采集方法,其特征在于,包括:
获取待采集数据的业务类型;
根据所述待采集数据的业务类型,确定数据采集接口的类型;
根据所述数据采集接口的类型,确定与所述数据采集接口的类型对应的数据格式的类型,所述数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项;
根据所述数据格式的类型,通过所述数据采集接口对所述待采集数据进行采集。
2.根据权利要求1所述的方法,其特征在于,所述根据所述待采集数据的业务类型,确定数据采集接口的类型,包括:
根据所述待采集数据的业务类型,确定所述数据采集接口的类型为所述初始化接口、所述登录接口、所述付费接口和所述自定义事件接口中的至少一项。
3.根据权利要求2所述的方法,其特征在于,所述根据所述数据采集接口的类型,确定与所述数据采集接口的类型对应的数据格式的类型,包括以下至少一项:
根据所述初始化接口,确定与所述初始化接口对应的数据格式的类型为所述固定格式;
根据所述登录接口,确定与所述登录接口对应的数据格式的类型包括所述固定格式和所述基础格式;
根据所述付费接口,确定与所述付费接口对应的数据格式的类型包括所述固定格式、所述基础格式和所述消费格式;
根据所述自定义事件接口,确定与所述自定义事件接口对应的数据格式的类型包括所述固定格式、所述基础格式和所述自定义格式。
4.根据权利要求1所述的方法,其特征在于,所述固定格式,包括以下至少一项:
数据格式版本号、消息标识ID、设备ID、客户端提交消息时间、服务端接收到消息的时间、上传消息设备的媒体访问控制MAC地址、iOS设备的定位标识IMEI、iOS设备的定位标识IDFA、iOS设备的定位标识IDFV、Android设备的定位标识androidID、Android设备的定位标识AdvertisingID、平台、游戏ID、渠道编号ID、用户ID、在线时长、上一个消息ID、数据分区、商城、包名、事件ID、消费、事件。
5.根据权利要求1所述的方法,其特征在于,所述基础格式,包括以下至少一项:
游戏版本号、渠道编号ID、设备型号、系统版本、语言、网络类型、设备厂商、分辨率、年龄、性别、引擎、互联网协议IP地址。
6.根据权利要求1所述的方法,其特征在于,所述消费格式,包括以下至少一项:
订单ID、消费账号ID、账户渠道名称、充值金额、币种、虚拟币金额、商品ID、支付方式、区服、等级、关卡、失败描述。
7.根据权利要求1所述的方法,其特征在于,所述自定义格式,包括以下至少一项:
事件ID、事件值、事件失败。
8.一种数据采集装置,其特征在于,包括:
第一处理模块,用于获取待采集数据的业务类型;
第二处理模块,用于根据所述待采集数据的业务类型,确定数据采集接口的类型;
第三处理模块,用于根据所述数据采集接口的类型,确定与所述数据采集接口的类型对应的数据格式的类型,所述数据格式的类型包括固定格式、基础格式、消费格式和自定义格式中的至少一项;
第四处理模块,用于根据所述数据格式的类型,通过所述数据采集接口对所述待采集数据进行采集。
9.一种电子设备,其特征在于,包括:处理器、存储器;
所述存储器,用于存储计算机程序;
所述处理器,用于通过调用所述计算机程序,执行上述权利要求1-7中任一项所述的数据采集方法。
10.一种计算机可读存储介质,其特征在于,存储有计算机程序,所述计算机程序用于被处理器执行时实现如权利要求1-7中任一项所述的数据采集法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910569440.1A CN111797149B (zh) | 2019-06-27 | 2019-06-27 | 数据采集方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910569440.1A CN111797149B (zh) | 2019-06-27 | 2019-06-27 | 数据采集方法、装置、设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111797149A true CN111797149A (zh) | 2020-10-20 |
CN111797149B CN111797149B (zh) | 2023-01-31 |
Family
ID=72804961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910569440.1A Active CN111797149B (zh) | 2019-06-27 | 2019-06-27 | 数据采集方法、装置、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111797149B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114943569A (zh) * | 2022-07-22 | 2022-08-26 | 广州极尚网络技术有限公司 | 一种数据处理方法、装置、设备及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040054626A1 (en) * | 2002-09-17 | 2004-03-18 | Adn Technologies | Device for processing local accounts data with different formats, equipment and a method for treating associated data |
JP2012194638A (ja) * | 2011-03-15 | 2012-10-11 | Omron Corp | 設計支援システム |
CN105183472A (zh) * | 2015-09-06 | 2015-12-23 | 中国石油天然气集团公司 | 一种Linux系统中信息筛选的方法及装置 |
CN105512201A (zh) * | 2015-11-26 | 2016-04-20 | 晶赞广告(上海)有限公司 | 数据收集和加工方法及装置 |
CN107918562A (zh) * | 2016-10-11 | 2018-04-17 | 北京京东尚科信息技术有限公司 | 一种统一接口管理方法和系统 |
CN109245297A (zh) * | 2018-09-26 | 2019-01-18 | 国网上海市电力公司 | 变电站数据采集一体化终端 |
-
2019
- 2019-06-27 CN CN201910569440.1A patent/CN111797149B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040054626A1 (en) * | 2002-09-17 | 2004-03-18 | Adn Technologies | Device for processing local accounts data with different formats, equipment and a method for treating associated data |
JP2012194638A (ja) * | 2011-03-15 | 2012-10-11 | Omron Corp | 設計支援システム |
CN105183472A (zh) * | 2015-09-06 | 2015-12-23 | 中国石油天然气集团公司 | 一种Linux系统中信息筛选的方法及装置 |
CN105512201A (zh) * | 2015-11-26 | 2016-04-20 | 晶赞广告(上海)有限公司 | 数据收集和加工方法及装置 |
CN107918562A (zh) * | 2016-10-11 | 2018-04-17 | 北京京东尚科信息技术有限公司 | 一种统一接口管理方法和系统 |
CN109245297A (zh) * | 2018-09-26 | 2019-01-18 | 国网上海市电力公司 | 变电站数据采集一体化终端 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114943569A (zh) * | 2022-07-22 | 2022-08-26 | 广州极尚网络技术有限公司 | 一种数据处理方法、装置、设备及介质 |
CN114943569B (zh) * | 2022-07-22 | 2022-11-08 | 广州极尚网络技术有限公司 | 一种数据处理方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111797149B (zh) | 2023-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105630977B (zh) | 应用程序推荐方法、装置及系统 | |
CN104660557B (zh) | 操作处理方法和装置 | |
CN109978629B (zh) | 一种广告投放方法、装置、电子设备及存储介质 | |
CN113238929B (zh) | 基于Mock数据的代码测试方法、装置、电子设备及存储介质 | |
CN102866932A (zh) | 提供和收集与程序的异常终止相关的数据的方法和设备 | |
CN103686821A (zh) | 根据移动终端唯一标识进行应用程序流量统计的控制方法 | |
CN111797149B (zh) | 数据采集方法、装置、设备及计算机可读存储介质 | |
CN108702334A (zh) | 用于针对零费率的网络配置的分布式测试的方法和系统 | |
CN103176805B (zh) | 可执行程序安装的方法及系统 | |
CN107220169B (zh) | 一种模拟服务器返回定制化数据的方法和设备 | |
CN108156053B (zh) | 业务处理方法、装置、系统及服务器 | |
CN112561690B (zh) | 信用卡分期业务接口的测试方法、系统、设备及存储介质 | |
CN110489322A (zh) | Mock测试方法、装置、计算机设备及存储介质 | |
CN109684033A (zh) | 云平台裸机管理方法、存储介质、电子设备及系统 | |
CN112181822A (zh) | 一种测试方法和应用程序的启动耗时测试方法 | |
CN106294457B (zh) | 网络信息推送方法及装置 | |
CN106570685B (zh) | 业务处理方法及装置 | |
CN111752601A (zh) | 一种数据配置方法、装置、系统、电子设备及其存储介质 | |
CN116302889A (zh) | 功能模块的性能测试方法、装置和服务器 | |
CN115695210A (zh) | 云服务器部署方法和装置、电子设备和存储介质 | |
CN111309551B (zh) | 一种确定事件监控sdk集成正确的方法及装置 | |
CN112148574B (zh) | 一种性能数据采集方法、计算机设备及存储介质 | |
CN113051178A (zh) | 测试数据构造方法、装置、设备及介质 | |
CN114493756A (zh) | 一种资源管理方法、装置、设备及存储介质 | |
CN113505284A (zh) | 资源数据溯源方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |