CN106650493A - 一种行为数据的获取方法和装置 - Google Patents

一种行为数据的获取方法和装置 Download PDF

Info

Publication number
CN106650493A
CN106650493A CN201611154492.5A CN201611154492A CN106650493A CN 106650493 A CN106650493 A CN 106650493A CN 201611154492 A CN201611154492 A CN 201611154492A CN 106650493 A CN106650493 A CN 106650493A
Authority
CN
China
Prior art keywords
daily record
record data
data
output
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611154492.5A
Other languages
English (en)
Other versions
CN106650493B (zh
Inventor
周冰
金凌
李琳
种璟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Migu Cultural Technology Co Ltd
Original Assignee
Migu Cultural Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Migu Cultural Technology Co Ltd filed Critical Migu Cultural Technology Co Ltd
Priority to CN201611154492.5A priority Critical patent/CN106650493B/zh
Publication of CN106650493A publication Critical patent/CN106650493A/zh
Application granted granted Critical
Publication of CN106650493B publication Critical patent/CN106650493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107—File encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Storage Device Security (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种行为数据的获取方法，包括：获取日志数据，所述日志数据携带有标签信息；根据预设的匹配规则对所述日志数据的标签信息进行特征匹配，对不符合所述预设的匹配规则的日志数据进行分割处理；对符合所述预设的匹配规则的日志数据进行分类；确定需加密的相应类别的日志数据，根据设定的加密算法对需加密的相应类别的日志数据进行加密；输出包含加密处理后的所有日志数据。本发明还公开了一种行为数据的获取装置。

Description

一种行为数据的获取方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种行为数据的获取方法和装置。
背景技术
现有技术中，为获取用户在终端上使用应用程序产生的行为数据主要采用以下三种方法：
方法一：开发人员在各自的应用程序中本地记录用户行为的日志数据，按照约定协议上传日志数据；
方法二：将专业的移动应用统计分析平台公司发布的软件开发工具包(SDK，Software Development Kit)在开发阶段集成到应用程序的代码中，帮助移动应用开发商统计和分析流量来源、内容使用、用户属性和行为数据，以便移动应用开发商利用获取的信息和数据进行产品、运营、推广策略的决策；
方法三：在各种网站系统生成的超文本标记语言(HTML，HyperText MarkupLanguage)网页中采用插码方式，即在HTML页面中植入javascript代码，用户通过终端的应用程序、浏览器等访问网页即触发对应的事件，记录用户的行为、时间等信息，将记录的信息实时或定期提交到服务器端进行统计分析。
上述三种行为数据的获取方法，分别具有以下缺点：
方法一：碎片化情况严重，无法适用于通用的情况，且在终端上定制实施日志采集会影响应用程序的正常业务使用，带来数据本地管理复杂、隐私问题等一系列问题。
方法二：需在开发应用程序的过程中集成移动应用统计分析平台公司提供的SDK，并按要求在研发阶段额外添加记录用户行为数据的代码；另外，SDK通常需要在本地保存用户行为数据，而许多终端安装的第三方安全类助手软件可能将数据认定为不安全代码和信息，对其进行拦截或删除，从而导致部分行为数据无法采集；
方法三：HTML页面插码方式需在业务系统中进行额外插码开发工作，容易被用户在第三方浏览器查看到采集信息的源码，因产生隐私泄露的担忧而不愿意继续访问该类网站。
发明内容
有鉴于此，本发明实施例期望提供一种行为数据的获取方法和装置，防止行为数据被拦截，保证行为数据中包含的用户隐私的安全。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供了一种行为数据的获取方法，所述方法包括：
获取日志数据，所述日志数据携带有标签信息；
根据预设的匹配规则对所述日志数据的标签信息进行特征匹配，对不符合所述预设的匹配规则的日志数据进行分割处理；对符合所述预设的匹配规则的日志数据进行分类；确定需加密的相应类别的日志数据，根据设定的加密算法对需加密的相应类别的日志数据进行加密；
输出包含加密处理后的所有日志数据。
上述方案中，所述标签信息，包括以下信息的至少一种：时间戳、应用标识、当前网络信息、日志级别、终端地址信息、接口标识；
所述符合预设的匹配规则，包括以下规则的至少之一：
所述日志数据的时间戳在设定时间段内；
所述日志数据的应用标识与设定的应用标识相同；
根据所述日志数据的当前网络信息确定的网络标识与设定的网络标识相同；
所述日志数据的终端地址信息与设定的全球定位系统GPS地理标识相同；
所述日志数据的日志级别与设定的日志级别相同；
所述日志数据对应的接口标识与设定的接口标识相同。
上述方案中，所述对符合预设的匹配规则的日志数据进行分类；包括：
根据所述符合预设的匹配规则的日志数据所携带的标签信息，对所述符合预设的匹配规则的日志数据进行分类，确定分类后的所述日志数据的类别。
上述方案中，所述输出包含加密处理后的所有日志数据；包括：
根据所述日志数据的类别确定所述日志数据对应的一个或多个输出模式，根据所述输出模式输出加密后的日志数据和不需加密的日志数据。
上述方案中，所述日志数据还携带有输出配置信息；
所述输出包含加密处理后的所有日志数据，还包括：
根据所述输出配置信息确定所述日志数据的输出模式，根据所述输出模式输出分割处理后的日志数据。
本发明实施例提供了一种行为数据的获取装置，所述装置包括：日志代理模块、特征匹配模块、日志处理模块、日志分拣模块和日志输出器；其中，
所述日志代理模块，用于获取日志数据，所述日志数据携带有标签信息；
所述特征匹配模块，用于根据预设的匹配规则对所述日志数据的标签信息进行特征匹配；
所述日志处理模块，用于对不符合所述预设的匹配规则的日志数据进行分割处理；
所述日志分拣模块，用于对符合所述预设的匹配规则的日志数据进行分类；确定需加密的相应类别的日志数据，根据设定的加密算法对需加密的相应类别的日志数据进行加密；
所述日志输出器，用于输出包含加密处理后的所有日志数据。
上述方案中，所述标签信息，包括以下信息的至少一种：时间戳、应用标识、当前网络信息、日志级别、终端地址信息、接口标识；
所述符合预设的匹配规则，包括以下规则的至少之一：
所述日志数据的时间戳在设定时间段内；
所述日志数据的应用标识与设定的应用标识相同；
根据所述日志数据的当前网络信息确定的网络标识与设定的网络标识相同；
所述日志数据的终端地址信息与设定的全球定位系统GPS地理标识相同；
所述日志数据的日志级别与设定的日志级别相同；
所述日志数据对应的接口标识与设定的接口标识相同。
上述方案中，所述日志分拣模块，具体用于：根据所述符合预设的匹配规则的日志数据所携带的标签信息，对所述符合预设的匹配规则的日志数据进行分类，确定分类后的所述日志数据的类别。
上述方案中，所述日志输出器，具体用于：根据所述日志数据的类别确定所述日志数据对应的一个或多个输出模式，根据所述输出模式输出加密后的日志数据和不需加密的日志数据。
上述方案中，所述日志数据还携带有输出配置信息；
所述日志输出器，还用于根据所述输出配置信息确定所述日志数据的输出模式，根据所述输出模式输出分割处理后的日志数据。
与现有技术相比，本发明提供的行为数据的获取方法和装置，获取日志数据，所述日志数据携带有标签信息；根据预设的匹配规则对所述日志数据的标签信息进行特征匹配，对不符合所述预设的匹配规则的日志数据进行分割处理；对符合所述预设的匹配规则的日志数据进行分类；确定需加密的相应类别的日志数据，根据设定的加密算法对需加密的相应类别的日志数据进行加密；输出包含加密处理后的所有日志数据。本发明实施例提供的方法和装置，通过对标签信息进行匹配、根据标签信息进行日志数据的分类，实现对应用程序执行过程中产生的日志数据按照指定的规则进行加密，减少用户行为数据隐私泄露风险，且无需插入额外的代码，不改变现有的日志整体管理机制。
附图说明
图1为现有技术中的行为数据的获取装置的结构示意图；
图2为本发明实施例提供的行为数据的获取方法的流程示意图；
图3为本发明实施例提供的行为数据的获取装置的结构示意图；
图4为本发明实施例提供的行为数据的获取系统的结构示意图。
具体实施方式
本发明实施例中，获取日志数据，所述日志数据携带有标签信息；根据预设的匹配规则对所述日志数据的标签信息进行特征匹配，对不符合所述预设的匹配规则的日志数据进行分割处理；对符合所述预设的匹配规则的日志数据进行分类；确定需加密的相应类别的日志数据，根据设定的加密算法对需加密的相应类别的日志数据进行加密；输出包含加密处理后的所有日志数据。
在结合实施例对本发明再作进一步详细的说明之前，对现有技术中行为数据的获取装置进行说明。
目前研发人员在开发应用程序的时候，可以使用日志生成模块来进行应用程序的日志记录，以log4j等系统为例，在开发应用的工程中引入log4j开发包，使用标准接口生成日志，具体包括：加入log4j-XXX.jar到工程中的lib，配置log4j.properties文件，设置相关属性等步骤。
应用程序可以设置日志数据的输出目的地，如：本地终端存储、管道输出、云平台系统、图形用户界面(GUI，Graphical User Interface)组件、套接口服务器、事件记录器等；也可以设置每一条日志的输出格式；还可以设置每一条日志数据的级别。
图1为现有技术中行为数据的获取装置的结构示意图，如图1所示，所述装置包括：日志采集接口、日志处理模块和日志输出器；其中，
应用程序通过应用程序编程接口(API，Application Programming Interface)将需要记录的日志数据提交给所述日志采集接口；
所述日志采集接口将用户传递过来的日志数据传递给日志处理模块；
所述日志处理模块根据一定的规则对日志数据进行内容分割、缓存等操作，所述日志数据携带有如时间戳、日志级别等标签(Tag)信息；
所述日志处理模块将日志数据提交给日志输出器，由所述日志输出器根据配置信息选择：管道输出、数据流、内存块、持久化存储等方式进行输出。
下面结合实施例对本发明再作进一步详细的说明。
图2为本发明实施例提供的行为数据的获取方法的流程示意图；如图2所示，所述行为数据的获取方法，包括：
步骤101：获取日志数据，所述日志数据携带有标签信息；
具体地，终端通过数据采集接口从每个应用程序，如：应用程序一、应用程序二等，获得所述应用程序生成的日志数据。
所述终端为获取各个应用程序的日志数据的终端，可以包括：计算机、服务器等。
具体地，所述日志数据携带有的标签信息，包括以下信息的至少一种：时间戳、应用标识(ID)、本地终端信息、当前网络信息、终端地址信息、日志级别、接口标识等；其中，
所述时间戳，表示生成日志数据的时间；
所述应用标识，作为应用程序的唯一标识，根据所述应用标识可以确定对应的应用程序；
所述日志级别，可以依次包括：debug、info、warn、error、fatel五个等级；其中，debug表明细粒度信息事件对调试应用程序有帮助；info表明信息在粗粒度级别突出强调应用程序的运行过程；warn表明会出现潜在错误的情形；error指出虽然发送错误事件，但不影响系统的继续运行；fatal指出每个严重的错误事件将会导致应用程序退出。
所述本地终端信息，可以包括：终端的厂家、型号等；
所述终端地址信息，表示应用程序产生日志数据时所处的位置；
所述当前网络信息，可以包括：网络标识，如采用无线网络(wifi)、移动数据等；所述移动数据，包括：通过通用分组无线服务技术(GPRS，General Packet Radio Service)、时分同步码分多址(TD-SCDMA，Time Division-Synchronous Code Division MultipleAccess)、高速下行分组接入(HSDPA，High Speed Downlink Packet Access)、长期演进(LTE，Long Term Evolution)等移动通信技术使用相关数据增值业务产生的数据。
步骤102：根据预设的匹配规则对所述日志数据的标签信息进行特征匹配，对不符合所述预设的匹配规则的日志数据进行分割处理；对符合所述预设的匹配规则的日志数据进行分类；确定需加密的相应类别的日志数据，根据设定的加密算法对需加密的相应类别的日志数据进行加密；
具体地，所述分割处理，包括日志内容分割和缓存等；所述日志内容分割，可以运用日志分割工具，如：cronolog等，根据日志数据的时间、大小等进行分割。
具体地，所述符合预设的匹配规则，包括以下规则的至少之一：
所述日志数据的时间戳在设定时间段内；
所述日志数据的应用标识与设定的应用标识相同；
根据所述日志数据的当前网络信息确定的网络标识与设定的网络标识相同；
所述日志数据的终端地址信息与设定的全球定位系统(GPS，Global PositioningSystem)地理标识相同；
所述日志数据的日志级别与设定的日志级别相同；
所述日志数据对应的接口标识与设定的接口标识相同。
通过预设的匹配规则，可以选择特定的日志数据，例如：根据所述时间戳，选择时间段如：每天19:00-22:00的日志数据；根据所述应用标识，可以采集应用程序名称为com.cmcc.cmri.ots的数据；根据所述网络标识，可以采集终端网络环境在wifi下的数据；根据所述终端地址信息，可以采集北京市内的数据；根据所述日志级别，可以采集日志级别为高于info的数据；还可以根据所述接口标识，采集异常接口，如：crash类接口的数据，从而获得应用程序发生异常时的日志数据。当日志数据符合如上任一个或多个的匹配规则的时候，即可以认为符合预设的匹配规则。
具体地，所述对符合预设的匹配规则的日志数据进行分类，包括：
根据所述符合预设的匹配规则的日志数据所携带的标签信息，对所述符合预设的匹配规则的日志数据进行分类，确定分类后的所述日志数据的类别。
所述类别，包括：用户行为类、终端信息类、网络信息类、应用信息类等。
这里，基于标签信息确定对应的类别，一个类别的日志可以包含一个或多个标签信息；例如：可以将网络标识、终端地址信息、本地终端信息等归属到终端信息类，所有符合以上任一标签的日志数据均归为终端信息类。
确定所述日志数据的类别后，进一步确定所述类别是否需要加密，对于需加密的类别进一步确定对应的设定的加密算法和密钥，根据设定的加密算法对需加密的相应类别的日志数据进行加密。这里，运用先分类再针对性加密的方法，对于部分与隐私关系不大的日志数据，可以设置为不加密明文保存和传输；对于涉及用户隐私的某一类日志数据，可以针对性的单独加密并传输，避免被第三方安全应用软件截取。
步骤103：输出包含加密处理后的所有日志数据。
具体地，所述输出包含加密处理后的所有日志数据，包括：
根据所述日志数据的类别确定所述日志数据对应的一个或多个输出模式，根据所述输出模式输出加密后的日志数据和不需加密的日志数据。所述输出模式，包括：本地终端存储、管道输出、云平台系统等。
这里，可以预设有一个日志输出匹配规则，所述日志输出匹配规则根据日志数据的分类来指定，可以为每一个类别指定一到多个输出模式。例如，所述日志输出匹配规则可以包括：终端信息类的日志数据仅在本地管道输出，用户行为类的日志数据除在本地终端存储外同时还上报到云平台系统等。所述云平台系统，用于对日志数据进行解密、分析等操作。
以上所述标签信息、所述标签信息对应的预设的匹配规则、所述标签信息对应的类别等可以是根据行为数据分析需要预先设定并保存。
需要说明的是，在传统模式下的模块，通过应用程序的日志配置文件决定该部分日志数据的输出模式，即所述日志数据还携带有输出配置信息，如管道输出、本地终端存储等。
这里，所述输出包含加密处理后的所有日志数据，包括：
对于不符合所述预设的匹配规则的日志数据，获取所述日志数据的输出配置信息；根据所述输出配置信息确定所述日志数据的输出模式，根据所述输出模式输出分割处理后的日志数据。
图3为本发明实施例提供的行为数据的获取装置的结构示意图；如图3所示，所述行为数据的获取装置，包括：日志代理模块、特征匹配模块、日志处理模块、日志分拣模块和日志输出器；其中，
所述日志代理模块，用于获取日志数据，所述日志数据携带有标签信息；
具体地，所述标签信息，包括以下信息的至少一种：时间戳、应用标识、当前网络信息、日志级别、终端地址信息、接口标识、本地终端信息等；
所述特征匹配模块，用于根据预设的匹配规则对所述日志数据的标签信息进行特征匹配；
具体地，所述符合预设的匹配规则，包括以下规则的至少之一：
所述日志数据的时间戳在设定时间段内；
所述日志数据的应用标识与设定的应用标识相同；
根据所述日志数据的当前网络信息确定的网络标识与设定的网络标识相同；
所述日志数据的终端地址信息与设定的GPS地理标识相同；
所述日志数据的日志级别与设定的日志级别相同；
所述日志数据对应的接口标识与设定的接口标识相同。
这里，可以根据所述时间戳，选择时间段如：每天19:00-22:00的数据；根据所述应用标识，可以采集应用程序名称为com.cmcc.cmri.ots的数据；根据所述网络标识，可以采集终端网络环境在wifi下的数据；根据所述终端地址信息，可以采集北京市内的数据；根据所述日志级别，可以采集日志级别为高于info的数据；还可以根据所述接口标识，采集异常接口，如：crash类接口的数据，从而获得应用程序发生异常时的日志数据。
所述日志处理模块，用于对不符合所述预设的匹配规则的日志数据进行分割处理；
具体地，所述日志处理模块，具体用于运用日志分割工具，如：cronolog等，根据日志数据的时间、大小等进行日志内容分割，及缓存等。
所述日志分拣模块，用于对符合所述预设的匹配规则的日志数据进行分类；确定需加密的相应类别的日志数据，根据设定的加密算法对需加密的相应类别的日志数据进行加密；
具体地，所述日志分拣模块，具体用于：根据所述符合预设的匹配规则的日志数据所携带的标签信息，对所述符合预设的匹配规则的日志数据进行分类，确定分类后的所述日志数据的类别。
所述日志输出器，用于输出包含加密处理后的所有日志数据。
具体地，所述日志输出器，具体用于：根据所述日志数据的类别确定所述日志数据对应的一个或多个输出模式，根据所述输出模式输出加密后的日志数据和不需加密的日志数据。所述输出模式，包括：本地终端存储、管道输出、云平台系统等。
所述日志数据还携带有输出配置信息；所述日志输出器，还用于根据所述输出配置信息确定所述日志数据的输出模式，根据所述输出模式输出分割处理后的日志数据。
这里，所述标签信息、所述预设的匹配规则、所述标签信息对应的类别、所述类别是否加密、所述类别的加密算法和密钥等信息可以预先设置并保存在所述采集装置中。
图4为本发明实施例提供的行为数据的获取系统的结构示意图，如图4所示，所述行为数据的获取系统，包括：数据采集接口、日志代理模块、特征匹配模块、日志处理模块、日志分拣模块、日志输出器、日志特征库；其中，
所述数据采集接口，用于从各个应用程序中获得相应的日志数据，并将所述日志数据发送给日志代理模块；
具体地，所述数据采集接口，可以重载现有的日志采集接口，从而使得采集系统对应用程序透明，避免被第三方安全类助手软件发现、拦截或删除。
所述日志代理模块，用于获取日志数据，所述日志数据携带有标签信息；
具体地，所述标签信息，包括以下信息的至少一种：时间戳、应用标识、当前网络信息、日志级别、终端地址信息、接口标识、本地终端信息等；
相应地，所述符合预设的匹配规则，包括以下规则的至少之一：
所述日志数据的时间戳在设定时间段内；
所述日志数据的应用标识与设定的应用标识相同；
根据所述日志数据的当前网络信息确定的网络标识与设定的网络标识相同；
所述日志数据的终端地址信息与设定的GPS地理标识相同；
所述日志数据的日志级别与设定的日志级别相同；
所述日志数据对应的接口标识与设定的接口标识相同。
所述特征匹配模块，用于从日志特征库中获取预设的匹配规则，根据所述预设的匹配规则对所述日志数据的标签信息进行特征匹配；
所述日志处理模块，用于对不符合所述预设的匹配规则的日志数据进行分割处理；
所述日志分拣模块，用于对符合所述预设的匹配规则的日志数据进行分类；确定需加密的相应类别的日志数据，根据设定的加密算法对需加密的相应类别的日志数据进行加密；
所述日志输出器，用于输出包含加密处理后的所有日志数据；
具体地，所述日志数据还携带有输出配置信息；
所述日志输出器，具体用于根据所述日志数据的类别确定所述日志数据对应的一个或多个输出模式，根据所述输出模式输出加密后的日志数据和不需加密的日志数据；及，根据所述输出配置信息确定所述日志数据的输出模式，根据所述输出模式输出分割后的日志数据。
所述日志特征库，用于保存预设的匹配规则、所述标签信息对应的类别、所述类别是否加密、所述类别的加密算法和密钥等预设的信息。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种行为数据的获取方法，其特征在于，所述方法包括：
获取日志数据，所述日志数据携带有标签信息；
根据预设的匹配规则对所述日志数据的标签信息进行特征匹配，对不符合所述预设的匹配规则的日志数据进行分割处理；对符合所述预设的匹配规则的日志数据进行分类；确定需加密的相应类别的日志数据，根据设定的加密算法对需加密的相应类别的日志数据进行加密；
输出包含加密处理后的所有日志数据。
2.根据权利要求1所述的方法，其特征在于，所述标签信息，包括以下信息的至少一种：时间戳、应用标识、当前网络信息、日志级别、终端地址信息、接口标识；
所述符合预设的匹配规则，包括以下规则的至少之一：
所述日志数据的时间戳在设定时间段内；
所述日志数据的应用标识与设定的应用标识相同；
根据所述日志数据的当前网络信息确定的网络标识与设定的网络标识相同；
所述日志数据的终端地址信息与设定的全球定位系统GPS地理标识相同；
所述日志数据的日志级别与设定的日志级别相同；
所述日志数据对应的接口标识与设定的接口标识相同。
3.根据权利要求2所述的方法，其特征在于，所述对符合预设的匹配规则的日志数据进行分类；包括：
根据所述符合预设的匹配规则的日志数据所携带的标签信息，对所述符合预设的匹配规则的日志数据进行分类，确定分类后的所述日志数据的类别。
4.根据权利要求1所述的方法，其特征在于，所述输出包含加密处理后的所有日志数据；包括：
根据所述日志数据的类别确定所述日志数据对应的一个或多个输出模式，根据所述输出模式输出加密后的日志数据和不需加密的日志数据。
5.根据权利要求4所述的方法，其特征在于，所述日志数据还携带有输出配置信息；
所述输出包含加密处理后的所有日志数据，还包括：
根据所述输出配置信息确定所述日志数据的输出模式，根据所述输出模式输出分割处理后的日志数据。
6.一种行为数据的获取装置，其特征在于，所述装置包括：日志代理模块、特征匹配模块、日志处理模块、日志分拣模块和日志输出器；其中，
所述日志代理模块，用于获取日志数据，所述日志数据携带有标签信息；
所述特征匹配模块，用于根据预设的匹配规则对所述日志数据的标签信息进行特征匹配；
所述日志处理模块，用于对不符合所述预设的匹配规则的日志数据进行分割处理；
所述日志分拣模块，用于对符合所述预设的匹配规则的日志数据进行分类；确定需加密的相应类别的日志数据，根据设定的加密算法对需加密的相应类别的日志数据进行加密；
所述日志输出器，用于输出包含加密处理后的所有日志数据。
7.根据权利要求6所述的装置，其特征在于，所述标签信息，包括以下信息的至少一种：时间戳、应用标识、当前网络信息、日志级别、终端地址信息、接口标识；
所述符合预设的匹配规则，包括以下规则的至少之一：
所述日志数据的时间戳在设定时间段内；
所述日志数据的应用标识与设定的应用标识相同；
根据所述日志数据的当前网络信息确定的网络标识与设定的网络标识相同；
所述日志数据的终端地址信息与设定的全球定位系统GPS地理标识相同；
所述日志数据的日志级别与设定的日志级别相同；
所述日志数据对应的接口标识与设定的接口标识相同。
8.根据权利要求7所述的装置，其特征在于，所述日志分拣模块，具体用于：根据所述符合预设的匹配规则的日志数据所携带的标签信息，对所述符合预设的匹配规则的日志数据进行分类，确定分类后的所述日志数据的类别。
9.根据权利要求6所述的装置，其特征在于，所述日志输出器，具体用于：根据所述日志数据的类别确定所述日志数据对应的一个或多个输出模式，根据所述输出模式输出加密后的日志数据和不需加密的日志数据。
10.根据权利要求9所述的装置，其特征在于，所述日志数据还携带有输出配置信息；
所述日志输出器，还用于根据所述输出配置信息确定所述日志数据的输出模式，根据所述输出模式输出分割处理后的日志数据。
CN201611154492.5A 2016-12-14 2016-12-14 一种行为数据的获取方法和装置 Active CN106650493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611154492.5A CN106650493B (zh) 2016-12-14 2016-12-14 一种行为数据的获取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611154492.5A CN106650493B (zh) 2016-12-14 2016-12-14 一种行为数据的获取方法和装置

Publications (2)

Publication Number Publication Date
CN106650493A true CN106650493A (zh) 2017-05-10
CN106650493B CN106650493B (zh) 2019-08-02

Family

ID=58823514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611154492.5A Active CN106650493B (zh) 2016-12-14 2016-12-14 一种行为数据的获取方法和装置

Country Status (1)

Country Link
CN (1) CN106650493B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273280A (zh) * 2017-06-30 2017-10-20 百度在线网络技术（北京）有限公司 一种日志处理方法、装置、电子设备和存储介质
CN107330063A (zh) * 2017-06-29 2017-11-07 环球智达科技（北京）有限公司 用于日志输出的方法
CN107729483A (zh) * 2017-10-17 2018-02-23 广东欧珀移动通信有限公司 一种分类显示方法、装置、终端及计算机可读存储介质
CN108133229A (zh) * 2017-12-11 2018-06-08 广州能量盒子科技有限公司 一种安卓apk文件的分类加密方法及系统
CN109670326A (zh) * 2018-12-24 2019-04-23 北京天融信网络安全技术有限公司 一种数据分类方法及系统
CN110135182A (zh) * 2018-02-02 2019-08-16 微软技术许可有限责任公司 用户行为数据标记
CN112784300A (zh) * 2021-01-22 2021-05-11 重庆秦嵩科技有限公司 一种日志多级加密处理系统及方法
WO2021208105A1 (zh) * 2020-04-17 2021-10-21 Oppo广东移动通信有限公司 数据处理方法及通信设备、计算机存储介质
CN116743738A (zh) * 2023-07-20 2023-09-12 北京道迩科技有限公司 日志传输方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183333A (zh) * 2007-12-12 2008-05-21 腾讯科技（深圳）有限公司 一种调试程序的日志输出方法、装置和系统
CN104144081A (zh) * 2014-08-26 2014-11-12 福建天晴数码有限公司 一种通用应用日志管理方法、装置和系统
CN104657254A (zh) * 2013-11-19 2015-05-27 腾讯科技（深圳）有限公司 一种操作信息的处理方法及装置
CN105049287A (zh) * 2015-07-28 2015-11-11 小米科技有限责任公司 日志处理方法及装置
CN105159964A (zh) * 2015-08-24 2015-12-16 广东欧珀移动通信有限公司 一种日志监控方法及系统
US20160357731A1 (en) * 2014-01-28 2016-12-08 Somol Zorzin Gmbh Method for Automatically Detecting Meaning and Measuring the Univocality of Text

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183333A (zh) * 2007-12-12 2008-05-21 腾讯科技（深圳）有限公司 一种调试程序的日志输出方法、装置和系统
CN104657254A (zh) * 2013-11-19 2015-05-27 腾讯科技（深圳）有限公司 一种操作信息的处理方法及装置
US20160357731A1 (en) * 2014-01-28 2016-12-08 Somol Zorzin Gmbh Method for Automatically Detecting Meaning and Measuring the Univocality of Text
CN104144081A (zh) * 2014-08-26 2014-11-12 福建天晴数码有限公司 一种通用应用日志管理方法、装置和系统
CN105049287A (zh) * 2015-07-28 2015-11-11 小米科技有限责任公司 日志处理方法及装置
CN105159964A (zh) * 2015-08-24 2015-12-16 广东欧珀移动通信有限公司 一种日志监控方法及系统

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330063A (zh) * 2017-06-29 2017-11-07 环球智达科技（北京）有限公司 用于日志输出的方法
CN107273280B (zh) * 2017-06-30 2021-02-09 百度在线网络技术（北京）有限公司 一种日志处理方法、装置、电子设备和存储介质
CN107273280A (zh) * 2017-06-30 2017-10-20 百度在线网络技术（北京）有限公司 一种日志处理方法、装置、电子设备和存储介质
CN107729483A (zh) * 2017-10-17 2018-02-23 广东欧珀移动通信有限公司 一种分类显示方法、装置、终端及计算机可读存储介质
CN107729483B (zh) * 2017-10-17 2021-05-11 Oppo广东移动通信有限公司 一种分类显示方法、装置、终端及计算机可读存储介质
CN108133229A (zh) * 2017-12-11 2018-06-08 广州能量盒子科技有限公司 一种安卓apk文件的分类加密方法及系统
CN108133229B (zh) * 2017-12-11 2021-08-06 广州能量盒子科技有限公司 一种安卓apk文件的分类加密方法及系统
CN110135182A (zh) * 2018-02-02 2019-08-16 微软技术许可有限责任公司 用户行为数据标记
CN110135182B (zh) * 2018-02-02 2023-09-29 微软技术许可有限责任公司 用户行为数据标记
US11783080B2 (en) 2018-02-02 2023-10-10 Microsoft Technology Licensing, Llc Tagging of user behavior data
CN109670326A (zh) * 2018-12-24 2019-04-23 北京天融信网络安全技术有限公司 一种数据分类方法及系统
WO2021208105A1 (zh) * 2020-04-17 2021-10-21 Oppo广东移动通信有限公司 数据处理方法及通信设备、计算机存储介质
CN112784300A (zh) * 2021-01-22 2021-05-11 重庆秦嵩科技有限公司 一种日志多级加密处理系统及方法
CN116743738A (zh) * 2023-07-20 2023-09-12 北京道迩科技有限公司 日志传输方法、装置及电子设备
CN116743738B (zh) * 2023-07-20 2024-04-05 北京道迩科技有限公司 日志传输方法、装置及电子设备

Also Published As

Publication number Publication date
CN106650493B (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN106650493A (zh) 一种行为数据的获取方法和装置
CN108512854B (zh) 制度信息安全监控方法、装置、计算机设备和存储介质
US20230179618A1 (en) Malicious traffic detection with anomaly detection modeling
CN111639363B (zh) 基于区块链的数据分析方法及边缘计算服务器
US8005863B2 (en) Query generation for a capture system
Almusawi et al. DNS tunneling detection method based on multilabel support vector machine
CN102819591B (zh) 一种基于内容的网页分类方法及系统
CN104102687A (zh) 加密网络隧道内的Web业务的标识和分类的方法和系统
BRPI0619013A2 (pt) método e aparelho para a entrega de uma informação de rede
CN110990362A (zh) 日志查询处理方法、装置、计算机设备和存储介质
JP2014502753A (ja) ウェブページ情報の検出方法及びシステム
CN113918526B (zh) 日志处理方法、装置、计算机设备和存储介质
CN113704328B (zh) 基于人工智能的用户行为大数据挖掘方法及系统
CN108023868A (zh) 恶意资源地址检测方法和装置
CN111899741A (zh) 音频关键词加密方法、装置、存储介质及电子装置
CN107085584B (zh) 一种基于内容的云文档管理方法、系统及服务端
CN113704772B (zh) 基于用户行为大数据挖掘的安全防护处理方法及系统
CN112202919B (zh) 一种云存储环境下的图片密文存储、检索方法及系统
CN109728977A (zh) Jap匿名流量检测方法及系统
CN116866422A (zh) 实时推送涉敏信息并脱敏的方法、装置、设备及存储介质
CN114726526B (zh) 基于物联网平台的终端传感器数据加密方法和系统
CN114124834B (zh) 一种工业控制网络内icmp隐蔽隧道检测的集成学习装置及方法
CN115426299A (zh) 无特征数据标识方法、装置、计算机设备及存储介质
CN115296892A (zh) 数据信息服务系统
CN114584374A (zh) 一种基于区块链的大数据隐私共享安全保护系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant