CN105260365B - 终端信息的处理方法和装置 - Google Patents

Abstract

本发明提供一种终端信息的处理方法和装置。所述方法包括：获取数据源；所述数据源包含有终端移动设备国际身份码IMEI和终端型号信息之间的对应关系；提取所述终端IMEI的预订位数的字符串，作为终端设备型号核准号码TAC；生成所述终端TAC与所述终端型号信息之间的对应关系；在终端信息关键词库中，查找与所述终端型号信息匹配的终端信息关键词；根据所述终端TAC与所述终端型号信息之间的对应关系以及所述终端型号信息与终端信息关键词之间的对应关系，生成所述终端TAC与所述终端信息关键词之间的对应关系；生成所述终端TAC与终端型号之间的对应关系；输出所述终端TAC与所述终端型号之间的对应关系。本发明能够提高TAC的识别效率。

Description

终端信息的处理方法和装置

技术领域

本发明涉及通信领域，特别是指一种终端信息的处理方法和装置。

背景技术

目前，终端的信息获取主要是以移动集团下发为主，同时，结合业务部门的人工外呼来补充和完善相应的IMEI信息。因此，存在效率低下，维护工作量越来越大的现实问题。同时IMEI数据维护的及时性较差，不能有效的支撑市场部等业务部门的需求。

现有的获取终端信息的渠道较为单一，主要以集团下发为主，缺失其他渠道补充完善机型库。同时，当前终端信息库中，厂家、网络模式等数据维护完整性和规范性较差，信息来源单一，更新不及时，数据不完整，无法有效支撑市场的运营工作。

发明内容

本发明提供一种终端信息的处理方法和装置，能够通过数据源，自动获取终端TAC与所述终端型号之间的对应关系。

本发明提供方案如下：

一方面，提供一种终端信息的处理方法，包括：

获取数据源；所述数据源包含有终端移动设备国际身份码IMEI和终端型号信息之间的对应关系；

提取所述终端IMEI的预订位数的字符串，作为终端设备型号核准号码TAC；

根据所述终端IMEI和所述终端型号信息之间的对应关系以及所述终端IMEI和所述终端TAC之间的对应关系，生成所述终端TAC与所述终端型号信息之间的对应关系；

在终端信息关键词库中，查找与所述终端型号信息匹配的终端信息关键词；

根据所述终端TAC与所述终端型号信息之间的对应关系以及所述终端型号信息与终端信息关键词之间的对应关系，生成所述终端TAC与所述终端信息关键词之间的对应关系；

根据所述终端TAC与所述终端信息关键词之间的对应关系以及所述终端信息关键词与终端型号之间的对应关系，生成所述终端TAC与终端型号之间的对应关系；

输出所述终端TAC与所述终端型号之间的对应关系。

所述在终端信息关键词库中，查找与所述终端型号信息匹配的终端信息关键词的步骤包括：

在终端信息关键词库中，查找出与所述终端型号信息匹配的至少两个终端信息关键词；

从所述至少两个终端信息关键词中，选择一匹配度最高的终端信息关键词。

所述数据源为终端用户上网日志或者通用分组无线服务技术GPRS清单数据。

所述的方法，还包括：

通过爬虫工具，获取一网站的页面内容；所述页面内容包含有终端型号以及终端属性和/或终端价格；

解析所述页面内容，获取所述终端型号和终端属性和/或终端价格之间的对应关系；

输出所述终端型号和终端属性和/或终端价格之间的对应关系。

另一方面，提供一种终端信息的处理装置，包括：

第一获取单元，获取数据源；所述数据源包含有终端移动设备国际身份码IMEI和终端型号信息之间的对应关系；

提取单元，提取所述终端IMEI的预订位数的字符串，作为终端设备型号核准号码TAC；

第一生成单元，根据所述终端IMEI和所述终端型号信息之间的对应关系以及所述终端IMEI和所述终端TAC之间的对应关系，生成所述终端TAC与所述终端型号信息之间的对应关系；

查找单元，在终端信息关键词库中，查找与所述终端型号信息匹配的终端信息关键词；

第二生成单元，根据所述终端TAC与所述终端型号信息之间的对应关系以及所述终端型号信息与终端信息关键词之间的对应关系，生成所述终端TAC与所述终端信息关键词之间的对应关系；

第三生成单元，根据所述终端TAC与所述终端信息关键词之间的对应关系以及所述终端信息关键词与终端型号之间的对应关系，生成所述终端TAC与终端型号之间的对应关系；

输出单元，输出所述终端TAC与所述终端型号之间的对应关系。

所述的装置，还包括：

获取单元，通过爬虫工具，获取一网站的页面内容；所述页面内容包含有终端型号以及终端属性和/或终端价格；

解析单元，解析所述页面内容，获取所述终端型号和终端属性和/或终端价格之间的对应关系；

第二输出单元，输出所述终端型号和终端属性和/或终端价格之间的对应关系。

从以上所述可以看出，本发明提供的终端信息的处理方法和装置，能够根据数据源自动获取到终端TAC与所述终端型号之间的对应关系，相比于现有技术中的人工处理方式，提高了工作效率。

附图说明

图1为本发明所述的终端信息的处理方法的流程示意图；

图2为本发明所述的终端信息的处理装置的连接示意图；

图3为本发明所述的终端信息的应用场景中终端机型匹配模型的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明所述的一种终端信息的处理方法，包括：

步骤11，获取数据源；所述数据源包含有终端移动设备国际身份码IMEI和终端型号信息之间的对应关系；所述数据源可以为终端用户上网日志或者通用分组无线服务技术GPRS清单数据。例如，终端移动设备国际身份码IMEI和终端型号信息之间的对应关系如表1所示：

步骤12，提取所述终端IMEI的预订位数的字符串，作为终端设备型号核准号码TAC；例如，提取所述终端IMEI的前8位，IMEI为0131950038939208的TAC为01319500。根据表1中的IMEI，生成的所述终端IMEI和所述终端TAC之间的对应关系如表2所示。

步骤13，根据所述终端IMEI和所述终端型号信息之间的对应关系以及所述终端IMEI和所述终端TAC之间的对应关系，生成所述终端TAC与所述终端型号信息之间的对应关系；例如，根据表1和表2，生成所述终端TAC与所述终端型号信息之间的对应关系如表3所示。

步骤14，在终端信息关键词库中，查找与所述终端型号信息匹配的终端信息关键词；终端信息关键词库包括有关键词与机型之间的对应关系，可以通过手动维护和自动维护两种形式建立。该对应关系中包括关键词编号、关键词类型、关键词、机型编号和维护类型属性，涉及的关键词类型包括品牌关键字、品牌机型关键字和其他关键字，品牌关键字和品牌机型关键字均是通过机型库中的终端品牌和终端型号自动获取，而其他关键字是指从信令数据User Agent信息中直接获取的与机型对应的关键字串，此部分内容可以为通过手动维护。所述步骤14包括：步骤141，当相同的所述终端TAC对应至少两个所述终端型号信息时，则从所述至少两个终端型号信息分别对应的至少两个终端信息关键词中，选择一匹配度最高的终端信息关键词；例如，表4中为终端型号信息与至少两个终端信息关键词的匹配关系。

步骤142，建立所述终端TAC与选择的所述终端信息关键词之间的对应关系。具体为：从所述至少两个终端型号信息分别对应的至少两个终端信息关键词中，选择字符串最长的终端信息关键词。例如，表5中为按照匹配度排序后的终端型号信息与至少两个终端信息关键词的匹配关系。

步骤15，根据所述终端TAC与所述终端型号信息之间的对应关系以及所述终端型号信息与终端信息关键词之间的对应关系，生成所述终端TAC与所述终端信息关键词之间的对应关系。例如，表6为终端TAC与所述终端信息关键词之间的对应关系。

步骤16，根据所述终端TAC与所述终端信息关键词之间的对应关系以及所述终端信息关键词与终端型号之间的对应关系，生成所述终端TAC与终端型号之间的对应关系；例如，表7为终端信息关键词与终端型号之间的对应关系；

表8为终端TAC与终端型号之间的对应关系。

	TAC	终端型号
			1	01319500	IPHONE 4S

步骤17，输出所述终端TAC与所述终端型号之间的对应关系。

所述的方法，还包括：

步骤18，通过爬虫工具，获取一网站的页面内容；所述页面内容包含有终端型号以及终端属性和/或终端价格；网站可以为淘宝网或者京东网。

步骤19，解析所述页面内容，获取所述终端型号和终端属性和/或终端价格之间的对应关系；

步骤110，输出所述终端型号和终端属性和/或终端价格之间的对应关系。

如图2所示，为本发明所述的一种终端信息的处理装置，包括：

第一获取单元21，获取数据源；所述数据源包含有终端移动设备国际身份码IMEI和终端型号信息之间的对应关系；

提取单元22，提取所述终端IMEI的预订位数的字符串，作为终端设备型号核准号码TAC；

第一生成单元23，根据所述终端IMEI和所述终端型号信息之间的对应关系以及所述终端IMEI和所述终端TAC之间的对应关系，生成所述终端TAC与所述终端型号信息之间的对应关系；所述数据源为终端用户上网日志或者通用分组无线服务技术GPRS清单数据。

查找单元24，在终端信息关键词库中，查找与所述终端型号信息匹配的终端信息关键词；

第二生成单元25，根据所述终端TAC与所述终端型号信息之间的对应关系以及所述终端型号信息与终端信息关键词之间的对应关系，生成所述终端TAC与所述终端信息关键词之间的对应关系；

第三生成单元26，根据所述终端TAC与所述终端信息关键词之间的对应关系以及所述终端信息关键词与终端型号之间的对应关系，生成所述终端TAC与终端型号之间的对应关系；

输出单元27，输出所述终端TAC与所述终端型号之间的对应关系。

所述第一生成单元23包括：

单元，当相同的所述终端TAC对应至少两个所述终端型号信息时，则从所述至少两个终端型号信息分别对应的至少两个终端信息关键词中，从所述选择一匹配度最高的终端信息关键词；

建立单元，建立所述终端TAC与选择的所述终端信息关键词之间的对应关系。

所述的装置，还包括：

获取单元28，通过爬虫工具，获取一网站的页面内容；所述页面内容包含有终端型号以及终端属性和/或终端价格；

解析单元29，解析所述页面内容，获取所述终端型号和终端属性和/或终端价格之间的对应关系；

第二输出单元210，输出所述终端型号和终端属性和/或终端价格之间的对应关系。

以下结合图3描述本发明的实施例。

本发明提供一种爬虫技术在获取终端信息方面的应用，需要解决的技术实现主要包括：对基础信息的管理、未知TAC码的终端型号自动识别、终端型号人工维护优化、通过爬虫工具去主流评测网站获取机型的属性参数信息及动态价格、终端参数信息统计分析、终端价格分析。

首先描述基础信息管理。

(1)关键词管理

对UA中出现的“终端品牌”、“终端型号”、“终端品牌+型号”等字符串进行统一管理、纠错。关键字分为已识别关键字和未识别关键字。对UA信息中出现的字符串进行汇总分类，匹配现有终端信息库中“终端品牌”、“终端型号”等信息，匹配到的就是已识别关键字，匹配不到的就是未识别关键字。对于匹配不到的关键字，可以按照使用人数或使用人次倒序排列显示，支持人工纠错和人工审核功能。人工选择未识别关键字导出到终端参数信息自动抓取模块，做信息定向抓取。

(2)终端维表信息管理

定义终端品牌、终端型号、终端品牌型号、各类终端功能等维度，对已识别关键字按照各个维度进行归类管理。其中，终端包含PAD。

以下描述未知TAC码的终端型号自动识别。

主要数据源包括以下两种。

(1)用户上网UA(用户代理)信息(日)，来自用户上网日志

通过ETL(数据提取、转换和加载)工具装载到经分数据仓库，接口字段主要包括：统计时间、手机号码、上网时间、URL、UA等字段信息。如表9所示：

(2)GPRS清单

通过ETL装载到经分数据仓库，接口字段主要包括：统计时间、手机号码，IMEI等。

用户语音清单：通过ETL装载到经分数据仓库，接口字段主要包括：时间、手机号码、IMEI等字段信息。

以下描述TAC码的自动识别过程。

对于未知的TAC码，根据GPRS清单中手机号码与IMEI/TAC之间的对应关系与上网日志清单中手机号码与UA关键字之间的对应关系进行匹配，得到未知TAC与UA关键字中的终端品牌、终端型号的对应关系。对于匹配通过的，将TAC与终端品牌、终端型号的对应关系增加到终端信息库中。对于无法自动匹配的，将TAC与UA关键字信息，以前台表格形式展现，提供维护人员进行人工审核。

以下描述自动识别算法的具体步骤。

步骤1，用户IMEI、UA关系数据与关键词库做全量模糊比对，输出结果，如下表10所示，为以苹果型号进行举例的用户IMEI、UA与关键词库中的对应匹配关键字对应表。关键字匹配结果如下：

从用户上网日志中得到用户IMEI与UA信息，同时，关键词库中所包含的信息即可与UA信息进行全量模糊匹配，上表为匹配后输出的关键字匹配结果。

步骤2，在关键字匹配结果的基础上，提取IMEI号的前8位，作为TAC段。然后，按照TAC段分组，按照匹配关键字长度进行降序排列，获取TAC与匹配关键字长度最大(作为匹配度最高)的关联数据(作为匹配度最高)，输出结果。输出结果包括：TAC关键字匹配数据(TAC，关键字)；

具体来讲，对表10的内容按照上述算法，进行关键字长度降序排列，最终得到TAC与匹配关键字长度最大的关联数据，如表11的第一行数据所示。

表11为TAC与关键词库对应表。

步骤3，TAC关键字匹配数据与机型信息库进行全匹配，输出结果：TAC机型对照数据(TAC、机型编号、用户数、是否审核、识别时间)；

下表12为TAC与机型信息库全量匹配数据表，经过上述操作，得到关键词库与型号的对应关系，通过对比得到TAC与型号的关系。

下表13为机型信息数据表。

步骤4，出除用户IMEI、UA关系数据中TAC机型对照关系中可识别的IMEI信息。

1)该数据与品牌关键字库进行匹配，提取可匹配品牌关键字的用户IMEI、TAC段、UA信息，在此基础上按照TAC段分组排序，提取相同TAC段中相同UA量排名前10。

2)通过上述步骤执行后剩余TAC中，直接取相同TAC段中，相同UA量排名前10的数据，输出结果，输出的结果包含：未识别终端UA信息(TAC段、用户、IMEI号、品牌、UA信息、相同UA占比、识别时间)。

步骤5，自动识别结果展现.

将TAC自动匹配结果进行前台展现，主要字段包括：统计月份、TAC、终端品牌、终端型号、是否自动匹配、UA关键字出现次数等。

也通过列表形式展现TAC对应的终端机型、终端品牌、以及各类参数。

步骤6，终端信息维护。

系统使用人员对于未知的TAC段或已经的新增的TAC段，可以录入到系统，申请维护人员完善终端相关信息。维护人员受理新录入的终端参数信息维护申请，维护人员工作通过手动维护功能进行终端信息维护，也可通过维护关键词库一并将数据加入到终端参数爬取机型中，自动爬取终端参数信息。

步骤7，终端信息手工维护

终端信息手动维护，支持手动维护终端的核心参数信息，包括终端数据的增加、删除、修改。其中，核心数据包括机型、品牌、操作系统、主屏尺寸、网络模式等信息。

步骤8，终端参数信息自动爬取.

定向网站终端参数及价格信息解析及统计。

具体为：使用爬虫引擎软件，针对京东、天猫等定向网站终端详细页面内容定制内容解析程序，将页面文本内容采用HTML解析、XML解析等方式，格式化并导入关系型数据库。针对定制开发的终端参数信息页面解析程序，配置自动执行周期、执行时间、目标URL地址等配置信息，并实现自动化调度。

终端价格信息爬取任务配置及调度具体如下：针对定制开发的终端价格信息页面解析程序，配置自动执行周期、执行时间、目标URL地址等配置信息，并实现自动化调度。

针对机型识别情况进行数据统计，主要分析终端的识别率和审核率。通过识别率来分析终端的自动识别算法的精确度，以便改进终端识别算法。

通过分析终端的审核率来监控运维人员对识别终端处理的及时性，以便提升数据的及时性。针对用户提交的申请单进行统计分析，来监控运维人员对用户提交的问题进行及时处理。主要是问题处理的及时性和处理率，以及数据纠错的问题处理率，同时来优化终端参数维护。

步骤9，终端价格分析

针对某一机型的价格情况进行数据统计，主要分析终端的发布时间、价格变化情况。通过价格变化分析终端的销售走向。针对某一时间段内多款机型的价格情况进行数据统计，主要分析终端的类型、价格对比等。

步骤10，终端参数信息库对外服务。

终端参数信息库将审核通过的终端参数信息，以webservice接口、FTP文件接口等形式提供外部系统使用。主要接口有：终端机型库数据、TAC与机型对应关系数据、终端机型参数信息库、终端价格数据。

本发明中，在网络架构上互联网爬虫服务器需要部署在DMZ区，其他服务器可以利旧现网设备。

本发明具有以下有益效果：

(1)本发明在系统应用流程上，采用自动加人工的方式，加强IMEI的及时性，终端数据的可用性，更好的为市场部门服务。

(2)本发明可以通过爬虫工具去主流评测网站获取机型的属性参数信息及动态价格。将爬虫技术应用于获取终端信息领域，根据终端信息库采集终端的功能信息，对终端功能和自有业务进行匹配，指导自有业务的销售，精准定位目标受众客户群体。

(3))本发明在系统架构上采用互联网爬虫服务引擎，提供对指定网站的终端信息的爬取功能；基础信息管理：提供对终端基础信息的各类数据的管理功能；未知TAC码识别：对未知的TAC码识别和维护；终端参数信息库管理：对终端型号以及未知型号信息的管理；对外服务：对外提供的服务功能。

(4)本发明整合了终端参数信息收集渠道，构建“自动化识别为主，其它渠道补充，最终入库前人工审核”的全新流程，提升机型识别及时性、准确性、完整性，实现了机型信息标准化，降低了运维成本。

以上所述仅是本发明的实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种终端信息的处理方法，其特征在于，包括：

获取数据源；所述数据源包含有终端移动设备国际身份码IMEI和终端型号信息之间的对应关系；

提取所述终端IMEI的预定位数的字符串，作为终端设备型号核准号码TAC；

根据所述终端IMEI和所述终端型号信息之间的对应关系以及所述终端IMEI和所述终端TAC之间的对应关系，生成所述终端TAC与所述终端型号信息之间的对应关系；

在终端信息关键词库中，查找与所述终端型号信息匹配的终端信息关键词；

根据所述终端TAC与所述终端型号信息之间的对应关系以及所述终端型号信息与终端信息关键词之间的对应关系，生成所述终端TAC与所述终端信息关键词之间的对应关系；

根据所述终端TAC与所述终端信息关键词之间的对应关系以及所述终端信息关键词与终端型号之间的对应关系，生成所述终端TAC与终端型号之间的对应关系；

输出所述终端TAC与所述终端型号之间的对应关系；

所述根据所述终端TAC与所述终端型号信息之间的对应关系以及所述终端型号信息与终端信息关键词之间的对应关系，生成所述终端TAC与所述终端信息关键词之间的对应关系的步骤包括：

当相同的所述终端TAC对应至少两个所述终端型号信息时，则从所述至少两个终端型号信息分别对应的至少两个终端信息关键词中，选择一匹配度最高的终端信息关键词；

建立所述终端TAC与选择的所述终端信息关键词之间的对应关系；

所述数据源为终端用户上网日志或者通用分组无线服务技术GPRS清单数据。

2.根据权利要求1所述的方法，其特征在于，所述从所述至少两个终端型号信息分别对应的至少两个终端信息关键词中，选择一匹配度最高的终端信息关键词的步骤具体为：从所述至少两个终端型号信息分别对应的至少两个终端信息关键词中，选择字符串最长的终端信息关键词。

3.根据权利要求1所述的方法，其特征在于，还包括：

通过爬虫工具，获取一网站的页面内容；所述页面内容包含有终端型号以及终端属性和/或终端价格；

解析所述页面内容，获取所述终端型号和终端属性和/或终端价格之间的对应关系；

输出所述终端型号和终端属性和/或终端价格之间的对应关系。

4.一种终端信息的处理装置，其特征在于，包括：

第一获取单元，获取数据源；所述数据源包含有终端移动设备国际身份码IMEI和终端型号信息之间的对应关系；

提取单元，提取所述终端IMEI的预定位数的字符串，作为终端设备型号核准号码TAC；

第一生成单元，根据所述终端IMEI和所述终端型号信息之间的对应关系以及所述终端IMEI和所述终端TAC之间的对应关系，生成所述终端TAC与所述终端型号信息之间的对应关系；

查找单元，在终端信息关键词库中，查找与所述终端型号信息匹配的终端信息关键词；

第二生成单元，根据所述终端TAC与所述终端型号信息之间的对应关系以及所述终端型号信息与终端信息关键词之间的对应关系，生成所述终端TAC与所述终端信息关键词之间的对应关系；

第三生成单元，根据所述终端TAC与所述终端信息关键词之间的对应关系以及所述终端信息关键词与终端型号之间的对应关系，生成所述终端TAC与终端型号之间的对应关系；

输出单元，输出所述终端TAC与所述终端型号之间的对应关系；

所述第三生成单元还用于当相同的所述终端TAC对应至少两个所述终端型号信息时，则从所述至少两个终端型号信息分别对应的至少两个终端信息关键词中，选择一匹配度最高的终端信息关键词；

建立所述终端TAC与选择的所述终端信息关键词之间的对应关系；

所述数据源为终端用户上网日志或者通用分组无线服务技术GPRS清单数据。

5.根据权利要求4所述的装置，其特征在于，所述第一生成单元包括：

选择单元，当相同的所述终端TAC对应至少两个所述终端型号信息时，则从所述至少两个终端型号信息分别对应的至少两个终端信息关键词中，从所述选择一匹配度最高的终端信息关键词；

建立单元，建立所述终端TAC与选择的所述终端信息关键词之间的对应关系。

6.根据权利要求4所述的装置，其特征在于，还包括：

获取单元，通过爬虫工具，获取一网站的页面内容；所述页面内容包含有终端型号以及终端属性和/或终端价格；

解析单元，解析所述页面内容，获取所述终端型号和终端属性和/或终端价格之间的对应关系；

第二输出单元，输出所述终端型号和终端属性和/或终端价格之间的对应关系。