CN107885489B - 一种快速检测实名登记数据指标的方法和系统 - Google Patents

Abstract

本发明公开了一种快速检测实名登记数据指标的方法，所述方法包括以下步骤：初始化参数和创建线程池；创建实名登记数据磁盘文件的内存映射文件；从所述内存映射文件读取实名登记数据，然后对所述实名登记数据进行初步数据检测分析，将检测未通过的数据分类输出，并把检测通过的数据按照特征字段为索引建立Map集合内存数据库；将所述Map集合内存数据库中的所述检测通过的数据划分区块，并为每一个线程分配任务；以及对每一个所述区块的数据进行并发数据检测分析，并将结果进行分类输出。本发明的方法能够在海量数据环境中高效、客观地检测实名登记数据的相关指标。

Description

一种快速检测实名登记数据指标的方法和系统

技术领域

本发明涉及电话用户实名制监管领域，更具体地，特别是指在海量数据环境中快速检测实名登记数据相关指标的方法和系统。

背景技术

近年来，由于迫切的监管需求，实名制作为一种新兴制度，在国内各行各业不断推行开来，如火车票实名制、网络实名制和快递实名制等。2013年9月，随着《电话用户真实身份信息登记规定》(工信部25号令)的审议通过，电信行业的电话用户实名制正式实施，即电信业务经营者为用户办理入网手续时，应当要求用户出示有效证件、提供真实身份信息，并依法登记和保护电话用户办理入网手续时提供的真实身份信息。

随着电话用户真实身份登记工作的稳步推进，电话用户实名制工作成效显著。截至2016年年底，电信企业基本完成了存量非实名用户的补登记，并保证新增用户100％实名。为了确保电话用户实名制的贯彻落实，工信部和地方监管机构开展了大量的明查暗访工作，对存在违规操作行为的企业及商家查处问责。虽然，明查暗访能起到一定监督作用，但是随机性突出、人力物力投入较大，且不具备可持续性。因此，本领域亟待需要一种高效、客观的监督检查技术手段。

本发明即是在这种背景下提出的。出于效率和应用的需要，本发明基于JAVA高级程序开发语言，开发了一种全新的快速检测实名登记数据指标的方法和系统，其具备客观性强、可操作性好等优点。

下面，对与本发明相关的现有技术做简要介绍：

1.与本发明相关的技术一：Java编程语言

Java是由Sun Microsystems公司于1995年5月推出的Java面向对象程序设计语言和Java平台的总称。作为一门面向对象的编程语言，Java语言具有如下几个主要特点：

(1)面向对象

提供类、接口和继承等原语，为了简单起见，只支持类之间的单继承，但支持接口之间的多继承，并支持类与接口之间的实现机制(关键字为implements)；另外，Java语言全面支持动态绑定，而C++语言只对虚函数使用动态绑定。

(2)多线程

Java语言支持多个线程的同时执行，并提供多线程之间的同步机制(关键字为synchronized)。

(3)健壮性

Java的强类型机制、异常处理、垃圾的自动收集等是Java程序健壮性的重要保证。同时，Java的安全检查机制使得Java更具健壮性。

(4)可移植性

这种可移植性来源于体系结构中立性，另外，Java还严格规定了各个基本数据类型的长度。Java系统本身也具有很强的可移植性，Java编译器是用Java编写的，而Java的运行环境是用ANSI C编写的。

(5)动态性

Java语言的设计目标之一是适应于动态变化的环境。Java程序需要的类能够动态地被载入到运行环境，也可以通过网络来载入所需要的类。这也有利于软件的升级。另外，Java中的类有一个运行时刻的表示，能进行运行时刻的类型检查。

在Java语言中，线程是一种特殊的对象，由Thread类或其子(孙)类来创建。通常有两种方法来创建线程：其一，使用型构为Thread(Runnable)的构造子类将一个实现了Runnable接口的对象包装成一个线程；其二，从Thread类派生出子类并重写run方法，使用该子类创建的对象即为线程。本发明采用第二种线程创建方式，设计了一种能够快速、并发的对实名登记数据指标进行检测的方法和系统。

2.与本发明相关的技术二：内存映射文件

内存映射文件是操作系统提供的一种机制，实际上就是将磁盘上的文件直接映射到进程地址空间。与虚拟内存相似，内存映射文件允许开发人员预订一块地址空间并为该区域调拨物理存储器，与虚拟内存不同的是，内存映射文件的物理存储器来自磁盘中的文件，而非系统的页交换文件。将文件映射到内存中后，应用程序就可以在内存中操作文件，就像被载入内存中一样。

内存映射文件由内存映射系统调用将文件直接映射到用户空间，而内存映射系统调用并没有进行数据拷贝，真正的数据拷贝是在缺页中断处理时进行的，所以只进行一次数据拷贝，比I/O进行两次数据拷贝要好上一倍，因此，内存映射的效率要比I/O效率高。

因为实名登记数据文件的数据量很大，可达到数十GB甚至更大，所以拷贝的开销是非常大的。本发明使用内存映射来处理实名登记数据文件，可以减少不必要的数据拷贝，从而提高数据的存取效率。

发明内容

有鉴于此，本发明实施例的目的在于提出一种在海量数据环境中快速检测实名登记数据相关指标的方法和系统。在海量数据环境中快速检测实名登记数据的相关指标，主要涵盖了个人用户、单位用户和行业应用的信息未登记、信息登记不合规、一证多名和一证五卡的主要非实名登记问题形式，不仅可以客观统计电话用户实名登记数据的相关指标，而且能够保证在海量数据环境下各指标的统计性能，为电信企业开展存量用户补登记和新用户100％实名提供了一种非常好的整改依据和解决方案，利用本发明的方法和系统并结合其他三方真实性核验手段的处理能够针对海量数据环境中实名登记指标统计进行客观评价，即时发现问题并有效地阻止非实名用户数据的从各营销渠道进行的渗透。因此，本发明解决了现有技术无法高效、客观地检测实名登记数据指标这一技术问题，能够对电话用户实名登记情况进行有效监管。

基于上述目的，本发明实施例的一方面提供了一种快速检测实名登记数据指标的方法，所述方法包括以下步骤：

初始化参数和创建线程池；

创建实名登记数据磁盘文件的内存映射文件；

从所述内存映射文件读取实名登记数据，然后对所述实名登记数据进行初步数据检测分析，将检测未通过的数据分类输出，并把检测通过的数据按照特征字段为索引建立Map集合内存数据库；

将所述Map集合内存数据库中的所述检测通过的数据划分区块，并为每一个线程分配数据区块；以及

对每一个所述数据区块的数据进行并发数据检测分析，并将结果进行分类输出。

在一些实施方式中，所述方法还包括根据主机能力设置所述Map集合内存数据库的阈值，当达到所述Map集合内存数据库的阈值后，不再新建索引并记录当前位置。

在一些实施方式中，从上一次所述Map集合内存数据库建立结束时记录的所述当前位置重复所述初步数据检测分析以后的所有操作，直至所述内存映射文件处理结束。

在一些实施方式中，建立所述Map集合内存数据库包括以下步骤：

从所述内存映射文件中读取所述实名登记数据；

将所述实名登记数据解析后获得特征字段，并生成索引值；以及

判断所述索引值是否为新的索引值，若所述索引值不是新的索引值，则将数据行号追加到所述索引值对应的行号列表中，然后继续从所述内存映射文件中读取所述实名登记数据，若所述索引值是新的索引值，则判断所述Map集合内存数据库的索引是否达到阈值，若是，则继续从所述内存映射文件中读取所述实名登记数据，若不是，则在所述Map集合内存数据库中添加所述索引并记录行号，然后继续从所述内存映射文件中读取所述实名登记数据。

在一些实施方式中，各线程逐行遍历所述检测通过的数据，遍历过程中若各行数据的所述特征字段的索引值在所述Map集合内存数据库的索引范围内，则将行号追加到对应的行号列表中。

在一些实施方式中，所述检测通过的数据遍历结束后，各线程继续遍历各自的数据区块中各索引对应行号列表，根据所述行号列表分类输出所述内存映射文件中所述特征字段对应的数据，并将所述内存映射文件中对应的数据清空。

本发明实施例的另一方面，还提供了一种快速检测实名登记数据指标的系统，所述系统执行上述的方法。

本发明实施例的另一方面，还提供了一种计算机设备，包括存储器、至少一个处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时执行上述的方法。

本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行上述的方法。

本发明实施例的另一方面，还提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算程序，所述计算程序包括指令，当所述指令被计算机执行时，使所述计算机执行上述的方法。

在电话用户实名制监管领域采用本发明的技术方案，至少可以带来以下三点有益技术效果：

1.快速检测实名登记数据指标

本发明是一种检测高速、并发处理文本数据的方法，考虑到大数据文件无法直接放入到内存空间，通过内存映射文件实现文本数据的区块处理，替代了传统的基于流/缓冲区读写文本数据的方法，从I/O层保证了指标检测的性能。本发明采用基于Map集合的特征信息内存数据库。该内存数据库可根据主机能力设置索引阈值，且仅记录各特征索引对应的数据行号列表，避免了不必要的内存开销，同时，内存数据库可在内存中直接操作数据，提高了系统的处理能力。本发明采用基于文本区块的无锁并发数据检测分析技术。虽然，多线程的加解锁将有效保证多线程设计的程序的安全运行，避免对共享资源的争用，但是频繁地使用线程锁，将会消耗掉大量的CPU资源，造成系统运行效率低下，本发明充分考虑了多线程锁带来的负面效应，采用将内存映射文件分块的方法消除了多线程间的加解锁，不但避免了线程死锁发生的可能性，也节省了大量的CPU资源，提高了整个系统的性能。

因此，在大数据环境下，本发明能够快速地进行实名登记数据的指标检测，从数据层面客观评价电信企业电话用户实名登记工作的落实情况。

2.问题数据的分类输出

根据不同的分类要求，输出个人用户、单位用户和行业应用的信息未登记数据、信息登记不合规数据、一证多名数据和一证五卡数据，并生成本地文件，方便后期进行分析处理等。

3.便于大数据环境下实名登记数据的监管

根据法律法规的要求，电信企业在为用户办理入网时，需登记用户的真实信息。目前，我国电话用户规模达数十亿之多，对其实名登记情况进行有效监管将成为各界关注的焦点。通过本发明提供的方法和系统，并结合其他方式的监督检查，可有效督促电信企业落实实名登记制度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明一个实施例的快速检测实名登记数据指标的方法的流程示意图；

图2为根据本发明一个实施例的创建Map集合内存数据库的流程示意图；

图3为本发明提供的执行所述方法的计算机设备的一个实施例的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

基于上述目的，本发明实施例的第一个方面，提出了快速检测实名登记数据指标的方法的一个实施例，能够在海量数据环境中高效、客观地检测实名登记数据的相关指标。图1示出的是根据本发明一个实施例的快速检测实名登记数据指标的方法的流程示意图。

所述的方法可包括以下步骤：

步骤S10，开始实名登记数据指标检测流程。

步骤S11，启动程序后，初始化各种参数并创建工作者线程池，随后将读取数据并进行指标检测。优选地，本发明创建线程的方式是通过继承Thread类，即从Thread类派生出子类并重写该类的run方法，使用该子类创建的对象即为线程。

步骤S12，创建实名登记数据磁盘文件的内存映射文件。内存映射文件是JDK1.4中引入的一种读写文件数据的方法，它在Java中提供了一种高速的面向块的I/O操作。本发明处理文件数据利用内存映射技术，该技术可以高效地操作大数据文件，即由一个实名登记大数据文件到一块内存的映射，然后通过操作该内存来访问文件数据。由于实名登记数据指标检测需对文件数据进行频繁的读写操作，因此内存映射技术可以避免操作大量文件时数据在内核空间和用户空间之间的拷贝导致的性能低下。

步骤S13，从在步骤S12创建的内存映射文件读取实名登记数据，然后逐条对实名登记数据进行初步数据检测分析。该步骤执行的初步数据检测分析是对数据本身所存在缺陷的检测和分析，亦即检测信息未登记数据、信息登记不合规数据。将检测未通过的数据(信息未登记数据、信息登记不合规数据)分类输出，并把检测通过的数据按照特征字段为索引建立Map集合内存数据库。举例来说，该特征字段包括电话用户的证件类型、证件号码等。

为避免系统的内存空间由于创建的Map集合内存数据库而被消耗尽，可以根据主机能力设置Map集合内存数据库阈值。例如，可以根据内存大小来设置Map集合内存数据库阈值，例如可将该阈值设置为内存的50％到70％范围内。当达到该Map集合内存数据库阈值后，不再新建索引并记录当前位置。

在一个优选实施例中，如图2所示，为创建Map集合内存数据库的流程示意图。在从内存映射文件读取数据后，以特征字段(包括电话用户的证件类型和证件号码)为索引创建Map集合内存数据库，该数据库中记录特征字段及其对应的数据行号，特征字段相同的数据行号以追加方式存储。为了避免Map集合内存数据库耗尽内存，根据主机能力设置数据库索引数阈值，当Map集合内存数据库索引数达到阈值以后，不再创建新的索引，只追加相同索引数据的行号。

具体地，参见图2，在步骤S21，开始Map集合内存数据库的创建过程；在步骤S22，从内存映射文件中逐行读取实名登记数据；在步骤S23，将实名登记数据解析后获得特征字段，并生成索引值，所述特征字段例如包括电话用户的证件类型和证件号码；在步骤S24，判断索引值是否为新的索引值，若索引值是新的，则转向步骤S25，若不是，则转向步骤S26；在步骤S25，判断Map集合内存数据库的索引是否达到阈值，若是，则转向步骤S22，若不是，则转向步骤S27；在步骤S26，将数据行号追加到该索引值对应的行号列表中，然后回到步骤S22；在步骤S27，在Map集合内存数据库中添加索引并记录行号。

步骤S14，将在步骤S13检测通过的数据划分区块，并为工作者线程分配任务。为提高数据检测分析的效率，本发明采用多线程技术，由于Map数据库创建过程中各索引之间相互独立，避免了各工作者线程对共享资源的竞争使用，从而减少死锁的出现并提高数据检测效率，本发明特别地设计了基于数据分块的多线程处理方式，即将Map数据库中的数据分割成若干个区块，每个线程使用同样的功能遍历预先分配的数据区块，这样很好地避免了多个线程间资源的竞争问题，在没有影响指标检测效率情况下消除了共享资源的共用问题。对于每一个线程的分段处理域范围[ThreadStartIpos,ThreadEndIpos]由以下公式预先计算得到：

ThreadStartIpos＝(i*MAXLINENUM)/ThreadStartNum； (1)

ThreadEndIpos＝((i+1)*MAXLINENUM)/ThreadStartNum； (2)

其中，i为第i个线程，i＝0,1,…k，k为整数；ThreadStartIpos为第k个线程的处理域起点散列数组下标；ThreadEndIpos为第i个线程的处理域散列数组终点下标；MAXLINENUM为区块数据的最大行数；ThreadStartNum为当前系统中开启的线程数。

步骤S15，进行并发数据检测分析，并将结果进行分类输出。该步骤执行的并发数据检测分析是对承载于数据上的特征信息的检测和分析，亦即检测和分析一证多名数据和一证五卡数据。

通常来讲，进行数据特征信息分析时，至少需要将全量数据中的所有特征信息加载到内存空间，但在大数据环境中，有限内存空间如果不加以合理利用终究会被耗尽。为解决这一问题，如上所述，本发明采取了内存分析和分块加载的技术，来避免系统内存空间的不足。下面举例说明本发明采取的基于数据区块的无锁并发数据检测分析：

(1)通过设定索引阈值的方式，为Map集合分配一块固定大小的内存空间，假设Map集合索引阈值为n，Map集合创建线程逐行读取内存映射文件文本信息，提取特征字段，并将计算得到的索引值及对应的行号置于Map集合的相应位置。

(2)当Map集合的索引数达到阈值n时，完成如下操作：

记录当前内存映射文件的行号m；

挂起Map集合创建线程；

将Map集合划分区块，为每个区块分配工作者线程，各工作者线程继续逐行遍历内存映射文件m+1行数据，直至文件数据遍历结束；遍历过程中若各行数据特征字段的索引值在Map集合的索引范围内，则将行号追加到对应的行号列表中；

文件遍历结束后，各工作者线程继续遍历各自Map区块中各索引对应行号列表，根据行号列表输出内存映射文件中前n个特征字段对应的一证多名数据和一证五卡数据，并将内存映射文件中对应的数据清空。

(3)启动Map集合创建线程，从内存映射文件的第m+1行逐行遍历数据，重新创建Map集合内存数据库，检测分析后输出后续n个特征字段对应的一证多名数据和一证五卡数据，直至内存映射文件中数据全部清空。

步骤S16，确定是否结束检测。如果结束检测，则转到步骤S17，在步骤S17，统计结果并输出指标，最后，在步骤S18释放资源并结束整个流程；如果在步骤S16不结束检测，则回到步骤S13，从上一次Map集合内存数据库建立结束时的记录文件位置重复初步数据检测分析以后的操作、步骤S14以及步骤S15的过程，直至文件处理结束，汇总结果并输出指标。这里，需要强调的是，在从上一次Map集合内存数据库建立结束时的记录文件位置重复上述过程之前，要释放掉上一次Map集合内存数据库建立时所占用的内存。

基于上述目的，本发明实施例的第二个方面，提出了快速检测实名登记数据指标的系统的一个实施例，能够在海量数据环境中高效、客观地检测实名登记数据的相关指标。该系统执行上述的方法。

需要特别指出的是，上述系统的实施例采用了上述方法的实施例来具体说明各模块的工作过程，本领域技术人员能够很容易想到，将这些模块应用到所述方法的其他实施例中。

基于上述目的，本发明实施例的第三个方面，提出了一种执行所述方法的计算机设备的一个实施例。所述计算机设备包括存储器、至少一个处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时执行上述任意一种方法。

如图3所示，为本发明提供的执行所述方法的计算机设备的一个实施例的硬件结构示意图。

以如图3所示的计算机设备为例，在该计算机设备中包括一个处理器301以及一个存储器302，并还可以包括：输入装置303和输出装置304。

处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图3中以通过总线连接为例。

存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的所述方法对应的程序指令/模块。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的快速检测实名登记数据指标的方法。

存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据快速检测实名登记数据指标的系统的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置303可接收输入的数字或字符信息，以及产生与所述系统的用户设置以及功能控制有关的键信号输入。输出装置304可包括显示屏等显示设备。

所述方法对应的程序指令/模块存储在所述存储器302中，当被所述处理器301执行时，执行上述任意方法实施例中的方法。

所述计算机设备的任何一个实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。

基于上述目的，本发明实施例的第四个方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的方法与实现上述任意系统实施例中的系统。所述计算机可读存储介质的实施例，可以达到与之对应的前述任意方法与系统实施例相同或者相类似的效果。

基于上述目的，本发明实施例的第五个方面，提出了一种计算机程序产品，该计算机程序产品包括存储在计算机可读存储介质上的计算程序，该计算程序包括指令，当该指令被计算机执行时，使该计算机执行上述任意方法实施例中的方法与实现上述任意系统实施例中的系统。所述计算机程序产品的实施例，可以达到与之对应的前述任意方法与系统实施例相同或者相类似的效果。

最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(Read-Only Memory，ROM)或随机存取存储器(RandomAccess Memory，RAM)等。所述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。

此外，典型地，本发明实施例公开所述的系统、设备等可为各种电子终端设备，例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等，也可以是大型终端设备，如服务器等，因此本发明实施例公开的保护范围不应限定为某种特定类型的系统、设备。

此外，根据本发明实施例公开的方法还可以被实现为由CPU执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU执行时，执行本发明实施例公开的方法中限定的上述功能。

此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。

此外，应该明白的是，本文所述的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现所述的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里所述功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。

结合这里的公开所描述的方法或算法的步骤可以直接包含在硬件中、由处理器执行的软件模块中或这两者的组合中。软件模块可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其它形式的存储介质中。示例性的存储介质被耦合到处理器，使得处理器能够从该存储介质中读取信息或向该存储介质写入信息。在一个替换方案中，所述存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。在一个替换方案中，处理器和存储介质可以作为分立组件驻留在用户终端中。

在一个或多个示例性设计中，所述功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将所述功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。

以上是本发明公开的示例性实施例，上述本发明实施例公开的顺序仅仅为了描述，不代表实施例的优劣。但是应当注意，以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子，在不背离权利要求限定的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

Claims (7)

1.一种快速检测实名登记数据指标的方法，其特征在于，所述方法包括以下步骤：

初始化参数和创建线程池；

创建实名登记数据磁盘文件的内存映射文件；

从所述内存映射文件读取实名登记数据，然后对所述实名登记数据进行初步数据检测分析，将检测未通过的数据分类输出，并把检测通过的数据按照特征字段为索引建立Map集合内存数据库；

根据主机能力设置所述Map集合内存数据库的阈值，当达到所述Map集合内存数据库的阈值后，挂起Map集合创建线程，不再新建索引并记录当前位置，同时继续从所述内存映射文件中读取所述实名登记数据并检测分析，若各行数据特征字段的索引值在Map集合的索引范围内，则将行号追加到对应的行号列表中；

将所述Map集合内存数据库中的所述检测通过的数据划分区块，并为每一个线程分配数据区块；以及

对每一个所述数据区块的数据进行并发数据检测分析，并将结果进行分类输出后，将内存映射文件中对应的数据清空；

从上一次所述Map集合内存数据库建立结束时记录的所述当前位置重复所述初步数据检测分析以后的所有操作，直至所述内存映射文件处理结束。

2.根据权利要求1所述的方法，其特征在于，建立所述Map集合内存数据库包括以下步骤：从所述内存映射文件中读取所述实名登记数据；

将所述实名登记数据解析后获得特征字段，并生成索引值；以及

判断所述索引值是否为新的索引值，若所述索引值不是新的索引值，则将数据行号追加到所述索引值对应的行号列表中，然后继续从所述内存映射文件中读取所述实名登记数据，若所述索引值是新的索引值，则判断所述Map集合内存数据库的索引是否达到阈值，若是，则继续从所述内存映射文件中读取所述实名登记数据，若不是，则在所述Map集合内存数据库中添加所述索引并记录行号，然后继续从所述内存映射文件中读取所述实名登记数据。

3.根据权利要求1所述的方法，其特征在于，各线程逐行遍历所述检测通过的数据，遍历过程中若各行数据的所述特征字段的索引值在所述Map集合内存数据库的索引范围内，则将行号追加到对应的行号列表中。

4.根据权利要求3所述的方法，其特征在于，所述检测通过的数据遍历结束后，各线程继续遍历各自的数据区块中各索引对应行号列表，根据所述行号列表分类输出所述内存映射文件中所述特征字段对应的数据，并将所述内存映射文件中对应的数据清空。

5.一种快速检测实名登记数据指标的系统，其特征在于，执行如权利要求1-4中任意一项所述的方法。

6.一种计算机设备，包括存储器、至少一个处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1-4中任意一项所述的方法。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-4中任意一项所述的方法。

Images