CN101217695A - 数据采集方法、数据采集卡以及数据采集系统 - Google Patents

Abstract

本发明公开了一种数据采集方法、数据采集卡以及数据采集系统，解决了现有技术不能实时采集数据的问题。本发明通过在数据采集卡中添加用户识别模块，使之能够通过手机将采集数据发送出去，如果将数据采集服务器连接到短信服务器，这样就可以通过短信接收到数据，减少了数据采集时消耗的时间，实现了实时的数据采集。本发明主要用于各种需要快速采集数据的行业，例如出租车行业、导游行业、金融行业等。

Description

数据采集方法、数据采集卡以及数据采集系统

技术领域

本发明涉及数据处理领域，特别涉及将分散的数据上传到服务器的数据采集方法、数据采集卡、以及采用该方法的数据采集系统。

背景技术

为了能够准确把握市场行情，及时做出合理的策略，每个行业都需要对本行业过去的市场数据进行分析，并且还需要依据市场数据中的营业额缴纳相关税费，例如：出租车行业、导游行业、金融业等。

但是因采集技术的限制，相关人员要将市场数据送达数据采集中心需要消耗较高成本，并且无法将市场数据及时送达数据采集中心。例如，目前北京市出租车行业的数据采集业务是这样实现的：出租车司机通过抬起和按下计价器(数据采集器)的控制手柄(一般是一个写着“空车”的节能灯)，来启动计价器或将计价器归零，同时计价器将出租车司机的载客情况会记录到计价器中。每个出租车司机配有一个数据采集卡，在一定时间后(一般是2周)，出租车司机将数据采集卡插入计价器，计价器自动将所有的载客数据写入数据采集卡；然后，出租车司机携带数据采集卡到出租车公司的数据采集中心，将数据采集卡中的载客数据上传到出租车公司负责数据采集的服务器中。

在上述数据采集运用过程中，发明人发现现有数据采集至少存在以下两个较大的缺陷：

第一、数据采集严重滞后，由于现在每次数据采集需要出租车司机往返数据采集中心，这使得数据上传周期较长，通过现有的数据采集方案无法实现实时的数据采集。

第二、数据采集成本大，由于出租车行业的特殊性，出租车司机的工作范围是整个城市，甚至是在其他城市工作，所以每次要去一次数据采集中心需要较大的时间成本和交通成本。

在其他行业，也存在出租车行业中进行数据采集所存在的问题。例如导游行业，导游的工作范围更是在全世界，这样的交通成本更高。

发明内容

一方面，本发明提供一种数据采集方法，实现实时的数据采集。

为达到上述目的，本发明采用如下技术方案：该数据采集方法包括：数据采集器将目标数据传输给数据采集卡；数据采集卡上设置有用户识别模块，利用用户识别模块将目标数据通过电信网络发送到数据采集服务器。

上述技术方案所描述的数据采集方法，在数据采集卡上设置用户识别模块，这样就可以将目标数据通过用户识别模块发送到数据采集服务器。由于用户识别模块可以通过无线通信发送数据，使得用户可以在任何覆盖有无线网络的地方就可以上传数据，而不需要用户持数据采集卡到数据采集中心将目标数据上传。采用本发明数据采集方法后，用户就可以及时地将数据采集器中的数据，通过数据采集卡中的用户识别模块发送到数据采集服务器，实现数据的实时采集。

另一方面，本发明还提供一种数据采集卡，能够实时地将目标数据发送到数据采集服务器。

为达到上述目的，本发明采用如下技术方案：该数据采集卡包括：

数据采集模块，用于采集并存储目标数据；

用户识别模块，用于将采集到的目标数据传输到电信网络的通信终端。

上述技术方案所描述的数据采集卡，设置有数据采集模块和用户识别模块，其中的数据采集模块可以采集数据采集器中得到目标数据，而用户识别模块则可以将采集到的目标数据发送到数据采集服务器。由于用户识别模块可以通过无线通信发送数据，使得用户可以在任何覆盖有无线网络的地方就可以上传数据，而不需要用户持数据采集卡到数据采集中心将目标数据上传到数据采集服务器。故而，采用本发明数据采集卡后，用户能够实时地将目标数据上传到数据采集服务器。

再一方面，本发明还提供一种数据采集系统，实现实时的数据采集。

为达到上述目的，本发明采用如下技术方案：该数据采集系统包括数据采集器，数据采集卡和数据采集服务器，所述数据采集器将目标数据传输给数据采集卡；还包括电信网络的通信终端；

所述数据采集卡上设置有用户识别模块；

所述数据采集卡通过用户识别模块将目标数据传输到通信终端；

所述通信终端将目标数据通过电信网络发送到数据采集服务器。

上述技术方案所描述的数据采集系统所用的数据采集卡中设置了用户识别模块，数据采集卡将采集到的目标数据通过用户识别模块发送给移动终端，由移动终端将目标数据发送到数据采集服务器。采用上述数据采集系统后，用户就可以通过移动终端将目标数据上传到数据采集服务器，而不用持数据采集卡到数据采集中心了，省去了去往数据采集中心的时间，从而能够实时采集目标数据。

附图说明

图1为本发明数据采集方法实施例的流程图；

图2为本发明数据采集卡的结构框图；

图3为本发明数据采集卡实施例的文件结构体系图；

图4为本发明数据采集系统的结构图。

具体实施方式

本发明通过在数据采集卡中加入用户识别模块，使得数据采集卡能够通过电信网络发送数据，使得用户可以在任何覆盖有电信网络的地方就可以上传数据，而不需要用户持数据采集卡到数据采集中心将目标数据上传。节约了大量时间，实现了目标数据的实时采集。下面结合附图对本发明数据采集方法、数据采集卡以及数据采集系统的实施例进行详细描述。

本发明数据采集方法所使用的数据采集卡包括有数据采集模块和用户识别模块；该数据采集方法的实施例如图1所示，具体步骤为：

1、由于数据采集卡通过通信网络将目标数据发送到数据采集服务器，所以要先在数据采集服务器对该数据采集卡进行注册。注册过程具体为：用户识别模块将该数据采集卡的发行信息和客户号码传输到通信终端(例如：手机)，由通信终端发送给数据采集服务器，数据采集服务器对发行信息和客户号码进行审核，审核确认数据采集卡的合法身份，以方便后期对信息的整理和信息采集用户的管理。

2、将数据采集卡插入到数据采集器；这样，数据采集器会将其保存的待采集的目标数据自动传输给数据采集模块，并由数据采集模块保存接收到的目标数据。

3、数据采集模块与数据采集服务器进行安全认证，以确保数据采集服务器和数据采集卡的身份正确，并且当前数据采集服务器有权限获取待采集的数据。在安全认证过程中，其安全认证的数据通过用户识别模块进行传输。

4、当安全认证通过以后，表明可以发送数据。为了保证所传输数据的安全，数据采集卡中的用户识别模块将目标数据读出后，对数据进行加密；然后将加密后的目标数据以短信格式传输到通信终端，最后通信终端以短信的方式将加密后的目标数据发送到数据采集服务器。

这里的电信网络可以包括GSM网络、CDMA网络和GPRS网络，但不限于这些网络。所以本实施例中的通信终端可以是手机或者PDA(个人数字助理)。

5、数据采集服务器收到加密后的目标数据，对其进行解密，并将解密出的目标数据保存在数据库中。然后数据采集服务器向数据采集卡发送数据清空指令和安全认证数据。

6、数据采集卡中的数据采集模块根据安全认证数据，与数据采集服务器进行安全认证，以便有权限执行下发的数据清空指令。在安全认证过程中，其安全认证的数据通过用户识别模块传输到数据采集模块的。

7、安全认证成功后，用户识别模块根据数据清空指令执行数据删除操作，将目标数据删除，以便数据采集卡有足够的空间进行下一次数据采集。

上述步骤5中可以先向数据采集卡发送安全认证数据，等待安全认证通过后，再向数据采集卡发送数据清空指令。

在上述方法中的第3步和第6步都需要进行安全认证，并且安全认证过程完全一样，具体包括如下步骤：

1)数据采集模块产生一个随机数，然后用户识别模块将该随机数传输到通信终端，由通信终端将该随机数发送到数据采集服务器；

2)数据采集服务器使用认证密钥对随机数进行加密，并将加密后的密文以认证指令的方式发送给通信终端。

3)然后通信终端通过用户识别模块将认证指令传输到数据采集模块，数据采集模块将认证指令中的密文解密得到一个随机数，如果该解密得出的随机数与原随机数相同，则认证通过，如果不同，则认证失败。

在上述认证过程中，数据采集服务器和通信终端之间传输的数据，还需要通过Data Encryption Standard(DES，数据加密标准)或RSA加密算法进行加密。

在数据采集卡上设置用户识别模块后，通过上述的数据采集方法，就可以将目标数据发送到数据采集服务器。由于用户识别模块能够接入到电信网络，使得用户可以在任何覆盖有电信网络的地方就可以上传数据，而不需要用户持数据采集卡到数据采集中心将目标数据上传。采用本发明数据采集方法后，用户就可以及时地将数据采集器中的数据，实现数据的实时采集。

本发明数据采集卡的结构如图2所示，具体包括：

数据采集模块，可以从数据采集器中采集到目标数据，并存储采集到的目标数据(一般的数据采集模块中自带有具有存储功能的存储单元)；用户识别模块，将采集到的目标数据传输到通信终端，由通信终端通过电信网络将目标数据发送到数据采集服务器。其中，用户识别模块将目标数据以短信格式传输到电信网络的通信终端；所述电信网络为GSM网络、CDMA网络或者GPRS网络；所述通信终端为手机或个人数字助理。

所述用户识别模块包括：数据读取单元，用于读取数据采集模块中的目标数据；数据传输单元，用于将读取到的目标数据转发到电信网络的通信终端，或者传输数据采集卡和数据采集服务器之间的安全认证数据。

所述数据采集模块包括安全认证单元，用于根据所述的安全认证数据与数据采集服务器进行安全认证。

首先由数据采集卡通过通信终端发送请求信息，该请求信息中包含有安全认证用的随机数，服务器接收到请求信息后，向通信终端发送安全认证数据，并由数据传输单元将安全认证数据传输到安全认证单元。安全认证单元对安全认证数据进行认证，其认证过程和图2所示一致。当安全认证成功后，数据读取单元数据采集模块中的目标数据；并由数据转发单元将读取到的目标数据通过通信终端发送到数据采集服务器。由于在数据采集卡中加入了用户识别模块，所以在具体实施的时候，可以将该数据采集卡用在手机中，这样就可以先将目标数据加密后发送给手机，由手机将加密后的目标数据以短信的方式发送给数据采集服务器。

数据采集服务器接收到目标数据后，向手机发送数据清空指令和安全认证数据，然后由安全认证单元按照图2的方式对安全认证数据进行认证，以保证数据采集卡和数据采集服务器的身份合法性，以及读写操作权限。并在安全认证成功后，数据采集模块终的数据删除单元根据数据清空指令删除目标数据。以便数据采集卡有足够的空间进行下一次数据采集。

通过电信网络上传待采集的数据，可以节约往返数据采集中心的交通费，降低数据采集的成本，同时还可以实现数据的实时采集。

上述的数据采集卡具体的实现是通过在一张卡中，同时建立了数据采集模块的文件体系和用户识别模块的文件体系，对应不同的电信网络如GSM、CDMA或3G，用户识别模块的文件体系也略有不同，对于多数的数据采集卡片而言，数据采集文件体系是已经存在的，关键是要增加用户识别模块的文件结构。以GSM网络下，用户识别模块(SIM)为例进行介绍，其它网络下的用户识别模块的文件体系基本类似。如图3所示，SIM文件体系的具体结构如下：

在主文件夹(MF，master file)下包含有SIM文件体系和数据采集文件体系。数据采集文件体系和现有体系相同，包含有数据存储文件夹(ADF2)，采集到的目标数据(EF1)就保存在该数据存储文件夹中。

SIM文件体系采用现在公用的GSM规范编制。其中的专用网络(DFgsm)文件夹中保存了用于网络通信的相关数据，而专用通信(DFtelecom)文件夹中保存了用于提供服务的相关信息，专用应用(DFapp)文件夹中保存了很多应用程序，一般以程序文件出现，其中就有一个程序文件(EF2)能够读取出目标数据(EF1)。程序文件EF2读取出目标数据EF1后就可以将其发送出去。

由于该数据采集卡以存在两个文件体系，能够独立应用于手机和数据采集器。将该数据采集卡放入数据采集器中，就可以通过数据采集文件体系完成数据的采集工作，并将采集到的数据保存在EF1中。然后将该数据采集卡放入手机中，就可以通过SIM文件体系进行通信，并且SIM文件体系中的程序文件EF2能够读取采集到的数据文件EF1，并将读到的数据文件EF1内的目标数据发送到手机，这样手机就可以将目标数据通过短信的方式发送给数据采集服务器。当然，程序文件EF2还可以改写数据文件EF1中的内容，例如：删除EF1中的内容。数据采集服务器成功接收目标数据后，会向数据采集卡下发命令清空卡片数据，将数据采集卡中的目标数据删除。

在该数据采集卡进行数据采集之前，要确定该数据采集卡的合法身份，具体过程为：将数据采集卡放入手机，通过手机向数据采集服务器发送注册请求，数据采集服务器对注册请求中的用户数据进行审核，审核通过后向数据采集卡下发注册成功信息，以通知用户注册成功。

在程序文件读取、删除或者改写数据文件EF1之前，都必须经过外部安全认证，获取相应的权限。安全认证具体为：首先，数据采集模块产生一个随机数，然后通过专用网络中的程序将该随机数上发数据采集服务器；其次，数据采集服务器使用认证密钥将随机数加密产生认证需要的密文，将该密文通过短信发送给手机，手机将该密文发送给数据采集卡；最后，数据采集卡接收到密文后，将密文解密，如果解密出的随机数和原先产生的随机数相同，则认证成功，允许对采集到的数据进行相应的操作，否则认证失败，则不允许对采集到的数据进行相应的操作。

上述的数据在电信网络上传输时，为了保证数据不被窃取或者修改，需要对数据进行DES算法或者RSA算法的加密，保证数据在传输过程中的安全性。

由于数据采集服务器和手机之间是由短信传输数据的，所以程序文件EF2需要将将接收到的短信进行处理和转换，得出数据采集服务器下发的指令。一般情况下，都是先进行安全认证，等待安全认证通过后，再传输操作命令(如数据清空指令)，进行相应的操作。本实施例中为了避免由于短信交互次数过多使数据传输成功率降低，可以将认证数据和操作命令一次下发给数据采集卡。

上述的数据采集卡可以广泛用于现有的数据采集系统，将现有数据采集服务器连接到短信服务器，使得数据采集服务器能够通过短信接收数据，并将接收到的数据保存到数据库。

如图4所示，改进后的数据采集系统工作过程如下：将数据采集卡插入数据采集器，由数据采集器将目标数据传输给数据采集卡；然后将该数据采集卡插入到移动终端(以手机为例)，用户通过操作数据采集菜单，触发数据采集卡通过用户识别模块将目标数据传输到手机，由手机将目标数据通过短信的方式发送到短信服务器，然后由短信服务器转发给数据采集服务器，最后，由数据采集服务器将目标数据保存到数据库。

数据采集服务器成功接收目标数据后，会向通过短信向手机发送清空卡片数据的指令，数据采集卡通过手机接收到清空卡片数据的指令后，将数据采集卡中的目标数据删除。

如果将本发明中的数据采集卡、以及利用该数据采集卡组成的数据采集系统，运用到出租车公司的数据采集系统中，这种数据采集方法可以使得出租车司机，将采集到的数据通过手机发送给出租车公司的数据采集服务器，不需要出租车司机往返于出租车公司的数据采集中心，节约了出租车司机每次采集数据的时间成本和交通成本。出租车司机每天通过手机都向数据采集服务器发送一次数据，即可实现实时采集，提高了数据采集的时效性。

由于本发明中的数据采集卡中的数据采集模块没有改变，可以沿用现有的数据采集模块，这就使得该数据采集系统可以沿用现有的数据采集器，只需要更换数据采集卡，不需要换数据采集器；并且手机也是目前较为普及的通讯设备，一般无需增加额外的设备成本，降低了数据采集系统改造的成本。

在进行数据采集过程中，手机和数据采集服务器以GSM0 3.48方式传输的数据短信，能够有效防止数据被篡改、防重复上传数据等问题的出现。并且所有的数据通过加密后进行传输，避免了数据被窃听，防止泄露数据中的商业机密。

本发明主要用于各种需要快速采集数据的行业，例如出租车行业、导游行业、金融行业等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (14)

1.一种数据采集方法，包括数据采集卡采集目标数据；其特征在于还包括：

数据采集卡上设置有用户识别模块，利用用户识别模块将目标数据通过电信网络发送到数据采集服务器。

2.根据权利要求1所述的数据采集方法，其特征在于，利用用户识别模块将目标数据通过电信网络发送到数据采集服务器具体为：

用户识别模块读取目标数据；

用户识别模块通过电信网络将读取到的目标数据发送到数据采集服务器。

3.根据权利要求1所述的数据采集方法，其特征在于，利用用户识别模块将目标数据通过电信网络发送到数据采集服务器的步骤之前还包括：

数据采集卡与数据采集服务器进行安全认证。

4.根据权利要求1所述的数据采集方法，其特征在于，所述电信网络为GSM网络、CDMA网络或者GPRS网络；所述目标数据以短信方式发送到数据采集服务器。

5.根据权利要求1所述的数据采集方法，其特征在于还包括，数据采集服务器收到目标数据后，通过电信网络向数据采集卡的用户识别模块发送数据清空指令，数据采集卡按照数据清空指令删除目标数据。

6.根据权利要求5所述的数据采集方法，其特征在于，

通过电信网络向数据采集卡的用户识别模块发送数据清空指令的步骤之前还包括：数据采集卡与数据采集服务器进行安全认证；或者

通过电信网络向数据采集卡的用户识别模块发送数据清空指令时还包括：通过电信网络向数据采集卡的用户识别模块发送用于安全认证的数据。

7.根据权利要求3或6所述的数据采集方法，其特征在于，所述的安全认证具体为：

数据采集卡产生随机数，并将随机数发送到数据采集服务器；

数据采集服务器对随机数加密，并将加密后的密文通过电信网络发送到数据采集卡；

数据采集卡将密文解密；

若解密后得到的随机数和数据采集卡产生的随机数相同，则安全认证成功，否则安全认证失败。

8.一种数据采集卡，包括数据采集模块，用于采集并存储目标数据；其特征在于还包括：

用户识别模块，用于将采集到的目标数据传输到电信网络的通信终端。

9.根据权利要求8所述的数据采集卡，其特征在于，所述用户识别模块将目标数据以短信格式传输到电信网络的通信终端；所述电信网络为GSM网络、CDMA网络或者GPRS网络；所述通信终端为手机或个人数字助理。

10.根据权利要求8所述的数据采集卡，其特征在于：所述用户识别模块包括：

数据读取单元，用于读取数据采集模块中的目标数据；

数据传输单元，用于将读取到的目标数据转发到电信网络的通信终端。

11.根据权利要求10所述的数据采集卡，其特征在于，所述数据传输单元还传输数据采集卡和数据采集服务器之间的安全认证数据；

所述数据采集模块包括：安全认证单元，用于根据所述的安全认证数据与数据采集服务器进行安全认证。

12.根据权利要求11所述的数据采集卡，其特征在于，所述数据传输单元还传输数据采集服务器发出的数据清空指令；

所述数据采集模块还包括数据删除单元，连接到数据传输单元和安全认证单元，用于接收安全认证单元的安全认证结果，并在安全认证成功后，根据数据清空指令删除目标数据。

13.一种数据采集系统，包括数据采集器，数据采集卡和数据采集服务器，所述数据采集器将目标数据传输给数据采集卡；其特征在于还包括电信网络的通信终端；

所述数据采集卡上设置有用户识别模块；

所述数据采集卡通过用户识别模块将目标数据传输到通信终端；

所述通信终端将目标数据通过电信网络发送到数据采集服务器。

14.根据权利要求13所述的数据采集系统，其特征在于，所述电信网络为GSM网络、CDMA网络或者GPRS网络；所述通信终端为手机或个人数字助理；所述通信终端以短信方式将目标数据发送到数据采集服务器。

Images