CN108256340A - 数据采集方法、装置、终端设备及存储介质 - Google Patents

数据采集方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN108256340A
CN108256340A CN201711399174.XA CN201711399174A CN108256340A CN 108256340 A CN108256340 A CN 108256340A CN 201711399174 A CN201711399174 A CN 201711399174A CN 108256340 A CN108256340 A CN 108256340A
Authority
CN
China
Prior art keywords
data
database
subtask
acquisition
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711399174.XA
Other languages
English (en)
Other versions
CN108256340B (zh
Inventor
杨宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN201711399174.XA priority Critical patent/CN108256340B/zh
Publication of CN108256340A publication Critical patent/CN108256340A/zh
Application granted granted Critical
Publication of CN108256340B publication Critical patent/CN108256340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Storage Device Security (AREA)

Abstract

本发明适用于计算机技术领域，提供了一种数据采集方法、装置、设备及存储介质。所述方法包括：获取用户的注册信息，其中，注册信息包括注册账号和密码；根据预设的加密密钥对密码进行加密，得到加密密码；接收用户的数据采集需求，其中，数据采集需求包括待采集数据和采集时间；根据待采集数据，确定采集任务以及待连接的目标数据库；在到达采集时间时，使用预先授权的解密工具对加密密码进行解密；使用注册账号和解密后的密码连接目标数据库；若目标数据库连接成功，则执行采集任务，得到采集到的目标数据。本发明的技术方案有效降低明文密码的泄露风险，并且避免非法用户对加密密码进行解密，提高了数据的安全性。

Description

数据采集方法、装置、终端设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据采集方法、装置、终端设备及存储介质。
背景技术
在数据采集系统中，传统的方法是通过创建结构化查询语言(Structured QueryLanguage，sql)文件实现对业务数据的采集，在sql文件中包含与数据库建立连接的过程，在调用连接数据库的过程时，需要传入用户名和密码等参数，而调用sql文件是使用与数据库进行交互的客户端工具(Structured Query Language Plus，sqlplus)登陆的方式，该登陆方式必须为数据库连接方式，即使用明文用户名密码及连接串来连接。由于该密码采用了明文方式，在执行sql文件时，可以通过进程查询的方式了解sql文件的执行情况，所以在查询进程的相关信息时很容易获取到密码参数的取值，容易导致密码被非法窃取，导致数据安全性不高。
发明内容
本发明实施例提供一种数据采集方法、装置、终端设备及存储介质，以解决现有的数据采集过程中数据安全性不高的问题。
第一方面，本发明实施例提供一种数据采集方法，包括：
获取用户的注册信息，其中，所述注册信息包括注册账号和密码；
根据预设的加密密钥对所述密码进行加密，得到加密密码；
接收所述用户的数据采集需求，其中，所述数据采集需求包括待采集数据和采集时间；
根据所述待采集数据，确定采集任务以及待连接的目标数据库；
在到达所述采集时间时，使用预先授权的解密工具对所述加密密码进行解密；
使用所述注册账号和解密后的密码连接所述目标数据库；
若所述目标数据库连接成功，则执行所述采集任务，得到采集到的目标数据。
第二方面，本发明实施例提供一种数据采集装置，包括：
信息获取模块，用于获取用户的注册信息，其中，所述注册信息包括注册账号和密码；
密码加密模块，用于根据预设的加密密钥对所述密码进行加密，得到加密密码；
需求定制模块，用于接收所述用户的数据采集需求，其中，所述数据采集需求包括待采集数据和采集时间；
任务确定模块，用于根据所述待采集数据，确定采集任务以及待连接的目标数据库；
密码解密模块，用于在到达所述采集时间时，使用预先授权的解密工具对所述加密密码进行解密；
数据库连接模块，用于使用所述注册账号和解密后的密码连接所述目标数据库；
数据采集模块，用于若所述目标数据库连接成功，则执行所述采集任务，得到采集到的目标数据。
第三方面，本发明实施例提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述数据采集方法的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述数据采集方法的步骤。
本发明实施例与现有技术相比具有如下优点：本发明实施例提供的一种数据采集方法、装置、终端设备及存储介质中，通过预设的加密密钥对用户注册的密码进行加密，得到加密密码，在进行数据采集时，先使用预先授权的解密工具对加密密码进行解密，然后使用注册账号和解密后的密码连接待采集数据所在的目标数据库，进行数据采集，使得在数据采集过程中不直接使用明文密码连接目标数据库，并且加密密码只能通过预先授权的解密工具进行解密，从而有效降低明文密码的泄露风险，避免非法用户对加密密码进行解密，提高了数据的安全性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例1提供的数据采集方法的流程图；
图2是本发明实施例1提供的数据采集方法中步骤S3的实现流程图；
图3是本发明实施例1提供的数据采集方法中步骤S4的实现流程图；
图4是本发明实施例1提供的数据采集方法中步骤S7的实现流程图；
图5是本发明实施例1提供的数据采集方法中将采集到的目标数据发送给用户的实现流程图；
图6是本发明实施例2提供的数据采集装置的示意图；
图7是本发明实施例4提供的终端设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图1，图1示出了本发明实施例提供的数据采集方法的实现流程。该数据采集方法应用在各个企事业单位的数据采集系统中，用于避免在数据采集时密码被非法窃取，提高数据的安全性。如图1所示，该数据采集方法包括步骤S1至步骤S7，详述如下：
S1：获取用户的注册信息，其中，该注册信息包括注册账号和密码。
在本发明实施例中，注册信息具体可以是企事业单位下发的员工账号中包含的信息，或者由数据采集系统管理员审核通过的个人申请注册账号时填写的信息。
注册信息包括注册账号和密码，用户使用注册账号和密码登录数据采集系统，以及访问数据采集系统中的数据库。
S2：根据预设的加密密钥对密码进行加密，得到加密密码。
在本发明实施例中，加密密钥用于对用户注册信息中的密码进行加密。具体地，加密密钥可以与用户的注册账号唯一对应，即不同的用户其对应的加密密钥互不相同，例如，根据随机序列生成加密密钥，随机序列具有唯一性，其可以根据用户的注册账号或者注册时间等用户属性自动生成，或者由用户根据需要进行定制，使得根据该随机序列生成的加密密钥具有唯一性。
需要说明的是，在本发明实施例中，使用加密密钥对密码进行加密的具体加密方式可以使用对称加密算法进行加密，或者使用非对称加密算法进行加密，例如椭圆曲线算法(Elliptic Curves Cryptography，ECC)、国际数据加密标准算法(International DataEncryption Algorithm，IDEA)，以及数据加密标准算法(Data Encryption Standard，DES)等，具体可以根据应用的需要进行设置，此处不做限制。
下面以DES算法举例说明对密码进行加密的过程：
DES算法是一种分组对称加密算法，将明文密码分成T个组，然后对各个组进行加密，形成各自的密文，最后把所有的分组密文进行合并，形成最终的密文，即加密密码。其中，T为正整数。
首先根据用户注册名，注册时间和加密时间生成一个64比特(bit)位的加密密钥K0，使得每个用户的密钥具有唯一性，不易被破解，从而增加密码的安全性。
使用预设的子密钥算法对64bit位的加密密钥K0进行运算，得到16个子密钥Ki，其中，i＝1，2，…，16。将需要加密的明文密码按64bit位为一组进行分组，得到T组子密码。
具体地，每组子密码使用预设的初始置换函数运算，将该组子密码的64bit位数据进行重新排列，得到重新排列后的64bit位子密码p1p2p3p4...p62p63p64，并将该重新排列后的64bit位子密码的左边32bit位p1...p32标记为L0，将该重新排列后的64bit位子密码的右边32bit位p33...p64标记为R0。
每组重新排列后的子密码均需要使用加密密钥Ki进行16轮的加密迭代处理，每轮加密迭代使用加密函数F进行运算。
具体地，使用如下公式对每组重新排列后的64bit位子密码
p1p2p3p4...p62p63p64进行加密：
Lj＝Rj-1
其中，j＝1,2,...,16，Lj为第j轮加密迭代后左边32bit位，Rj为第j轮加密迭代后右边32bit位，F为加密函数，为异或运算符号。
经过16轮加密迭代处理之后，得到加密后的64bit位数据L16R16，将该64bit位数据的左边32bit位数据和右边32bit位数据进行位置置换，得到R16L16，再使用预设的逆初始置换函数对R16L16进行运算，得到该组子密码对应的64bit位的子加密密码。其中，逆初始置换函数是初始置换函数的反函数。
将T组子密码经过上述加密过程得到的子加密密码进行合并，形成最终的密文，该密文即为明文密码对应的加密密码。
S3：接收用户的数据采集需求，其中，该数据采集需求包括待采集数据和采集时间。
具体地，用户根据自身业务需求确定待采集的数据，并设置需要进行数据采集的采集时间，例如，采集时间可以预设为每天0时，待采集数据为前一天的销售总额、成本总额和利润总额等销售数据，具体可以根据应用的需要进行设置。
S4：根据待采集数据，确定采集任务以及待连接的目标数据库。
在本发明实施例中，采集任务用于获取待采集数据，采集任务可以是一个任务，也可以是由多个子任务组成，具体可以根据待采集数据和应用的需要进行选择。目标数据库为采集任务所需连接的数据库。
数据采集系统接收到用户的数据采集需求，对待采集数据进行分析，确定待采集数据所在的数据表，根据数据表之间的关联关系，确定采集任务，并将数据表所在的数据库确定为待连接的目标数据库。
S5：在到达采集时间时，使用预先授权的解密工具对加密密码进行解密。
具体地，解密工具用于对加密密码进行解密，解密工具的开发者将解密算法封装在该解密工具中，并通过授权的方式提供给解密工具的使用者使用，使用者具有管理和使用该解密工具的权限。通过开发者授权使用解密工具的方式，使得没有得到授权的使用者无法使用该解密工具进行解密，从而避免非法用户对加密密码进行解密，提高密码的安全性。
在本发明实施例中，若在步骤S2中使用DES加密算法对密码进行加密，则解密工具使用对应的DES解密算法对加密密码进行解密。DES解密算法中的解密密钥与DES加密算法中的加密密钥相同，其解密过程为加密过程的逆运算，以步骤S2中具体的DES加密算法为例，在对应的解密过程中，各轮的解密密钥为K16K15…K0，解密时从L16到L0和R16到R0进行运算变换，从而得到解密后的密码。
S6：使用注册账号和解密后的密码连接目标数据库。
在本发明实施例中，在进行数据采集时，需要先与目标数据库建立连接关系，连接成功后，才能进行数据采集。
具体地，使用注册账号、解密后的密码和目标数据库的连接串信息作为sqlplus命令的传入参数，执行该sqlplus命令建立目标数据库。使用sqlplus命令连接目标数据库的操作具体可以通过Shell脚本的方式实现。
需要说明的是，由于Shell脚本执行完成后其对应的Session会话自动结束，而Shell脚本执行过程中的变量和参数在Session会话结束后即被释放，因此，解密后的明文密码的生命周期只存在于Shell脚本执行时的Session会话中，从而能够有效降低连接目标数据库的注册账号、解密后的密码和目标数据库的连接串信息的泄露风险。
S7：若目标数据库连接成功，则执行采集任务，得到采集到的目标数据。
在本发明实施例中，若目标数据库连接成功，则执行步骤S4确定的采集任务，从目标数据库中获取结果数据，将所有采集到的结果数据进行汇总，得到采集到的目标数据。
具体地，采集任务以Shell脚本文件的形式存在，Shell脚本文件可执行可编辑，并可作为独立的可执行文件，当该可执行文件执行失败时，用户通过该可执行文件的标识信息能够及时查找到对应的可执行文件进行检查和修改，从而能够有效提高维护效率。
在图1对应的实施例中，通过预设的加密密钥对用户注册的密码进行加密，得到加密密码，再使用预先授权的解密工具对加密密码进行解密，然后使用注册账号和解密后的密码连接目标数据库，进行数据采集，使得在数据采集过程中不直接使用明文密码连接数据库，并且解密后的明文密码的生命周期仅存在于Shell脚本对应的Session会话内，从而有效降低明文密码的泄露风险，提高数据的安全性，同时，通过开发者授权使用解密工具的方式，确保只有在得到授权的情况下才能够使用解密工具对加密密码进行解密，从而避免非法用户对加密密码进行解密，在提高密码的安全性的同时也进一步确保了数据的安全性。
接下来，在图1对应的实施例的基础之上，下面通过一个具体的实施例对步骤S3中提及的接收用户的数据采集需求的具体实现方法进行详细说明。
请参阅图2，图2示出了本发明实施例提供的步骤S3的具体实现流程，详述如下：
S31：根据注册账号确定用户的机构层级。
在本发明实施例中，数据采集系统的数据库中预先存储有员工与归属机构之间的归属关系表、公司不同机构层级的数据权限映射表等。在归属关系表中定义员工与归属机构之间的对应关系，在数据权限映射表中为公司每个机构层级设置对应的数据采集权限，每层机构拥有其对应的可查询数据范围，同一层级的机构其数据采集权限相同。
具体地，根据归属关系表和数据权限映射表，使用大数据处理工具Hive进行加工，得到用户数据权限表，该用户数据权限表包含用户标识信息，用户所属的机构层级及其对应的数据采集权限。由于数据采集系统的数据库中的基础数据量庞大，使用大数据处理工具Hive进行数据加工，能够有效提高数据处理的效率。
数据采集系统根据用户的注册账号确定其对应的用户标识信息，使用该用户标识信息在用户数据权限表中查询该用户所属的机构层级，以及该机构层级赋予该用户对应的数据采集权限，使得用户只能获取到权限范围内的数据，从而有效提高数据的安全性。
例如，总公司下属有北京分公司和深圳分公司，归属于北京分公司层级的员工只具有北京分公司数据采集权限，即只能采集北京分公司的报表数据，归属于深圳分公司层级的员工只具有深圳分公司数据采集权限，即只能采集深圳分公司的报表数据，而归属于总公司层级的员工具有总公司数据采集权限，即可以同时采集到北京分公司和深圳分公司的报表数据。
S32：在交互界面输出机构层级对应的可选数据清单。
具体地，数据采集系统在步骤S31中根据用户的注册账号确定其所属的机构层级以及对应的数据采集权限后，按照该数据采集权限在客户端的交互界面输出该机构层级对应的可选数据清单。
可选数据清单包括了满足该用户数据采集权限的全部数据，用户可根据该可选数据清单选择所需采集的数据。例如，可选数据清单包括人员日出勤统计、工业安全事故统计、计划达成率统计，以及生产效率统计等，用户可根据实际业务的需要进行选择。
S33：获取用户从可选数据清单中选择的待采集数据，以及用户在交互界面设置的采集时间。
具体地，用户在客户端的交互界面上显示的可选数据清单中点选需要的待采集数据，并且通过交互界面可以设置具体的采集时间后，客户端将包含待采集数据和采集时间的数据采集需求发送到数据采集系统，数据采集系统根据该数据采集需求获取待采集数据和采集时间。
在图2对应的实施例中，预先通过Hive加工确定用户归属的机构层级和数据采集权限，对不同机构层级的用户划分不同的数据采集权限，使得每个用户只能获取到其数据采集权限范围内的数据，从而提高数据的安全性。并且，用户通过客户端的交互界面对可选数据清单和采集时间能够根据业务需要进行定制，提升了数据采集的灵活性和定制能力。
在以上实施例的基础之上，下面通过一个具体的实施例对步骤S4中提及的根据待采集数据，确定采集任务以及待连接的目标数据库的具体实现方法进行详细说明。
在本发明实施例中，采集任务包括M个子任务，其中，M为正整数。
请参阅图3，图3示出了本发明实施例提供的步骤S4的具体实现流程，详述如下：
S41：在预设的结果数据库中查询是否存在M个子任务中的子任务，其中，预设的结果数据库保存已经执行完成的子任务，以及该子任务的采集结果数据。
具体地，数据采集系统根据步骤S3接收到的用户选择的待采集数据，确定采集任务，该采集任务包括M个子任务，每个子任务对应一个具体的数据采集需求。对已经执行完成的子任务，该子任务及其采集结果数据将被保存在结果数据库中。其中，M为大于或等于1的正整数。例如，若用户需要获取S部门的所有员工的员工编号，则该采集任务只包括了1个子任务，即获取S部门的所有员工的员工编号；若用户需要获取S部门的所有员工的出勤统计，则该采集任务包括了获取S部门的所有员工的员工编号、S部门所有员工的签到时间和S部门所有员工的签退时间3个子任务。
数据采集系统在根据采集任务采集数据时，首先在结果数据库中进行遍历，查找是否存在该采集任务中的子任务，若存在，则从结果数据库中获取该子任务的采集结果数据，从而避免重复采集，节省时间。
例如，采集任务A为获取S部门的所有员工的员工编号，包括子任务A1，A1为获取S部门的所有员工的员工编号；采集任务B为获取S部门的所有员工的出勤统计，包括子任务B1、子任务B2和子任务B3，B1为获取S部门的所有员工的员工编号，B2为获取S部门所有员工的签到时间，B3为获取S部门所有员工的签退时间，其中子任务A1和子任务B1的采集需求相同，都是获取S部门的所有员工的员工编号。若数据采集系统已经完成了采集任务A，则子任务A1以及A1的采集结果数据被保存在结果数据库中，在执行采集任务B时，首先在结果数据库中查询到子任务A1存在，则直接提取A1的采集结果数据，从而避免对子任务B1的重复执行，有效提高采集效率。
S42：若在结果数据库中存在M个子任务中的K个子任务，则获取该K个子任务的采集结果数据，并确定采集任务为剩余的M-K个子任务，以及待连接的目标数据库为M-K个子任务对应的待连接的目标数据库，其中，K为小于等于M的正整数。
具体地，若在结果数据库中，经过遍历查找到M个子任务中的K的子任务，则从结果数据库中直接获取该K个子任务的采集结果数据，同时，确定采集任务为剩余的M-K个子任务，以及待连接的目标数据库为M-K个子任务对应的待连接的目标数据库。
例如，若在步骤S41中，采集任务B存在子任务B1、子任务B2和子任务B3，即M＝3，若其中的子任务B1在结果数据库中已经存在，则在结果数据库中直接获取该子任务的采集结果数据，即K＝1，同时，确定采集任务B为剩余的子任务B1和子任务B2，以及待连接的目标数据库为子任务B1和子任务B2对应的待连接的目标数据库。
S43：若在结果数据库中不存在M个子任务，则确定采集任务为M个子任务，以及待连接的目标数据库为M个子任务对应的待连接的目标数据库。
具体地，若在结果数据库中没有查询到M个子任务中的任一个，则确定采集任务为M个子任务，以及待连接的目标数据库为M个子任务对应的待连接的目标数据库。
在图3对应的实施例中，通过将已经完成的子任务及其采集结果数据保存在结果数据库中，在确定采集任务时，对该采集任务包含的每个子任务，首先从结果数据库中查询是否存在，若存在则直接从结果数据库中获取该子任务的采集结果数据，从而避免相同数据的重复采集，节省了时间，有效提高数据采集效率。
在图3对应的实施例的基础之上，下面通过一个具体的实施例对步骤S7中提及的若目标数据库连接成功，则执行采集任务，得到采集到的目标数据的具体实现方法进行详细说明。
在本发明实施例中，目标数据库包括N个数据库，其中，N为正整数。
请参阅图4，图4示出了本发明实施例提供的步骤S7的具体实现流程，详述如下：
S71：若N个数据库中存在成功建立连接的数据库，则执行该数据库对应的子任务，并将该数据库的连接状态设置为连接成功。
在本发明实施例中，根据步骤S4确定的目标数据库包括N个数据库，N为正整数。在步骤S6对N个数据库发起连接请求后，遍历判断每个数据库是否成功建立连接，若该N个数据库中存在成功建立连接的数据库，则执行该数据库对应的子任务，该子任务从该数据库采集数据。
同时，N个数据库中的每个数据库均对应一个连接状态，该连接状态用于标识其对应的数据库是否连接成功，当与数据库成功建立连接时，该数据库的连接状态被设置为连接成功。
需要说明的是，在该数据库对应的子任务执行完成后，该子任务及其采集结果数据被保存到结果数据库中。
S72：对N个数据库中连接失败的数据库，每隔预定的时间向该数据库重新发起连接请求，直到达到预设的最大请求次数或者成功建立连接为止。
具体地，在步骤S6对N个数据库发起连接请求后，若遍历判断每个数据库是否成功建立连接时，存在没有成功建立连接的数据库，则对连接失败的数据库，每隔预定的时间向该数据库重新发出连接请求，直到达到最大请求次数或者成功建立连接为止。
若成功建立连接，则执行该数据库对应的子任务，从该数据库中采集数据，并将该数据库的连接状态设置为连接成功，同时，在该子任务执行完成后将该子任务及其采集结果数据保存到结果数据库中。
若达到最大请求次数时仍然无法成功建立连接，则停止执行该数据库对应的子任务。
需要说明的是，预设的最大请求次数可以根据应用的需要进行设置，此处不做限制。
S73：若N个数据库的连接状态均为连接成功，则根据子任务的数据采集结果，得到目标数据。
具体地，在遍历判断每个数据库是否成功建立连接时，若N个数据库的连接状态均为连接成功，则根据每个子任务的数据采集结果，将每个子任务采集到的结果数据进行汇总，得到目标数据。
S74：若达到最大请求次数，则确认采集任务执行失败，并输出连接失败的信息。
具体地，若向连接失败的数据库重新发起连接清请求的次数达到预设的最大请求次数，并且仍然连接失败，则数据采集系统确认采集任务执行失败，停止对目标数据库的连接请求，并输出连接失败的信息。
连接失败的信息包括但不限于连接失败的原因、连接失败的数据库的标识信息或者连接失败的数据库对应的子任务的标识信息等。
通过输出连接失败的信息，使得运维人员在采集任务执行失败后能够及时掌握出错原因，并根据连接失败的数据库的标识信息或者连接失败的数据库对应的子任务的标识信息，准确定位出现异常的数据库或子任务，从而快速排查和解决问题，提高数据采集系统的维护效率。
在图4对应的实施例中，在对目标数据库发起连接请求后，遍历判断每个数据库是否成功建立连接，当全部数据库的连接状态均为连接成功时，根据子任务的数据采集结果，得到目标数据，从而避免了由于数据库连接异常导致最终采集到的目标数据不完整或者采集到错误数据的情况，有效提高数据采集的准确率。同时，若向连接失败的数据库重新发起连接清请求的次数达到预设的最大请求次数，并且仍然连接失败，则直接确认采集任务执行失败，并输出连接失败的信息，使得运维人员能够根据连接失败的信息快速定位和解决问题，提高数据采集系统的维护效率。
在图1对应的实施例的基础之上，在步骤S7提及的若目标数据库连接成功，则执行采集任务，得到采集到的目标数据之后，还可以将采集到的目标数据发送给用户，如图5所示，该数据采集方法还包括：
S81：按照预设的模板对目标数据进行整理，得到目标文件。
在本发明实施例中，若根据步骤S7执行得到了目标数据，则按照预设的模板进行处理，该预设的模板可以是数据采集系统默认的模板、用户自定义的模板或者用户从数据采集系统的模板库中选择的模板，模板的表现形式包括折线图、对比图、圆饼图、柱形图或表格等，其具体可以根据应用的需要进行设置，此处不做限制。
具体地，将目标数据按照预设的模板模板进行整理，形成目标文件，该目标文件包括但不限于便携式文档格式(Portable Document Format，pdf)、文档格式(Document，doc)或者电子表格格式(Microsoft Excel，xls)等。
S82：根据注册信息获取用户的接收地址信息。
具体地，用户的注册信息包括用户的接收地址信息，数据采集系统根据用户的注册账号确定其对应的注册信息，从而获取到该用户的接收地址信息。具体的用户的接收地址信息可以是邮箱地址，或者文件存放目录等，此处不做限制。
S83：按照接收地址信息将目标文件发送给用户。
具体地，数据采集系统按照步骤S82获取到的接收地址信息将目标文件发送给用户。
需要说明的是，发送目标文件的网络传输协议具体可以是超文本传输协议(HyperText Transfer Protocol，HTTP)、文件传输协议(File Transfer Protocol，FTP)或简单邮件传输协议(Simple Mail Transfer Protocol，SMTP)等方式。
在图5对应的实施例中，通过将目标数据按照预设的模板进行整理形成目标文件，获取用户设置的接收地址信息，并按照该接收地址信息进行自动发送，提高了数据采集系统的定制能力和数据处理效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
实施例2
对应于实施例1中的数据采集方法，图6示出了与实施例1提供的数据采集方法一一对应的数据采集装置，为了便于说明，仅示出了与本发明实施例相关的部分。
如图6所示，该数据采集装置包括信息获取模块60、密码加密模块61、需求定制模块62、任务确定模块63、密码解密模块64、数据库连接模块65和数据采集模块66。其中，信息获取模块60、密码加密模块61、需求定制模块62、任务确定模块63、密码解密模块64、数据库连接模块65和数据采集模块66。各功能模块详细说明如下：
信息获取模块60，用于获取用户的注册信息，其中，注册信息包括注册账号和密码；
密码加密模块61，用于根据预设的加密密钥对密码进行加密，得到加密密码；
需求定制模块62，用于接收用户的数据采集需求，其中，数据采集需求包括待采集数据和采集时间；
任务确定模块63，用于根据待采集数据，确定采集任务以及待连接的目标数据库；
密码解密模块64，用于在到达采集时间时，使用预先授权的解密工具对加密密码进行解密；
数据库连接模块65，用于使用注册账号和解密后的密码连接目标数据库；
数据采集模块66，用于若目标数据库连接成功，则执行采集任务，得到采集到的目标数据。
进一步地，需求定制模块62包括：
预设权限单元620，用于根据注册账号确定用户的机构层级；
获取权限单元621，用于在交互界面输出机构层级对应的可选数据清单；
定制任务单元622，用于获取用户从可选数据清单中选择的待采集数据，以及用户在交互界面设置的采集时间。
进一步地，采集任务包括M个子任务，其中，M为正整数，任务确定模块63包括：
数据查询单元630，用于在预设的结果数据库中查询是否存在M个子任务中的子任务，其中，结果数据库保存已经执行完成的子任务，以及该子任务的采集结果数据；
第一任务单元631，用于若在结果数据库中存在M个子任务中的K个子任务，则获取该K个子任务的采集结果数据，并确定采集任务为剩余的M-K个子任务，以及待连接的目标数据库为M-K个子任务对应的待连接的目标数据库，其中，K为小于等于M的正整数；
第二任务单元632，用于若在结果数据库中不存在M个子任务，则确定采集任务为M个子任务，以及待连接的目标数据库为M个子任务对应的待连接的目标数据库。
进一步地，目标数据库包括N个数据库，其中，N为正整数，数据采集模块66包括：
第一连接单元660，用于若N个数据库中存在成功建立连接的数据库，则执行该数据库对应的子任务，并将该数据库的连接状态设置为连接成功；
第二连接单元661，用于对N个数据库中连接失败的数据库，每隔预定的时间向该数据库重新发起连接请求，直到达到预设的最大请求次数或者成功建立连接为止；
第一输出单元662，用于若N个数据库的连接状态均为连接成功，则根据子任务的数据采集结果，得到目标数据；
第二输出单元663，用于若达到最大请求次数，则确认采集任务执行失败，并输出连接失败的信息。
进一步地，该数据采集装置还包括：
数据处理模块67，用于按照预设的模板对目标数据进行整理，得到目标文件；
地址获取模块68，用于根据注册信息获取用户的接收地址信息；
数据发送模块69，用于按照接收地址信息将目标文件发送给用户。
本实施例提供的一种数据采集装置中各模块/单元实现各自功能的过程，具体可参考前述实施例1的描述，此处不再赘述。
实施例3
本实施例提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现实施例1中的数据采集方法，或者，该计算机程序被处理器执行时实现实施例2中数据采集装置中各模块/单元的功能，为避免重复，这里不再赘述。
实施例4
图7是本发明一实施例提供的终端设备的示意图。如图7所示，该实施例的终端设备7包括：处理器70、存储器71以及存储在存储器71中并可在处理器70上运行的计算机程序72。处理器71执行计算机程序72时实现上述各个数据采集方法实施例中的步骤，例如图1所示的步骤S1至步骤S7。或者，处理器70执行计算机程序72时实现上述各装置实施例中各模块/单元的功能，例如图6所示模块60至66的功能。
示例性的，计算机程序72可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器71中，并由处理器70执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序72在终端设备7中的执行过程。例如，计算机程序72可以被分割成信息获取模块、密码加密模块、需求定制模块、任务确定模块、密码解密模块、数据库连接模块和数据采集模块，各模块具体功能如下：
信息获取模块，用于获取用户的注册信息，其中，注册信息包括注册账号和密码；
密码加密模块，用于根据预设的加密密钥对密码进行加密，得到加密密码；
需求定制模块，用于接收用户的数据采集需求，其中，数据采集需求包括待采集数据和采集时间；
任务确定模块，用于根据待采集数据，确定采集任务以及待连接的目标数据库；
密码解密模块，用于在到达采集时间时，使用预先授权的解密工具对加密密码进行解密；
数据库连接模块，用于使用注册账号和解密后的密码连接目标数据库；
数据采集模块，用于若目标数据库连接成功，则执行采集任务，得到采集到的目标数据。
进一步地，需求定制模块包括：
预设权限单元，用于根据注册账号确定用户的机构层级；
获取权限单元，用于在交互界面输出机构层级对应的可选数据清单；
定制任务单元，用于获取用户从可选数据清单中选择的待采集数据，以及用户在交互界面设置的采集时间。
进一步地，采集任务包括M个子任务，其中，M为正整数，任务确定模块包括：
数据查询单元，用于在预设的结果数据库中查询是否存在M个子任务中的子任务，其中，结果数据库保存已经执行完成的子任务，以及该子任务的采集结果数据；
第一任务单元，用于若在结果数据库中存在M个子任务中的K个子任务，则获取该K个子任务的采集结果数据，并确定采集任务为剩余的M-K个子任务，以及待连接的目标数据库为M-K个子任务对应的待连接的目标数据库，其中，K为小于等于M的正整数；
第二任务单元，用于若在结果数据库中不存在M个子任务，则确定采集任务为M个子任务，以及待连接的目标数据库为M个子任务对应的待连接的目标数据库。
进一步地，目标数据库包括N个数据库，其中，N为正整数，数据采集模块包括：
第一连接单元，用于若N个数据库中存在成功建立连接的数据库，则执行该数据库对应的子任务，并将该数据库的连接状态设置为连接成功；
第二连接单元，用于对N个数据库中连接失败的数据库，每隔预定的时间向该数据库重新发起连接请求，直到达到预设的最大请求次数或者成功建立连接为止；
第一输出单元，用于若N个数据库的连接状态均为连接成功，则根据子任务的数据采集结果，得到目标数据；
第二输出单元，用于若达到最大请求次数，则确认采集任务执行失败，并输出连接失败的信息。
可选地，计算机程序72还可以被分割成：
数据处理模块，用于按照预设的模板对目标数据进行整理，得到目标文件；
地址获取模块，用于根据注册信息获取用户的接收地址信息；
数据发送模块，用于按照接收地址信息将目标文件发送给用户。
终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的示例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备7还可以包括输入输出设备、网络接入设备、总线等。
处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器71可以是终端设备7的内部存储单元，例如终端设备7的硬盘或内存。存储器71也可以是终端设备7的外部存储设备，例如终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器71还可以既包括终端设备7的内部存储单元也包括外部存储设备。存储器71用于存储计算机程序以及终端设备所需的其他程序和数据。存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据采集方法，其特征在于，所述数据采集方法包括：
获取用户的注册信息，其中，所述注册信息包括注册账号和密码；
根据预设的加密密钥对所述密码进行加密，得到加密密码；
接收所述用户的数据采集需求，其中，所述数据采集需求包括待采集数据和采集时间；
根据所述待采集数据，确定采集任务以及待连接的目标数据库；
在到达所述采集时间时，使用预先授权的解密工具对所述加密密码进行解密；
使用所述注册账号和解密后的密码连接所述目标数据库；
若所述目标数据库连接成功，则执行所述采集任务，得到采集到的目标数据。
2.如权利要求1所述的数据采集方法，其特征在于，所述接收所述用户的数据采集需求包括：
根据所述注册账号确定所述用户的机构层级；
在交互界面输出所述机构层级对应的可选数据清单；
获取所述用户从所述可选数据清单中选择的所述待采集数据，以及所述用户在所述交互界面设置的所述采集时间。
3.如权利要求1或2所述的数据采集方法，其特征在于，所述采集任务包括M个子任务，其中，所述M为正整数，所述根据所述待采集数据，确定采集任务以及待连接的目标数据库包括：
在预设的结果数据库中查询是否存在所述M个子任务中的子任务，其中，所述结果数据库保存已经执行完成的子任务，以及该子任务的采集结果数据；
若在所述结果数据库中存在所述M个子任务中的K个子任务，则获取该K个子任务的采集结果数据，并确定采集任务为剩余的M-K个子任务，以及所述待连接的目标数据库为所述M-K个子任务对应的待连接的目标数据库，其中，所述K为小于等于M的正整数；
若在所述结果数据库中不存在所述M个子任务，则确定采集任务为M个子任务，以及所述待连接的目标数据库为所述M个子任务对应的待连接的目标数据库。
4.如权利要求3所述的数据采集方法，其特征在于，所述目标数据库包括N个数据库，其中，所述N为正整数，所述若所述目标数据库连接成功，则执行所述采集任务，得到采集到的目标数据包括：
若所述N个数据库中存在成功建立连接的数据库，则执行该数据库对应的子任务，并将该数据库的连接状态设置为连接成功；
对所述N个数据库中连接失败的数据库，每隔预定的时间向该数据库重新发起连接请求，直到达到预设的最大请求次数或者成功建立连接为止；
若所述N个数据库的连接状态均为连接成功，则根据所述子任务的数据采集结果，得到所述目标数据；
若达到所述最大请求次数，则确认采集任务执行失败，并输出连接失败的信息。
5.如权利要求1所述的数据采集方法，其特征在于，所述若所述目标数据库连接成功，则执行所述采集任务，得到采集到的目标数据之后，所述数据采集方法还包括：
按照预设的模板对所述目标数据进行整理，得到目标文件；
根据所述注册信息获取所述用户的接收地址信息；
按照所述接收地址信息将所述目标文件发送给所述用户。
6.一种数据采集装置，其特征在于，所述数据采集装置包括：
信息获取模块，用于获取用户的注册信息，其中，所述注册信息包括注册账号和密码；
密码加密模块，用于根据预设的加密密钥对所述密码进行加密，得到加密密码；
需求定制模块，用于接收所述用户的数据采集需求，其中，所述数据采集需求包括待采集数据和采集时间；
任务确定模块，用于根据所述待采集数据，确定采集任务以及待连接的目标数据库；
密码解密模块，用于在到达所述采集时间时，使用预先授权的解密工具对所述加密密码进行解密；
数据库连接模块，用于使用所述注册账号和解密后的密码连接所述目标数据库；
数据采集模块，用于若所述目标数据库连接成功，则执行所述采集任务，得到采集到的目标数据。
7.如权利要求6所述的数据采集装置，其特征在于，所述需求定制模块包括：
预设权限单元，用于根据所述注册账号确定所述用户的机构层级；
获取权限单元，用于在交互界面输出所述机构层级对应的可选数据清单；
定制任务单元，用于获取所述用户从所述可选数据清单中选择的所述待采集数据，以及所述用户在所述交互界面设置的所述采集时间；
所述采集任务包括M个子任务，其中，所述M为正整数，所述任务确定模块包括：
数据查询单元，用于在预设的结果数据库中查询是否存在所述M个子任务中的子任务，其中，所述结果数据库保存已经执行完成的子任务，以及该子任务的采集结果数据；
第一任务单元，用于若在所述结果数据库中存在所述M个子任务中的K个子任务，则获取该K个子任务的采集结果数据，并确定采集任务为剩余的M-K个子任务，以及所述待连接的目标数据库为所述M-K个子任务对应的待连接的目标数据库，其中，所述K为小于等于M的正整数；
第二任务单元，用于若在所述结果数据库中不存在所述M个子任务，则确定采集任务为M个子任务，以及所述待连接的目标数据库为所述M个子任务对应的待连接的目标数据库；
所述目标数据库包括N个数据库，其中，所述N为正整数，所述数据采集模块包括：
第一连接单元，用于若所述N个数据库中存在成功建立连接的数据库，则执行该数据库对应的子任务，并将该数据库的连接状态设置为连接成功；
第二连接单元，用于对所述N个数据库中连接失败的数据库，每隔预定的时间向该数据库重新发起连接请求，直到达到预设的最大请求次数或者成功建立连接为止；
第一输出单元，用于若所述N个数据库的连接状态均为连接成功，则根据所述子任务的数据采集结果，得到所述目标数据；
第二输出单元，用于若达到所述最大请求次数，则确认采集任务执行失败，并输出连接失败的信息。
8.如权利要求6所述的数据采集装置，其特征在于，所述的数据采集装置还包括：
数据处理模块，用于按照预设的模板对所述目标数据进行整理，得到目标文件；
地址获取模块，用于根据所述注册信息获取所述用户的接收地址信息；
数据发送模块，用于按照所述接收地址信息将所述目标文件发送给所述用户。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述数据采集方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述数据采集方法的步骤。
CN201711399174.XA 2017-12-22 2017-12-22 数据采集方法、装置、终端设备及存储介质 Active CN108256340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711399174.XA CN108256340B (zh) 2017-12-22 2017-12-22 数据采集方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711399174.XA CN108256340B (zh) 2017-12-22 2017-12-22 数据采集方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN108256340A true CN108256340A (zh) 2018-07-06
CN108256340B CN108256340B (zh) 2020-06-12

Family

ID=62723790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711399174.XA Active CN108256340B (zh) 2017-12-22 2017-12-22 数据采集方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN108256340B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109582840A (zh) * 2018-10-17 2019-04-05 广州宏数科技有限公司 基于互联网异地实时采集数据的方法、设备、介质及系统
CN109634929A (zh) * 2018-09-30 2019-04-16 阿里巴巴集团控股有限公司 业务数据的采集方法、装置和服务器
CN110209723A (zh) * 2019-06-06 2019-09-06 广州商学院 一种基于物联网大数据的设备信息采集系统
CN111079165A (zh) * 2019-12-18 2020-04-28 深圳我家云网络科技有限公司 一种数据处理的方法、数据处理装置、设备及存储介质
CN111159744A (zh) * 2019-12-30 2020-05-15 北京每日优鲜电子商务有限公司 数据报表的源用户确定方法、装置、设备及存储介质
CN111221744A (zh) * 2020-04-23 2020-06-02 杭州海康威视数字技术股份有限公司 数据采集方法、装置及电子设备
CN111966996A (zh) * 2019-05-20 2020-11-20 杭州海康威视数字技术股份有限公司 一种数据处理方法及装置
TWI728355B (zh) * 2019-05-10 2021-05-21 慧榮科技股份有限公司 密碼保護的資料儲存裝置以及非揮發式記憶體控制方法
CN112883425A (zh) * 2021-03-26 2021-06-01 重庆度小满优扬科技有限公司 基于区块链的数据处理方法以及区块链节点
CN115865651A (zh) * 2022-11-14 2023-03-28 中国长江三峡集团有限公司 一种数据采集方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038597A (zh) * 2007-04-29 2007-09-19 深圳市高正软件有限公司 一种数据采集装置以及实现采集数据共享的系统
US20140331338A1 (en) * 2012-02-09 2014-11-06 Hitachi, Ltd. Device and method for preventing confidential data leaks
CN104717195A (zh) * 2013-12-17 2015-06-17 中国移动通信集团福建有限公司 业务系统密码管理方法和装置
CN105302785A (zh) * 2015-09-24 2016-02-03 金蝶软件（中国）有限公司 数据收集方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038597A (zh) * 2007-04-29 2007-09-19 深圳市高正软件有限公司 一种数据采集装置以及实现采集数据共享的系统
US20140331338A1 (en) * 2012-02-09 2014-11-06 Hitachi, Ltd. Device and method for preventing confidential data leaks
CN104717195A (zh) * 2013-12-17 2015-06-17 中国移动通信集团福建有限公司 业务系统密码管理方法和装置
CN105302785A (zh) * 2015-09-24 2016-02-03 金蝶软件（中国）有限公司 数据收集方法和系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109634929A (zh) * 2018-09-30 2019-04-16 阿里巴巴集团控股有限公司 业务数据的采集方法、装置和服务器
CN109582840A (zh) * 2018-10-17 2019-04-05 广州宏数科技有限公司 基于互联网异地实时采集数据的方法、设备、介质及系统
CN109582840B (zh) * 2018-10-17 2024-05-10 广州宏数科技有限公司 基于互联网异地实时采集数据的方法、设备、介质及系统
TWI728355B (zh) * 2019-05-10 2021-05-21 慧榮科技股份有限公司 密碼保護的資料儲存裝置以及非揮發式記憶體控制方法
CN111966996A (zh) * 2019-05-20 2020-11-20 杭州海康威视数字技术股份有限公司 一种数据处理方法及装置
CN110209723A (zh) * 2019-06-06 2019-09-06 广州商学院 一种基于物联网大数据的设备信息采集系统
CN111079165A (zh) * 2019-12-18 2020-04-28 深圳我家云网络科技有限公司 一种数据处理的方法、数据处理装置、设备及存储介质
CN111159744A (zh) * 2019-12-30 2020-05-15 北京每日优鲜电子商务有限公司 数据报表的源用户确定方法、装置、设备及存储介质
CN111221744A (zh) * 2020-04-23 2020-06-02 杭州海康威视数字技术股份有限公司 数据采集方法、装置及电子设备
CN112883425A (zh) * 2021-03-26 2021-06-01 重庆度小满优扬科技有限公司 基于区块链的数据处理方法以及区块链节点
CN115865651A (zh) * 2022-11-14 2023-03-28 中国长江三峡集团有限公司 一种数据采集方法、装置、电子设备及存储介质
CN115865651B (zh) * 2022-11-14 2023-08-15 中国长江三峡集团有限公司 一种数据采集方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN108256340B (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN108256340A (zh) 数据采集方法、装置、终端设备及存储介质
Lu Blockchain and the related issues: A review of current research topics
Cha et al. A blockchain connected gateway for BLE-based devices in the internet of things
US10063548B1 (en) System, method, and program product for processing secure transactions within a cloud computing system
JP6995762B2 (ja) ブロックチェーンからのデータのセキュアな抽出のための暗号方法及びシステム
CN105122721B (zh) 用于管理针对加密数据的托管安全计算的方法和系统
CN111027087B (zh) 应用区块链助记词加密的企业信息管理系统及方法
EP4242957A2 (en) Verification of data processes in a network of computing resources
CN111431713B (zh) 一种私钥存储方法、装置和相关设备
CN112183765B (zh) 一种用于共享学习的多源多模态数据预处理方法及系统
CN108537314A (zh) 基于二维码的产品营销系统及方法
CN111062052B (zh) 一种数据查询的方法和系统
CN105635168B (zh) 一种脱机交易装置及其安全密钥的使用方法
US11757625B2 (en) Multi-factor-protected private key distribution
CN109194628A (zh) 制造业人员信息管理方法、系统及电子设备和存储介质
CN110493251A (zh) 一种数据处理方法、装置、电子设备和存储介质
Perwej A pervasive review of Blockchain technology and its potential applications
CN107430557B (zh) 多方加密立方体处理设备、方法和系统
CN104125230A (zh) 一种短信认证服务系统以及认证方法
CN106301791B (zh) 一种基于大数据平台的统一用户认证授权的实现方法及系统
CN108846671B (zh) 基于区块链的在线安全交易方法和系统
Carminati et al. Secure web service composition with untrusted broker
CN107395350A (zh) 密钥及密钥句柄的生成方法、系统及智能密钥安全设备
CN111008236B (zh) 一种数据查询的方法和系统
CN110492997A (zh) 一种基于超级账本的加密系统、方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant