CN109446259B - 数据处理方法及装置、处理机及存储介质 - Google Patents

数据处理方法及装置、处理机及存储介质 Download PDF

Info

Publication number
CN109446259B
CN109446259B CN201811244621.9A CN201811244621A CN109446259B CN 109446259 B CN109446259 B CN 109446259B CN 201811244621 A CN201811244621 A CN 201811244621A CN 109446259 B CN109446259 B CN 109446259B
Authority
CN
China
Prior art keywords
data
user
target
target data
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811244621.9A
Other languages
English (en)
Other versions
CN109446259A (zh
Inventor
高明
李熙南
李俊绅
刘永春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huiliu Technology Co ltd
Original Assignee
Beijing Huiliu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huiliu Technology Co ltd filed Critical Beijing Huiliu Technology Co ltd
Priority to CN201811244621.9A priority Critical patent/CN109446259B/zh
Publication of CN109446259A publication Critical patent/CN109446259A/zh
Application granted granted Critical
Publication of CN109446259B publication Critical patent/CN109446259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开的一种数据处理方法及装置、处理机及存储介质。所述方法包括:以非侵入方式从目标系统读取目标数据;利用区块链存储所述目标数据。

Description

数据处理方法及装置、处理机及存储介质
技术领域
本发明涉及数据技术领域,尤其涉及一种数据处理方法及装置、处理机及存储介质。
背景技术
企业、工厂、协会或慈善团体等等组织为了方便数据管理,都会引入数据管理系统,例如,办公系统、人力资源系统或企业资产管理系统等系统。但是一些企业、工厂、协会或慈善团体等组织成立时间早,使用的数据管理系统的版本也很低,长时间未升级或更换;若持续使用老数据系统,显然效率低、数据管理的安全性和可靠性低;但是更新使用新系统,老系统和新系统的对接难、尤其一些存储在老系统中的数据需要导出到新系统难度非常大。由于老系统自身的封闭性,就更不用说不同企业或工厂之间的数据共享了。
发明内容
有鉴于此,本发明实施例期望提供一种数据处理方法及装置、处理机及存储介质。
本发明的技术方案是这样实现的:
一种数据处理方法,包括:
以非侵入方式从目标系统读取目标数据;
利用区块链存储所述目标数据。
基于上述方案,所述以非侵入方式从目标系统读取目标数据,包括:
确定所述目标系统开放的数据接口;
利用所述目标系统开放的数据接口,从所述目标系统读取目标数据。
基于上述方案,利用所述目标系统开放的数据接口,从所述目标系统读取目标数据,包括以下至少之一:
利用所述目标系统的数据库的开放接口,从所述目标系统中导出所述数据库存储的所述目标数据;
利用所述目标系统授权的账号登陆所述目标系统的用户接口UI界面,在登陆所述UI界面之后从所述目标系统读取目标数据。
基于上述方案,所述以非侵入方式从目标系统读取目标数据,还包括:
采集所述目标系统的显示页面,并利用图像识别技术从采集的页面图像中提取出所述目标数据。
基于上述方案,所述以非侵入方式从目标系统读取目标数据,包括:
基于触发事件,以非侵入方式从所述目标系统读取目标数据。
基于上述方案,所述基于触发事件,以非侵入方式从所述目标系统读取目标数据包括以下至少之一:
按照预设读取频率,以侵入方式从所述目标系统读取所述目标数据;
按照预设时间,以侵入方式从所述目标系统读取所述目标数据;
若检测到所述目标系统的数据发生预定变化时,以侵入方式从所述目标系统读取所述目标数据;
若检测到读取操作指令时,以侵入方式从所述目标系统读取所述目标数据。
基于上述方案,所述利用区块链存储所述目标数据,包括:
基于智能合约将所述目标数据存储到所述区块链。
基于上述方案,所述方法还包括:
根据所述智能合约的数据合约,控制所述区块链对所述目标数据的数据模型;
根据所述智能合约的逻辑合约,控制所述区块链中目标数据的业务逻辑。
基于上述方案,所述方法还包括:
获取持有所述目标数据的第一用户的第一用户标识;
将所述第一用户标识转换为第二用户标识;
所述利用区块链存储所述目标数据,包括:
利用所述区块链对应存储所述第二用户标识及所述目标数据。
基于上述方案,所述方法还包括:
接收第二用户请求读取所述目标数据的读取请求;
基于所述读取请求向所述第一用户发送授权请求;
接收所述第一用户基于所述授权请求返回的授权数据;
若所述授权数据指示允许所述第二用户读取所述目标数据,将所述目标数据发送给所述第二用户。
一种数据处理装置,包括:
读取模块,用于以非侵入方式从目标系统读取目标数据;
存储模块,用于利用区块链存储所述目标数据。
种处理机,包括:
存储器,
处理器,与存储器连接,用于通过执行存储在所述存储器上的计算机可执行指令,能够实现前述任意技术方案提供的数据处理方法。
一种计算机存储介质,所述计算机存储介质存储有计算机可执行指令;所述计算机可执行指令被执行后,能够前述任意技术方案提供的数据处理方法。
本发明实施例提供的技术方案,采用非侵入方式读取目标系统的数据,如此,不用额外开发专门适配目标系统的接口就能够从目标系统读取到数据,减少了因为开发额外的专门接口导致的难度大及效率低现象,具有数据读取难度小及效率高的特点。同时将读取的数据存储在分布式的区块链上,利用区块链存储数据,一方面确保了数据存储的稳定性,若用户需要读取数据时可以从区块链上下载数据,也可以由其他用户共享区块链上的数据,实现数据的共享。
附图说明
图1为本发明实施例提供的一种数据处理方法的流程示意图;
图2为本发明实施例提供的一种数据处理方法的流程示意图;
图3为本发明实施例提供的一种数据处理装置的结构示意图;
图4为本发明实施例提供的一种数据处理系统的架构示意图;
图5为本发明实施例提供的一种用户注册流程示意图;
图6为本发明实施例提供的一种访问区块链的流程示意图;
图7为本发明实施例提供的一种将数据存储到区块链上的流程示意图;
图8为本发明实施例提供的在两个用户之间共享数据的流程示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。
如图1所示,本实施例提供一种数据处理方法,包括:
步骤S110:以非侵入方式从目标系统读取目标数据;
步骤S120:利用区块链存储所述目标数据。
本实施例中提供的数据处理方法可应用于处理机中,例如,可以应用于可实现机器人流程自动化(Robot Process Automation,RPA)技术的处理机中。该处理机可为与目标系统建立有连接的本地物理节点或者云端节点。
所述处理机能够利用所述RPA技术自动从所述目标系统读取到目标数据,该目标数据可为需要从目标系统读取的各种数据,例如,所述目标数据可包括:资产数据、资产维修数据、资产转移数据、供应商数据、及物料数据等数据中的一种或多种。所述资产数据为:用户所持有的某一项资产的数据,例如,企业所持有的机械设备的数据、所持有的股权或债权等权利凭证等数据。所述机械设备的数据包括但不限于:设备型号、设备的生产厂商。资产转移数据可用于记录资产的所有权或者出租权在不同权利人之间的转移。供应商数据可为:能够提供某一个产品或服务的商家数据,该商家数据包括但不限于以下数据至少之一:商家名称、商家联系方式、商家地址、商家的信誉度数据。
若采用RPA技术自动从目标系统读取目标数据,则无需人工参与从目标系统读取数据。
在步骤S110中,处理机会以非侵入方式从目标系统读取目标数据,此处的非侵入方式是相对于侵入方式而言的,侵入方式是需要开发新的接口,利用开发的新的接口接入到目标系统内部。在本实施例中,采用非侵入方式,即不用开发新的接口,利用目标系统当前已经具有的原始接口或者利用目标系统的原始接口以外的方式,不再侵入到目标系统内部并在目标系统引入新接口的情况下,从目标系统读取数据;如此,解决了老旧系统由于系统老旧接口开发难导致的数据读取难的问题,同时解决了老旧系统因为自身的局限问题需要人工处理才可以导出数据的问题;从而让具有从目标系统获取数据的难度降低了且效率增高了。
在本实施例中的步骤S120中,会将目标数据利用区块链进行存储。所述区块链可包括:私有链、联盟链及公开链。在本实施例中,所述区块链可为联盟链或公开链,如此,联盟内的其他用户或者所有用户都可以查询到该区块链,从而目标数据,如此,一方面可实现数据共享。且若将目标数据利用区块链进行存储,后续目标数据的提供用户在系统升级或更换的过程中,可以直接从区块链中下载数据到新的系统就好,无需再从淘汰的旧系统中的获取数据。在新系统和旧系统交替时,新系统可以直接从区块链上获取到旧系统获取数据目标数据,与此同时旧系统不用停止运行,从而简化了新旧系统的交替。
在一些实施例中,如图2所示,所述步骤S110可包括:
步骤S111:确定所述目标系统开放的数据接口;
步骤S112:利用所述目标系统开放的数据接口,从所述目标系统读取目标数据。
在本实施例中,确定目标系统开放的数据接口,例如,获取目标系统的系统属性和/或版本属性,解析该系统属性和/或版本属性,确定出目标系统开放的数据接口。若目标系统有开放的数据接口,首先利用该目标系统开放的数据接口从目标系统读取目标信。
在另一些实施例中,所述步骤S112可包括以下至少之一:
利用所述目标系统的数据库的开放接口,从所述目标系统中导出所述数据库存储的所述目标数据;
利用所述目标系统授权的账号登陆所述目标系统的用户接口UI界面,在登陆所述UI界面之后从所述目标系统读取目标数据。
例如,确定目标系统的数据库的开放接口,若数据库有向外开放接口,则直接从数据库的开放接口读数据库中存储的目标数据。
若所述目标系统的数据库未开放接口,或者,所述数据库开放的接口不能读取到所有的目标数据;则在一些实施例中,还可以利用目标系统授权的账号登录目标系统的UI界面,处理机模拟人在UI界面进行自动操作,从而通过UI界面读取到所述目标数据。在一些情况下,利用所述目标系统最高权限的账号登录所述目标系统的UI界面,以读取所述目标系统的目标数据。例如,以目标系统的管理员账号登录目标系统的UI界面,以尽可能的减少登录的次数的情况下读取到更多的目标数据。
在一些实施例中,所述步骤S110还可包括:采集所述目标系统的显示页面,并利用图像识别技术从采集的页面图像中提取出所述目标数据。
在本实施例中还可以利用处理机节点,通过图像采集的方式采集目标系统的显示页面的图像,在采集页面图像后,利用图像识别技术从页面图像中提取出所需的目标数据;例如,光学字符识别(Optical Character Recognition,OCR)技术识别出所述页面图像中的文本数据。
在一些实施例中,所述步骤S110可包括:
基于触发事件,以非侵入方式从所述目标系统读取目标数据。
在本实施例中,处理机将基于触发事件从目标系统以非侵入方式读取所述目标数据;如此,可以减少实时从目标系统读取所述目标数据,处理机需要实时分配有从目标系统读取数据的资源。
在一些实施例中,所述基于触发事件,以非侵入方式从所述目标系统读取目标数据包括以下至少之一:
按照预设读取频率,以侵入方式从所述目标系统读取所述目标数据;
按照预设时间,以侵入方式从所述目标系统读取所述目标数据;
若检测到所述目标系统的数据发生预定变化时,以侵入方式从所述目标系统读取所述目标数据;
若检测到读取操作指令时,以侵入方式从所述目标系统读取所述目标数据。
例如,若处理机从首次从目标系统读取目标数据之后,按照所述预设读取频率,每个一定的读取周期从所述目标系统以非入侵方式读取目标数据。如此,目标数据的单次的读取时间取决于处理机首次从目标系统读取数据的读取时间和所述预设读取频率。
在一些实施例中,RPA平台可为从目标系统读取数据的处理机设置读取时序,在该读取时序中的元素由具体的读取时间组成,如此,处理机可以按照预设时间,从目标系统以非侵入方式读取所述目标数据。
在一些实施例中,处理机的人机交互界面可以接收到用户输入的读取操作指令,或者,从其他设备接收到所述读取操作指令。若处理机接收到所述数据读取指令之后,以非侵入方式从所述目标系统读取所述目标数据。
在一些实施例中,所述步骤S120可包括:基于智能合约将所述目标数据存储到所述区块链。
在一些实施例中,所述方法还包括:根据所述智能合约的数据合约,控制所述区块链对所述目标数据的数据模型;根据所述智能合约的逻辑合约,控制所述区块链中目标数据的业务逻辑。
所述智能合约可包括数据合约和逻辑合约,所述数据合约中定义了区块链中存储目标数据的数据模型。例如,所述数据模型包括:目标数据存储到区块链中的数据格式;所述目标数据的原子层面的属性。例如,目标数据中某一个参数具有属性个数、哪些属性及属性的取值范围等其中的一个或多个。
所述逻辑合约定义了操作区块链中的目标数据的业务逻辑,例如,向区块链中写入数据需要满足的写入条件、写入区块链不同类数据之间的关联关系、从区块链中读取数据的读取条件等其中的一个或多个。
例如,向区块链中写入的目标数据包括:资产维修记录,但是通过查询区块链发现目前没有对应的用户并不拥有该资产,或者,区块链中没有记录该用户拥有该资产,则根据所述逻辑合约会拒绝向区块链中资产维修记录,或者,根据所述逻辑合约先写入所述资产的资产数据,再写入所述资产的资产维修记录。
在本实施例中,利用数据合约和逻辑合约分别定义目标数据写入区块链的数据模型和业务逻辑,如此,实现了数据模型和业务逻辑的分离控制,可以提升的可扩展性和兼容性。后续可以根据数据存储的业务需求,扩展或更新逻辑合约即可。
在一些实施例中,所述步骤S120可包括:利用所述区块链加密存储所述目标数据。利用所述区块链加密存储所述目标数据可包括:对所述目标数据进行加密,然后将加密后的所述目标数据的密文存储到所述区块链上。
所述目标数据的持有用户(例如,第一用户)拥有所述目标数据的所有权,第一用户可能并不想其存储到区块链的数据被所有人公开查看,则此时,存储到所述区块链的数据可以加密存储的,如此,直接查询区块链获得的数据是密文。
在区块链上加密存储所述目标数据的方式有多种:例如,采用对称加密方式加密所述目标数据之后,将所述目标数据的密文存储到所述区块链上;再例如,利用非对称加密方式加密所述目标数据之后,将所述目标数据的密文存储到所述区块链上。
若采用对称加密方式则仅存在一个秘钥;而若采用非对称加密则存在一对密钥,例如,公钥和私钥;私钥可由第一用户持有;公钥可由区块链网络的区块链节点所保存。若利用公钥加密的数据可以由公钥解密,由公钥加密的数据也可以由私钥解密。
若利用区块链加密存储所述目标数据,减少了目标数据不必要的公开,提升了目标数据的安全性和保密性。
在一些实施例中,所述方法还包括:
获取持有所述目标数据的第一用户的第一用户标识;
将所述第一用户标识转换为第二用户标识;
所述利用区块链存储所述目标数据,包括:
利用所述区块链对应存储所述第二用户标识及所述目标数据。
在本实施例中,所述第一用户标识可为公开标识;该公开标识可为实名标识。例如,所述实名标识可为:在户籍系统中备注的姓名、身份证号、护照号、企业的工商管理编号等。所述公开标识不限于所述实名标识,还可以是其他标识,例如,用户在现实生活中能够被其他人所知道的各种标识信息。为了减少实名标识等公开标识不必要的公开,也为了保护第一用户的用户数据,利用第一用户标识存储目标数据的过程中,确保目标数据存储的可追索性;同时将第一用户标识转换为第二用户标识;所述第二用户标识为非公开数据;该非公开数据又可以称之为:匿名数据。在区块链上直接存储的第二用户标识,如此减少了直接将第一用户标识存储到区块链上导致的用户数据的泄露。
在一些实施例中,所述方法还包括:
接收第二用户请求读取所述目标数据的读取请求;
基于所述读取请求向所述第一用户发送授权请求;
接收所述第一用户基于所述授权请求返回的授权数据;
若所述授权数据指示允许所述第二用户读取所述目标数据;
将所述目标数据发送给所述第二用户。
在本实施例中,第一用户将目标数据存储到区块链上之后,就拥有对目标数据被其他用户共享的控制权。若有第二用户想要读取目标数据,则需要向区块链节点发送所述读取请求,如此,区块链节点会接收到目标数据的读取请求,区块链节点会基于第二用户的读取请求向第一用户发送读取请求,请求第一用户确定是否授予第二用户读取其所持有的目标数据的权利。
若第一用户允许第二用户读取第一用户存储在区块链上的数据,则所述第一用户可以向第二用户访问令牌,如此,第二用户就拥有读取第一用户存储在区块链上数据的权利。若第一用户不允许第二用户读取第一用户存储在区块链上的数据,则第一用户通过禁止授权数据禁止第二用户访问第一用户存储在区块链上的数据,如此,第二用户就获取不到所述访问令牌。
在一些实施例中,所述授权请求携带的数据包括但不限于以下至少之一:
第二用户的用户数据;
第二用户所请求数据的概要;
第二用户所请求数据的风险提示。
如此,方便第一用户根据所述授权数据确定是否允许第二用户读取对应的数据。
所述第二用户的用户数据可包括以下至少之一:
第二用户的身份数据;
第二用户的信誉度数据;
第二用户读取数据所愿意支付的对价数据。
第二用户所请求数据的概要,可用于描述第二用户请求数据的数据类型等,方便第一用户判断该数据自己是否开放给其他人,以决定是否允许第二用户读取。
第二用户所请求数据的风险提示,提示若将该数据的访问权限开放给第二用户可能需要承受的风险,以协助第一用户对数据进行安全风险防控。
在一些实施例中,处理机还可以根据第二用户的用户数据和/或第二用户所请求数据的数据内容,基于风险评估模型得到风险等级,将所述风险等级告知第一用户,方便第一用户判断是否允许第一用户读取。
在一些实施例中,处理机在得到风险等级大于预设等级时,可以自动拒绝第二用户的读取请求。
在一些实施例中,所述方法还包括:
获取所述目标数据的数据密级;
处理机还可以根据密级,自动判断是否向所述第一用户发送所述授权请求。
例如,所述数据密级可分为:绝密级、限制级和普通级。
若请求读取的数据的所述数据密级为绝密级,则所述处理机不用在询问第一用户的情况下,自动拒绝所述第二用户的读取请求。
若请求读取的数据的所述数据密级为限制级,则所述处理机基于所述读取请求向所述第一用户发送所述授权数据。
若请求读取的数据的所述数据密级为普通级,则所述处理机可在不用询问所述第一用户的情况下,自动开放所述第二用户读取的权限。
在一些实施例中,所述方法还包括:
接收第一用户发送的取消指示;
基于所述取消指示,取消对已获得所述第一用户数据的访问权限的用户的访问权限,例如,取消授予给第二用户的访问令牌,如此,第二用户就没有在读取及缓存第一用户存储在区块链上数据的权利了;第二用户就没有办法查看第一用户存储在区块链上数据的权利。
在一些实施例中,所述方法还包括:
在所述第一用户登录到区块链系统,为所述第一用户分配第一认证数据;
将所述第一认证数据发送给所述第一用户;
接收所述第一用户的操作请求;
比对所述操作请求中携带的第二认证数据及所述第一认证数据;
若所述第二认证数据和所述第一认证数据一致,确定所述操作请求通过验证,若所述第二认证数据和所述第一认证数据不一致,确定所述操作请求未通过验证。
若通过验证则响应所述操作请求;或,若未通过验证则拒绝所述操作请求。
所述操作请求包括但不限于以下之一:
下载请求,用于请求从区块链中下载已存储的数据;
存储请求,用于请求在区块链上存储数据。
所述第一验证数据可为哈希字符串,所述哈希字符串可为:对所述第一用户的第一用户标识进行哈希运算得到的字符串;还可为:对所述第二用户标识进行哈希运算得到的字符串。
在一些实施例中,所述方法还包括:
在本次登录期间,统计未通过验证的次数;
若未通过验证的次数达到预设次数,则基于惩罚机制对所述第一用户执行惩罚操作。
所述基于惩罚机制对所述第一用户执行惩罚操作,包括但不限于以下至少之一:
强制所述第一用户的登录退出;
设置所述第一用户登录的登录惩罚期;
设置所述第一用户发送的操作请求的响应惩罚期。
在所述登录惩罚期内,禁止所述第一用户登录,或者,需要基于附加条件的登录;
在所述响应惩罚期内,拒绝响应所述第一用户的操作请求,或者,基于附加条件响应。
所述基于附加条件的登录可包括:
除了基于用户标识及密码的基础登录外,还需要通过其他数据进行附加认证,在附加认证通过之后才允许第一用户登录。例如,基于有效期有限的短信验证码的附加认证;再例如,基于附件验证问题答复的附加认证。
所述基于附加条件响应可包括:
出了基于认证数据的基础认证之外,还需要通过其他数据进行附加认证,例如,基于有效期有限的短信验证码的附加认证;再例如,基于附件验证问题答复的附加认证。
如此,一方面通过认证机制可以确保区块链上数据的安全性,另一方面通过附加条件在保证数据的安全性的同时,允许合法用户的有渠道可以响应的惩罚期内登录和被响应。
在一些实施例中,为了方便数据共享,所述方法还包括:
提取所述存储到目标数据上的第一关键字;
基于所述关键字形成检索库,在所述检索库中对应存储有目标数据在区块链上的存储地址及所述第一关键字;
若接收到第二用户携带有第二关键字的检索请求;
基于所述第二关键字检索与所述检索库中的第一关键字进行匹配一致,则认定所述区块链上存储有第二用户需要检索的数据;如此方便不同用户之间的数据共享。例如,用户A持有设备A,用户B也持有设备A,在用户A的使用过程中可能对设备A进行维修,目前用户B的设备A也故障,但是不知道何时的维修方式,则可以通过查询用户A的设备A的资产维修记录,参照用户A对设备A的资产维修记录对设备B进行维修。
在一些实施例中,所述第一关键字的组成部分包括以下至少之一:
标识数据;
按照所发生操作区分的数据种类;
操作结果。
所述标识数据可为:各种资产的标识、或者发生的各种事件的事件标识。
按照所发生操作区分的数据种类包括但不限于:维修类、转移类、销毁类或更新类等。
操作结果可为指示所发生操作的最终操作结果的数据,例如,对设备的维修,维修成功或失败可由所述操作结果来标识。
如此,用户B的设备发生故障时,可以形成设备A的标识数据、故障类型和/或维修成功等第二关键字,检索所述检索库,从而确定出区块链中存储的对设备A对应故障维修成功的数据记录,若有则可以通过访问该数据,有助于用户B维修其故障的设备,从而通过数据共享提升数据价值。
如图3所示,本实施例提供一种数据处理装置,包括:
读取模块110,用于以非侵入方式从目标系统读取目标数据;
存储模块120,用于利用区块链存储所述目标数据。
在一些实施例中,所述读取模块110及存储模块120可为程序模块,所述程序模块被处理器执行后,能够实现所述目标数据的读取及区块链的上链。
在一些实施例中,所述读取模块110及所述存储模块120可为软硬结合的模块,所述软硬结合模块可为各种可编程阵列,例如,复杂可编程阵列或现场可编程阵列。
在还有一些实施例中,所述读取模块110及所述存储模块120可为硬件模块,所述硬件模块可为专用集成电路。
在一些实施例中,所述读取模块110,具体用于确定所述目标系统开放的数据接口;利用所述目标系统开放的数据接口,从所述目标系统读取目标数据。
在一些实施例中,所述读取模块110,具体用于执行以下至少之一:利用所述目标系统的数据库的开放接口,从所述目标系统中导出所述数据库存储的所述目标数据;利用所述目标系统授权的账号登陆所述目标系统的用户接口UI界面,在登陆所述UI界面之后从所述目标系统读取目标数据。
在一些实施例中,所述读取模块110,具体用于采集所述目标系统的显示页面,并利用图像识别技术从采集的页面图像中提取出所述目标数据。
在一些实施例中,所述读取模块110,具体用于基于触发事件,以非侵入方式从所述目标系统读取目标数据。
在还有一些实施例中,所述读取模块110,具体用于执行以下至少之一:按照预设读取频率,以侵入方式从所述目标系统读取所述目标数据;按照预设时间,以侵入方式从所述目标系统读取所述目标数据;若检测到所述目标系统的数据发生预定变化时,以侵入方式从所述目标系统读取所述目标数据;若检测到读取操作指令时,以侵入方式从所述目标系统读取所述目标数据。
在一些实施例中,所述存储模块120,具体用于基于智能合约将所述目标数据存储到所述区块链。
在一些实施例中,所述装置还包括:
第一控制模块,用于根据所述智能合约的数据合约,控制所述区块链对所述目标数据的数据模型;
第二控制模块,用于根据所述智能合约的逻辑合约,控制所述区块链中目标数据的业务逻辑。
在一些实施例中,所述存储模块120,还用于利用所述区块链加密存储所述目标数据。
在一些实施例中,所述装置还包括:
获取模块,用于获取持有所述目标数据的第一用户的第一用户标识;
转换模块,用于将所述第一用户标识转换为第二用户标识;
所述存储模块120,用于利用所述区块链对应存储所述第二用户标识及所述目标数据。
在一些实施例中,所述装置还包括:
第一接收模块,用于接收第二用户请求读取所述目标数据的读取请求;
第一发送模块,用于基于所述读取请求向所述第一用户发送授权请求;
第二接收模块,用于接收所述第一用户基于所述授权请求返回的授权数据;
第二发送模块,用于若所述授权数据指示允许所述第二用户读取所述目标数据,将所述目标数据发送给所述第二用户。
以下结合上述任意实施例提供几个具体示例:
示例1:
自动化区块链资产数据处理机,主要用于实现传统资产管理类系统(例如EAM)与区块链之间的数据传递处理。利用区块链的去中心化、防篡改、数据安全等特点,将传统EAM软件所管理的资产数据,通过区块链实现资产数据的登记、变更、维护等资产寿期数据的记录,资产转移与跟踪,以及资产数据的点对点共享等。
对于传统企业的EAM系统,因为其历史原因和技术限制等,开发相关的接口比较复杂,无法方便的实现将系统中资产数据进行有效提取并存放在区块链上,需要借助一些非侵入方式的技术手段,实现数据的提取和上链(数据的转换和区块链中存储)的过程。
自动化区块链资产数据的处理机,实现利用RPA技术完成传统资产管理相关应用与区块链技术的结合,以自动化、非侵入接口实现资产认证,资产数据全生命周期管理等功能。
首先,通过在区块链中定义相关的资产认证和资产全生命周期管理的相关智能合约,实现:
1)用于定义资产数据在区块链中的唯一性标识;
2)用于定义资产数据与资产相关的维护、供应链、图文档的数据(资产相关数据)的关联、挂接和加密存储;
3)用于定义资产及相关数据的变更记录、共享、传递和浏览等记录。
其次,利用RPA技术,实现传统资产管理等相关应用的集成改造和接口,实现:
1)以非侵入方式实现从传统资产管理应用中提取资产及资产相关数据和数据,完成数据的转换,加载等;
2)通过与区块链的接口调用,实现资产及相关数据在区块链中的记录,即传统的数据上链过程;
3)上链过程执行的多种策略触发方式,包括:时间(定期)执行,数据变化捕捉,人工触发等多种方式;
4)依据智能合约要求,提供链上数据追溯、查询、共享等接口,实现数据的下链过程;
5)提供API等接口,实现处理的启动、停止、查看等;
6)所谓非侵入方式,是指在利用现有的接口、UI(用户操作界面),在不增加新的接口的方式下,实现系统数据的读取、写入等过程;
7)通过抽象定义资产、资产认证、资产相关数据的业务和数据模型,实现面向多种主流资产管理系统的适配;
示例2:
本示例以资产相关的信息为目标数据进行举例说明。本技术方案的总体架构如图4所示涉及区块链底层、资产信息处理机及资产管理软件应用层。该资产管理软件应用层对应了前述的目标系统。所述资产信息处理机可为前述处理目标数据的处理机中的一种。
本技术方案基于区块链底层技术实现。
区块链底层技术包括:区块链,P2P网络,共识算法等,这些都封装在区块链的区块链节点(Node)中,以以太坊(Ethereum)为例,节点封装在EVM(以太坊节点虚拟机)中。基于业务需求,定义相关的资产相关的智能合约。
智能合约包括两种:数据合约和逻辑合约。
数据合约完成数据数据模型的定义,包括数据结构定义,数据读写定义等;逻辑合约实现业务数据处理逻辑,包括事务处理,数据格式的转换,数据权限的控制等。这样保证数据定义和数据的逻辑控制分离,以保证未来的业务逻辑可扩展性和数据存储的向前兼容。
在本方案中,数据合约定义了:资产数据,供应商数据,物流数据的数据格式和/或数据结构等数据模型。
逻辑合约定义了:资产维护数据记录的业务逻辑,资产转移(物流)数据记录的业务逻辑等,未来根据业务需求,可进行逻辑合约的扩充。
智能合约的开发与部署依据具体的区块链技术平台而定。以以太坊为例,智能合约的开发语言用Solidity语言,可基于Truffle开发框架,智能合约部署在EVM中。
利用智能合约实现资产管理的业务逻辑和区块链底层的数据和业务逻辑的抽象。在此之上构建面向资产数据处理的业务服务层。业务服务层构建为区块链分布式应用及应用编程接口(Application Programming Interface,API)。所述API可为DApp和/或DApi。DApp可面向具体的业务场景开发。
例如:资产认证实现分布式资产数据在区块链上的数据存储和记录,资产登记等功能。资产维护记录,实现资产的运行和维修数据的记录;资产追踪,实现利用供应商标识,查询供应商所提供的资产所处的状态,资产的转移和交付等数据;供应链追溯,实现利用资产的标识数据,查询和追溯资产从采购、生产、物流、安装以及资产的维护,转移等数据;
DApp与区块链底层的通信基于标准的RPC通信协议,以以太坊为例,为JSON-RPC协议。
DApp的开发可以基于传统的Web应用和微服务方式,但需要引入区块链相关的协议封装库,以以太坊为例,需要部署web3.js库,通常可以基于NodeJS服务器。
DApp或DApi的构建提供相关的访问接口,以RESTFul API方式发布接口。
自动非侵入集成处理机设计,可式基于RPA实现。本部分设计主要考虑以非侵入方式实现与应用系统的集成。所需集成的应用系统包括:
孤立的EAM/ERP系统,即一些传统的企业资产管理系统,这些系统往往是一些比较老的应用和技术架构,无法开发一些接口或应用,或者开发和改造代价比较大。因此考虑采用非侵入方式的应用集成。
一些面向离散企业的小的进口、经销、存储系统。这些系统往往是在一些小型的制造商和经销商。这些系统功能简单,数据结构简单,功能客制化比较少,因而也不太可能进行功能增强和接口开发,因此考虑非侵入方式的应用集成。
离散的资产台账和离散的单据数据。对于一些物流商、资产供应商等,可能没有数据系统管理相关的数据,可能以Excel或者非结构化的表单方式提供给用户。这部分数据的提取和集成,只能通过一种自动化识别的方式集成。
所谓非侵入方式,是指利用数据系统现有接口、数据库、或UI界面,在不增加新的接口方式下,利用多种技术手段或组合技术手段,实现数据系统中数据的读取、写入等。这包括,可以通过数据系统的数据库开放,直接读取数据系统的数据库,采集数据。利用数据系统的UI访问界面,利用UI自动化技术,模拟人工的页面操作过程,读取(爬取)页面中数据,实现数据的提取。利用OCR方式,识别非结构化表单(PDF)数据,提取数据等。
数据处理机,根据应用系统的类型,定义数据触点(即:数据提取方式),构建数据提取流程,数据转换流程等。其中对于非结构化数据提取,使用OCR识别技术进行数据的转换和提取。
数据处理机的工作由事件触发。事件的类型可以是以时间、频率方式,也可以是订阅某种数据变化方式(基于数据库字段变化触发),或者用户操作所产生的页面、消息等。数据处理机的部署基于RPA平台。
因为区块链中的数据是分布式存储的,在多个区块链节点存在多个账本,因此数据需要进行加密处理,以保证数据的私密性。同时,考虑数据在链中存储的匿名性,需要将用户(或应用)的公开标识转换为区块链的匿名标识。
用户注册到图4所示的系统的流程可如图5所示,包括:
①发送用户注册请求,例如,请求注册的用户名为:A123;
②转换用户标识,分配公钥及私钥对;
③在身份鉴权之后,保存用户标识与公开用户名映射,保存用户注册信息(含密码),利用公钥加密保存的信息;
④转换用户标识为公开用户名A123:数据处理机中运行的身份与鉴权服务(DApp/DApi)转换用户标识,例如,将用户标识A123转换为区块链的匿名标识;该用户标识可如图5所示为:a8fdc205a9f19cc1c77507a60c4fo1b1311dfd0等。
⑤身份与鉴权服务向用户A返回私钥加密的令牌;需要用户或应用在本地保存加密后的私钥(个人令牌)。
用户(或应用)登陆如图4所示的系统,可如图6所示,包括:
①用户发送用户名(明文)、密码及私钥;
②数据处理机运行的身份与鉴权服务(DApp/DApi)根据用户名获取用户A的用户标识,利用用户标识获取公钥;
③进行用户A的身份鉴权,具体可包括:根据用户标识,提取用户信息(含密码)的密文;
④将用户A请求访问的数据在身份鉴权后,利用公钥解密用户发送过来的密码信息,例如,公钥机密用户发送的私钥信息、私钥机密区块链中提取用户信息(密文),密码比对,生成登录认证哈希值;
⑤完成用户登录和鉴权发送登录认证哈希值。
当用户(或应用)登陆认证成功以后,返回一个哈希字符串。用户在后续访问过程中,需要将哈希串作为认证数据嵌入请求报文的头部,认证服务会验证哈希字符串的有效性,当不存在哈希字符串的合法性时,需要用户进行重新登陆。
考虑到防抵赖处理,在用户进行登陆和认证过程的设计试错次数限制。
图7所示为用户访问区块链的方法,包括:
①获取写入数据,利用本地存储的私钥进行写入数据的数字签名;其中,写入数据可为前述目标数据的一种;
②数据处理机运行的资产数据服务(DApp/Dapi)转换用户标识,利用公钥验证签名及公钥加密数据;
③保存加密后的信息,并将加密后的信息存储到区块链上;
④根据用户标识检索信息;
⑤转换用户标识为公开标识,对检索到的信息利用公钥进行数据签名;向用户返回信息、私钥验证签名及私钥解密返回的信息。
在区块链中保存的数据是以用户内部标识签名,以用户公钥加密的密文数据,确保数据的匿名性,安全性和隐私性。
本示例还提供一种点对点(P2P)的数据共享,以实现用户之间数据共享,需要基于用户(或应用)进行相关的授权控制;过程可如图8所示,包括:
①A用于授权B用户,例如,发送A用户加密令牌(该加密令牌可为用户A的私钥)至数据处理机的身份与鉴权服务(DApp/Dapi);
②用户B请求A数据,该A数据为A用户存储在区块链上的数据;
③请求访问许可获得A用户令牌(私钥);
④获得用户A用户标识;
⑤检索A用户数据;
⑥根据A用户标识返回检索到信息;返回A用户信息,例如,用户A私钥解密信息;B用户公钥加密检索到的信息;B用户公钥签名返回给B用户的信息;
⑦向用户B返回A用户数据,B用户私钥验证签名,并利用B用户私钥解密接收到的信息。
如果用户B希望获取用户A的数据,需要得到A的授权。授权的过程在线上进行控制。授权的应由A首先发起,然后通过身份与鉴权服务进行授权控制。当A取消授权以后,身份与鉴权服务将不再缓存A的访问令牌,则B即无法进行A的数据访问。
总之,以非侵入方式,实现资产及相关数据上链(及数据存储到区块链上)、下链(从区块链上读取数据)过程的透明性,减少传统资产管理数据系统的改造成本。
资产管理数据系统的利旧,无需改造和增加系统的接口,快速实现应用。自动化的处理方式,能够保证处理过程的安全、可控,与智能合约的约束要求更为匹配。自动化处理过程的API接口提供,方便与应用、移动等多种访问入口的集成。
本实施例提供一种处理机,包括:
存储器,
处理器,与存储器连接,用于通过执行存储在所述存储器上的计算机可执行指令,能够实现前述任意一个技术方案提供的数据处理方法,例如,如图1至图2及图5至图8所示方法中的一个或多个。
本实施例提供一种计算机存储介质,所述计算机存储介质存储有计算机可执行指令;所述计算机可执行指令被执行后,能够实现前述任意一个技术方案提供的数据处理方法,例如,如图1至图2及图5至图8所示方法中的一个或多个。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理模块中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种数据处理方法,其特征在于,包括:
以非侵入方式从目标系统读取目标数据;
利用区块链存储所述目标数据;
获取持有所述目标数据的第一用户的第一用户标识;
将所述第一用户标识转换为第二用户标识,其中,所述第一用户标识为公开标识,所述第二用户标识为匿名标识;
所述利用区块链存储所述目标数据,包括:
利用所述区块链对应存储所述第二用户标识及所述目标数据,所述区块链为联盟链或公开链。
2.根据权利要求1所述的方法,其特征在于,
所述以非侵入方式从目标系统读取目标数据,包括:
确定所述目标系统开放的数据接口;
利用所述目标系统开放的数据接口,从所述目标系统读取目标数据。
3.根据权利要求2所述的方法,其特征在于,
利用所述目标系统开放的数据接口,从所述目标系统读取目标数据,包括以下至少之一:
利用所述目标系统的数据库的开放接口,从所述目标系统中导出所述数据库存储的所述目标数据;
利用所述目标系统授权的账号登陆所述目标系统的用户接口UI界面,在登陆所述UI界面之后从所述目标系统读取目标数据。
4.根据权利要求1所述的方法,其特征在于,所述以非侵入方式从目标系统读取目标数据,还包括:
采集所述目标系统的显示页面,并利用图像识别技术从采集的页面图像中提取出所述目标数据。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述以非侵入方式从目标系统读取目标数据,包括:
基于触发事件,以非侵入方式从所述目标系统读取目标数据。
6.根据权利要求5所述的方法,其特征在于,
所述基于触发事件,以非侵入方式从所述目标系统读取目标数据包括以下至少之一:
按照预设读取频率,以侵入方式从所述目标系统读取所述目标数据;
按照预设时间,以侵入方式从所述目标系统读取所述目标数据;
若检测到所述目标系统的数据发生预定变化时,以侵入方式从所述目标系统读取所述目标数据;
若检测到读取操作指令时,以侵入方式从所述目标系统读取所述目标数据。
7.根据权利要求1至4任一项所述的方法,其特征在于,所述利用区块链存储所述目标数据,包括:
基于智能合约将所述目标数据存储到所述区块链。
8.根据权利要求7所述的方法,其特征在于,
所述方法还包括:
根据所述智能合约的数据合约,控制所述区块链对所述目标数据的数据模型;
根据所述智能合约的逻辑合约,控制所述区块链中目标数据的业务逻辑。
9.根据权利要求1所述的方法,其特征在于,
所述方法还包括:
接收第二用户请求读取所述目标数据的读取请求;
基于所述读取请求向所述第一用户发送授权请求;
接收所述第一用户基于所述授权请求返回的授权数据;
若所述授权数据指示允许所述第二用户读取所述目标数据,将所述目标数据发送给所述第二用户。
10.一种数据处理装置,其特征在于,包括:
读取模块,用于以非侵入方式从目标系统读取目标数据;
存储模块,用于利用区块链存储所述目标数据;
获取模块,用于获取持有所述目标数据的第一用户的第一用户标识;
转换模块,用于将所述第一用户标识转换为第二用户标识,其中,所述第一用户标识为公开标识,所述第二用户标识为匿名标识;
所述存储模块,用于利用所述区块链对应存储所述第二用户标识及所述目标数据,所述区块链为联盟链或公开链。
11.一种处理机,包括:
存储器,
处理器,与存储器连接,用于通过执行存储在所述存储器上的计算机可执行指令,能够实现权利要求1至9任一项提供的数据处理方法。
12.一种计算机存储介质,所述计算机存储介质存储有计算机可执行指令;所述计算机可执行指令被执行后,能够实现权利要求1至9任一项提供的数据处理方法。
CN201811244621.9A 2018-10-24 2018-10-24 数据处理方法及装置、处理机及存储介质 Active CN109446259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811244621.9A CN109446259B (zh) 2018-10-24 2018-10-24 数据处理方法及装置、处理机及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811244621.9A CN109446259B (zh) 2018-10-24 2018-10-24 数据处理方法及装置、处理机及存储介质

Publications (2)

Publication Number Publication Date
CN109446259A CN109446259A (zh) 2019-03-08
CN109446259B true CN109446259B (zh) 2021-01-12

Family

ID=65548131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811244621.9A Active CN109446259B (zh) 2018-10-24 2018-10-24 数据处理方法及装置、处理机及存储介质

Country Status (1)

Country Link
CN (1) CN109446259B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457022B (zh) * 2019-07-19 2023-04-18 上海易点时空网络有限公司 基于nodejs的非侵入式项目执行方法及系统、存储介质
CN112241515A (zh) * 2019-07-19 2021-01-19 傲为信息技术(江苏)有限公司 一种数字资产认证处理系统
US11822913B2 (en) * 2019-12-20 2023-11-21 UiPath, Inc. Dynamic artificial intelligence / machine learning model update, or retrain and update, in digital processes at runtime
CN112284486A (zh) * 2020-10-28 2021-01-29 中国石化销售股份有限公司贵州石油分公司 液位仪异常数据监控方法、装置、计算机设备及存储介质
CN113282425A (zh) * 2021-04-26 2021-08-20 广州汉盛信息科技有限公司 一种沉浸式机器人流程自动化应用系统、平台及方法
CN113850573A (zh) * 2021-08-19 2021-12-28 中国人民银行数字货币研究所 智能合约的执行方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106796688A (zh) * 2016-12-26 2017-05-31 深圳前海达闼云端智能科技有限公司 区块链的权限控制方法、装置、系统及节点设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992253B2 (en) * 2011-08-15 2018-06-05 Calgary Scientific Inc. Non-invasive remote access to an application program
CN105656850B (zh) * 2014-11-13 2020-08-14 腾讯数码(深圳)有限公司 一种数据处理方法、相关装置及系统
CN105988924B (zh) * 2015-02-10 2018-12-28 中国船舶工业综合技术经济研究院 一种非侵入式嵌入式软件图形用户界面自动化测试方法
CN105741178A (zh) * 2016-03-21 2016-07-06 郑州悉知信息科技股份有限公司 一种社交关系管理方法及装置
CN107423638A (zh) * 2017-08-02 2017-12-01 成都安恒信息技术有限公司 一种基于命令探测式修改密码的密码管理系统及使用方法
CN107993047B (zh) * 2017-11-22 2021-02-19 焦文华 一种基于区块链的保单销售佣金权益管理方法
CN108052620B (zh) * 2017-12-15 2021-02-12 泰康保险集团股份有限公司 数据状态的存储系统、区块链的节点数据处理系统和方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106796688A (zh) * 2016-12-26 2017-05-31 深圳前海达闼云端智能科技有限公司 区块链的权限控制方法、装置、系统及节点设备

Also Published As

Publication number Publication date
CN109446259A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN109446259B (zh) 数据处理方法及装置、处理机及存储介质
US11171782B2 (en) Identity and electronic signature verification in blockchain
KR102514325B1 (ko) 모델 훈련 시스템 및 방법과, 저장 매체
US11520922B2 (en) Method for personal data administration in a multi-actor environment
US20190050598A1 (en) Secure data storage
CN106104563B (zh) 通过恰好准时开通的账户来提供网络安全的技术
CN110365670A (zh) 黑名单共享方法、装置、计算机设备和存储介质
JP2022504637A (ja) 暗号化デジタルidのための分散型台帳
CN108898389A (zh) 基于区块链的内容验证方法及装置、电子设备
US20070220009A1 (en) Methods, systems, and computer program products for controlling access to application data
WO2020182005A1 (zh) 数字资产凭证继承转移中的信息处理方法、和相关装置
CN106027552A (zh) 一种用户访问云存储数据的方法及系统
CN104718526A (zh) 安全移动框架
CN111814156B (zh) 一种基于可信设备的数据获取方法、装置及设备
US11824850B2 (en) Systems and methods for securing login access
US11809592B2 (en) Data processing apparatus and methods
Barati et al. Privacy‐aware cloud ecosystems: Architecture and performance
CN112948866B (zh) 一种数据处理方法、装置、设备及可读存储介质
RU2311676C2 (ru) Способ обеспечения доступа к объектам корпоративной сети
CN109981649A (zh) 一种基于安全认证网关的云存储安全访问方法,系统,终端及存储介质
Navarro et al. Digital transformation of the circular economy: Digital product passports for transparency, verifiability, accountability
Rech et al. A decentralized service-platform towards cross-domain entitlement handling
CN117061089B (zh) 一种投票管理方法、装置、设备及存储介质
US20230396445A1 (en) Multi-signature wallets in public trust ledger actions via a database system
US20230367766A1 (en) Environmental impact tracking in public trust ledger actions via a database system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant