CN112073520A - 数据处理方法、装置和电子设备 - Google Patents

数据处理方法、装置和电子设备 Download PDF

Info

Publication number
CN112073520A
CN112073520A CN202010943909.6A CN202010943909A CN112073520A CN 112073520 A CN112073520 A CN 112073520A CN 202010943909 A CN202010943909 A CN 202010943909A CN 112073520 A CN112073520 A CN 112073520A
Authority
CN
China
Prior art keywords
data
source file
update
updating
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010943909.6A
Other languages
English (en)
Other versions
CN112073520B (zh
Inventor
池增坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202010943909.6A priority Critical patent/CN112073520B/zh
Publication of CN112073520A publication Critical patent/CN112073520A/zh
Application granted granted Critical
Publication of CN112073520B publication Critical patent/CN112073520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种数据处理方法、装置和电子设备，涉及云计算领域。该方法包括：如果通过大数据采集组件监测到源文件被更新，获取该源文件中的更新数据，并将该更新数据发送至数据接收设备，以通过该数据接收设备保存该更新数据。该方法可以通过大数据采集组件主动采集源文件中的更新数据，并发送至数据接收设备，只需要集中监控大数据采集组件即可，不需要开发API接口程序，从而提高了运维管理的便利性。

Description

数据处理方法、装置和电子设备
技术领域
本申请涉及云计算技术领域，尤其是涉及一种数据处理方法、装置和电子设备。
背景技术
区域类云平台是一种基于云计算基础结构的云计算服务平台，可以将区域内各相关机构的数据集中存储，例如，可以将医疗机构的医学影像报告数据集中存储，实现区域内各相关机构的数据共享，满足区域内各类业务应用、用户对数据的调阅需求等；相关技术中，对数据的采集通常采用API(Application Programming Interface，应用程序接口)接口方式，由云平台厂商提供程序API接口，各相关机构通过API接口上传对应的数据，由于各家机构的数据信息化厂商可能不同，每个数据信息化厂商都需要开发程序以完成数据的上传，因而对程序的运维、管理和数据上传的监控比较困难，并且，各厂商所开发的程序语言和实现方式可能都不相同，难以统一监控运维。
发明内容
本申请的目的在于提供一种数据处理方法、装置和电子设备，以提高运维管理的便利性。
第一方面，本申请提供的一种数据处理方法，所述方法应用于运行有大数据采集组件的数据采集设备，所述数据采集设备中预先设置有源文件，所述源文件用于保存用户上传的数据；所述方法包括：通过所述大数据采集组件监测所述源文件是否被更新；如果所述源文件被更新，获取所述源文件中的更新数据，将所述更新数据发送至数据接收设备，以通过所述数据接收设备保存所述更新数据。
进一步的，所述更新数据由数据生成设备通过以下方式得到：获取原始更新数据；基于预设的加密算法和加密密钥，对所述原始更新数据进行加密；基于预设的校验签名算法，生成所述校验签名；将所述校验签名携带至加密后的所述原始更新数据中，得到所述更新数据，将所述更新数据保存至所述源文件中。
进一步的，所述更新数据包括多个，每个所述更新数据携带有校验签名；所述将所述更新数据发送至数据接收设备，以通过所述数据接收设备保存所述更新数据的步骤包括：针对每个所述更新数据，基于该更新数据携带的所述校验签名，确认该更新数据是否被篡改；如果该更新数据未被篡改，将该更新数据发送至数据接收设备，以通过所述数据接收设备保存所述更新数据。
进一步的，所述方法还包括：如果接收到所述数据接收设备发送的所述更新数据保存失败的消息，继续执行将所述更新数据发送至数据接收设备的步骤，直至更新数据保存成功。
第二方面，本申请提供的一种数据处理方法，所述方法应用于运行有大数据接收组件的数据接收设备，所述数据接收设备与运行有大数据采集组件的数据采集设备通信连接，所述数据采集设备中预先设置有源文件，所述源文件用于保存用户上传的数据；所述方法包括：通过所述大数据接收组件接收所述数据采集设备发送的更新数据；其中，所述更新数据由所述数据采集设备通过以下方式得到：通过所述大数据采集组件监测所述源文件是否被更新；如果所述源文件被更新，获取所述源文件中的更新数据；保存所述更新数据。
进一步的，所述更新数据预先携带有加密密钥和校验签名；所述保存所述更新数据的步骤包括：通过所述大数据接收组件验证所述校验签名，以确认所述更新数据是否被篡改；如果确认所述更新数据未被篡改，基于预设的加密算法和与所述加密密钥对应的解密密钥，解密所述更新数据；保存解密后的所述更新数据。
进一步的，所述方法还包括：如果确认所述更新数据被篡改，或者，如果解密所述更新数据失败，生成所述更新数据保存失败的消息；将所述消息发送至所述数据采集设备，以继续执行通过所述大数据接收组件接收所述数据采集设备发送的更新数据的步骤，直至所述更新数据保存成功。
第三方面，本申请提供的一种数据处理方法，所述方法应用于运行有数据生成服务的数据生成设备，所述数据生成设备与数据采集设备通信连接；所述数据采集设备中预先设置有源文件；所述方法包括：通过所述数据生成服务获取原始更新数据；基于预设的加密算法和加密密钥，对所述原始更新数据进行加密；基于预设的校验签名算法，生成所述校验签名；将所述校验签名携带至加密后的所述原始更新数据中，得到所述更新数据，将所述更新数据保存至所述源文件中，以通过所述数据采集设备获取所述源文件中的更新数据，将所述更新数据发送至数据接收设备，以通过所述数据接收设备保存所述更新数据。
第四方面，本申请提供的一种数据处理装置，所述装置设置于运行有大数据采集组件的数据采集设备，所述数据采集设备中预先设置有源文件，所述源文件用于保存用户上传的数据；所述装置包括：监测模块，用于通过所述大数据采集组件监测所述源文件是否被更新；发送模块，用于如果所述源文件被更新，获取所述源文件中的更新数据，将所述更新数据发送至数据接收设备，以通过所述数据接收设备保存所述更新数据。
第五方面，本申请提供的一种数据处理装置，所述装置设置于运行有大数据接收组件的数据接收设备，所述数据接收设备与运行有大数据采集组件的数据采集设备通信连接，所述数据采集设备中预先设置有源文件，所述源文件用于保存用户上传的数据；所述装置包括：接收模块，用于通过所述大数据接收组件接收所述数据采集设备发送的更新数据；其中，所述更新数据由所述数据采集设备通过以下方式得到：通过所述大数据采集组件监测所述源文件是否被更新；如果所述源文件被更新，获取所述源文件中的更新数据；保存模块，用于保存所述更新数据。
第六方面，本申请提供的一种数据处理装置，所述装置设置于运行有数据生成服务的数据生成设备，所述数据生成设备与数据采集设备通信连接；所述数据采集设备中预先设置有源文件；所述装置包括：获取模块，用于通过所述数据生成服务获取原始更新数据；加密模块，用于基于预设的加密算法和加密密钥，对所述原始更新数据进行加密；生成模块，用于基于预设的校验签名算法，生成所述校验签名；更新模块，用于将所述校验签名携带至加密后的所述原始更新数据中，得到所述更新数据，将所述更新数据保存至所述源文件中，以通过所述数据采集设备获取所述源文件中的更新数据，将所述更新数据发送至数据接收设备，以通过所述数据接收设备保存所述更新数据。
第七方面，本申请提供的一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现上述第一方面、第二方面和第三方面任一项所述的数据处理方法。
第八方面，本申请提供的一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述第一方面、第二方面和第三方面任一项所述的数据处理方法。
本申请提供的数据处理方法、装置和电子设备，如果通过大数据采集组件监测到源文件被更新，获取该源文件中的更新数据，并将该更新数据发送至数据接收设备，以通过该数据接收设备保存该更新数据。该方法可以通过大数据采集组件主动采集源文件中的更新数据，并发送至数据接收设备，只需要集中监控大数据采集组件即可，不需要开发API接口程序，从而提高了运维管理的便利性。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据处理方法的流程图；
图2为本申请实施例提供的另一种数据处理方法的流程图；
图3为本申请实施例提供的另一种数据处理方法的流程图；
图4为本申请实施例提供的另一种数据处理方法的流程图；
图5为本申请实施例提供的另一种数据处理方法的流程图；
图6为本申请实施例提供的另一种数据处理方法的流程图；
图7为本申请实施例提供的另一种数据处理方法的流程图；
图8为本申请实施例提供的一种数据采集上传处理时序图；
图9为本申请实施例提供的一种数据处理装置的结构示意图；
图10为本申请实施例提供的另一种数据处理装置的结构示意图；
图11为本申请实施例提供的另一种数据处理装置的结构示意图；
图12为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
区域类云平台是一种基于云计算基础结构的云计算服务平台，可以将区域内各相关机构的数据集中存储，以区域类云平台为区域影像云平台为例，区域影像云平台可以将区域医疗机构的影像报告数据集中存储，实现区域内医疗机构的影像报告数据共享，满足区域内各类业务应用、患者端对影像报告数据的调阅需求等；为建设区域影像云平台，实现医疗机构的检查数据共享，需要将各医疗机构的检查数据上传到该区域影像云平台，现有影像数据采集主要有影像文件DICOM(Digital Imaging and Communications inMedicine，医学数字成像和通信)格式文件和报告结果，其中，报告结果也可以称为影像报告数据，该影像报告数据通常为一种结构化数据；相关技术中，通常采用API接口方式采集并上传影像报告数据，由影像云平台厂商提供程序API接口，各医疗机构在前置机通过程序调用API接口，实现影像报告数据的上传；由于各家医疗机构的影像信息化厂商可能不同，每个影像信息化厂商都需要开发程序以完成影像报告数据的上传，因而对程序的运维，管理和影像报告数据上传监控不足；并且，各厂商所开发的程序语言和实现方式可能都不相同，难以统一监控运维；另外，各厂商的API接口开发方式和要求等技术路线也不统一，无法统一要求和管理，难以实现产品化；如果影像报告数据上传出错，无法回溯，只能记录相关的错误信息，需要通过人工方式补传。基于此，本申请实施例提供了一种数据处理方法、装置和电子设备，该技术可以应用于需要对数据进行采集处理的应用中。
为便于对本实施例进行理解，首先对本申请实施例所公开的一种数据处理方法进行详细介绍；该方法应用于运行有大数据采集组件的数据采集设备，数据采集设备中预先设置有源文件，源文件用于保存用户上传的数据；其中，大数据采集组件可以用于从各种数据源实时采集数据，在采集时，可以对数据做简单的ETL(Extract-Transform-Load，用来描述将数据从来源端经过抽取extract、转换transform、加载load至目的端的过程)或格式转换，以便于下游系统使用，可以理解为一种用于数据采集的组件化形式，该大数据采集组件通常运行在数据采集设备中；该数据采集设备中通常预先设置有源文件，用户上传的数据可以保存在该源文件中，如图1所示，该方法包括如下步骤：
步骤S102，通过大数据采集组件监测源文件是否被更新。
在实际实现时，用户可能会随时上传数据并保存在源文件中，如果用户上传了数据并保存在源文件中，则该源文件被更新，可以通过运行在数据采集设备中的大数据采集组件实时监测该源文件是否被更新。
步骤S104，如果源文件被更新，获取源文件中的更新数据，将更新数据发送至数据接收设备，以通过数据接收设备保存更新数据。
上述更新数据可以理解为用户最新上传并保存在源文件中的数据，比如，源文件中原本保存有10行数据，这10行数据通常是已经被发送至数据接收设备，并通过数据接收设备保存过的数据，在大数据采集组件中通常会相应的信息记录，如果用户新上传了10行数据，并保存在该源文件中的第11行至第20行，则该源文件中的第11行至第20行中的数据即为新上传的更新数据；在获取更新数据时，大数据采集组件可以基于信息记录，按增量读取更新数据，即会从该源文件的第11行开始读取更新数据；上述数据接收设备通常可以接收并保存数据采集设备发送的数据；在实际实现时，如果数据采集设备通过大数据采集组件监测到源文件被更新，即在源文件中保存了用户新上传的更新数据，通常会获取这部分更新数据，并将获取到的更新数据发送至数据接收设备，数据接收设备接收到更新数据后，通常会将更新数据保存到指定的存储位置，比如，可以保存到关系型数据库，如MYSQL(一种开源的关系型数据库管理系统)或PostgreSQL(一种开源数据库)中等。
上述数据处理方法，如果通过大数据采集组件监测到源文件被更新，获取该源文件中的更新数据，并将该更新数据发送至数据接收设备，以通过该数据接收设备保存该更新数据；该方法可以通过大数据采集组件主动采集源文件中的更新数据，并发送至数据接收设备，只需要集中监控大数据采集组件即可，不需要开发API接口程序，从而提高了运维管理的便利性。
本实施例提供了另一种数据处理方法，该方法在上述实施例的基础上实现；本实施例重点描述将更新数据发送至数据接收设备，以通过数据接收设备保存更新数据的具体过程，该方法中，更新数据包括多个，每个更新数据携带有校验签名；该校验签名可以用于验证更新数据是否被篡改，在实际实现时，更新数据的数量可以包括多个，比如，以更新数据为影像报告数据为例，医疗机构完成了10个人的影像报告数据，对这10份影像报告数据分别按预设方式处理，比如增加校验签名等，得到对应的10个更新数据，并保存到源文件中，例如，可以在源文件中追加一行以保存对应的一个更新数据，则10个更新数据可以对应源文件中追加的10行；为了防止更新数据被篡改，每个更新数据都携带有其对应的校验签名，比如，可以将影像报告数据对应的机构编码、时间戳等信息通过MD5(Message-Digestalgorithm 5，信息-摘要算法)算法生成摘要信息，该摘要信息即为对应的校验签名；如图2所示，该方法包括如下步骤：
步骤S202，通过大数据采集组件监测源文件是否被更新。
在实际实现时，考虑到大数据采集组件本身是通用的，当需要通过大数据采集组件监测源文件变化时，需要先对该大数据采集组件进行设置，比如，如果更新数据是保存到指定目录下的指定源文件，则需要在大数据组件中设置采集对象为该指定源文件，以监控该指定源文件的变化，在完成设置后，如果该指定源文件被更新，就可以通过该大数据采集组件监测到。
需要说明的是，上述源文件的存在形式可以是单文件形式，也可是多文件形式；其中，单文件形式可以理解为预设时间段内的更新数据都保存至同一个源文件中，比如，如上所述，可以采用一行一条更新数据的方式存储，即数据增量添加到同一个源文件中，上述预设时间段可以结合更新数据的数据量大小，根据实际需求进行选择，从而实现将历史更新数据分文件存储，比如，预设时间段如果是以天为单位，则第一天的更新数据保存至同一个源文件，第二天在需要存储更新数据时，可以新建另一个源文件，将第二天的更新数据保存至新建的源文件中；上述多文件形式可以理解为一个更新数据保存至对应的一个源文件，多个更新数据分别保存至各自对应的源文件中，这样在文件目录中会包括多个源文件，大数据采集组件可以通过扫描文件目录的方式，监测是否有更新的源文件。
步骤S204，如果源文件被更新，获取源文件中的更新数据。
在实际实现时，上述更新数据可以由数据生成设备通过以下方式得到：
步骤一，获取原始更新数据。
为方便说明，以医疗机构的影像报告数据为例，比如，医疗机构对某个患者拍摄了影像，如CT(Computed Tomography，电子计算机X射线断层扫描技术)、X射线等，并得到了影像报告数据，即报告结果，该影像报告数据即为原始更新数据，在实际实现时，该原始更新数据可以保存在医疗机构的本地终端中，如保存在计算机中等，上述数据生成设备中通常运行有数据生成服务，数据生成设备可以通过该数据生成服务读取到该原始更新数据。
步骤二，基于预设的加密算法和加密密钥，对原始更新数据进行加密。
上述加密算法可以理解为对原本为明文的数据或文件进行加密处理时所采用的算法，该加密算法可以是对称加密算法，如SM4(一种分组密码标准)算法、DES(DataEncryption Standard，数据加密标准)算法或3DES(Triple Data Encryption Standard，是一种三重数据加密算法块密码的通称)算法等；也可以是非对称加密算法，如SM2(一种椭圆曲线公钥密码算法)算法、RSA(一种公钥密码算法)算法、ECC(Elliptic CurveCryptography，椭圆曲线密码学，是一种基于椭圆曲线数学的公开密钥加密算法)算法等；其中，在国家商用密码体系中，SM2算法可以被用来替换RSA算法。
上述对称加密算法中，使用的密钥通常只有一个，发送数据方和接收数据方都使用这个密钥对数据进行加密和解密。上述非对称加密算法通常需要两个密钥，即公开密钥(public key)和私有密钥(private key)；公开密钥与私有密钥是一对，如果用公开密钥对数据进行加密，只有用对应的私有密钥才能解密；如果用私有密钥对数据进行加密，那么只有用对应的公开密钥才能解密；因为加密和解密使用的是两个不同的密钥，所以这种算法叫作非对称加密算法。本实施例中，数据生成设备可以基于SM2算法，采用私有密钥对原始更新数据进行加密。
步骤三，基于预设的校验签名算法，生成校验签名。
上述校验签名算法可以理解为对数据进行签名校验时所采用的算法，如可以采用MD5报文摘要算法、SHA-1(Secure Hash Algorithm 1，安全散列算法1)摘要算法，SHA-2(Secure Hash Algorithm 2，安全散列算法2)摘要算法，HMAC(Hash-based MessageAuthentication Code，哈希运算消息认证码)摘要算法等，以确保数据在存储和传输过程中的防篡改；本实施例中，可以采用MD5报文摘要算法生成校验签名，该MD5报文摘要算法可以对输入的任意长度的信息进行计算，产生一个128位长度的“指纹”或“报文摘要”，假定两个不同的文件产生相同的报文摘要或由给定的报文摘要产生原始信息在计算上是行不通的；在实际实现时，可以记录当前原始更新数据的相关摘要信息，如机构编码、签名信息、时间戳，报告加密数据等信息，本实施例通过MD5报文摘要算法生成摘要信息，该摘要信息即为上述校验签名。
步骤四，将校验签名携带至加密后的原始更新数据中，得到更新数据，将更新数据保存至源文件中。
在实际实现时，可以将上述生成的校验签名增加至加密后的原始更新数据中，得到更新数据，在将更新数据保存至源文件中时，可以采用如上所述的在源文件中追加一行数据的方式进行保存；通过加密可以保证原始更新数据在传输或存储过程中是加密的，从而可以防止原始更新数据泄露；通过校验签名，可以保证原始更新数据在存储、传输过程中不被篡改，确保原始更新数据的安全。
步骤S206，针对每个更新数据，基于该更新数据携带的校验签名，确认该更新数据是否被篡改。
在实际实现时，考虑到更新数据在源文件中通常是按行存储的方式，如果更新数据有多个，则在源文件中可能存储有多行，在获取到更新数据后，通常需要按行处理更新数据，针对源文件中的每行对应的更新数据，通常需要先根据其携带的校验签名进行校验，以确认该更新数据是否被篡改。
步骤S208，如果该更新数据未被篡改，将该更新数据发送至数据接收设备，以通过数据接收设备保存更新数据。
如果确认更新数据未被篡改，将该更新数据发送至数据接收设备，数据接收设备接收到更新数据后，通常会将更新数据保存到指定的存储位置，如保存至MYSQL关系型数据库中等。在实际实现时，上述数据接收设备可以设置在区域影像云平台，数据采集设备通过大数据采集组件自动采集对应的影像报告文件，该影像报告文件即为上述源文件，自动检测影像报告文件是否被更新，如果影像报告文件被更新，可以按行采集该影像报告文件中的更新数据，并上传到数据接收设备，通过数据接收设备将更新数据保存到区域影像云平台。
上述数据处理方法，如果通过大数据采集组件监测到源文件被更新，获取源文件中的更新数据。针对每个更新数据，如果基于该更新数据携带的校验签名，确认该更新数据未被篡改，将该更新数据发送至数据接收设备，以通过数据接收设备保存更新数据；该方法可以通过大数据采集组件主动采集源文件中的更新数据，并发送至数据接收设备，只需要集中监控大数据采集组件即可，不需要开发API接口程序，从而提高了运维管理的便利性。
本实施例提供了另一种数据处理方法，该方法在上述实施例的基础上实现；如图3所示，该方法包括如下步骤：
步骤S302，通过大数据采集组件监测源文件是否被更新。
步骤S304，如果源文件被更新，获取源文件中的更新数据，将更新数据发送至数据接收设备，以通过数据接收设备保存更新数据。
步骤S306，如果接收到数据接收设备发送的更新数据保存失败的消息，继续执行将更新数据发送至数据接收设备的步骤，直至更新数据保存成功。
在实际实现时，数据接收设备在接收到更新数据后，通常会对该更新数据进行签名校验和解密，如果签名校验未通过，或者如果解密该更新数据失败，则无法成功保存更新数据，这时通常会生成消息通知，并发送至数据采集设备，数据采集设备接收到该消息通知后，可以在下一次采集存储时，将未成功保存的更新数据重新发送至数据接收设备。
上述数据处理方法，如果通过大数据采集组件监测到源文件被更新，获取源文件中的更新数据，将更新数据发送至数据接收设备，以通过数据接收设备保存更新数据，如果接收到数据接收设备发送的更新数据保存失败的消息，继续执行将更新数据发送至数据接收设备的步骤，直至更新数据保存成功。该方法可以通过大数据采集组件主动采集源文件中的更新数据，并发送至数据接收设备，只需要集中监控大数据采集组件即可，不需要开发API接口程序，从而提高了运维管理的便利性。
本申请实施例提供了另一种数据处理方法，该方法应用于运行有大数据接收组件的数据接收设备，数据接收设备与运行有大数据采集组件的数据采集设备通信连接，数据采集设备中预先设置有源文件，源文件用于保存用户上传的数据；上述大数据接收组件可以用于接收数据，还可以对接收到的数据进行相关处理，如签名校验或解密等；该大数据接收组件通常运行在数据接收设备中；如图4所示，该方法包括如下步骤：
步骤S402，通过大数据接收组件接收数据采集设备发送的更新数据；其中，更新数据由数据采集设备通过以下方式得到：通过大数据采集组件监测源文件是否被更新；如果源文件被更新，获取源文件中的更新数据。
在实际实现时，可以通过运行在大数据接收设备中的大数据接收组件，接收数据采集设备发送的更新数据，具体的，运行在数据采集设备中的大数据采集组件与运行在数据接收设备中的大数据接收组件之间可以通过信息通道连接，如果大数据采集组件监测到源文件被更新，获取该源文件中的更新数据，大数据接收组件通过信息通道接收大数据采集组件所获取到的更新数据。
步骤S404，保存更新数据。
数据接收设备接收到更新数据后，通常会将更新数据保存到指定的存储位置，比如，可以保存到MYSQL(一种开源的关系型数据库管理系统)或PostgreSQL(一种开源数据库)等关系型数据库中，也可以保存到Hadoop(一种分布式系统基础架构)、MongoDB(一种基于分布式文件存储的数据库)等存储结构中。
上述数据处理方法，通过大数据接收组件接收数据采集设备发送的更新数据；其中，更新数据由数据采集设备通过以下方式得到：通过大数据采集组件监测源文件是否被更新；如果源文件被更新，获取源文件中的更新数据；保存该更新数据。该方法可以通过大数据采集组件主动采集源文件中的更新数据，并发送至数据接收设备，只需要集中监控大数据采集组件即可，不需要开发API接口程序，从而提高了运维管理的便利性。
本实施例提供了另一种数据处理方法，该方法在上述实施例的基础上实现；该方法重点描述保存更新数据的具体过程，该方法中，更新数据预先携带有加密密钥和校验签名；如图5所示，该方法包括如下步骤：
步骤S502，通过大数据接收组件接收数据采集设备发送的更新数据；其中，更新数据由数据采集设备通过以下方式得到：通过大数据采集组件监测源文件是否被更新；如果源文件被更新，获取源文件中的更新数据。
步骤S504，通过大数据接收组件验证校验签名，以确认更新数据是否被篡改。
在实际实现时，上述源文件还可以通过预设压缩算法生成对应的压缩文件，在数据采集设备通过大数据采集组件获取源文件中的更新数据时，可以先对压缩文件进行解压，再执行后续上传至大数据接收设备的过程，在数据接收设备通过大数据接收组件接收到更新数据后，通常需要先根据其携带的校验签名进行校验，如果校验签名正确，则可以确认更新数据没有被篡改；如果校验签名不正确，则通常认为更新数据被篡改。
步骤S506，如果确认更新数据未被篡改，基于预设的加密算法和与加密密钥对应的解密密钥，解密更新数据。
如果对原始更新数据进行加密时所采用的加密算法是对称加密算法，则加密密钥和解密密钥通常是相同的一个密钥，如果所采用的加密算法是非对称加密算法，则加密密钥和解密密钥通常是两个不同的密钥；在实际实现时，如果确认更新数据没有被篡改，可以基于所采用的加密算法和加密密钥，获取到解密密钥，再利用该解密密钥，解密该更新数据；比如，如果加密算法采用的是SM2算法，并且采用私有密钥对原始更新数据进行的加密，则数据接收设备可以通过大数据接收组件，基于机构编码等信息获取到对应的公开密钥，利用该公开密钥解密该更新数据。
步骤S508，保存解密后的更新数据。
数据接收设备通过大数据接收组件解密更新数据后，通常会将解密后的更新数据保存到指定的存储位置，如MYSQL、PostgreSQL等关系型数据库中，或者Hadoop、MongoDB等存储结构中。在实际实现时，上述数据接收设备可以设置在区域影像云平台，数据接收设备通过大数据接收组件接收到更新数据，并对更新数据通过签名校验和解密后，实现将解密后的更新数据存储到区域影像云平台。
区别于上述将解密后的更新数据直接存入到数据库中的方式，还可以有另一种替代方式，该替代方式中，数据接收设备通过大数据接收组件接收到更新数据后，可先将该更新数据上传至服务器磁盘存储，如：FTP，对象存储等，存储成功后，再对该更新数据进行签名校验和解密，将解密后的更新数据存入数据库中。
步骤S510，如果确认更新数据被篡改，或者，如果解密更新数据失败，生成更新数据保存失败的消息。
在实际实现时，在数据接收设备通过大数据接收组件对接收到的更新数据进行签名校验时，如果校验签名不正确，则可以认为该更新数据被篡改，更新数据不能被成功保存，这时会生成消息通知；如果校验签名正确，但是在对更新数据进行解密的过程中，解密失败，则更新数据也不能被成功保存，这时也会生成消息通知。
步骤S512，将消息发送至数据采集设备，以继续执行通过大数据接收组件接收数据采集设备发送的更新数据的步骤，直至更新数据保存成功。
在实际实现时，大数据采集组件采集完数据之后，通常自身无法确认更新数据是否保存成功，因此，数据接收设备在生成消息通知后，通常会将该消息通知发送至数据采集设备，以使数据采集设备获取到数据未成功保存的消息，在下一次采集存储时，将未成功保存的更新数据重新发送至数据接收设备。另外，为了保证数据采集设备中的存储空间，通常会对数据采集设备中所备份的更新数据进行定期删除，数据采集设备可以根据该消息通知确认是否可以删除相应的更新数据，如果接收到更新数据保存失败的消息通知，则不会对未重新存储的更新数据进行删除，如果更新数据保存成功，则可以删除相应的更新数据。
一般情况下，除了会将消息通知发送至数据采集设备外，该消息通知还可以以订阅方式存在，如果第三方或需求方需要获知相应的消息通知，可以订阅该消息。
上述数据处理方法，通过大数据接收组件接收数据采集设备发送的更新数据，其中，更新数据由数据采集设备通过以下方式得到：通过大数据采集组件监测源文件是否被更新；如果源文件被更新，获取源文件中的更新数据；如果通过大数据接收组件验证校验签名确认更新数据未被篡改，基于预设的加密算法和与加密密钥对应的解密密钥，解密更新数据，保存解密后的更新数据；如果确认更新数据被篡改，或者，如果解密更新数据失败，生成更新数据保存失败的消息，并发送至数据采集设备，以继续执行通过大数据接收组件接收数据采集设备发送的更新数据的步骤，直至更新数据保存成功。该方法可以通过大数据采集组件主动采集源文件中的更新数据，并发送至数据接收设备，只需要集中监控大数据采集组件即可，不需要开发API接口程序，从而提高了运维管理的便利性。
本实施例提供了另一种数据处理方法，该方法应用于运行有数据生成服务的数据生成设备，数据生成设备与数据采集设备通信连接；数据采集设备中预先设置有源文件；上述数据生成服务可以用于对原始数据进行处理，以得到符合预设格式要求的数据，比如，可以对原始数据进行加密或增加校验签名等；如图6所示，该方法包括如下步骤：
步骤S602，通过数据生成服务获取原始更新数据。
为方面说明，以医疗机构的影像报告数据为例，该影像报告数据即为上述原始更新数据，在实际实现时，该影像报告数据可以保存在医疗机构的本地终端中，如保存在计算机中等，数据生成设备可以通过该数据生成服务读取到该影像报告数据。
步骤S604，基于预设的加密算法和加密密钥，对原始更新数据进行加密。
步骤S606，基于预设的校验签名算法，生成校验签名。
步骤S608，将校验签名携带至加密后的原始更新数据中，得到更新数据，将更新数据保存至源文件中，以通过数据采集设备获取源文件中的更新数据，将更新数据发送至数据接收设备，以通过数据接收设备保存更新数据。
为方便说明，仍以原始更新数据为影像报告数据为例，则医疗机构通过数据生成设备对影像报告数据进行加密和增加校验签名后，存储至相应的源文件中，考虑到源文件中的数据量大小，可以按天进行存储。
上述数据处理方法，通过数据生成服务获取原始更新数据，基于预设的加密算法和加密密钥，对原始更新数据进行加密，基于预设的校验签名算法，生成校验签名，将校验签名携带至加密后的原始更新数据中，得到更新数据，将更新数据保存至源文件中，以通过数据采集设备获取源文件中的更新数据，将更新数据发送至数据接收设备，以通过数据接收设备保存更新数据。该方法可以通过大数据采集组件主动采集源文件中的更新数据，并发送至数据接收设备，只需要集中监控大数据采集组件即可，不需要开发API接口程序，从而提高了运维管理的便利性。
为进一步理解上述实施例，下面提供如图7所示的另一种数据处理方法的流程图，图7中包括医疗机构、前置机(对应上述数据采集设备)和影像中心(对应上述数据接收设备)；其中，前置机可以理解为，通过专线或硬件隔离技术，可以将运行医疗机构内网的计算机连接到影像数据中心，该计算机从功能上就可以称为前置机；通过前置机可以打通医院的网络和影像中心的网络，前置机既可以访问到医院的网，又可以访问到影像中心的网，一方面可以实现跨网段实现数据交互，另一方面本身有一些策略保证医院的网络和影像中心的网络不会直接联通。
医疗机构通过数据生成设备读取影像报告数据，对该影像报告数据采用SM2算法进行加密处理，具体的，可以采用私有密钥进行加密，然后采用MD5报文摘要算法生成校验签名，并携带至加密后的影像报告数据中，再追加一行数据到报告文件中，实现将加密和加校验签名的影像报告数据存储至前置机。
前置机通过采集Agent(对应上述大数据采集组件)设置需要采集的报告文件(对应上述源文件)，通过监测该报告文件的变化，按行读取报告文件中的数据(对应上述更新数据)；将读取的报告文件中的数据先通过签名校验，确保数据无篡改，确认后通过信息通道上传到影像中心。
影像中心通过接收组件(对应上述大数据接收组件)处理接收到的数据，对接收到的数据再次校验签名，以确保数据未被篡改，验证通过后，使用SM2算法对应的公开密钥解密所接收到的数据，并将解密后的数据存储至指定位置；如果校验签名验证未通过或者数据解密失败，生成消息通知。
上述数据处理方法采用文件方式的接口方式，实现医疗机构前置机与影像中心的数据交换，替换了现有技术中的API接口方式，通过大数据采集组件主动采集并上传报告文件中的数据，实现报告文件数据采集的通用性；在数据安全方面，采用国密SM2算法，将影像报告数据进行加密，只有对应私有密钥的用户才可以采集并上传数据，只有对应的公开密钥才可以解密数据，有效保障医疗数据在存储、传输过程中的安全，确保不会泄露用户信息；并对传输每条记录使用MD5签名，确保对应的每条影像报告数据不会被篡改。上述方式解决了影像报告文件数据上传的安全问题，以及数据采集产品化的问题，后续各医疗机构只要按要求将影像报告数据存储到对应的报告文件，就可实现报告文件中数据的采集和上传，同时也解决了现有技术中前置机采集运行环境的运维工作。
上述方式在兼顾安全下，前置机采集方式统一，方便统一运维管理；文件采集上传成熟、稳定，避免程序上传中的异常；数据格式、内容相对稳定，避免由于数据格式的变化导致程序处理的异常；并且，文件存储容易数据溯源，当出现疑问数据时，可读取指定文件内容对比确认。采用文件方式，数据从采集上传、上传处理解析、入库都可以标准化，任何一家机构都是使用通用的方式，数据出错后，程序更新可再次读取报告文件中的数据以补传数据。
参见图8所示的一种数据采集上传处理时序图，采集组件设置需监测的源文件，源文件变化时，按行读取源文件中更新的数据实现数据上传；在上传之前，通常需要先校验数据是否是符合校验签名要求的数据，确保数据在上传前未篡改；验证通过后通过信息通道传输进入处理过程，在数据处理过程中，通常先校验数据是否符合校验签名要求，通过校验后，确认数据在传输过程中未被篡改；然后使用SM2算法对应公开密钥，解密数据，实现将原始报告的数据持久化存储。
采用大数据采集组件的采集方式，医疗机构只需要将影像报告数据按预设格式要求存储到影像报告文件，减轻外部厂商接入的难度，简化不同厂商数据采集的工作量；使用大数据采集组件的方式上传数据，可集中监控大数据采集组件，运维和管理集中统一。
现有技术中，主要是通过提供API程序接口上传数据，这种方式中，数据接收设备无法获知原始数据，无法回溯，一方面无法确认数据与原始数据是否一致，另一方面，如果客户认为数据接收设备接收到的数据与原始数据不一致，也无法去确认。本申请采用本地文件方式，一方面只需要把数据保存至对应的报告文件中，数据采集组件可以自动采集数据并上传到数据接收设备，如区域影像云平台上，该方式中，在数据采集设备中存有备份数据，可以回溯，如果数据接收方认为数据有问题，可以获取到报告文件中所存储的原始数据。
本申请实施例提供了一种数据处理装置的结构示意图，如图9所示，装置设置于运行有大数据采集组件的数据采集设备，数据采集设备中预先设置有源文件，源文件用于保存用户上传的数据；装置包括：监测模块90，用于通过大数据采集组件监测源文件是否被更新；发送模块91，用于如果源文件被更新，获取源文件中的更新数据，将更新数据发送至数据接收设备，以通过数据接收设备保存更新数据。
上述数据处理装置，如果通过大数据采集组件监测到源文件被更新，获取该源文件中的更新数据，并将该更新数据发送至数据接收设备，以通过该数据接收设备保存该更新数据。该装置可以通过大数据采集组件主动采集源文件中的更新数据，并发送至数据接收设备，只需要集中监控大数据采集组件即可，不需要开发API接口程序，从而提高了运维管理的便利性。
进一步的，更新数据由数据生成设备通过以下方式得到：获取原始更新数据；基于预设的加密算法和加密密钥，对原始更新数据进行加密；基于预设的校验签名算法，生成校验签名；将校验签名携带至加密后的原始更新数据中，得到更新数据，将更新数据保存至源文件中。
进一步的，更新数据包括多个，每个更新数据携带有校验签名；发送模块91还用于：针对每个更新数据，基于该更新数据携带的校验签名，确认该更新数据是否被篡改；如果该更新数据未被篡改，将该更新数据发送至数据接收设备，以通过数据接收设备保存更新数据。
进一步的，该装置还用于：如果接收到所述数据接收设备发送的所述更新数据保存失败的消息，继续执行将所述更新数据发送至数据接收设备的步骤，直至所述更新数据保存成功。
本申请实施例所提供的数据处理装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，数据处理装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本申请实施例提供了另一种数据处理装置的结构示意图，如图10所示，装置设置于运行有大数据接收组件的数据接收设备，数据接收设备与运行有大数据采集组件的数据采集设备通信连接，数据采集设备中预先设置有源文件，源文件用于保存用户上传的数据；装置包括：接收模块100，用于通过大数据接收组件接收数据采集设备发送的更新数据；其中，更新数据由数据采集设备通过以下方式得到：通过大数据采集组件监测源文件是否被更新；如果源文件被更新，获取源文件中的更新数据；保存模块101，用于保存更新数据。
上述数据处理装置，通过大数据接收组件接收数据采集设备发送的更新数据；其中，更新数据由数据采集设备通过以下方式得到：通过大数据采集组件监测源文件是否被更新；如果源文件被更新，获取源文件中的更新数据；保存该更新数据。该装置可以通过大数据采集组件主动采集源文件中的更新数据，并发送至数据接收设备，只需要集中监控大数据采集组件即可，不需要开发API接口程序，从而提高了运维管理的便利性。
进一步的，更新数据预先携带有加密密钥和校验签名；保存模块101还用于：通过大数据接收组件验证校验签名，以确认更新数据是否被篡改；如果确认更新数据未被篡改，基于预设的加密算法和与加密密钥对应的解密密钥，解密更新数据；保存解密后的更新数据。
进一步的，该装置还用于：如果确认更新数据被篡改，或者，如果解密更新数据失败，生成更新数据保存失败的消息；将消息发送至数据采集设备，以继续执行通过大数据接收组件接收数据采集设备发送的更新数据的步骤，直至更新数据保存成功。
本申请实施例所提供的数据处理装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，数据处理装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本申请实施例提供了另一种数据处理装置的结构示意图，如图11所示，装置设置于运行有数据生成服务的数据生成设备，数据生成设备与数据采集设备通信连接；数据采集设备中预先设置有源文件；装置包括：获取模块110，用于通过所述数据生成服务获取原始更新数据；加密模块111，用于基于预设的加密算法和加密密钥，对原始更新数据进行加密；生成模块112，用于基于预设的校验签名算法，生成校验签名；更新模块113，用于将校验签名携带至加密后的原始更新数据中，得到更新数据，将更新数据保存至源文件中，以通过数据采集设备获取源文件中的更新数据，将更新数据发送至数据接收设备，以通过数据接收设备保存更新数据。
上述数据处理装置，通过数据生成服务获取原始更新数据，基于预设的加密算法和加密密钥，对原始更新数据进行加密，基于预设的校验签名算法，生成校验签名，将校验签名携带至加密后的原始更新数据中，得到更新数据，将更新数据保存至源文件中，以通过数据采集设备获取源文件中的更新数据，将更新数据发送至数据接收设备，以通过数据接收设备保存更新数据。该装置可以通过大数据采集组件主动采集源文件中的更新数据，并发送至数据接收设备，只需要集中监控大数据采集组件即可，不需要开发API接口程序，从而提高了运维管理的便利性。
本申请实施例还提供了一种电子设备，参见图12所示，该电子设备包括处理器130和存储器131，该存储器131存储有能够被处理器130执行的机器可执行指令，该处理器130执行机器可执行指令以实现上述数据处理方法。
进一步地，图12所示的电子设备还包括总线132和通信接口133，处理器130、通信接口133和存储器131通过总线132连接。
其中，存储器131可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口133(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线132可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器130可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器130中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器130可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器131，处理器130读取存储器131中的信息，结合其硬件完成前述实施例的方法的步骤。
本申请实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述数据处理方法，具体实现可参见方法实施例，在此不再赘述。
本申请实施例所提供的数据处理方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (13)

1.一种数据处理方法，其特征在于，所述方法应用于运行有大数据采集组件的数据采集设备，所述数据采集设备中预先设置有源文件，所述源文件用于保存用户上传的数据；所述方法包括：
通过所述大数据采集组件监测所述源文件是否被更新；
如果所述源文件被更新，获取所述源文件中的更新数据，将所述更新数据发送至数据接收设备，以通过所述数据接收设备保存所述更新数据。
2.根据权利要求1所述的方法，其特征在于，所述更新数据由数据生成设备通过以下方式得到：
获取原始更新数据；
基于预设的加密算法和加密密钥，对所述原始更新数据进行加密；
基于预设的校验签名算法，生成所述校验签名；
将所述校验签名携带至加密后的所述原始更新数据中，得到所述更新数据，将所述更新数据保存至所述源文件中。
3.根据权利要求1所述的方法，其特征在于，所述更新数据包括多个，每个所述更新数据携带有校验签名；所述将所述更新数据发送至数据接收设备，以通过所述数据接收设备保存所述更新数据的步骤包括：
针对每个所述更新数据，基于该更新数据携带的所述校验签名，确认该更新数据是否被篡改；
如果该更新数据未被篡改，将该更新数据发送至数据接收设备，以通过所述数据接收设备保存所述更新数据。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
如果接收到所述数据接收设备发送的所述更新数据保存失败的消息，继续执行将所述更新数据发送至数据接收设备的步骤，直至所述更新数据保存成功。
5.一种数据处理方法，其特征在于，所述方法应用于运行有大数据接收组件的数据接收设备，所述数据接收设备与运行有大数据采集组件的数据采集设备通信连接，所述数据采集设备中预先设置有源文件，所述源文件用于保存用户上传的数据；所述方法包括：
通过所述大数据接收组件接收所述数据采集设备发送的更新数据；其中，所述更新数据由所述数据采集设备通过以下方式得到：通过所述大数据采集组件监测所述源文件是否被更新；如果所述源文件被更新，获取所述源文件中的更新数据；
保存所述更新数据。
6.根据权利要求5所述的方法，其特征在于，所述更新数据预先携带有加密密钥和校验签名；
所述保存所述更新数据的步骤包括：
通过所述大数据接收组件验证所述校验签名，以确认所述更新数据是否被篡改；
如果确认所述更新数据未被篡改，基于预设的加密算法和与所述加密密钥对应的解密密钥，解密所述更新数据；
保存解密后的所述更新数据。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
如果确认所述更新数据被篡改，或者，如果解密所述更新数据失败，生成所述更新数据保存失败的消息；
将所述消息发送至所述数据采集设备，以继续执行通过所述大数据接收组件接收所述数据采集设备发送的更新数据的步骤，直至所述更新数据保存成功。
8.一种数据处理方法，其特征在于，所述方法应用于运行有数据生成服务的数据生成设备，所述数据生成设备与数据采集设备通信连接；所述数据采集设备中预先设置有源文件；所述方法包括：
通过所述数据生成服务获取原始更新数据；
基于预设的加密算法和加密密钥，对所述原始更新数据进行加密；
基于预设的校验签名算法，生成所述校验签名；
将所述校验签名携带至加密后的所述原始更新数据中，得到所述更新数据，将所述更新数据保存至所述源文件中，以通过所述数据采集设备获取所述源文件中的更新数据，将所述更新数据发送至数据接收设备，以通过所述数据接收设备保存所述更新数据。
9.一种数据处理装置，其特征在于，所述装置设置于运行有大数据采集组件的数据采集设备，所述数据采集设备中预先设置有源文件，所述源文件用于保存用户上传的数据；所述装置包括：
监测模块，用于通过所述大数据采集组件监测所述源文件是否被更新；
发送模块，用于如果所述源文件被更新，获取所述源文件中的更新数据，将所述更新数据发送至数据接收设备，以通过所述数据接收设备保存所述更新数据。
10.一种数据处理装置，其特征在于，所述装置设置于运行有大数据接收组件的数据接收设备，所述数据接收设备与运行有大数据采集组件的数据采集设备通信连接，所述数据采集设备中预先设置有源文件，所述源文件用于保存用户上传的数据；所述装置包括：
接收模块，用于通过所述大数据接收组件接收所述数据采集设备发送的更新数据；其中，所述更新数据由所述数据采集设备通过以下方式得到：通过所述大数据采集组件监测所述源文件是否被更新；如果所述源文件被更新，获取所述源文件中的更新数据；
保存模块，用于保存所述更新数据。
11.一种数据处理装置，其特征在于，所述装置设置于运行有数据生成服务的数据生成设备，所述数据生成设备与数据采集设备通信连接；所述数据采集设备中预先设置有源文件；所述装置包括：
获取模块，用于通过所述数据生成服务获取原始更新数据；
加密模块，用于基于预设的加密算法和加密密钥，对所述原始更新数据进行加密；
生成模块，用于基于预设的校验签名算法，生成所述校验签名；
更新模块，用于将所述校验签名携带至加密后的所述原始更新数据中，得到所述更新数据，将所述更新数据保存至所述源文件中，以通过所述数据采集设备获取所述源文件中的更新数据，将所述更新数据发送至数据接收设备，以通过所述数据接收设备保存所述更新数据。
12.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1-8任一项所述的数据处理方法。
13.一种机器可读存储介质，其特征在于，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现权利要求1-8任一项所述的数据处理方法。
CN202010943909.6A 2020-09-09 2020-09-09 数据处理方法、装置和电子设备 Active CN112073520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010943909.6A CN112073520B (zh) 2020-09-09 2020-09-09 数据处理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010943909.6A CN112073520B (zh) 2020-09-09 2020-09-09 数据处理方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN112073520A true CN112073520A (zh) 2020-12-11
CN112073520B CN112073520B (zh) 2022-08-09

Family

ID=73663245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010943909.6A Active CN112073520B (zh) 2020-09-09 2020-09-09 数据处理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN112073520B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116708523A (zh) * 2023-08-08 2023-09-05 北京久其金建科技有限公司 混凝土数据处理方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050193040A1 (en) * 2004-02-26 2005-09-01 Adiba Nicolas G. Algorithm to find LOB value in a relational table after key columns have been modified
CN101739458A (zh) * 2009-12-02 2010-06-16 中兴通讯股份有限公司 多语化资源的更新方法和系统
CN102289480A (zh) * 2011-08-02 2011-12-21 深圳市茁壮网络股份有限公司 一种数据更新的方法和系统
CN102710441A (zh) * 2012-05-31 2012-10-03 朱峻茂 一种基于统一接口的多平台信息采集方法和信息采集系统
CN108710500A (zh) * 2018-05-23 2018-10-26 北京五八信息技术有限公司 资源发布方法、更新方法和装置
CN108829867A (zh) * 2018-06-22 2018-11-16 深圳云之家网络有限公司 一种大数据的智能采集方法及系统
CN108959657A (zh) * 2018-08-13 2018-12-07 北京高途云集教育科技有限公司 一种数据变更处理方法及装置
US20190114401A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated On device structure layout randomization for binary code to enhance security through increased entropy
CN110287277A (zh) * 2019-06-26 2019-09-27 江苏省基础地理信息中心 一种基础地理信息联动更新方法和装置
CN110310051A (zh) * 2019-07-11 2019-10-08 上海企久数据技术有限公司 一种自动导入和动态更新企业数据的智慧园区管理方法
CN110349043A (zh) * 2019-06-04 2019-10-18 中国农业科学院农业资源与农业区划研究所 一种地块级多类型农户农业资源信息管理系统
CN111310084A (zh) * 2018-12-12 2020-06-19 北京嘀嘀无限科技发展有限公司 页面加载方法、装置、系统、用户终端及可读存储介质
CN111309360A (zh) * 2020-02-07 2020-06-19 腾讯科技（深圳）有限公司 快充设备的固件更新方法、装置、计算机设备及存储介质
CN111414416A (zh) * 2020-02-28 2020-07-14 平安科技（深圳）有限公司 数据处理方法、装置、设备和存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050193040A1 (en) * 2004-02-26 2005-09-01 Adiba Nicolas G. Algorithm to find LOB value in a relational table after key columns have been modified
CN101739458A (zh) * 2009-12-02 2010-06-16 中兴通讯股份有限公司 多语化资源的更新方法和系统
CN102289480A (zh) * 2011-08-02 2011-12-21 深圳市茁壮网络股份有限公司 一种数据更新的方法和系统
CN102710441A (zh) * 2012-05-31 2012-10-03 朱峻茂 一种基于统一接口的多平台信息采集方法和信息采集系统
US20190114401A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated On device structure layout randomization for binary code to enhance security through increased entropy
CN108710500A (zh) * 2018-05-23 2018-10-26 北京五八信息技术有限公司 资源发布方法、更新方法和装置
CN108829867A (zh) * 2018-06-22 2018-11-16 深圳云之家网络有限公司 一种大数据的智能采集方法及系统
CN108959657A (zh) * 2018-08-13 2018-12-07 北京高途云集教育科技有限公司 一种数据变更处理方法及装置
CN111310084A (zh) * 2018-12-12 2020-06-19 北京嘀嘀无限科技发展有限公司 页面加载方法、装置、系统、用户终端及可读存储介质
CN110349043A (zh) * 2019-06-04 2019-10-18 中国农业科学院农业资源与农业区划研究所 一种地块级多类型农户农业资源信息管理系统
CN110287277A (zh) * 2019-06-26 2019-09-27 江苏省基础地理信息中心 一种基础地理信息联动更新方法和装置
CN110310051A (zh) * 2019-07-11 2019-10-08 上海企久数据技术有限公司 一种自动导入和动态更新企业数据的智慧园区管理方法
CN111309360A (zh) * 2020-02-07 2020-06-19 腾讯科技（深圳）有限公司 快充设备的固件更新方法、装置、计算机设备及存储介质
CN111414416A (zh) * 2020-02-28 2020-07-14 平安科技（深圳）有限公司 数据处理方法、装置、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡捷，陈大伟: ""商业银行影像平台及非结构化数据存储研究与实践"", 《中国金融电脑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116708523A (zh) * 2023-08-08 2023-09-05 北京久其金建科技有限公司 混凝土数据处理方法及装置
CN116708523B (zh) * 2023-08-08 2024-04-12 北京久其金建科技有限公司 混凝土数据处理方法及装置

Also Published As

Publication number Publication date
CN112073520B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
US20190074968A1 (en) Method, apparatus and system for data encryption and decryption
US6601172B1 (en) Transmitting revisions with digital signatures
CN107194267B (zh) 数据处理方法、数据处理设备以及计算机可读存储介质
CN111128322A (zh) 基于区块链的医疗数据处理方法、服务器及系统
CN106941404B (zh) 密钥保护方法及装置
CN111294203B (zh) 信息传输方法
CN114244534A (zh) 数据存储方法、装置、设备和存储介质
JPWO2018229867A1 (ja) 個人情報保護システム
CN112118245B (zh) 密钥管理方法、系统和设备
US9231927B2 (en) Information processing apparatus, data generation method, information processing method, and information processing system for updating and verifying software programs
CN112866237A (zh) 数据通讯方法、装置、设备和存储介质
CN112073520B (zh) 数据处理方法、装置和电子设备
US20120302212A1 (en) Secure mobile radiology communication system
CN110635912A (zh) 数据处理方法及装置
CN114171144A (zh) 安全存储和取回医疗数据的方法
CN111404892B (zh) 数据监管方法、装置和服务器
CN111081331B (zh) 患者档案私密性保护方法及系统
WO2019095552A1 (zh) 区域医疗电子病历安全协同整合系统及方法
CN111427860B (zh) 分布式存储系统及其数据处理方法
CN111294210B (zh) 一种医疗信息的管理方法及相关设备
US20220147640A1 (en) Secure secret sharing storage system using cloud service
CN112131591A (zh) 对信息的密文进行压缩的加密方法、装置、设备及介质
CN113890759B (zh) 文件传输方法、装置、电子设备和存储介质
CN115828300A (zh) 基于区块链的带隐私保护的政务信息处理方法及系统
CN115242449A (zh) 医疗数据上传方法、下载方法、传输系统、设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant