CN113360473A - 一种面向医学检验图像大数据的云存储计算系统 - Google Patents

一种面向医学检验图像大数据的云存储计算系统 Download PDF

Info

Publication number
CN113360473A
CN113360473A CN202110671659.XA CN202110671659A CN113360473A CN 113360473 A CN113360473 A CN 113360473A CN 202110671659 A CN202110671659 A CN 202110671659A CN 113360473 A CN113360473 A CN 113360473A
Authority
CN
China
Prior art keywords
image
client
data
cloud
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110671659.XA
Other languages
English (en)
Inventor
刘勒波
孔鑫
田刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Affiliated Hospital of Southwest Medical University
Original Assignee
Affiliated Hospital of Southwest Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Affiliated Hospital of Southwest Medical University filed Critical Affiliated Hospital of Southwest Medical University
Priority to CN202110671659.XA priority Critical patent/CN113360473A/zh
Publication of CN113360473A publication Critical patent/CN113360473A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45562—Creating, deleting, cloning virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Power Engineering (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提供的一种面向医学检验图像大数据的云存储计算系统，涉及医学检验大数据领域。本发明通过B/S架构构建面向医学检验图像大数据的云存储计算系统，用户仅需要通过浏览器访问指定的URL就能得到云计算和云存储服务，其升级更新也仅在云端进行，对客户端部署的硬件要求极低，且能进行跨平台运行；通过以Sequence File对小文件进行打包成大块文件，保证了系统读取小文件的速率问题；通过将DICOM文件重绘制为彩色PGN图像，得到的彩色PGN图像便能及其直观地展示图像的不同层次，重绘制在云计算端进行，能减少客户端的硬件要求；通过双向哈希加密来保证数据的隐私性，通过MD5码来验证原文件是否遭受破坏。

Description

一种面向医学检验图像大数据的云存储计算系统
技术领域
本发明涉及医学检验大数据领域，尤其涉及一种面向医学检验图像大数据的云存储计算系统。
背景技术
二十一世纪是数据爆炸的时代，医学也不例外。医学在广度和深度方面日新月异，循证医学深入人心，信息化医疗迅速发展。另一方面，计算机技术的飞速发展使得存储容量不断扩大，成本不断下降。医学知识、医学信息呈现几何级数增长。“大数据”(big data)这个近年来的热词，在各行各业得到了广泛应用，在医学检验领域的应用尤其具有现实意义。医学检验大数据指的是巨大的数据量的医学检验相关数据，而医学检验图像大数据则是医学检验大数据的重头部分；其中蕴含着许多未开发的知识财富，如果我们在合理时间内对医学检验图像大数据进行管理、提取、并整理成为有用信息，便能使大数据起到推动医学发展的积极作用；但是，由于其数据量巨大，其面临的数据存储问题，数据使用问题，数据安全问题都值得我们思考。
既往针对海量的医学检验图像大数据的存储通常是直接存储于本地存储服务器中，本地存储服务器往往是一台或者两台，当存储空间不足时，再根据需求添加存储服务器。此种方法成本低，方案简单，在数据量不大时起到一定积极的效果；但是随着存储量不断地提高，所需要的存储设备也会越来越多，一些大型医院的数据中心服务器数目甚至达到了上百台之多，这种“起高炉”的存储模式在存储数据量大以后，会出现维护困难，内部无有序结构，系统运行速度低下，数据安全性低等问题。
究其原因是产生医学检验图像大数据的机构往往是专注于医学领域的专业性机构，对应数据存储维护基本不具备什么经验，仅仅是凭直观的：“存储不够就加存储服务器”的思路。这种思路到最后会导致系统臃肿，大量数据冗余，扩展性受限，数据迁移、利用等效率低下，对于后期海量数据的维护带来了巨大挑战。
为此，申请号为CN201410683038.3的发明申请提出了一种基于云计算的医疗数据存储系统，该申请包括院端信息系统、院端数据管理系统、云端数据管理系统及云存储服务器，所述院端数据管理系统分别连接所述院端信息系统和云端数据管理系统，用于接收院端信息系统发送的医疗数据并进行处理，然后发送到云端数据管理系统，所述云端数据管理系统连接所述云存储服务器，用于接收由院端数据管理系统发送的医疗数据并进行处理，然后存储到云存储服务器。
该申请通过向医院等医学检验大数据产生机构提供对应的云存储服务从而达到减轻医院等机构的存储、维护、运行和管理压力，将医学检验大数据与产生机构剥离，并交给专业人士进行处理，能增强对医学检验大数据的利用、维护的效率。
但是，由于医学检验大数据涉及到文字数据、图像数据、模型矢量数据等，而图像大数据有别于文字数据，仅依靠现有的云存储框架是难以满足医学检验大数据的存储需要的，且由于云存储涉及到除医院的第三方机构，医学检验大数据又存在大量隐私数据，如何保护数据的隐私性上述申请也未提及。
因此，有必要提供一种面向医学检验图像大数据的云存储计算系统来解决上述技术问题。
发明内容
为解决上述技术问题，本发明提出一种面向医学检验图像大数据的云存储计算系统，包括客户端、WEB服务端、云计算端和云存储端，所述面向医学检验图像大数据的云存储计算系统用于通过B/S架构向用户提供类针对医学检验图像大数据的云存储和云计算服务，用户通过向浏览器输入对应的URL地址对客户端进行访问，客户端的页面通过HTML/CSS/JavaScript技术构建，WEB服务端与云计算端、云存储端之间的数据通过Ajax技术进行交互；
所述Web服务端用于响应来自客户端的数据交互请求，并对交互请求进行应答，应答数据通过HTTP协议返回给客户端；浏览器再将应答数据进行解析并呈现给用户；应答数据包括HTML文档、Applet应用以及多源异构数据；通过若HTML文档中包含ASP/CGI程序，则通过Web服务端进行运行，并将运行结果发送至客户端；
所述云存储端用于对数据进行存储、管理，Web服务端能对云存储端中的文件进行上传、下载、修改和读取操作；
呈现在客户端上的应答数据包括图形化UI、应用和文件；所述文件与应用均通过图形化界面进行展示，用户能通过键盘、鼠标和其他控制设备对类桌面操作系统的UI界面、文件和程序进行编辑、拖拽、设置、调整、启用和停用操作。
作为更进一步的解决方案，所述云存储端通过HDFS分布式文件系统进行管理，所述HDFS分布式文件系统包括一个Name_node和多个Data_node；所述Name_node通过DatanodProtocol协议与Data_node进行交互；
所述Data_node用于向文件提供存储空间，存储文件以Blocks的形式保存在Data_node中，各Data_node会周期性对本地磁盘进行扫描，并将本地磁盘上保存的Blocks信息汇报给Name_node；Data_node通过周期性验证Check Sum值是否和文件创建时的Check Sum值一致来判断文件是否发生改变；
所述Name_node用于管理分布式文件系统的命名空间和各Docker容器对文件的访问操作，Name_node在接收到的Blocks信息和Blocks对应所在的Data_node信息保存至内存中并整理成目录树保存至编辑日志文件中，通过目录树和用户请求，所述Name_node对相应的Blocks进行增删改查操作。
作为更进一步的解决方案，所述云计算端是基于Linux的云计算端，通过Spark分布式计算引擎进行管理，所述云计算端配置有Spark分布式计算引擎对应版本号的运行环境。
作为更进一步的解决方案，所述云计算端通过Docker容器对Spark分布式计算引擎进行快速部署、相互隔离和底层硬件解耦；所述Docker容器通过Mount命令组将外部存储单元挂载至本地，并通过存储插件对外部存储单元的存储卷进行管理；所述Docker容器通过RESTful API形式与存储插件进行对接，所述RESTful API的功能接口包括Activate握手、Create创建卷、Mount挂载卷、Path获取卷的路径、Unmount卸载卷、Remove删除卷、List获取卷列表、Get获取卷信息和Capabilities获取卷属性；所述存储插件为Convoy插件，所述外部存储单元为存储云服务器组。
作为更进一步的解决方案，所述云计算端还通过部署Kubernetes容器集群管理系统对Docker容器进行管理；所述Kubernetes容器集群管理系统将Docker容器置于Pod中，所述Pod分布于云计算端各节点中，同一Pod中的Docker容器共享内网IP、网络环境、进程信息、网络信息和主机信息，所述Kubernetes容器集群管理系统通过Kubernetes Master对控制组件，硬件资源进行管理调度，所述控制组件包括：以RESTful API接口方式提供给外部客户和内部组件调用的Kubernetes API Server；为新建立的Pod进行节点选择和集群资源调度的Kubernetes Scheduler；负责执行各控制器的Kubernetes Controller；保证副本数量与实际运行Pod数量一致的Replication Controller；管理维护各节点，定期检查各节点的健康状态，标识出失效、未失效节点的Node Controller；负责管理和定期清理无效命名空间的Namespace Controller；管理维护Job并为Jod创建一次性任务Pod，并保证完成Job指定完成的任务数目的Job Controller；实现Pod的自动伸缩，定时获取监控数据，进行策略匹配，当满足条件时执行Pod的伸缩动作的Pod Autoscaler Controller。
作为更进一步的解决方案，所述Docker容器还加入中间件Alluxio；所述Alluxio用于对Spark数据访问进行加速；所述Alluxio通过适配HDFS分布式文件系统和Spark分布式计算引擎的RESTful API接口进行底层访问数据对接。
作为更进一步的解决方案，所述医学检验图像大数据以DICOM文件格式进行保存；所述DICOM文件中保存有图像像素信息和图像属性信息且各像素点以16位2进制数进行保存；用户通过浏览器访问客户端并对DICOM文件进行预览时，云计算端对DICOM文件进行重绘，云计算端通过调取用户需要查看的DICOM文件；将DICOM文件进行像素级绘制并将绘制图像以PNG格式保存；像素级绘制是将原DICOM文件的各像素点分割为高位8进制像素和低位8进制像素，高位8进制像素写入PNG图像R通道，低位低位8进制像素写入G通道；并得到重绘制后的彩色PGN图像；云计算端将所述彩色PGN图像提供给WEB服务端，WEB服务端通过HTML构建预览图像；所述预览图像包括交互层、图像层和标注层；所述交互层为透明层用于采集用户的行为交互信息，所述重绘制后的彩色PGN图像保存至图像层，图像属性信息则保存至标注层；预览图像通过HTTP协议返回给客户端；用户通过浏览器对预览图像进行预览、缩放、旋转和批注操作；
所述云计算端配备有三维图像模型绘制环境，并对用户预览的三维图像模型进行云绘制；客户端仅负责接收云绘制图像和记录用户的交互信息，而不进行绘制计算；云计算端根据用户的交互信息调整重绘制参数；并将对应用户的交互信息的图像以预览图像形式返回给客户端；用户通过浏览器对预览图像进行预览、缩放、旋转和批注操作。
作为更进一步的解决方案，所述HDFS分布式文件系统定期对云存储端中的小文件进行打包；打包通Sequence File进行，小文件索引保存至key中，小文件的数据保存至value中。
作为更进一步的解决方案，所述云存储端中的数据通过可检索加密对存储数据进行保护，且针对文件的检索直接在云存储进行，客户端只负责接收来自云存储端的检索结果。
作为更进一步的解决方案，所述可检索加密通过如下步骤进行：
提取医学检验图像大数据对应的图像属性信息，将图像属性信息进行关键词提取，得到关键词向量Fi＝{fi1，fi2，...，fin}，fij＝(Wij，Sij)；其中，i表示图像编号；n表示向量维度；fij表示i号图像的第j个关键元素；关键元素fij包括关键词Wij和关键词对应的相关度Sij，Sij表示为：
Sij＝(1+ln(Wij，Di))/|Di|
其中，Di表示i图像编号的图像属性信息；|Di|表示图像属性信息长度；(Wii，Di)表示关键词Wii在Di中出现的频率；
为所有Di设置索引值，并建立索引列表；
用户通过客户端向WEB服务端发出检索请求；
WEB服务端随机选取安全参数K并进行Hash计算，得到私钥SKWEB和公钥PKWEB；
WEB服务端保留私钥SKWEB，并将公钥PKWEB向客户端公开；
客户端随机选取安全参数K并进行Hash计算，得到私钥SKuse和公钥PKuse；
客户端保留私钥SKuse，并将公钥PKuse向WEB服务端公开；
用户输入检索关键词；
客户端将关键词通过字符-索引词典转化为词向量；其中，字符-索引词典为私用词典，仅WEB服务端和客户端知晓；
客户端通过公开的公钥PKwEB对词向量进行加密，并发送给WEB服务端；
WEB服务端通过私钥SKWEB进行解密，得到原始的词向量；
通过字符-索引词典将词向量转化为原始的检索关键词；
将检索关键在词关键词向量Fi中进行匹配；得到各相关度Sij；
将相关度Sij从大到小进行排序；并确定前N项输出；
通过相关度Sii，找到对应的Di；
通过索引列表找到Di对应的索引值；
将索引值通过公钥PKuse进行加密，并发送给客户端；
客户端通过私钥SKuse进行解密，得到满足检索条件的Di对应的索引值；
用户通过选择自己想要的Di，客户端向WEB服务端进行索取；
客户端将需要索取的Di的索引值通过公钥PKWEB进行加密，并发送给WEB服务端；
WEB服务端通过私钥SKWEB进行解密，得到需要索取的Di的索引值；
通过索引值寻找对应的图像像素信息，进行重绘以后，计算MD5；
将重绘图像和MD5码发送给客户端；
客户端验证重绘图像和MD5码是否匹配，若匹配则文件为原文件，未遭受破坏，通过浏览器对重绘图像进行展示。
与相关技术相比较，本发明提供的一种面向医学检验图像大数据的云存储计算系统具有如下有益效果：
1、本发明通过B/S架构构建面向医学检验图像大数据的云存储计算系统，用户仅需要通过浏览器访问指定的URL就能得到云计算和云存储服务，其升级更新也仅在云端进行，对客户端部署的硬件要求极低，且能进行跨平台运行；
2、本发明通过以Sequence File对小文件进行打包成大块文件，保证了系统读取小文件的速率问题；
3、本发明通过将DICOM文件重绘制为彩色PGN图像，得到的彩色PGN图像便能及其直观地展示图像的不同层次，重绘制在云计算端进行，能减少客户端的硬件要求；
4、本发明通过双向哈希加密来保证数据的隐私性，通过MD5码来验证原文件是否遭受破坏。
附图说明
图1为本发明提供的一种面向医学检验图像大数据的云存储计算系统的较佳实施例系统结构图；
图2为本发明提供的一种面向医学检验图像大数据的云存储计算系统的较佳实施例交互示意图。
具体实施方式
下面结合附图和实施方式对本发明作进一步说明。
如图1至图2所示，一种面向医学检验图像大数据的云存储计算系统，包括客户端、WEB服务端、云计算端和云存储端，所述面向医学检验图像大数据的云存储计算系统用于通过B/S架构向用户提供类针对医学检验图像大数据的云存储和云计算服务，用户通过向浏览器输入对应的URL地址对客户端进行访问，客户端的页面通过HTML/CSS/JavaScript技术构建，WEB服务端与云计算端、云存储端之间的数据通过Ajax技术进行交互；所述Web服务端用于响应来自客户端的数据交互请求，并对交互请求进行应答，应答数据通过HTTP协议返回给客户端；浏览器再将应答数据进行解析并呈现给用户；应答数据包括HTML文档、Applet应用以及多源异构数据；通过若HTML文档中包含ASP/CGI程序，则通过Web服务端进行运行，并将运行结果发送至客户端；所述云存储端用于对数据进行存储、管理，Web服务端能对云存储端中的文件进行上传、下载、修改和读取操作；呈现在客户端上的应答数据包括图形化UI、应用和文件；所述文件与应用均通过图形化界面进行展示，用户能通过键盘、鼠标和其他控制设备对类桌面操作系统的UI界面、文件和程序进行编辑、拖拽、设置、调整、启用和停用操作。
具体的：为了解决针对海量医学检验图像大数据的存储和计算问题，本实施例通过构造一种云存储计算系统来解决，包括客户端、WEB服务端、云计算端和云存储端，客户端是用户交互的第一媒介，分为C/S架构和B/S架构。
C/S架构是将需要处理的业务合理地分配到客户端和服务器端，这样可以大大降低通信成本，但是升级维护相对困难，且需要部署专用的客户端才能进行；此外，由于医学检验图像大数据通常会伴随图像的转码、解码、训练等计算，若采用C/S架构，对部署硬件要求较高，且无法做到跨平台运行。
B/S架构则是通过浏览器进行，本地仅做很小的逻辑交互运算，用户仅需要通过浏览器访问指定的URL就能得到云计算和云存储服务，其升级更新也仅在云端进行，对客户端部署的硬件要求极低，且能进行跨平台运行，故本实施例通过B/S架构来创建面向医学检验图像大数据的云存储计算系统。
作为更进一步的解决方案，所述云存储端通过HDFS分布式文件系统进行管理，所述HDFS分布式文件系统包括一个Name_node和多个Data_node；所述Name_node通过DatanodProtocol协议与Data_node进行交互；
所述Data_node用于向文件提供存储空间，存储文件以Blocks的形式保存在Data_node中，各Data_node会周期性对本地磁盘进行扫描，并将本地磁盘上保存的Blocks信息汇报给Name_node；Data_node通过周期性验证Check Sum值是否和文件创建时的Check Sum值一致来判断文件是否发生改变；
所述Name_node用于管理分布式文件系统的命名空间和各Docker容器对文件的访问操作，Name_node在接收到的Blocks信息和Blocks对应所在的Data_node信息保存至内存中并整理成目录树保存至编辑日志文件中，通过目录树和用户请求，所述Name_node对相应的Blocks进行增删改查操作。
具体的：Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用，这与我们的存储管理海量医学检验图像大数据要求不谋而合，且Hadoop架构的衍生部件众多，方便我们对功能进行扩展和更新。
作为更进一步的解决方案，所述云计算端是基于Linux的云计算端，通过Spark分布式计算引擎进行管理，所述云计算端配置有Spark分布式计算引擎对应版本号的运行环境。
需要说明的是：本实施例通过Spark来替代Hadoop原有的MapReduce，Spark专为大规模数据处理而设计的快速通用的计算引擎，是一种与Hadoop相似的开源集群计算环境，拥有Hadoop MapReduce所具有的优点，Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop的生态系统，以弥补MapReduce的不足。
作为更进一步的解决方案，所述云计算端通过Docker容器对Spark分布式计算引擎进行快速部署、相互隔离和底层硬件解耦；所述Docker容器通过Mount命令组将外部存储单元挂载至本地，并通过存储插件对外部存储单元的存储卷进行管理；所述Docker容器通过RESTful API形式与存储插件进行对接，所述RESTful API的功能接口包括Activate握手、Create创建卷、Mount挂载卷、Path获取卷的路径、Unmount卸载卷、Remove删除卷、List获取卷列表、Get获取卷信息和Capabilities获取卷属性；所述存储插件为Convoy插件，所述外部存储单元为存储云服务器组。
具体的：传统的云计算是基于虚拟化进行的，云计算端为每一个用户分配一台虚拟机，用户在虚拟机上对大数据进行计算、编程等操作；虽然提供完整的虚拟机有助于用户自由的进行一些操作行为，但是也对云计算端的部署产生了巨大挑战，由于虚拟机包括完整的操作系统内核，这就将占据极大的资源，而针对医学检验图像大数据的计算场景相对固定，其运用到的计算环境和计算架构也相对固定，所用到的计算环境、计算软件也较为固定；若我们为每一个用户均分配完整的虚拟机，这是及其浪费的；故本实施例采用Docker容器来为用户提供云计算服务；Docker容器是虚拟机的精简版，它将用户使用的环境等进行打包，并将支持环境进行阉割，以达到最小占用率来进行服务，由于医学检验图像大数据的计算场景相对固定，我们仅需要构建一个标准的Docker容器，Docker容器能快速部署并向用户提供服务，而用户的一些个性化需求可以通过镜像仓库进行补充。
作为更进一步的解决方案，所述云计算端还通过部署Kubernetes容器集群管理系统对Docker容器进行管理；所述Kubernetes容器集群管理系统将Docker容器置于Pod中，所述Pod分布于云计算端各节点中，同一Pod中的Docker容器共享内网IP、网络环境、进程信息、网络信息和主机信息，所述Kubernetes容器集群管理系统通过Kubernetes Master对控制组件，硬件资源进行管理调度，所述控制组件包括：以RESTful API接口方式提供给外部客户和内部组件调用的Kubernetes API Server；为新建立的Pod进行节点选择和集群资源调度的Kubernetes Scheduler；负责执行各控制器的Kubernetes Controller；保证副本数量与实际运行Pod数量一致的Replication Controller；管理维护各节点，定期检查各节点的健康状态，标识出失效、未失效节点的Node Controller；负责管理和定期清理无效命名空间的Namespace Controller；管理维护Job并为Jod创建一次性任务Pod，并保证完成Job指定完成的任务数目的Job Controller；实现Pod的自动伸缩，定时获取监控数据，进行策略匹配，当满足条件时执行Pod的伸缩动作的Pod Autoscaler Controller。
具体的：Kubernetes容器集群管理系统是针对多容器共同运行的管理系统，由于用户的并发使用、使用者数目多等原因，我们需要一种高效的，针对多容器的管理系统来进行集中管理，而Kubernetes便是最好的选择。
Kubernetes是Google开源的一个容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时，通常要部署该应用的多个实例以便对应用请求进行负载均衡。
在Kubernetes中，我们可以创建多个容器，每个容器里面运行一个应用实例，然后通过内置的负载均衡策略，实现对这一组应用实例的管理、发现、访问，而这些细节都不需要运维人员去进行复杂的手工配置和处理。
作为更进一步的解决方案，所述Docker容器还加入中间件Alluxio；所述Alluxio用于对Spark数据访问进行加速；所述Alluxio通过适配HDFS分布式文件系统和Spark分布式计算引擎的RESTful API接口进行底层访问数据对接。
需要说明的是：Alluxio是一个基于内存的分布式文件系统，它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件，主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务，通过Alluxio能更快速的让云存储端和云计算端进行数据交互。
作为更进一步的解决方案，所述医学检验图像大数据以DICOM文件格式进行保存；所述DICOM文件中保存有图像像素信息和图像属性信息且各像素点以16位2进制数进行保存；用户通过浏览器访问客户端并对DICOM文件进行预览时，云计算端对DICOM文件进行重绘，云计算端通过调取用户需要查看的DICOM文件；将DICOM文件进行像素级绘制并将绘制图像以PNG格式保存；像素级绘制是将原DICOM文件的各像素点分割为高位8进制像素和低位8进制像素，高位8进制像素写入PNG图像R通道，低位低位8进制像素写入G通道；并得到重绘制后的彩色PGN图像；云计算端将所述彩色PGN图像提供给WEB服务端，WEB服务端通过HTML构建预览图像；所述预览图像包括交互层、图像层和标注层；所述交互层为透明层用于采集用户的行为交互信息，所述重绘制后的彩色PGN图像保存至图像层，图像属性信息则保存至标注层；预览图像通过HTTP协议返回给客户端；用户通过浏览器对预览图像进行预览、缩放、旋转和批注操作。
具体的：为了减少客户端的硬件要求，本实施例将图像在云端进行渲染和加载，浏览器仅需要接收标准的PGN图像进行显示即可；由于医学检验图像大多数以DICOM文件进行保存，故在显示时需要进行格式转换，如果将DICOM文件在客户端进行转化的话，会存在：性能要求高、环境配置不完全的问题，此外，由于DICOM文件中保存有图像像素信息和图像属性信息，若在客户端进行渲染，会存在图像属性信息丢失的问题；故本实施例通过在云计算端对图像进行渲染，考虑到DICOM文件为灰度文件；而人对灰度的感知度远远小于对其他颜色的感知度，故本实施例将DICOM文件的16位2进制数像素点转换到高位8进制像素和低位8进制像素；高位8进制像素写入PNG图像R通道，低位低位8进制像素写入G通道；并得到重绘制后的彩色PGN图像，得到的彩色PGN图像便能及其直观地展示图像的不同层次。
同时，为了保证数据不被丢失，本实施通过HTML构建三层结构的预览图像；交互层、图像层和标注层；图像属性信息则保存至标注层，避免了传统PGN图像丢失图像属性信息的问题。
所述云计算端配备有三维图像模型绘制环境，并对用户预览的三维图像模型进行云绘制；客户端仅负责接收云绘制图像和记录用户的交互信息，而不进行绘制计算；云计算端根据用户的交互信息调整重绘制参数；并将对应用户的交互信息的图像以预览图像形式返回给客户端；用户通过浏览器对预览图像进行预览、缩放、旋转和批注操作。
同样，三维图像模型绘制需要专门的环境和大量的计算资源，本实施例通过在云计算端重绘制以后，以逐帧的方式进行传输，传输方法通过上述彩色PGN图像进行，极大缓解了客户端的计算压力，且层次感更好。
作为更进一步的解决方案，所述HDFS分布式文件系统定期对云存储端中的小文件进行打包；打包通Sequence File进行，小文件索引保存至key中，小文件的数据保存至value中。
具体的，由于HDFS分布式文件系统是分块存储，而块的大小通常为64M或者128M，这就导致远小于块大小的小文件读取缓慢的问题，本实施通过以Sequence File对小文件进行打包成大块文件，保证了系统读取小文件的速率问题。
作为更进一步的解决方案，所述云存储端中的数据通过可检索加密对存储数据进行保护，且针对文件的检索直接在云存储进行，客户端只负责接收来自云存储端的检索结果。
作为更进一步的解决方案，所述可检索加密通过如下步骤进行：
提取医学检验图像大数据对应的图像属性信息，将图像属性信息进行关键词提取，得到关键词向量Fi＝{fi1，fi2，...，fin}，fij＝(Wij，Sij)；其中，i表示图像编号；n表示向量维度；fij表示i号图像的第j个关键元素；关键元素fij包括关键词Wij和关键词对应的相关度Sii，Sii表示为：
Sij＝(1+ln(Wij，Di))/|Di|
其中，Di表示i图像编号的图像属性信息；|Di|表示图像属性信息长度；(Wii，Di)表示关键词Wii在Di中出现的频率；
为所有Di设置索引值，并建立索引列表；
用户通过客户端向WEB服务端发出检索请求；
WEB服务端随机选取安全参数K并进行Hash计算，得到私钥SKWEB和公钥PKWEB；
WEB服务端保留私钥SKWEB，并将公钥PKWEB向客户端公开；
客户端随机选取安全参数K并进行Hash计算，得到私钥SKuse和公钥PKuse；
客户端保留私钥SKuse，并将公钥PKuse向WEB服务端公开；
用户输入检索关键词；
客户端将关键词通过字符-索引词典转化为词向量；其中，字符-索引词典为私用词典，仅WEB服务端和客户端知晓；
客户端通过公开的公钥PKWEB对词向量进行加密，并发送给WEB服务端；
WEB服务端通过私钥SKWEB进行解密，得到原始的词向量；
通过字符-索引词典将词向量转化为原始的检索关键词；
将检索关键在词关键词向量Fi中进行匹配；得到各相关度Sii；
将相关度Sii从大到小进行排序；并确定前N项输出；
通过相关度Sii，找到对应的Di；
通过索引列表找到Di对应的索引值；
将索引值通过公钥PKuse进行加密，并发送给客户端；
客户端通过私钥SKuse进行解密，得到满足检索条件的Di对应的索引值；
用户通过选择自己想要的Di，客户端向WEB服务端进行索取；
客户端将需要索取的Di的索引值通过公钥PKWEB进行加密，并发送给WEB服务端；
WEB服务端通过私钥SKWEB进行解密，得到需要索取的Di的索引值；
通过索引值寻找对应的图像像素信息，进行重绘以后，计算MD5；
将重绘图像和MD5码发送给客户端；
客户端验证重绘图像和MD5码是否匹配，若匹配则文件为原文件，未遭受破坏，通过浏览器对重绘图像进行展示。
具体的：由于检索等过程中会暴露病人的隐私等问题，而病人隐私主要是集中在图像属性信息中，检索时难以避免进行读取或者传输，故本实施例通过双向哈希加密来保证数据的隐私性。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种面向医学检验图像大数据的云存储计算系统，其特征在于，包括客户端、WEB服务端、云计算端和云存储端，所述面向医学检验图像大数据的云存储计算系统用于通过B/S架构向用户提供类针对医学检验图像大数据的云存储和云计算服务，用户通过向浏览器输入对应的URL地址对客户端进行访问，客户端的页面通过HTML/CSS/JavaScript技术构建，WEB服务端与云计算端、云存储端之间的数据通过Ajax技术进行交互；
所述Web服务端用于响应来自客户端的数据交互请求，并对交互请求进行应答，应答数据通过HTTP协议返回给客户端；浏览器再将应答数据进行解析并呈现给用户；应答数据包括HTML文档、Applet应用以及多源异构数据；通过若HTML文档中包含ASP/CGI程序，则通过Web服务端进行运行，并将运行结果发送至客户端；
所述云存储端用于对数据进行存储、管理，Web服务端能对云存储端中的文件进行上传、下载、修改和读取操作；
呈现在客户端上的应答数据包括图形化UI、应用和文件；所述文件与应用均通过图形化界面进行展示，用户能通过键盘、鼠标和其他控制设备对类桌面操作系统的UI界面、文件和程序进行编辑、拖拽、设置、调整、启用和停用操作。
2.根据权利要求1所述的一种面向医学检验图像大数据的云存储计算系统，其特征在于，所述云存储端通过HDFS分布式文件系统进行管理，所述HDFS分布式文件系统包括一个Name_node和多个Data_node；所述Name_node通过Datanod Protocol协议与Data_node进行交互；
所述Data_node用于向文件提供存储空间，存储文件以Blocks的形式保存在Data_node中，各Data_node会周期性对本地磁盘进行扫描，并将本地磁盘上保存的Blocks信息汇报给Name_node；Data_node通过周期性验证Check Sum值是否和文件创建时的Check Sum值一致来判断文件是否发生改变；
所述Name_node用于管理分布式文件系统的命名空间和各Docker容器对文件的访问操作，Name_node在接收到的Blocks信息和Blocks对应所在的Data_node信息保存至内存中并整理成目录树保存至编辑日志文件中，通过目录树和用户请求，所述Name_node对相应的Blocks进行增删改查操作。
3.根据权利要求2所述的一种面向医学检验图像大数据的云存储计算系统，其特征在于，所述云计算端是基于Linux的云计算端，通过Spark分布式计算引擎进行管理，所述云计算端配置有Spark分布式计算引擎对应版本号的运行环境。
4.根据权利要求3所述的一种面向医学检验图像大数据的云存储计算系统，其特征在于，所述云计算端通过Docker容器对Spark分布式计算引擎进行快速部署、相互隔离和底层硬件解耦；所述Docker容器通过Mount命令组将外部存储单元挂载至本地，并通过存储插件对外部存储单元的存储卷进行管理；所述Docker容器通过RESTful API形式与存储插件进行对接，所述RESTful API的功能接口包括Activate握手、Create创建卷、Mount挂载卷、Path获取卷的路径、Unmount卸载卷、Remove删除卷、List获取卷列表、Get获取卷信息和Capabilities获取卷属性；所述存储插件为Convoy插件，所述外部存储单元为存储云服务器组。
5.根据权利要求4所述的一种面向医学检验图像大数据的云存储计算系统，其特征在于，所述云计算端还通过部署Kubernetes容器集群管理系统对Docker容器进行管理；所述Kubernetes容器集群管理系统将Docker容器置于Pod中，所述Pod分布于云计算端各节点中，同一Pod中的Docker容器共享内网IP、网络环境、进程信息、网络信息和主机信息，所述Kubernetes容器集群管理系统通过Kubernetes Master对控制组件，硬件资源进行管理调度，所述控制组件包括：以RESTful API接口方式提供给外部客户和内部组件调用的Kubernetes API Server；为新建立的Pod进行节点选择和集群资源调度的KubernetesScheduler；负责执行各控制器的Kubernetes Controller；保证副本数量与实际运行Pod数量一致的Replication Controller；管理维护各节点，定期检查各节点的健康状态，标识出失效、未失效节点的Node Controller；负责管理和定期清理无效命名空间的NamespaceController；管理维护Job并为Jod创建一次性任务Pod，并保证完成Job指定完成的任务数目的Job Controller；实现Pod的自动伸缩，定时获取监控数据，进行策略匹配，当满足条件时执行Pod的伸缩动作的Pod Autoscaler Controller。
6.根据权利要求5所述的一种面向医学检验图像大数据的云存储计算系统，其特征在于，所述Docker容器还加入中间件Alluxio；所述Alluxio用于对Spark数据访问进行加速；所述Alluxio通过适配HDFS分布式文件系统和Spark分布式计算引擎的RESTful API接口进行底层访问数据对接。
7.根据权利要求6所述的一种面向医学检验图像大数据的云存储计算系统，其特征在于，所述医学检验图像大数据以DICOM文件格式进行保存；所述DICOM文件中保存有图像像素信息和图像属性信息且各像素点以16位2进制数进行保存；用户通过浏览器访问客户端并对DICOM文件进行预览时，云计算端对DICOM文件进行重绘，云计算端通过调取用户需要查看的DICOM文件；将DICOM文件进行像素级绘制并将绘制图像以PNG格式保存；像素级绘制是将原DICOM文件的各像素点分割为高位8进制像素和低位8进制像素，高位8进制像素写入PNG图像R通道，低位低位8进制像素写入G通道；并得到重绘制后的彩色PGN图像；云计算端将所述彩色PGN图像提供给WEB服务端，WEB服务端通过HTML构建预览图像；所述预览图像包括交互层、图像层和标注层；所述交互层为透明层用于采集用户的行为交互信息，所述重绘制后的彩色PGN图像保存至图像层，图像属性信息则保存至标注层；预览图像通过HTTP协议返回给客户端；用户通过浏览器对预览图像进行预览、缩放、旋转和批注操作；
所述云计算端配备有三维图像模型绘制环境，并对用户预览的三维图像模型进行云绘制；客户端仅负责接收云绘制图像和记录用户的交互信息，而不进行绘制计算；云计算端根据用户的交互信息调整重绘制参数；并将对应用户的交互信息的图像以预览图像形式返回给客户端；用户通过浏览器对预览图像进行预览、缩放、旋转和批注操作。
8.根据权利要求7所述的一种面向医学检验图像大数据的云存储计算系统，其特征在于，所述HDFS分布式文件系统定期对云存储端中的小文件进行打包；打包通Sequence File进行，小文件索引保存至key中，小文件的数据保存至value中。
9.根据权利要求8所述的一种面向医学检验图像大数据的云存储计算系统，其特征在于，所述云存储端中的数据通过可检索加密对存储数据进行保护，且针对文件的检索直接在云存储进行，客户端只负责接收来自云存储端的检索结果。
10.根据权利要求9所述的一种面向医学检验图像大数据的云存储计算系统，其特征在于，所述可检索加密通过如下步骤进行：
提取医学检验图像大数据对应的图像属性信息，将图像属性信息进行关键词提取，得到关键词向量Fi＝{fi1，fi2，...，fin}，fij＝(Wij，Sij)；其中，i表示图像编号；n表示向量维度；fij表示i号图像的第j个关键元素；关键元素fij包括关键词Wij和关键词对应的相关度Sij，Sij表示为：
Figure RE-FDA0003176887570000041
其中，Di表示i图像编号的图像属性信息；|Di|表示图像属性信息长度；(Wij，Di)表示关键词Wij在Di中出现的频率；
为所有Di设置索引值，并建立索引列表；
用户通过客户端向WEB服务端发出检索请求；
WEB服务端随机选取安全参数K并进行Hash计算，得到私钥SKWEB和公钥PKWEB；
WEB服务端保留私钥SKWEB，并将公钥PKWEB向客户端公开；
客户端随机选取安全参数K并进行Hash计算，得到私钥SKuse和公钥PKuse；
客户端保留私钥SKuse，并将公钥PKuse向WEB服务端公开；
用户输入检索关键词；
客户端将关键词通过字符-索引词典转化为词向量；其中，字符-索引词典为私用词典，仅WEB服务端和客户端知晓；
客户端通过公开的公钥PKWEB对词向量进行加密，并发送给WEB服务端；
WEB服务端通过私钥SKWEB进行解密，得到原始的词向量；
通过字符-索引词典将词向量转化为原始的检索关键词；
将检索关键在词关键词向量Fi中进行匹配；得到各相关度Sij；
将相关度Sij从大到小进行排序；并确定前N项输出；
通过相关度Sij，找到对应的Di；
通过索引列表找到Di对应的索引值；
将索引值通过公钥PKuse进行加密，并发送给客户端；
客户端通过私钥SKuse进行解密，得到满足检索条件的Di对应的索引值；
用户通过选择自己想要的Di，客户端向WEB服务端进行索取；
客户端将需要索取的Di的索引值通过公钥PKWEB进行加密，并发送给WEB服务端；
WEB服务端通过私钥SKWEB进行解密，得到需要索取的Di的索引值；
通过索引值寻找对应的图像像素信息，进行重绘以后，计算MD5；
将重绘图像和MD5码发送给客户端；
客户端验证重绘图像和MD5码是否匹配，若匹配则文件为原文件，未遭受破坏，通过浏览器对重绘图像进行展示。
CN202110671659.XA 2021-06-17 2021-06-17 一种面向医学检验图像大数据的云存储计算系统 Withdrawn CN113360473A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110671659.XA CN113360473A (zh) 2021-06-17 2021-06-17 一种面向医学检验图像大数据的云存储计算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110671659.XA CN113360473A (zh) 2021-06-17 2021-06-17 一种面向医学检验图像大数据的云存储计算系统

Publications (1)

Publication Number Publication Date
CN113360473A true CN113360473A (zh) 2021-09-07

Family

ID=77534747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110671659.XA Withdrawn CN113360473A (zh) 2021-06-17 2021-06-17 一种面向医学检验图像大数据的云存储计算系统

Country Status (1)

Country Link
CN (1) CN113360473A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114500498A (zh) * 2021-12-28 2022-05-13 武汉联影医疗科技有限公司 Dicom文件传输与存储方法、系统、设备及存储介质
CN117319084A (zh) * 2023-11-28 2023-12-29 遂宁市中心医院 基于云端认证的医学检验数据共享方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114500498A (zh) * 2021-12-28 2022-05-13 武汉联影医疗科技有限公司 Dicom文件传输与存储方法、系统、设备及存储介质
CN114500498B (zh) * 2021-12-28 2023-12-08 武汉联影医疗科技有限公司 Dicom文件传输与存储方法、系统、设备及存储介质
CN117319084A (zh) * 2023-11-28 2023-12-29 遂宁市中心医院 基于云端认证的医学检验数据共享方法和系统
CN117319084B (zh) * 2023-11-28 2024-01-30 遂宁市中心医院 基于云端认证的医学检验数据共享方法和系统

Similar Documents

Publication Publication Date Title
US11740891B2 (en) Providing access to a hybrid application offline
JP6800184B2 (ja) ドキュメント管理及びコラボレーション・システム
CN110023923B (zh) 生成数据变换工作流
CN109997126B (zh) 事件驱动提取、变换、加载（etl）处理
CN105493070B (zh) 用于高效数据共享的任务上下文架构
CN102609425B (zh) 用于显示数据的模板
US9235636B2 (en) Presenting data in response to an incomplete query
CN109964216A (zh) 识别未知数据对象
WO2019174613A1 (en) Systems and methods for cloud computing
US20220035865A1 (en) Content capture across diverse sources
Jomier et al. Remote visualization of large datasets with midas and paraviewweb
CN113360473A (zh) 一种面向医学检验图像大数据的云存储计算系统
Skluzacek et al. A serverless framework for distributed bulk metadata extraction
Luo et al. Big-data analytics: challenges, key technologies and prospects
Li et al. Cloud Computing and Digital Media
Fan et al. Semantic client‐side approach for web personalization of SaaS‐based cloud services
Zhu et al. Efficient management and scheduling of massive remote sensing image datasets
Bhatt et al. Programming Language and Big Data Applications
Adesokan Performance Analysis of Hadoop MapReduce And Apache Spark for Big Data
Bajcsy et al. Components of Web Image Processing Pipeline
Martha Big data processing algorithms
Gómez-Iglesias et al. Using high performance computing for conquering big data
Apo CLOUD APPLICATIONS
CN116303468A (zh) 流批一体化的数据整合方法与系统
CN117478657A (zh) 信息加载方法、装置、系统、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210907