CN114038541B - 数字病理图像的数据流的处理系统 - Google Patents

数字病理图像的数据流的处理系统 Download PDF

Info

Publication number
CN114038541B
CN114038541B CN202111315800.9A CN202111315800A CN114038541B CN 114038541 B CN114038541 B CN 114038541B CN 202111315800 A CN202111315800 A CN 202111315800A CN 114038541 B CN114038541 B CN 114038541B
Authority
CN
China
Prior art keywords
image
sub
slice
data stream
digital pathology
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111315800.9A
Other languages
English (en)
Other versions
CN114038541A (zh
Inventor
陈李粮
常亮亮
熊迪
单玲政
汪进
陈睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Severson Guangzhou Medical Technology Service Co ltd
Original Assignee
Severson Guangzhou Medical Technology Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Severson Guangzhou Medical Technology Service Co ltd filed Critical Severson Guangzhou Medical Technology Service Co ltd
Priority to CN202111315800.9A priority Critical patent/CN114038541B/zh
Priority to CN202210891998.3A priority patent/CN115206498A/zh
Publication of CN114038541A publication Critical patent/CN114038541A/zh
Application granted granted Critical
Publication of CN114038541B publication Critical patent/CN114038541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Abstract

本公开描述了一种数字病理图像的数据流的处理系统,为计算系统提供多张数字病理图像的数据流,包括用于获取数字病理图像的获取单元;用于读取数字病理图像的元数据,基于元数据并按字节顺序对数字病理图像进行字节级别的分块以获取多个包括相邻区域的多个图像子切片的子分块,然后对多个子分块进行存储并生成各个图像子切片的子切片信息的第一存储单元;用于记录元数据和子切片信息的元数据单元;用于在接收获取数据流的数据请求后,基于元数据、图像子切片的字节偏移量以及字节大小以共享子分块打开的句柄的方式一次获取至少一个图像子切片对应的数据流的解析单元。由此,能够快速且较低成本地对数字病理图像进行存储和进行基于数据流的分享。

Description

数字病理图像的数据流的处理系统
技术领域
本公开大体涉及一种数字病理图像的数据流的处理系统。
背景技术
目前数字病理图像分析使用日益趋近场景化和专业化,基于超清晰度的数字病理图像和深度学习技术例如人工智能技术,病理分析系统逐步成为辅助临床进行病理分析的工具。数字病理图像是利用数字扫描仪对传统的病理玻片进行扫描,采集具有高分辨率的数字病理图像,再将得到的局部区域化图像进行拼接整合获得的。与传统的病理玻片相比,数字病理图像在保存管理、教学、远程诊断和图像可重复性等方面具有诸多优势,很好地解决了传统的病理玻片易损坏、易褪色、易丢片、难复制和检索困难的问题。
目前,数字病理图像常常以特定的格式存储在医院的院内存储或扫描仪控制主机工作站中,并配合特定的客户端软件进行查看,又或者基于开源分布式的存储系统对数字病理图像的图像子切片按层级进行存储,并设计缓存用于加速其访问。
然而,数字病理图像信息量多,单文件容量大,将数字病理图像存储在院内存储或扫描仪控制主机工作站,往往不利于数据分享且扩容不便,而另一种方式对于数万到数十万不等的图像子切片按层级进行存储常常需要消耗大量的硬件资源和时间且小文件的读写对硬盘的性能要求高,通常需要配备较昂贵的固态硬盘。另外,由于在线查看数字病理图像往往随机性较大,且对数字病理图像进行人工智能分析时常常需要基于整个数字病理图像的数据进行分析,缓存的命中率较低。因此,对数字病理图像的存储和分享还存在巨大的挑战。
发明内容
本公开是有鉴于上述的状况而提出的,其目的在于提供一种能够快速且较低成本地对数字病理图像进行存储和进行基于数据流的分享的数字病理图像的数据流的处理系统。
为此,本公开提供了一种数字病理图像的数据流的处理系统,是为计算系统提供多张数字病理图像的数据流的处理系统,所述计算系统具有多个计算任务,所述计算系统缓存各张数字病理图像对应的所述数据流以使所述多个计算任务通过复用所述数据流对各张数字病理图像并行地进行计算分析,在完成各张数字病理图像的所述计算分析后,从缓存中删除所述数据流,所述处理系统包括:获取单元,其用于获取所述数字病理图像并存储至图像存储单元;所述图像存储单元,其包括第一存储单元,所述第一存储单元用于读取所述数字病理图像的元数据,基于所述元数据获取所述数字病理图像的图像子切片的字节大小,基于所述图像子切片的字节大小并按字节顺序对所述数字病理图像进行字节级别的分块以获取多个子分块,对所述多个子分块进行存储并生成各个图像子切片的子切片信息,其中,各个子分块包括相邻区域的多个图像子切片,所述子分块的字节大小大于所述数据流的字节大小,所述子切片信息包括所述图像子切片所在的子分块、以及相对所在的子分块的字节偏移量;元数据单元,其用于记录所述元数据和所述子切片信息;以及解析单元,其用于从所述元数据单元获取所述数据流对应的至少一个图像子切片中的各个子切片信息,然后基于所述至少一个图像子切片中的各个子切片信息中的字节偏移量以及所述图像子切片的字节大小从所述第一存储单元以共享所述子分块打开的句柄的方式一次从所述子分块读取所述至少一个图像子切片对应的数据流并返回所述计算系统。在这种情况下,按字节顺序基于字节对数字病理图像进行分块,避免图像的编码和解码操作,能够降低硬件资源的耗费,且能够避免产生海量的小文件,降低文件寻址的难度,进而能够降低对存储介质的性能要求,且通过基于字节偏移量获取图像子切片对应的数据流能够在不需要整体打开子分块的情况下,获取相应字节偏移量下图像子切片的字节大小的数据块,进而能够降低负载。由此,能够快速且较低成本地对数字病理图像进行存储和进行基于数据流的分享。另外,能够使得像素区域相近的图像子切片尽可能被存储在同一个子分块中,进而能够局部上实现了随机读取到顺序读取的转换,进而能够减少子分块被打开的次数。由此,能够使数据容量、性能和成本合理适配。
另外,在本公开所涉及的处理系统,可选地,各个子分块的字节大小相同,所述第一存储单元在对所述数字病理图像进行分块时,按字节顺序依次将所述图像子切片对应的数据流划分到所述多个子分块中,当一个子分块的剩余空间不够存储完一个图像子切片对应的数据流时,使用空白数据填充所述剩余空间。在这种情况下,后续单个图像子切片能够从一个子分块中获取,且能够简化分块过程。
另外,在本公开所涉及的处理系统,可选地,所述图像存储单元还包括第二存储单元,所述第二存储单元用于对所述数字病理图像的全图进行存储,所述子切片信息还包括相对所述数字病理图像的全图的字节偏移量。由此,后续能够方便地根据字节偏移量从数字病理图像的全图读取图像子切片。
另外,在本公开所涉及的处理系统,可选地,所述解析单元根据所述数据请求确定需要读取的所述至少一个图像子切片;若所述数字病理图像存储在所述第一存储单元,则基于各个图像子切片的子切片信息获取所述图像子切片所在的子分块的存储路径和相对该子分块的字节偏移量,然后从所述存储路径读取所述字节偏移量下所述图像子切片的字节大小的数据块作为所述图像子切片对应的数据流;若所述数字病理图像存储在所述第二存储单元,则获取所述数字病理图像的全图的存储路径和相对所述数字病理图像的全图的字节偏移量,然后从所述存储路径读取所述字节偏移量下所述图像子切片的字节大小的数据块作为所述图像子切片对应的数据流;并且将所述至少一个图像子切片对应的数据流作为所述数据请求的响应。由此,能够基于字节偏移量获取图像子切片对应的数据流。
另外,在本公开所涉及的处理系统,可选地,所述元数据单元还用于记录分块策略和分块信息,所述分块信息包括各个子分块的分块编号和存储路径。由此,能够方便地调整分块策略和管理分块信息。
另外,在本公开所涉及的处理系统,可选地,所述处理系统还包括服务注册单元,所述服务注册单元用于接收服务注册请求,并对服务进行注册和管理,当所述图像存储单元和所述元数据单元启动后向所述服务注册单元发送所述服务注册请求以注册到所述服务注册单元。由此,能够方便地调整分块策略和管理分块信息。
另外,在本公开所涉及的处理系统,可选地,所述元数据包括所述数字病理图像的色彩通道、图像层级和所述图像层级的各个图像子切片的像素宽高,所述图像子切片的字节大小为所述图像子切片的像素宽高乘以所述色彩通道的数量,所述子切片信息还包括所述图像子切片的字节大小和所属的图像层级。在这种情况下,能够快速地获取各个图像层级对应的图像子切片的信息,进而能够获取各个图像层级对应的图像子切片。
另外,在本公开所涉及的处理系统,可选地,所述第一存储单元还用于获取所述数字病理图像的宏观图、标签图和缩略图并进行存储,所述处理系统还包括用于接收所述数据请求的数据接口,所述数据接口包括用于获取匹配显示设备的视野大小的图像层级的DeepZoom接口、用于获取所述元数据的元数据接口、用于获取所述宏观图的宏观图接口、用于获取所述缩略图的缩略图接口、用于获取所述标签图的标签图接口、获取所述图像子切片的瓦片接口和用于获取目标区域内的至少一个图像子切片或至少一个图像子切片对应的数据流的目标区域接口中的至少一种接口。在这种情况下,能够方便地获取不同使用场景下的数字病理图像的相关数据。
另外,在本公开所涉及的处理系统,可选地,所述处理系统还包括协议适配单元,所述协议适配单元基于所述数据接口的使用场景,适配可复用或不可复用的请求方式,所述可复用的请求方式包括基于http2的grpc协议的请求和基于socket协议的请求,所述不可复用的请求方式包括http请求和restful api请求。在这种情况下,能够满足计算分析时的序列化要求,且能够降低连接建立的开销。另外,也能够较适用于调阅、浏览、缩放、视野变更的随机性访问。
另外,在本公开所涉及的处理系统,可选地,所述解析单元读取所述数字病理图像时,共享所述数字病理图像打开的句柄并一次读取所述至少一个图像子切片对应的数据流。在这种情况下,能够快速地读取至少一个图像子切片对应的数据流且能够减少打开全图的次数。
根据本公开,提供一种能够快速且较低成本地对数字病理图像进行存储和进行基于数据流的分享的数字病理图像的数据流的处理系统。
附图说明
现在将仅通过参考附图的例子进一步详细地解释本公开,其中:
图1是示出了本公开示例所涉及的数字病理图像的示意图。
图2是示出了本公开示例所涉及的数字病理图像的数据流的处理系统的环境的示意图。
图3是示出了本公开示例所涉及的处理系统的一种示例的框图。
图4是示出了本公开示例所涉及的图像存储单元的框图。
图5是示出了本公开示例所涉及的处理系统的另一种示例的框图。
图6是示出了本公开示例所涉及的数字病理图像的数据流处理方法的一种示例的流程图。
具体实施方式
以下,参考附图,详细地说明本公开的优选实施方式。在下面的说明中,对于相同的部件赋予相同的符号,省略重复的说明。另外,附图只是示意性的图,部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。
需要说明的是,本公开中的术语“包括”和“具有”以及它们的任何变形,例如所包括或所具有的一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本公开所描述的所有方法可以以任何合适的顺序执行,除非在此另有指示或者与上下文明显矛盾。
本公开涉及的数字病理图像的数据流的处理系统能够快速且较低成本地对数字病理图像进行存储和进行基于数据流的分享。本公开涉及的数字病理图像的数据流的处理系统有时也可以称为处理系统、数据流服务器、图像处理系统或图像共享系统。本公开涉及的处理系统可以是无状态的,可以单机运行且能够扩展以适应存储需求或数据调阅的需求的变化。数据调阅可以为从远程或本地获取数字病理图像的全图或部分图像以查阅数字病理图像或利用数字病理图像进行处理(例如,利用数字病理图像的数据流进行计算分析)。本公开涉及的处理系统特别适用于人工智能处理和/或计算分析数字病理图像时的批量或流式的数据流的调用。
本公开涉及的处理系统可以为计算系统提供多张数字病理图像的数据流。计算系统可以为基于人工智能技术的系统,可以对数字病理图像进行计算分析以获取数字病理图像的病变区域和/或分类结果。在一些示例中,计算系统可以具有多个计算任务,计算系统可以缓存各张数字病理图像对应的数据流以使多个计算任务通过复用数据流对各张数字病理图像并行地进行计算分析,在完成各张数字病理图像的计算分析后,可以从缓存中删除数据流。一般而言,数字病理图像非常大,而计算系统又会涉及到大量的数字病理图像的样本的训练或多张数字病理图像的同时识别。特别地,还常常涉及多个计算任务对各张数字病理图像的全图或部分图像并行地进行计算分析。在这种情况下,为计算系统提供数字病理图像的数据流,数据流能够方便缓存以避免多次打开数字病理图像或子分块的句柄,进而能够降低数据提供方(例如处理系统)的开销。由此,能够支持高并发的数据流请求。
图1是示出了本公开示例所涉及的数字病理图像的示意图。
本公开所涉及的数字病理图像可以为通过数字扫描仪对病理玻片进行扫描获得的病理图像。在一些示例中,数字病理图像可以为黑白图像、灰度图像和彩色图像(例如RGB图像)中的至少一种图像。
另外,数字病理图像可以是具有不同分辨率的金字塔图像(也即数字病理图像可以包括多种分辨率的图像)。作为数字病理图像的示意,图1示出了数字病理图像的示意图。如图1所示,数字病理图像可以具有多个图像层级。例如,多个图像层级的数量可以为n,n个图像层级可以包括图像层级L1、图像层级L2、图像层级L3、……、图像层级Ln-2、图像层级Ln-1和图像层级Ln。
另外,各个图像层级的图像的分辨率可以不同。在实际应用中,可以根据使用场景获取适合的图像层级的图像进行处理和/或显示。在一些示例中,数字病理图像也可以是一个图像层级的图像。本公开涉及的病理分析系统可以适用具有多个图像层级的图像的数字病理图像,也可以适用具有一个图像层级的图像的数字病理图像。
在一些示例中,各个图像层级的图像具有多个图像子切片(图像子切片也可以称为瓦片)。也即,各个图像层级可以包括多个图像子切片。图像子切片的大小一般可以为几十kb(千字节)或几kb。在一些示例中,数字病理图像中的图像子切片的大小可以通过从数字病理图像提取元数据获得。也即,利用元数据可以获取数字病理图像中的图像子切片的大小。在一些示例中,可以通过数字病理图像的成像设备的厂商提供的工具包对数字病理图像的文件头进行解析以获取元数据。元数据可以用于描述数字病理图像的属性,进而能够方便地对数字病理图像中的图像子切片进行定位。
在一些示例中,元数据可以包括数字病理图像的色彩通道、图像层级和图像层级的各个图像子切片的像素宽高中的至少一种信息。在一些示例中,利用元数据可以获取数字病理图像的图像层级和各个图像层级的图像子切片的大小。在一些示例中,可以将元数据中的图像子切片的像素宽高乘以色彩通道的数量以获取图像子切片的字节大小。由此,能够基于元数据获取图像子切片的字节大小。
在一些示例中,元数据还可以包括数字病理图像的文件名、文件大小和扫描时间(也即成像时间)中的至少一种信息。在一些示例中,元数据还可以包括扫描仪厂商、扫描倍率、总的图像子切片的个数、单位像素面积、图像压缩率、图像质量、色彩编码、整图的像素宽高、整图的非空区域的像素宽高、图像子切片之间的重合像素和各个图像层级的图像子切片的个数中的至少一种信息。另外,扫描倍率可以表示相应数值的倍率。例如,扫描倍率可以为40倍率。另外,单位像素面积可以为像素对应的身体部位的面积大小。另外,色彩编码可以与色彩通道对应。例如,若色彩通道为R、G、B三个色彩通道,则色彩编码可以为RGB。
另外,数字病理图像一般非常大,例如全片切片图像(Whole Slide Image,WSI),WSI图像的大小可以为600Mb至10Gb,因此传统的图像存储和分享方法一般不适用于数字病理图像。例如,数字病理图像的存储常常对存储介质的性能要求较高,数字病理图像的分享也容易受限于数字病理图像的读取和传输的效率。
图2是示出了本公开示例所涉及的数字病理图像的数据流的处理系统的环境的示意图。此外,本公开的示例描述的环境是为了更加清楚的说明本公开的技术方案,并不构成对于本公开提供的技术方案的限定。
在一些示例中,本公开涉及的处理系统可以应用于如图2所示的环境100中。环境100可以包括经由网络彼此通信地耦合的客户端设备102、存储设备104、元数据设备106和接口设备108。可用于实现客户端设备102、存储设备104、元数据设备106和接口设备108的计算设备可以以各种方式来配置。在一些示例中,计算设备可以包括但不限于是移动设备、膝上型计算机和台式计算机等。在一些示例中,计算设备可以是服务器。例如,计算设备可以是云服务器。另外,计算设备可以表示多个不同的设备。例如,计算设备可以表示多个云服务器。
在环境100中,客户端设备102的获取单元110可以用于获取数字病理图像(参见图2),并将数字病理图像存储至存储设备104。存储设备104的图像存储单元120在数字病理图像存入时读取元数据,可以基于元数据并按字节顺序对数字病理图像进行字节级别的分块以获取多个子分块(参见图2),其中,各个子分块包括相邻区域的多个图像子切片,然后对多个子分块进行存储并生成各个图像子切片的子切片信息,并将元数据和子切片信息存储到元数据设备106的元数据单元130。
另外,在环境100中,可以对存储的数字病理图像进行数据调阅。具体地,在接口设备108接收到数据请求后,解析单元140可以基于数据请求从元数据设备106获取至少一个图像子切片的子切片信息,并基于子切片信息从存储设备104获取至少一个图像子切片和/或至少一个图像子切片对应的数据流。
本公开涉及的处理系统,结合了数字病理图像的应用场景,考虑在计算系统进行计算分析时,读取数字病理图像通常是有序的。例如,从数字病理图像特定缩放倍率(也即特定的图像层级)的起点开始,以一定的大小逐一从数字病理图像读取相应的部分的图像,直到全部读取完成。另外,还考虑了在医疗领域,主要涉及数据读取具有随机性的阅片或会诊等场景,对底层存储的性能要求非常高。因此,本公开涉及的处理系统,在对数字病理图像进行存储时,基于元数据对数字病理图像按字节顺序进行字节级别的分块和存储,使得像素区域相近的图像子切片(也即,相邻区域的多个图像子切片)尽可能被存储在同一个子分块中(也即,尽可能位于同一个子分块上)。在这种情况下,局部上实现了随机读取到顺序读取的转换。由此,能够满足了容量、性能和成本的相对适配。
图3是示出了本公开示例所涉及的处理系统的一种示例的框图。
如图3所示,在一些示例中,处理系统可以包括获取单元110、图像存储单元120、元数据单元130和解析单元140。在一些示例中,图像存储单元120的数量可以为一个或多个。多个图像存储单元120可以组成分布式文件存储系统。在一些示例中,元数据单元130的数量可以为一个或多个。多个元数据单元130可以组成分布式存储系统。在一些示例中,解析单元140的数量可以为一个或多个。多个解析单元140可以支持以负载均衡的方式部署。在这种情况下,能够将数据请求分摊到各个解析单元140。由此,能够提高负载能力。
在一些示例中,如图3所示,处理系统可以包括获取单元110。获取单元110可以配置为获取数字病理图像并对数字病理图像进行存储。
在一些示例中,获取单元110获取数字病理图像的方式可以包括客户端程序文件监听上传、通过共享路径上传、通过可视化界面(例如通过浏览器或客户端上传)、文件拷贝上传(例如通过U盘或移动硬盘拷贝上传)、和扫描仪上传中的至少一种。由此,能够支持多种方式获取数字病理图像。另外,客户端程序文件监听上传可以为通过文件I/O操作监听文件系统的变化以获取数字病理图像。具体地,可以通过递归监听特定存储路径下的文件事件的变更,来实现文件上传,其中,既可以监听文件的变更,也可以监听文件目录的变更。在一些示例中,可以通过限定文件的扩展名(也可以成为后缀名)仅监听数字病理图像的变化。由此,能够提高效率。另外,扫描仪上传可以为扫描仪与处理系统通信以将通过扫描仪获得的数字病理图像上传。
在一些示例中,获取单元110可以获取不同病种的数字病理图像。在一些示例中,病种可以包括但不限于宫颈液基细胞学、甲状腺细胞学、尿路上皮细胞学、组织病理学和胸腹水细胞学等。
在一些示例中,获取单元110可以将数字病理图像存储至图像存储单元120(稍后描述)。图像存储单元120可以包括第一存储单元121和/或第二存储单元122。在一些示例中,获取单元110可以将数字病理图像存储至图像存储单元120的第一存储单元121和/或第二存储单元122。
在一些示例中,获取单元110可以将数字病理图像存储至图像存储单元120的共享路径下。在一些示例中,共享路径可以通过共享挂载实现。例如,可以将共享路径挂载到图像存储单元120的相应目录下。在一些示例中,实现共享挂载的方式可以包括但不限于是通过SAMBA软件(SAMBA软件为Linux和UNIX系统上实现SMB协议的一个免费软件,SMB即ServerMessages Block,信息服务块)、NFS(Network File System,网络文件系统)协议和ISCSI(Internet Small Computer System Interface,Internet小型计算机系统接口)协议等。在一些示例中,共享路径可以是机构例如医院内存储共享的访问路径和/或分布式文件存储的挂载目录。
在一些示例中,如图3所示,处理系统可以包括图像存储单元120。图像存储单元120可以用于存储数字病理图像。在一些示例中,图像存储单元120可以用于存储数字病理图像的全图和/或子分块。在一些示例中,图像存储单元120可以用于对数字病理图像进行分块存储和/或直接存储。在这种情况下,能够支持多种存储方式,基于两种存储方式能够兼容第三方存储系统(例如,医院内已有的存储系统)的同时,还能够对数字病理图像进行分块存储。由此,能够兼顾第三方存储系统的存储成本,又能够满足日益增长的存储需求。
在一些示例中,可以由元数据单元130(稍后描述)维护数字病理图像的存储位置。具体地,元数据单元130可以记录数字病理图像的存储介质(例如,第一存储单元121和/或第二存储单元122)、以及存储路径。
图4是示出了本公开示例所涉及的图像存储单元120的框图。
在一些示例中,如图4所示,图像存储单元120可以包括第一存储单元121和/或第二存储单元122。在一些示例中,图像存储单元120可以支持分布式部署。也即,图像存储单元120中的第一存储单元121和/或第二存储单元122可以具有多个存储系统,统一提供存储的服务。需要说明的是,除非存在矛盾,以下对图像存储单元120的描述同样适用于第一存储单元121和第二存储单元122。
在一些示例中,图像存储单元120可以基于数字病理图像的元数据对数字病理图像进行存储。在一些示例中,元数据可以由图像存储单元120读取。在一些示例中,元数据可以在数字病理图像写入时由图像存储单元120读取。在一些示例中,图像存储单元120在存储完成数字病理图像时,可以生成用于唯一标识该数字病理图像的图像编号。在一些示例中,图像编号可以通过对元数据中的数字病理图像的文件名称、文件大小(也即字节容量)和成像时间进行组合计算获得。在一些示例中,图像编号不可逆。例如,不能从图像编号反推数字病理图像的文件名称、文件大小和成像时间。
在一些示例中,第一存储单元121可以是原生的分布式文件存储系统,第二存储单元122可以是基于NFS协议、SAMBA协议或ISCSI协议挂载的存储系统(也可以称为第三方存储系统)。在这种情况下,能够适应不同环境下的数字病理图像的存储要求,且能够满足不同阶段的存储需求。
如上所述,在一些示例中,图像存储单元120可以包括第一存储单元121。在一些示例中,第一存储单元121可以用于对数字病理图像进行分块存储。另外,在分块存储中,可以对数字病理图像进行分块以获取多个子分块,然后对多个子分块进行存储。
在一些示例中,第一存储单元121可以根据分块策略对数字病理图像进行分块存储。在一些示例中,分块策略可以包括子分块的字节大小。在这种情况下,能够按照一定的字节大小对数字病理图像进行分块。在一些示例中,子分块的字节大小可以根据数字病理图像的字节大小进行设置。例如,子分块的字节大小可以与数字病理图像的字节大小呈正相关。由此,能够进一步地减少子分块的数量。在一些示例中,分块策略还可以包括分块顺序。例如,分块顺序可以包括按字节顺序正序、按字节顺序反序、按图像层级或自定义中的至少一种。在一些示例中,分块策略还可以包括分块范围。分块范围可以指定数字病理图像中可以用于分块的数据块。
如上所述,利用元数据可以获取数字病理图像的图像层级和各个图像层级的各个图像子切片的字节大小。在一些示例中,第一存储单元121可以在数字病理图像写入时,基于图像子切片的字节大小对数字病理图像进行字节级别的分块以获取多个子分块,然后对多个子分块进行存储。在这种情况下,基于字节对数字病理图像进行分块,避免图像的编码和解码操作,能够降低硬件资源(例如CPU)的耗费。另外,能够避免产生海量的小文件,降低文件寻址的难度,进而能够降低对存储介质的性能要求,在普通的机械存储介质上也可以达到较高性能的数据存储和数据调阅。
在一些示例中,第一存储单元121可以通过将相应的图像子切片划分至相应的子分块以对数字病理图像进行分块。在一些示例中,在进行分块时,可以基于数字病理图像的文件大小、图像层级、各个图像层级的图像子切片的个数、以及每个图像子切片的字节大小获得每个图像子切片相对于数字病理图像的全图的字节偏移量,然后基于图像子切片的字节大小和相对于数字病理图像的全图的字节偏移量获得图像子切片对应的数据段,进而能够将该数据段(也即,图像子切片对应的数据流)划分到子分块中。由此,能够对数字病理图像进行分块。
在一些示例中,第一存储单元121可以按字节顺序对数字病理图像进行字节级别的分块。具体地,可以按字节顺序依次将图像子切片对应的数据流划分到多个子分块中。在一些示例中,字节顺序可以是正序或反序。
在一些示例中,第一存储单元121在对数字病理图像进行分块时,可以按字节顺序依次将图像子切片对应的数据流划分到多个子分块中,当一个子分块的剩余空间不够存储完一个图像子切片对应的数据流时,可以使用空白数据填充剩余空间。也即,各个子分块中的图像子切片可以是完整的。在这种情况下,后续单个图像子切片能够从一个子分块中获取,且能够简化分块过程。在另一些示例中,在一个子分块的剩余空间不够存储完一个图像子切片时,也可以将该图像子切片的剩余部分存储到另一个子分块中。在这种情况下,单个图像子切片能够对应一个或多个子分块。由此,能够节约存储空间。
在另一些示例中,也可以不按字节顺序进行分块。可以将特定位置例如各个图像层级同一个位置的多个图像子切片对应的字节流进行合并以生成多个子分块。例如可以将各个图像层级的第1至50个图像子切片进行合并。需要说明的是,特定位置没有特别的限制,跟具体的分块策略有关。在这种情况下,若根据数据调阅的情况对分块策略进行调整,能够生成更匹配数据调阅的需求的子分块。
在一些示例中,第一存储单元121存储完成多个子分块后,可以生成各个图像子切片的子切片信息。在一些示例中,可以将子切片信息记录到元数据单元130(稍后描述)。由此,后续能够方便地基于子切片信息获取图像子切片。
具体地,第一存储单元121可以在数字病理图像写入时读取元数据,基于元数据,将元数据中的图像子切片的像素宽高乘以色彩通道的数量以获取图像子切片的字节大小,并基于图像子切片的字节大小并按字节顺序对数字病理图像进行字节级别的分块以获取多个子分块,然后对多个子分块进行存储并生成各个图像子切片的子切片信息。由此,能够基于元数据对数字病理图像进行字节级别的分块并生成子切片信息。
在另一些示例中,也可以不在存储时生成子切片信息,子切片信息可以在请求获取图像子切片时基于元数据和分块策略获得。
如上所述,可以对数字病理图像进行分块以获取多个子分块。在一些示例中,各个子分块可以包括多个图像子切片。在这种情况下,能够减少分块数和分块时间,且能够简化子分块的存储路径,提高子分块存储和读取的效率。另外,对存储介质的性能要求较低,能够降低存储成本。
在一些示例中,各个子分块可以包括相邻区域的多个图像子切片,且子分块的字节大小可以大于提供给数据消费系统(例如计算系统)的数据流的字节大小。在这种情况下,能够使得像素区域相近的图像子切片尽可能被存储在同一个子分块中,进而能够局部上实现了随机读取到顺序读取的转换。由此,能够减少子分块被打开的次数。
在一些示例中,各个子分块的字节大小可以相同。由此,能够简化分块的过程。在一些示例中,各个子分块的字节大小可以大于等于预设大小。例如,预设大小可以为16M、32M、64M或128M等。在这种情况下,各个子分块的字节大小远远大于计算系统请求的数据流的大小。由此,能够使一次请求对应的数据流尽可能在一个子分块中读取。
在一些示例中,各个子分块具有相应的分块信息。在一些示例中,分块信息可以在第一存储单元121存储完成多个子分块后生成。在一些示例中,分块信息可以包括各个子分块的分块编号和存储路径。在这种情况下,后续在确定图像子切片所在的子分块后,能够根据存储路径读取相应的子分块。
在一些示例中,第一存储单元121还可以用于获取数字病理图像的宏观图、标签图和缩略图中的至少一种图,并进行存储。另外,宏观图可以为反映的病理玻片的实际外观的图像(也即人眼看到的图像)。另外,标签图可以为带有用于识别病理号的标签例如二维码的图像。另外,宏观图和标签图可以从整张数字病理图像中的特定位置获取或可以通过单独存储的位置直接获取。宏观图和标签图的获取方式跟生产扫描仪的厂商有关。
如上所述,在一些示例中,图像存储单元120可以包括第二存储单元122。在一些示例中,第二存储单元122可以用于对数字病理图像进行直接存储。另外,在直接存储中,可以对数字病理图像的全图进行存储。在一些示例中,在对数字病理图像的全图进行存储后可以生成子切片信息。在另一些示例中,也可以不在存储时生成子切片信息,子切片信息可以在请求获取图像子切片时基于元数据获得。
如上所述,在一些示例中,在对数字病理图像进行存储时可以生成子切片信息。在一些示例中,若通过第一存储单元121对数字病理图像进行分块存储,则子切片信息可以包括图像子切片所在的子分块和相对所在的子分块的字节偏移量。由此,后续能够方便地根据字节偏移量从子分块读取图像子切片和/或图像子切片对应的数据流。在一些示例中,若通过第二存储单元122对数字病理图像进行直接存储,则子切片信息可以包括相对数字病理图像的全图的字节偏移量。由此,后续能够方便地根据字节偏移量从数字病理图像的全图读取图像子切片和/或图像子切片对应的数据流。在另外一些示例中,子切片信息可以包括图像子切片所在的子分块、相对所在的子分块的字节偏移量和相对数字病理图像的全图的字节偏移量。由此,能够支持从子分块和数字病理图像的全图中获取图像子切片和/或图像子切片对应的数据流。
在一些示例中,子切片信息还可以包括图像子切片的字节大小。由此,后续能够根据字节大小和字节偏移量方便地获取图像子切片。
在一些示例中,子切片信息还可以包括图像子切片所属的图像层级。在这种情况下,能够快速地获取各个图像层级对应的图像子切片的信息,进而能够获取各个图像层级对应的图像子切片。
在一些示例中,如图3所示,处理系统可以包括元数据单元130。元数据单元130可以用于记录除数字病理图像的文件流之外的数据。在一些示例中,元数据单元130可以支持分布式部署。在一些示例中,元数据单元130可以用于记录由图像存储单元120(也即,第一存储单元121和/或第二存储单元122)读取的元数据。在这种情况下,后续能够基于已记录的元数据获取图像子切片,进而能够减少对数字病理图像或子分块的读取次数。
在一些示例中,元数据单元130还可以用于记录子切片信息。在这种情况下,能够方面后续读取图像子切片,且能够适应分块策略的调整。在一些示例中,对于第一存储单元121对应的子切片信息,元数据单元130可以记录主键、次键、图像子切片所在的子分块编号和相对子分块的偏移量,其中,主键可以为数字病理图像的图像编号,次键可以由图像层级和图像子切片对应的编号组成。由此,能够根据主键和次键唯一确定一个图像子切片的子切片信息。
如上所述,在一些示例中,子切片信息还可以包括图像子切片的字节大小。元数据单元130还可以用于记录图像子切片的字节大小。
在一些示例中,元数据单元130还可以用于记录图像存储单元120的节点信息。在一些示例中,节点信息可以包括访问地址、访问协议和副本信息。在这种情况下,能够基于图像存储单元120的访问协议获取图像存储单元120中存储的数据。另外,访问地址可以包括IP地址或域名、以及端口。另外,副本信息可以包括图像存储单元120中存储的数据的副本所在位置。在一些示例中,节点信息还可以包括存储介质的类型(也即,第一存储单元121或第二存储单元122)。由此,能够根据存储介质的性能进行相应的设置。在一些示例中,元数据单元130还可以用于记录分块策略和分块信息。由此,能够方便地调整分块策略和管理分块信息。在一些示例中,元数据单元130还可以用于记录数字病理图像的全图的存储路径。
在一些示例中,如图3所示,处理系统可以包括解析单元140。解析单元140可以用于对接收到的数据请求进行解析以确定数据请求所请求的数据。
在一些示例中,数据请求所请求的数据可以为数字病理图像的相关数据。数字病理图像的相关数据可以为基于数字病理图像的文件流获取的数据(例如数字病理图像的数据流)。
在一些示例中,数字病理图像的相关数据可以包括元数据、宏观图、缩略图、标签图、瓦片图(也即图像子切片)和目标区域数据中的至少一种数据。其中,相关数据的格式可以包括但不限于数字、文本、图片或数据流等。另外,在图像存储单元120(例如第一存储单元121)存储数字病理图像时可以对宏观图、标签图和缩略图进行提取并存储。另外,目标区域数据可以为目标区域内的至少一个图像子切片组成的数据。目标区域可以为数字病理图像中的区域,可以根据实际使用场景确定。例如,在浏览数字病理图像时,目标区域可以是视野范围内的区域,在计算分析时,目标区域可以是数字病理图像中用于进行计算分析的区域。在一些示例中,目标区域可以为数字病理图像中感兴趣的区域或从数字病理图像中裁剪的区域。
在一些示例中,数据请求可以包括数字病理图像的标识(例如,图像编号或数字病理图像的存储路径)。由此,能够确定所请求的数据为一张数字病理图像对应的图像子切片。在一些示例中,数据请求可以包括数字病理图像的标识和图像层级。由此,能够确定所请求的数据为相应图像层级的至少一个图像子切片。在一些示例中,数据请求可以包括数字病理图像的标识、图像层级和图像子切片的位置。由此,能够确定所请求的数据为相应位置的至少一个图像子切片。在一些示例中,数据请求可以包括数字病理图像的标识、图像层级和目标区域的信息。目标区域的信息可以包括目标区域的起始坐标、宽度和高度等。由此,能够确定所请求的数据为目标区域对应的至少一个图像子切片。
在一些示例中,若数据请求所请求的数据包括至少一个图像子切片(也即,数据请求为包括获取至少一个图像子切片的请求),解析单元140可以从图像存储单元120获取至少一个图像子切片。
在一些示例中,可以从第一存储单元121存储的子分块中获取至少一个图像子切片。在一些示例中,可以从第二存储单元122存储的数字病理图像的全图中获取至少一个图像子切片。在一些示例中,可以通过分布式文件存储客户端从第一存储单元121获取至少一个图像子切片。在一些示例中,可以通过NFS、SAMBA或ISCSI协议从第二存储单元122获取至少一个图像子切片。
在一些示例中,解析单元140可以从图像存储单元120获取至少一个图像子切片对应的数据流。在一些示例中,解析单元140可以从图像存储单元120读取数字病理图像的全图或子分块以获取至少一个图像子切片对应的数据流。在一些示例中,从图像存储单元120读取数字病理图像的全图或子分块时,可以共享数字病理图像的全图或子分块打开的句柄并一次读取至少一个图像子切片对应的数据流。在这种情况下,能够快速地读取至少一个图像子切片对应的数据流且能够减少打开全图或子分块的次数。
在一些示例中,解析单元140可以从元数据单元130获取至少一个图像子切片的子切片信息,并基于子切片信息从第一存储单元121和/或第二存储单元122获取至少一个图像子切片对应的数据流。由此,能够方便地获取图像子切片对应的数据流。
在一些示例中,解析单元140可以从元数据单元130获取至少一个图像子切片的子切片信息,然后基于子切片信息中的字节偏移量以及图像子切片的字节大小从图像存储单元120存储的数字病理图像获取至少一个图像子切片对应的数据流。在这种情况下,在不需要整体打开数字病理图像的全图或子分块的情况下,能够获取相应字节偏移量下图像子切片的字节大小的数据块。由此,能够降低负载。在一些示例中,图像子切片的字节大小可以基于元数据获得或在存储数字病理图像通过子切片信息记录在元数据单元130。
在一些示例中,解析单元140可以打开数字病理图像的全图或子分块的句柄以获得文件流的指针,并将文件流的指针移到字节偏移量对应的位置,并读取以该位置为起始的相应字节大小的图像子切片。由此,能够读取图像子切片对应的数据流。在一些示例中,可以计算至少一个图像子切片对应的总的字节偏移量,并基于总的字节偏移量获取至少一个图像子切对应的数据流。
在一些示例中,在为计算系统提供多张数字病理图像的数据流时,解析单元140从元数据单元130获取数据流对应的至少一个图像子切片中的各个子切片信息,然后基于至少一个图像子切片中的各个子切片信息中的字节偏移量以及图像子切片的字节大小从第一存储单元121或第二存储单元122以共享数字病理图像的子分块或全图打开的句柄的方式一次从数字病理图像的全图或子分块读取至少一个图像子切片对应的数据流并返回计算系统。在这种情况下,在不需要整体打开数字病理图像的全图或子分块的情况下,能够获取相应字节偏移量下图像子切片的字节大小的数据块。由此,能够降低负载。在一些示例中,数据流可以对应图像区域。也即,解析单元140可以在接收到计算系统获取数据流的数据请求后,基于数据流对应的目标区域从元数据单元130获取目标区域对应的至少一个图像子切片中的各个子切片信息,然后基于各个子切片信息获取目标区域对应的至少一个图像子切片对应的数据流并返回计算系统。
在一些示例中,对于第一存储单元121,解析单元140可以从元数据单元130获取至少一个图像子切片的子切片信息,然后基于子切片信息中的相对子分块的字节偏移量以及图像子切片的字节大小从第一存储单元121存储的子分块中获取至少一个图像子切片对应的数据流。
在一些示例中,对于第二存储单元122,解析单元140可以从元数据单元130获取至少一个图像子切片的子切片信息,然后基于子切片信息中的相对数字病理图像的全图的字节偏移量以及图像子切片的字节大小从第二存储单元122存储的数字病理图像的全图中获取至少一个图像子切片对应的数据流。在一些示例中,相对数字病理图像的全图的字节偏移量可以基于元数据获得或在存储数字病理图像通过子切片信息记录在元数据单元130。
在另一些示例中,在存储数字病理图像时可以仅存储元数据,不生成子切片信息。可以基于元数据获取字节偏移量(也即图像子切片相对数字病理图像的全图和/或子分块的字节偏移量)和图像子切片的字节大小,然后基于字节偏移量以及图像子切片的字节大小从图像存储单元120存储的数字病理图像中获取至少一个图像子切片对应的数据流。
在一些示例中,解析单元140可以将至少一个图像子切片对应的数据流作为数据请求的响应。在这种情况下,能够直接基于数据流进行计算分析。由此,能够提高计算分析的效率。在另一些示例中,可以将至少一个图像子切片对应的数据流转为图像。例如,图像可以为jpeg图像或png图像。由此,能够方便查阅。
在一些示例中,若数字病理图像存储在第一存储单元121,则解析单元140可以基于各个图像子切片的子切片信息获取图像子切片所在的子分块的存储路径和相对该子分块的字节偏移量,然后从存储路径读取字节偏移量下图像子切片的字节大小的数据块作为图像子切片对应的数据流;若数字病理图像存储在第二存储单元122,则解析单元140可以获取数字病理图像的全图的存储路径和相对数字病理图像的全图的字节偏移量,然后从存储路径读取字节偏移量下图像子切片的字节大小的数据块作为图像子切片对应的数据流;并且解析单元140将至少一个图像子切片对应的数据流作为数据请求的响应。由此,能够基于字节偏移量获取图像子切片对应的数据流。
图5是示出了本公开示例所涉及的处理系统的另一种示例的框图。
如上所述,解析单元140可以用于对数据请求进行解析。如图5所示,在一些示例中,处理系统还可以包括数据接口150。数据接口150可以用于接收数据请求。在一些示例中,数据接口150可以将接收的数据请求发送给解析单元140,由解析单元140对数据请求进行解析。在这种情况下,通过数据接口150能够降低耦合性,进而能够方便地进行扩展以支持负载均衡。由此,能够支持大数据量和高并发的访问。
在一些示例中,数据接口150可以包括DeepZoom接口、元数据接口、宏观图接口、缩略图接口、标签图接口、瓦片接口和目标区域接口中的至少一种接口。在这种情况下,能够方便地获取不同使用场景下的数字病理图像的相关数据。
另外,DeepZoom接口可以用于获取匹配显示设备的视野大小的图像层级。在这种情况下,能够获取匹配显示设备的图像层级,进而能够获取合适的图像层级的图像子切片进行显示。由此,能够提高显示效果。在一些示例中,可以根据分辨率最大的图像层级的图像的图像尺寸和当前显示设备的屏幕的尺寸获取匹配显示设备的视野大小的图像层级。具体地,可以将图像尺寸中宽和高中较大的值不断地除以2,直至结果最接近屏幕的尺寸中宽和高中较大的值,然后将除以2的次数作为图像层级。
另外,元数据接口可以用于获取元数据。另外,宏观图接口可以用于获取宏观图。另外,缩略图接口可以用于获取缩略图。另外,标签图接口可以用于获取标签图。另外,瓦片接口可以用于获取至少一个图像子切片或至少一个图像子切片对应的数据流。另外,目标区域接口可以用于获取目标区域内的至少一个图像子切片或至少一个图像子切片对应的数据流。
如图5所示,在一些示例中,处理系统还可以包括协议适配单元160。协议适配单元160可以基于数据接口150的使用场景适配可复用或不可复用的请求方式。例如,计算分析涉及的接口可以采用复用的请求方式,查阅涉及的接口可以采用不可复用的请求方式。在这种情况下,能够提供场景化的多种请求方式的数据接口150,能够满足不同使用场景的数据调阅的需求,且能够降低连接到数据接口150的连接数开销。
在一些示例中,协议适配单元160可以用于区分数据调阅的使用场景是用于浏览式业务或计算型业务。在一些示例中,浏览式业务可以包括在线阅片诊断、会诊和标注等,计算型业务可以包括数据分析、训练和推理等。
在一些示例中,协议适配单元160在区分数据调阅的使用场景后,可以将浏览式业务的数据请求的请求方式转成不可复用的请求方式,将计算型业务的数据请求的请求方式转成可复用的请求方式。由此,能够降低连接到数据接口150的连接数开销。在一些示例中,可以基于数据请求的请求头中约定的user-agent信息区分数据调阅的使用场景。在一些示例中,可以通过修改user-agent信息的方式以可复用或不可复用的请求方式请求数据。
在一些示例中,可复用的请求方式可以包括但不限于基于grpc协议的请求和基于socket协议的请求(也即,可复用的请求方式可以包括但不限于通过grpc协议连接建立请求和通过套接字(socket)协议连接建立请求)。grpc是基于http2协议标准而设计。在一些示例中,可以支持可复用的请求方式获取针对计算分析的数据流。在这种情况下,能够满足计算分析时的序列化要求,且能够降低连接建立的开销。在一些示例中,目标区域接口可以支持可复用的请求方式。由此,能够满足对数字病理图像进行计算分析的需求。在一些示例中,不可复用的请求方式可以包括http请求和restful api请求。在这种情况下,能够较适用于调阅、浏览、缩放、视野变更的随机性访问。在一些示例中,DeepZoom接口、元数据接口、宏观图接口、缩略图接口、标签图接口和瓦片图接口可以支持不可复用的请求方式。在这种情况下,针对访问频率较低或较常用于随机性访问的接口支持不可复用的请求方式,能够降低连接到数据接口150的连接数开销。
如图5所示,在一些示例中,处理系统还可以包括服务注册单元170。服务注册单元170可以用于接收服务注册请求,并对服务进行注册和管理。在一些示例中,当图像存储单元120和元数据单元130启动后可以向服务注册单元170发送服务注册请求以注册到服务注册单元170。在这种情况下,能够使图像存储单元120被获取单元110(例如存储客户端)和元数据单元130感知。另外,能够使元数据单元130被图像存储单元120感知。在一些示例中,服务注册单元170处理服务注册的方式可以支持主备+VIP方式、Raft方式和Paxos方式中的至少一种方式。
在一些示例中,处理系统还可以包括安全模块(未图示)。安全模块可以用于数字病理图像的数据调阅的安全管理。由此,能够提高数字病理图像分享的安全性。在一些示例中,安全模块可以用于基于令牌(tocken)认证对数据请求进行认证并授权。在这种情况下,经由授权的来源能够请求获取数字病理图像的相关数据。在一些示例中,安全模块还可以用于记录访问日志。由此,能够方便后续进行安全审计且能够提高安全性。
以下,结合附图描述本公开示例所涉及的数字病理图像的数据流处理方法。图6是示出了本公开示例所涉及的数字病理图像的数据流处理方法的一种示例的流程图。在一些示例中,如图6所示,数据流处理方法可以包括准备存储环境(步骤S110),获取数字病理图像并对数字病理图像进行分块存储或直接存储(步骤S120)和接收数据请求并返回数字病理图像的相关数据(步骤S130)。
在一些示例中,在步骤S110中,可以准备存储环境。具体地,可以通过元数据单元130对存储数字病理图像的图像存储单元120的节点信息进行管理,并将元数据单元130和图像存储单元120注册到服务器注册单元。由此,能够使图像存储单元120被获取单元110所感知,使元数据单元130能够被图像存储单元120所感知。
在一些示例中,在步骤S120中,可以获取数字病理图像并对数字病理图像进行分块存储或直接存储。具体地,获取单元110可以获取数字病理图像,并将数字病理图像存储至所感知的图像存储单元120,在写入数字病理图像时,图像存储单元120可以提取元数据,并基于元数据生成图像编号,然后基于元数据对数字病理图像进行存储,其中,数字病理图像可以存储在图像存储单元120的第一存储单元121和/或第二存储单元122中。在一些示例中,可以根据实际存储需求选择将数字病理图像存储在第一存储单元121或第二存储单元122。具体内容参见图像存储单元120的相关描述。
在一些示例中,第一存储单元121可以根据分块策略对数字病理图像进行分块存储并生成分块信息和子切片信息,然后将元数据、分块信息以及子切片信息存储至元数据单元130。在一些示例中,第一存储单元121可以在数字病理图像写入时,基于图像子切片的字节大小对数字病理图像进行字节级别的分块以获取多个子分块,然后对多个子分块进行存储。具体内容参见第一存储单元121和元数据单元130的相关描述。
在一些示例中,第二存储单元122可以对数字病理图像进行直接存储,并将元数据和数字病理图像的全图的存储路径存储至元数据单元130。在一些示例中,第二存储单元122在存储数字病理图像时,也可以生成图像子切片的子切片信息,并将子切片信息存储至元数据单元130。具体内容参见第二存储单元122和元数据单元130的相关描述。
在一些示例中,在步骤S130中,可以接收数据请求并返回数字病理图像的相关数据。如上所述,在一些示例中,数字病理图像的相关数据可以包括元数据、宏观图、缩略图、标签图、瓦片图(也即图像子切片)和目标区域数据中的至少一种数据。以瓦片图为例,可以通过数据接口150接收数据请求并发送给解析单元140,解析单元140确定所请求的数据为至少一个图像子切片后,从元数据单元130查询存储数字病理图像的全图或子分块的存储路径和对应的存储单元的节点信息,进而从存储路径以节点信息中的访问地址和访问协议读取数字病理图像的全图或子分块,然后从数字病理图像的全图或子分块获取至少一个图像子切片或至少一个图像子切片对应的数据流。在一些示例中,解析单元140可以从元数据单元130获取至少一个图像子切片的子切片信息,然后基于子切片信息中的字节偏移量以及图像子切片的字节大小从图像存储单元120存储的数字病理图像获取至少一个图像子切片对应的数据流,其中,数字病理图像存储在第一存储单元121或第二存储单元122,获取图像子切片对应的数据流的过程不同。具体内容参见解析单元140的相关描述。
本公开的处理系统为计算系统提供多张数字病理图像的数据流,获取数字病理图像并提取元数据,基于元数据获取的图像子切片的字节大小并按字节顺序对数字病理图像进行字节级别的分块以获取多个包括多个相邻区域的图像子切片的子分块,然后对多个子分块进行存储,并记录元数据和各个图像子切片相对所在子分块的字节偏移量,在接收获取数据流的数据请求时,通过记录的相对所在子分块的字节偏移量以及图像子切片的字节大小以共享子分块打开的句柄的方式一次从子分块读取至少一个图像子切片对应的数据流。在这种情况下,按字节顺序基于字节对数字病理图像进行分块,避免图像的编码和解码操作,能够降低硬件资源的耗费,且能够避免产生海量的小文件,降低文件寻址的难度,进而能够降低对存储介质的性能要求,且通过基于字节偏移量获取图像子切片对应的数据流能够在不需要整体打开子分块的情况下,获取相应字节偏移量下图像子切片的字节大小的数据块,进而能够降低负载。由此,能够快速且较低成本地对数字病理图像进行存储和进行基于数据流的分享。另外,能够使得像素区域相近的图像子切片尽可能被存储在同一个子分块中,进而能够局部上实现了随机读取到顺序读取的转换,进而能够减少子分块被打开的次数。由此,能够使数据容量、性能和成本合理适配。另外,处理系统还支持对数字病理图像的全图进行存储,并通过相对数字病理图像的全图的偏移量获取至少一个图像子切片对应的数据流。在这种情况下,即使对数字病理图像的全图进行存储,也能够快速地读取图像子切片对应的数据流。
虽然以上结合附图和示例对本公开进行了具体说明,但是可以理解,上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化,这些变形和变化均落入本公开的范围内。

Claims (10)

1.一种数字病理图像的数据流的处理系统,其特征在于,是为计算系统提供多张数字病理图像的数据流的处理系统,所述计算系统具有多个计算任务,所述计算系统缓存各张数字病理图像对应的所述数据流以使所述多个计算任务通过复用所述数据流对各张数字病理图像并行地进行计算分析,在完成各张数字病理图像的所述计算分析后,从缓存中删除所述数据流,所述处理系统包括:
获取单元,其用于获取所述数字病理图像并存储至图像存储单元;
所述图像存储单元,其包括第一存储单元,所述第一存储单元用于读取所述数字病理图像的元数据,基于所述元数据获取所述数字病理图像的图像子切片的字节大小,基于所述图像子切片的字节大小并按字节顺序对所述数字病理图像进行字节级别的分块以获取多个子分块,对所述多个子分块进行存储并生成各个图像子切片的子切片信息,其中,各个子分块包括相邻区域的多个图像子切片,所述子分块的字节大小大于所述数据流的字节大小,所述子切片信息包括所述图像子切片所在的子分块、以及相对所在的子分块的字节偏移量;
元数据单元,其用于记录所述元数据和所述子切片信息;以及
解析单元,其用于从所述元数据单元获取所述数据流对应的至少一个图像子切片中的各个子切片信息,然后基于所述至少一个图像子切片中的各个子切片信息中的字节偏移量以及所述图像子切片的字节大小从所述第一存储单元以共享所述子分块打开的句柄的方式一次从所述子分块读取所述至少一个图像子切片对应的数据流并返回所述计算系统。
2.根据权利要求1所述的处理系统,其特征在于:
各个子分块的字节大小相同,所述第一存储单元在对所述数字病理图像进行分块时,按字节顺序依次将所述图像子切片对应的数据流划分到所述多个子分块中,当一个子分块的剩余空间不够存储完一个图像子切片对应的数据流时,使用空白数据填充所述剩余空间。
3.根据权利要求1所述的处理系统,其特征在于:
所述图像存储单元还包括第二存储单元,所述第二存储单元用于对所述数字病理图像的全图进行存储,所述子切片信息还包括相对所述数字病理图像的全图的字节偏移量。
4.根据权利要求3所述的处理系统,其特征在于:
若所述数字病理图像存储在所述第一存储单元,则所述解析单元基于各个图像子切片的子切片信息获取所述图像子切片所在的子分块的存储路径和相对该子分块的字节偏移量,然后从所述存储路径读取所述字节偏移量下所述图像子切片的字节大小的数据块作为所述图像子切片对应的数据流;若所述数字病理图像存储在所述第二存储单元,则所述解析单元获取所述数字病理图像的全图的存储路径和相对所述数字病理图像的全图的字节偏移量,然后从所述存储路径读取所述字节偏移量下所述图像子切片的字节大小的数据块作为所述图像子切片对应的数据流;并且
所述解析单元将所述至少一个图像子切片对应的数据流作为所述数据请求的响应。
5.根据权利要求1所述的处理系统,其特征在于:
所述元数据单元还用于记录分块策略和分块信息,所述分块信息包括各个子分块的分块编号和存储路径。
6.根据权利要求1所述的处理系统,其特征在于:
所述处理系统还包括服务注册单元,所述服务注册单元用于接收服务注册请求,并对服务进行注册和管理,当所述图像存储单元和所述元数据单元启动后向所述服务注册单元发送所述服务注册请求以注册到所述服务注册单元。
7.根据权利要求1所述的处理系统,其特征在于:
所述元数据包括所述数字病理图像的色彩通道、图像层级和所述图像层级的各个图像子切片的像素宽高,所述图像子切片的字节大小为所述图像子切片的像素宽高乘以所述色彩通道的数量,所述子切片信息还包括所述图像子切片的字节大小和所属的图像层级。
8.根据权利要求1所述的处理系统,其特征在于:
所述第一存储单元还用于获取所述数字病理图像的宏观图、标签图和缩略图并进行存储,所述处理系统还包括用于接收所述数据请求的数据接口,所述数据接口包括用于获取匹配显示设备的视野大小的图像层级的DeepZoom接口、用于获取所述元数据的元数据接口、用于获取所述宏观图的宏观图接口、用于获取所述缩略图的缩略图接口、用于获取所述标签图的标签图接口、获取所述图像子切片的瓦片接口和用于获取目标区域内的至少一个图像子切片或至少一个图像子切片对应的数据流的目标区域接口中的至少一种接口。
9.根据权利要求8所述的处理系统,其特征在于:
所述处理系统还包括协议适配单元,所述协议适配单元基于所述数据接口的使用场景,适配可复用或不可复用的请求方式,所述可复用的请求方式包括基于http2的grpc协议的请求和基于socket协议的请求,所述不可复用的请求方式包括http请求和restful api请求。
10.根据权利要求4所述的处理系统,其特征在于:
所述解析单元读取所述数字病理图像时,共享所述数字病理图像打开的句柄并一次读取所述至少一个图像子切片对应的数据流。
CN202111315800.9A 2021-11-08 2021-11-08 数字病理图像的数据流的处理系统 Active CN114038541B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111315800.9A CN114038541B (zh) 2021-11-08 2021-11-08 数字病理图像的数据流的处理系统
CN202210891998.3A CN115206498A (zh) 2021-11-08 2021-11-08 数字病理图像的数据流处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111315800.9A CN114038541B (zh) 2021-11-08 2021-11-08 数字病理图像的数据流的处理系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210891998.3A Division CN115206498A (zh) 2021-11-08 2021-11-08 数字病理图像的数据流处理方法

Publications (2)

Publication Number Publication Date
CN114038541A CN114038541A (zh) 2022-02-11
CN114038541B true CN114038541B (zh) 2022-07-22

Family

ID=80143464

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210891998.3A Pending CN115206498A (zh) 2021-11-08 2021-11-08 数字病理图像的数据流处理方法
CN202111315800.9A Active CN114038541B (zh) 2021-11-08 2021-11-08 数字病理图像的数据流的处理系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210891998.3A Pending CN115206498A (zh) 2021-11-08 2021-11-08 数字病理图像的数据流处理方法

Country Status (1)

Country Link
CN (2) CN115206498A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115423690B (zh) * 2022-11-04 2023-03-21 之江实验室 基于图像金字塔的高分辨率肝癌病理图像展示方法及系统
CN115942003A (zh) * 2022-12-26 2023-04-07 杭州医策科技有限公司 一种基于浏览器服务器架构的病理图片阅片方法
CN116403684B (zh) * 2023-06-08 2023-08-11 杭州医策科技有限公司 一种数字病理图像加载方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105357304A (zh) * 2015-11-16 2016-02-24 广州华银医学检验中心有限公司 远程病理诊断切片数字图像处理及传输技术
CN108735284A (zh) * 2018-05-16 2018-11-02 南京图思灵智能科技有限责任公司 病理图像共享的方法及配有数据库服务器的共享平台
JP2019082815A (ja) * 2017-10-30 2019-05-30 株式会社Nobori 遠隔病理診断システム及び遠隔病理診断方法
CN110288613A (zh) * 2019-06-12 2019-09-27 中国科学院重庆绿色智能技术研究院 一种超高像素的组织病理图像分割方法
CN110570953A (zh) * 2019-09-09 2019-12-13 杭州憶盛医疗科技有限公司 一种数字病理全景切片图像自动分析方法和系统
CN111222064A (zh) * 2019-12-25 2020-06-02 宁波市科技园区明天医网科技有限公司 一种数字病理切片的云存储方法
CN113488144A (zh) * 2021-07-14 2021-10-08 深圳市东亿健康服务有限公司 一种切片图像处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3100642A1 (en) * 2018-05-21 2019-11-28 Corista, LLC Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105357304A (zh) * 2015-11-16 2016-02-24 广州华银医学检验中心有限公司 远程病理诊断切片数字图像处理及传输技术
JP2019082815A (ja) * 2017-10-30 2019-05-30 株式会社Nobori 遠隔病理診断システム及び遠隔病理診断方法
CN108735284A (zh) * 2018-05-16 2018-11-02 南京图思灵智能科技有限责任公司 病理图像共享的方法及配有数据库服务器的共享平台
CN110288613A (zh) * 2019-06-12 2019-09-27 中国科学院重庆绿色智能技术研究院 一种超高像素的组织病理图像分割方法
CN110570953A (zh) * 2019-09-09 2019-12-13 杭州憶盛医疗科技有限公司 一种数字病理全景切片图像自动分析方法和系统
CN111222064A (zh) * 2019-12-25 2020-06-02 宁波市科技园区明天医网科技有限公司 一种数字病理切片的云存储方法
CN113488144A (zh) * 2021-07-14 2021-10-08 深圳市东亿健康服务有限公司 一种切片图像处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A New Method for Shaded Surface Display of Biological and Medical Images;Patrick B. Heffernan等;《IEEE Transactions on Medical Imaging》;19850330;第04卷(第01期);第26-38页 *
基于Web的数字病理标注数据采集与管理系统设计与实现;田靓;《华中科技大学硕士论文》;20200216;全文 *
组织病理图像检索及其癌症辅助诊断方法概述;郑钰山等;《中国体视学与图像分析》;20191225;第24卷(第04期);第287-297页 *

Also Published As

Publication number Publication date
CN114038541A (zh) 2022-02-11
CN115206498A (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
CN114038541B (zh) 数字病理图像的数据流的处理系统
US11017018B2 (en) Systems and methods of building and using an image catalog
CN100565511C (zh) 用于检索及显示图像的设备和方法
US20070180265A1 (en) Film management method
US20040109197A1 (en) Apparatus and method for sharing digital content of an image across a communications network
KR100990098B1 (ko) 데이터 처리 시스템, 데이터 처리 방법, 정보 처리 디바이스, 및 컴퓨터 판독가능 기록 매체
US20030005464A1 (en) System and method for repository storage of private data on a network for direct client access
EP1965333A2 (en) File server for translating user identifier
US20090106279A1 (en) Method of processing tag information and client-server system using the method
CN109885577B (zh) 数据处理方法、装置、终端及存储介质
US11947826B2 (en) Method for accelerating image storing and retrieving differential latency storage devices based on access rates
US20120150881A1 (en) Cloud-hosted multi-media application server
US20050195430A1 (en) Image registration apparatus, image retrieval apparatus, image management method, and storage medium
CN113448946B (zh) 数据迁移方法及装置、电子设备
CN115221453B (zh) 媒体资源管理方法、装置、服务器、介质
KR102481009B1 (ko) 크로마 서브 샘플링된 이미지들에 대한 빠른 참조 객체 저장 형식에 대한 방법
CN114168074A (zh) 镜像存储方法、装置、存储介质以及电子设备
US20140269911A1 (en) Batch compression of photos
CN113936776B (zh) 分布式的多病种人工智能病理分析系统
CN112347046A (zh) 一种获取分布式系统中文件的创建时间的方法
JP5089353B2 (ja) プログラム、ファイル管理装置及びファイル管理方法
CN103678862A (zh) 信息处理装置、信息处理方法和信息处理程序
US11860843B2 (en) Data processing method and device
US20220342898A1 (en) Apparatus, method and computer-readable medium for access
CN115438279B (zh) 数据可视化方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant