CN103810370A - 即时影像云端系统及其管理方法 - Google Patents
即时影像云端系统及其管理方法 Download PDFInfo
- Publication number
- CN103810370A CN103810370A CN201310197217.1A CN201310197217A CN103810370A CN 103810370 A CN103810370 A CN 103810370A CN 201310197217 A CN201310197217 A CN 201310197217A CN 103810370 A CN103810370 A CN 103810370A
- Authority
- CN
- China
- Prior art keywords
- image
- region
- fore device
- interest
- end system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims description 26
- 230000007170 pathology Effects 0.000 claims abstract description 64
- 238000012545 processing Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 10
- 230000000916 dilatatory effect Effects 0.000 claims description 7
- 239000011449 brick Substances 0.000 abstract description 21
- 230000001575 pathological effect Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 239000012634 fragment Substances 0.000 description 9
- 230000009471 action Effects 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 5
- 201000011510 cancer Diseases 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000000505 pernicious effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Abstract
一种即时影像云端系统,包含:至少一前端装置,产生一指令信息及一关注区域信息;以及一后端系统,耦接于该前端装置,该后端系统具有复数个巨量高解析或低解析病理影像;其中,每个高解析影像,含有多解析图层结构,且不同解析度的每个病理影像图层皆由复数个图砖区所组成;其中,该关注区域信息分别对应该一指定解析病理图层的一区域以及部分该图层影像的复数图砖区其中一组合;其中,该后端系统根据该指令信息及该关注区域信息选择性提供该复数图砖区的组合至该前端装置。
Description
技术领域
本发明是关于一种即时影像云端系统及其管理方法;具体而言,本发明是关于一种即时影像云端系统,具可即时显示、处理、分析高解析(或低解析)影像的即时影像云端系统及其管理方法。
背景技术
多年来医学病理部对于设备的更新较慢,通常使用传统的光学病理显微镜,不但容易造成人工判断上误差、数据无法妥善管理储存,还有空间上放置的问题。近年来随着数字病理影像的推动,快速且客观的数字病理分析,并大量减少空间上的需求。近年来随着数字病理的推动,切片影像数字化已成为一项发展的趋势,然而云端高解析病理影像分享,却因为技术上的瓶颈,使得使用上容易产生等待或系统缓慢等问题,除此之外,也缺乏智慧组织辨识、比对分析的技术,来协助医学专家从事临床诊断或者研究分析。
发明内容
本发明的一目的在于提供一种即时影像云端系统及其管理方法,可通过降低所需要传输的影像容量以提高数据传输速度及降低数据传输的等待时间。
本发明的另一目的在于提供一种即时高解析影像云端系统及其管理方法,可降低影像分析及影像处理的传输容量并能高速平行化处理数据,以提升影像即时显示、分析及影像处理的速度。
本发明提供一种即时影像云端系统,包含:至少一前端装置,产生一指令信息及一关注区域信息;以及一后端系统,耦接于该前端装置,具有储存复数个病历数据及复数个原病理影像,且每个原病理影像具有复数个解析度图层,每个解析度图层具有复数个图砖区,该后端系统可提供病历数据及其巨量高解析或低解析度病理影像给前端装置,以致使该前端装置显示该病历数据及其高解析或低解析度病理影像,其中高解析度病理影像具有复数个解析度图层,每个图层具有复数个图像砖块区,且各解析度病理影像的每个图像砖块区,分别对应不同解析度病理影像的复数个图砖区的不同部分的组合;其中,该后端系统根据该指令信息选择性提供给该前端装置该关注区域信息所对应的该复数个图砖区的组合,或针对该关注区域信息所对应的该复数个图砖区的组合进行影像处理。
本发明提供一种即时影像云端系统的管理方法,其中该即时影像云端系统包含至少一前端装置、至少一后端数据库以及一后端系统,该管理方法包含以下步骤:以该后端系统自该前端装置其中之一接收一关注区域信息(ROI),其中该关注区域信息为一指定解析度影像的一部分区域;根据该关注区域信息以该后端系统于一原病理影像中,判断对应该关注区域信息的该部分区域的位置,及该部分区域在该影像储存的图层和相关的复数个图砖区;以及以该后端系统自该前端装置接收一指令信息,并根据该指令信息选择性传输一复数个图砖并结合图砖影像至该前端装置,或针对该复数个图砖区的影像进行高速平行化运算影像分析处理。
附图说明
图1为即时影像云端系统的实体结构的一实例的示意图;
图2为即时影像云端系统的另一实例的示意图;
图3为即时影像云端系统的另一实例的示意图;
图4为低解析度病理影像、中级解析度病理影像及原病理影像的一实例的示意图;
图5A显示影像的画素被组态于复数个行列,以及关注区域与该些行列的关系的示意图;
图5B为图砖区及关注区域的一实例的示意图;
图5C显示原病理影像、多重解析度病理影像以及影像容量的相对关系的示意图;以及
图6-9显示即时影像云端系统的管理方法的流程图。
【主要元件符号说明】
具体实施方式
一种即时影像显示、分享、处理、分析巨量高解析或低解析影像于云端网络(包含私有网络、局部网络、公有网络)的云端系统及其管理方法,该系统包含:至少一前端装置,产生一指令信息及一关注区域信息;至少一后端数据库,储存复数个物件数据(如病历诊断数据)及每份数据相关的复数个巨量高解析或低解析影像数据,如巨量高解析病理切片影像;每个病理影像具有多解析图层结构,每个图层含有复数个图砖区,每个图砖区为局部影像储存单位;该后端系统可即时提供病历数据及其高解析度病理影像给前端装置,以致使该前端装置显示该病历数据及其高解析度病理影像,其中前端可进行影像处理指令,指示后端即时提供影像处理后的高解析病理影像多层次影像图砖设计结构,使得能快速撷取局部影像不需耗用大量存储器,并且能简单融合于高速平行运算架构。后端系统根据指令信息选择性提供该关注区域信息所对应的复数个图砖区的组合给前端装置,或针对该关注区域信息所对应的复数个图砖区的组合进行影像处理。在高速平行运算时,图砖区的数据可进行独立撷取并处理,可独力传送至单一运算核心,进行平行高速多核心运算。
图1显示本发明的即时影像云端系统100的一较佳实施例。如图1所示,即时影像云端系统100包含至少一前端装置10、一后端系统20以及至少一后端数据库30。在本实施例中,每个前端装置10及后端数据库30均耦接于后端系统20。在一较佳实施例中,前端装置10可包含桌上型电脑、笔记本电脑、智慧手机以及平板电脑。其中,前端装置10具有一使用者界面11,用于输入使用者的指令及显示数据。前端装置10较佳是通过网络与后端系统20耦接,如互联网。然而,在其他不同实例中,前端装置10也可通过区域网络的无线或有线方式与后端系统20耦接。在一较佳实施例中,本发明的即时影像云端系统100是用于医学影像的显示、分享、分析及处理的即时影像云端系统。通过本发明的即时影像云端系统100,使用者经身份验证后(通过帐号密码保护),可快速方便地通过网络观察、诊断、分析、处理医学病历数据或进行病理影像(如医学切片影像)的分析及影像处理,且本发明的即时影像云端系统可降低影像的显示、分析及处理所需的时间。
如图1所示,后端系统20包含至少一处理器21及至少一主存储器22。其中,主存储器22中存有至少一作业系统23、至少一应用程序24以及至少一数据库管理系统25。在一较佳实例中,后端系统20为一种服务器,且可包含一个或复数个服务器。在本实例中,后端系统20可以是Apache HTTP服务器,但不以此为限,其中作业系统23执行Apache的作业系统,以提供给前端装置10各种web网络服务。应用程序24可包含执行PHP、JavaScript、FLASH网页的服务的应用程序。然而,在其他不同实施例中,后端系统20可以是其他种服务器,如微软的ASP网页服务服务器。
如图1所示,在本实施例中,数据库管理系统25为另一种应用程序,用于当作应用程序24应用后端数据库30的界面。后端数据库30可包含一个或多个实体的储存装置。在本实施例中,不管后端数据库30有多少实体的储存装置,在软件方面上,后端数据库30可以SQL或MySQL的数据库呈现,但不以此为限。在本实例,后端数据库30的MySQL数据库可与后端系统20的Apache网页服务器及PHP、JavaScript、FLASH搭配使用,以致使后端系统20可提供前端装置10网页服务以及后端数据库30所储存的数据。然而,在其他不同实例中,若后端系统20不是使用Apache时,后端数据库30也可以其他形式呈现,如微软的Access数据库、SQL数据库、Oracle数据库等。
图2为即时高解析影像云端系统100的功能简介的示意图。如图2所示,当前端装置10通过网络连接至后端系统20时,前端装置10可以一使用者帐号或一管理者帐号登入后端系统20中。当前端装置10登入后端系统20后,前端装置10的使用者可通过前端装置10的界面进行操作,如请求后端系统20提供后端数据库30所储存的数据。如图1及图2所示,当前端装置10登入后端系统20后,前端装置10的使用者会先进入后端系统20的第一层(Layer1)。根据使用者所输入的使用者名称(User ID)、密码及/或其他相关的登入信息,即时影像云端系统100可选择性让使用者通过第一层并与一第二层(Layer2)连接。在一较佳实施例中,第二层包含一文字与数字数据库(如电子诊断病历数据库)以及一高解析影像数据库(如高解析病理切片影像数据库),其中高解析影像数据库可以是高解析多媒体影像数据库。换言之,第一层和第二层组成为图1的后端数据库30,且第一层为整合数据库的数据目录数据库。如图2所示,第二层为后端数据库30中所储存的数据。举例而言,如图2所示,文字与数字数据库如电子病历数据库中可包含各种不同的信息,如姓名、年龄、病历识别号码、身高、体重、癌症识别号码、诊断日期、诊断或治疗器官、癌症种类、癌症识别号码、诊断结果(良性或恶性)以及各种与病人相关的诊断或治疗结果的文字及/或数字等信息。举例而言,高解析(病理)影像数据库则是储存关于病人的历史高解析切片影像。
在一较佳实施例中,当前端装置10是以使用者帐号登入后端系统20时,前端装置10仅能请求后端系统20提供该使用者帐号权限所及的病历数据及病理影像切片数据。然而,当前端装置10是以管理者帐号登入后端系统20时,后端系统20会提供给前端装置10上传数据、从后端数据库30中删除数据以及下载数据的权限。在本实施例中,管理者帐号的权限可让前端装置10对后端数据库30的任何数据进行更新或修正。
图3为图1及图2的另一示意图。如图3所示,使用者界面层是呈现于前端装置10中。在使用者界面层中,使用者可通过使用查询界面来与后端系统20进行通信。具体而言,如图3所示,由于前端装置10较佳是通过网络与后端系统20连接,通过查询界面与前端装置10的通信管理模块通信协调,使用者可通过前端装置10的通信管理模块与后端系统20的通信管理模块通信连接。在本实施例中,通信管理模块较佳为网络界面卡等网络通信界面,且是利用HTTP(hypertext transfer protocol)的网络通信协议呈现。在本实施例中,前端装置10是通过一浏览器与后端系统20进行网络通信协议的通信连接。前端装置10的浏览器可包含opera浏览器、google chrome浏览器、微软的InternetExplorer、苹果电脑公司的Safari等浏览器。然而,在其他不同实施例中,前端装置10中可安装相对于后端系统20的应用程序界面(Application ProgrammingInterface、API)。在此情况下,前端装置10可在查询界面及通信管理模块之间进一步包含一MySQL数据库界面,以提供前端装置10可直接将使用者的数据查询指令转换为MySQL格式,并传送至后端系统20进行处理。此方式的优点在于,可降低后端系统20的负担而提高后端系统20对前端装置10的反应。举例而言,若使用者是通过前端装置10,以管理者帐号登入后端系统20,当使用者要上传新的影像至后端系统20时,前端装置10可预先将该数据,通过MySQL界面,向后端系统20直接下指令储存该影像至后端数据库30中的一特定位置。
如图3所示,使用者界面层会与物件关联式数据库界面层(Object RelationalDatabase Interface Layer)通信连接。在本实施例中,物件关联式数据库界面层为后端系统20及后端数据库30的MySQL数据库结构。如图3所示,物件关联式数据库界面层包含一查询处理器、一抽象数据界面以及一目录管理模块。当前端装置10包含MySQL界面时,前端装置10所传输给后端系统20的MySQL格式的指令将会抵达后端系统20的MySQL界面,并且通过查询处理器处理该指令。根据该处理结果,后端系统20将会自后端数据库30进行数据的增加、更改、撷取、或删除。然而,若前端装置10不包含MySQL界面时(亦即,是通过浏览器登入后端系统20),前端装置10的指令将会先抵达到抽象数据界面,并由其分析及判断,再传一指令至查询处理器的查询管理模块。
在图3中,物件储存层(Object storage layer)代表后端数据库30的实体的储存装置。在本实施例中,后端数据库30包含一缓冲/储存管理模块,用于缓冲及管理数据库的数据的传送及储存。如图3所示,缓冲/储存管理模块是连接于至少一原影像数据库及一其他储存装置。原影像数据库可包含复数个储存服务器,且是用来储存病理影像数据的原始文件。该其他储存装置可包含如阵列式磁碟的储存装置或任何其他的储存装置。
如图3所示的文字和数字查询,影像数据库具有搜索功能,分别为一般搜寻和进阶搜寻。电子病历数据库中的一般搜寻,可选择单项病人数据(如姓名或年龄)进行各项搜寻,而进阶搜寻则可输入多项病人数据(如姓名及年龄)进行符合多项目的搜寻,并找到符合的病人信息。病理切片数据的一般搜寻,可选择单项病理切片数据(如器官或癌症)进行各项搜寻,而进阶搜寻则可输入多项病人数据(如器官及癌症)进行符合多项目的搜寻,并找到符合的病理切片信息。如图三所示的影像查询,使用者输入一影像,自动侦测新影像特征,输入查询界面,找到符合影像特征的多笔切片影像数据。
图4显示即时(高解析)影像云端系统100所提供的单一高解析病理切片影像文件的文件结构含有不同解析度的一实施例。如图4所示,金字塔的第0图层(底层)为后端数据库30所储存的原病理(切片)影像32的最高倍数解析度的影像内容。在本实施例中,在即时影像云端系统100中原病理影像32的解析度最高,并且原病理影像32被分为复数个图砖区(tiles)35。在一较佳实施例中,在此金字塔结构中每往上一层时,影像的解析度会降低(亦即,影像维度会缩小)。在本实施例中,当使用者通过前端装置10登入后端系统20并请求病理数据时,后端系统20将会预设地传送原病理影像的最高图层图砖区信息至前端装置10,做为快显。具体而言,以图4为例,在本实施例中第3层的图层为金字塔结构的最高图层。前端装置10首次登入后端系统20并请求病理数据时,后端系统20会将第3图层的整个图层影像的内容传送至前端装置10。前端装置10将会接收并整合显示该整个图层影像于前端装置10的使用者界面(如屏幕)。通过此方式,由于后端系统20不是传送第1层的最高解析度的原病理影像至前端系统10,即时影像云端系统100可减少数据的传输量,并且同时可使前端装置10节省下载及影像显示处理的时间。换言之,前端装置10及后端系统20的负担可以被减少。在本实施例中,预设的最高图层病理影像为第3图层。但是,需说明的是,虽然图4只显示四层(第0-3图层),在其他不同实施例中,即时影像云端系统100的影像解析度金字塔结构可包含更多或更少层。换言之,在最高图层病理影像及最低图层病理影像(第0图层)之间可包含多个不同解析度的影像图层。在此需说明的是,在同一个病理影像金字塔中,每一图层的影像内容与其他图层相似,唯一不同的在于他们的解析度不同。
当前端装置10快取显示预设最高图层的影像(最低解析度病理的第0图层)时,使用者可通过前端装置10的使用者界面,在所显示的最高图层的影像上点选一关注区域ROI(region of interest)。在本实施例中,关注区域ROI所包含的范围及大小可由使用者定义。举例而言,使用者可在使用者界面所显示的最高层的影像上画出一方块形的关注区域ROI范围。此范围代表使用者欲观测的区域。前端装置10根据使用者所指定关注区域ROI的位置产生一影像定位指令。影像定位指令是用于告知后端系统20使用者所选定关注区域ROI的相关信息,如范围大小、图层中的相对位置及关注区域ROI的范围形状等相关信息。
在点选或画出关注区域ROI并产生影像定位指令后,使用者可指示前端装置10依据所指定的关注区域ROI来显示该关注区域ROI的其他较高解析度的影像。具体而言,前端装置10是根据所指定的关注区域ROI以及目前前端装置10所显示的病理影像图层来产生一指令信息给后端系统20。在本实施例中,使用者可选择不同程度的解析度,如第0、1或2图层的解析度。根据此选择,后端系统20将会根据指令信息所指到的图层及关注区域ROI在该指到图层上的相对位置换算出该指到图层中涵盖部分该关注区域ROI的图砖区位置,并会自后端数据库30撷取该层的相关的复数个图砖区的较高解析病理影像给前端装置10。举例而言,若前端装置10目前显示预设的最低解析度病理影像(图4的第3层),当前端装置10向后端系统20下影像定位指令给后端系统20并且使用者有选择一较高解析度层(金字塔的较低图层)时,后端系统20将会传送原病理影像32的该较高解析度层(如第2图层)中对应关注区域ROI的相对位置的团砖影像给前端装置10。换言之,如图4所示,当前端装置10在较高层时(如第3层),使用者可指定关注区域ROI的范围并选择一较低层的高解析度图层(第2、1或0图层),以使后端系统20可将所选择图层中对应所指定的关注区域ROI的图砖区(35、34或33)传输至前端装置10。举例而言,使用者可选择第1层,而后端系统20相对的会将该些复数个对应指定的关注区域ROI的图砖区34自后端数据库30撷取并传输至前端装置10。
在另一实施例中,前端装置20可让使用者选择性启动一影像分析处理模式,以致使前端装置20产生并传输包含一影像分析处理指令的指令信息至后端系统20。当后端系统20自前端装置10接收关注区域ROI、使用者所指定的图层以及该影像分析处理指令时,后端系统20将会根据选取的关注区域ROI,排程优先处理显示在位于关注区域ROI的该指定的图层的图砖区影像内容信息,于后端系统20接着排程处理邻近的图砖区信息和上下图层的图砖区内容,做为前端装置10的可预取数据(pre-fetch data),以达到即时影像显示处理分析的功能;此外,个别图砖区在后端处理时,可进行高速同步平行运算。举例而言,假设前端装置10所显示的影像为图4中第1层的关注区域ROI所对应的复数图砖区34,在启用影像分析处理模式的情况下,后端系统20会优先处理邻近该些图砖区34的关注区域ROI外的图砖区34以及第2层及第0层相对关注区域ROI的该些复数个图砖区33及35,并做为预取数据提供给前端装置10。通过此方式,在前端装置10显示对应关注区域ROI的图砖区34影像的情况下,使用者可在前端装置10所显示的影像上进行拖拉动作指令(drag instruction),以指示使前端装置10显示往拖拉动作方向且邻近目前显示关注区域ROI区域外的图砖区34。由于后端系统20已事先处理该些邻近的图砖区34并做为预取数据已传送至前端装置10,当使用者使出该拖拉动作时,前端装置10可即时显示该预取数据。然而,若使用者是选取上或下一图层个解析度,前端装置10则是会显示后端装置20事先处理好并做为预取数据的图砖区33或35。通过此方式,可减少即时影像云端系统100在前端装置10等待显示影像的时间(lag、wait time)。在高速平行运算时,图砖区数据可进行独立撷取并处理,可独立传送至单一运算核心,进行平行高速多核心运算。
图5A显示原高解析病理影像32的各像素P(pixel)及关注区域ROI之间的关系。原病理影像32的复数个像素P若被组态或组合于复数个行列A中时(如图5A所示,每行像素P被分为一行列A),当使用者指定关注区域ROI时,关注区域ROI所覆盖的区域将会跨复数个行列A。在传输影像数据至前端装置10时,由于原病理影像32的像素P被分配成行列A,后端系统20必须将关注区域ROI所覆盖的所有行列A的像素P传输至前端装置10。这种方法会浪费很多时间及资源在传输及处理关注区域ROI未覆盖的像素P(但同样是有覆盖到的行列A)。因此,如图5B所示,本申请的高解析影像的各个图层储存结构采用砖块形的组合,每个砖块区B可包含NxM的像素P,其中N及M为正整数。举例而言,如图5B所示,每个砖块区B可包含5x5的像素P的组合。并且,如图5B所示,当关注区域ROI所覆盖的区域重叠于复数个砖块区B时(如图5B的四个砖块区B),后端系统20可只针对此四个砖块区B进行影像处理、分析、或分享给前端装置10。在一较佳实施例中,每个高解析影像文件含有多个不同解析度的图层,每一层解析度病理影像的图砖区的形状为方块形。然而,在其他不同实例中,也可采用其他形状及大小来组合像素P。此外,每一层的砖块区的形状也可依设计需求改为不同形状。
图5C示意每一层解析度病理影像的解析度及所增加的数据量的比对。如图5C所示,假设一最高解析度影像32(第0层)的影像尺寸为1200000x80000像素,且其影像的数据容量为29GB。然后,若第一层的影像尺寸为30000x2000像素,则容量为1.8GB,以此类推。以本实施例来说,只增加小于6.5%的数据量,却能使系统快速撷取、传输、显示、分析、处理所需要的特定解析度的(特定图层的)关注区域ROI影像信息(相关的复数个图砖区信息);明显可减少前端装置10所需处理的影像数据容量及下载时间,并提高即时影像云端系统100的速度、使用性及便利性。
图6至图9为本申请发明即时影像云端系统的管理方法的流程图。在本实例中,即时影像云端系统的管理方法包含以下步骤:
如图6所示,步骤S40包含以后端系统20自前端装置10接收关注区域信息。在本实施例中,使用者可通过前端装置10的使用者界面选取或画出欲关注的关注区域。前端装置10根据此关注区域产生关注区域信息。具体而言,在一实施例中,当使用者以前端装置10登入后端系统20之后,在使用者查询病历数据及其相关的原病理影像时,后端系统20会预设地先将该原病理影像的金字塔结构中的最高图层(最低解析度的病理影像)传输至前端装置10。此时,前端装置10的使用者可在使用者界面上所显示的该最低解析度病理影像上圈选或画出欲关注的关注区域ROI。前端装置10并且会根据此关注区域ROI产生关注区域信息。
步骤S42包含根据关注区域信息,以后端系统20从金字塔结构的复数个图层中选定一图层为指定图层,并于指定图层中判定相对的关注区域的位置。具体而言,前端装置10会告知后端系统20使用者目前在观赏的病理影像图层。举例而言,若前端装置10目前所显示的病理影像为金字塔结构中的中间的图层(中解析度的病理影像),关注区域信息内会包含此信息,以利于后端系统20可将该图层设定为指定图层。在选定该指定图层后,后端系统20将会在指定图层中判定关注区域的相对位置。如图4所示,若指定图层为第1图层的话,后端系统20将会根据使用者在最高图层(亦即,第3图层的最低解析度病理影像)所圈选的关注区域ROI,在指定图层第1图层中判定相对的关注区域位置。
原病理影像中判断对应该关注区域信息的高解析影像文件中的图层ID与所覆盖(圈选包括)的复数个图砖区。当后端系统20接收到关注区域信息后,后端系统20会先判断关注区域信息于高解析影像文件中的图层位置和相关图砖区位置座标。
步骤S44包含以后端系统20自前端装置10接收指令信息,并根据该指令信息选择性传输关注区域ROI在指定图层中所圈选包括到的复数个图砖区的组合至前端装置10。以上述例子而言,如图4所示,后端系统20将会在判断指定图层中的关注区域后,换算关注区域在指定图层中所圈选且至少部分覆盖或包括到的相关图砖区34影像组成一组合,并传送该组合至前端装置10。通过此方式,前端装置10可显示该组合的影像于使用者界面上。
图7为图6步骤S44中,指令信息包含影像定位指令时的流程图。如图7所示,步骤S48包含以后端系统20自后端数据库30中撷取该组合。具体而言,在步骤S44中,在后端系统20判断该组合后,后端系统20将会把该组合储存于后端数据库30中。在此之后,后端系统20可自由的随时自后端数据库30撷取此组合的数据。在步骤S49中,当指令信息中包含影像定位指令时,后端系统20即据传输该组合的复数个图砖区至前端装置10。举例而言,以图4为例,若指定图层为第1图层,当后端系统20接收到包含影像定位指令的指令信息时,后端系统20将会把第1图层中关注区域所圈选包括的复数个图砖区34的组合传送至前端装置10。
图8为图6步骤S44的指令信息包含影像分析处理指令时的流程图。如图8所示,在步骤S50中,当指令信息中包含影像分析处理指令时,后端系统20将于金字塔结构中在所指定图层的上层及下层图层的各别对应关注区域ROI所圈选包括到的复数图砖区的组合,以及邻近于指定图层中关注区域ROI所圈选包括到的组合的复数个图砖区。具体而言,以图4中第1图层为指定图层为例,当后端系统20自前端装置10接收包含影像分析处理指令的指令信息时,后端系统20将会先判定相对指定图层第1图层的下层的第0图层上的关注区域位置,以及相对上层的第2图层上的关注区域位置,并将邻近该两个关注区域所圈选包括到的复数个图砖区的组合储存于后端数据库30中。换言之,如图4所示,后端系统20将会把第0图层中关注区域ROI所完全或部分覆盖到的复数个图砖区35的组合以及第2图层中关注区域ROI所覆盖到的复数个图砖区33的组合传送至前端装置10,以做为pre-fetch数据给前端装置10显示。此外,后端装置20也可判定邻近指定图层第1图层中关注区域ROI所对照到的复数个图砖区34的组合的复数个图砖区的位置,并储存于后端数据库30中。通过此方式,本发明可节省影像处理的时间及所使用的资原,并可更快的将分析结果传达给前端装置10。
步骤S51包含以后端系统20自前端装置10接收一拖拉动作指令(draginstruction)。在本实施例中,使用者可在前端装置10所显示的病理影像上使出拖动的指示,如往右边的方向拖动前端装置10所显示的病理影像。根据此拖动指示,前端装置10将会产生拖拉动作指令,并传送至后端系统20。在本实施例中,使用者可进行病理影像的拖动动作来移动显示画面的位置。然而,在其他不同实施例中,使用者可通过其他方式指示前端装置10更换目前显示的病理影像的解析度。
步骤S52包含根据拖拉动作指令,以后端系统20选择性传输至前端装置10该指定图层的上下图层分别对应的关注区域ROI所圈选包括到的复数图砖区的组合,或邻近于指定图层中的关注区域ROI内的组合的复数个图砖区。具体而言,根据步骤S51所判断出的各该些复数图砖区的组合及邻近指定图层的组合外的复数个图砖区,后端系统20可将其选择性的传输至前端装置10来做为前端装置10的pre-fetch数据。举例而言,若使用者在前端装置10所显示的指定图层的病理影像上使出拖动动作,后端系统20将会把邻近指定图层的关注区域外,向该拖动动作的方向的复数图砖区传输至前端装置10。在其他实施例中,后端系统20也可先将所有邻近指定图层的关注区域外的复数图砖区先传输至前端装置10。在此情况下,当使用者使出该拖动动作时,由于前端装置10已经有所有邻近该关注区域外的图砖区,前端装置10可即时的显示位于向该拖动动作的方向的邻近图砖区给使用者。在另一个实施例中,使用者也可更换显示的解析度。具体而言,当使用者选取关注区域ROI并指示要增加或减少病理影像的解析度时,后端系统20可将步骤S51中所事先判断并处理好的上层或下层的图层的(复数图砖区)的组合传送至前端装置10显示。
图9为本发明的管理方法的最后步骤S53的流程图。如图9所示,步骤S53包含以前端装置10接收并显示该组合的复数个图砖区的影像。具体而言,前端装置10将会于其的使用者界面上显示后端系统20所传输给前端装置10的图砖区的组合。举例而言,如图4所示,若后端系统20将第0图层中关注区域ROI所含盖的复数图砖区35的组合传送至前端装置10,前端装置10在接收到该组合时,将会把该组合显示于使用者界面上。通过此方式,后端系统20可减少数据的传输量,并且前端装置10所需要显示的影像数据也可被减少,以达成能即时显示、处理及分析病理影像的功能。
本发明观点已配合作为范例的特定实例加以说明,但是这些范例可有其他选替、修改及变化。因此,于此所提出的实例为例示性而非限制性。在不背离申请专利范围的范畴下可有其他改变。
Claims (15)
1.一种即时影像云端系统,其特征在于,该系统包含:
至少一前端装置,产生一指令信息及一关注区域信息;以及
一后端系统,耦接于该前端装置,该后端系统至少有一原影像,其中该原影像具有对应的复数个不同解析度的影像,并且每个影像及该原影像分别由复数个图砖区所组成;
其中,该关注区域信息分别对应各该影像及该原影像内的一关注区域,该后端系统根据该指令信息及该关注区域信息选择性提供该原影像或该复数个影像其中之一内的该关注区域所圈选包括到的该复数图砖区的一组合至该前端装置。
2.如权利要求1所述的即时影像云端系统,其特征在于,该原影像及该复数个影像是以解析度大小的顺序形成具有复数个图层的一金字塔结构,且该原影像为最高解析度并是该金字塔结构的最低层的图层。
3.如权利要求2所述的即时影像云端系统,其特征在于,该些图层中包含至少一中解析度或低解析度的影像,该后端系统根据该指令信息及该关注区域信息判定该些图层其中之一为一指定图层,并选择性提供至该前端装置该指定图层的对应该关注区域的该复数图砖区、该指定图层的上及下层的图层的分别对应的关注区域的该复数图砖区的组合、或邻近该指定图层的关注区域的该复数图砖区的组合的复数个图砖区。
4.如权利要求1所述的即时影像云端系统,其特征在于,该原影像及该复数个影像为病理影像。
5.如权利要求1所述的即时影像云端系统,其特征在于,该图砖区为方块形,该复数个图砖区的组合是由相对该关注区域信息的该关注区域内的复数相邻的该图砖区所形成。
6.如权利要求1所述的即时影像云端系统,其特征在于,该前端装置包含桌上型电脑、笔记本电脑、智慧手机以及平板电脑。
7.如权利要求1所述的即时影像云端系统,其特征在于,该前端装置进一步包含一使用者界面,用以显示该原影像、该复数个影像其中之一、部分该原影像或部分该复数个影像其中之一。
8.如权利要求1所述的即时影像云端系统,其特征在于,该前端装置是通过互联网络与该后端系统耦接。
9.如权利要求1所述的即时影像云端系统,其特征在于,进一步包含至少一后端数据库;其中,该至少一后端数据库储存该复数个原影像、该原影像以及复数个病历数据。
10.一种即时影像云端系统的管理方法,其特征在于,该即时影像云端系统包含至少一前端装置以及一后端系统,该后端系统具有至少一原影像及对应该原影像的复数个不同解析度的影像,且该原影像及该些影像分别由复数个图砖区组成,该原影像及该复数个影像是以解析度大小的顺序形成具有复数个图层的一金字塔结构,且该原影像为最高解析度并是该金字塔结构的最低层的图层,该管理方法包含以下步骤:
(A)以该后端系统自该前端装置接收一关注区域信息;
(B)根据该关注区域信息,以该后端系统从该金字塔结构的该复数个图层其中之一选定为一指定图层,并于该指定图层中判定一关注区域的位置;以及
(C)以该后端系统自该前端装置接收一指令信息,并根据该指令信息选择性传输该关注区域在该指定图层中所圈选包括到的复数个图砖区的一组合至该前端装置。
11.如权利要求10所述的方法,其特征在于,该指令信息包含一影像定位指令;在步骤(C)中,当该指令信息中包含该影像定位指令时,该后端系统即据传输该组合至该前端装置。
12.如权利要求11所述的方法,其特征在于,该后端系统包含一后端数据库,该后端数据库储存该原影像及该些影像;在传输该组合至该前端装置前,进一步包含:以该后端系统自该后端数据库中撷取该组合。
13.如权利要求11所述的方法,其特征在于,进一步包含:以该前端装置接收并显示该组合的复数个图砖区的影像。
14.如权利要求10所述的方法,其特征在于,该指令信息包含一影像分析处理指令;在步骤(C)中,当该指令信息中包含该影像分析处理指令时,该后端系统于该金字塔结构中判断该指定图层的上及下层的图层的分别对应的关注区域所圈选包括的复数图砖区的组合以及邻近该指定图层中的该关注区域的该复数图砖区的组合的复数个图砖区。
15.如权利要求14所述的方法,其特征在于,进一步包含:
以该后端系统自该前端装置接收一拖拉动作指令;以及
根据该拖拉动作指令,以该后端系统选择性传输至该前端装置该指定图层的上及下层的图层的分别对应的关注区域所圈选包括的复数图砖区的组合、或该邻近该指定图层中的该关注区域的该复数图砖区的组合的复数个图砖区。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW101141605 | 2012-11-08 | ||
TW101141605A TWI571762B (zh) | 2012-11-08 | 2012-11-08 | 即時影像雲端系統及其管理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103810370A true CN103810370A (zh) | 2014-05-21 |
Family
ID=50622460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310197217.1A Pending CN103810370A (zh) | 2012-11-08 | 2013-05-24 | 即时影像云端系统及其管理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9047318B2 (zh) |
CN (1) | CN103810370A (zh) |
TW (1) | TWI571762B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106157260A (zh) * | 2016-06-27 | 2016-11-23 | 彭梅 | 并行图像平滑处理平台 |
CN106846352A (zh) * | 2016-12-30 | 2017-06-13 | 歌尔科技有限公司 | 一种用于镜头解析力测试的刀口图片获取方法和装置 |
CN107038210A (zh) * | 2017-02-25 | 2017-08-11 | 张荃 | 一种云影像快速交互显示方法 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9459825B2 (en) * | 2013-09-09 | 2016-10-04 | Opus Medicus, Inc. | Systems and methods for high-resolution image viewing |
US9489104B2 (en) | 2013-11-14 | 2016-11-08 | Apple Inc. | Viewable frame identification |
US9582160B2 (en) | 2013-11-14 | 2017-02-28 | Apple Inc. | Semi-automatic organic layout for media streams |
US20150254806A1 (en) * | 2014-03-07 | 2015-09-10 | Apple Inc. | Efficient Progressive Loading Of Media Items |
TWI499918B (zh) * | 2014-05-21 | 2015-09-11 | Nat Univ Tsing Hua | 執行應用於安卓系統之應用程式之雲端管理系統及其方法 |
US10244241B2 (en) * | 2015-03-22 | 2019-03-26 | Innova Plex, Inc. | Pyramidal file structure and method of use thereof |
KR101628276B1 (ko) * | 2015-04-20 | 2016-06-08 | 주식회사 루닛 | 클라우드 기반 병리 분석 시스템 및 방법 |
US11017014B2 (en) * | 2015-05-22 | 2021-05-25 | Box, Inc. | Using shared metadata to preserve logical associations between files when the files are physically stored in dynamically-determined cloud-based storage structures |
CN105574148A (zh) * | 2015-12-16 | 2016-05-11 | 麦克奥迪(厦门)医疗诊断系统有限公司 | 一种数字切片存储系统和数字切片浏览方法 |
KR102609734B1 (ko) | 2018-07-20 | 2023-12-05 | 삼성전자 주식회사 | 전자 장치 및 이미지의 전송 상태에 기반하여 이미지를 보정하는 방법 |
CN115423690B (zh) * | 2022-11-04 | 2023-03-21 | 之江实验室 | 基于图像金字塔的高分辨率肝癌病理图像展示方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1928871A (zh) * | 2006-09-07 | 2007-03-14 | 北京优纳科技有限公司 | 大容量快速图像浏览系统 |
CN101030298A (zh) * | 2007-03-29 | 2007-09-05 | 杭州电子科技大学 | 多尺度自适应对比度变换的医学图像增强方法 |
CN101520817A (zh) * | 2008-10-07 | 2009-09-02 | 华南师范大学 | 一种海量医学图像三维可视化处理系统 |
US20100077358A1 (en) * | 2005-01-11 | 2010-03-25 | Kiminobu Sugaya | System for Manipulation, Modification and Editing of Images Via Remote Device |
CN101866487A (zh) * | 2010-06-11 | 2010-10-20 | 中国科学院深圳先进技术研究院 | 从医学图像中提取身体部位的方法和系统 |
US20110243438A1 (en) * | 2010-04-05 | 2011-10-06 | Microsoft Corporation | Generation of multi-resolution image pyramids |
EP2469434A1 (de) * | 2010-12-27 | 2012-06-27 | Siemens Aktiengesellschaft | Verfahren und Einrichtung zur Anzeige von medizinischen Bilddaten |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6711283B1 (en) | 2000-05-03 | 2004-03-23 | Aperio Technologies, Inc. | Fully automatic rapid microscope slide scanner |
EP1345172A1 (en) * | 2002-02-26 | 2003-09-17 | Sony International (Europe) GmbH | Contrast enhancement for digital images |
US7426734B2 (en) | 2003-10-24 | 2008-09-16 | Microsoft Corporation | Facilitating presentation functionality through a programming interface media namespace |
WO2006076432A2 (en) | 2005-01-11 | 2006-07-20 | University Of Central Florida | Interactive multiple gene expression map system |
US7831103B2 (en) * | 2006-03-17 | 2010-11-09 | Tata Consultancy Services Limited | Digital images |
US8010555B2 (en) | 2006-06-30 | 2011-08-30 | Aperio Technologies, Inc. | System and method for managing images over a network |
US8000777B2 (en) | 2006-09-19 | 2011-08-16 | Kci Licensing, Inc. | System and method for tracking healing progress of tissue |
US8725528B2 (en) | 2006-09-19 | 2014-05-13 | Kci Licensing, Inc. | System and method for managing history of patient and wound therapy treatment |
US7970228B2 (en) * | 2007-08-30 | 2011-06-28 | Himax Technologies Limited | Image enhancement methods with consideration of the smooth region of the image and image processing apparatuses utilizing the same |
TWI343798B (en) | 2007-12-07 | 2011-06-21 | Long Sun Huang | System of telemedicine, telehealth and telecare and data transmission method thereof |
CN101217643B (zh) * | 2007-12-26 | 2010-12-29 | 广东威创视讯科技股份有限公司 | 动态采集捕获、显示不同大小分辨率图像的方法及其装置 |
TWI358652B (en) | 2008-05-30 | 2012-02-21 | Univ Yuan Ze | Dicom-based 12-lead ecg gateway and browser under |
US8400470B2 (en) * | 2008-08-21 | 2013-03-19 | Genetix Corp | Client side multi-component image composition |
US20100296583A1 (en) * | 2009-05-22 | 2010-11-25 | Aten International Co., Ltd. | Image processing and transmission in a kvm switch system with special handling for regions of interest |
CN102368779B (zh) * | 2011-01-25 | 2013-04-17 | 麦克奥迪实业集团有限公司 | 一种用于移动互联网设备的超大图像加载显示方法 |
US20130077892A1 (en) * | 2011-09-27 | 2013-03-28 | Yasunori Ikeno | Scan Order Optimization and Virtual Slide Stitching |
-
2012
- 2012-11-08 TW TW101141605A patent/TWI571762B/zh not_active IP Right Cessation
-
2013
- 2013-05-09 US US13/890,477 patent/US9047318B2/en not_active Expired - Fee Related
- 2013-05-24 CN CN201310197217.1A patent/CN103810370A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100077358A1 (en) * | 2005-01-11 | 2010-03-25 | Kiminobu Sugaya | System for Manipulation, Modification and Editing of Images Via Remote Device |
CN1928871A (zh) * | 2006-09-07 | 2007-03-14 | 北京优纳科技有限公司 | 大容量快速图像浏览系统 |
CN101030298A (zh) * | 2007-03-29 | 2007-09-05 | 杭州电子科技大学 | 多尺度自适应对比度变换的医学图像增强方法 |
CN101520817A (zh) * | 2008-10-07 | 2009-09-02 | 华南师范大学 | 一种海量医学图像三维可视化处理系统 |
US20110243438A1 (en) * | 2010-04-05 | 2011-10-06 | Microsoft Corporation | Generation of multi-resolution image pyramids |
CN101866487A (zh) * | 2010-06-11 | 2010-10-20 | 中国科学院深圳先进技术研究院 | 从医学图像中提取身体部位的方法和系统 |
EP2469434A1 (de) * | 2010-12-27 | 2012-06-27 | Siemens Aktiengesellschaft | Verfahren und Einrichtung zur Anzeige von medizinischen Bilddaten |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106157260A (zh) * | 2016-06-27 | 2016-11-23 | 彭梅 | 并行图像平滑处理平台 |
CN106846352A (zh) * | 2016-12-30 | 2017-06-13 | 歌尔科技有限公司 | 一种用于镜头解析力测试的刀口图片获取方法和装置 |
CN106846352B (zh) * | 2016-12-30 | 2019-12-27 | 歌尔科技有限公司 | 一种用于镜头解析力测试的刀口图片获取方法和装置 |
CN107038210A (zh) * | 2017-02-25 | 2017-08-11 | 张荃 | 一种云影像快速交互显示方法 |
CN107038210B (zh) * | 2017-02-25 | 2019-10-25 | 张一荃 | 一种云影像快速交互显示方法 |
Also Published As
Publication number | Publication date |
---|---|
US20140126841A1 (en) | 2014-05-08 |
TWI571762B (zh) | 2017-02-21 |
TW201419022A (zh) | 2014-05-16 |
US9047318B2 (en) | 2015-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103810370A (zh) | 即时影像云端系统及其管理方法 | |
US10134126B2 (en) | Intelligent dynamic preloading and processing | |
US9459825B2 (en) | Systems and methods for high-resolution image viewing | |
JP6313325B2 (ja) | バイオマーカー発現の選択及び表示 | |
Goode et al. | OpenSlide: A vendor-neutral software foundation for digital pathology | |
EP2929420B1 (en) | Systems and methods for split screen display of a biological specimen and for capturing records thereof | |
CN101561849B (zh) | 文件制作支援装置、文件制作支援方法以及文件制作支援程序 | |
US8064663B2 (en) | Image evaluation system, methods and database | |
CN108388580A (zh) | 融合医学知识及应用病例的动态知识图谱更新方法 | |
RU2632128C1 (ru) | Способ и система загрузки фрагментов изображения на клиентское устройство | |
CN103153171A (zh) | 医疗信息显示设备、方法和程序 | |
CN103460213A (zh) | 图像采集和/或图像相关参数推荐器 | |
CN102422293A (zh) | 具有外部背景的临床决策支持系统 | |
US10395762B1 (en) | Customized presentation of data | |
US20080175460A1 (en) | Pacs portal with automated data mining and software selection | |
JP2023138961A (ja) | 生体画像データをキャッシュするためのシステムおよび方法 | |
CN106716494B (zh) | 用于渲染视频流的系统和方法 | |
JP2010039900A (ja) | 診断依頼支援装置、医師検索装置、診断依頼方法および画像診断管理方法 | |
RU2632150C1 (ru) | Способ и система загрузки фрагментов изображения на клиентское устройство | |
US20130216096A1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
JP2017016216A (ja) | 診療支援システム、サーバー装置、電子カルテ装置及びプログラム | |
US20160188815A1 (en) | Medical support apparatus, system and method for medical service | |
JP2007287030A (ja) | 情報検索システム、情報検索方法、索引情報生成装置、情報処理装置、索引情報生成プログラム、情報処理プログラム及びプログラムを記憶したコンピュータ読み取り可能な記憶媒体 | |
Choukou | Sustainability of mHealth solutions for healthcare system strengthening | |
WO2021059788A1 (ja) | 診療支援装置、その作動方法及び作動プログラム、並びに診療支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140521 |