CN107545136A - 基于通用函数的医学影像处理方法 - Google Patents
基于通用函数的医学影像处理方法 Download PDFInfo
- Publication number
- CN107545136A CN107545136A CN201710696867.9A CN201710696867A CN107545136A CN 107545136 A CN107545136 A CN 107545136A CN 201710696867 A CN201710696867 A CN 201710696867A CN 107545136 A CN107545136 A CN 107545136A
- Authority
- CN
- China
- Prior art keywords
- image file
- unit
- internal memory
- index relative
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了一种基于通用函数的医学影像处理方法，该方法包括：对获取的影像文件进行高并发上传存储于对象存储单元中，每幅影像文件上传后均触发函数计算单元，解析单元对每幅影像文件进行解析，提取出头信息和像素信息；信息处理单元根据头信息构建影像文件之间的索引关系，并将索引关系动态维护在内存中并完成持久化存储；压缩单元对每幅影像文件的像素信息进行压缩，压缩后的图像缓存存储于对象存储单元中；逻辑控制单元接收前端应用的请求，加载影像查看器，并向内存中维护的索引关系数据模型请求。该方法基于事件驱动的函数计算模式，最大限度地使用了云计算的优势和特性，简化了自建服务器的复杂度，同时极大地加快了影像预处理速度。
Description
技术领域
本发明属于图像显示领域，特别涉及一种基于通用函数的医学影像处理方法。
背景技术
医学影像文件由医疗成像设备(如CT、MR、超声、后处理工作站)产生，影像文件的存储和传输遵循医疗数字影像与通信国际标准。一次影像学检查产生数量不等的影像文件，最新的256排CT一次检查产生多达5000幅图像，这些医学影像文件由于其特殊性需要通过运行在性能较高工作站上的专业软件才能查看。随着云计算技术越来越成熟，使得基于云计算平台的医学影像应用大量兴起，但是由于受限于宽带资源、服务器成本、高并发控制、前端浏览器处理能力等条件约束，目前的云影像服务应用的处理机制并没有摆脱利用单一高性能服务器处理的原有模式。传统模式的工作站软件依赖本地客户端主机的计算能力实现逐个或并行实时处理，同理在云计算环境下也是依赖单一云主机的处理能力，这两种方式本质没有区别，都是取决于单体硬件的计算能力，CT等设备的一个检查可能有多达几千个文件，每个文件都是512X512大小的分辨率，每个文件大小约530k左右，一个检查的文件总大小可达到几个G，随着图像数量的增多需消耗的计算资源呈线性增长，遇到瓶颈后扩展硬件的成本依然很高。而在计算的低谷期资源消耗有限，但成本却不变，产生极大的浪费。
发明内容
为了克服现有技术的不足，本发明提供了一种基于通用函数的医学影像处理方法，该方法基于事件驱动的函数计算模式，最大限度地使用了云计算的优势和特性，简化了自建服务器的复杂度，同时极大地加快了影像预处理速度，为影像的快速显示提供了基础，节省了服务器成本和开发代价。
本发明提供的技术方案为：
一种基于通用函数的医学影像处理方法，包括：
获取一患者的一项检查，所述检查中包括多幅影像文件；
对获取的影像文件进行高并发上传存储于对象存储单元中，每幅影像文件上传后均触发函数计算单元，所述函数计算单元中的解析单元对每幅影像文件进行解析，提取出头信息和像素信息；
将所述每幅影像文件的头信息传递给所述函数计算单元中的信息处理单元，所述信息处理单元根据每幅影像文件的头信息构建影像文件之间的索引关系，并将索引关系动态维护在内存或高速内存数据库中并完成持久化存储；
将所述每幅影像文件的像素信息传递给所述函数计算单元中的压缩单元，所述压缩单元对每幅影像文件的像素信息进行压缩，并将压缩后的图像进行缓存存储于对象存储单元中；
逻辑控制单元接收前端应用的请求，加载影像查看器，并向内存中维护的索引关系数据模型请求。
优选的是，所述的基于通用函数的医学影像处理方法，所述信息处理单元根据每幅影像文件的头信息构建影像文件之间的索引关系，具体包括：
所述信息处理单元接收所述解析单元的服务请求，根据每幅影像文件头信息中提取出的SOP InstanceUID，判断该实例即影像文件是否存在，若不存在，则创建，然后根据Study Instance UID和Series Instance UID，判断该影像所归属的检查和序列是否存在，若不存在，则创建，若存在，则构建从属关系，从而构建影像文件之间的索引关系；
所述将索引关系动态维护在内存或高速内存数据库中并完成持久化存储，还包括：
将每幅影像文件头信息中的图像显示的信息提取出来，维护在内存或高速内存数据库中，并随着关联图像的不断处理而被动态维护，完成持久化存储。
优选的是，所述的基于通用函数的医学影像处理方法，所述对获取的影像文件进行高并发上传存储于对象存储单元中，具体包括：
在网页或本地应用中通过HTTP或HTTPS协议对获取的影像文件进行高并发上传，上传后的每幅影像文件均有访问的唯一路径信息。
优选的是，所述的基于通用函数的医学影像处理方法，所述对象存储单元使用云计算服务平台或者在私有云服务内构建。
优选的是，所述的基于通用函数的医学影像处理方法，所述每幅影像文件上传后均触发函数计算单元，具体包括：
每幅影像文件上传后均作为事件源触发事件，向事件服务发送消息，系统自动调用关联的函数处理事件即触发函数计算单元。
优选的是，所述的基于通用函数的医学影像处理方法，所述逻辑控制单元接收前端应用的请求，加载影像查看器，并向内存中维护的索引关系数据模型请求，具体包括：
所述逻辑控制单元接收前端应用的请求，进行访问授权和验证；所述逻辑处理单元对于授信访问，加载影像查看器，从所述对象存储单元中的缓存中获取压缩后的图像，并向内存中维护的索引关系数据模型进行请求，若内存中的索引关系已被持久化，则加载持久化的索引关系。
优选的是，所述的基于通用函数的医学影像处理方法，其特征在于，所述检查包括多个序列，每个序列均包括多个实例即影像文件。
本发明至少包括以下有益效果：该方法对获取的影像文件进行高并发上传存储于对象存储单元中，这里的影像上传没有先后顺序，使用海量、安全的非结构化文件存储方式可以满足高并发请求，提高了上传速度。每幅影像文件上传后均触发函数计算单元，解析单元对每幅影像文件进行解析提取出头信息和像素新息，信息处理单元根据每幅影像文件的头信息构建影像文件之间的索引关系，压缩单元对每幅影像文件的像素信息进行压缩，这个过程采用了事件驱动的计算模型，最大限度地使用了云计算的优势和特性，简化了自建服务器的复杂度，同时也极大地加快了影像的预处理速度，为影像的快速显示提供了基础，节省了服务器成本和开发代价。由于极大降低了服务器端预处理影像的时间成本，减少了用户等待的时间，给用户带来了更好地使用体验。同时服务器端预处理时间的缩短也意味着可以完成更多的额外处理，如更复杂的压缩算法，使前端传输和显示的处理要求降低。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明所述的基于通用函数的医学影像处理方法的流程示意图；
图2为本发明所述的基于通用函数的医学影像处理方法中涉及的单元结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
为使本发明技术方案的优点更加清楚，下面结合附图和实施例对本发明作详细说明。
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。
如图1和图2所示，本发明实施例提供的基于通用函数的医学影像处理方法，包括下列步骤：
S10、获取一患者的一项检查，所述检查中包括多幅影像文件。
需要说明的是，CT、MRI等设备一次扫描产生的影像叫一个检查(Study)，每个检查分成多个序列(Series)，每个序列又包含多个实例(Instance)即影像文件，每个实例文件都包含图像和病人信息、影像信息等数据，所以每个检查中都包含大数据量的影像文件。
S20、对获取的影像文件进行高并发上传存储于对象存储单元中，每幅影像文件上传后均触发函数计算单元，所述函数计算单元中的解析单元对每幅影像文件进行解析，提取出头信息和像素信息。
本发明实施例中，所述对获取的影像文件进行高并发上传存储于对象存储单元中，具体包括：在网页或本地应用中通过HTTP或HTTPS协议对获取的影像文件进行高并发上传，上传后的每幅影像文件均有访问的唯一路径信息。所述对象存储单元使用云计算服务平台或者在私有云服务内构建。这里的影像上传没有先后顺序，使用海量、安全的非结构化文件存储方式可以满足高并发请求，提高了上传速度。
本发明实施例中，所述每幅影像文件上传后均触发函数计算单元，具体包括：每幅影像文件上传后均作为事件源触发事件，向事件服务发送消息，系统自动调用关联的函数处理事件即触发函数计算单元。事件触发的频次取决于影像文件存储的数量。本实施例采用基于事件驱动的函数计算模式，最大限度地使用了云计算的优势和特性，简化了自建服务器的复杂度，同时极大的加快了图像预处理速度，为图像的快速显示提供额基础。
需要说明的是：计算函数的构建基于给定运行时环境(Docker、NodeJS、Java、Python等)的最小可运行的程序单元(如Docker镜像、脚本、Java应用等)，计算函数可实现毫秒级快速启动及运行以满足高并发下可扩展的弹性部署；因此医学影像函数计算处理模式应包含计算函数单元的划分及编写、计算函数与运行时环境的接口、计算函数的调用。
S30、将所述每幅影像文件的头信息传递给所述函数计算单元中的信息处理单元，所述信息处理单元根据每幅影像文件的头信息构建影像文件之间的索引关系，并将索引关系动态维护在内存或高速内存数据库中并完成持久化存储；将所述每幅影像文件的像素信息传递给所述函数计算单元中的压缩单元，所述压缩单元对每幅影像文件的像素信息进行压缩，并将压缩后的图像进行缓存存储于对象存储单元中。
本发明实施例中，所述信息处理单元根据每幅影像文件的头信息构建影像文件之间的索引关系，具体包括：所述信息处理单元接收所述解析单元的服务请求，根据每幅影像文件头信息中提取出的SOP Instance UID，判断该实例是否存在，若不存在，则创建，然后根据Study Instance UID和Series Instance UID，判断所归属的检查和序列是否存在，若不存在，则创建，若存在，则构建从属关系，从而构建影像文件之间的索引关系
其中，所述将索引关系动态维护在内存或高速内存数据库中并完成持久化存储，还包括：将每幅影像文件头信息中的图像显示的信息提取出来，维护在内存或高速内存数据库中，并随着关联图像的不断处理而被动态维护，完成持久化存储。
需要说明的是，解析单元对应图2中的解析算法，压缩单元对应图2中的压缩算法，信息处理单元对应图2中的信息处理算法。所述高速内存数据库为具有高I/O、易更新特性的高速内存数据库。
S40、逻辑控制单元接收前端应用的请求，加载影像查看器，并向内存中维护的索引关系数据模型请求。
具体过程包括：所述逻辑控制单元接收前端应用的请求，进行访问授权和验证；所述逻辑处理单元对于授信访问，加载影像查看器，从所述对象存储单元中的缓存中获取压缩后的图像，并向内存中维护的索引关系数据模型进行请求，若内存中的索引关系已被持久化，则加载持久化的索引关系。
如上所述，该方法基于事件驱动的函数计算模式，最大限度地使用了云计算的优势和特性，简化了自建服务器的复杂度，同时极大地加快了影像预处理速度，为影像的快速显示提供了基础，节省了服务器成本和开发代价。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。
Claims (7)
1.一种基于通用函数的医学影像处理方法，其特征在于，包括：
获取一患者的一项检查，所述检查中包括多幅影像文件；
对获取的影像文件进行高并发上传存储于对象存储单元中，每幅影像文件上传后均触发函数计算单元，所述函数计算单元中的解析单元对每幅影像文件进行解析，提取出头信息和像素信息；
将所述每幅影像文件的头信息传递给所述函数计算单元中的信息处理单元，所述信息处理单元根据每幅影像文件的头信息构建影像文件之间的索引关系，并将索引关系动态维护在内存或高速内存数据库中并完成持久化存储；
将所述每幅影像文件的像素信息传递给所述函数计算单元中的压缩单元，所述压缩单元对每幅影像文件的像素信息进行压缩，并将压缩后的图像进行缓存存储于对象存储单元中；
逻辑控制单元接收前端应用的请求，加载影像查看器，并向内存中维护的索引关系数据模型请求。
2.如权利要求1所述的基于通用函数的医学影像处理方法，其特征在于，所述信息处理单元根据每幅影像文件的头信息构建影像文件之间的索引关系，具体包括：
所述信息处理单元接收所述解析单元的服务请求，根据每幅影像文件头信息中提取出的SOP Instance UID，判断该实例即影像文件是否存在，若不存在，则创建，然后根据StudyInstance UID和Series Instance UID，判断该影像文件所归属的检查和序列是否存在，若不存在，则创建，若存在，则构建从属关系，从而构建影像文件之间的索引关系；
所述将索引关系动态维护在内存或高速内存数据库中并完成持久化存储，还包括：
将每幅影像文件头信息中的图像显示的信息提取出来，维护在内存或高速内存数据库中，并随着关联图像的不断处理而被动态维护，完成持久化存储。
3.如权利要求1所述的基于通用函数的医学影像处理方法，其特征在于，所述对获取的影像文件进行高并发上传存储于对象存储单元中，具体包括：
在网页或本地应用中通过HTTP或HTTPS协议对获取的影像文件进行高并发上传，上传后的每幅影像文件均有访问的唯一路径信息。
4.如权利要求3所述的基于通用函数的医学影像处理方法，其特征在于，所述对象存储单元使用云计算服务平台或者在私有云服务内构建。
5.如权利要求4所述的基于通用函数的医学影像处理方法，其特征在于，所述每幅影像文件上传后均触发函数计算单元，具体包括：
每幅影像文件上传后均作为事件源触发事件，向事件服务发送消息，系统自动调用关联的函数处理事件即触发函数计算单元。
6.如权利要求1所述的基于通用函数的医学影像处理方法，其特征在于，所述逻辑控制单元接收前端应用的请求，加载影像查看器，并向内存中维护的索引关系数据模型请求，具体包括：
所述逻辑控制单元接收前端应用的请求，进行访问授权和验证；所述逻辑处理单元对于授信访问，加载影像查看器，从所述对象存储单元中的缓存中获取压缩后的图像，并向内存中维护的索引关系数据模型进行请求，若内存中的索引关系已被持久化，则加载持久化的索引关系。
7.如权利要求2所述的基于通用函数的医学影像处理方法，其特征在于，所述检查包括多个序列，每个序列均包括多个实例即影像文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710696867.9A CN107545136B (zh) | 2017-08-15 | 2017-08-15 | 基于通用函数的医学影像处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710696867.9A CN107545136B (zh) | 2017-08-15 | 2017-08-15 | 基于通用函数的医学影像处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107545136A true CN107545136A (zh) | 2018-01-05 |
| CN107545136B CN107545136B (zh) | 2019-07-30 |
Family
ID=60971314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710696867.9A Active CN107545136B (zh) | 2017-08-15 | 2017-08-15 | 基于通用函数的医学影像处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107545136B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108447547A (zh) * | 2018-03-13 | 2018-08-24 | 沈阳东软医疗系统有限公司 | 一种医学影像数据的存储、下载方法及装置 |
| CN108877899A (zh) * | 2018-03-20 | 2018-11-23 | 青岛海信医疗设备股份有限公司 | Dicom图像的处理方法及服务器 |
| CN109147914A (zh) * | 2018-10-16 | 2019-01-04 | 上海联影医疗科技有限公司 | 一种图像重建系统 |
| WO2020057141A1 (zh) * | 2018-09-21 | 2020-03-26 | 苏州瑞派宁科技有限公司 | 一种医学图像四维可视化的方法及装置 |
| CN111078910A (zh) * | 2019-12-06 | 2020-04-28 | 武汉联影医疗科技有限公司 | 医学影像的存储方法、装置、系统、设备和存储介质 |
| CN113538253A (zh) * | 2020-04-21 | 2021-10-22 | 杭州普健医疗科技有限公司 | 一种医疗影像的处理方法、介质及ct装置 |
| CN113781344A (zh) * | 2021-09-13 | 2021-12-10 | 杭州太美星程医药科技有限公司 | 数据处理方法和装置、计算机可读存储介质和电子设备 |
| CN114300063A (zh) * | 2021-12-29 | 2022-04-08 | 深圳晶泰科技有限公司 | 获取分子性质的方法、装置及存储介质 |
| CN116627919A (zh) * | 2023-06-14 | 2023-08-22 | 富士胶片（中国）投资有限公司 | 一种医学影像显示方法、系统及电子设备、存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103902355A (zh) * | 2012-12-26 | 2014-07-02 | 深圳市蓝韵网络有限公司 | 一种医学影像快速加载方法 |
| CN104679895A (zh) * | 2015-03-18 | 2015-06-03 | 成都影泰科技有限公司 | 一种医学影像数据存储方法 |
| CN106202848A (zh) * | 2015-05-05 | 2016-12-07 | 北大方正集团有限公司 | 医学影像文件的获取方法、用户终端及主服务器 |
| CN106446567A (zh) * | 2016-09-29 | 2017-02-22 | 北京和缓医疗科技有限公司 | 一种实现远程医疗影像会诊的方法及装置 |
-
2017
- 2017-08-15 CN CN201710696867.9A patent/CN107545136B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103902355A (zh) * | 2012-12-26 | 2014-07-02 | 深圳市蓝韵网络有限公司 | 一种医学影像快速加载方法 |
| CN104679895A (zh) * | 2015-03-18 | 2015-06-03 | 成都影泰科技有限公司 | 一种医学影像数据存储方法 |
| CN106202848A (zh) * | 2015-05-05 | 2016-12-07 | 北大方正集团有限公司 | 医学影像文件的获取方法、用户终端及主服务器 |
| CN106446567A (zh) * | 2016-09-29 | 2017-02-22 | 北京和缓医疗科技有限公司 | 一种实现远程医疗影像会诊的方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 刘家志: "基于Hadoop架构和多级索引技术的医学影像存储检索系统研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108447547A (zh) * | 2018-03-13 | 2018-08-24 | 沈阳东软医疗系统有限公司 | 一种医学影像数据的存储、下载方法及装置 |
| CN108877899A (zh) * | 2018-03-20 | 2018-11-23 | 青岛海信医疗设备股份有限公司 | Dicom图像的处理方法及服务器 |
| WO2020057141A1 (zh) * | 2018-09-21 | 2020-03-26 | 苏州瑞派宁科技有限公司 | 一种医学图像四维可视化的方法及装置 |
| CN109147914A (zh) * | 2018-10-16 | 2019-01-04 | 上海联影医疗科技有限公司 | 一种图像重建系统 |
| CN111078910A (zh) * | 2019-12-06 | 2020-04-28 | 武汉联影医疗科技有限公司 | 医学影像的存储方法、装置、系统、设备和存储介质 |
| CN113538253A (zh) * | 2020-04-21 | 2021-10-22 | 杭州普健医疗科技有限公司 | 一种医疗影像的处理方法、介质及ct装置 |
| CN113538253B (zh) * | 2020-04-21 | 2023-09-15 | 杭州普健医疗科技有限公司 | 一种医疗影像的处理方法、介质及ct装置 |
| CN113781344A (zh) * | 2021-09-13 | 2021-12-10 | 杭州太美星程医药科技有限公司 | 数据处理方法和装置、计算机可读存储介质和电子设备 |
| CN113781344B (zh) * | 2021-09-13 | 2024-10-15 | 杭州太美星程医药科技有限公司 | 数据处理方法和装置、计算机可读存储介质和电子设备 |
| CN114300063A (zh) * | 2021-12-29 | 2022-04-08 | 深圳晶泰科技有限公司 | 获取分子性质的方法、装置及存储介质 |
| CN114300063B (zh) * | 2021-12-29 | 2024-09-27 | 深圳晶泰科技有限公司 | 获取分子性质的方法、装置及存储介质 |
| CN116627919A (zh) * | 2023-06-14 | 2023-08-22 | 富士胶片（中国）投资有限公司 | 一种医学影像显示方法、系统及电子设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107545136B (zh) | 2019-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107545136A (zh) | 基于通用函数的医学影像处理方法 | |
| Khamparia et al. | An internet of health things‐driven deep learning framework for detection and classification of skin cancer using transfer learning | |
| Wu et al. | Edge-AI-driven framework with efficient mobile network design for facial expression recognition | |
| Ogden et al. | {MODI}: Mobile deep inference made efficient by edge computing | |
| US10003666B2 (en) | Key resource prefetching using front-end optimization (FEO) configuration | |
| WO2022160676A1 (zh) | 热力图生成模型的训练方法、装置、电子设备和存储介质 | |
| CN106462589A (zh) | 动态缓存器分配和网络管理 | |
| CN102811222A (zh) | 一种基于云计算的身份识别安防方法 | |
| CN104850783A (zh) | 一种基于哈希特征矩阵的恶意软件云检测方法及系统 | |
| CN115064254A (zh) | 基于医学影像的远程快速诊断系统 | |
| CN103905484B (zh) | 处理超文本传输协议请求的方法及装置 | |
| WO2013163818A1 (en) | Context-aware http compression | |
| CN110493250A (zh) | 一种web前端arcgis资源请求处理方法及装置 | |
| Xing et al. | N-fedavg: Novel federated average algorithm based on fedavg | |
| CN104408178A (zh) | Web控件加载装置和方法 | |
| CN105956173A (zh) | 页面内容获取方法和装置 | |
| CN111273964A (zh) | 一种数据加载方法及装置 | |
| CN109377156A (zh) | 一种工程造价项目审核方法 | |
| US11442733B2 (en) | Embedded computation instruction performance profiling | |
| CN113791956A (zh) | 一种解决交易数据高并发的处理系统及方法 | |
| Xiao et al. | Practical web-based delta synchronization for cloud storage services | |
| CN111966942B (zh) | 一种移动终端的vr展示方法、系统及设备 | |
| CN107038210B (zh) | 一种云影像快速交互显示方法 | |
| Siddiqui et al. | Mitigating presentation attack using DCGAN and Deep CNN | |
| CN110417912A (zh) | 一种文件下载完成后回调的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |