CN110110114B - 多源对地观测图像处理的可视化方法、装置及存储介质 - Google Patents
多源对地观测图像处理的可视化方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110110114B CN110110114B CN201910290454.XA CN201910290454A CN110110114B CN 110110114 B CN110110114 B CN 110110114B CN 201910290454 A CN201910290454 A CN 201910290454A CN 110110114 B CN110110114 B CN 110110114B
- Authority
- CN
- China
- Prior art keywords
- processing
- observation image
- earth observation
- model
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 310
- 238000007794 visualization technique Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 89
- 238000012800 visualization Methods 0.000 claims abstract description 75
- 230000000007 visual effect Effects 0.000 claims abstract description 61
- 230000008569 process Effects 0.000 claims abstract description 43
- 230000006870 function Effects 0.000 claims description 15
- 238000012536 packaging technology Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 238000009751 slip forming Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/54—Browsing; Visualisation therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明属于大数据技术领域,公开了一种多源对地观测图像处理的可视化方法,包括:根据多源对地观测图像的处理流程获取与所述处理流程相对应的多个子算法;根据所述处理流程生成与每个子算法相对应的图形对象;通过模型生成器将所述子算法与所述图形对象相关联,生成图形对象模型;按照所述处理流程连接多个图形对象模型,生成所述多源对地观测图像的可视化模型;通过所述可视化模型可视化所述多源对地观测图像的处理过程。本发明还公开了一种电子装置和存储介质。本发明实现对多源对地观测图像的处理过程的可视化,直观地显示各个处理步骤,以所见即所得的方式满足对多源对地观测图像处理过程进行可视化整合的需求。
Description
技术领域
本发明涉及大数据技术领域,尤其涉及一种多源对地观测图像处理的可视化方法、装置及存储介质。
背景技术
可视化建模(VISUAL MODELING)是利用围绕现实想法组织模型的一种思考问题的方法,是以图形的方式描述所开发的系统的过程。可视化建模允许提出一个复杂问题的必要细节,过滤不必要的细节。它也提供了一种从不同的视角观察被开发系统的机制。
目前,常见的可视化建模软件有统一建模语言(Unified Modeling Language,UML)、VISIO、Simulink、Model Maker以及Model Builder等,现有的可视化平台可以通过可视化建模软件提供图形化建模用户界面,但是,现有的可视化平台不能将对地观测数据(包括卫星图像、结构化数据等)处理挖掘过程中的涉及到的数据、算法、流程及其幕后隐藏的信息流进行所见即所得的可视化处理整合,难以实现对观测数据处理过程中的算法进行串行或并行处理,难以满足可视化处理调试、提高开发效率的需求。
发明内容
本发明提供一种多源对地观测图像处理的可视化方法、装置及存储介质,以解决现有技术难以满足对地观测数据处理挖掘的过程进行可视化处理整合的问题。
为了实现上述目的,本发明的一个方面是提供一种多源对地观测图像处理的可视化方法,包括:
根据多源对地观测图像的处理流程获取与所述处理流程相对应的多个子算法;根据所述处理流程生成与每个子算法相对应的图形对象;通过模型生成器将所述子算法与所述图形对象相关联,生成图形对象模型;按照所述处理流程连接多个图形对象模型,生成所述多源对地观测图像的可视化模型;通过所述可视化模型可视化所述多源对地观测图像的处理过程。
优选地,根据多源对地观测图像的处理流程获取与所述处理流程相对应的多个子算法的步骤包括:
根据对多源对地观测图像的处理目的确定处理流程以及处理流程中的各个子步骤;根据所述子步骤查询算法知识库并获取与所述子步骤对应的子算法。
优选地,将所述子算法与所述图形对象相关联的步骤包括:
根据所述子算法确定所述图形对象的滤波器类型;根据所述滤波器类型设置所述图形对象的属性参数,确定所述图形对象对应的滤波器;通过所述滤波器将所述子算法与所述图形对象相关联。
优选地,按照所述处理流程连接多个图形对象模型,包括:根据所述处理流程构建滤波器连接通道;将所述图形对象模型中的滤波器根据所述滤波器连接通道连接。
优选地,通过所述可视化模型可视化所述多源对地观测图像的处理过程的步骤包括:
根据所述处理流程将所述多源对地观测图像输入相应的图形对象模型;运行所述可视化模型;通过图形对象模型查看对应的处理步骤,输出所述多源对地观测图像的处理结果。
优选地,输出所述多源对地观测图像的处理结果的步骤之后,还包括:
判断所述处理结果是否满足多源对地观测图像的处理需求,若不满足处理需求,则修正所述可视化模型中的一个或多个图形对象模型的参数,若满足处理需求,则存储所述处理结果和所述可视化模型。
优选地,根据多源对地观测图像的处理流程获取与所述处理流程相对应的多个子算法之前,还包括:获取可视化模型的读取指令;确定是否存储有与读取指令相对应的可视化模型;当存储有与读取指令相对应的可视化模型时,读取存储的可视化模型;通过读取的可视化模型可视化所述多源对地观测图像的处理过程。
为了实现上述目的,本发明的另一个方面是提供一种电子装置,该电子装置包括:处理器;存储器,所述存储器中包括多源对地观测图像处理的可视化程序,所述多源对地观测图像处理的可视化程序被所述处理器执行时实现如上所述的多源对地观测图像处理的可视化方法的步骤。
优选地,所述电子装置还包括:显示模块,所述显示模块包括图形场景版块、属性框版块和结果显示版块,其中,所述图形场景版块用于放置一个或多个图形框,每个图形框表示对应的处理数据和步骤,多个图形框之间通过连接线连接,所述连接线用于表示数据流向;所述属性框版块用于显示当前选中的图形框所表示的处理数据或者步骤的各个属性;所述结果显示版块用于显示运行结果,所述结果显示版块包括一个或多个子窗口,通过所述子窗口显示处理流程运行至相应的图形对象模型得到的中间处理结果。
为了实现上述目的,本发明的再一个方面是提供一种计算机可读存储介质,所述计算机可读存储介质中包括多源对地观测图像处理的可视化程序,所述多源对地观测图像处理的可视化程序被处理器执行时,实现如上所述的多源对地观测图像处理的可视化方法的步骤。
相对于现有技术,本发明具有以下优点和有益效果:
本发明通过根据多源对地观测图像的处理流程生成的可视化模型实现对多源对地观测图像的处理过程的可视化,通过可视化模型中的图形对象模型直观地表示对图像进行处理的各个步骤,提高了数据处理的可视性,以所见即所得的方式满足对多源对地观测图像处理过程进行可视化整合的需求。
本发明通过将子算法与图形对象相关联提高了对图像处理过程中各个子算法的可编辑性,增强了可视化模型中各个图形对象模型组合的灵活性,提高了开发调试效率,实现了对图像处理研究的设计可视化、中间调用可视化和处理结果可视化,有效满足了用户进行高层次开发应用的需要。
附图说明
图1为本发明所述多源对地观测图像处理的可视化方法的流程示意图;
图2为本发明中多源对地观测图像处理的可视化程序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将参考附图来描述本发明所述的实施例。本领域的普通技术人员可以认识到,在不偏离本发明的精神和范围的情况下,可以用各种不同的方式或其组合对所描述的实施例进行修正。因此,附图和描述在本质上是说明性的,仅仅用以解释本发明,而不是用于限制权利要求的保护范围。此外,在本说明书中,附图未按比例画出,并且相同的附图标记表示相同的部分。
图1为本发明所述多源对地观测图像处理的可视化方法的流程示意图,如图1所示,本发明所述多源对地观测图像处理的可视化方法,包括以下步骤:
步骤S1、根据多源对地观测图像的处理流程获取与所述处理流程相对应的多个子算法。
多源对地观测图像的处理流程可以概化成一系列模块化的连续的不同图像处理集形成的顺序指令集合。以遥感图像为例,遥感图像的处理流程包括数据输入输出、图像的预处理(包括几何纠正、融合、镶嵌等)、影像信息提取(包括人工解译、自动分类、特征提取、动态检测等)、专题制图/三维可视化分析(包括集成地理信息系统的现有数据等)和成果报告(包括地理信息系统的分析和共享等)等处理步骤。处理流程中的每个处理步骤都对应一个或多个子算法,通过子算法的组合实现对遥感图像的相应处理和信息提取。子算法可以通过开源图像处理算法库中查询获取。
步骤S2、根据所述处理流程生成与每个子算法相对应的图形对象,每个图形对象表征一个子算法,图形对象可以使用相同或不同的形状。具体地,使用跨平台的C++图形用户界面应用程序框架(Qt)中的Graphics View框架作为图形用户界面,用于生成图形对象。Graphics View框架包括Diagram Scene、Diagram View和Diagram Item,其中,DiagramScene是可视化工作区,Diagram Item是可以放置于工作区的二维图形框,Diagram View用于完成Diagram Scene中内容的显示,在Diagram Scene工作区中可以添加形状、文本以及创建连接方向线,生成的图形对象即为在工作区中添加的二维图形框,并可以对二维图形框的形状进行调整,通过使用空间场景管理的空间分割树(Binary Space Partitioningtree,BSP树)存储生成的图形对象。
步骤S3、通过模型生成器将所述子算法与所述图形对象相关联,生成图形对象模型。在面向目标的模型语言环境中,可以直观地在一个页面场景上绘制流程图,将流程图中的各个图形对象与表征输入数据、操作函数、运算规则和输出数据等子算法关联,由此生成多个图像处理步骤的空间对象模型。
图形对象模型可以运行、编辑或保存在模型库中,通过集成不同的处理模块集合可以做进一步的编辑,其中,不同的处理模块包括不同的子算法,在研究测试与后续投入使用中提供很大的便利。图形对象模型也可以作为流程图打印输出,或在研究报告中展示讲解。模型生成器中提供了数据类型转换、图像空间域时间域的基本处理、图像变换、投影校准、特征提取和变化监测等多种操作算子,可以通过图形对象模型进行栅格数据、矢量数据和分类数据等操作。在一个实施例中,多源对地观测图像处理的可视化方法基于Qt跨平台图形界面实现,通过使用面板工具来产生空间图形对象模型。
步骤S4、按照所述处理流程连接多个图形对象模型,生成所述多源对地观测图像的可视化模型。一个可视化模型是由一系列的图形对象模型构成,步骤S3中生成的各个图形对象模型是相互独立的个体,是一个一个的空间模型要素,需要将各个图形对象模型有机连接起来,才能形成一个完整的可视化模型,由于生成的可视化模型用于完成对多源对地观测图像的处理,因此,各个图形对象模型之间的连接也是有序的,按照对多源对地观测图像的处理流程进行连接,使得可视化模型在运行时,按照处理流程依次运行各个图形对象模型中的子算法,从而通过各个图形对象模型完成空间地理信息和图像处理的操作功能。其中,连接可以通过在各个图形对象模型之间设置带箭头的连接线实现,通过箭头表示数据流的方向。
步骤S5、通过所述可视化模型可视化所述多源对地观测图像的处理过程。
本发明通过根据多源对地观测图像的处理流程生成的可视化模型实现对多源对地观测图像的处理过程的可视化,通过可视化模型中的图形对象模型直观地表示对图像进行处理的各个步骤,提高了数据处理的可视性,以所见即所得的方式满足对多源对地观测图像处理过程进行可视化整合的需求。
本发明通过将子算法与图形对象相关联提高了对图像处理过程中各个子算法的可编辑性,增强了可视化模型中各个图形对象模型组合的灵活性,提高了开发调试效率,实现了对图像处理研究的设计可视化、中间调用可视化和处理结果可视化,有效满足了用户进行高层次开发应用的需要。
本发明的一个可选实施例中,根据多源对地观测图像的处理流程获取与所述处理流程相对应的多个子算法的步骤包括:根据对多源对地观测图像的处理目的确定处理流程以及处理流程中的各个子步骤;根据所述子步骤查询算法知识库并获取与所述子步骤对应的子算法,其中,需要明确的处理目的包括图像预处理、图像特征提取和变化监测等,确定的处理流程即为达到处理目的的具体途径和所需要的数据支持。例如,若对多源对地观测图像的处理目的是提取图像特征(道路、建筑物、水体等),则根据此处理目的,得到提取图像特征的处理流程,以提取遥感图像中的建筑物特征为例,处理流程包括:对遥感图像进行预处理,对经过预处理得到的遥感图像进行边缘检测,从检测到的边缘信息中提取直线信息,根据直线信息提取矩形建筑物结构,从而得到遥感图像中的建筑物特征,其中,处理流程中的对遥感图像进行预处理、边缘检测、提取直线信息、提取矩形结构分别为一个子步骤,通过查询算法知识库查询与相应子步骤对应的子算法,以便于通过子算法实现相应的处理功能。
优选地,将所述子算法与所述图形对象相关联的步骤包括:根据所述子算法确定所述图形对象的滤波器类型;根据所述滤波器类型设置所述图形对象的属性参数,确定所述图形对象对应的滤波器;通过所述滤波器将所述子算法与所述图形对象相关联。其中,滤波器指对数据执行操作,可能引起数据变化或产生新数据的处理对象,将子算法的独立操作通过封装技术封装在滤波器中实现子算法的功能。
所述滤波器类型包括图像处理的图像去噪、图像变换、图像分析、图像分割、图像压缩、图像增强、图像模糊、图像配准等基础滤波器或者复合滤波器中的一种或多种。
进一步地,按照所述处理流程连接多个图形对象模型,包括:根据所述处理流程构建滤波器连接通道;将所述图形对象模型中的滤波器根据所述滤波器连接通道连接,从而使得各个滤波器按照对多源对地观测图像的处理流程连接起来,以便于对多源对地观测图像的处理。
其中,滤波器连接通道将执行各种处理步骤的滤波器连接成一条执行一系列处理的流程,例如,在远程传感图像处理库(ORFEO Tool Box,OTB)中可以通过SetInput()和GetOutput()函数实现,其中,ORFEO是Optical and Radar Federated EarthObservation的简称。在执行滤波器连接通道的处理过程时,在滤波器连接通道的某一环节调用执行函数Update(),会从连接通道的起始位置开始,以最新数据依次执行通道内各个滤波器操作,到连接通道的终点位置为止。以一个处理流程包括输入、第一次处理、第二次处理和输出为例进行说明,将该处理流程的各个处理步骤构建形成一个滤波器连接通道,则该滤波器连接通道包括输入滤波器、第一处理滤波器、第二处理滤波器和输出滤波器,工作时,先将图像文件通过所述输入滤波器获取图像数据,由第一处理滤波器进行第一次处理,将第一次的处理结果传输至第二处理滤波器,进行第二次处理,然后将第二次的处理结果传至输出滤波器,输出最终的处理结果。
进一步地,确定所述图形对象对应的滤波器的步骤之后,还包括:对所述滤波器进行参数设置,设置所述子算法的参数。
进一步地,确定所述图形对象对应的滤波器的步骤之后,还包括:对所述滤波器进行参数修改,修改所述子算法的参数。通过不断地修正子算法的参数并检视滤波结果,以达到需要的处理结果,若不满足需求,则返回重新修改子算法的参数或者调整滤波器类型组合,直至得到的处理结果满足需求。
所述可视化方法可以实现对所述多源对地观测图像的简单处理过程的可视化,也可以实现对所述多源对地观测图像的复杂处理过程的可视化。优选地,所述可视化模型包括输入图形对象模型、处理图形对象模型和输出图形对象模型,以实现对图像简单处理过程的可视化。优选地,所述可视化模型包括多个处理图形对象模型,每个处理图形对象模型均连接一个或多个输入图形对象模型与一个或多个输出图形对象模型,以实现对复杂处理过程的可视化,例如,可以用于对多个多源对地观测图像的特征信息进行整合,分析,输出多个不同角度的分析报告等。
优选地,通过所述可视化模型可视化所述多源对地观测图像的处理过程的步骤包括:根据所述处理流程将所述多源对地观测图像输入相应的图形对象模型;运行所述可视化模型;通过图形对象模型查看对应的处理步骤,输出所述多源对地观测图像的处理结果。
进一步地,输出所述多源对地观测图像的处理结果的步骤之后,还包括:
判断所述处理结果是否满足多源对地观测图像的处理需求,其中,处理需求与上述的处理目的相对应,例如,若处理目的是提取遥感图像中的建筑物目标特征,则处理需求包括:处理后的遥感图像中的所有建筑物目标特征均被提取,且提取的建筑物目标准确等。若不满足处理需求,则修正所述可视化模型中的一个或多个图形对象模型的参数(例如,可以修正可视化模型中滤波器类型的组合),若满足处理需求,则存储所述处理结果和所述可视化模型。通过不断修正参数,使得最终输出的处理结果满足对多源对地观测图像的处理目的,并且,可以通过不断的修正参数,获取最优的处理结果,最终存储较优的可视化模型。
所述多源对地观测图像处理的可视化方法还包括:根据多源对地观测图像的处理流程获取与所述处理流程相对应的多个子算法之前,获取可视化模型的读取指令;确定是否存储有与读取指令相对应的可视化模型;当存储有与读取指令相对应的可视化模型时,读取存储的可视化模型,不再进行生成可视化模型的步骤;通过读取的可视化模型可视化所述多源对地观测图像的处理过程。当未存储有与读取指令相对应的可视化模型时,则根据处理流程获取相对应的多个子算法,生成图形对象模型和可视化模型,通过生成的可视化模型可视化多源对地观测图像的处理过程。
读取存储的可视化模型之后,还包括:根据多源对地观测图像的处理流程修正读取的可视化模型,通过修正得到的可视化模型实现多源对地观测图像处理的可视化。读取存储的可视化模型文件会自动执行添加图形箭头并定义各个属性的过程,是复用图像处理的可视化模型的过程。其中,读取存储的可视化模型的步骤包括:读形状与读箭头两个步骤,读形状时,先获取图形对象的图形框位置坐标与相应的过滤器类型,在图形场景版块中相应的位置坐标下建立图形框,并设置过滤器类型,再以“属性—值”的形式读出属性值,并根据所述属性值依次调用预先在算法知识库中定义的设置属性接口滤波算法函数,将对应的属性项设置成相应的属性值。读箭头时,先按照箭头起始点坐标搜索该位置的形状,再与手动画箭头过程一样,建立连接起始点形状的箭头。通过上述的读取步骤可读取和编辑保存在模型库中的图形对象模型,通过集成不同的图形对象模型可以做进一步的编辑和研发。由此形成的可视化模型通过记录一系列的处理过程之间的输入输出接口,以及不同的处理过程或滤波算子的参数设置便可以将经过验证的处理流程封装起来,该可视化模型可以供自己或他人引用,随着实现不同处理流程的模块的不断形成,进一步整合模块群形成具有一定规模的处理过程,完成复杂的图像处理功能的同时,去除了中间的人机交互的时间成本和人力成本。
下面结合界面部分及对应后台处理部分对可视化方法的流程进一步说明:
首先在图形场景区域通过创建代表的远程传感图像处理库(ORFEO Tool Box,OTB)中过滤器的形状并用箭头连接,或者读取“*.mdl”格式文件的方式布置出完整的处理流程,此时后台将对应的OTB过滤器创建完毕,同时将被选中过滤器形状对应的OTB过滤器含有的可调整参数项显示在属性框中;
然后通过选中图形场景中不同的过滤器形状在属性框显示相应的可调整参数项,在显示的参数项方格中单击可设置参数项的值,对各个OTB过滤器调整所需的参数;
接下来选中处理流程中某一处理步骤对应的过滤器,可选择执行或执行并显示执行结果,完成一次操作;
然后通过修改各个图形对象模型的位置改变处理流程,或者修改参数项调整实验参数,分别查看对比实验结果。
通过实验结果的对比最终确定可视化模型中各个图形对象的参数,使得保存的可视化模型的精度更高。
本发明的可视化方法适用于数十种卫星图像、空间地理信息等大数据的处理和可视化分析。
本发明所述多源对地观测图像处理的可视化方法应用于电子装置,所述电子装置可以是电视机、智能手机、平板电脑、计算机等终端设备。
所述电子装置包括:处理器;存储器,用于存储多源对地观测图像处理的可视化程序,处理器执行所述多源对地观测图像处理的可视化程序,实现以下的多源对地观测图像处理的可视化方法的步骤:
根据多源对地观测图像的处理流程获取与所述处理流程相对应的多个子算法;根据所述处理流程生成与每个子算法相对应的图形对象;通过模型生成器将所述子算法与所述图形对象相关联,生成图形对象模型;按照所述处理流程连接多个图形对象模型,生成所述多源对地观测图像的可视化模型;通过所述可视化模型可视化所述多源对地观测图像的处理过程。
所述电子装置还包括网络接口和通信总线等。其中,网络接口可以包括标准的有线接口、无线接口,通信总线用于实现各个组件之间的连接通信。
存储器包括至少一种类型的可读存储介质,可以是闪存、硬盘、光盘等非易失性存储介质,也可以是插接式硬盘等,且并不限于此,可以是以非暂时性方式存储指令或软件以及任何相关联的数据文件并向处理器提供指令或软件程序以使该处理器能够执行指令或软件程序的任何装置。本发明中,存储器存储的软件程序包括多源对地观测图像处理的可视化程序,并可以向处理器提供该多源对地观测图像处理的可视化程序,以使得处理器可以执行该多源对地观测图像处理的可视化程序,实现多源对地观测图像处理的可视化方法的步骤。
处理器可以是中央处理器、微处理器或其他数据处理芯片等,可以运行存储器中的存储程序,例如,本发明中多源对地观测图像处理的可视化程序。
所述电子装置还可以包括显示器,显示器也可以称为显示屏或显示单元。在一些实施例中显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode,OLED)触摸器等。显示器用于显示在电子装置中处理的信息以及用于显示可视化的工作界面。
所述电子装置还可以包括用户接口,用户接口可以包括输入单元(比如键盘)、语音输出装置(比如音响、耳机)等。
在其他实施例中,多源对地观测图像处理的可视化程序还可以被分割为一个或者多个模块,一个或者多个模块被存储于存储器中,并由处理器执行,以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。图2为本发明中多源对地观测图像处理的可视化程序的模块示意图,如图2所示,所述多源对地观测图像处理的可视化程序可以被分割为:获取模块1、图形对象生成模块2、关联模块3、模型生成模块4和可视化模块5。上述模块所实现的功能或操作步骤均与上文类似,此处不再详述,示例性地,例如其中:
获取模块1,根据多源对地观测图像的处理流程获取与所述处理流程相对应的多个子算法;
图形对象生成模块2,根据所述处理流程生成与每个子算法相对应的图形对象;
关联模块3,通过模型生成器将所述子算法与所述图形对象相关联,生成图形对象模型;
模型生成模块4,按照所述处理流程连接多个图形对象模型,生成所述多源对地观测图像的可视化模型;
可视化模块5,通过所述可视化模型可视化所述多源对地观测图像的处理过程。
多源对地观测图像的处理流程可以概化成一系列模块化的连续的不同图像处理集形成的顺序指令集合。以遥感图像为例,遥感图像的处理流程包括数据输入输出、图像的预处理(包括几何纠正、融合、镶嵌等)、影像信息提取(包括人工解译、自动分类、特征提取、动态检测等)、专题制图/三维可视化分析(包括集成地理信息系统的现有数据等)和成果报告(包括地理信息系统的分析和共享等)等处理步骤。处理流程中的每个处理步骤都对应一个或多个子算法,通过子算法的组合实现对遥感图像的相应处理和信息提取。子算法可以通过开源图像处理算法库中查询获取。
图形对象模型可以运行、编辑或保存在模型库中,通过集成不同的处理模块集合可以做进一步的编辑,其中,不同的处理模块包括不同的子算法,在研究测试与后续投入使用中提供很大的便利。图形对象模型也可以作为流程图打印输出,或在研究报告中展示讲解。模型生成器中提供了数据类型转换、图像空间域时间域的基本处理、图像变换、投影校准、特征提取和变化监测等多种操作算子,可以通过图形对象模型进行栅格数据、矢量数据和分类数据等操作。
本发明通过根据多源对地观测图像的处理流程生成的可视化模型实现对多源对地观测图像的处理过程的可视化,通过可视化模型中的图形对象模型直观地表示对图像进行处理的各个步骤,提高了数据处理的可视性,以所见即所得的方式满足对多源对地观测图像处理过程进行可视化整合的需求。
获取模块1包括:第一确定单元,根据对多源对地观测图像的处理目的确定处理流程以及处理流程中的各个子步骤;查询单元,根据所述子步骤查询算法知识库并获取与所述子步骤对应的子算法,例如,需要明确的处理目的包括图像预处理、图像特征提取和变化监测等,确定的处理流程即为达到处理目的的具体途径和所需要的数据支持。
优选地,关联模块3包括:第二确定单元,根据所述子算法确定所述图形对象的滤波器类型;设置单元,根据所述滤波器类型设置所述图形对象的属性参数;滤波器确定单元,确定所述图形对象对应的滤波器;关联单元,通过所述滤波器将所述子算法与所述图形对象相关联。其中,滤波器指对数据执行操作,可能引起数据变化或产生新数据的处理对象,将子算法的独立操作通过封装技术封装在滤波器中实现子算法的功能。
所述滤波器类型包括图像处理的图像去噪、图像变换、图像分析、图像分割、图像压缩、图像增强、图像模糊、图像配准等基础滤波器或者复合滤波器中的一种或多种。
进一步地,模型生成模块包括:通道构建单元,根据所述处理流程构建滤波器连接通道;连接单元,将所述图形对象模型中的滤波器按照所述滤波器连接通道连接。
其中,滤波器连接通道将执行各种处理步骤的滤波器连接成一条执行一系列处理的流程,在执行滤波器连接通道的处理过程时,从连接通道的起始位置开始,以最新数据依次执行通道内各个滤波器操作,到连接通道的终点位置为止。以一个处理流程包括输入、第一次处理、第二次处理和输出为例进行说明,将该处理流程的各个处理步骤构建形成一个滤波器连接通道,则该滤波器连接通道包括输入滤波器、第一处理滤波器、第二处理滤波器和输出滤波器,工作时,先将图像文件通过所述输入滤波器获取图像数据,由第一处理滤波器进行第一次处理,将第一次的处理结果传输至第二处理滤波器,进行第二次处理,然后将第二次的处理结果传至输出滤波器,输出最终的处理结果。
进一步地,关联模块3还包括参数设置单元,对所述滤波器进行参数设置,设置所述子算法的参数。
进一步地,关联模块3还包括参数修正单元,对所述滤波器进行参数修改,修改所述子算法的参数。通过不断地修正子算法的参数并检视滤波结果,以达到需要的处理结果,若不满足需求,则返回重新修改子算法的参数或者调整滤波器类型组合,直至得到的处理结果满足需求。
所述电子装置可以实现对所述多源对地观测图像的简单处理过程的可视化,也可以实现对所述多源对地观测图像的复杂处理过程的可视化。优选地,所述可视化模型包括输入图形对象模型、处理图形对象模型和输出图形对象模型,以实现对图像简单处理过程的可视化。优选地,所述可视化模型包括多个处理图形对象模型,每个处理图形对象模型均连接一个或多个输入图形对象模型与一个或多个输出图形对象模型,以实现对复杂处理过程的可视化,例如,可以用于对多个多源对地观测图像的特征信息进行整合,分析,输出多个不同角度的分析报告等。
优选地,可视化模块5包括:输入单元,根据所述处理流程将所述多源对地观测图像输入相应的图形对象模型;运行单元,运行所述可视化模型;输出单元,通过图形对象模型查看对应的处理步骤,输出所述多源对地观测图像的处理结果。
进一步地,可视化模块5还包括:需求判断单元,判断所述处理结果是否满足多源对地观测图像的处理需求,若不满足处理需求,则修正所述可视化模型中的一个或多个图形对象模型的参数(例如,可以修正可视化模型中滤波器类型的组合),若满足处理需求,则存储所述处理结果和所述可视化模型。
所述电子装置还包括:判断模块,获取可视化模型的读取指令;确定是否存储有与读取指令相对应的可视化模型;当存储有与读取指令相对应的可视化模型时,读取存储的可视化模型;通过读取的可视化模型可视化所述多源对地观测图像的处理过程。
读取存储的可视化模型之后,还包括:根据多源对地观测图像的处理流程修正读取的可视化模型,通过修正得到的可视化模型实现多源对地观测图像处理的可视化。读取存储的可视化模型文件会自动执行添加图形箭头并定义各个属性的过程,是复用图像处理的可视化模型的过程。其中,读取存储的可视化模型的步骤包括:读形状与读箭头两个步骤,读形状时,先获取图形对象的图形框位置坐标与相应的过滤器类型,在图形场景版块中相应的位置坐标下建立图形框,并设置过滤器类型,再以“属性—值”的形式读出属性值,并根据所述属性值依次调用预先在算法知识库中定义的设置属性接口滤波算法函数,将对应的属性项设置成相应的属性值。读箭头时,先按照箭头起始点坐标搜索该位置的形状,再与手动画箭头过程一样,建立连接起始点形状的箭头。通过上述的读取步骤可读取和编辑保存在模型库中的图形对象模型,通过集成不同的图形对象模型可以做进一步的编辑和研发。由此形成的可视化模型通过记录一系列的处理过程之间的输入输出接口,以及不同的处理过程或滤波算子的参数设置便可以将经过验证的处理流程封装起来,该可视化模型可以供自己或他人引用,随着实现不同处理流程的模块的不断形成,进一步整合模块群形成具有一定规模的处理过程,完成复杂的图像处理功能的同时,去除了中间的人机交互的时间成本和人力成本。
所述电子装置还包括:显示模块,所述显示模块包括图形场景版块、属性框版块和结果显示版块,其中,所述图形场景版块用于放置一个或多个图形框(例如,可以是矩形框、三角形框、圆形框等),每个图形框表示对应的处理数据和步骤,多个图形框之间通过连接线连接,所述连接线用于表示数据流向(例如,在连接线上设置箭头),以体现对数据所做处理的先后流程,图形框和连接线均可以即时拖动,连接线可以通过拖动修改起始和终止端点;所述属性框版块用于显示当前选中的图形框所表示的处理数据或者步骤的各个属性,并且,通过所述属性框版块可以修改图形对象所对应的属性值,例如,通过点击属性框中相应方格项方便地直接修改各个属性值;所述结果显示版块用于显示运行结果,所述结果显示版块包括一个或多个子窗口,通过所述子窗口显示处理流程运行至相应的图形对象模型得到的中间处理结果,并且,各个子窗口中,作为主程序窗口的子窗口始终显示于其他子窗口的上层。
将对图像的处理过程中的各个环节均封装成可视化的图形对象模型,以直观地表示数据的处理过程,并且在图形界面方便实现参数与各个环节的调整,将各个环节的处理结果均可以通过子窗口显示,便于各个处理结果的比较。
另外,可以将图形场景中的整个处理流程方法存储为“*.mdl”格式文件,未完成的实验可以在读取上次存储的“*.mdl”格式文件后继续进行,可根据读取的存储文件进行处理流程的完善。
本发明的一个实施例中,计算机可读存储介质可以是任何包含或存储程序或指令的有形介质,其中的程序可以被执行,通过存储的程序指令相关的硬件实现相应的功能。例如,计算机可读存储介质可以是计算机磁盘、硬盘、随机存取存储器、只读存储器等。本发明并不限于此,可以是以非暂时性方式存储指令或软件以及任何相关数据文件或数据结构并且可提供给处理器以使处理器执行其中的程序或指令的任何装置。所述计算机可读存储介质中包括多源对地观测图像处理的可视化程序,所述多源对地观测图像处理的可视化程序被处理器执行时,实现如下的多源对地观测图像处理的可视化方法:
根据多源对地观测图像的处理流程获取与所述处理流程相对应的多个子算法;根据所述处理流程生成与每个子算法相对应的图形对象;通过模型生成器将所述子算法与所述图形对象相关联,生成图形对象模型;按照所述处理流程连接多个图形对象模型,生成所述多源对地观测图像的可视化模型;通过所述可视化模型可视化所述多源对地观测图像的处理过程。
本发明之计算机可读存储介质的具体实施方式与上述多源对地观测图像处理的可视化方法、电子装置的具体实施方式大致相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (5)
1.一种多源对地观测图像处理的可视化方法,应用于电子装置,其特征在于,包括:
根据多源对地观测图像的处理流程获取与所述处理流程相对应的多个子算法;其中包括:根据对多源对地观测图像的处理目的确定处理流程以及处理流程中的各个子步骤;根据所述子步骤查询算法知识库并获取与所述子步骤对应的子算法;
根据所述处理流程生成与每个子算法相对应的图形对象,其中,每个图形对象表征一个子算法;
通过模型生成器将所述子算法与所述图形对象相关联,生成图形对象模型;其中,将所述子算法与所述图形对象相关联的步骤包括:根据所述子算法确定所述图形对象的滤波器类型;根据所述滤波器类型设置所述图形对象的属性参数,确定所述图形对象对应的滤波器;通过所述滤波器将所述子算法与所述图形对象相关联;其中,将所述子算法的独立操作通过封装技术封装在滤波器中实现所述子算法的功能;
按照所述处理流程连接多个图形对象模型,生成所述多源对地观测图像的可视化模型;其中包括:根据所述处理流程构建滤波器连接通道;将所述图形对象模型中的滤波器根据所述滤波器连接通道连接;其中,所述滤波器连接通道将执行各种处理步骤的滤波器连接成一条执行一系列处理的流程;
通过所述可视化模型可视化所述多源对地观测图像的处理过程,其中包括:根据所述处理流程将所述多源对地观测图像输入相应的图形对象模型;运行所述可视化模型;通过图形对象模型查看对应的处理步骤,输出所述多源对地观测图像的处理结果;
判断所述处理结果是否满足多源对地观测图像的处理需求,若不满足处理需求,则修正所述可视化模型中的一个或多个图形对象模型的参数,若满足处理需求,则存储所述处理结果和所述可视化模型。
2.根据权利要求1所述的多源对地观测图像处理的可视化方法,其特征在于,根据多源对地观测图像的处理流程获取与所述处理流程相对应的多个子算法之前,还包括:
获取可视化模型的读取指令;
确定是否存储有与读取指令相对应的可视化模型;
当存储有与读取指令相对应的可视化模型时,读取存储的可视化模型;
通过读取的可视化模型可视化所述多源对地观测图像的处理过程。
3.一种电子装置,其特征在于,该电子装置包括:
处理器;
存储器,所述存储器中包括多源对地观测图像处理的可视化程序,所述多源对地观测图像处理的可视化程序被所述处理器执行时实现如权利要求1或2所述的多源对地观测图像处理的可视化方法的步骤。
4.根据权利要求3所述的电子装置,其特征在于,所述电子装置还包括:显示模块,所述显示模块包括图形场景版块、属性框版块和结果显示版块,其中,所述图形场景版块用于放置一个或多个图形框,每个图形框表示对应的处理数据和步骤,多个图形框之间通过连接线连接,所述连接线用于表示数据流向;所述属性框版块用于显示当前选中的图形框所表示的处理数据或者步骤的各个属性;所述结果显示版块用于显示运行结果,所述结果显示版块包括一个或多个子窗口,通过所述子窗口显示处理流程运行至相应的图形对象模型得到的中间处理结果。
5.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中包括多源对地观测图像处理的可视化程序,所述多源对地观测图像处理的可视化程序被处理器执行时,实现如权利要求1或2所述的多源对地观测图像处理的可视化方法的步骤。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910290454.XA CN110110114B (zh) | 2019-04-11 | 2019-04-11 | 多源对地观测图像处理的可视化方法、装置及存储介质 |
JP2021506308A JP7264989B2 (ja) | 2019-04-11 | 2019-08-30 | マルチソース地球観測画像処理の可視化方法、機器及び記録媒体 |
PCT/CN2019/103584 WO2020206914A1 (zh) | 2019-04-11 | 2019-08-30 | 多源对地观测图像处理的可视化方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910290454.XA CN110110114B (zh) | 2019-04-11 | 2019-04-11 | 多源对地观测图像处理的可视化方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110110114A CN110110114A (zh) | 2019-08-09 |
CN110110114B true CN110110114B (zh) | 2024-05-03 |
Family
ID=67483832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910290454.XA Active CN110110114B (zh) | 2019-04-11 | 2019-04-11 | 多源对地观测图像处理的可视化方法、装置及存储介质 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7264989B2 (zh) |
CN (1) | CN110110114B (zh) |
WO (1) | WO2020206914A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110110114B (zh) * | 2019-04-11 | 2024-05-03 | 平安科技(深圳)有限公司 | 多源对地观测图像处理的可视化方法、装置及存储介质 |
CN112132284B (zh) * | 2020-08-24 | 2022-04-15 | 中国科学院空天信息创新研究院 | 一种对地观测知识枢纽系统 |
CN112766146B (zh) * | 2021-01-14 | 2022-11-29 | 黄河勘测规划设计研究院有限公司 | 一种基于多源数据的水库动态监控系统及方法 |
CN112950619A (zh) * | 2021-03-25 | 2021-06-11 | 征图智能科技(江苏)有限公司 | 基于可视化仿真的视觉检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1959717A (zh) * | 2006-10-09 | 2007-05-09 | 北京道达天际软件技术有限公司 | 订单驱动的海量遥感数据集群化预处理系统及其方法 |
CN101387958A (zh) * | 2008-10-20 | 2009-03-18 | 东软集团股份有限公司 | 一种图像数据的处理方法及装置 |
CN105389589A (zh) * | 2015-11-06 | 2016-03-09 | 北京航空航天大学 | 一种基于随机森林回归的胸腔x光片肋骨检测方法 |
CN107292841A (zh) * | 2017-06-16 | 2017-10-24 | 石福荣 | 模式化图像处理技术 |
CN107423053A (zh) * | 2017-06-15 | 2017-12-01 | 东莞理工学院 | 一种遥感图像处理的web化模型封装与分布式处理方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006043910B4 (de) * | 2006-09-19 | 2010-02-25 | Siemens Ag | Ergebnisfilter und Verfahren zur Selektion der Ergebnisdaten einer Applikation zur automatischen Mustererkennung |
JP4358262B2 (ja) * | 2007-07-02 | 2009-11-04 | ザイオソフト株式会社 | 医療画像処理装置およびプログラム |
CN101425153A (zh) * | 2007-10-31 | 2009-05-06 | 国际商业机器公司 | 用于生成可执行业务流程的监视视图的装置和方法 |
AT10596U1 (de) * | 2008-02-26 | 2009-06-15 | Keba Ag | Konfigurierung von maschinenablaufen |
KR20110014864A (ko) * | 2009-08-06 | 2011-02-14 | 주식회사 제니텀 | 데이터 플로우 프레임워크에 기반한 비디오 데이터의 3차원 재구성 시스템 |
US20160203178A1 (en) * | 2015-01-12 | 2016-07-14 | International Business Machines Corporation | Image search result navigation with ontology tree |
CN106874183B (zh) * | 2016-07-05 | 2020-05-05 | 阿里巴巴集团控股有限公司 | 业务异常检测方法及装置 |
CN107590070B (zh) * | 2017-08-18 | 2020-07-24 | 深圳怡化电脑股份有限公司 | 一种业务流程调试方法及装置 |
CN109165272B (zh) * | 2018-08-21 | 2021-02-19 | 东北大学 | 面向高分遥感影像的地理信息可视化分析系统 |
CN110110114B (zh) * | 2019-04-11 | 2024-05-03 | 平安科技(深圳)有限公司 | 多源对地观测图像处理的可视化方法、装置及存储介质 |
-
2019
- 2019-04-11 CN CN201910290454.XA patent/CN110110114B/zh active Active
- 2019-08-30 WO PCT/CN2019/103584 patent/WO2020206914A1/zh active Application Filing
- 2019-08-30 JP JP2021506308A patent/JP7264989B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1959717A (zh) * | 2006-10-09 | 2007-05-09 | 北京道达天际软件技术有限公司 | 订单驱动的海量遥感数据集群化预处理系统及其方法 |
CN101387958A (zh) * | 2008-10-20 | 2009-03-18 | 东软集团股份有限公司 | 一种图像数据的处理方法及装置 |
CN105389589A (zh) * | 2015-11-06 | 2016-03-09 | 北京航空航天大学 | 一种基于随机森林回归的胸腔x光片肋骨检测方法 |
CN107423053A (zh) * | 2017-06-15 | 2017-12-01 | 东莞理工学院 | 一种遥感图像处理的web化模型封装与分布式处理方法 |
CN107292841A (zh) * | 2017-06-16 | 2017-10-24 | 石福荣 | 模式化图像处理技术 |
Also Published As
Publication number | Publication date |
---|---|
CN110110114A (zh) | 2019-08-09 |
JP7264989B2 (ja) | 2023-04-25 |
WO2020206914A1 (zh) | 2020-10-15 |
JP2021532497A (ja) | 2021-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110110114B (zh) | 多源对地观测图像处理的可视化方法、装置及存储介质 | |
US9892531B2 (en) | Chart data-binding design time user experience with dynamic sample generation | |
US8896595B2 (en) | System, apparatus, and method of modifying 2.5D GIS data for a 2D GIS system | |
US9530250B2 (en) | Augmented reality updating of 3D CAD models | |
US20210232634A1 (en) | Quantified euler analysis | |
US20050179684A1 (en) | Data exploration system | |
US9787752B2 (en) | Hotspot editor for a user interface | |
CN106527892A (zh) | 一种电子设备的截屏方法及系统 | |
CN110335345B (zh) | 幕墙节点渲染方法、装置、计算机设备和存储介质 | |
CN104484163B (zh) | 一种基于统一建模环境的异构模型转换方法 | |
US20150093029A1 (en) | Image layers navigation | |
CN112256790A (zh) | 基于WebGL的三维可视化展现系统及数据可视化方法 | |
DE202013012486U1 (de) | Benutzeroberfläche für das Orientieren einer Kameraansicht in Richtung von Oberflächen innerhalb einer 3-D-Karte und Einrichtungen, welche die Benutzeroberfläche miteinbeziehen | |
CN111506686B (zh) | 一种基于房产cad图形与数据关联的处理方法及装置 | |
CN115294308A (zh) | 基于深度学习的增强现实辅助装配作业引导系统 | |
US9214136B1 (en) | Highlighting an object in a display using a dynamically generated highlight object | |
CN115857930A (zh) | 一种基于实景模型的原型快速设计方法及系统 | |
CN115794980A (zh) | 一种数据展示方法、设备、装置及介质 | |
CA3105227C (en) | Techniques for extraction of vectorized content of an oil and gas play within an unstructured file | |
CN104866266A (zh) | 农作物性状展示方法及装置 | |
CN115691772A (zh) | 运营可视化系统及相应计算机设备和存储介质 | |
CN117456550B (zh) | 基于mr的cad文件查看方法、装置、介质和设备 | |
CN114153933A (zh) | 一种基于通用gis平台的三维模型构建系统及模型构建方法 | |
CN114913267A (zh) | 脑图绘制方法、装置、设备和存储介质 | |
CN118296024A (zh) | 组件合成方法、组件合成装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |