CN117798654B - 汽轮机轴系中心智能调整系统 - Google Patents
汽轮机轴系中心智能调整系统 Download PDFInfo
- Publication number
- CN117798654B CN117798654B CN202410225389.3A CN202410225389A CN117798654B CN 117798654 B CN117798654 B CN 117798654B CN 202410225389 A CN202410225389 A CN 202410225389A CN 117798654 B CN117798654 B CN 117798654B
- Authority
- CN
- China
- Prior art keywords
- interface image
- feature map
- semantic feature
- meter interface
- meter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012806 monitoring device Methods 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims abstract description 8
- 238000005259 measurement Methods 0.000 claims description 60
- 230000008447 perception Effects 0.000 claims description 38
- 230000004927 fusion Effects 0.000 claims description 31
- 239000013598 vector Substances 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 23
- 239000003623 enhancer Substances 0.000 claims description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 238000009826 distribution Methods 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 17
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000005728 strengthening Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 6
- 230000002787 reinforcement Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000008358 core component Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
- B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
- B23P19/10—Aligning parts to be fitted together
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F01—MACHINES OR ENGINES IN GENERAL; ENGINE PLANTS IN GENERAL; STEAM ENGINES
- F01D—NON-POSITIVE DISPLACEMENT MACHINES OR ENGINES, e.g. STEAM TURBINES
- F01D25/00—Component parts, details, or accessories, not provided for in, or of interest apart from, other groups
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Mechanical Engineering (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种汽轮机轴系中心智能调整系统,属于智能调整技术领域。包括:轴系变形监测装置,用于识别测量表的参数数据以得到数字识别结果;与轴系变形监测装置可通信连接的控制单元,用于接收数字识别结果,计算出最佳的轴系中心的位置,生成调整指令;与控制单元可通信连接的轴系中心调整装置,用于根据控制单元的调整指令进行调节。本发明提供了一种可对汽轮机轴系中心进行智能调整的系统,其实现了通过机器视觉自动读取测量表的参数数据,以替代传统的人工读数方式,减少人为因素对参数数据读取的影响,提高参数数据的准确性、一致性和可靠性。
Description
技术领域
本发明涉及智能调整技术领域,且更为具体地,涉及一种汽轮机轴系中心智能调整系统。
背景技术
在汽轮机检修项目中,汽轮机轴系中心调整是主机检修的一个关键环节,其目的是保证汽轮发电机组各转子的中心线连接成一条连续光滑的曲线,使连接转子的联轴器中心线成为一根连续的轴。转动时避免对轴承产生周期性交变作用力,其次,使汽轮机静止部件与转动部件运行时基本保持同心,主要是防止机组发生振动,保证机组安全稳定运行。大型汽轮机轴系较长,对轴系中心的要求精度高,两轴中心偏差愈小,对中愈精确,转动设备的运转情况愈好,运行越稳定。如果中心偏差超过允许的范围,可能造成设备轴承温度偏高、轴瓦磨损等现象,使振动增大,严重威胁设备的安全稳定运行。
汽轮机轴系找中心整个测量、调整工作,需要一系列繁琐的测量、计算和调整过程。传统找中心的方法是依靠操作人员识别测量表的参数数据后,手动计算,即由操作人员观察测量仪表上的刻度或数字来获取参数数据。这种方式存在以下一些问题:1. 人工读数存在主观性和个体差异:不同的人可能会有不同的主观判断和读数误差,导致参数数据的不一致性和不准确性。2. 人工读数容易出现误读和录入错误:由于人为因素,如疲劳、注意力不集中等,操作人员可能会错误地读取或录入参数数值,导致数据的错误和不可靠性。综上,目前识别参数数据的方式不仅费时、费工,而且不同型号的机组支承方式各异,多轴系数据计算复杂,很容易出现计算错误,影响精度。
因此,期待一种汽轮机轴系中心智能调整系统。
发明内容
为了解决上述技术问题,本发明实施例提供了一种汽轮机轴系中心智能调整系统。本发明采用的技术方案如下:
一种汽轮机轴系中心智能调整系统,其包括:
轴系变形监测装置,用于识别测量表的参数数据,以得到数字识别结果;
与所述轴系变形监测装置可通信连接的控制单元,用于接收所述数字识别结果,并根据所述数字识别结果计算出最佳的轴系中心的位置后,生成调整指令;
与所述控制单元可通信连接的轴系中心调整装置,用于根据所述控制单元的调整指令进行调节。
可选地,所述轴系变形监测装置,包括:
图像获取模块,用于获取由摄像头采集的测量表界面图像;
域转换模块,用于对所述测量表界面图像进行域转换处理,以得到变换后测量表界面图像;
图像特征提取模块,用于提取所述变换后测量表界面图像的图像特征,以得到测量表界面图像语义特征图;
识别结果生成模块,用于基于所述测量表界面图像语义特征图,得到所述数字识别结果。
可选地,所述域转换模块,用于:
对所述测量表界面图像进行极坐标变换,以得到所述变换后测量表界面图像。
可选地,所述图像特征提取模块,用于:
将所述变换后测量表界面图像通过基于卷积神经网络模型的测量表界面图像特征提取器,以得到所述测量表界面图像语义特征图。
可选地,所述识别结果生成模块,包括:
多重强化单元,用于将所述测量表界面图像语义特征图通过包含空间感知特征融合模块和自适应注意力层的多重混合强化器,以得到强化测量表界面图像语义特征图;
特征分布优化单元,用于对所述强化测量表界面图像语义特征图进行特征分布优化,以得到优化后强化测量表界面图像语义特征图;
识别单元,用于将所述优化后强化测量表界面图像语义特征图通过基于分类器的识别结果生成器,以得到数字识别结果。
可选地,所述多重强化单元,包括:
空间感知增强子单元,用于将所述测量表界面图像语义特征图通过所述多重混合强化器的空间感知特征融合模块,以得到空间感知增强测量表界面图像语义特征图;
自适应增强子单元,用于将所述测量表界面图像语义特征图通过所述多重混合强化器的自适应注意力层,以得到自适应增强测量表界面图像语义特征图;
融合子单元,用于融合所述空间感知增强测量表界面图像语义特征图和所述自适应增强测量表界面图像语义特征图,以得到所述强化测量表界面图像语义特征图。
可选地,所述空间感知增强子单元,用于:
以空间感知公式对所述测量表界面图像语义特征图进行处理,以得到空间注意力矩阵;其中,所述空间感知公式为:
;
其中,F为所述测量表界面图像语义特征图,Xt为所述空间注意力矩阵,Pool(·)表示池化处理,φ1(·)、φ2(·)和φ3(·)表示卷积处理,Sigmoid(·)表示基于Sigmoid函数的非线性激活处理;
将所述空间注意力矩阵与所述测量表界面图像语义特征图中按通道维度的各个测量表界面图像语义特征矩阵进行按位置点乘,以得到所述空间感知增强测量表界面图像语义特征图。
可选地,所述自适应增强子单元,用于:
以自适应注意力公式来对所述测量表界面图像语义特征图进行处理,以得到所述自适应增强测量表界面图像语义特征图;其中,所述自适应注意力公式为:
其中,F为所述测量表界面图像语义特征图,pool为池化处理,vc为池化向量,Wa是权重矩阵,ba是偏置向量,σ为激活处理,A为初始元权重特征向量,Ai是所述初始元权重特征向量中第i个位置的特征值,A'为校正元权重特征向量,F'是所述自适应增强测量表界面图像语义特征图,⊙表示以所述校正元权重特征向量中的特征值为权重与所述测量表界面图像语义特征图沿通道维度的各个特征矩阵进行相乘。
可选地,所述特征分布优化单元,用于:
对所述强化测量表界面图像语义特征图与所述测量表界面图像语义特征图进行融合优化,以得到所述优化后强化测量表界面图像语义特征图。
可选地,所述识别单元,包括:
特征图展开子单元,用于对所述优化后强化测量表界面图像语义特征图进行特征图展开,以得到优化后强化测量表界面图像语义特征向量;
全连接编码子单元,用于使用所述分类器的多个全连接层对所述优化后强化测量表界面图像语义特征向量进行全连接编码,以得到编码分类特征向量;以及
分类结果生成子单元,用于将所述编码分类特征向量通过所述分类器的Softmax分类函数,以得到所述数字识别结果。
与现有技术相比,本发明具有如下有益效果:
通过设置轴系变形监测装置来识别测量表的参数数据以得到数字识别结果,设置控制单元来接收数字识别结果并计算出最佳的轴系中心的位置后生成调整指令,以及设置轴系中心调整装置来根据控制单元的调整指令进行调节,提供了一种可以对汽轮机轴系中心进行智能调整的系统,其利用计算机视觉技术和深度学习算法,通过获取并对测量表界面图像进行图像处理和分析,从而提取出数字识别结果。这样,实现了通过机器视觉自动读取测量表的参数数据,以替代传统的人工读数方式,减少人为因素对参数数据读取的影响,提高参数数据的准确性、一致性和可靠性。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为本发明实施例提供的汽轮机轴系中心智能调整系统的框图;
图2为本发明实施例提供的汽轮机轴系中心智能调整系统的系统架构图;
图3为本发明实施例提供的汽轮机轴系中心智能调整系统中轴系变形监测装置的框图;
图4为本发明实施例提供的汽轮机轴系中心智能调整系统中识别结果生成模块的框图;
图5为本发明实施例提供的汽轮机轴系中心智能调整系统中多重强化单元的框图。
具体实施方式
下面,将参考附图详细地描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。
本发明实施例提供了一种汽轮机轴系中心智能调整系统。图1为本发明实施例提供的汽轮机轴系中心智能调整系统的框图。图2为本发明实施例提供的汽轮机轴系中心智能调整系统的系统架构图。如图1和图2所示,本发明实施例提供的汽轮机轴系中心智能调整系统300,包括:轴系变形监测装置310,用于识别测量表的参数数据,以得到数字识别结果;与所述轴系变形监测装置可通信连接的控制单元320,用于接收所述数字识别结果,并根据所述数字识别结果计算出最佳的轴系中心的位置后,生成调整指令;与所述控制单元可通信连接的轴系中心调整装置330,用于根据所述控制单元的调整指令进行调节。
轴系变形监测装置310是汽轮机轴系中心智能调整系统的核心部件,它能够实时地检测轴系的变形情况,为控制单元320提供准确的参数数据。在本发明的一个具体示例中,如图3所示,所述轴系变形监测装置310,包括:图像获取模块311,用于获取由摄像头采集的测量表界面图像;域转换模块312,用于对所述测量表界面图像进行域转换处理,以得到变换后测量表界面图像;图像特征提取模块313,用于提取所述变换后测量表界面图像的图像特征,以得到测量表界面图像语义特征图;识别结果生成模块314,用于基于所述测量表界面图像语义特征图,得到所述数字识别结果。
其中,测量表界面图像指的是测量仪表上的显示界面,其中包括了指针、刻度和数字等元素。在实际的应用场景中,即在汽轮机轴系中心智能调整系统中,所述测量表界面图像通常是指针表的数字图像。其中,所述指针表使用指针指示器来显示测量值,指针会根据测量值的变化而移动到相应的位置,指示出具体的数值。通过摄像头采集测量表界面图像,可以获取到指针表的图像信息,进而进行后续的图像处理和数字识别,得到准确的测量数值。
具体地,所述测量表界面图像中的指针表通常是圆形的,指针表的测量界面通常也以圆形或弧形的形式展现。如果直接使用原始的直角坐标图像进行特征提取,可能会导致特征提取过程复杂且困难。也就是,由于刻度线和指针的弧度特性,其真实的图像语义特征可能会变得模糊或难以区分,从而影响后续的数字识别。因而,在本发明的技术方案中,通过所述域转换模块312对所述测量表界面图像进行极坐标变换,以将所述测量表界面图像转化为极坐标系中的表示,得到变换后测量表界面图像,使得指针和刻度线在所述变换后测量表界面图像中呈线性结构。这样一来,后续的图像处理算法可以更容易地检测和识别指针的位置和刻度的位置,提高数字识别的准确性。
在具体实施时,所述图像特征提取模块313,用于将所述变换后测量表界面图像通过基于卷积神经网络模型的测量表界面图像特征提取器,以得到测量表界面图像语义特征图。其中,卷积神经网络(Convolutional Neural Network,CNN)是一种用于处理图像和视觉数据的深度学习模型。它通过多层卷积和池化操作来提取图像的局部隐含特征,并保留重要的信息。在所述基于卷积神经网络模型的测量表界面图像特征提取器中,其可以通过卷积和池化处理提取关于测量表界面的特征信息,例如边缘、纹理和形状等。这些特征信息对于数字识别和智能读数具有重要意义。更具体地,所述图像特征提取模块313将所述变换后测量表界面图像通过基于卷积神经网络模型的测量表界面图像特征提取器,以得到测量表界面图像语义特征图,包括:使用所述基于卷积神经网络模型的测量表界面图像特征提取器的各层在层的正向传递中分别对输入数据进行如下处理:对输入数据进行卷积处理,以得到卷积特征图;对所述卷积特征图进行基于局部特征矩阵的池化,以得到池化特征图;以及,对所述池化特征图进行非线性激活,以得到激活特征图;其中,所述基于卷积神经网络模型的测量表界面图像特征提取器的最后一层的输出为所述测量表界面图像语义特征图,所述基于卷积神经网络模型的测量表界面图像特征提取器的第一层的输入为所述变换后测量表界面图像。
卷积神经网络是一种深度学习模型,专门用于处理具有网格结构的数据,如图像和语音。CNN的核心思想是通过卷积操作来提取输入数据的特征,并通过层层堆叠的方式进行特征的高级表示和抽象。以下是CNN的基本组件和工作原理:卷积层:卷积层是CNN的核心组件,用于提取输入数据的特征。它通过应用一组可学习的卷积核(滤波器)在输入数据上进行卷积操作。卷积操作可以捕捉输入数据中的局部模式和特征,并生成一系列的特征图;激活函数:在卷积层之后,通常会应用一个非线性激活函数,如ReLU。激活函数引入非线性特征,使得网络能够学习更复杂的模式和表示;池化层:池化层用于减少特征图的尺寸和参数数量,并提取最重要的特征。常见的池化操作包括最大池化和平均池化;全连接层:在经过一系列卷积层和池化层之后,通常会添加一些全连接层。全连接层将前一层的特征映射转换为输出结果,例如进行分类或回归;Dropout:为了防止过拟合,CNN中常使用Dropout技术。Dropout在训练过程中随机丢弃一部分神经元,以减少神经元之间的依赖关系,提高模型的泛化能力。通过反向传播算法,CNN可以自动学习提取输入数据中的特征,并根据训练目标进行优化。在训练过程中,CNN通过最小化损失函数来调整网络参数,以使得输出结果与真实标签尽可能接近。
在本发明的一个具体示例中,如图4所示,所述识别结果生成模块314,包括:多重强化单元3141,用于将所述测量表界面图像语义特征图通过包含空间感知特征融合模块和自适应注意力层的多重混合强化器,以得到强化测量表界面图像语义特征图;特征分布优化单元3142,用于对所述强化测量表界面图像语义特征图进行特征分布优化,以得到优化后强化测量表界面图像语义特征图;识别单元3143,用于将所述优化后强化测量表界面图像语义特征图通过基于分类器的识别结果生成器,以得到数字识别结果。
在本发明的一个具体示例中,如图5所示,所述多重强化单元3141,包括:空间感知增强子单元31411,用于将所述测量表界面图像语义特征图通过所述多重混合强化器的空间感知特征融合模块,以得到空间感知增强测量表界面图像语义特征图;自适应增强子单元31412,用于将所述测量表界面图像语义特征图通过所述多重混合强化器的自适应注意力层,以得到自适应增强测量表界面图像语义特征图;融合子单元31413,用于融合所述空间感知增强测量表界面图像语义特征图和所述自适应增强测量表界面图像语义特征图,以得到所述强化测量表界面图像语义特征图。
应可以理解,通过所述多重混合强化器的空间感知特征融合模块可以对所述测量表界面图像语义特征图进行空间维度强化,以捕获空间域的重要特征信息,增强网络学习测量表界面特征表示的辨别能力,抑制无关噪声信息的影响,并引导网络关注对识别测量表读数特征信息起到关键作用的空间位置。具体而言,所述空间感知特征融合模块通过对所述测量表界面图像语义特征图进行基于全局视野的特征感知来捕获丰富的空间信息,从而将空间信息凝聚成空间注意力矩阵以区别各个位置处应施加的关注度,并将所述空间注意力矩阵与所述测量表界面图像语义特征图中按通道维度的各个测量表界面图像语义特征矩阵进行按位置点乘,来调整各个位置处的空间关注度信息。具体地,所述空间感知增强子单元31411在将所述测量表界面图像语义特征图通过所述多重混合强化器的空间感知特征融合模块,以得到空间感知增强测量表界面图像语义特征图时,包括:以空间感知公式对所述测量表界面图像语义特征图进行处理,以得到空间注意力矩阵;其中,所述空间感知公式为:
;
其中,F为所述测量表界面图像语义特征图,Xt为所述空间注意力矩阵,Pool(·)表示池化处理,φ1(·)、φ2(·)和φ3(·)表示卷积处理,Sigmoid(·)表示基于Sigmoid函数的非线性激活处理;将所述空间注意力矩阵与所述测量表界面图像语义特征图中按通道维度的各个测量表界面图像语义特征矩阵进行按位置点乘,以得到所述空间感知增强测量表界面图像语义特征图。
应可以理解,通过所述多重混合强化器的自适应注意力层可以对所述测量表界面图像语义特征图进行通道维度强化以捕捉通道中的重要特征信息。具体来说,所述自适应注意力层可以动态调整所述测量表界面图像语义特征图中沿通道维度的各个测量表界面图像语义特征矩阵的权重,以便将注意力集中在最相关的通道特征之中。具体地,自适应增强子单元31412用于以自适应注意力公式来对所述测量表界面图像语义特征图进行处理,以得到所述自适应增强测量表界面图像语义特征图;其中,所述自适应注意力公式为:
其中,F为所述测量表界面图像语义特征图,pool为池化处理,vc为池化向量,Wa是权重矩阵,ba是偏置向量,σ为激活处理,A为初始元权重特征向量,Ai是所述初始元权重特征向量中第i个位置的特征值,A'为校正元权重特征向量,F'是所述自适应增强测量表界面图像语义特征图,⊙表示以所述校正元权重特征向量中的特征值为权重与所述测量表界面图像语义特征图沿通道维度的各个特征矩阵进行相乘。
进一步地,采用所述空间感知特征融合模块和所述自适应注意力层的双重强化机制,使所述强化测量表界面图像语义特征图能够具有更为丰富的特征表达能力,从而为后续的识别任务提供更可靠的输入。
值得一提的是,在本发明的其他具体示例中,还可以通过其他方式将所述测量表界面图像语义特征图通过包含空间感知特征融合模块和自适应注意力层的多重混合强化器,以得到强化测量表界面图像语义特征图,例如:输入所述测量表界面图像语义特征图;空间感知特征融合模块用于增强特征图中不同位置之间的关联性;自适应注意力层用于自动调整特征图中不同通道的重要性;将经过空间感知特征融合模块和自适应注意力层处理后的特征图进行多重混合强化。
在本发明的一个具体示例中,所述特征分布优化单元3142,用于对所述强化测量表界面图像语义特征图与所述测量表界面图像语义特征图进行融合优化,以得到所述优化后强化测量表界面图像语义特征图。在上述技术方案中,所述测量表界面图像语义特征图表达所述测量表界面图像进行极坐标变换得到的变换后测量表界面图像的图像语义特征,这样,将所述测量表界面图像语义特征图通过包含空间感知特征融合模块和自适应注意力层的多重混合强化器后,可以分别对图像语义特征的特征矩阵内局部空间分布和特征矩阵间局部通道分布进行强化,但是,这也会导致所述强化测量表界面图像语义特征图的特征表示偏离所述测量表界面图像语义特征图的初始图像语义特征表示。
由此,为了提升所述强化测量表界面图像语义特征图的图像语义特征表达效果,可以通过进一步将所述强化测量表界面图像语义特征图与所述测量表界面图像语义特征图融合来优化所述强化测量表界面图像语义特征图。
这里,考虑到所述强化测量表界面图像语义特征图与所述测量表界面图像语义特征图之间由于局部空间分布强化和局部通道分布强化导致的特征分布信息表示差异,为了提升融合时的分布信息表示一致性,本发明实施例中,所述特征分布优化单元3142对所述强化测量表界面图像语义特征图与所述测量表界面图像语义特征图进行融合优化,具体表示为:以融合优化公式对所述强化测量表界面图像语义特征图与所述测量表界面图像语义特征图进行融合优化,以得到所述优化后强化测量表界面图像语义特征图;其中,所述融合优化公式为:
;
其中,F1是所述强化测量表界面图像语义特征图,F2是所述测量表界面图像语义特征图,μ1和σ1分别为F1对应的特征集合的均值和标准差,μ2和σ2分别为F2对应的特征集合的均值和标准差,表示特征图的逐位置开方,且log为以2为底的对数,⊕表示按位置相加,⊙表示按位置点乘,F1 '是所述优化后强化测量表界面图像语义特征图。
这里,为了提升所述强化测量表界面图像语义特征图与所述测量表界面图像语义特征图在特征融合场景下的分布信息表示的一致性,考虑到传统的加权融合方式对于推断基于特征叠加的语义空间演变扩散模式存在局限性,通过采用结合空间的低阶叠加融合模式和高阶叠加融合模式的方式,并通过特征统计特征交互关系来模拟演变中心和演变轨迹,以在不同演变扩散速度场的作用下来基于非同步演变重构融合场景下的语义空间演变扩散,有效地提升了到同一高维特征空间内的投射效果,实现了所述强化测量表界面图像语义特征图与所述测量表界面图像语义特征图的分布信息表示一致的特征融合。这样,就提升了优化后强化测量表界面图像语义特征图F1 '的图像语义特征表达效果,从而在将优化后强化测量表界面图像语义特征图F1 '通过分类器进行分类时,改进了分类结果的准确性。
在一个具体示例中,所述识别单元3143,包括:特征图展开子单元,用于对所述优化后强化测量表界面图像语义特征图进行特征图展开,以得到优化后强化测量表界面图像语义特征向量;全连接编码子单元,用于使用所述分类器的多个全连接层对所述优化后强化测量表界面图像语义特征向量进行全连接编码,以得到编码分类特征向量;以及,分类结果生成子单元,用于将所述编码分类特征向量通过所述分类器的Softmax分类函数,以得到分类结果,即数字识别结果。
分类器是指一种机器学习模型或算法,用于将输入数据分为不同的类别或标签。分类器是监督学习的一部分,它通过学习从输入数据到输出类别的映射关系来进行分类任务。
全连接层是神经网络中常见的一种层类型。在全连接层中,每个神经元都与上一层的所有神经元相连接,每个连接都有一个权重。这意味着全连接层中的每个神经元都接收来自上一层所有神经元的输入,并通过权重对这些输入进行加权求和,然后将结果传递给下一层。
Softmax分类函数是一种常用的激活函数,用于多分类问题。它将输入向量的每个元素转化为一个介于0和1之间的概率值,并且这些概率值的和等于1。Softmax函数常用于神经网络的输出层,特别适用于多分类问题,因为它能够将网络输出映射为各个类别的概率分布。在训练过程中,Softmax函数的输出可以用于计算损失函数,并通过反向传播算法来更新网络参数。值得注意的是,Softmax函数的输出并不会改变元素之间的相对大小关系,只是对其进行了归一化处理。因此,Softmax函数并不改变输入向量的特性,只是将其转化为概率分布形式。
值得一提的是,在本发明的其他具体示例中,识别单元3143还可以通过其他方式基于所述测量表界面图像语义特征图,得到所述数字识别结果,例如:输入所述测量表界面图像语义特征图;从图像中提取语义特征,以捕获数字的信息。特征提取可以使用计算机视觉和图像处理技术,如卷积神经网络或特征描述子等。常见的特征提取方法包括:边缘检测:通过检测图像中的边缘来捕获数字的边界信息;角点检测:通过检测图像中的角点来捕获数字的角点信息;SIFT、SURF等特征描述子:通过提取图像中的局部特征点,并计算其描述子向量,以捕获数字的局部特征;将提取的语义特征转换为特征图;通过应用数字识别算法,可以在特征图上进行数字识别;数字识别算法将输出识别结果,即图像中的数字。
综上,本发明实施例的技术构思为利用计算机视觉技术和深度学习算法,通过对测量表界面图像进行图像处理和分析,从而提取出数字识别结果。这样,通过机器视觉自动读取测量表的参数数据,以替代传统的人工读数方式,减少人为因素对数据读取的影响,提高数据的准确性和一致性。
特别地,与所述轴系变形监测装置可通信连接的控制单元320,用于接收所述数字识别结果,并根据所述数字识别结果计算出最佳的轴系中心的位置后,生成携带最佳的轴系中心位置的调整指令。值得一提的是,通过计算最佳的轴系中心位置,可以精确地确定需要调整的位置。这可以确保在调整过程中准确地对轴系进行定位,减少人工干预和操作的需求,避免误差和偏差。
特别地,与所述控制单元320可通信连接的轴系中心调整装置330,用于根据所述控制单元320的调整指令进行调节。值得一提的是,根据控制单元320的调整指令,系统可以自动进行相应的调节操作。这可以减少人工干预和操作的需求,提高调节的效率和准确性。
需要说明的是,本发明实施例提供的汽轮机轴系中心智能调整系统300可以实现在各种无线终端中,例如具有汽轮机轴系中心智能调整算法的服务器等。在一种可能的实现方式中,本发明实施例提供的汽轮机轴系中心智能调整系统300可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如,该汽轮机轴系中心智能调整系统300可以是该无线终端的操作系统中的一个软件模块,或者可以是针对于该无线终端所开发的一个应用程序;当然,该汽轮机轴系中心智能调整系统300同样可以是该无线终端的众多硬件模块之一。
替换地,在另一示例中,该汽轮机轴系中心智能调整系统300与该无线终端也可以是分立的设备,并且该汽轮机轴系中心智能调整系统300可以通过有线和/或无线网络连接到该无线终端,并且按照约定的数据格式来传输交互信息。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (5)
1.一种汽轮机轴系中心智能调整系统,其特征在于,包括:
轴系变形监测装置,用于识别测量表的参数数据,以得到数字识别结果;
与所述轴系变形监测装置可通信连接的控制单元,用于接收所述数字识别结果,并根据所述数字识别结果计算出最佳的轴系中心的位置后,生成调整指令;
与所述控制单元可通信连接的轴系中心调整装置,用于根据所述控制单元的调整指令进行调节;
所述轴系变形监测装置,包括:
图像获取模块,用于获取由摄像头采集的测量表界面图像;
域转换模块,用于对所述测量表界面图像进行域转换处理,以得到变换后测量表界面图像;
图像特征提取模块,用于提取所述变换后测量表界面图像的图像特征,以得到测量表界面图像语义特征图;
识别结果生成模块,用于基于所述测量表界面图像语义特征图,得到所述数字识别结果;
所述域转换模块,用于对所述测量表界面图像进行极坐标变换,以得到所述变换后测量表界面图像;
所述图像特征提取模块,用于将所述变换后测量表界面图像通过基于卷积神经网络模型的测量表界面图像特征提取器,以得到所述测量表界面图像语义特征图;
所述识别结果生成模块,包括:
多重强化单元,用于将所述测量表界面图像语义特征图通过包含空间感知特征融合模块和自适应注意力层的多重混合强化器,以得到强化测量表界面图像语义特征图;
特征分布优化单元,用于对所述强化测量表界面图像语义特征图进行特征分布优化,以得到优化后强化测量表界面图像语义特征图;
识别单元,用于将所述优化后强化测量表界面图像语义特征图通过基于分类器的识别结果生成器,以得到数字识别结果;
所述多重强化单元,包括:
空间感知增强子单元,用于将所述测量表界面图像语义特征图通过所述多重混合强化器的空间感知特征融合模块,以得到空间感知增强测量表界面图像语义特征图;
自适应增强子单元,用于将所述测量表界面图像语义特征图通过所述多重混合强化器的自适应注意力层,以得到自适应增强测量表界面图像语义特征图;
融合子单元,用于融合所述空间感知增强测量表界面图像语义特征图和所述自适应增强测量表界面图像语义特征图,以得到所述强化测量表界面图像语义特征图。
2.根据权利要求1所述的汽轮机轴系中心智能调整系统,其特征在于,所述空间感知增强子单元,用于:
以空间感知公式对所述测量表界面图像语义特征图进行处理,以得到空间注意力矩阵;其中,所述空间感知公式为:
;
其中,F为所述测量表界面图像语义特征图,Xt为所述空间注意力矩阵,Pool(·)表示池化处理,φ1(·)、φ2(·)和φ3(·)表示卷积处理,Sigmoid(·)表示基于Sigmoid函数的非线性激活处理;
将所述空间注意力矩阵与所述测量表界面图像语义特征图中按通道维度的各个测量表界面图像语义特征矩阵进行按位置点乘,以得到所述空间感知增强测量表界面图像语义特征图。
3.根据权利要求1或2所述的汽轮机轴系中心智能调整系统,其特征在于,所述自适应增强子单元,用于:
以自适应注意力公式来对所述测量表界面图像语义特征图进行处理,以得到所述自适应增强测量表界面图像语义特征图;其中,所述自适应注意力公式为:
其中,F为所述测量表界面图像语义特征图,pool为池化处理,vc为池化向量,Wa是权重矩阵,ba是偏置向量,σ为激活处理,A为初始元权重特征向量,Ai是所述初始元权重特征向量中第i个位置的特征值,A'为校正元权重特征向量,F'是所述自适应增强测量表界面图像语义特征图,⊙表示以所述校正元权重特征向量中的特征值为权重与所述测量表界面图像语义特征图沿通道维度的各个特征矩阵进行相乘。
4.根据权利要求3所述的汽轮机轴系中心智能调整系统,其特征在于,所述特征分布优化单元,用于:
对所述强化测量表界面图像语义特征图与所述测量表界面图像语义特征图进行融合优化,以得到所述优化后强化测量表界面图像语义特征图。
5.根据权利要求4所述的汽轮机轴系中心智能调整系统,其特征在于,所述识别单元,包括:
特征图展开子单元,用于对所述优化后强化测量表界面图像语义特征图进行特征图展开,以得到优化后强化测量表界面图像语义特征向量;
全连接编码子单元,用于使用所述分类器的多个全连接层对所述优化后强化测量表界面图像语义特征向量进行全连接编码,以得到编码分类特征向量;以及
分类结果生成子单元,用于将所述编码分类特征向量通过所述分类器的Softmax分类函数,以得到所述数字识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410225389.3A CN117798654B (zh) | 2024-02-29 | 2024-02-29 | 汽轮机轴系中心智能调整系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410225389.3A CN117798654B (zh) | 2024-02-29 | 2024-02-29 | 汽轮机轴系中心智能调整系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117798654A CN117798654A (zh) | 2024-04-02 |
CN117798654B true CN117798654B (zh) | 2024-05-03 |
Family
ID=90431979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410225389.3A Active CN117798654B (zh) | 2024-02-29 | 2024-02-29 | 汽轮机轴系中心智能调整系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117798654B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106372365A (zh) * | 2016-09-29 | 2017-02-01 | 西安交通大学 | 一种新型轴系结构在特定对中要求下的轴系找中计算方法 |
CN109583324A (zh) * | 2018-11-12 | 2019-04-05 | 武汉大学 | 一种基于单点多盒检测器的指针仪表读数自动识别方法 |
CN110614504A (zh) * | 2019-09-27 | 2019-12-27 | 浙江省工业设备安装集团有限公司 | 一种汽轮机与发电机转子联轴器找中心工装及方法 |
CN111639746A (zh) * | 2020-05-14 | 2020-09-08 | 中国科学院国家空间科学中心 | 一种基于cnn神经网络的gnss-r海面风速反演方法及系统 |
AU2020103716A4 (en) * | 2020-11-27 | 2021-02-11 | Beijing University Of Posts And Telecommunications | Training method and device of automatic identification device of pointer instrument with numbers in natural scene |
CN112381848A (zh) * | 2018-12-27 | 2021-02-19 | 浙江大学台州研究院 | 复杂环境下仪表视觉读数在线监测系统的抗干扰方法 |
WO2021113531A1 (en) * | 2019-12-05 | 2021-06-10 | Saudi Arabian Oil Company | Method and system for obtaining information from analog instruments using a digital retrofit |
CN114463558A (zh) * | 2022-01-27 | 2022-05-10 | 上海电机学院 | 一种基于深度学习的变电站指针仪表检测方法 |
CN114549835A (zh) * | 2022-02-15 | 2022-05-27 | 中国人民解放军海军工程大学 | 一种基于深度学习的指针式仪表矫正识别方法及装置 |
CN115719414A (zh) * | 2022-11-03 | 2023-02-28 | 西北工业大学 | 基于任意四边形回归的目标检测与精确定位方法 |
WO2023044961A1 (zh) * | 2021-09-23 | 2023-03-30 | 武汉大学 | 基于自注意力变换网络的多特征融合回声消除方法及系统 |
CN116431847A (zh) * | 2023-06-14 | 2023-07-14 | 北京邮电大学 | 基于多重对比和双路对抗的跨模态哈希检索方法及设备 |
US11763485B1 (en) * | 2022-04-20 | 2023-09-19 | Anhui University of Engineering | Deep learning based robot target recognition and motion detection method, storage medium and apparatus |
CN117611753A (zh) * | 2024-01-23 | 2024-02-27 | 吉林大学 | 基于人工智能重建技术的面部整形修复辅助系统及方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160376917A1 (en) * | 2015-06-29 | 2016-12-29 | Siemens Energy, Inc. | Method and an apparatus for measuring a deflection of a rotor of a turbomachine |
CN107590498B (zh) * | 2017-09-27 | 2020-09-01 | 哈尔滨工业大学 | 一种基于字符分割级联二分类器的自适应汽车仪表检测方法 |
US10657419B2 (en) * | 2018-03-28 | 2020-05-19 | The Boeing Company | Machine vision and robotic installation systems and methods |
-
2024
- 2024-02-29 CN CN202410225389.3A patent/CN117798654B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106372365A (zh) * | 2016-09-29 | 2017-02-01 | 西安交通大学 | 一种新型轴系结构在特定对中要求下的轴系找中计算方法 |
CN109583324A (zh) * | 2018-11-12 | 2019-04-05 | 武汉大学 | 一种基于单点多盒检测器的指针仪表读数自动识别方法 |
CN112381848A (zh) * | 2018-12-27 | 2021-02-19 | 浙江大学台州研究院 | 复杂环境下仪表视觉读数在线监测系统的抗干扰方法 |
CN110614504A (zh) * | 2019-09-27 | 2019-12-27 | 浙江省工业设备安装集团有限公司 | 一种汽轮机与发电机转子联轴器找中心工装及方法 |
WO2021113531A1 (en) * | 2019-12-05 | 2021-06-10 | Saudi Arabian Oil Company | Method and system for obtaining information from analog instruments using a digital retrofit |
CN111639746A (zh) * | 2020-05-14 | 2020-09-08 | 中国科学院国家空间科学中心 | 一种基于cnn神经网络的gnss-r海面风速反演方法及系统 |
AU2020103716A4 (en) * | 2020-11-27 | 2021-02-11 | Beijing University Of Posts And Telecommunications | Training method and device of automatic identification device of pointer instrument with numbers in natural scene |
WO2023044961A1 (zh) * | 2021-09-23 | 2023-03-30 | 武汉大学 | 基于自注意力变换网络的多特征融合回声消除方法及系统 |
CN114463558A (zh) * | 2022-01-27 | 2022-05-10 | 上海电机学院 | 一种基于深度学习的变电站指针仪表检测方法 |
CN114549835A (zh) * | 2022-02-15 | 2022-05-27 | 中国人民解放军海军工程大学 | 一种基于深度学习的指针式仪表矫正识别方法及装置 |
US11763485B1 (en) * | 2022-04-20 | 2023-09-19 | Anhui University of Engineering | Deep learning based robot target recognition and motion detection method, storage medium and apparatus |
CN115719414A (zh) * | 2022-11-03 | 2023-02-28 | 西北工业大学 | 基于任意四边形回归的目标检测与精确定位方法 |
CN116431847A (zh) * | 2023-06-14 | 2023-07-14 | 北京邮电大学 | 基于多重对比和双路对抗的跨模态哈希检索方法及设备 |
CN117611753A (zh) * | 2024-01-23 | 2024-02-27 | 吉林大学 | 基于人工智能重建技术的面部整形修复辅助系统及方法 |
Non-Patent Citations (3)
Title |
---|
基于Faster R-CNN和U-Net的变电站指针式仪表读数自动识别方法;万吉林;王慧芳;管敏渊;沈建良;吴国强;高奥;杨斌;;电网技术;20200113(08);第321-329页 * |
深度卷积神经网络支持下的遥感影像语义分割;谢梦;刘伟;李二珠;杨梦圆;王晓檀;;测绘通报;20200525(05);第39-45页 * |
特种承压设备仪表AI识别算法研究;洪文健;;中国设备工程;20200125(02);第92-93页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117798654A (zh) | 2024-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111580506A (zh) | 基于信息融合的工业过程故障诊断方法 | |
CN110517130A (zh) | 一种智能记账方法及其系统 | |
CN109284779A (zh) | 基于深度全卷积网络的物体检测方法 | |
CN116434266B (zh) | 一种医疗检验单的数据信息自动提取分析方法 | |
CN117784710B (zh) | 数控机床远程状态监控系统及其方法 | |
CN116229052B (zh) | 一种基于孪生网络的变电站设备状态变化检测方法 | |
CN117115722B (zh) | 施工场景检测的方法、装置、存储介质及电子设备 | |
CN111461121A (zh) | 一种基于yolov3网络的电表示数识别方法 | |
Zhang | Application of artificial intelligence recognition technology in digital image processing | |
CN111310837A (zh) | 车辆改装识别方法、装置、系统、介质和设备 | |
CN117131022A (zh) | 一种电力信息系统的异构数据迁移方法 | |
CN117798654B (zh) | 汽轮机轴系中心智能调整系统 | |
CN111985158A (zh) | 一种基于迁移学习的电液伺服阀故障诊断方法及系统 | |
CN114964628A (zh) | 一种氨气泄漏混洗自注意力轻量化红外检测方法及系统 | |
CN115311447A (zh) | 一种基于深度卷积神经网络的指针式仪表示数识别方法 | |
CN114818945A (zh) | 融入类别自适应度量学习的小样本图像分类方法及装置 | |
CN112036472A (zh) | 一种电力系统视觉图像分类方法及系统 | |
Huang et al. | The Design Scheme of OCR and Analysis Platform for Power Meter Identification | |
CN117301078B (zh) | 一种机器手视觉校准方法及系统 | |
CN114880215B (zh) | 一种面向众包系统的测试用例自动生成的方法 | |
CN117953275B (zh) | 一种基于ai分析的自适应教学质量评估系统 | |
CN118549923B (zh) | 视频雷达监测方法及相关设备 | |
CN117475448B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
CN118505704B (zh) | 一种面板产线缺陷检测通用模型建模检测方法 | |
CN117372815A (zh) | 一种基于计算机视觉的工业零件的质检方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |