CN117490969B - 一种结冰风洞完整冰形在线测量方法 - Google Patents

一种结冰风洞完整冰形在线测量方法 Download PDF

Info

Publication number
CN117490969B
CN117490969B CN202311817210.5A CN202311817210A CN117490969B CN 117490969 B CN117490969 B CN 117490969B CN 202311817210 A CN202311817210 A CN 202311817210A CN 117490969 B CN117490969 B CN 117490969B
Authority
CN
China
Prior art keywords
laser
line
camera
image
polarization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311817210.5A
Other languages
English (en)
Other versions
CN117490969A (zh
Inventor
左承林
王桥
魏龙涛
刘森云
郭奇灵
李明
易贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Low Speed Aerodynamics Institute of China Aerodynamics Research and Development Center
Original Assignee
Low Speed Aerodynamics Institute of China Aerodynamics Research and Development Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Low Speed Aerodynamics Institute of China Aerodynamics Research and Development Center filed Critical Low Speed Aerodynamics Institute of China Aerodynamics Research and Development Center
Priority to CN202311817210.5A priority Critical patent/CN117490969B/zh
Publication of CN117490969A publication Critical patent/CN117490969A/zh
Application granted granted Critical
Publication of CN117490969B publication Critical patent/CN117490969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M9/00—Aerodynamic testing; Arrangements in or on wind tunnels
    • G01M9/06—Measuring arrangements specially adapted for aerodynamic testing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Abstract

本发明适用于冰形测量技术领域，提供了一种结冰风洞完整冰形在线测量方法。在结冰风洞两侧观察窗外分别设置第一成像子系统和第二成像子系统，子系统均包括线激光器和偏振相机，两线激光器分别发出不同波段的激光片光，两偏振相机安装有对应波段的滤光片，避免另一线激光器发出的激光片光的干扰。测量时，两偏振相机分别采集激光线图像，得到两条激光线轮廓曲线；对两条激光线轮廓曲线进行融合，得到完整的截面冰形轮廓线。进一步，两线激光器沿垂直方向扫描模型结冰表面，执行前述步骤得到完整的三维冰形轮廓。采用本发明的方法，可以高效地进行三维冰形在线测量，得到完整的三维冰形轮廓。

Description

一种结冰风洞完整冰形在线测量方法
技术领域
本发明涉及冰形测量技术领域，尤其是涉及一种结冰风洞完整冰形在线测量方法。
背景技术
研究发现，飞行过程中的结冰现象是造成飞机飞行安全的主要诱因之一。飞机不同部位的结冰会造成不同程度的影响，如机翼、机尾的结冰会导致扰流流场的改变，从而严重影响飞机的气动性能、操纵性和稳定性；发动机进气道的结冰可能导致发动机停车，危害飞行安全。因此探索结冰机理、进行结冰气象条件下飞行器空气动力性能评估、安全评估，进行防除冰等研究工作具有重要意义。为探索结冰机理、进行结冰气象条件下飞行器空气动力性能评估等研究，研究人员需要对飞行部件在不同气象环境下的结冰外形进行测量研究。获取结冰外形的途径主要有3种：数值仿真计算；飞行试验；地面模拟试验。地面模拟试验由于成本低、能够获得定量结果，是主要的获取结冰外形手段。地面模拟试验通常在结冰风洞中进行。精细化的结冰三维形状信息对提升结冰条件下飞机气动力CFD计算精度具有重要价值。
现有技术如“CN115560700B一种基于彩色偏振成像的结冰三维外形在线测量方法”、“CN115546320B一种用于测量冰形的相机标定及在线冰形测量方法”、“CN115619878B一种用于测量冰形的激光线提取融合及在线冰形测量方法”、“CN114485477B一种结冰三维外形在线测量方法及测量装置”、“CN114485483B一种基于多相机组合成像的冰形在线测量方法及装置”等解决了明冰和混合冰对可见光反射率极低、摄像机难以得到清晰的光条图案从而导致测量精度低的技术问题。
但是风洞试验过程中，通常都是将试验模型正对迎风面，例如机翼这样的模型，其翼型的两侧边均会结冰，采用如上述现有技术的冰形测量方式并不能获得翼型两侧的完整的冰形。专利CN102494635B公开了一种风洞模型冰形测量方法及装置，利用两台以上的CCD相机进行拍摄，可以获得完整的三维冰形。但是直接采用该专利记载的技术仍然很难获得清晰完整的冰形。
发明内容
为了解决现有技术存在的技术问题，本发明提供一种结冰风洞完整冰形在线测量方法，能够实时获得结冰风洞内试验模型上的完整的三维冰形，为提升结冰条件下气动力CFD计算精度提供基础。
本申请实施例提供一种结冰风洞完整冰形在线测量方法，其特征在于，在试验模型的两侧分别设置第一成像子系统和第二成像子系统；所述第一成像子系统包括第一偏振相机和第一线激光器，所述第一偏振相机用于拍摄第一激光线；所述第二成像子系统包括第二偏振相机和第二线激光器，所述第二偏振相机用于拍摄第二激光线；所述第一线激光器发出的第一激光片光在冰面形成第一激光线，所述第二线激光器发出的第二激光片光在冰面形成第二激光线；所述第一激光片光与第二激光片光部分重合；所述第一线激光器和所述第二线激光器发出不同波段的激光，且在第一偏振相机和所述第二偏振相机前设置对应波段的滤光片；所述第一偏振相机和第二偏振相机均为黑白偏振相机；所述测量方法包括如下步骤：
S1. 分别采集第一相机图像和第二相机图像，所述第一相机图像为第一偏振相机拍摄的图像，所述第二相机图像为第二偏振相机拍摄的图像；
S2. 从第一相机图像提取并解算第一激光线轮廓，从第二相机图像提取并解算第二激光线轮廓，并将第一激光线轮廓与第二激光线轮廓坐标转换到同一坐标系中，得到初始冰形轮廓线；
S3. 利用第一激光片光和第二激光片光相交区域对应于冰面上的点对第一激光线轮廓与第二激光线轮廓进行融合处理，得到完整的截面冰形轮廓线。
进一步地，所述第一线激光器和第二线激光器在竖直平面内同步扫描试验模型结冰表面，在每一个预设位置停留并执行步骤S1-S3，得到完整的三维冰形。
进一步地，所述步骤S2中，对于从第一相机图像提取并解算第一激光线轮廓，和从第二相机图像提取并解算第二激光线轮廓，均包括：
S21. 将黑白偏振相机采集的图像分离成4个偏振态图像；
S22. 利用4个偏振态图像分别得到总光强图像和偏振度图像；
所述总光强图像为4个偏振态图像重叠相加；
所述偏振度图像通过下式计算：
，
式中，、/>、/>、/>分别表示0度、45度、90度和135度4个偏振态图像中同一个像素位置/>处的像素值，/>表示融合后的偏振度图像中相同像素位置/>处的像素值；
S23. 基于所述总光强图像，采用阈值分割法，得到激光线mask图像；
S24. 将所述激光线mask图像与所述偏振度图像重叠相乘，采用steger算法进行激光线提取，得到激光线轮廓。
采用本申请的测量方法，相较于现有技术，至少具有以下有益效果：
1）本申请实施例使用了不同光谱的两套在线测量子系统同步测量，避免了相互之间的光干扰，计算快、测量效率高，可以实现结冰风洞完整三维冰形在线测量。
2）本申请实施例将偏振相机图像转换为总光强图进行激光线mask图像提取，可以最大限度地不丢失激光线区域信息。同时，根据激光线mask图像在偏振度图像中先找出激光线图像区域，再在该区域进行激光线提取，可以有效提高激光线提取效率。
3）将图像转换为偏振度图像进行激光线提取，可有效消除结冰表面杂散射光和体散射光的影响，从而提高了激光线提取的精度，特别是明冰和混合冰表面的激光线提取精度，从而保证了冰形在线测量精度。
4）采用本申请后续的融合处理，可以很好的将两个子系统得到的冰形轮廓线进行融合，得到完整的冰形轮廓线。
5）本申请的测量系统标定一次后可以完成多次测量，在线测量简单，速度快，精度高，非常适用于在风洞试验窗外对试验模型表面结冰的实时在线测量。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例的结冰风洞完整冰形测量系统的示意图；
图2是本申请实施例的一种结冰风洞完整冰形在线测量方法的流程示意图；
图3是本申请实施例的偏振态图像分离示意图；
图4是本申请实施例的利用偏振态图像叠加成总光强图的示意图；
图5是本申请实施例的第一激光线轮廓和第二激光线轮廓融合前的状态示意图；
图6是本申请实施例的第一激光线轮廓和第二激光线轮廓融合后的状态示意图。
图中，01-试验模型，11-第一线激光器，12-第一偏振相机，111-第一激光片光，112-第一激光线，13-第一滤光片，14-第一旋转台；21-第二线激光器，22-第二偏振相机，211-第二激光片光，212-第二激光线，23-第二滤光片，24-第二旋转台。
具体实施方式
以下的说明提供了许多不同的实施例、或是例子，用来实施本发明的不同特征。以下特定例子所描述的元件和排列方式，仅用来精简的表达本发明，其仅作为例子，而并非用以限制本发明。
申请人在采用如专利CN102494635B记载的一种风洞模型冰形测量方法进行冰形测量时发现采用现有技术记载的图像处理方式很难直接获得清晰的冰形图像。原因在于，在风洞试验时，为了避免测试装置对风洞内气流的影响，将两台激光器和摄像机均设置在风洞外部的观察窗处，两套子系统分隔较远，很难将两套装置完全调整到同一水平面，并且在同步旋转过程中，激光片光在绝大部分时间是倾斜打在冰面的，会导致同一个相机拍摄到的图像中会有两条相交的激光线，使得后期图像处理更加复杂。另一方面，由于明冰和混合冰的透明度高，线激光投射在冰体表面，多数光线投射进入冰体，只有小部分光线通过冰体表面进行反射，造成采集图像激光带区域严重扩散，使得拍摄到的是一个亮斑区域，导致测量精度低。
为此，申请人采用两台发射不同波段光的线激光器分别发出不同波段的光打在待测冰面上，同时在相机端设置对应波长的滤光片，使得相机只能拍摄到同侧激光器发出的光在冰面形成的激光线，从而大幅减小了后续图像处理的难度。同时，将相机换为黑白偏振相机，采用黑白偏振相机滤除散射杂光，改善光条的清晰度，使得冰形曲线的清晰度得以提高，进而获得结冰风洞完整清晰的冰形。
本实施例提供一种结冰风洞完整冰形在线测量方法，采用如图1所示的测量系统，包括第一成像子系统和第二成像子系统，并且将第一成像子系统和第二成像子系统分布在试验模型01两侧，结合到结冰风洞试验，即将第一成像子系统和第二成像子系统布置在风洞两侧的观察窗外。
第一成像子系统包括第一偏振相机12和第一线激光器11，第一线激光器11发出的第一激光片光111在冰面形成第一激光线112，第一偏振相机12用于拍摄第一激光线112；第二成像子系统包括第二偏振相机22和第二线激光器21，第二线激光器21发出的第二激光片光211在冰面形成第二激光线212，第二偏振相机22用于拍摄第二激光线212；并且为了使得所拍摄的冰形完整，避免出现漏测一段冰形的情况发生，第一激光片光111与第二激光片光211部分重合；这里的部分重合可以是一个点重合，也可以是一个面重合，最终的效果即使得第一激光线和第二激光线在冰面相交。
第一线激光器11和第二线激光器21发出不同波段的激光，作为优选，第一线激光器和第二线激光器21分别发出蓝光和红光（可以理解，第一线激光器发出蓝光或红光，则第二线激光器发出红光或蓝光）。且在第一偏振相机12和第二偏振相机22前设置对应波段的滤光片（可以理解的是，若第一线激光器发出蓝光，则第一偏振相机前设置的第一滤光片13为蓝光滤光片，只让蓝光通过该滤光片；那么，第二线激光器发出红光，第二偏振相机前设置的第二滤光片23为红光滤光片，只让红光通过该滤波片）；所述第一偏振相机和第二偏振相机均为黑白偏振相机。由于采用了滤光片，采用黑白偏振相机可以最大程度采集冰面激光线图像，所采集图像的像素更高，并且可以避免采用彩色偏振相机后续对彩色通道的图像处理。如此，第一偏振相机只拍摄由第一线激光器在冰面形成的激光线，第二偏振相机只拍摄由第二线激光器在冰面形成的激光线，不会出现一个相机拍摄两段激光线的情况，从而大大减少了后续图像处理的工作量。
第一线激光器11和第二线激光器21发出不同波段的激光，作为优选，第一线激光器11和第二线激光器21分别发出蓝光和红光（可以理解，第一线激光器发出蓝光或红光，则第二线激光器发出红光或蓝光）。且在第一偏振相机12和第二偏振相机22前设置对应波段的滤光片（可以理解的是，若第一线激光器发出蓝光，则第一偏振相机前设置的第一滤光片13为蓝光滤光片，只让蓝光通过该滤光片；那么，第二线激光器发出红光，第二偏振相机前设置的第二滤光片23为红光滤光片，只让红光通过该滤波片）；所述第一偏振相机和第二偏振相机均为黑白偏振相机。由于采用了滤光片，采用黑白偏振相机可以最大程度采集冰面激光线图像，所采集图像的像素更高，并且可以避免采用彩色偏振相机后续对彩色通道的图像处理。如此，第一偏振相机只拍摄由第一线激光器在冰面形成的激光线，第二偏振相机只拍摄由第二线激光器在冰面形成的激光线，不会出现一个相机拍摄两段激光线的情况，从而大大减少了后续图像处理的工作量。
如此，当第一线激光器和第二线激光器将激光片光打在试验模型表面时，形成第一激光线和第二激光线，分别采用第一偏振相机和第二偏振相机拍摄第一激光线和第二激光线，并分别进行图像处理提取激光线，将两段激光线融合后就能形成一个完整的截面冰形轮廓线。这里的截面是指第一激光线和第二激光线所在冰面的截面。
进一步地，当第一线激光器和第二线激光器在竖垂直平面扫描，在每一个预设位置停留并拍摄获得每一个位置的截面冰形后，将所有竖直位置的截面冰形曲线融合在一起，就得到完整的三维冰形。在本实施例中，通过设置旋转台带动线激光器在竖直平面内旋转，如图1所示，第一旋转台14带动第一线激光器11旋转，第二旋转台24带动第二线激光器21旋转。在另一实施例中，第一线激光器和第二线激光器同步在垂直方向移动，从而完成对整个冰面的扫描。由于结冰风洞的试验窗的尺寸有限，采用旋转台带动线激光器旋转完成对冰面的扫描是一个更优选的方式。
具体的测量方法流程如图2所示，包括如下步骤：
S1. 分别采集第一相机图像和第二相机图像，所述第一相机图像为第一偏振相机拍摄的图像，所述第二相机图像为第二偏振相机拍摄的图像；
S2. 从第一相机图像提取并解算第一激光线轮廓，从第二相机图像提取并解算第二激光线轮廓，并将第一激光线轮廓与第二激光线轮廓坐标转换到同一坐标系中，得到初始冰形轮廓线；
S3. 利用第一激光片光和第二激光片光相交区域对应于冰面上的点对第一激光线轮廓与第二激光线轮廓进行融合处理，得到完整的截面冰形轮廓线。
在正式测试之前，需要先进行相机内外参数标定，否则获得的相机图像无法计算激光线的具体位置。
本实施例采用如下方式进行相机内外参数标定，值得说明的是，本申请实施例记载的标定方法只是一种示例性的标定方法，并不止有这一种标定方法，本领域技术人员亦可以采用其他方法进行标定，本实施例记载的这种标定方法不能作为对本申请的限制。
具体的标定方法为：
SA. 将棋盘格标定板放置在第一偏振相机的测量视场内，采集不同位姿的标定板图像；将棋盘格标定板放置在第二偏振相机的测量视场内，采集不同位姿的标定板图像；
SB. 将棋盘格标定板放置在第一偏振相机和第二偏振相机的共同测量视场内，采集一副联合标定板图像；
SC. 对每一张采集的图像进行图像处理，获得第一偏振相机的不同位姿的标定板总光强图像、第二偏振相机的不同位姿的标定板总光强图像、以及联合标定板总光强图像；
具体地，对于每一张图像，将其分离成4个偏振态图像，分别为0度、45度、90度和135度4个偏振态图像，如图3所示；随后，将4个偏振态图像重叠相加，融合得到总光强图像，如图4所示；
SD. 根据SC获得的各总光强图像，采用张正友标定法进行标定，得到第一偏振相机内参矩阵A1，第一偏振相机坐标系与联合标定板坐标系之间的旋转矩阵B1和平移向量T1；第二偏振相机内参矩阵A2，第二偏振相机坐标系与联合标定板坐标系之间的旋转矩阵B2和平移向量T2。由于张正友标定法属于本领域的现有技术，在此不作赘述。由此，相机内外参数标定完成。
同时，为了获得三维冰形，还需要对第一成像子系统和第二成像子系统在线激光器扫过的平面做平面标定，对于任一成像子系统：
在线激光器扫描的一个位置上，由偏振相机获取不同位姿标定板的相机图像，并分别提取激光线，得到所有激光线的二维图像坐标，将所有激光线的二维图像坐标解算到相机坐标系下的三维坐标；
将所有激光线的三维坐标进行最小二乘平面拟合，得到激光片光在相机坐标系的平面方程系数（a,b,c）；
线激光器在竖直平面内进行旋转扫描，获取不同旋转位置的激光片光在相机坐标系的平面方程系数（ak,bk,ck），其中，k为线激光器旋转位置，k=1,2,…,K，K为旋转位置总数。
具体地，对于第一成像子系统：
在第一线激光器扫描的一个位置上，由第一偏振相机获取不同位姿标定板的相机图像，并分别提取激光线，得到所有激光线的二维图像坐标，将所有激光线的二维图像坐标解算到第一偏振相机坐标系下的三维坐标；
将所有激光线的三维坐标进行最小二乘平面拟合，得到第一激光片光在相机坐标系的平面方程系数（a1,b1,c1）；
第一线激光器在竖直平面内进行旋转扫描，获取不同旋转位置的激光片光在第一偏振相机坐标系的平面方程系数(a 1 k ,b 1 k ,c 1 k )，其中，k为线激光器旋转位置，k=1,2,…,K，K为旋转位置总数；
对于第二成像子系统：
在第二线激光器扫描的一个位置上，由第二偏振相机获取不同位姿标定板的相机图像，并分别提取激光线，得到所有激光线的二维图像坐标，将所有激光线的二维图像坐标解算到第二偏振相机坐标系下的三维坐标；
将所有激光线的三维坐标进行最小二乘平面拟合，得到第二激光片光在相机坐标系的平面方程系数（a2,b2,c2）；
第二线激光器在竖直平面内进行旋转扫描，获取不同旋转位置的激光片光在第一偏振相机坐标系的平面方程系数(a 2 k ,b 2 k ,c 2 k )，其中，k为线激光器旋转位置，k=1,2,…,K，K为旋转位置总数。
作为优选实施例，在进行激光线提取时，采用阈值分割法，先对激光线进行粗定位，得到激光线标定mask图像，再基于这一mask图像采用steger算法提取激光线，可以大大降低计算量。
具体地，对第一成像子系统的平面标定和第二成像子系统的平面参数标定方法是一样的，以下以对第一成像子系统进行平面参数标定为例，详细介绍平面参数标定的标定方法：
Sa. 将多个棋盘格标定板以不同位姿放置于第一线激光器的测量视场内，第一线激光器投射激光片光至标定板表面形成激光线，采集得到不同位姿标定板图像；
Sb. 将每一张采集的图像进行处理，获得每张图像的总光强图像和偏振度图像；
具体地，对于每一张图像，将其分离成4个偏振态图像，分别为0度、45度、90度和135度4个偏振态图像，如图3所示；随后，将4个偏振态图像重叠相加，融合得到总光强图像，如图4所示；
采用下式融合得到偏振度图像：
，
式中，、/>、/>、/>分别表示0度、45度、90度和135度4个偏振态图像中同一个像素位置/>处的像素值，/>表示融合后的偏振度图像中相同像素位置/>处的像素值；
Sc. 基于获得的各位姿标定板的总光强图像，采用张正友标定法，计算得到各个标定板与第一偏振相机的相机坐标系之间的旋转矩阵R1 i和平移向量T1 i，其中，i为每个棋盘格标定板的编号，i=1,2,...,N，N为棋盘格标定板数量；
Sd. 基于所述总光强图像，采用阈值分割法，得到激光线标定mask图像；具体地，设定阈值T，将所述总光强图像中小于T的像素灰度值设为0，大于或等于T的像素灰度值设为1；
Se. 将激光线标定mask图像与激光线标定偏振度图像重叠相乘后，采用steger算法进行激光线提取，得到激光线的二维图像坐标，进而解算得到激光线在第一偏振相机坐标系中的三维坐标，计算公式如下：
，
其中，为第i个棋盘格标定板表面激光线上第j个点在相机坐标系下的三维坐标，/>为该点在第i个棋盘格标定板所处标定板坐标系下的三维坐标，/>为该点的图像坐标，/>为比例系数，A1为标定得到的第一偏振相机内参矩阵，R1 i和T1 i为标定得到的第i个棋盘格标定板所处标定板坐标系与第一偏振相机的相机坐标系之间的旋转矩阵和平移向量；
Sf. 对所有激光线的三维坐标进行最小二乘平面拟合，得到激光片光在第一相机的相机坐标系中的平面方程系数（a,b,c）；
Sg. 使第一线激光器在竖直平面内旋转，在每一个预设位置停留并执行Sa-Sg，获得不同旋转位置的激光片光平面方程系数(a1 k,b1 k,c1 k)，其中， k为线激光器旋转位置，k=1,2,…,K，K为旋转位置总数。
如此，就已经完成了相机内外参数标定以及系统的平面参数标定。标定好之后即可以采用如图2所示的流程进行冰形测量，并且在后续的过程中，无需再次进行标定。
具体的测量过程通过以下实施例对测量细节加以说明：
S1. 分别采集第一相机图像和第二相机图像；
S2. 从第一相机图像提取并解算第一激光线轮廓，从第二相机图像提取并解算第二激光线轮廓，并将第一激光线轮廓与第二激光线轮廓坐标转换到同一坐标系中，得到初始冰形轮廓线；
具体地，S2包括以下步骤：
S21. 将每一张第一相机图像和第二相机图像分离成4个偏振态图像；
S22. 利用4个偏振态图像分别得到每一张相机图像的总光强图像和偏振度图像；
总光强图像为4个偏振态图像重叠相加，如图4所示；
偏振度图像通过下式计算：
，
式中，、/>、/>、/>分别表示0度、45度、90度和135度4个偏振态图像中同一个像素位置/>处的像素值，/>表示融合后的偏振度图像中相同像素位置/>处的像素值；
S23. 基于所述总光强图像，采用阈值分割法，得到激光线mask图像；
阈值分割法与前述标定过程中采用相同的阈值分割法，即设定阈值T，将所述总光强图像中小于T的像素灰度值设为0，大于或等于T的像素灰度值设为1。
S24. 将所述激光线mask图像与所述偏振度图像重叠相乘，采用steger算法进行激光线提取，得到二维激光线轮廓坐标；
将所有第一相机图像和第二相机图像采用上述S21-S24的方法处理后得到第一激光线轮廓和第二激光线轮廓线分别在第一偏振相机坐标系和第二偏振相机坐标系内的二维坐标。再利用相机内外参数标定获得的第一偏振相机内参矩阵A1，第一偏振相机坐标系与联合标定板坐标系之间的旋转矩阵B1和平移向量T1，第二偏振相机内参矩阵A2，第一偏振相机坐标系与联合标定板坐标系之间的旋转矩阵B2和平移向量T2计算，得到标定板坐标系下完整的截面冰形轮廓线。
值得说明的是，如果只需要获得一个截面的冰形结构，到此就可以的，也不需要提前做平面标定。但若是需要获得完整的三维冰形结构，则还需要解算三维坐标。
具体地，S25. 将第一相机图像和第二相机图像提取的激光线坐标解算到相机坐标系下的三维坐标：
，
，
其中，为第l个旋转位置的第一激光线上第k个点在第一偏振相机坐标系下的三维坐标，/>为该点相应的二维图像坐标，/>为比例系数，A1为标定得到的第一偏振相机内参矩阵，/>为标定得到的第一线激光器第l个旋转位置的激光片光的平面方程系数；同理，/>为第l个旋转位置的第二激光线上第k个点在第二偏振相机坐标系下的三维坐标，/>为该点相应的二维图像坐标，/>为比例系数，A2为标定得到的第二偏振相机内参矩阵，/>为标定得到的第二线激光器第l个旋转位置的激光片光的平面方程系数。
S26. 将第一激光线三维坐标和第二激光线三维坐标分别转换到统一坐标系中：
，
其中，和/>分别表示冰形轮廓在第一偏振相机坐标系中的三维坐标和统一世界坐标系中的三维坐标，R1和T1为标定得到的第一偏振相机坐标系与统一世界坐标系之间的旋转矩阵和平移向量，/>和/>分别表示冰形轮廓在第二偏振相机坐标系中的三维坐标和统一世界坐标系中的三维坐标，R2和T2为标定得到的第二偏振相机坐标系与统一世界坐标系之间的旋转矩阵和平移向量。在本实施例中，统一世界坐标系为联合标定板坐标系。
由于第一相机和第二相机在联合标定时会存在一定的误差，并且第一激光线和第二激光线有交叉，使得提取得到的第一激光线和第二激光线并不能完美地直接融合在一起，因而在最后需要对处理得到的第一激光线轮廓和第二激光线轮廓进行融合处理，以得到完整的三维冰形。
本实施例提供以下两种方法对第一激光线轮廓和第二激光线轮廓进行融合处理。
直接采用三维点云配准法，将第一激光线轮廓和第二激光线轮廓的三维点云进行配准。由于三维点云配准属于现有技术，在此不对其具体配准方法进行赘述。
采用如下步骤进行融合处理：
S33’. 获取所述相交区域对应于第一激光线轮廓线上的每个点到试验模型截面的最短路径，若该最短路径上存在第二激光线轮廓线上的点，则将第二激光线轮廓线上的点去除；
S34’. 获取所述相交区域对应于第二激光线轮廓线上的每个点到试验模型截面的最短路径，若该最短路径上存在第一激光线轮廓上的点，则将第一激光线轮廓线上的点去除；
如图5所示，第一激光线轮廓线和第二激光线轮廓线有部分线段在y轴方向上的投影重合，对于重合的这一部分，选择保留离试验模型表面最远的点，而舍弃离试验模型最近的点，如图6所示。这是因为，飞机结冰通常需要考虑最坏的情况，也就是结冰冰形最厚的情况，以此来采取相应的措施保障飞机飞行安全。选择保留离试验模型表面最远的点，即是尽可能保留测量的最大冰形。
S35’. 对于经过步骤S33’和S34’处理后的第一激光线轮廓和第二激光线轮廓，当两个轮廓线最接近的两个点的x坐标或y坐标的差值超过设定值时，采用插值法在最接近的两个点之间进行插值，得到融合后的冰形轮廓线。
通常情况下，由于第一激光片光和第二激光片光部分重合，最后提取得到的第一激光线轮廓和第二激光线轮廓会存在两种情况，一是两激光线轮廓在激光片光相交区域对应冰面上的点不相交（大致平行或不平行也未相交，如图5所示），二是相交（图中未示出）。对于第一种情况，经过步骤S33’-S35’处理得到的两段激光线轮廓在拼接处会断开，出现不连续的情况，因此还需要步骤S35’对断开的点之间进行插值，使其成为连续的轮廓线。对于第二种情况，两条轮廓线本身相交，经过步骤S33’-S35’处理得到的两段激光线轮廓仍然相交，不存在不连续的情况，因而无需经过步骤S35’处理即会得到一个连续完整的轮廓线。
如此，线激光器在竖直平面扫描一个周期，即能得到一个完整的三维冰形轮廓，随着时间的增加，采用本申请的测量方法，即可以实时在线检测得到试验模型表面的完整三维冰形结构。
本实施例中，xy平面为水平面，x方向为来流方向，y为垂直来流方向。
值得说明的是，理想的情况是，第一线激光器和第二线激光器发出的激光片光在试验模型表面的激光线是位于同一水平面的，这种情况下形成的冰形轮廓线位于同一水平面，可以直接采用上述实施例的方法对图像进行融合处理得到完整的三维冰形轮廓。然而，由于第一成像子系统和第二成像子系统位于风洞的两侧，要将两个线激光器调在用一水平面，或者将两个线激光器发出的激光片光与试验模型相交的激光线调到同一水平面是非常难做到的。并且由于风洞两侧的观察窗的尺寸关系，位于两侧的第一线激光器和第二线激光器无法同步在竖直平面内上下运动从而保证始终让两线激光器发出的激光片光保持在同一平面，所以一般情况下两个激光片光发出的光并不在同一水平面。这种情况下，第一成像子系统和第二成像子系统分别测量的冰形轮廓线就不在一个平面上，就无法直接采用上述实施例的方法直接进行融合处理，需要采用下述方法进行融合：
S31. 分别获取所有第一激光线轮廓和第二激光线轮廓的三维坐标（此时已经在前述步骤将三维坐标转换到了统一坐标系中）；其中，“所有”是指第一线激光器和第二线激光器在竖直平面内旋转完一个周期后所测量得到的所有第一激光线轮廓和第二激光线轮廓；
S32. 沿试验模型预设位置的水平面截取冰形轮廓线，并获取截取平面冰形轮廓线上第一激光线轮廓和第二激光线轮廓沿y方向投影有重叠的区域；所述第一方向为第一线激光器和第二线激光器连线的方向；
S33. 获取重叠区域对应于第一激光线轮廓线上的每个点到试验模型截面的最短路径，若该最短路径上存在第二激光线轮廓线上的点，则将第二激光线轮廓线上的点去除；
S34. 获取重叠区域对应于第二激光线轮廓线上的每个点到试验模型截面的最短路径，若该最短路径上存在第一激光线轮廓上的点，则将第一激光线轮廓线上的点去除；
S35. 对于经过步骤S33和S34处理后的第一激光线轮廓和第二激光线轮廓，当两个轮廓线最接近的两个点的x坐标或y坐标的差值超过设定值时，采用插值法在最接近的两个点之间进行插值，得到融合后的冰形轮廓线。
也就是说，即便没有将第一线激光器和第二线激光器发出的激光片光调到同一水平面，采用本发明的方法，第一线激光器和第二线激光器在竖直平面内旋转一次后，得到的所有的冰形图融合拼接后也能得到完整的冰形。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种结冰风洞完整冰形在线测量方法，其特征在于，在结冰风洞的两侧分别设置第一成像子系统和第二成像子系统；所述第一成像子系统包括第一偏振相机和第一线激光器，所述第一偏振相机用于拍摄第一激光线；所述第二成像子系统包括第二偏振相机和第二线激光器，所述第二偏振相机用于拍摄第二激光线；所述第一线激光器发出的第一激光片光在冰面形成第一激光线，所述第二线激光器发出的第二激光片光在冰面形成第二激光线；所述第一激光片光与第二激光片光部分重合；所述第一激光片光和第二激光片光的波段不同，且在第一偏振相机和所述第二偏振相机前设置对应波段的滤光片；所述第一偏振相机和第二偏振相机均为黑白偏振相机；所述测量方法包括如下步骤：
S1. 分别采集第一相机图像和第二相机图像，所述第一相机图像为第一偏振相机拍摄的图像，所述第二相机图像为第二偏振相机拍摄的图像；
S2. 从第一相机图像提取并解算第一激光线轮廓，从第二相机图像提取并解算第二激光线轮廓，并将第一激光线轮廓与第二激光线轮廓坐标转换到同一坐标系中，得到初始冰形轮廓线；
S3. 利用第一激光片光和第二激光片光相交区域对应于冰面上的点对第一激光线轮廓与第二激光线轮廓进行融合处理，得到完整的截面冰形轮廓线；
步骤S3中，采用如下三种方法之一进行融合处理：
1）.直接采用三维点云配准法，将第一激光线轮廓和第二激光线轮廓的三维点云进行配准；
2）.当第一线激光器和第二线激光器发出的激光片光在试验模型表面的激光线位于同一水平面，则采用如下步骤进行融合处理：
S33’. 获取所述相交区域对应于第一激光线轮廓线上的每个点到试验模型截面的最短路径，若该最短路径上存在第二激光线轮廓线上的点，则将第二激光线轮廓线上的点去除；
S34’. 获取所述相交区域对应于第二激光线轮廓线上的每个点到试验模型截面的最短路径，若该最短路径上存在第一激光线轮廓上的点，则将第一激光线轮廓线上的点去除；
S35’. 对于经过步骤S33’和S34’处理后的第一激光线轮廓和第二激光线轮廓，当两个轮廓线最接近的两个点的x坐标或y坐标的差值超过设定值时，采用插值法在最接近的两个点之间进行插值，得到融合后的冰形轮廓线；
3）.当第一线激光器和第二线激光器发出的激光片光在试验模型表面的激光线不位于同一水平面，则采用如下步骤进行融合处理：
S31. 分别获取所有第一激光线轮廓和第二激光线轮廓的三维坐标；
S32. 沿试验模型预设位置的水平面截取冰形轮廓线，并获取截取平面冰形轮廓线上第一激光线轮廓和第二激光线轮廓沿y方向投影有重叠的区域；
S33. 获取重叠区域对应于第一激光线轮廓线上的每个点到试验模型截面的最短路径，若该最短路径上存在第二激光线轮廓线上的点，则将第二激光线轮廓线上的点去除；
S34. 获取重叠区域对应于第二激光线轮廓线上的每个点到试验模型截面的最短路径，若该最短路径上存在第一激光线轮廓上的点，则将第一激光线轮廓线上的点去除；
S35. 对于经过步骤S33和S34处理后的第一激光线轮廓和第二激光线轮廓，当两个轮廓线最接近的两个点的x坐标或y坐标的差值超过设定值时，采用插值法在最接近的两个点之间进行插值，得到融合后的冰形轮廓线；
xy平面为水平面，x方向为来流方向，y为垂直来流方向。
2.根据权利要求1所述的一种结冰风洞完整冰形在线测量方法，其特征在于，所述第一线激光器和第二线激光器在竖直平面内同步扫描试验模型结冰表面，在每一个预设位置停留并执行步骤S1-S3，得到完整的三维冰形。
3.根据权利要求1或2所述的一种结冰风洞完整冰形在线测量方法，其特征在于，步骤S2中，对于从第一相机图像提取并解算第一激光线轮廓，和从第二相机图像提取并解算第二激光线轮廓，均包括：
S21. 将黑白偏振相机采集的图像分离成4个偏振态图像；
S22. 利用4个偏振态图像分别得到总光强图像和偏振度图像；
所述总光强图像为4个偏振态图像重叠相加；
所述偏振度图像通过下式计算：
，
式中，、/>、/>、/>分别表示0度、45度、90度和135度4个偏振态图像中同一个像素位置/>处的像素值，/>表示融合后的偏振度图像中相同像素位置/>处的像素值；
S23. 基于所述总光强图像，采用阈值分割法，得到激光线mask图像；
S24. 将所述激光线mask图像与所述偏振度图像重叠相乘，采用steger算法进行激光线提取，得到激光线轮廓。
4.根据权利要求3所述的一种结冰风洞完整冰形在线测量方法，其特征在于，步骤S23具体为：设定阈值T，将所述总光强图像中小于T的像素灰度值设为0，大于或等于T的像素灰度值设为1。
5.根据权利要求3所述的一种结冰风洞完整冰形在线测量方法，其特征在于，在进行正式测试之前，分别对第一偏振相机和第二偏振相机进行相机内外参数标定，得到第一偏振相机内参矩阵A1，第一偏振相机坐标系与联合标定板坐标系之间的旋转矩阵B1和平移向量T1；第二偏振相机内参矩阵A2，第二偏振相机坐标系与联合标定板坐标系之间的旋转矩阵B2和平移向量T2；并在步骤S2中，将第一激光线轮廓和第二激光线轮廓坐标统一到联合标定板坐标系内。
6.根据权利要求5所述的一种结冰风洞完整冰形在线测量方法，其特征在于，基于第一偏振相机获取的标定板总光强图像和联合标定板总光强图像，采用张正友标定法进行标定，得到第一偏振相机内参矩阵A1，第一偏振相机坐标系与联合标定板坐标系之间的旋转矩阵B1和平移向量T1；基于第二偏振相机获取的标定板总光强图像和联合标定板总光强图像，采用张正友标定法进行标定，得到第二偏振相机内参矩阵A2，第二偏振相机坐标系与联合标定板坐标系之间的旋转矩阵B2和平移向量T2。
7.根据权利要求6所述的一种结冰风洞完整冰形在线测量方法，其特征在于，在进行正式测试之前，采用标定板分别对第一成像子系统和第二成像子系统在线激光器扫过的平面做平面参数标定；
对于第一成像子系统：
在第一线激光器扫描的一个位置上，由第一偏振相机获取不同位姿标定板的相机图像，并分别提取激光线，得到所有激光线的二维图像坐标，将所有激光线的二维图像坐标解算到第一偏振相机坐标系下的三维坐标；
将所有激光线的三维坐标进行最小二乘平面拟合，得到第一激光片光在相机坐标系的平面方程系数（a1,b1,c1）；
第一线激光器在竖直平面内进行旋转扫描，获取不同旋转位置的激光片光在第一偏振相机坐标系的平面方程系数(a1 k,b1 k,c1 k)，其中，k为线激光器旋转位置，k=1,2,…,K，K为旋转位置总数；
对于第二成像子系统：
在第二线激光器扫描的一个位置上，由第二偏振相机获取不同位姿标定板的相机图像，并分别提取激光线，得到所有激光线的二维图像坐标，将所有激光线的二维图像坐标解算到第二偏振相机坐标系下的三维坐标；
将所有激光线的三维坐标进行最小二乘平面拟合，得到第二激光片光在相机坐标系的平面方程系数（a2,b2,c2）；
第二线激光器在竖直平面内进行旋转扫描，获取不同旋转位置的激光片光在第一偏振相机坐标系的平面方程系数(a2 k,b2 k,c2 k)，其中，k为线激光器旋转位置，k=1,2,…,K，K为旋转位置总数。
8.根据权利要求1所述的一种结冰风洞完整冰形在线测量方法，其特征在于，所述第一线激光器和所述第二线激光器分别发出红光和蓝光。
CN202311817210.5A 2023-12-27 2023-12-27 一种结冰风洞完整冰形在线测量方法 Active CN117490969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311817210.5A CN117490969B (zh) 2023-12-27 2023-12-27 一种结冰风洞完整冰形在线测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311817210.5A CN117490969B (zh) 2023-12-27 2023-12-27 一种结冰风洞完整冰形在线测量方法

Publications (2)

Publication Number Publication Date
CN117490969A CN117490969A (zh) 2024-02-02
CN117490969B true CN117490969B (zh) 2024-03-19

Family

ID=89685220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311817210.5A Active CN117490969B (zh) 2023-12-27 2023-12-27 一种结冰风洞完整冰形在线测量方法

Country Status (1)

Country Link
CN (1) CN117490969B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2584811A1 (fr) * 1985-07-11 1987-01-16 Onera (Off Nat Aerospatiale) Dispositif de mesure de deformations d'un corps, notamment d'une maquette en soufflerie aerodynamique
CN102494635A (zh) * 2011-12-13 2012-06-13 中国空气动力研究与发展中心设备设计及测试技术研究所 风洞模型冰形测量方法及装置
CN105716531A (zh) * 2014-12-19 2016-06-29 空中客车运营简化股份公司 用冰中漫射生成的发光图案测表面上冰厚度的方法和系统
CN105783770A (zh) * 2016-01-22 2016-07-20 西南科技大学 一种基于线结构光的冰形轮廓测量的方法
CN108961191A (zh) * 2018-07-18 2018-12-07 天津大学 一种散射环境中圆偏振及线偏振联合图像复原方法
CN110645921A (zh) * 2019-09-30 2020-01-03 武汉理工大学 一种基于偏振成像的冰形三维测量方法
CN111473946A (zh) * 2020-05-07 2020-07-31 中国空气动力研究与发展中心低速空气动力研究所 一种结冰风洞试验三维冰形在线测量装置及方法
DE102020203293A1 (de) * 2020-03-13 2021-09-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Eine Vorrichtung zum Erkennen von Wasser auf einer Oberfläche und ein Verfahren zum Erkennen von Wasser auf einer Oberfläche
CN114485483A (zh) * 2022-04-15 2022-05-13 中国空气动力研究与发展中心低速空气动力研究所 一种基于多相机组合成像的冰形在线测量方法及装置
CN114485477A (zh) * 2022-04-15 2022-05-13 中国空气动力研究与发展中心低速空气动力研究所 一种结冰三维外形在线测量方法及测量装置
CN115546320A (zh) * 2022-12-05 2022-12-30 中国空气动力研究与发展中心低速空气动力研究所 一种用于测量冰形的相机标定及在线冰形测量方法
CN115560700A (zh) * 2022-12-05 2023-01-03 中国空气动力研究与发展中心低速空气动力研究所 一种基于彩色偏振成像的结冰三维外形在线测量方法
CN116609024A (zh) * 2022-02-08 2023-08-18 中国空气动力研究与发展中心设备设计与测试技术研究所 一种基于激光诱导荧光的结冰风洞3d冰形测量方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9335160B2 (en) * 2010-04-26 2016-05-10 Nikon Corporation Profile measuring apparatus
US8462354B2 (en) * 2010-10-12 2013-06-11 Lumen International Inc. Aircraft icing detector
US20190039742A1 (en) * 2017-08-01 2019-02-07 Honeywell International Inc. Managing response to icing threat

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2584811A1 (fr) * 1985-07-11 1987-01-16 Onera (Off Nat Aerospatiale) Dispositif de mesure de deformations d'un corps, notamment d'une maquette en soufflerie aerodynamique
CN102494635A (zh) * 2011-12-13 2012-06-13 中国空气动力研究与发展中心设备设计及测试技术研究所 风洞模型冰形测量方法及装置
CN105716531A (zh) * 2014-12-19 2016-06-29 空中客车运营简化股份公司 用冰中漫射生成的发光图案测表面上冰厚度的方法和系统
CN105783770A (zh) * 2016-01-22 2016-07-20 西南科技大学 一种基于线结构光的冰形轮廓测量的方法
CN108961191A (zh) * 2018-07-18 2018-12-07 天津大学 一种散射环境中圆偏振及线偏振联合图像复原方法
CN110645921A (zh) * 2019-09-30 2020-01-03 武汉理工大学 一种基于偏振成像的冰形三维测量方法
DE102020203293A1 (de) * 2020-03-13 2021-09-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Eine Vorrichtung zum Erkennen von Wasser auf einer Oberfläche und ein Verfahren zum Erkennen von Wasser auf einer Oberfläche
CN111473946A (zh) * 2020-05-07 2020-07-31 中国空气动力研究与发展中心低速空气动力研究所 一种结冰风洞试验三维冰形在线测量装置及方法
CN116609024A (zh) * 2022-02-08 2023-08-18 中国空气动力研究与发展中心设备设计与测试技术研究所 一种基于激光诱导荧光的结冰风洞3d冰形测量方法
CN114485483A (zh) * 2022-04-15 2022-05-13 中国空气动力研究与发展中心低速空气动力研究所 一种基于多相机组合成像的冰形在线测量方法及装置
CN114485477A (zh) * 2022-04-15 2022-05-13 中国空气动力研究与发展中心低速空气动力研究所 一种结冰三维外形在线测量方法及测量装置
CN115546320A (zh) * 2022-12-05 2022-12-30 中国空气动力研究与发展中心低速空气动力研究所 一种用于测量冰形的相机标定及在线冰形测量方法
CN115560700A (zh) * 2022-12-05 2023-01-03 中国空气动力研究与发展中心低速空气动力研究所 一种基于彩色偏振成像的结冰三维外形在线测量方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于三维扫描技术的结冰风洞冰形非接触测量研究;郭龙;马军;李明;倪章松;;中国测试;20180930(09);26-30 *
基于机器视觉的飞机模型冰形轮廓提取方法研究;郭龙;秦三春;李强;刘森云;王梓旭;;自动化与仪器仪表;20200624(06);21-26 *
易贤 ; 王斌 ; 李伟斌 ; 郭龙 ; .飞机结冰冰形测量方法研究进展.航空学报.(02),18-29. *
结冰风洞中冰形生长的光学三维测量研究;龚晓亮;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20170415(第04期);C031-1 *

Also Published As

Publication number Publication date
CN117490969A (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN108876744B (zh) 一种基于区域分割的大尺度点云噪声去噪方法
US9972067B2 (en) System and method for upsampling of sparse point cloud for 3D registration
CN105894574B (zh) 一种双目三维重建方法
EP2104365A1 (en) Method and apparatus for rapid three-dimensional restoration
CN114485483B (zh) 一种基于多相机组合成像的冰形在线测量方法及装置
CN110966956A (zh) 一种基于双目视觉的三维检测装置和方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN105716539A (zh) 一种快速高精度的三维形面测量方法
CN104537707A (zh) 像方型立体视觉在线移动实时测量系统
CN110645921A (zh) 一种基于偏振成像的冰形三维测量方法
CN114485477B (zh) 一种结冰三维外形在线测量方法及测量装置
CN108647677A (zh) 基于视觉计算的电表外观和性能智能检测方法及装置
CN112525107B (zh) 一种基于事件相机的结构光三维测量方法
KR102256583B1 (ko) 3d 포인트 클라우드를 이용한 2d 영상에서의 피사체 위치 계측 시스템
CN113538666B (zh) 一种植物植株三维模型快速重建方法
US11953312B2 (en) System and method of object inspection using multispectral 3D laser scanning
CN111724341B (zh) 一种基于双目立体测量的航发叶片气膜孔质量检测方法
CN109919856A (zh) 基于双目视觉的沥青路面构造深度检测方法
CN110827360B (zh) 一种光度立体式测量系统及其标定光源方向的方法
CN115359127A (zh) 一种适用于多层介质环境下的偏振相机阵列标定方法
CN117490969B (zh) 一种结冰风洞完整冰形在线测量方法
CN113390357B (zh) 一种基于双目多线结构光的铆钉齐平度测量方法
CN114235149A (zh) 一种基于ccd反射成像法的激光测量系统及其方法
CN112947546B (zh) 一种无人飞行器仿地飞行方法
CN114413790A (zh) 固连摄影测量相机的大视场三维扫描装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant