CN110530499A - 一种测量动态光弹图像中声传播方向的方法 - Google Patents

一种测量动态光弹图像中声传播方向的方法 Download PDF

Info

Publication number
CN110530499A
CN110530499A CN201910796906.1A CN201910796906A CN110530499A CN 110530499 A CN110530499 A CN 110530499A CN 201910796906 A CN201910796906 A CN 201910796906A CN 110530499 A CN110530499 A CN 110530499A
Authority
CN
China
Prior art keywords
image
dynamic photoelasticity
photoelasticity
light stream
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910796906.1A
Other languages
English (en)
Inventor
匡鹿婷
宋波
毛捷
胡中韬
王坤
陈秋颖
廉国选
冷涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Acoustics CAS
Original Assignee
Institute of Acoustics CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Acoustics CAS filed Critical Institute of Acoustics CAS
Priority to CN201910796906.1A priority Critical patent/CN110530499A/zh
Publication of CN110530499A publication Critical patent/CN110530499A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • G01H9/002—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means for representing acoustic field distribution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • G01H9/008—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means by using ultrasonic waves

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种测量动态光弹图像中声传播方向的方法，包括步骤：调节动态光弹设备的激光光源强度和采集间隔时间；获取相邻的至少两帧动态光弹图像；计算至少两帧动态光弹图像中多个像素点的光流矢量值；根据光流矢量值确定声波的传播方向。通过光流法来解决固体内部声传播方向测量的问题。光流法用于检测图像序列中的运动目标，通过稠密光流法，以矢量箭头的形式表征出目标的运动方向，并在光弹图像中绘制出来，最终从一副光流矢量图上可判断声场的运动方向。

Description

一种测量动态光弹图像中声传播方向的方法
技术领域
本发明涉及超声学领域，尤其涉及一种测量动态光弹图像中声传播方向的方法。
背景技术
现有的利用光弹设备进行固体中声波传播方向判定方法多为直接观察的定性判断，无法实现对声传播方向的准确定量观测。然而，光弹作为能够唯一观测固体内部声场的实验方法，将其由定性观察改进为定量判断的仪器，具有重要的科学意义。光流法是关于视域中的物体运动检测中的概念。用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。光流法在样型识别、计算机视觉以及其他影像处理领域中非常有用，可用于运动检测、物件切割、碰撞时间与物体膨胀的计算、运动补偿编码，或者通过物体表面与边缘进行立体的测量等。
发明内容
本发明的目的在于解决现有技术存在的缺陷。
为了达到上述目的，本发明公开了一种测量动态光弹图像中声传播方向的方法，包括下列步骤：
调节动态光弹设备的激光光源强度和采集间隔时间；获取相邻的至少两帧动态光弹图像；计算至少两帧动态光弹图像中多个像素点的光流矢量值；根据光流矢量值确定声波的传播方向。
一个实例中，在计算至少两帧动态光弹图像中多个像素点的光流矢量值的步骤之前，还包括：对至少两帧动态光弹图像进行归一化预处理。
一个实例中，通过调整激光光源强度，避免动态光弹图像灰度化处理后的像素值饱和，出现平顶现象。
一个实例中，预设动态光弹图像的采集间隔时间，根据采集间隔时间进行动态光弹图像的采集，使得到的动态光弹图像满足光流法计算的时间连续条件；采集间隔时间小于等于0.22μs。
一个实例中，计算至少两帧动态光弹图像中多个像素点的光流矢量值的步骤，具体包括：
结合光流基本方程：Ixu+Iyv+It＝0和光流的局部平滑约束准则，将至少两帧动态光弹图像近似为二维信号的函数，利用二次多项式对至少两帧动态光弹图像进行建模；得到至少两帧动态光弹图像的全局位移d，即至少两帧动态光弹图像中多个像素点的光流矢量值；其中，Ix，Iy，It为某一像素点在坐标系上的亮度值，u为x轴方向上的偏移量，v为y轴方向上的偏移量。
本发明的有点在于：通过光流法来解决固体内部声传播方向测量的问题。光流法用于检测图像序列中的运动目标，通过稠密光流法，以矢量箭头的形式表征出目标的运动方向，并在光弹图像中绘制出来，最终从一副光流矢量图上可判断声场的运动方向。
附图说明
图1为本发明的一种测量动态光弹图像中声传播方向的方法流程图；
图2(a)为本发明第一组图像序列的第一帧动态光弹图像；
图2(b)为本发明第一组图像序列的标识光流矢量值的第一帧动态光弹图像；
图3(a)为本发明第二组图像序列的第一帧动态光弹图像；
图3(b)为本发明第二组图像序列的标识光流矢量值的第一帧动态光弹图像；
图4(a)为本发明第三组图像序列的第一帧动态光弹图像；
图4(b)为本发明第三组图像序列的标识光流矢量值的第一帧动态光弹图像；
图5(a)为本发明第四组图像序列的第一帧动态光弹图像；
图5(b)为本发明第四组图像序列的标识光流矢量值的第一帧动态光弹图像；
图6(a)为本发明第五组图像序列的第一帧动态光弹图像；
图6(b)为本发明第五组图像序列的标识光流矢量值的第一帧动态光弹图像；
图7(a)为本发明第六组图像序列的第一帧动态光弹图像；
图7(b)为本发明第六组图像序列的标识光流矢量值的第一帧动态光弹图像。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明的一种测量动态光弹图像中声传播方向的方法流程图，如图1所示，包括下列步骤：
步骤S110：调节动态光弹设备的激光光源强度和采集间隔时间。
具体的，通过调节激光光源强度，避免动态光弹图像灰度化处理后的像素值饱和，出现平顶现象。
具体的，预设动态光弹图像的采集间隔时间，根据采集间隔时间进行动态光弹图像的采集，使得到的动态光弹图像满足光流法计算的时间连续条件。
进一步具体的，采集间隔时间需小于等于0.22μs，通过设置较小的采集间隔时间减少相邻的两帧动态光弹图像之间亮度值的衰减。
步骤S120：获取相邻的至少两帧动态光弹图像。
在得到至少两帧动态光弹图像后，还包括步骤S121。
步骤S121：对至少两帧动态光弹图像进行归一化预处理。
具体的，通过归一化处理解决动态光弹图像的亮度值衰减和梯度不明显得问题。进而，减小后续步骤中光流法计算产生的误差。
步骤S130：计算至少两帧动态光弹图像中多个像素点的光流矢量值。
首先，对光流法进行简单介绍，以便于后续计算光流矢量值的理解。
光流法基于图像中亮度值恒定不变的假设，即不同的图像帧之间的同一运动目标的某一像素点的亮度值不变。所有的光流法须满足上述基本假设，进而得到光流基本方程：Ixu+Iyv+It＝0，其中，Ix，Iy，It为某一像素点在坐标系上的亮度值，u为x轴方向上的偏移量，v为y轴方向上的偏移量。
将上述光流基本方程应用于计算至少两帧动态光弹图像中多个像素点的光流矢量值时，其作为超定方程，其中的Ix，Iy，It可通过实验数据获得，需要配合其他的约束方程完成u和v的计算。
采用稠密光流法(Farneback算法)的核心思想，即光流的局部平滑约束准则，将动态光弹图像近似为二维信号的函数。利用二次多项式对动态光弹图像进行建模。
对于相邻的两帧动态光弹图像，第一帧动态光弹图像表达式为:I1(X)＝XTA1X+其中，X为二维坐标点(x，y)，A1、b1、c1为运算系数。第一帧动态光弹图像表达式右侧可表示为：
在第一帧动态光弹图像的基础上增加全局位移d，d是一个矩阵，具备x轴方向上的偏移量u和y轴方向上的偏移量v。通过全局位移d构建其相邻的下一帧图像，即第二帧动态光弹图像的表达式为其中，A2、b2、c2为运算系数。第二帧动态光弹图像表达式右侧可表示为： 由光流算法的基本约束条件一恒定像素值假设可得：
结合上述流光基本方程和光流的局部平滑约束准则，可得全局位移 此处的全局位移d即是两帧动态光弹图像中某一相同亮度值的像素点的光流矢量值。光流矢量值在x轴方向上的偏移量为u，在y轴方向上的偏移量为v。
步骤S140：根据光流矢量值确定声波的传播方向。
将第一帧动态光弹图像上的像素点作为起始坐标点，根据光流法找出与第一帧动态光弹图像相邻的下一帧动态光弹图像，即第二帧动态光弹图像中相同亮度值的像素点作为终止坐标点。起始坐标点到终止坐标点的方向，即为声波的传播方向。
进一步的，相邻的两帧动态光弹图像中，相同亮度值的某一像素点，如果起始坐标点与终止坐标点的坐标相同，将该像素点认定为背景点，并在图像中屏蔽，不予显示。得到只具备具有声波的传播方向的像素点的动态光弹图像。
在一个具体实施例中，基于动态光弹设备，采用PZT材料的圆盘型纵波换能器，样品材料选择经过精退火处理的K9光学玻璃，样品材料的长、宽均为120mm，厚度为20mm。超声在作为样品材料的K9光学玻璃中，衰减较小，能量基本不变，可保证采集到的超声波成像(即动态光弹图像)的亮度值基本稳定。
设置采集间隔时间为0.2μs。
调整激光光源强度，使采集到的动态光弹图像在进行灰度化处理之后得到的图像最大亮度位于饱和值的30％-80％区间内。
采集动态光弹图像时，令声波位置避开探头的近场区域，以保证声场能量的均匀变化。
通过在K9光学玻璃与超声换能器之间放置楔块来制造不同入射角的声波，进行6次动态光弹图像的采集，将每次采集到的至少两帧动态光弹图像构成一组图像序列，进行对比说明。
第一组图像序列：设置楔块使声波入射角度为12.34°，通过动态光弹图像采集，得到第一帧动态光弹图像及其相邻的下一帧图像，即第二帧动态光弹图像。其中，第一帧动态光弹图像如图2(a)所示，其中，黑色为背景，白色为光弹条纹。计算第一帧动态光弹图像和第二帧动态光弹图像的光流矢量值，并将光流矢量值以箭头的形式标识在第一帧动态光弹图像上。为了便于显示观察，箭头标识每隔10个像素点显示1个，得到如图2(b)所示的标识光流矢量值的第一帧动态光弹图像，其中，黑色为背景，白色为光弹条纹，灰色为光流矢量值的箭头标识。
第二组图像序列：设置楔块使声波入射角度为17.40°，通过动态光弹图像采集，得到第一帧动态光弹图像及其相邻的下一帧图像，即第二帧动态光弹图像。其中，第一帧动态光弹图像如图3(a)所示，其中，黑色为背景，白色为光弹条纹。计算第一帧动态光弹图像和第二帧动态光弹图像的光流矢量值，并将光流矢量值以箭头的形式标识在第一帧动态光弹图像上。为了便于显示观察，箭头标识每隔10个像素点显示1个，得到如图3(b)所示的标识光流矢量值的第一帧动态光弹图像，其中，黑色为背景，白色为光弹条纹，灰色为光流矢量值的箭头标识。
第三组图像序列：设置楔块使声波入射角度为22.89°，通过动态光弹图像采集，得到第一帧动态光弹图像及其相邻的下一帧图像，即第二帧动态光弹图像。其中，第一帧动态光弹图像如图4(a)所示，其中，黑色为背景，白色为光弹条纹。计算第一帧动态光弹图像和第二帧动态光弹图像的光流矢量值，并将光流矢量值以箭头的形式标识在第一帧动态光弹图像上。为了便于显示观察，箭头标识每隔10个像素点显示1个，得到如图4(b)所示的标识光流矢量值的第一帧动态光弹图像，其中，黑色为背景，白色为光弹条纹，灰色为光流矢量值的箭头标识。
第四组图像序列：设置楔块使声波入射角度为27.08°，通过动态光弹图像采集，得到第一帧动态光弹图像及其相邻的下一帧图像，即第二帧动态光弹图像。其中，第一帧动态光弹图像如图5(a)所示，其中，黑色为背景，白色为光弹条纹。计算第一帧动态光弹图像和第二帧动态光弹图像的光流矢量值，并将光流矢量值以箭头的形式标识在第一帧动态光弹图像上。为了便于显示观察，箭头标识每隔10个像素点显示1个，得到如图5(b)所示的标识光流矢量值的第一帧动态光弹图像，其中，黑色为背景，白色为光弹条纹，灰色为光流矢量值的箭头标识。
第五组图像序列：设置楔块使声波入射角度为31.66°，通过动态光弹图像采集，得到第一帧动态光弹图像及其相邻的下一帧图像，即第二帧动态光弹图像。其中，第一帧动态光弹图像如图6(a)所示，其中，黑色为背景，白色为光弹条纹。计算第一帧动态光弹图像和第二帧动态光弹图像的光流矢量值，并将光流矢量值以箭头的形式标识在第一帧动态光弹图像上。为了便于显示观察，箭头标识每隔10个像素点显示1个，得到如图6(b)所示的标识光流矢量值的第一帧动态光弹图像，其中，黑色为背景，白色为光弹条纹，灰色为光流矢量值的箭头标识。
第六组图像序列：不设置楔块，通过动态光弹图像采集，得到第一帧动态光弹图像及其相邻的下一帧图像，即第二帧动态光弹图像。其中，第一帧动态光弹图像如图7(a)所示，其中，黑色为背景，白色为光弹条纹。计算第一帧动态光弹图像和第二帧动态光弹图像的光流矢量值，并将光流矢量值以箭头的形式标识在第一帧动态光弹图像上。为了便于显示观察，箭头标识每隔10个像素点显示1个，得到如图7(b)所示的标识光流矢量值的第一帧动态光弹图像，其中，黑色为背景，白色为光弹条纹，灰色为光流矢量值的箭头标识。
对第一组、第二组和第六组图像序列，进行第一帧动态光弹图像和第二帧动态光弹图像光流矢量值的计算的过程中，得到如表1所示的纵波折射角统计结果，如下：
组别 第一组 第二组 第六组
楔块角度(°) 12.34 17.40 -
理论角度(°) 33.88 51.26 0
实验角度(°) 31.78 52.10 2.13
绝对误差(°) 2.1 0.84 2.13
表1纵波折射角统计结果
对第一组至第五组图像序列，进行第一帧动态光弹图像和第二帧动态光弹图像光流矢量值的计算的过程中，得到如表2所示的横波折射角统计结果，如下：
组别 第一组 第二组 第三组 第四组 第五组
楔块角度(°) 12.34 17.40 22.89 27.08 31.66
理论角度(°) 19.54 27.91 37.50 45.44 55.24
实验角度(°) 20.30 30.34 40.35 46.49 57.67
绝对误差(°) 0.76 2.43 2.85 1.05 2.43
表2横波折射角统计结果
上述表1、表2中，理论角度为通过折射定律计算的各组楔块对应的折射角度。实验角度为通过光流法计算的各组楔块对应的折射角度。绝对误差为理论角度与实验角度差值的绝对值。由此可知，通过本发明可以得出高精度的入射角度计算结果，其最大误差为2.85°。
本发明提供了一种测量动态光弹图像中声传播方向的方法。通过光流法来解决固体内部声传播方向测量的问题。光流法用于检测图像序列中的运动目标，通过稠密光流法，以矢量箭头的形式表征出目标的运动方向，并在光弹图像中绘制出来，最终从一副光流矢量图上可判断声场的运动方向。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种测量动态光弹图像中声传播方向的方法，其特征在于，包括下列步骤：
调节动态光弹设备的激光光源强度和采集间隔时间；
获取相邻的至少两帧动态光弹图像；
计算所述至少两帧动态光弹图像中多个像素点的光流矢量值；
根据所述光流矢量值确定声波的传播方向。
2.根据权利要求1所述的方法，其特征在于，在所述计算所述至少两帧动态光弹图像中多个像素点的光流矢量值的步骤之前，还包括：对所述至少两帧动态光弹图像进行归一化预处理。
3.根据权利要求1所述的方法，其特征在于，通过调整所述激光光源强度，避免动态光弹图像灰度化处理后的像素值饱和，出现平顶现象。
4.根据权利要求1所述的方法，其特征在于，预设动态光弹图像的所述采集间隔时间，根据所述采集间隔时间进行所述动态光弹图像的采集，使得到的所述动态光弹图像满足光流法计算的时间连续条件；所述采集间隔时间小于等于0.22μs。
5.根据权利要求1所述的方法，其特征在于，所述计算所述至少两帧动态光弹图像中多个像素点的光流矢量值的步骤，具体包括：
结合光流基本方程：Ixu+Iyv+It＝0和光流的局部平滑约束准则，将所述至少两帧动态光弹图像近似为二维信号的函数，利用二次多项式对所述至少两帧动态光弹图像进行建模；得到所述至少两帧动态光弹图像的全局位移d，即所述至少两帧动态光弹图像中多个像素点的光流矢量值；其中，
Ix，Iy，It为某一像素点在坐标系上的亮度值，u为x轴方向上的偏移量，v为y轴方向上的偏移量。
CN201910796906.1A 2019-08-27 2019-08-27 一种测量动态光弹图像中声传播方向的方法 Pending CN110530499A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910796906.1A CN110530499A (zh) 2019-08-27 2019-08-27 一种测量动态光弹图像中声传播方向的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910796906.1A CN110530499A (zh) 2019-08-27 2019-08-27 一种测量动态光弹图像中声传播方向的方法

Publications (1)

Publication Number Publication Date
CN110530499A true CN110530499A (zh) 2019-12-03

Family

ID=68664696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910796906.1A Pending CN110530499A (zh) 2019-08-27 2019-08-27 一种测量动态光弹图像中声传播方向的方法

Country Status (1)

Country Link
CN (1) CN110530499A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243537A (zh) * 2010-05-14 2011-11-16 深圳市汇春科技有限公司 运动图像位移检测方法及装置、光电鼠标
EP3161658A1 (en) * 2014-12-19 2017-05-03 SZ DJI Technology Co., Ltd. Optical-flow imaging system and method using ultrasonic depth sensing
CN107764271A (zh) * 2017-11-15 2018-03-06 华南理工大学 一种基于光流的可见光视觉动态定位方法及系统
CN108106714A (zh) * 2018-01-24 2018-06-01 中国科学院声学研究所 一种高稳定性的动态光弹超声定量测量装置和方法
CN108257188A (zh) * 2017-12-29 2018-07-06 重庆锐纳达自动化技术有限公司 一种运动目标检测方法
CN207610704U (zh) * 2017-11-15 2018-07-13 华南理工大学 一种基于光流的可见光视觉动态定位系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243537A (zh) * 2010-05-14 2011-11-16 深圳市汇春科技有限公司 运动图像位移检测方法及装置、光电鼠标
EP3161658A1 (en) * 2014-12-19 2017-05-03 SZ DJI Technology Co., Ltd. Optical-flow imaging system and method using ultrasonic depth sensing
CN107764271A (zh) * 2017-11-15 2018-03-06 华南理工大学 一种基于光流的可见光视觉动态定位方法及系统
CN207610704U (zh) * 2017-11-15 2018-07-13 华南理工大学 一种基于光流的可见光视觉动态定位系统
CN108257188A (zh) * 2017-12-29 2018-07-06 重庆锐纳达自动化技术有限公司 一种运动目标检测方法
CN108106714A (zh) * 2018-01-24 2018-06-01 中国科学院声学研究所 一种高稳定性的动态光弹超声定量测量装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卢超 等: "超声波在固体中传播与散射的动态演示及教学应用", 《2010 THIRD INTERNATIONAL CONFERENCE ON EDUCATION TECHNOLOGY AND TRAINING》 *

Similar Documents

Publication Publication Date Title
Li et al. Whole-field thickness strain measurement using multiple camera digital image correlation system
Farahani et al. Three-dimensional imaging and scanning: current and future applications for pathology
Siebert et al. High-speed digital image correlation: error estimations and applications
JPWO2016152075A1 (ja) 構造物の状態判定装置と状態判定システムおよび状態判定方法
CN107632029A (zh) 一种基于x射线透射成像的数字图像相关技术实验装置
EP3926583A2 (en) Image processing method, computer program and recording medium
Xavier et al. Measuring displacement fields by cross-correlation and a differential technique: experimental validation
CN112419429A (zh) 一种基于多视角的大型工件表面缺陷检测标定方法
Siebert et al. Error estimations in digital image correlation technique
Valle et al. Crack analysis in mudbricks under compression using specific development of stereo-digital image correlation
CN105783735B (zh) 一种基于二维数字图像相关补偿算法的实时引伸计测量方法
Singh et al. Methods to estimate subpixel level small motion from video of vibrating cutting tools
CN110728745A (zh) 一种基于多层折射图像模型的水下双目立体视觉三维重建方法
CN110530499A (zh) 一种测量动态光弹图像中声传播方向的方法
Hu et al. Digital speckle based strain measurement system for forming limit diagram prediction
CN111397511A (zh) 一种利用物体平移进行单目三维测量的方法及装置
JP3905117B1 (ja) 動状態解析システム及び方法、並びにコンピュータプログラム
KR20040014034A (ko) 전자현미경을 사용해서 물체의 3차원 공간 데이터를추출하는 방법 및 그 장치
CN106200958B (zh) 一种动态调整用户认知负荷的智能空间增强现实方法
JP2009192483A (ja) 三次元形状計測方法および三次元形状計測装置
CN112381888A (zh) 一种h型钢切割路径的动态补偿方法
CN106652012A (zh) 医学图像体绘制的方法及系统
Liu et al. Parallax correction for a digital array high-speed imaging system for dynamic deformation measurements
Gilat et al. Full field strain measurement during a tensile split Hopkinson bar experiment
CN114894090B (zh) 一种基于线激光的回转内腔尺寸检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191203