CN115908755A - 一种ar投影方法、系统及ar投影仪 - Google Patents
一种ar投影方法、系统及ar投影仪 Download PDFInfo
- Publication number
- CN115908755A CN115908755A CN202211423540.1A CN202211423540A CN115908755A CN 115908755 A CN115908755 A CN 115908755A CN 202211423540 A CN202211423540 A CN 202211423540A CN 115908755 A CN115908755 A CN 115908755A
- Authority
- CN
- China
- Prior art keywords
- camera
- projection
- scene
- module
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种AR投影方法、系统及AR投影仪,属于虚拟现实交互技术领域,包括在AR投影助手内内置摄像头拍摄相机,通过内置摄像头拍摄相机扫描目标环境周围场景,提取周围场景的环境信息和物体信息,使用系统构建三维场景,根据获取的环境信息对场景进行三维重构,并生成三维物体的数据模型,对拍摄的三维物体的形状进行识别,根据识别的外形轮廓,建立模型数据,将模型数据经过运算处理与实体物件进行交互仿真,在实体物件上进行投影成像,在完成所有呈现效果的仿真计算后,将AR效果实时渲染出来,使用AR投影助手显示设备进行显示,本发明能在进行AR投影渲染的同时,起到降低延迟且可控的效果。
Description
技术领域
本发明属于虚拟现实交互技术领域,具体地说,涉及一种AR投影方法、系统及AR投影仪。
背景技术
AR增强现实,是用户对现实世界感知的新技术,AR技术是把计算机带入到用户的真实世界中,通过听、看、摸、闻虚拟信息,来增强对现实世界的感知,实现了从“人去适应机器”到技术“以人为本”的转变,通过电脑技术,将虚拟的信息应用到真实世界,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间,也叫“21世纪的移动随身听”或“能够实时交互的移动电视”
AR从其技术手段和表现形式上,可以明确分为大约两类,一是Vision based AR,即基于计算机视觉的AR,二是LBS basedAR,即基于地理位置信息的AR,基于计算机视觉的AR是利用计算机视觉方法建立现实世界与屏幕之间的映射关系,本质上来讲就是要找到现实场景中的一个依附平面,然后再将这个3维场景下的平面映射到我们2维屏幕上,然后再在这个平面上绘制你想要展现的图形。
AR增强现实系统组成在基于计算机显示器的AR实现方案中,摄像机摄取的真实世界图像输入到计算机中,与计算机图形系统产生的虚拟景象合成,并输出到屏幕显示器,用户从屏幕上看到最终的增强场景图片,在基于monitor-based和video see-through显示技术的AR实现中,都通过摄像机来获取真实场景的图像,在计算机中完成虚实图像的结合并输出,整个过程不可避免的存在一定的系统延迟,这是动态AR应用中虚实注册错误的一个主要产生原因,而基于optical see-through显示技术的AR实现中,真实场景的视频图像传送是实时的,不受计算机控制,因此不可能用控制视频显示速率的办法来补偿系统延迟。
发明内容
要解决的问题
针对现有基于monitor-based和video see-through显示技术的AR实现中,都通过摄像机来获取真实场景的图像,在计算机中完成虚实图像的结合并输出,整个过程不可避免的存在一定的系统延迟,基于optical see-through显示技术的AR实现中,真实场景的视频图像传送是实时的,不受计算机控制的问题,本发明提供一种AR投影方法、系统及AR投影仪。
技术方案
为解决上述问题,本发明采用如下的技术方案。
一种AR投影方法,采用以下步骤:
步骤1:在AR投影助手内内置摄像头拍摄相机,通过内置摄像头拍摄相机扫描目标环境周围场景,提取周围场景的环境信息和物体信息;
步骤2:使用系统构建三维场景,根据获取的环境信息对场景进行三维重构,并生成三维物体的数据模型;
步骤3:对拍摄的三维物体的形状进行识别,根据识别的外形轮廓,建立模型数据,将模型数据经过运算处理与实体物件进行交互仿真,在实体物件上进行投影成像;
步骤4:在完成所有呈现效果的仿真计算后,将AR效果实时渲染出来,使用AR投影助手显示设备进行显示。
优选地,所述AR助手内置摄像头拍摄相机扫描目标环境周围场景提取环境信息时,需要确定拍摄相机的位置坐标,拍摄相机坐标确定是根据环境信息的特征点计算Tm矩阵,再确定拍摄相机的位置坐标。
优选地,Tm矩阵的计算公式如下:
其中,C为摄像机内参矩阵,矩阵Tm为摄像机外参矩阵;
进一步地,内参矩阵的公式如下:
其中,f为图像平面和照相机中心间的距离,s为倾斜参数,a是纵横比例参数,c=[cx,cy],是光标坐标轴和图像平面的交点。
进一步地,所述s在一般情况下为0,即:
两个K矩阵中的fx和fy存在着fx=afy的关系,a在像素元素非正方形的情况下使用时默认为1。
优选地,所述拍摄相机在拍摄的时候还需要使用CompenNet卷积神经网络补偿函数通过抑制或抵消投影表面上面纹理或图案带来的干扰。
其中,πp为复合几何投影,πc为辐射传递函数,s为表面光谱反射特性,πs为光谱反射函数,g为全局照明辐照度;
确定投影输入图像x*,计算公式如下:
πc(πs(πp(x*),g,s))=x
更进一步的,所述CompenNet卷积神经网络还会使用训练数据进行学习,训练对的生成公式如下:
一种AR投影系统,包括:
摄像模块,用于扫描拍摄目标环境周围场景,提取周围场景的环境信息和物体信息;
坐标确定模块,用于根据摄像模块模块拍摄的信息建立坐标,并确定摄像模块的位置坐标;
场景构建模块,用于根据摄像模块拍摄获取的环境信息构建三维场景;
物体构建模块,用于根据摄像模块拍摄获取的物体信息构建三维物体;
交互仿真模块,用于使用虚拟物件对场景构建模块构建的三维场景和物体构建模块构建的三维物体进行交互仿真;
效果渲染模块,用于对交互仿真模块交互仿真的结果进行实时渲染;
显示模块,用于显示效果渲染模块渲染出的效果图像和视频。
一种AR投影仪,所述装置包括服务处理器和分布存储器,所述服务处理器连接所述存储器,所述分布存储器中存储有服务自管理程序,配置用于存储机器可读指令,所述服务处理器执行所述服务自管理程序,指令在由所述处理器执行时,以实现如上所述的AR投影方法。
一种AR投影方法、系统及AR投影仪,通过AR助手内置摄像头拍摄相机,通过拍摄相机扫描目标环境周围场景,提取周围场景的环境信息和物体信息,使用系统构建三维场景,根据获取的环境信息对场景进行三维重构,并生成三维物体,对拍摄的三维物体的材质进行识别,根据识别的材质,将虚拟物件与实体物件进行交互仿真,在完成所有呈现效果的仿真计算后,将AR效果实时渲染出来,使用显示设备进行显示,在进行AR投影渲染的同时,起到降低延迟且可控的效果。
有益效果
相比于现有技术,本发明的有益效果为:
(1)本发明在扫描目标环境周围场景提取环境信息时,还确定拍摄相机的位置坐标,通过根据环境信息的特征点计算Tm矩阵,再确定拍摄相机的位置坐标,使得后续进行虚拟渲染的时候,可以提高渲染效率;
(2)本发明通过CompenNet卷积神经网络补偿函数通过抑制和抵消投影表面上面纹理和图案带来的干扰,CompenNet卷积神经网络补偿函数由一个骨干网和一个自动编码器子网组成,这种架构鼓励相机捕获的投影表面图像和输入图像之间的丰富的多级交互,使得去除干扰后的结果数据更加可靠,同时使得结果可以控制。
(3)本发明CompenNet卷积神经网络补偿函数不仅可以抑制和抵消投影表面上面纹理和图案带来的干扰,还可以通过训练数据进行学习,当训练学习的数据越来越多的时候,CompenNet卷积神经网络对于图像的抗干扰优化也越来越优异,最终使得数据结果越来越准确。
附图说明
为了更清楚地说明本申请实施例或示例性中的技术方案,下面将对实施例或示例性描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以按照这些附图示出的获得其他的附图。
图1为本发明的步骤示意图;
图2为本发明的系统结构示意图;
图3为本发明的设备结构示意图;
图4为本发明的AR助手组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例,通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例,基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例1
如图1所示,一种AR投影方法,主要流程如下,在AR投影助手内内置摄像头拍摄相机,通过内置摄像头拍摄相机扫描目标环境周围场景,提取周围场景的环境信息和物体信息,使用系统构建三维场景,根据获取的环境信息对场景进行三维重构,并生成三维物体的数据模型,对拍摄的三维物体的形状进行识别,根据识别的外形轮廓,建立模型数据,将模型数据经过运算处理与实体物件进行交互仿真,在实体物件上进行投影成像,在完成所有呈现效果的仿真计算后,将AR效果实时渲染出来,使用AR投影助手显示设备进行显示。
AR助手内置摄像头拍摄相机,通过拍摄相机扫描目标环境周围场景,提取周围场景的环境信息和物体信息。所述拍摄相机在拍摄的时候还需要使用CompenNet卷积神经网络补偿函数通过抑制或抵消投影表面上面纹理或图案带来的干扰,CompenNet卷积神经网络计算流程如下,先输入投影图像为x,得到相机拍摄图像为计算公式如下:
其中,πp为复合几何投影,πc为辐射传递函数,s为表面光谱反射特性,πs为光谱反射函数,g为全局照明辐照度;
确定投影输入图像x*,计算公式如下:
πc(πs(πp(x*),g,s))=x
所述CompenNet卷积神经网络还会使用训练数据进行学习,训练对的生成公式如下:
使用系统构建三维场景,根据获取的环境信息对场景进行三维重构,并生成三维物体,所述所述拍摄相机扫描目标环境周围场景提取环境信息时,需要确定拍摄相机的位置坐标,拍摄相机坐标确定是根据环境信息的特征点计算Tm矩阵,再确定拍摄相机的位置坐标。
Tm矩阵的计算公式如下:
其中,C为摄像机内参矩阵,矩阵Tm为摄像机外参矩阵;
内参矩阵的公式如下:
其中,f为图像平面和照相机中心间的距离,s为倾斜参数,a是纵横比例参数,c=[cx,cy],是光标坐标轴和图像平面的交点。
所述s在一般情况下为0,即:
两个K矩阵中的fx和fy存在着fx=afy的关系,a在像素元素非正方形的情况下使用时默认为1。
对拍摄的三维物体的材质进行识别,根据识别的材质,将虚拟物件与实体物件进行交互仿真,在完成所有呈现效果的仿真计算后,将AR效果实时渲染出来,使用显示设备进行显示。
通过上述描述可知,在本实例中,通过AR助手内置摄像头拍摄相机,通过拍摄相机扫描目标环境周围场景,提取周围场景的环境信息和物体信息,使用系统构建三维场景,根据获取的环境信息对场景进行三维重构,并生成三维物体,对拍摄的三维物体的材质进行识别,根据识别的材质,将虚拟物件与实体物件进行交互仿真,在完成所有呈现效果的仿真计算后,将AR效果实时渲染出来,使用显示设备进行显示,在进行AR投影渲染的同时,起到降低延迟且可控的效果。
实施例2
一种AR投影方法,主要流程如下,先AR助手内置摄像头拍摄相机,通过拍摄相机扫描目标环境周围场景,提取周围场景的环境信息和物体信息,使用系统构建三维场景,根据获取的环境信息对场景进行三维重构,并生成三维物体,对拍摄的三维物体的材质进行识别,根据识别的材质,将虚拟物件与实体物件进行交互仿真,在完成所有呈现效果的仿真计算后,将AR效果实时渲染出来,使用显示设备进行显示。
AR助手内置摄像头拍摄相机,通过拍摄相机扫描目标环境周围场景,提取周围场景的环境信息和物体信息。所述拍摄相机在拍摄的时候还需要使用CompenNet卷积神经网络补偿函数通过抑制或抵消投影表面上面纹理或图案带来的干扰,CompenNet卷积神经网络计算流程如下,先输入投影图像为x,得到相机拍摄图像为计算公式如下:
其中,πp为复合几何投影,πc为辐射传递函数,s为表面光谱反射特性,πs为光谱反射函数,g为全局照明辐照度;
确定投影输入图像x*,计算公式如下:
πc(πs(πp(x*),g,s))=x
所述CompenNet卷积神经网络还会使用训练数据进行学习,训练对的生成公式如下:
使用系统构建三维场景,根据获取的环境信息对场景进行三维重构,并生成三维物体。
对拍摄的三维物体的材质进行识别,根据识别的材质,将虚拟物件与实体物件进行交互仿真,在完成所有呈现效果的仿真计算后,将AR效果实时渲染出来,使用显示设备进行显示。
通过上述描述可知,在本实例中,通过AR助手内置摄像头拍摄相机,通过拍摄相机扫描目标环境周围场景,提取周围场景的环境信息和物体信息,使用系统构建三维场景,根据获取的环境信息对场景进行三维重构,并生成三维物体,对拍摄的三维物体的材质进行识别,根据识别的材质,将虚拟物件与实体物件进行交互仿真,在完成所有呈现效果的仿真计算后,将AR效果实时渲染出来,使用显示设备进行显示,在进行AR投影渲染的同时,起到降低延迟且可控的效果。
实施例3
一种AR投影方法,主要流程如下,先AR助手内置摄像头拍摄相机,通过拍摄相机扫描目标环境周围场景,提取周围场景的环境信息和物体信息,使用系统构建三维场景,根据获取的环境信息对场景进行三维重构,并生成三维物体,对拍摄的三维物体的材质进行识别,根据识别的材质,将虚拟物件与实体物件进行交互仿真,在完成所有呈现效果的仿真计算后,将AR效果实时渲染出来,使用显示设备进行显示。
AR助手内置摄像头拍摄相机,通过拍摄相机扫描目标环境周围场景,提取周围场景的环境信息和物体信息。
使用系统构建三维场景,根据获取的环境信息对场景进行三维重构,并生成三维物体,所述所述拍摄相机扫描目标环境周围场景提取环境信息时,需要确定拍摄相机的位置坐标,拍摄相机坐标确定是根据环境信息的特征点计算Tm矩阵,再确定拍摄相机的位置坐标。
Tm矩阵的计算公式如下:
其中,C为摄像机内参矩阵,矩阵Tm为摄像机外参矩阵;
内参矩阵的公式如下:
其中,f为图像平面和照相机中心间的距离,s为倾斜参数,a是纵横比例参数,c=[cx,cy],是光标坐标轴和图像平面的交点。
所述s在一般情况下为0,即:
两个K矩阵中的fx和fy存在着fx=afy的关系,a在像素元素非正方形的情况下使用时默认为1。
对拍摄的三维物体的材质进行识别,根据识别的材质,将虚拟物件与实体物件进行交互仿真,在完成所有呈现效果的仿真计算后,将AR效果实时渲染出来,使用显示设备进行显示。
通过上述描述可知,在本实例中,通过AR助手内置摄像头拍摄相机,通过拍摄相机扫描目标环境周围场景,提取周围场景的环境信息和物体信息,使用系统构建三维场景,根据获取的环境信息对场景进行三维重构,并生成三维物体,对拍摄的三维物体的材质进行识别,根据识别的材质,将虚拟物件与实体物件进行交互仿真,在完成所有呈现效果的仿真计算后,将AR效果实时渲染出来,使用显示设备进行显示,在进行AR投影渲染的同时,起到降低延迟且可控的效果。
实施例4
如图2所示,一种AR投影系统,包括:
摄像模块,用于扫描拍摄目标环境周围场景,提取周围场景的环境信息和物体信息;
坐标确定模块,用于根据摄像模块模块拍摄的信息建立坐标,并确定摄像模块的位置坐标;
场景构建模块,用于根据摄像模块拍摄获取的环境信息构建三维场景;
物体构建模块,用于根据摄像模块拍摄获取的物体信息构建三维物体;
交互仿真模块,用于使用虚拟物件对场景构建模块构建的三维场景和物体构建模块构建的三维物体进行交互仿真;
效果渲染模块,用于对交互仿真模块交互仿真的结果进行实时渲染;
显示模块,用于显示效果渲染模块渲染出的效果图像和视频。
通过上述描述可知,在本实例中,通过摄像模块扫描拍摄目标环境周围场景,提取周围场景的环境信息和物体信息,坐标确定模块拍摄的信息建立坐标,并确定摄像模块的位置坐标,场景构建模块根据拍摄获取的环境信息构建三维场景,物体构建模块根据拍摄获取的物体信息构建三维物体,交互仿真模块使用虚拟物件三维场景和三维物体进行交互仿真,效果渲染模块交互仿真的结果进行实时渲染,显示模块显示渲染出的效果图像和视频。
实施例5
如图3所示,一种AR投影仪,所述装置包括服务处理器和分布存储器,所述服务处理器连接所述存储器,所述分布存储器中存储有服务自管理程序,配置用于存储机器可读指令,所述服务处理器执行所述服务自管理程序,指令在由所述处理器执行时,以实现如实施例1所述的AR投影方法。
以上所述实施例仅表达了本发明的优选实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形、改进及替代,这些都属于本发明的保护范围。
Claims (10)
1.一种AR投影方法,其特征在于,采用以下步骤:
步骤1:在AR投影助手内内置摄像头拍摄相机,通过内置摄像头拍摄相机扫描目标环境周围场景,提取周围场景的环境信息和物体信息;
步骤2:使用系统构建三维场景,根据获取的环境信息对场景进行三维重构,并生成三维物体的数据模型;
步骤3:对拍摄的三维物体的形状进行识别,根据识别的外形轮廓,建立模型数据,将模型数据经过运算处理与实体物件进行交互仿真,在实体物件上进行投影成像;
步骤4:在完成所有呈现效果的仿真计算后,将AR效果实时渲染出来,使用AR投影助手显示设备进行显示。
2.根据权利要求1所述的一种AR投影方法,其特征在于:所述AR助手内置摄像头拍摄相机扫描目标环境周围场景提取环境信息时,需要确定拍摄相机的位置坐标,拍摄相机坐标确定是根据环境信息的特征点计算Tm矩阵,再确定拍摄相机的位置坐标。
6.根据权利要求1所述的一种AR投影方法,其特征在于:所述拍摄相机在拍摄的时候还需要使用CompenNet卷积神经网络补偿函数通过抑制和抵消投影表面上面纹理和图案带来的干扰。
9.一种AR投影系统,其特征在于,包括:
摄像模块,用于扫描拍摄目标环境周围场景,提取周围场景的环境信息和物体信息;
坐标确定模块,用于根据摄像模块模块拍摄的信息建立坐标,并确定摄像模块的位置坐标;
场景构建模块,用于根据摄像模块拍摄获取的环境信息构建三维场景;
物体构建模块,用于根据摄像模块拍摄获取的物体信息构建三维物体;
交互仿真模块,用于使用虚拟物件对场景构建模块构建的三维场景和物体构建模块构建的三维物体进行交互仿真;
效果渲染模块,用于对交互仿真模块交互仿真的结果进行实时渲染;
显示模块,用于显示效果渲染模块渲染出的效果图像和视频。
10.一种AR投影仪,其特征在于,所述装置包括服务处理器和分布存储器,所述服务处理器连接所述存储器,所述分布存储器中存储有服务自管理程序,配置用于存储机器可读指令,所述服务处理器执行所述服务自管理程序,指令在由所述处理器执行时,以实现如权利要求1-8所述的AR投影方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211423540.1A CN115908755A (zh) | 2022-11-15 | 2022-11-15 | 一种ar投影方法、系统及ar投影仪 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211423540.1A CN115908755A (zh) | 2022-11-15 | 2022-11-15 | 一种ar投影方法、系统及ar投影仪 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115908755A true CN115908755A (zh) | 2023-04-04 |
Family
ID=86489095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211423540.1A Pending CN115908755A (zh) | 2022-11-15 | 2022-11-15 | 一种ar投影方法、系统及ar投影仪 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115908755A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117011446A (zh) * | 2023-08-23 | 2023-11-07 | 苏州深捷信息科技有限公司 | 一种动态环境光照的实时渲染方法 |
-
2022
- 2022-11-15 CN CN202211423540.1A patent/CN115908755A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117011446A (zh) * | 2023-08-23 | 2023-11-07 | 苏州深捷信息科技有限公司 | 一种动态环境光照的实时渲染方法 |
CN117011446B (zh) * | 2023-08-23 | 2024-03-08 | 苏州深捷信息科技有限公司 | 一种动态环境光照的实时渲染方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10460512B2 (en) | 3D skeletonization using truncated epipolar lines | |
CN110889890B (zh) | 图像处理方法及装置、处理器、电子设备及存储介质 | |
JP7007348B2 (ja) | 画像処理装置 | |
CN107484428B (zh) | 用于显示对象的方法 | |
WO2019035155A1 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
CN112954292B (zh) | 一种基于增强现实的数字博物馆导览系统和方法 | |
JP2008090617A (ja) | 立体画像生成装置、方法およびプログラム | |
CN101631257A (zh) | 一种实现二维视频码流立体播放的方法及装置 | |
CN107862718B (zh) | 4d全息视频捕捉方法 | |
CN110648274B (zh) | 鱼眼图像的生成方法及装置 | |
CN109920000B (zh) | 一种基于多相机协同的无死角的增强现实方法 | |
CN113436559B (zh) | 一种沙盘动态景观实时显示系统及显示方法 | |
CN108648264A (zh) | 基于运动恢复的水下场景重建方法及存储介质 | |
CN112657176A (zh) | 一种结合人像行为信息的双目投影人机交互方法 | |
CN115908755A (zh) | 一种ar投影方法、系统及ar投影仪 | |
US10909752B2 (en) | All-around spherical light field rendering method | |
US11043019B2 (en) | Method of displaying a wide-format augmented reality object | |
CN115841539A (zh) | 一种基于可视外壳的三维光场生成方法和装置 | |
CN113961068B (zh) | 一种基于增强现实头盔的近距离实物眼动交互方法 | |
CN110060349A (zh) | 一种扩展增强现实头戴式显示设备视场角的方法 | |
US11120606B1 (en) | Systems and methods for image texture uniformization for multiview object capture | |
CN111462294A (zh) | 一种图像处理方法、电子设备及计算机可读存储介质 | |
CN113476835B (zh) | 一种画面显示的方法及装置 | |
CN111243099A (zh) | 一种处理图像的方法和装置以及在ar设备中显示图像的方法和装置 | |
JP7506022B2 (ja) | 描画装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |