CN115695765A - 基于数字孪生的观测视角可追踪方法、系统及终端 - Google Patents

基于数字孪生的观测视角可追踪方法、系统及终端 Download PDF

Info

Publication number
CN115695765A
CN115695765A CN202211113302.0A CN202211113302A CN115695765A CN 115695765 A CN115695765 A CN 115695765A CN 202211113302 A CN202211113302 A CN 202211113302A CN 115695765 A CN115695765 A CN 115695765A
Authority
CN
China
Prior art keywords
human body
assembly
digital
digital twin
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211113302.0A
Other languages
English (en)
Inventor
周世林
付傲然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Platform For Smart Manufacturing Co Ltd
Original Assignee
Shanghai Platform For Smart Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Platform For Smart Manufacturing Co Ltd filed Critical Shanghai Platform For Smart Manufacturing Co Ltd
Priority to CN202211113302.0A priority Critical patent/CN115695765A/zh
Priority to PCT/CN2022/129723 priority patent/WO2024055397A1/zh
Publication of CN115695765A publication Critical patent/CN115695765A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于数字孪生的观测视角可追踪方法,包括:建立进行相同作业的若干个装配台,并在若干个装配台后方安装展示界面;通过虚幻引擎,实现若干个装配台的数字孪生;通过追踪设备并结合可穿戴设备,获取人体的位置信息;展示界面显示位于人体位置处观察若干个装配台的场景。本发明利用数字孪生技术建模模拟装配台的装配动作,实现对装配平台的实时监测;利用optitrack技术追踪人体的位置,并返回数据得到人体的位姿,以此来虚拟场景中显示模型的角度,呈现出随着人体移动,显示器显示随着工作人员移动显示不同视角的效果;本发明较现有的数字孪生技术,增加了获取人体位姿的部分,可以为数字孪生技术的进一步发展以及与VR等技术结合提供帮助。

Description

基于数字孪生的观测视角可追踪方法、系统及终端
技术领域
本发明涉及虚拟现实技术领域,更具体的涉及一种基于数字孪生的观测视角可追踪方法、系统及终端。
背景技术
随着网络物理系统(CPS)的多项技术进步,工业4.0革命带来了数字孪生的新兴概念,数字孪生作为新兴技术,将物理世界通过数字化手段映射到虚拟空间,采用物联网技术将数据实时采集至数字孪生平台,将作业区情况实时通过无线网络反馈至数字孪生平台,这表明了数字孪生有潜力打破智能制造中物理空间和网络空间之间的壁垒。然而,在现实的制造环境中,存在着不能将观测者的位置信息传入到数字孪生平台中,使得数字孪生平台展现的工作环境视角存在相对固定或者只能按照一定的规律进行移动的效果。不能很好的模拟工作人员实际观测到的场景,可能会影响工作人员对于车间功能、性能、风险等情况的评估。
经检索,申请号为CN202010902457.7的中国专利一种人体骨骼的数字孪生体构建方法,公开了一种人体骨骼的数字孪生体构建方法,针对真实人体骨骼利用VR动作捕捉和传感器技术采集人体重要位置处数据,通过人工智能进行数据分类、筛选、约简与计算得到关键数据。通过人体反向动力学与生物力学算法对关键数据求解得到目标骨骼的空间方位信息与力学信息,将部分传感器数据与计算结果融合后对目标骨骼进行仿真模拟,得到目标骨骼的生物力学性能并利用多种预测算法对未知姿态下骨骼的生物力学性能进行预测;最后将性能数据建模渲染得到真实骨骼的高保真数字孪生体,实现对骨骼生物力学性能的忠实孪生映射。本发明在多种人体动作姿态下,利用穿戴式VR设备和少量传感器即可实时计算出目标骨骼的生物力学性能,能够实现对目标骨骼实时的健康检测。其虽然加入了人的位姿、动作信息,但其并没有解决物联网技术领域所需的将作业区域情况实时通过无线网络反馈指数字孪生平台。
综上,在实现数字孪生观测视角同步的问题上,如何对人体位置进行定位并将位置信息转递到数字孪生平台,确保数字孪生领域在复杂的实际工况环境下能够定位观测者位置是亟需突破的技术问题。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于数字孪生的观测视角可追踪方法、系统及终端。
根据本发明的一个方面,提供一种基于数字孪生的观测视角可追踪方法,包括:
建立进行相同作业的若干个装配台,并在所述若干个装配台后方安装展示界面;
通过虚幻引擎,实现所述若干个装配台的数字孪生;
通过追踪设备并结合可穿戴设备,获取人体的位置信息;
所述展示界面显示位于所述人体位置处观察若干个装配台的场景。
优选地,所述建立进行相同作业的若干个装配台,包括:
若干个装配台设置相同,均包括装配平台、物料传输平台、传输小车以及一个作业机器人;
所述装配台和作业机器人分别和总线连接;
通过所述总线控制所述装配台的开启、关闭、放行并获取其状态信息;
通过所述总线控制所述作业机器人作业并获取其实时位姿信息。
优选地,通过虚幻引擎,实现所述若干个装配台的数字孪生,包括:
建立若干个所述装配台3D图像孪生模型并进行渲染;
总线获取所述状态信息和所述时位姿信息,并将所述状态信息和所述时位姿信息打包成结构体返回到虚幻引擎;
所述虚幻引擎解析所述结构体消息,将所述3D图像孪生模型在所述展示界面上进行实时调整和虚拟显示。
优选地,所述通过追踪设备并结合可穿戴设备,获取人体的位置信息,包括:
将打标球放置于可穿戴装置上;
工作人员穿戴所述可穿戴设备;
通过若干台相同的追踪设备捕捉所述可穿戴设备,结合所述打标球,获取人体位置信息;
将所述人体位置信息实时传递给所述总线。
优选地,所述展示界面显示位于所述人体位置处观察若干个装配台的场景,包括:
将总线获得的所述人体位置信息发送给虚幻引擎;
所述虚幻引擎根据人体位置信息调整3D图像孪生模型的观测角度;
基于所述观测角度,在所述展示界面显示观测者实际观察装配台的场景。
优选地,所述虚化引擎包括UE4引擎或者数字孪生构建软件unity;所述追踪设备选用optitrack相机。
根据本发明的第二个方面,提供一种基于数字孪生的观测视角可追踪系统,包括:
数字孪生模块,所述数字孪生模块实现若干个装配台的数字孪生;
数据处理模块,所述数据处理模块通过追踪设备并结合可穿戴设备,获取人体的位置信息;
显示模块,所述显示模块实显示位于所述人体位置处观察若干个装配台的场景。
优选地,所述数字孪生模块能够获取若干个装配台实际操作中的实时数据,所述实时数据包括装配平台电气控制系统中可编程逻辑控制器的数据、作业机器人的位姿关节信息。
优选地,所述数据处理模块选用DT演示机器,所述显示模块选用DT显示器。
根据本发明的第三个方面,提供一种终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时可用于执行任一项所述的方法,或,运行任一项所述的系统。
与现有技术相比,本发明具有如下的有益效果:
本发明实施例的基于数字孪生的观测视角可追踪方法和系统,利用数字孪生技术建模模拟装配台的装配动作,实现对装配平台的实时监测;
此外,利用optitrack技术追踪人体的位置,并返回数据得到人体的位姿,以此来虚拟场景中显示模型的角度,呈现出随着人体移动,显示器显示随着工作人员移动显示不同视角的效果;本实施例较现有的数字孪生技术,增加了获取人体位姿的部分,可以为数字孪生技术的进一步发展以及与VR等技术结合提供帮助。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明一实施案例中提供的装配平台结构示意图;
图2为本发明另一实施案例中提供的optitrack设备的安装图;
图3为本发明一优选实施案例中提供的整体效果图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明提供一个实施例,一种基于数字孪生的观测视角可追踪方法,包括:
S1,建立进行相同作业的若干个装备台,并在所述若干个装配台后方安装展示界面;
S2,通过虚幻引擎,实现所述若干个装配台的数字孪生;
S3,通过追踪设备并结合可穿戴设备,获取人体的位置信息;
S4,通过S3中得到的人体位置的输入,在镜像数字孪生的展示界面上实现从观测位置观察装配台的效果。
本实施例能够使数字孪生系统呈现作业区虚拟状况。数字孪生界面随着工作人员的移动实时更新其观测角度呈现的工况。较佳的,在若干个装配台的另一侧安装一面镜子,与展示界面相对,通过镜子可直观获得人体所在位置处的镜像,可与展示界面的虚幻情景对比,以调整孪生效果。
本发明的一个优选实施例中执行S1,如图1所示为装配台的硬件部分,包括底下的装配平台、UR5机器人一个、物料放置平台一个、若干物料、传送小车以及物料底座。
对于上述硬件部分,需将其通电通气并通过网线连接到总线上,并将若干个装配台设置到联机模式。打开机器人,通过网线将机器人的电控柜连接到装配台的交换机上。通过制造执行系统的服务器MESSever获取若干个装配台的信息,编程实现在检测到物料底座的时候,同时启动机器人加工,在装配完成后,同时放行,实现若干个装配台的实时同时作业。
在本发明的另一个实施例中执行S2,具体包括:
S201,建立装配台、机器人以及相关装配物料的模型,通过渲染工具将模型与真实物品相似;
S202,总线获取实时的数据信息,并将其打包成结构体返回到虚幻引擎UE4;其中数据信息包括作业机器人的位姿关节信息以及装配平台上的开启、放行等信息。打包成结构体为了方便信号传输的稳定性和完整性;
S203,通过解析结构体消息,调整模型状态,实现对真实场景的实时虚拟现实,实现数字孪生效果。
在本发明的一优选实施例中执行S3,包括:
S301,将打标球放置于头盔或胸牌等可穿戴装置上,让工作人员穿戴该可穿戴设备;
S302,通过8台相同的optitrack动作捕捉设备,结合打标球,获取人体位置信息;
S303,将人体位置信息实时传递给总线。
如图2所示,为本实施例中的optitrack设备的安装情况,一共有8个设备,保证在各个角度上,打标球都至少能被3个以上设备看到,即可以定位打标球位置(观测者位置)。当然,optitrack设备的个数并不限制,可根据实际情况设定。
在发明的一优选实施例中执行S4,包括:
S401,通过总线将获得的观测者的人体位置信息发送给UE4引擎;
S402,UE4引擎通过其底层代码来根据观测者的人体位置信息改变数字孪生摄像头位置;此处的数字孪生摄像头位置指的是虚拟场景中显示模型的角度。
S403,调整摄像头位置后,在展示界面上出现观测者实际观察装配台的情况。
即启动相应程序实现若干个装配台的同时装配动作、optitrack位置获取以及总线返回的相应数据;之后启动数字孪生展示程序。工作人员通过穿戴已经安装好打标球的头盔或胸牌等设备,即可实时在屏幕上显示其所观测角度上装配台的情况。具体效果如图3所示,该实施例中,数字孪生展示机的硬件配置如下所示:
服务器最小配置:X64计算,8核16G,数据盘500G,带宽30Mbit/s;
展示机配置:系统window10,CPU i911900k,显卡GTX 3080Ti。
基于上述实施例相同的发明构思,本发明提供一种观测视角可追踪的数字孪生系统,包括:数字孪生模块、数据处理模块和显示模块;数字孪生模块实现若干个装配台的数字孪生;数据处理模块通过追踪设备并结合可穿戴设备,获取人体的位置信息;显示模块实显示位于所述人体位置处观察若干个装配台的场景。
进一步的,数字孪生模块能够获取若干个装配台实际操作中的实时数据,所述实时数据包括装配平台电气控制系统中可编程逻辑控制器的数据、作业机器人的位姿关节信息。
数据处理模块为UE4引擎;显示模块包括DT演示机器和DT演示屏幕,三个模块的信息通过网线连接到总线,总线将数据打包后发送给DT演示机器(高性能工作站,安装了UE4软件),DT演示机器通过改变数字孪生模型的相应数据信息来改变模型位姿和观测视角,实现呈现出随着人体移动,显示器显示随着工作人员移动显示不同视角的效果。
上所述实施例中,采用的UE4引擎是用于数字孪生模型搭建与数据交互和展示最终效果的软件。在本发明的其他实施例中,也可采用目前主流的数字孪生构建软件unity。
基于相同的发明构思,在其他实施例中,提供一种终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时可用于执行任一项所述的方法,或,运行任一项所述的系统。
需要说明的是,本发明提供的所述方法中的步骤,可以利用所述系统中对应的模块、装置、单元等予以实现,本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程,即,所述系统中的实施例可理解为实现所述方法的优选例,在此不予赘述。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的系统及其各项装置可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下,可以任意组合使用。

Claims (10)

1.一种基于数字孪生的观测视角可追踪方法,其特征在于,包括:
建立进行相同作业的若干个装配台,并在所述若干个装配台后方安装展示界面;
通过虚幻引擎,实现所述若干个装配台的数字孪生;
通过追踪设备并结合可穿戴设备,获取人体的位置信息;
所述展示界面显示位于所述人体位置处观察若干个装配台的场景。
2.根据权利要求1所述的一种基于数字孪生的观测视角可追踪方法,其特征在于,所述建立进行相同作业的若干个装配台,包括:
若干个装配台设置相同,均包括装配平台、物料传输平台、传输小车以及一个作业机器人;
所述装配台和作业机器人分别和总线连接;
通过所述总线控制所述装配台的开启、关闭、放行并获取其状态信息;
通过所述总线控制所述作业机器人作业并获取其实时位姿信息。
3.根据权利要求2所述的一种基于数字孪生的观测视角可追踪方法,其特征在于,通过虚幻引擎,实现所述若干个装配台的数字孪生,包括:
建立若干个所述装配台3D图像孪生模型并进行渲染;
总线获取所述状态信息和所述时位姿信息,并将所述状态信息和所述时位姿信息打包成结构体返回到虚幻引擎;
所述虚幻引擎解析所述结构体消息,将所述3D图像孪生模型在所述展示界面上进行实时调整和虚拟显示。
4.根据权利要求3所述的一种基于数字孪生的观测视角可追踪方法,其特征在于,所述通过追踪设备并结合可穿戴设备,获取人体的位置信息,包括:
将打标球放置于可穿戴装置上;
工作人员穿戴所述可穿戴设备;
通过若干台相同的追踪设备捕捉所述可穿戴设备,结合所述打标球,获取人体位置信息;
将所述人体位置信息实时传递给所述总线。
5.根据权利要求4所述的一种基于数字孪生的观测视角可追踪方法,其特征在于,所述展示界面显示位于所述人体位置处观察若干个装配台的场景,包括:
将总线获得的所述人体位置信息发送给虚幻引擎;
所述虚幻引擎根据人体位置信息调整3D图像孪生模型的观测角度;
基于所述观测角度,在所述展示界面显示观测者实际观察装配台的场景。
6.根据权利要求1-5任一项所述的一种基于数字孪生的观测视角可追踪方法,其特征在于,所述虚幻引擎包括UE4引擎或者数字孪生构建软件unity;所述追踪设备选用optitrack相机。
7.一种基于数字孪生的观测视角可追踪系统,其特征在于,包括:
数字孪生模块,所述数字孪生模块实现若干个装配台的数字孪生;
数据处理模块,所述数据处理模块通过追踪设备并结合可穿戴设备,获取人体的位置信息;
显示模块,所述显示模块实显示位于所述人体位置处观察若干个装配台的场景。
8.根据权利要求7所述的一种基于数字孪生的观测视角可追踪系统,其特征在于,所述数字孪生模块能够获取若干个装配台实际操作中的实时数据,所述实时数据包括装配平台电气控制系统中可编程逻辑控制器的数据、作业机器人的位姿关节信息。
9.根据权利要求7所述的一种基于数字孪生的观测视角可追踪系统,其特征在于,所述数据处理模块选用DT演示机器,所述显示模块选用DT显示器。
10.一种终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时可用于执行权利要求1-6中任一项所述的方法,或,运行权利要求7-9任一项所述的系统。
CN202211113302.0A 2022-09-14 2022-09-14 基于数字孪生的观测视角可追踪方法、系统及终端 Pending CN115695765A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211113302.0A CN115695765A (zh) 2022-09-14 2022-09-14 基于数字孪生的观测视角可追踪方法、系统及终端
PCT/CN2022/129723 WO2024055397A1 (zh) 2022-09-14 2022-11-04 基于数字孪生的观测视角可追踪方法、系统及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211113302.0A CN115695765A (zh) 2022-09-14 2022-09-14 基于数字孪生的观测视角可追踪方法、系统及终端

Publications (1)

Publication Number Publication Date
CN115695765A true CN115695765A (zh) 2023-02-03

Family

ID=85062176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211113302.0A Pending CN115695765A (zh) 2022-09-14 2022-09-14 基于数字孪生的观测视角可追踪方法、系统及终端

Country Status (2)

Country Link
CN (1) CN115695765A (zh)
WO (1) WO2024055397A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347131A (zh) * 2019-07-18 2019-10-18 中国电子科技集团公司第三十八研究所 面向生产的数字孪生系统
KR102366293B1 (ko) * 2019-12-31 2022-02-22 주식회사 버넥트 디지털 트윈을 이용한 증강현실 기반 현장 모니터링 시스템 및 방법
CN112132955B (zh) * 2020-09-01 2024-02-06 大连理工大学 人体骨骼的数字孪生体构建方法
CN113204826A (zh) * 2021-05-31 2021-08-03 深圳市智慧空间平台技术开发有限公司 一种数字孪生三维场景视角操作方法及装置
CN114260893A (zh) * 2021-12-22 2022-04-01 武汉理工大学 一种工业机器人装配拾放过程数字孪生模型构建方法
CN115033137A (zh) * 2022-06-10 2022-09-09 无锡途因思网络信息技术有限公司 一种基于数字孪生的虚拟现实交互方法

Also Published As

Publication number Publication date
WO2024055397A1 (zh) 2024-03-21

Similar Documents

Publication Publication Date Title
CN106340217B (zh) 基于增强现实技术的制造装备智能系统及其实现方法
CN107221223B (zh) 一种带有力/触觉反馈的虚拟现实飞机座舱系统
CN107168537B (zh) 一种协同式增强现实的可穿戴作业指导方法及系统
CN111443619B (zh) 一种虚实融合的人机协作仿真方法和系统
Leu et al. CAD model based virtual assembly simulation, planning and training
US10751877B2 (en) Industrial robot training using mixed reality
US8624924B2 (en) Portable immersive environment using motion capture and head mounted display
CA2662318C (en) Immersive collaborative environment using motion capture, head mounted display, and cave
US20170148214A1 (en) Virtual reality training
KR100914848B1 (ko) 혼합현실 시스템 및 그 구현 방법
CN110610547A (zh) 基于虚拟现实的座舱实训方法、系统及存储介质
Naceri et al. The vicarios virtual reality interface for remote robotic teleoperation: Teleporting for intuitive tele-manipulation
CN107257946B (zh) 用于虚拟调试的系统
CN111183401B (zh) 监视系统及监视方法
US10964104B2 (en) Remote monitoring and assistance techniques with volumetric three-dimensional imaging
CN101587329A (zh) 机器人预测的方法和系统
CN107577159A (zh) 扩增实境仿真系统
CN110977981A (zh) 一种机器人虚拟现实同步系统及同步方法
JP2023507241A (ja) 随意のデュアルレンジ運動学を用いたプロキシコントローラスーツ
CN115346413A (zh) 一种基于虚实融合的装配指导方法及系统
CN109794918A (zh) 一种交互式的空间遥操作系统
CN115695765A (zh) 基于数字孪生的观测视角可追踪方法、系统及终端
CN109213306A (zh) 一种机器人远程控制平台及其设计方法
CN104820492A (zh) 一种三维触觉系统
TWI740361B (zh) 智慧操作輔助系統及智慧操作輔助方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination