CN115861494B - 一种跨模态变换器模型式自动舞蹈生成方法 - Google Patents
一种跨模态变换器模型式自动舞蹈生成方法 Download PDFInfo
- Publication number
- CN115861494B CN115861494B CN202310132703.9A CN202310132703A CN115861494B CN 115861494 B CN115861494 B CN 115861494B CN 202310132703 A CN202310132703 A CN 202310132703A CN 115861494 B CN115861494 B CN 115861494B
- Authority
- CN
- China
- Prior art keywords
- dance
- audio
- action
- model
- full
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明属于动画制备技术领域，涉及一种跨模态变换器模型式自动舞蹈生成方法，使用wav音乐文件并借助现有机器人示教系统实现舞蹈动作自动演示；先用数据库librosa读取音频文件并获取音频特征，得到音频特征数据集；再用动作转化器读取舞蹈动作文件并获取舞蹈特征，得到舞蹈特征数据集；然后构建全注意力跨膜态转换器模型，对种子动作和音频特征进行编码后生成未来动作序列，最后制作并输出舞蹈动画，通过全注意力跨模态变换器模型高标准地实现3D动作序列特征的合成，解决传统人工3D编舞耗时耗力成本高和需要专业人员完成的难题；其总体工艺设计科学合理，使用操作灵便，制备效率高、效果好，应用范围广，应用环境友好。
Description
技术领域
本发明属于人工智能动画制备技术领域，涉及一种基于全注意力的采用音频转换器、动作转换器和跨模态变换器实现舞蹈动作和音频相结合完成自动化编舞并生成带有音频的动画视频的技术方案，特别涉及一种跨模态变换器模型式自动舞蹈生成方法。
背景技术
伴随着计算机技术的不断发展，多媒体在实际的生活、生产和学习中使用愈来愈广泛。3D舞蹈动作是多媒体的一个重要体现，3D舞蹈动作包含了舞蹈动作和音频，主要是将舞蹈动作和音频进行编码后实现可视化，传统人工3D编舞不仅耗时耗力成本高，而且需要专业人员完成，该方法效率较低且对编舞人员技术要求高。在现有技术中，中国专利CN114676623A 一种编舞知识的人工智能表示方法，涉及到PDDL3.0，PDDL3.0支持的偏好允许人们在目标规划上描述他们的喜好特征并设计度量进行约束，最终让规划器求解的过程中尽量满足这个偏好，在舞蹈编排知识中的体现就是舞蹈专家在研究一个舞蹈如何更好的去设计的过程包括使用规划器根据偏好与目标求解得到一个规划解，其中偏好包括节奏偏好、同步控制、缓冲同步、动作连贯和动作定制，所述节奏偏好允许用户选择或直接根据音乐信息来定义舞蹈节奏的快，中，慢，虽然方便了动作的幅度和持续时间根据音乐特征信息来进行调整，但是缺少了与音频的配合，没有涉及到音频的特征提取，从而使得舞蹈动作不能与音频契合，让舞蹈动作可视化程度较低。
中国专利CN114700958A 一种基于舞蹈库的机器人实时编舞系统，包括舞蹈基本动作库构建模块、周围环境音乐实时分析模块、基本动作选取模块和节拍与基本动作同步模块，所述周围环境音乐实时分析模块、基本动作选取模块和节拍与基本动作同步模块分别与舞蹈基本动作库构建模块相连。属于人工智能和机器人技术领域，具体是一种基于舞蹈库的机器人实时编舞系统，通过预先构建的舞蹈基本动作连贯关系表，将实时分析获取到的音乐特征信息从舞蹈基本动作连贯关系表中匹配基本动作，虽然该系统通过预先设定好的事务流程逻辑，更好地体现编舞过程的智能化和保证该方法被正确、顺利地实现，但是没有实现独立的舞蹈动作和音频的结合，仅实现了根据音乐特征信息实现了编舞，其功能单一，不能实现提取的音频特征和舞蹈动作的结合。
中国专利CN114707564A 一种基于机器学习与智能规划的机器人自动编舞系统，包括分类器模块、音频处理模块和规划模块。本发明属于机器人和人工智能技术领域，具体是一种基于机器学习与智能规划的机器人自动编舞系统，结合了机器学习与PDDL技术，在有着少量数据集的同时，融入了专家知识，让机器人舞蹈更加的贴近音乐，也更具有观赏性，虽然成功的解决了以往机器人编舞系统所需要的大量数据集和缺少真正专家知识的问题，有效的提高了机器人编舞的观赏性和优美度，但是缺少对舞蹈动作的特征提取，导致舞蹈动作的可视化效果差。
经发明人检索和分析，在现有技术中均尚未公开一种基于全注意力的同时实现音频特征和舞蹈动作特征提取的自动编舞方法。因此，发明一种跨模态变换器模型式自动舞蹈生成方法可以改进现有技术的不足，优化舞蹈动作可视化效果。
发明内容
本发明的目的在于克服现有技术存在的缺点，解决上述自动编舞方法存在不能同时实现舞蹈动作和音频的特征提取，且舞蹈动作可视化效果差的技术问题，寻求设计一种基于全注意力的同时实现音频特征和舞蹈动作特征提取的自动编舞方法，特别是一种跨模态变换器模型式自动舞蹈生成方法。
为了实现上述目的，本发明提供了一种基于全注意力跨模态变换器模型自动舞蹈生成方法，其具体技术工艺包括以下步骤：
（1）音频特征数据集制备：使用数据库librosa读取wav格式的音频文件，并获取音频的起始强度包络、mcff特征、chroma_cens特征、峰值和节拍特征，得到音频特征数据集；
（2）舞蹈特征数据集制备：使用动作转化器读取舞蹈动作文件，并获取舞蹈的单一动作和过程性动作的特征，得到舞蹈特征数据集；
（3）编码处理：构建全注意力跨模态变换器模型，使用全注意力跨模态变换器模型中单独的动作转化器和音频转换器对舞蹈特征数据集的种子动作和音频特征数据集的音频进行提取编码；
（4）动作序列制备：编码后的种子动作和音频通过嵌入向量串联并发送至全注意力跨模态变换器模型，根据动作和音频学习两种模态之间的对应关系生成N个未来动作序列；
（5）舞蹈动画制备：利用N个未来动作序列训练全注意力跨模态变换器模型，接收一段音频和一个2秒的种子动作序列，生成与输入音频相关的长时间未来动作，制作并输出3D舞蹈动画，实现全注意力跨模态变换器模型式自动舞蹈的生成。
本发明使用的音乐文件统一格式为wav，用于音频特征提取；wav能记录各种单声道或立体声的声音信息，并能保证声音不失真，选用wav文件能够更好的保存音乐的音频特征，便于通过数据库librosa进行特征提取操作，解决无编舞能力非专业人员的音乐编舞需求问题。
本发明涉及的步骤（3）中的编码处理的具体工艺方法包括以下步骤：
（3-1）以舞蹈风格为标准确定种子动作，并选择要上传编舞的音频特征数据集的音频，音频和种子动作一起上传到全注意力跨模态变换器模型；
（3-2）全注意力跨模态变换器模型接收到音频和种子动作后，先提取音频特征，然后读取种子动作文件并提取动作特征；
（3-3）调用深度学习模型，传入音频特征和动作特征，经由深度学习模型生成3D动作序列特征。
本发明涉及的方法实现时，需要借助于现有的机器人示教系统，实现舞蹈动作的自动演示；所述的机器人示教系统的主体功能部件包括：主视觉装置、机械臂主体、辅助视觉装置和上位机；主视觉装置是由控制机械臂的PC端用摄像头采集示教者的信息的装置，辅助视觉装置则是安装在机械臂操作手末端来辅助对可操作物的精确定位；主视觉装置和辅助视觉装置均包含深度摄像头、固定装置和上位机；深度摄像头用于采集人体关键点信息并操作物体世界坐标信息，安装在PC端和机器人上各一个；固定装置为将摄像头固定的支架；上位机用于图像处理，将采集的信息进行汇总分析。
本发明与现有技术相比，使用的音乐文件统一格式为wav，用于音频特征提取，wav能记录各种单声道或立体声的声音信息，并能保证声音不失真，选用wav文件可以更好的保存音乐的音频特征，且方便通过数据库librosa进行特征提取操作；音频转换器、动作转换器和跨模态变换器是联合学习的端到端设置，在使用时，预测的动作作为下一个生成步骤的输入；通过全注意力跨模态变换器模型能够高标准地实现3D动作序列特征的合成，解决传统人工3D编舞耗时耗力成本高和需要专业人员完成的难题；其总体工艺设计科学合理，使用操作灵便，制备效率高、效果好，应用范围广，应用环境友好。
附图说明
图1为本发明涉及的基于全注意力跨模态变换器模型自动舞蹈生成方法的流程结构示意框图。
图2为本发明涉及的编码处理的具体工艺方法的流程结构原理示意图。
图3为本发明涉及的制作并输出舞蹈动画的流程结构示意图。
图4为本发明涉及的姿态关键点检测的流程结构示意图。
图5为本发明涉及的坐标转换的示意图。
图6为本发明涉及的机器人示教系统的主体结构原理示意框图。
具体实施方式
以下结合附图和具体实施例对本发明的技术方案做进一步说明。
实施例1：
如图1所示，本实施例提供的一种基于全注意力跨模态变换器模型的舞蹈自动生成方法包括以下步骤：
S100：使用数据库librosa读取wav格式的音频文件，并获取音频的起始强度包络、mcff特征、chroma_cens特征、峰值和节拍特征，得到音频特征数据集；
S200：使用动作转化器读取舞蹈动作文件，并获取舞蹈的单一动作和过程性动作的特征，得到舞蹈特征数据集；
S300：构建全注意力跨模态变换器模型，使用全注意力跨模态变换器模型中单独的动作转化器和音频转换器对舞蹈特征数据集的种子动作和音频特征数据集的音频进行提取编码；
S400：编码后的种子动作和音频通过嵌入向量串联并发送至全注意力跨模态变换器模型，根据动作和音频学习两种模态之间的对应关系生成N个未来动作序列；
S500：并利用N个未来动作序列训练全注意力跨模态变换器模型，接收一段音频和一个2秒的种子动作序列，生成与输入音频相关的长时间未来动作，制作并输出3D舞蹈动画。
本实施例涉及的wav格式的音频文件的采样帧率为60f/s，窗口宽度为512；本发明使用的音乐文件统一格式为wav，用于音频特征提取；wav能记录各种单声道或立体声的声音信息，并能保证声音不失真，选用wav文件可以更好的保存音乐的音频特征，且方便通过数据库librosa进行特征提取操作。音频转换器、动作转换器和跨模态变换器是联合学习的端到端设置，在使用时，预测的动作作为下一个生成步骤的输入，本发明主要解决无编舞能力非专业人员的音乐编舞需求问题，通过全注意力跨模态变换器，只需提供动作种子与音乐文件即可完成与音乐相关的舞蹈编舞与3D舞蹈动作可视化；利用全注意力跨模态变换器网络模型代替专业3D编舞人员，依据音乐和动作种子自动化生成舞蹈动作并生成可视化的动画视频。
本实施例可以根据训练内容学习不同曲风的特点，从而协助人们进行个性化的音乐创作，极大地丰富音乐的类型和风格；进而利用人工智能技术，设计音乐辅助教学智能机器人作为教具，录入所拥有的人才库演唱的歌曲和舞蹈作为数据库，深刻体现奥尔夫音乐教育中的原本性、整体性、节奏性、交流性等特点；针对听障儿童的不同缺陷特点，音乐辅助教学智能机器人可以包含领舞领唱、问答互动、舞蹈动作评价、音乐旋律识别四大功能模块。同时机器人根据骨骼角度计算算法以及运动映射的舞蹈评价形式，评估儿童完成动作的规范性、准确性，设计出适合听障儿童缺陷的创新型教学模式，从而弥补老师、课本为中心的单一传统教学模式。
实施例2：
如图2所示，在实施例1的基础上，本实施例提供的步骤S300，具体包括：
S301：以舞蹈风格为标准确定种子动作，并选择要上传编舞的音频特征数据集的音频，音频和种子动作一起上传到全注意力跨模态变换器模型；
S302：全注意力跨模态变换器模型接收到音频和种子动作后，先提取音频特征，读取种子动作文件并提取动作特征；
S303：然后调用深度学习模型，传入音频特征和动作特征，经由深度学习模型生成3D动作序列特征。
本实施例的技术方案的工作原理和有益效果为：按照舞蹈风格确定舞蹈的种子动作，将音频和种子动作上传到全注意力跨模态变换器模型，通过特征提取算法提取音频特征，读取种子动作文件并提取动作特征，由深度学习模型生成3D动作序列特征，经过特征提取和深度学习实现了音频特征与舞蹈特征的结合，实现了3D动作序列特征的合成，较好的解决了传统人工3D编舞不仅耗时耗力成本高，且需要专业人员完成，该方法效率不高且对编舞人员技术要求高的问题，高标准的实现了3D动作序列特征的生成。
实施例3：
如图3所示，在实施例1的基础上，本实施例提供的步骤S500，包括：
S501：将得到的3D动作序列特征转换为.fbx骨骼文件和.fbx动作文件，通过Blender软件脚本渲染生成3D舞蹈视频，并下发到用户端；
S502：用户端提示合成完成，即可播放下载视频。
上述实施例的技术方案的工作原理和有益效果为：本发明通过提供音频和选择舞蹈风格（种子动作），在经过音频文件的特征提取和神经网络等处理，得到一个3D人物动作序列，经由3D软件的渲染便生成一段虚拟舞蹈视频，用户可尽情发挥自己的想象，创造出无限可能的舞蹈视频。
实施例4：
在实施例1的基础上，本实施例提供的步骤S500制作并输出3D舞蹈动画至机器人实现舞蹈的教学和演示，具体包括：
（1）姿态关键点检测，机械臂空间以第一个关节为原点，竖直方向为z轴，初始状态朝向为x轴，与x轴呈90度方向为y轴，映射到人体关键点上就是操作台对应人体手掌位置，原点位置对应人体的大臂关节处，具体过程如图4所示。
（2）舞蹈动画中人体与机械臂坐标之间的坐标转换，将拍摄舞蹈动画中人体的坐标系转换为机械臂坐标系，具体过程如图5所示。
实施例5：
如图6所示，在实施例1的基础上，本实施例提供的基于全注意力跨模态变换器模型的舞蹈自动生成方法搭载在机器人示教系统上实现舞蹈动作的自动演示，该系统包括：主视觉装置、机械臂主体、辅助视觉装置和上位机；主视觉装置是由控制机械臂的PC端用摄像头采集示教者的信息的装置，辅助视觉装置则是安装在机械臂操作手末端来辅助对可操作物的精确定位；主视觉装置和辅助视觉装置均包含深度摄像头、固定装置和上位机；深度摄像头用于采集人体关键点信息并操作物体世界坐标信息，安装在PC端和机器人上各一个；固定装置为将摄像头固定的支架；上位机用于图像处理，将采集的信息进行汇总分析。
实施例6：
本实施例的实施在于验证实施例1-5涉及的基于全注意力跨模态变换器模型的舞蹈自动生成方法在机器人示教的使用效果，主要进行了以下的对比实验：
（1）实验设备：使用本实施例5涉及的机器人示教系统；
（2）实验方法：首先通过视觉系统获取舞蹈动作的示教信息，再将示信息传递给计算机，计算机根据所写的图像处理算法，得到机器人示教的规划路径信息，同时结合速度规划算法确定机器人的相关运动参数，最后再将相关控制参数发送给机器人的控制器，从而带动执行系统动作，实现基于视觉的舞蹈动作的示教功能。
（3）实验结果：
表1 示教结果表
Claims (2)
1.一种跨模态变换器模型式自动舞蹈生成方法，其特征在于，包括以下步骤：
（1）音频特征数据集制备：使用数据库librosa读取wav格式的音频文件，并获取音频的起始强度包络、mcff特征、chroma_cens特征、峰值和节拍特征，得到音频特征数据集；
（2）舞蹈特征数据集制备：使用动作转化器读取舞蹈动作文件，并获取舞蹈的单一动作和过程性动作的特征，得到舞蹈特征数据集；
（3）编码处理：构建全注意力跨模态变换器模型，使用全注意力跨模态变换器模型中单独的动作转化器和音频转换器对舞蹈特征数据集的种子动作和音频特征数据集的音频进行提取编码；其编码处理包括以下步骤：
（3-1）以舞蹈风格为标准确定种子动作，并选择要上传编舞的音频特征数据集的音频，音频和种子动作一起上传到全注意力跨模态变换器模型；
（3-2）全注意力跨模态变换器模型接收到音频和种子动作后，先提取音频特征，然后读取种子动作文件并提取动作特征；
（3-3）调用深度学习模型，传入音频特征和动作特征，经由深度学习模型生成3D动作序列特征；
（4）动作序列制备：编码后的种子动作和音频通过嵌入向量串联并发送至全注意力跨模态变换器模型，根据动作和音频学习两种模态之间的对应关系生成N个未来动作序列；
（5）舞蹈动画制备：利用N个未来动作序列训练全注意力跨模态变换器模型，接收一段音频和一个2秒的种子动作序列，生成与输入音频相关的长时间未来动作，制作并输出3D舞蹈动画；需要借助于机器人示教系统，实现舞蹈动作的自动演示。
2.根据权利要求1所述的跨模态变换器模型式自动舞蹈生成方法，其特征在于：使用的机器人示教系统主体功能部件包括主视觉装置、机械臂主体、辅助视觉装置和上位机；主视觉装置是由控制机械臂的PC端用摄像头采集示教者的信息的装置，辅助视觉装置则是安装在机械臂操作手末端来辅助对可操作物的精确定位；主视觉装置和辅助视觉装置均包含深度摄像头、固定装置和上位机；深度摄像头用于采集人体关键点信息并操作物体世界坐标信息，安装在PC端和机器人上各一个；固定装置为将摄像头固定的支架；上位机用于图像处理，将采集的信息进行汇总分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310132703.9A CN115861494B (zh) | 2023-02-20 | 2023-02-20 | 一种跨模态变换器模型式自动舞蹈生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310132703.9A CN115861494B (zh) | 2023-02-20 | 2023-02-20 | 一种跨模态变换器模型式自动舞蹈生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115861494A CN115861494A (zh) | 2023-03-28 |
| CN115861494B true CN115861494B (zh) | 2023-06-13 |
Family
ID=85658385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310132703.9A Active CN115861494B (zh) | 2023-02-20 | 2023-02-20 | 一种跨模态变换器模型式自动舞蹈生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861494B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117710533B (zh) * | 2024-02-02 | 2024-04-30 | 江西师范大学 | 一种基于扩散模型的音乐条件化舞蹈动画生成方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113750523A (zh) * | 2021-04-19 | 2021-12-07 | 腾讯科技（深圳）有限公司 | 三维虚拟对象的动作生成方法、装置、设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN210847488U (zh) * | 2019-05-14 | 2020-06-26 | 中国地质大学（武汉） | 基于计算机视觉的机器人激光清洗路径规划装置 |
| CN111080752B (zh) * | 2019-12-13 | 2023-08-22 | 北京达佳互联信息技术有限公司 | 基于音频的动作序列生成方法、装置以及电子设备 |
| CN114707564A (zh) * | 2020-11-23 | 2022-07-05 | 嘉应学院 | 一种基于机器学习与智能规划的机器人自动编舞系统 |
| CN113822192B (zh) * | 2021-09-18 | 2023-06-30 | 山东大学 | 一种基于Transformer的多模态特征融合的在押人员情感识别方法、设备及介质 |
-
2023
- 2023-02-20 CN CN202310132703.9A patent/CN115861494B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113750523A (zh) * | 2021-04-19 | 2021-12-07 | 腾讯科技（深圳）有限公司 | 三维虚拟对象的动作生成方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115861494A (zh) | 2023-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108777081B (zh) | 一种虚拟舞蹈教学方法及系统 | |
| CN110599573B (zh) | 一种基于单目相机的人脸实时交互动画的实现方法 | |
| Marrin | Toward an understanding of musical gesture: Mapping expressive intention with the digital baton | |
| US9431027B2 (en) | Synchronized gesture and speech production for humanoid robots using random numbers | |
| JP6942300B2 (ja) | コンピュータグラフィックスのプログラム、表示装置、送信装置、受信装置、動画生成装置、データ変換装置、データ生成装置、情報処理方法及び情報処理システム | |
| CN103258338A (zh) | 利用真实数据来驱动仿真的虚拟环境的方法和系统 | |
| CN115861494B (zh) | 一种跨模态变换器模型式自动舞蹈生成方法 | |
| KR20170086317A (ko) | 타이밍 변환을 이용한 3차원 캐릭터 동작 생성 장치 및 방법 | |
| CN103258340B (zh) | 富有情感表达能力的三维可视化中文普通话发音词典的发音方法 | |
| CN113521711B (zh) | 一种舞蹈训练辅助系统及方法 | |
| CN116528016A (zh) | 音视频合成方法、服务器和可读存储介质 | |
| Kim et al. | Seen music: ambient music data visualization for children with hearing impairments | |
| CN113781609A (zh) | 一种基于音乐节奏的舞蹈动作实时生成系统 | |
| CN112381913B (zh) | 基于3d建模与口腔解剖的动态发音教学模型构建方法 | |
| Mao et al. | A sketch-based gesture interface for rough 3D stick figure animation | |
| CN100454342C (zh) | 三维植物体音乐动画系统 | |
| Oliveira et al. | A parameterizable spatiotemporal representation of popular dance styles for humanoid dancing characters | |
| Sun | Research on dance motion capture technology for visualization requirements | |
| He et al. | Automatic generation algorithm analysis of dance movements based on music–action association | |
| Tian et al. | Augmented Reality Animation Image Information Extraction and Modeling Based on Generative Adversarial Network | |
| CN117292094B (zh) | 一种岩洞内演艺剧场的数字化应用方法及系统 | |
| CN110782533B (zh) | 一种虚拟预演中虚拟角色交互控制的系统 | |
| Hu | Visual Presentation Algorithm of Dance Arrangement and CAD Based on Big Data Analysis | |
| Al Kork et al. | A Novel Human Interaction Game-like Application to Learn, Perform and Evaluate Modern Contemporary Singing-" Human Beat Box". | |
| CN115841776B (zh) | 基于vr/ar的先天性心脏病血流动力学仿真教学方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |