CN113014875A - 一种海豚声像同步采集系统 - Google Patents
一种海豚声像同步采集系统 Download PDFInfo
- Publication number
- CN113014875A CN113014875A CN202110209094.3A CN202110209094A CN113014875A CN 113014875 A CN113014875 A CN 113014875A CN 202110209094 A CN202110209094 A CN 202110209094A CN 113014875 A CN113014875 A CN 113014875A
- Authority
- CN
- China
- Prior art keywords
- sound
- dolphin
- acquisition
- underwater
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241001481833 Coryphaena hippurus Species 0.000 title claims abstract description 88
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 42
- 238000013500 data storage Methods 0.000 claims abstract description 19
- 230000005236 sound signal Effects 0.000 claims abstract description 19
- 238000011160 research Methods 0.000 claims abstract description 12
- 238000011045 prefiltration Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 11
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 7
- 229910052744 lithium Inorganic materials 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000003491 array Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000006399 behavior Effects 0.000 abstract description 17
- 238000000034 method Methods 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 230000019771 cognition Effects 0.000 abstract description 3
- 238000010276 construction Methods 0.000 abstract description 3
- 239000011664 nicotinic acid Substances 0.000 abstract description 3
- 238000001228 spectrum Methods 0.000 abstract description 3
- 238000012549 training Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 241000283153 Cetacea Species 0.000 description 4
- 241001125840 Coryphaenidae Species 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002431 foraging effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Studio Devices (AREA)
Abstract
一种海豚声像同步采集系统，属于声信号和视频信号同步采集技术领域。包括声音采集模块、水下视频采集模块、数据存储模块、供电模块和主控软件；声音采集模块由高频宽带水听器、前置滤波放大器和多通道高频同步采集卡组成；水下视频采集模块由水下摄像头和水下照明灯组成；所述数据存储模块由装有主控软件的高性能计算机组成；所述供电模块向声音采集模块、视频采集模块和数据存储模块提供电力支持；主控软件用于同一个时钟控制声音采集模块和视频采集模块的采集时间。可同步获取海豚声音和水下行为数据，为开展海豚声行为研究提供基础数据，对海豚行为谱的构建、不同行为下海豚声音解读、海豚生物学认知、海豚仿生训练等具有重要意义。
Description
技术领域
本发明属于声信号和视频信号同步采集技术领域，尤其是涉及海豚声音和行为视频同步记录的一种海豚声像同步采集系统。
背景技术
海洋哺乳动物中齿鲸亚目鲸类里有超过65种的鲸豚类具有生物声呐系统。作为齿鲸类的一个重要成员，海豚具有优越的声呐系统，能够在水下发出多种类型的声音。海豚发出的声音在其生命活动中有着至关重要的作用，通过声音进行水下定位、探测环境、觅食、交流信息和个体识别等。海豚发声与其行为密切相关，不同的行为下声音存在明显差异性。海豚声音及行为研究对于海豚声呐机理分析、海豚种群声学监测、海豚保护以及海豚声呐仿生等具有重要意义，已成为国内外声学领域尤其是水声研究领域非常重视和关注的热点。
海豚声信号和同步行为采集是进行海豚声呐相关研究的前提。海豚声信号种类繁多，既有高频宽带脉冲信号，也有中低频连续信号，且具有指向性。海豚声信号频率范围从几百Hz到200kHz以上，信号强度变化较大，最高可达230dB。对海豚声信号采集，需要多通道、高采样率、高存储量、低功耗的设备。国外在海豚声信号采集方面研究较早，总体水平高于我国。经历了单水听器、水听器阵列、单通道自容式长时间序列采集、多通道自容式长时间序列采集等阶段，国外具有成熟的商品化海豚声音记录设备，但未见海豚声音和水下视频同步采集的设备。
目前，国内海豚声信号采集设备偏重于海豚声音采集，视频采集只能通过空气中布放的摄像头以及水下摄像机。虽然这种采集模式能记录到声信号采集期间的海豚行为等视频信息，但由于视频记录与声音采集不是同一个时钟控制，因此无法精确同步，造成后续研究的诸多局限性，难以开展海豚声信号与行为相关性研究。
发明内容
本发明目的在于针对现有技术存在的上述问题，提供一种海豚声像同步采集系统，该系统可同步获取海豚声音和水下行为数据，为开展海豚声行为研究提供基础数据，对海豚行为谱的构建、不同行为下海豚声音解读、海豚生物学认知、海豚仿生训练等具有重要意义。
本发明包括声音采集模块、水下视频采集模块、数据存储模块、供电模块和主控软件；
所述声音采集模块，用于海豚声信号的采集，由高频宽带水听器、前置滤波放大器和多通道高频同步采集卡组成；高频宽带水听器，用于接收海豚声音，并将声音转换为电压信号；前置滤波放大器，用于将高频宽带水听器接收到的海豚声音信号放大、滤波；多通道高频同步采集卡，用于模数转换，将前置放大器输入的海豚声音信号转成数字信号；
所述水下视频采集模块，用于海豚水下视频数据的采集，由水下摄像头和水下照明灯组成；水下摄像头用于实时接收海豚水下视频数据，水下照明灯为水下摄像头提供光源；
所述数据存储模块，用于存储声音采集模块和视频采集模块采集到的声音和影像数据，由装有主控软件的高性能计算机组成；
所述供电模块，用于向声音采集模块、视频采集模块和数据存储模块提供电力支持，采用通用交流电或锂电池或干电池；
所述主控软件，用于同一个时钟控制声音采集模块和视频采集模块的采集时间，由一个主程序和三个功能程序组成；主程序，用于引导进入各功能程序或者单独运行某个功能程序；三个功能程序根据采集需求，分别用于实现海豚声像同步采集、海豚声音采集和海豚水下视频采集功能。
所述主控软件，基于LabView平台调用同一个时钟控制海豚声音采集和水下视频采集的启动和停止，实现海豚声音和水下视频的同步采集。
所述声音采集模块模块，具备多通道同步采集功能，可采用多个高频宽带水听器组成不同类型的阵列，能够实现海豚声源级计算、声呐指向性研究、三维空间定位、运动轨迹追踪。
所述水下视频采集模块，采用ONVIF开放网络视频接口协议的网络水下工业摄像头，基于LabView调用Webclient ActiveX控件控制水下视频记录、存储、图像抓拍。
所述数据存储模块，采用NI公司的一种二进制记录文件——TDMS文件作为数据存储文件，兼顾了高速、海量和易存取等多种优势，具备的三个逻辑层及附加特定属性。
本发明基于NI-DAQmx软件驱动的声信号采集设备和满足GIGE千兆网接口和ONVIF开放网络视频接口协议的网络水下工业摄像头，设计一种海豚声像同步采集系统，实现海豚声音和水下视频的同步采集。与现有技术相比，本发明的优点在于：
1)本发明提供的海豚声音采集模块，具备多通道同步采集功能，采用多个高频宽带水听器组成不同类型的阵列，能够实现海豚声源级计算、声呐指向性研究、三维空间定位、运动轨迹追踪等，应用范围广泛；
2)本发明提供的主控软件，将海豚声像同步采集系统中的海豚声音采集和水下视频采集两项功能拆分，独立设计为“海豚声音采集系统”和“海豚水下视频采集系统”，满足更加灵活、方便的应用；
3)本发明提供的海豚声像同步采集系统，支持所有NI-DAQmx软件驱动的声信号采集设备和所有满足GIGE千兆网接口和ONVIF开放网络视频接口协议的网络水下工业摄像头，使系统组成具有很高的灵活性，可扩展应用于多机位联合监控(理论最高可达255台)。
附图说明
图1是本发明实施例的海豚声像同步采集系统框架图；
图2是本发明实施例的前置滤波放大器功能图；
图3是本发明实施例的主控软件引导主程序界面图；
图4是本发明实施例的主控软件功能程序界面图。
具体实施方式
以下实施例将结合附图对本发明作进一步详细描述。
本发明基于LabView平台调用Webclient ActiveX控件，构建一种海豚声像同步采集系统，从而实现海豚声音和水下视频同步获取。
本发明实施例所述海豚声像同步采集系统框架如图1所示，包括声音采集模块、水下视频采集模块、数据存储模块、供电模块和主控软件。
所述声音采集模块，包括：高频宽带水听器、前置滤波放大器和多通道高频同步采集卡。
所述高频宽带水听器具有全指向性，频率响覆盖100Hz～200kHz，一致性不大于±3dB，含前放灵敏度不小于-186dB，1～8个可选，可组成垂直阵或十字阵或三维空间阵。高频宽带水听器与前置滤波放大器之间通过BNC头连接。
所述前置滤波放大器专门为海豚声音信号设计，其功能图如图2所示。前置滤波放大器的个数与高频水听器一致，具有1MHz的带宽和良好的低频噪声特性，0dB～50dB范围内6档可调的放大增益，1Hz～250kHz范围内10档可调的高通滤波，1kHz～1MHz范围内10档可调的低通滤波。前置滤波放大器与多通道高频同步采集卡之间通过BNC头连接。
所述多通道高频同步采集卡，不少于8个通道，每通道最高A/D采样率不小于1.0MS/s，采样精度不小于16bits，幅度范围不小于±10V，具备同步采集功能。多通道高频同步采集卡与数据存储模块之间通过USB连接。
所述水下视频采集模块，包括水下摄像头和水下照明灯。
所述水下摄像头，防水深度不小于100m，200万像素，焦距2.8～12mm，视频输出1920*1080，H.264视频编码，具备广角特性和标准网络接口，接口协议ONVIF，可通过WEB方式进行参数设置。水下摄像头与数据存储模块之间通过网口连接。
所述水下照明灯，防水深度不小于200m，3500流明，正白光，色温5800k，采用线性驱动技术，无频闪，具备PWM调光功能。
所述数据存储模块，由高性能计算机组成，并配备USB接口和标准网口，存储空间不小于1TB。数据存储文件，采用NI公司的一种二进制记录文件——TDMS文件，兼顾高速、海量和易存取等多种优势，具备的三个逻辑层及附加特定属性，有利于程序开发者和使用者有序、清晰地开展各种数据分析或在函数调用间进行无缝交互。
所述供电模块，为海豚声像同步采集系统供电，采用通用交流电或锂电池或干电池。其中，声音采集模块，电源电压在11～30V范围，主要采用12V和24V的锂电池组或干电池组供电；水下摄像头采用12V的锂电池组或干电池组供电，水下照明灯采用24V或36V的锂电池组或干电池组供电；数据存储模块，由计算机自带的锂电池组或通用220V交流电供电，也可采用逆变器将蓄电池电能转变成220V交流电。
所述主控软件，用于调用同一个时钟控制海豚声音采集和水下视频采集的启动和停止，以实现精确同步。基于NI LabVIEW平台开发，采用图形化编辑语言G编写程序，具备友好的可视化界面，包括一个引导主程序和三个功能程序。引导主程序，包括通用工具栏、功能程序选择按钮和停止按钮，界面如图3所示。三个功能程序，包括通用工具栏、参数配置、声信号显示、水下视频显示、存储路径选择、水下视频抓拍和停止等，界面如图4所示。主控软件可在具有32位或64位的Windows XP/Win7/Win8/Win10操作系统的计算机上使用。
本发明海豚声音采集模块，具备多通道同步采集功能，可采用多个高频宽带水听器组成平面阵列和立体空间阵列，能够实现海豚声源级计算、声呐指向性研究、三维空间定位、运动轨迹追踪等，应用范围广泛。本发明基于LabView平台，调用同一个时钟控制海豚声音采集和水下视频采集的启停，实现声音和水下视频的精确同步，对海豚行为谱的构建、不同行为下海豚声音解读、海豚生物学认知、海豚仿生训练等具有重要意义。该系统支持所有NI-DAQmx软件驱动的声信号采集设备和所有满足GIGE千兆网接口和ONVIF开放网络视频接口协议的网络水下工业摄像头，具有较高灵活性。
以上所述仅为本发明的实施例，并非因此限制本发明的范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明保护范围内。
Claims (5)
1.一种海豚声像同步采集系统，其特征在于包括声音采集模块、水下视频采集模块、数据存储模块、供电模块和主控软件；
所述声音采集模块，用于海豚声信号的采集，由高频宽带水听器、前置滤波放大器和多通道高频同步采集卡组成；高频宽带水听器，用于接收海豚声音，并将声音转换为电压信号；前置滤波放大器，用于将高频宽带水听器接收到的海豚声音信号放大、滤波；多通道高频同步采集卡，用于模数转换，将前置放大器输入的海豚声音信号转成数字信号；
所述水下视频采集模块，用于海豚水下视频数据的采集，由水下摄像头和水下照明灯组成；水下摄像头用于实时接收海豚水下视频数据，水下照明灯为水下摄像头提供光源；
所述数据存储模块，用于存储声音采集模块和视频采集模块采集到的声音和影像数据，由装有主控软件的高性能计算机组成；
所述供电模块，用于向声音采集模块、视频采集模块和数据存储模块提供电力支持，采用通用交流电或锂电池或干电池；
所述主控软件，用于同一个时钟控制声音采集模块和视频采集模块的采集时间，由一个主程序和三个功能程序组成；主程序，用于引导进入各功能程序或者单独运行某个功能程序；三个功能程序根据采集需求，分别用于实现海豚声像同步采集、海豚声音采集和海豚水下视频采集功能。
2.如权利要求1所述一种海豚声像同步采集系统，其特征在于所述声音采集模块模块，具备多通道同步采集功能，采用多个高频宽带水听器组成不同类型的阵列，用于实现海豚声源级计算、声呐指向性研究、三维空间定位、运动轨迹追踪。
3.如权利要求1所述一种海豚声像同步采集系统，其特征在于所述水下视频采集模块，采用ONVIF开放网络视频接口协议的网络水下工业摄像头，基于LabView调用WebclientActiveX控件控制水下视频记录、存储、图像抓拍。
4.如权利要求1所述一种海豚声像同步采集系统，其特征在于所述数据存储模块，采用NI公司的二进制记录文件——TDMS文件作为数据存储文件，具备三个逻辑层及附加特定属性。
5.如权利要求1所述一种海豚声像同步采集系统，其特征在于所述主控软件，基于LabView平台调用同一个时钟控制海豚声音采集和水下视频采集的启动和停止，用于实现海豚声音和水下视频的同步采集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110209094.3A CN113014875B (zh) | 2021-02-24 | 2021-02-24 | 一种海豚声像同步采集系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110209094.3A CN113014875B (zh) | 2021-02-24 | 2021-02-24 | 一种海豚声像同步采集系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113014875A true CN113014875A (zh) | 2021-06-22 |
| CN113014875B CN113014875B (zh) | 2022-06-03 |
Family
ID=76387332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110209094.3A Expired - Fee Related CN113014875B (zh) | 2021-02-24 | 2021-02-24 | 一种海豚声像同步采集系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113014875B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040165478A1 (en) * | 2000-07-08 | 2004-08-26 | Harmon John B. | Biomimetic sonar system and method |
| US20050229769A1 (en) * | 2004-04-05 | 2005-10-20 | Nathaniel Resnikoff | System and method for assigning visual markers to the output of a filter bank |
| CN101650430A (zh) * | 2008-12-26 | 2010-02-17 | 中国科学院声学研究所 | 一种海豚声信号录取系统及方法 |
| KR101041169B1 (ko) * | 2011-02-11 | 2011-06-15 | (주)대지이엔지 | 해저지형정보에 대한 지리정보데이터 수집시스템 |
| US10042038B1 (en) * | 2015-09-01 | 2018-08-07 | Digimarc Corporation | Mobile devices and methods employing acoustic vector sensors |
| CN108627241A (zh) * | 2018-05-11 | 2018-10-09 | 西安理工大学 | 一种基于高斯混合模型的宽吻海豚click信号检测方法 |
| CN109143171A (zh) * | 2018-08-24 | 2019-01-04 | 天津市海为科技发展有限公司 | 模块化阵列声信号实时处理系统 |
| CN111157998A (zh) * | 2020-01-02 | 2020-05-15 | 自然资源部第三海洋研究所 | 一种海豚水下定位系统及方法 |
-
2021
- 2021-02-24 CN CN202110209094.3A patent/CN113014875B/zh not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040165478A1 (en) * | 2000-07-08 | 2004-08-26 | Harmon John B. | Biomimetic sonar system and method |
| US20050229769A1 (en) * | 2004-04-05 | 2005-10-20 | Nathaniel Resnikoff | System and method for assigning visual markers to the output of a filter bank |
| CN101650430A (zh) * | 2008-12-26 | 2010-02-17 | 中国科学院声学研究所 | 一种海豚声信号录取系统及方法 |
| KR101041169B1 (ko) * | 2011-02-11 | 2011-06-15 | (주)대지이엔지 | 해저지형정보에 대한 지리정보데이터 수집시스템 |
| US10042038B1 (en) * | 2015-09-01 | 2018-08-07 | Digimarc Corporation | Mobile devices and methods employing acoustic vector sensors |
| CN108627241A (zh) * | 2018-05-11 | 2018-10-09 | 西安理工大学 | 一种基于高斯混合模型的宽吻海豚click信号检测方法 |
| CN109143171A (zh) * | 2018-08-24 | 2019-01-04 | 天津市海为科技发展有限公司 | 模块化阵列声信号实时处理系统 |
| CN111157998A (zh) * | 2020-01-02 | 2020-05-15 | 自然资源部第三海洋研究所 | 一种海豚水下定位系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| WHITLOW W.L. AU等: "Echolocation signals of wild Atlantic spotted dolphin (Stenella frontalis)", 《JOURNAL OF THE ACOUSTICAL SOCIETY OF AMERICA》 * |
| 贾艳洁: "基于麦克风阵列的蝙蝠三维声束可视化系统设计", 《中国优秀博硕士学位论文全文数据库（硕士）基础科学辑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113014875B (zh) | 2022-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104306018A (zh) | 具有胎音监护、胎动检测及胎动轨迹诱导功能的可穿戴式胎教腹带系统 | |
| CN106128188A (zh) | 桌面教育专注度分析系统及其分析方法 | |
| JP2012093399A (ja) | 音場可視化システム | |
| CN102697573A (zh) | 用于创伤应激实验的装置 | |
| CN113014875B (zh) | 一种海豚声像同步采集系统 | |
| CN101189571A (zh) | 具有组合频率范围的声传感器 | |
| CN204500970U (zh) | 用于研究批量小动物焦虑/恐惧行为反应的实验装置 | |
| CN103169471A (zh) | 一种便携式脑电检测系统 | |
| CN111508531A (zh) | 音频处理方法及装置 | |
| CN204836738U (zh) | 一种声控音乐灯群 | |
| CN206964625U (zh) | 一种双通道动物神经元信号记录与同步刺激系统 | |
| CN101038705A (zh) | 一种胎教机 | |
| CN105681770A (zh) | 一种多dsp声呐信号并行处理系统 | |
| CN207541948U (zh) | 音频播放器和音频播放装置 | |
| CN204287475U (zh) | 拖曳阵声呐系统 | |
| CN214068306U (zh) | 一种led信息显示播报屏 | |
| CN205232407U (zh) | 一种智能话筒 | |
| CN219657558U (zh) | 一种检疫智能耳 | |
| CN107154174A (zh) | 智能学习方法、装置、终端与系统 | |
| CN208446149U (zh) | 一种植物情感表达互动装置 | |
| CN203224444U (zh) | 基于反射图像分析的土壤养分检测系统 | |
| CN203981270U (zh) | 一种数字式水下噪声测量装置 | |
| CN113951833A (zh) | 一种通道可拔插式便携近红外脑功能成像系统及方法 | |
| CN207458368U (zh) | 一种教学用听诊系统 | |
| CN211296934U (zh) | 演示器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220603 |