CN105338326B - 一种嵌入式高空间高光谱分辨率视频采集系统 - Google Patents

一种嵌入式高空间高光谱分辨率视频采集系统 Download PDF

Info

Publication number
CN105338326B
CN105338326B CN201510836532.3A CN201510836532A CN105338326B CN 105338326 B CN105338326 B CN 105338326B CN 201510836532 A CN201510836532 A CN 201510836532A CN 105338326 B CN105338326 B CN 105338326B
Authority
CN
China
Prior art keywords
video
memory
processor
rgb
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510836532.3A
Other languages
English (en)
Other versions
CN105338326A (zh
Inventor
曹汛
黄雷钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201510836532.3A priority Critical patent/CN105338326B/zh
Publication of CN105338326A publication Critical patent/CN105338326A/zh
Application granted granted Critical
Publication of CN105338326B publication Critical patent/CN105338326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种嵌入式高空间高光谱分辨率的视频采集系统。该系统的视频采集卡将采集的RGB和灰度两路视频送至存储器,处理器对两路视频解码分离出RGB图像信号、灰度图像信号并进行同步对齐校正;通过主成分分析方法降低像素点的光谱信息维度简化计算量;然后在处理器上多线程并行化执行双边滤波的光谱传播算法,得到视频帧所有像素点的光谱信息;再通过主成分分析方法恢复高分辨率的光谱信息;将数据存储到存储器中,通过显示设备显示采集处理分析过程;最后将存储器中的光谱数据通过网络传输到远程主机。本发明的系统将视频的采集、处理、分析和显示等多过程一体化实现,具有小型化和一体化的特点,便于携带使用。

Description

一种嵌入式高空间高光谱分辨率视频采集系统
技术领域
本发明涉及视频图像处理领域,特别涉及一种在嵌入式平台下并行化实现双边滤波算法,得到高空间分辨率和高光谱分辨率的视频采集系统。
背景技术
传统光谱仪的光谱采集技术主要利用光线的散射,衍射与滤光片的光谱域带通特性将单束光线在空间中变为单光谱光线进行采集,当光线在光谱维度上分开后,使用光传感器就能够对不同谱段的光线光强进行独立的测量,进而能够采集得到光线的光谱信息。但是光谱仪光学结构复杂,实现困难,价格昂贵,体积庞大,不便移动,应用受限。
普通RGB相机是基于红绿蓝三色波段对场景采集,能够获取高空间分辨率的视频流受传感器灵敏度、成像原理、曝光时间、有限感光波段等因素的限制,彩色相机得到的图像和视频帧丢失了绝大部分的光谱信息,得到的图像或是视频帧细节不能很好呈现。利用类似光谱仪原理的高灵敏度灰度相机得到的灰度图像能具有很宽光波段的光谱信息,但是其空间分辨率有限。如果把同一场景下高空间分辨率的RGB图像和高光谱分辨率的灰度图像通过算法融合,得到的图像具有高空间分辨率的像素值和高光谱分辨率的光谱响应值。目前采用的算法多为双边滤波算法,其实现过程也多为x86计算机的CPU或是可并行计算的GPU完成。但由于使用x86计算机作为处理核心,不方便移动,功耗也大,使其应用受限。
发明内容
本发明的目的是针对上述系统对计算机的依赖和实时性要求,提供了一种可移动的嵌入式平台下实现的高空间高光谱分辨率的视频采集系统。本系统能完成高空间高光谱分辨率视频采集、处理、分析、显示的全过程,不依赖于外部计算机,能做到设备的小型化和一体化,便于携带使用。
本发明采用的技术方案为:
一种嵌入式高空间高光谱分辨率的视频采集系统,包括分别与视频采集卡连接的RGB和灰度两路相机、嵌入式多核处理器、存储器、电源模块、显示设备和远程主机,其中,视频采集卡、嵌入式多核处理器、存储器和电源模块集成在一块电路板上,所述视频采集卡将采集的两路视频送至存储器,处理器对视频解码分离出RGB图像信号和灰度图像信号并进行同步对齐校正;对校正后具有高光谱分辨率的稀疏像素点,先通过主成分分析方法降低像素点的光谱信息维度简化计算量;然后在处理器上多线程并行化执行双边滤波的光谱传播算法,得到视频帧所有像素点的光谱信息;再通过主成分分析方法反变换恢复高分辨率的光谱信息;将数据存储到存储器中,通过显示设备显示采集处理分析过程;最后将存储器中的光谱数据通过网络传输到远程主机。
进一步地,在RGB和灰度两路相机的前端设有分光装置,分光装置将场景光线分为相同的两束:一束通过稀疏掩膜板采样再经过棱镜色散使光波展开,由灰度相机采集,得到光谱分辨率较高的灰度视频,另一束通过RGB相机直接采集得到空间分辨率较高的RGB视频。
所述双边滤波的光谱传播算法计算得到所有像素点在波长为400-1000nm间的高分辨率光谱信息。
优选地,所述嵌入式多核处理器采用的是NVDIA公司的tegraK1处理器,该处理器芯片内置ARMv7架构的32位4核心CORTEX-A15CPU和Kepler结构的192个CUDA核心GPU,处理器CPU作为控制核心,负责外围设备控制及与GPU的通信,处理器GPU上的CUDA核心负责双边滤波的光谱传播算法的并行化实现。
优选地,所述存储器包括内存、闪存和数据存储器,其中,闪存采用16GByteFlash,数据存储器采用64GByte的SD卡,同时闪存和数据存储器通过100/1000M的高速以太网网卡将数据传送至远程主机。
进一步地,所述电路板上还集成有音频输入/输出接口、USB接口、HDMI接口、miniPCIE接口、硬盘接口或者以上接口的组合。
本发明以嵌入式ARM处理器为核心,控制前端的RGB与灰度的两路视频采集装置,利用多核心处理器能多线程并行化实现双边滤波的光谱传播算法,将得到的高空间高光谱分辨率的视频帧数据保存至存储器并将分析结果展现在显示设备上。具有以下优点:
(1)本发明采用RGB与灰度两路相机的混合式视频采集系统,可以看作是x86计算机上类似系统的全功能移植,可以在x86计算机上开发测试和功能实现后,再整体移植到嵌入式平台下,明显减少开发周期和成本。
(2)本发明基于双边滤波的光谱传播算法来实现视频帧中所有像素点的光谱响应值,所选嵌入式处理器具有多核心特点,能多线程并行化现实双边滤波的光谱传播算法,加速算法执行速度,在保证光谱数据准确性的同时又提高系统的实时处理能力,满足实时性需要。
(3)本发明的系统集成在一块电路板上,将视频的采集,处理,分析和显示等多过程一体化实现,不需要依赖于外部计算机,能做到设备的小型化和一体化,降低功耗,便于携带,增强实用性,利于推广使用。
附图说明
图1为嵌入式高空间高光谱分辨率视频系统结构示意图;
图2为获取高空间高光谱分辨率视频系统处理流程图。
具体实施方式
本发明的核心思想是:将前端RGB和灰度两路相机采集的视频帧送至处理器,经过同步对齐校正后得到的RGB视频帧,其上面的一些均匀间隔的稀疏像素点既具有RGB像素值又具有多通道光谱响应值,设计一种基于双边滤波的融合算法,将RGB视频帧中稀疏像素点的光谱信息,通过双边滤波的处理将光谱信息传递至所有像素点。
如图1所示的嵌入式高空间高光谱分辨率的视频系统,以多核处理器为核心,与处理器芯片电连的有FLASH芯片、RAM芯片、音频输入/输出接口、RS232UART接口、nimiPCIe接口、SATA硬盘接口、HDMI接口和SD卡接口,一路USB3.0和3路USB2.0。
上述FLASH芯片为单芯片,采用eMMC 4.51协议,具体选用的是SanDisk公司SDIN8DE4-16G-Q,容量为16GByte;
上述RAM芯片由Hynix公司的H5TC4G63AFR-RDA的4颗芯片构成,总容量为2GByte,主频可达933MHz。
本系统中的数据存储介质除了上述的16GByte FLASH外,还需要通过SDMMC接口外接SD卡来动态扩展存储容量,本系统实际选用的是带宽达48Mb/s容量为64GByte的SanDisk公司的SD卡。同时,本系统也支持2.5吋或3.5吋的SATA格式硬盘,能扩展更大的存储容量,但是需要注意的是,该系统不支持SATA硬盘的热插拔,需要系统断电,连接,重启,才能正常使用。
本系统中的网络接口有多种可选,一路RTL8111GS Realtek的100/1000Base-T自适应有线Ethernet网卡和一路usb2.0的无线网卡模块,均能作为网络传输接口中将本视频系统中原始视频数据和经处理得到的光谱信息数据高速传输到远端主机,以备后期建立光谱数据库。
本系统中的一路具备OTG功能的microUSB通过microUSB to host的HUB集线器扩展为多路USB2.0host接口,以方便连接usb slave设备如键盘,鼠标,无线网络模块等。
本系统下的两路相机为PointGrey公司Grasshopper3系列工业相机,彩色相机为GS3-U3-41S4C-C,灰度相机为GS3-U3-41S4M-C其性能参数为采用sony的icx808 CCD传感器,最大分辨率为2016*2016,4.1MP,帧率可达18fps等,两个相机用视频采集卡与处理器通过miniPCIe接口相连。
本系统中的RS232UART接口可用于与Linux主机相连接,用作系统启动时的信息输出接口,用于调试。在重新烧写bootloader,kernel,根文件系统时可将系统标准输出和标准错误输出重定向至UART接口,便于调试和观察,是系统开发阶段必不可少的接口。其常见参数设置为:115200波特率,8bit数据位,无奇偶检验,1bit停止位,无流控。Linux主机和本系统中都需设置,且参数设置保持一致。
本系统通过HDMI 1.4协议与支持HDMI 1.4的显示设备直接相连,用作系统的标准输出接口。
本系统选用选用的嵌入式处理器为TegraK1,其在嵌入式处理器中性能出众,特别是GPU性能特别出众,同时也与NVDIA GPU共享CUDA架构,利于CUDA下双边滤波光谱传播算法的跨平台移植。
TegraK1的特性简单介绍如下:
32位对称4核心的ARMv7架构CORTEX-A15,主频可达2.3GHz,同时也有64位ARMv8架构的双核丹佛(Denver)CPU核心,最高主频可达2.5GHz的版本可供选择,本系统中选用32位4核心版本。
GPU采用NVIDIA Kepler高性能计算架构,共有192个CUDA核心,处理性能到达326GFLOP。
支持CUDA6.0,与NVDIA显卡共享相同的CUDA(Compute Unified DeviceArchitecture)架构,易于GPU并行计算的跨平台移植。
支持整/浮点数运算。
支持OpenGL4.4和OpenGL ES3.1。
支持针对Tegra的多核CPU/GPU优化过的OpenCV库TegraOpenCV。
本系统的4核心的Cortex-A15CPU作为设备的控制核心,控制RGB和灰度两路相机对视频的采集和传输,负责CPU内存与GPU内存间数据的搬移,处理后可通过HDMI输出,同时送至flash或SD卡中存储,最后还需要通过网络将数据传送到远端主机以建立光谱数据库。
GPU部分实现显示,更为主要的是,将CPU送来的两路视频帧数据在CUDA架构下多核心并行化实现双边滤波的光谱传播算法,加速系统的数据处理,这是本系统的核心特色。
本系统的主要工作流程可以描述为:
在两路相机前端采集利用分光镜等光学材料将场景光线分为相同的两束:一束通过稀疏掩膜板采样并经过棱镜色散使光波展开,再通过灰度相机采集,得到到高光谱分辨率的灰度视频,另一束通过RGB相机直接采集得到高空间分辨率的RGB视频。
两路视频解码分离出视频帧——高空间低光谱的RGB视频帧和同场景下低空间高光谱灰度视频帧,经过同步对齐校正形成的RGB视频帧,存在一些均匀间隔的稀疏像素点既具有RGB像素值又具有集中于400nm到1000nm波段的多通道光谱响应值。其中对齐校正的步骤可以参考文献:Cao X,Du H,Tong X,et al.A Prism-Mask System for MultispectralVideo Acquisition.IEEE Transactions on Pattern Analysis and MachineIntelligence(PAMI),Vol.33,No.12,pp.2423-2435,2011。
任一像素点的多通道光谱响应值构成的向量维度大,算法计算量大,所以本系统采用TegraOpenCV中的PCA函数在保障光谱主体信息不丢失的情况下降低光谱分辨率维度,简化算法的计算量。
通过双边滤波的光谱传播算法将这些既有光谱信息,又有RGB像素值的像素点传播到所有像素点。双边滤波的光谱传播算法公式如下:
式中Sλ(x,y)表示像素点(x,y)在波长λ处的光谱信息,(i,j)∈R表示两路视频帧经过配准后,在像素点(x,y)附近,既有光谱信息又有像素值的像素点邻域,c∈(R,G,B)表示c为RGB三颜色通道之一。
权值系数w(i,j,x,y)为定义域核d(i,j,x,y)与值域核r(i,j,x,y)的乘积。
定义域核
值核域
f(i,j)为在点(i,j)处像素值,故权值系数
ρij表示RGB颜色通道中像素点(x,y)和(i,j)的亮度比值关系(比如红色通道ρij=Rxy/Rij,Rxy为像素点(x,y)处红色通道像素值),这个尺度因子反映了各个像素间的亮度差异。
基于颜色相似性的光谱传播是通过RGB每个通道独立完成的,需要将(i,j)点处的光谱信息独立分配到RGB的三个通道的,分配通过卷积相机传感器的RGB三个通道的感应曲线来完成。在波长λ处RGB的三个通道独立的光谱响应值其公式为
表示通道c在波长λ处的响应。
双边滤波算法不仅考虑了像素在空间距离上的关系,同时考虑了像素间的相似度,保持光谱数据的准确性。
本系统中利用处理器的GPU把上述算法在CUDA核心的多线程执行,每线程完成一个像素点的多维度光谱数据的计算。
本系统利用CUDA函数来分配Thread数和Block数;利用CUDA提供的接口函数将RGB视频帧数据,灰度视频帧数据,定义域核模板,值域核模板复制到GPU内存中;利用kernel核函数实现上述算法;利用CUDA提供的接口函数将数据复制到CPU内存。
本系统利用用CUDA事件流处理机制,在视频帧数据进行复制时,可同时进行计算,加快算法实现速度。
利用TegraOpenCV中的PCA反变换函数将得到的光谱数据作维度恢复,生成高光谱分辨率的数据。
将数据存储至SD卡或flash中,通过网络传输至远端主机,并分析数据,送至HDMI设备显示。
本系统的软件部分基于tegra Linux BSP包开发,采用嵌入式Linux操作系统,内核版本为V3.10.8。本系统采用的引导程序bootloader为嵌入式平台常用的U-Boot,可引导flash,SD卡,网络等多种方式启动的kernel内核和根文件系统。
本系统的kernel内核根据实际需求裁剪,将nandflash,sd卡,usb接口,以太网卡,hdmi等设备驱动直接编译进内核,ext3,ext4,vfat,nfs等文件系统也可以直接编译进内核。其它驱动则可以编译成模块,在系统启动后加载。
本系统的应用层程序以Qt5.3.2的库为基础制作出UI界面,屏蔽各阶段代码的具体实现细节。通过界面操作能实现拍摄,处理,显示,分析,曲线绘制等等功能,利于实际操作使用。
上面结合附图对本发明的具体实施方式作了详细说明,但是本发明不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在本发明的前提下做出各种变化。

Claims (5)

1.一种嵌入式高空间高光谱分辨率的视频采集系统,其特征在于:该系统包括分别与视频采集卡连接的RGB和灰度两路相机、嵌入式多核处理器、存储器、电源模块、显示设备和远程主机,其中,视频采集卡、嵌入式多核处理器、存储器和电源模块集成在一块电路板上,所述视频采集卡将采集的两路视频送至存储器,处理器对两路视频解码分离出RGB图像信号和灰度图像信号并进行同步对齐校正;对校正后具有高光谱分辨率的稀疏像素点,先通过主成分分析方法降低像素点的光谱信息维度简化计算量;然后在处理器上多线程并行化执行双边滤波的光谱传播算法,得到视频帧所有像素点的光谱信息;再通过主成分分析方法反变换恢复高分辨率的光谱信息;将数据存储到存储器中,通过显示设备显示采集处理分析过程;最后将存储器中的光谱数据通过网络传输到远程主机;所述嵌入式多核处理器采用的是NVDIA公司的tegraK1处理器,该处理器芯片内置ARMv7架构的32位4核心CORTEX-A15CPU和Kepler结构的192个CUDA核心GPU,处理器CPU作为控制核心,负责外围设备控制及与GPU的通信,处理器GPU上的CUDA核心负责双边滤波的光谱传播算法的并行化实现。
2.根据权利要求1所述的一种嵌入式高空间高光谱分辨率的视频采集系统,其特征在于,在RGB和灰度两路相机的前端设有分光装置,分光装置将场景光线分为相同的两束:一束通过稀疏掩膜板采样再经过棱镜色散使光波展开,由灰度相机采集,得到光谱分辨率较高的灰度视频,另一束通过RGB相机直接采集得到空间分辨率较高的RGB视频。
3.根据权利要求1所述的一种嵌入式高空间高光谱分辨率的视频采集系统,其特征在于,所述双边滤波的光谱传播算法计算得到所有像素点在波长为400-1000nm间的高分辨率光谱信息。
4.根据权利要求1至3之一所述的一种嵌入式高空间高光谱分辨率的视频采集系统,其特征在于,所述存储器包括内存、闪存和数据存储器,其中,闪存采用16GByte Flash,数据存储器采用64GByte的SD卡,同时闪存和数据存储器通过100/1000M的高速以太网网卡将数据传送至远程主机。
5.根据权利要求1至3之一所述的一种嵌入式高空间高光谱分辨率的视频采集系统,其特征在于,所述电路板上还集成有音频输入/输出接口、USB接口、HDMI接口、miniPCIE接口、硬盘接口或者以上接口的组合。
CN201510836532.3A 2015-11-26 2015-11-26 一种嵌入式高空间高光谱分辨率视频采集系统 Active CN105338326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510836532.3A CN105338326B (zh) 2015-11-26 2015-11-26 一种嵌入式高空间高光谱分辨率视频采集系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510836532.3A CN105338326B (zh) 2015-11-26 2015-11-26 一种嵌入式高空间高光谱分辨率视频采集系统

Publications (2)

Publication Number Publication Date
CN105338326A CN105338326A (zh) 2016-02-17
CN105338326B true CN105338326B (zh) 2019-01-01

Family

ID=55288571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510836532.3A Active CN105338326B (zh) 2015-11-26 2015-11-26 一种嵌入式高空间高光谱分辨率视频采集系统

Country Status (1)

Country Link
CN (1) CN105338326B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105592304A (zh) * 2015-12-31 2016-05-18 成都移动魔方科技有限公司 一种远程自动数据采集方法
CN105812631A (zh) * 2016-03-22 2016-07-27 清华大学 小型化高光谱的视频采集装置及方法
CN106506937A (zh) * 2016-10-11 2017-03-15 芜湖哈特机器人产业技术研究院有限公司 一种可供二次开发的智能相机
CN106709882A (zh) * 2016-12-16 2017-05-24 努比亚技术有限公司 一种图像融合的方法及装置
CN106791318B (zh) * 2016-12-30 2019-06-25 南京大学 一种便携式高光谱视频实时采集和处理装置及其方法
CN107302651A (zh) * 2017-07-17 2017-10-27 福建榕融芯微电子科技有限公司 一种改良型工业摄像机
CN107370922A (zh) * 2017-07-17 2017-11-21 福建榕融芯微电子科技有限公司 一种减少灯光干扰的工业摄像机
CN110503690B (zh) * 2018-05-16 2023-03-07 南京大学 一种高光谱视频采集系统的双路相机对齐方法
CN111174912B (zh) * 2020-01-03 2021-02-23 南京大学 一种快照型解色散模糊的高光谱成像方法
CN113340816B (zh) * 2021-05-26 2023-10-27 奥比中光科技集团股份有限公司 光源光谱和多光谱反射率图像获取方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102279050A (zh) * 2011-07-28 2011-12-14 清华大学 一种多光谱计算重构方法及系统
CN103281491A (zh) * 2013-05-30 2013-09-04 中国科学院长春光学精密机械与物理研究所 基于dsp的图像融合装置
CN103609102A (zh) * 2011-06-15 2014-02-26 微软公司 高分辨率多光谱图像捕捉
CN103884427A (zh) * 2014-03-11 2014-06-25 清华大学 高光谱高空间分辨率的图像获取方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103609102A (zh) * 2011-06-15 2014-02-26 微软公司 高分辨率多光谱图像捕捉
CN102279050A (zh) * 2011-07-28 2011-12-14 清华大学 一种多光谱计算重构方法及系统
CN103281491A (zh) * 2013-05-30 2013-09-04 中国科学院长春光学精密机械与物理研究所 基于dsp的图像融合装置
CN103884427A (zh) * 2014-03-11 2014-06-25 清华大学 高光谱高空间分辨率的图像获取方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Acquisition of High Spatial and Spectral Resolution Video with a Hybrid Camera System;Chenguang Ma, Xun Cao等;《International Journal of Computer Vision, VOL.110, ISSUE.2, PP.141-155》;20131213;第1-4章

Also Published As

Publication number Publication date
CN105338326A (zh) 2016-02-17

Similar Documents

Publication Publication Date Title
CN105338326B (zh) 一种嵌入式高空间高光谱分辨率视频采集系统
US11092725B2 (en) Single-sensor hyperspectral imaging device
Ma et al. Acquisition of high spatial and spectral resolution video with a hybrid camera system
TW201925860A (zh) 用於深度獲取之光場影像處理方法
CN103940511B (zh) 高光谱采集系统的光谱谱线定标方法及装置
CN102057365A (zh) 用于3d绘图的集成处理器
CN111462128B (zh) 一种基于多模态光谱图像的像素级图像分割系统及方法
CN106934394A (zh) 双波长图像采集系统及方法
US9792687B2 (en) Point-to-point distance measurements in 3D camera images
CN113609907B (zh) 一种多光谱数据的获取方法、装置及设备
CN103325116B (zh) 一种印品图像检测系统及方法
CN104121990A (zh) 基于随机光栅的压缩感知宽波段高光谱成像系统
WO2023000907A1 (zh) 一种光谱图像的确定方法、装置、终端和存储介质
CN108938396A (zh) 一种基于深度学习的耳部穴位识别装置及其方法
CN107018293A (zh) 生成表示光场的数据的方法和装置
CN108604372B (zh) 用于生成表示像素束的数据的方法和装置
CN107560735A (zh) 基于压缩感知的高分辨率红外成像系统及方法
Abdelhamed et al. Leveraging the availability of two cameras for illuminant estimation
CN102034229A (zh) 高分辨多光谱空间光学遥感器的实时图像融合方法
CN109089048A (zh) 多镜头全景联动装置及方法
CN105635685B (zh) 一种自动化数据采集传输方法
US20190101765A1 (en) A method and an apparatus for generating data representative of a pixel beam
CN103456014A (zh) 一种基于多特征整合视觉注意模型的景象匹配适配性分析方法
CN104113732B (zh) Pos机监控专用摄像机的监控方法
WO2006034223A2 (en) System and method for hyper-spectral analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant