CN103646232B - 飞行器地面运动目标红外图像识别装置 - Google Patents
飞行器地面运动目标红外图像识别装置 Download PDFInfo
- Publication number
- CN103646232B CN103646232B CN201310462581.6A CN201310462581A CN103646232B CN 103646232 B CN103646232 B CN 103646232B CN 201310462581 A CN201310462581 A CN 201310462581A CN 103646232 B CN103646232 B CN 103646232B
- Authority
- CN
- China
- Prior art keywords
- image
- module
- processor
- target
- asic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 claims abstract description 47
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000002372 labelling Methods 0.000 claims abstract description 28
- 238000001914 filtration Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000000151 deposition Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 238000004886 process control Methods 0.000 abstract description 4
- 101150115013 DSP1 gene Proteins 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 12
- 239000003550 marker Substances 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010000234 Abortion spontaneous Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 208000015994 miscarriage Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 208000000995 spontaneous abortion Diseases 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种飞行器地面运动目标红外图像识别装置，所述装置包括红外图像非均匀性校正模块、图像旋转模块、图像配准模块、多级滤波模块、连通域标记模块、目标检测与特征识别模块、流程控制模块以及FPGA实现的互联模块。本发明采用图像处理和目标识别专用ASIC/SoC芯片、通用DSP处理器和FPGA处理器，完成不同层次的图像处理和目标识别算法，提高系统并行度、实时性，实时地实现了飞行器地面运动目标红外图像识别算法，同时，有效地降低了装置的功耗。
Description
技术领域
本发明属于红外图像处理与目标识别技术领域，具体涉及一种飞行器地面运动目标红外图像识别装置。
背景技术
飞行器属于动平台，平台的运动会导致图像背景的表观变化，同时待检测的目标也在运动，整幅图像的前景运动和平台运动产生的背景变化混合在一起，只有很好地把这两种运动分开，才能够准确的检测出运动目标并实现跟踪任务。因此，与静平台运动目标检测与跟踪算法相比，动平台运动目标检测与跟踪算法要复杂得多。由D.G.Lowe提出的SIFT(Scale-invariant feature transform)算法是一种经典有效的图像配准算法，可以用于区分前景与背景的运动，见文献：David G.Lowe，Distinctive image features from scale invariant keypoints.International Journal of Computer Vision，2004。但是，该算法运算量大，在单一的DSP(digital signal processor)处理器上实现SIFT算法实现实时配准存在困难。另外，地面目标的检测与跟踪又存在背景复杂、易受干扰(如遮挡)等问题。
飞行器红外图像自动目标识别通常是成像平台相对目标由远及近的过程，远距离时，目标多表现为点源目标，信息量少；中等距离时，目标多表现为斑状目标，可以利用其像面大小、简单形状和图像灰度分布信息；最后在较近的距离上，可以获得非常细致的特征信息，包括丰富的形状和纹理特征，并可用于识别分类，此时目标表现为面目标。相应地，从目标特征模型以及目标识别算法上都体现出多层次多尺度的特点。因此，特征提取映射及表达目标的特征空间应该是分级的，从而充分挖掘各个阶段的目标信息，一般的识别算法不能应付这样一个搜索、探测、识别过程，要求开发远、中、近距离成像下的多态识别流程，如图1所示，使得处理系统能够正确的检测、跟踪和识别目标，这样系统负担更大。
(1)远距离成像。一般情况下，飞行器在目标识别开始阶段为了获得更广阔的视野，多在较远的高度或者距离上获取场景。这时目标没有形状信息，表现为弱小的点源目标。采用匹配滤波、多级滤波等算法可以在二维空间或者时间一空间三维空间内抑制背景和噪声干扰，突出目标，从而实现目标的捕获。
(2)中距离成像。飞行器在捕获到目标之后，会逐步靠近待识别目标，进入跟踪阶段。在跟踪阶段，为了减少系统计算量，可以合理设置波门。此时目标具有一定的形状信息，表现为斑状目标。为了利用区分背景与前景的运动，采用SIFT算子提取特征，从而实现图像配准。然后，使用多级滤波器突出目标信息，抑制背景杂波。
(3)近距离成像。随着跟踪阶段飞行器不断靠近目标，目标表现出更多的轮廓、纹理等特征信息，此时目标表现为面目标。此时可以使用连通域标记与轮廓跟踪算法实现目标的跟踪，利用SIFT算子提取特征，在完成实现图像配准的同时，实现目标纹理的匹配与识别，最终达到识别任务。
飞行器红外图像处理系统，一般都存在体积、重量和功耗等方面的约束，同时处理算法复杂性较高，因此必须要设计具有高计算能力和高灵活性并行结构的处理机来保证计算实时性。这同时也意味着对处理机有以下几个方面的要求：
(1)实时性。飞行器目标识别多是为了指引飞行器检测并跟踪目标，而飞行器一般具有较高的运动速度，因此只有做到实时的目标识别才能保证平台在运动中对目标更精准的跟踪与定位。
(2)小型化。飞行器的小型化趋势，要求处理系统实现同样或更多功能时，系统物理尺寸更小。
(3)低功耗。飞行器的小型化将引起系统散热方面的问题。只有设计低功耗的处理系统才能保证系统热设计满足要求，从而保证系统工作的可靠性。
传统的红外图像处理系统多采用“DSP+FPGA(Field Programmable Gate Array)”或者“多DSP+FPGA”结构，这种同构结构的处理系统存在功耗大、效率低等缺点，同时由于DSP处理器的通用性使得它在图像处理与目标检测识别算 法优化方面存在瓶颈。
发明内容
针对现有技术的缺陷，本发明提供一种飞行器地面运动目标红外图像识别装置，旨在解决现有技术在动平台成像条件下，识别地面运动目标时功耗和实时性方面存在的问题。
为实现上述目的，本发明采用以下技术方案：
一种飞行器地面运动目标红外图像识别装置，包括红外非均匀性校正SoC芯片、图像旋转ASIC芯片、多级滤波ASIC芯片、连通域标记与轮廓跟踪ASIC芯片、主DSP0处理器、从DSP1处理器、主FPGA0处理器和从FPGA1处理器，其中，
所述主DSP0处理器用于控制整个目标检测识别算法流程，完成目标检测与特征识别，以及与装置外部接口实现通信，接收飞行器的成像参数信息，同时输出检测、跟踪和识别结果信息；
所述从DSP1处理器用于与所述从FPGA1处理器共同完成SIFT特征提取与图像配准功能，其中，所述从DSP1处理器完成图像配准步骤中的关键点描述和图像配准计算，并且将关键点描述向量(即得到的SIFT特征)传输给主DSP0作为目标特征用于目标识别处理；
所述主FPGA0处理器用于构成各个ASIC/SoC芯片、主DSP0处理器和从FPGA1处理器的数据传输通道，并完成包括透视变换和波门设置的图像预处理，协助所述主DSP0处理器完成对各个ASIC/SoC的控制；
所述从FPGA1处理器用于与所述从DSP1处理器共同完成SIFT特征提取与图像配准功能，从FPGA1完成图像配准步骤中的尺度空间极值检测、关键点定位和方向确定；
所述红外非均匀性校正SoC芯片包括一个内嵌微处理器CPU和校正ASIC核，其中内嵌微处理器CPU完成定标过程和增益校正参数的更新过程，校正ASIC核完成实时校正；
所述图像旋转ASIC芯片用于将二维旋转变换分解为三次一维平移运算，同时结合立方卷积插值(即双三次插值)算法，实现图像的旋转操作；
所述多级滤波ASIC芯片用于根据对于弱小目标、背景和噪声频谱的分析，构建带通滤波器来抑制背景和噪声，其中，针对多种大小目标并存的情况，基于多级滤波算法，利用同一滤波模块的级联实现滤波器带宽的调整以提取不同大小的目标；
所述连通域标记与轮廓跟踪ASIC芯片用于按照八邻域规则，对输入的多值分割图像中具有相同灰度值的连通像素赋予一致且唯一的标记；输出标记后的图像，标号按照连通域在图像中由左到右，由上到下出现的先后顺序，以自然数进行赋值。
本发明的有益技术效果为：采用图像处理和目标识别专用ASIC/SoC芯片、通用DSP处理器和FPGA处理器，完成不同层次的图像处理和目标识别算法，提高系统并行度，实时地实现了飞行器地面运动目标红外图像识别算法。同时，图像处理和目标识别专用ASIC/SoC芯片的低功耗特性使得处理系统的功耗能够满足系统功耗和热设计要求。
附图说明
图1描述了飞行器地面运动目标自动识别处理的一般流程；
图2描述了飞行器地面运动目标红外图像识别装置的功能实现框图；
图3描述了飞行器地面运动目标红外图像识别装置的硬件实现结构；
图4描述了主DSP0处理的操作流程；
图5描述了从DSP1处理的操作流程；
图6描述了红外图像非均匀校正SoC芯片的操作流程；
图7描述了图像旋转ASIC芯片的操作流程；
图8描述了SIFT特征提取与图像配准模块的实现框图；
图9描述了多级滤波ASIC芯片的操作流程；
图10描述了连通域标记ASIC芯片的操作流程。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
如图2所示，在功能实现上，飞行器地面运动目标红外图像识别装置可划分为红外图像非均匀性校正模块、图像旋转模块、图像配准模块、多级滤波模块、连通域标记模块、目标检测与特征识别模块、流程控制模块以及FPGA实现的互联模块等。
红外图像非均匀性校正模块接收红外成像焦平面输入的图像信息，采用基于运动检测的自适应校正算法，实现对红外成像焦平面非均匀性问题的实时校正，基于运动检测指导的自适应校正算法包括校正预处理、实时校正、迭代步长调整和增益校正系数更新四个环节。
(1)校正预处理环节：要进行无效像元的检测，就必须正确确定无效像元的位置，对于固定的无效像元，可以采用在实验室进行检测的办法确定其具体的位置；而在成像过程中，由于电荷读出及通道障碍使相关单元信号衰减或增强从而表现为无效像元，该型无效像元具有随机性和漂移性，无法在实验室预先检测确定其位置，由于它是随时间的变化而变化的，因此必须引入基于场景的动态检测技术，场景自适应标定算法就是一种动态监测方法，可以为实时校正动态地更新背景帧和坏元模板。
(2)实时校正环节：在坏元模板的指导下，分别对有效像元和无效像元进行处理。对于无效像元，一般都采用相邻有效像元输出的空间插值来代替，然后结合背景帧以及利用上一帧图像计算得到的增益校正系数进行实时校正得到校正后的图像。
(3)迭代步长调整环节：运动信息来指导增益校正系数的迭代过程，把场景的运动方差作为增益校正系数迭代步长的正比信息，在场景运动充分时，增大迭代步长，在场景运动缓慢时，减小迭代步长，从而自适应地控制了校正系数更 新速度。
(4)增益校正系数更新环节：结合运动信息和最陡下降法更新增益校正系数，从而实现增益校正系数的实时更新。
图像旋转模块接收非均匀性校正后的图像，根据飞行器飞行参数，利用三步平移图像旋转算法实现图像的旋转变换，所谓三步平移图像旋转算法即将二维图像旋转变换转换为三次一维图像平移运算。一般情况下，旋转后的像素点不可能正好位于原始图像的整像素点上，图像旋转模块使用双三次插值算法计算旋转后的像素值。
图像配准模块利用SIFT特征实现图像配准运算，消除动平台成像时由于成像器的运动带来的背景运动，同时提取的特征可以用于目标识别算法。图像配准主要包括五个步骤：①尺度空间极值检测：在尺度空间通过高斯微分函数来检测潜在的对尺度和选择不变的兴趣点；②关键点定位：在兴趣点位置上，确定关键点的位置和尺度；③方向确定：基于图像局部梯度方向，给每个关键点分配方向；④关键点描述：在每个关键点的邻域内测量图像局部梯度，最终用一个特征向量来表达；⑤图像配准：根据最小误判概率准则，确定两帧图像中关键点描述子(即特征向量)的对应关系，在关键点对应关系的指导下，完成图像的配准。
多级滤波模块在远距离成像条件下检测点源目标，在中距离成像条件下检测斑状目标，多级滤波算法根据弱小目标、背景以及噪声在频率域呈现出来的特性：背景能量主要集中在低频段，目标能量主要集中在中频段，噪声主要集中在高频段，构建带通滤波器，抑制背景与噪声，突出目标，达到提高信噪比的目标。同时为了达到对不同大小的弱小目标的检测，利用同一滤波模块的级联实现滤波器带宽的调整。
连通域标记模块在近距离成像条件下，利用多值图像连通域标记算法对多值分割得到的图像数据进行连通域标记，并且计算连通域面积、连通域像素行坐标和、连通域像素列坐标和、检测连通域的轮廓起点坐标。其中，连通域像素行坐标和、列坐标和可以用于计算连通域的重心，连通域轮廓起点坐标指明了轮廓 跟踪算法执行的起点，用于加速轮廓跟踪算法的执行过程。其中多值图像连通域标记算法分为三个步骤，分别是：①图像初步标记：为每个像素赋予临时标记，并且将临时标记的等价关系记录在等价表中；②整理等价表：将具有等价关系的临时标记全部等价为其中的最小值，然后对连通区域以自然数顺序重新编号，该编号作为最终标记，在等价表中保存临时标记与最终标记之间的等价关系；③图像代换：对图像进行逐个像素的代换，把临时标记代换成最终标记。
目标检测与特征识别模块：在远距离成像条件下，该模块对多级滤波模块得到的图像进行二值分割获取目标位置，同时利用前后多帧图像的检测结果对目标位置信息的可信度进行判断，从而可以增强目标信息的可信度，同时消除噪声干扰引起的“虚警”；在中距离成像条件下，该模块对多级滤波模块得到的图像进行二值分割获取目标位置和各目标区域的大小信息，同时利用前后多帧图像的目标位置与大小信息约束目标跟踪过程，得到多帧图像中目标的对应关系，实现目标跟踪；在近距离成像条件下，该模块利用连通域标记模块中得到的连通域标记结果以及连通域面积计算目标的长宽比以及目标的轮廓，与待识别目标模板的长宽比和轮廓信息进行对比，初步判断目标是否为待识别目标，然后计算图像配准模块中得到的SIFT特征与目标模块的SIFT特征之间的相似度，并利用前后对应目标的轮廓与SIFT特征增强识别结果的可信度，最终输出识别结果。
流程控制模块：流程控制模块控制各个模块的运算顺序和数据的交换并在不同的成像距离条件下，控制算法流程的转换，使得各模块能够协同有序地完成目标检测、跟踪和识别任务。
互联模块：FPGA模块提供各模块之间的数据通道，有效地解决不同数据宽度、不同数据速率、不同接口之间的差异引起的互联问题。同时利用状态机协助控制模块实现对各模块的控制，使得各模块能够协同有序地完成图像处理任务。
如图3所示，在硬件实现上，飞行器地面运动目标红外图像识别装置采用“ASICs/SoCs+FPGAs+DSPs”架构，其中的处理芯片包括红外非均匀性校正SoC芯片、图像旋转ASIC芯片、多级滤波ASIC芯片、连通域标记与轮廓跟踪ASIC 芯片、主DSP0处理器、从DSP1处理器、主FPGA0处理器和从FPGA1处理器。
各个芯片完成如下功能：
(1)主DSP0处理器：①负责整个目标检测识别算法流程控制，使得各个处理模块协调有序地完成流程控制任务；②实现目标的检测与跟踪以及识别任务，同时对多帧结果进行融合判断，即完成目标检测与特征识别；③与装置外部接口实现通信，接收飞行器的成像参数信息，同时输出检测、跟踪和识别结果信息。
(2)从DSP1处理器：从DSP1与从FPGA1共同完成SIFT特征提取与图像配准功能，如图所示，图像配准主要包括五个步骤：①尺度空间极值检测；②关键点定位；③方向确定；④关键点描述；⑤图像配准。从DSP1完成其中关键点描述和图像配准计算，并且从DSP1将关键点描述向量(即得到的SIFT特征)传输给主DSP0作为目标特征用于目标识别处理。
(3)主FPGA0处理器：①构成各个ASIC/SoC芯片、主DSP0处理器和从FPGA1处理器的数据传输通道；②完成简单的图像预处理，如透视变换和波门设置；③协助主DSP0完成对各个ASIC/SoC的控制。主要包含8个模块，分别是图像校正控制模块、图像接收模块、图像旋转控制模块、透视变换模块、图像“剪切”模块(即波门设置)、动态互联模块和用于主DSP0的EMIFA(external memory interface A)地址译码模块。其中，图像校正控制模块通过异步串口完成红外非均匀性校正SoC芯片工作配置参数、坏元模板、背景帧和预处理程序的配置，同时通过控制状态机，将主DSP0的控制指令解析成SoC芯片所需的控制信号，从而控制SoC芯片进入相应的处理过程；图像接收模块接收红外非均匀性校正SoC芯片校正后输出的红外图像数据；图像旋转控制模块控制图像旋转ASIC的工作流程，上电时，将DSP0的控制信号解析为ASIC芯片的复位与启动信号，图像旋转ASIC正常启动后，控制图像数据以及参数的输入，同时等待图像旋转处理结束启动后续的透视变换模块；透视变换模块完成透视变换算法，其中三角函数与反三角函数的计算通过查表法得到；图像“剪切”模块在近距离和中距离成像条 件下根据主DSP0的提供的波门大小及上一帧图像目标位置信息完成波门设置；动态互联模块根据主DSP0提供的成像距离，动态分配内部FIFO接口，完成不同成像距离条件下，输入输出接口的切换。在远距离成像条件下，将透视变换后图像输出到FPGA1进行配准运算，同时配准后得到的图像数据由FPGA1输出到多级滤波ASIC芯片，在中距离成像条件下，将剪切图像输出到FPGA1进行配准运算，同时配准后得到的图像数据由FPGA1输出到多级滤波与小目标跟踪ASIC芯片。在近距离成像条件下，将剪切图像输出到FPGA1进行配准运算，同时配准后得到的图像数据由FPGA1输出到连通域标记与轮廓跟踪ASIC芯片与主DSP0；EMIFA地址译码模块协助主DSP0完成地址分配，以进行数据读写和参数配置。
(4)从FPGA1处理器：从DSP1与从FPGA1共同完成SIFT特征提取与图像配准功能，图像配准主要包括五个步骤：①尺度空间极值检测；②关键点定位；③方向确定；④关键点描述；⑤图像配准。从FPGA1完成其中尺度空间极值检测、关键点定位和方向确定。
(5)红外非均匀性校正SoC芯片：包括一个内嵌微处理器CPU和校正ASIC核，其中内嵌微处理器CPU完成定标过程和增益校正参数的更新过程，校正ASIC核完成实时校正；
(6)图像旋转ASIC芯片：将二维旋转变换分解为三次一维平移运算，同时结合立方卷积插值(即双三次插值)算法，实现图像的旋转操作。
(7)多级滤波ASIC芯片：根据对于弱小目标、背景和噪声频谱的分析，构建带通滤波器来抑制背景和噪声，增强目标，其中，针对多种大小目标并存的情况，基于多级滤波算法，利用同一滤波模块的级联实现滤波器带宽的调整以提取不同大小的目标。
(8)连通域标记与轮廓跟踪ASIC芯片：按照八邻域规则，对输入的多值分割图像中具有相同灰度值的连通像素赋予一致且唯一的标记；输出标记后的图像，标号按照连通域在图像中由左到右，由上到下出现的先后顺序，以自然数进行赋值。
下面详细描述各处理芯片的操作流程。
(1)如图4所示，主DSP0处理器：①上电复位，从外部FLASH0中加载处理程序；②配置DSP0内部寄存器和外部接口控制寄存器、打开外部中断；③对各个ASIC芯片和SoC芯片进行配置；④进入主处理流程，获取飞行器飞行参数确定成像距离，执行检测、跟踪、识别程序；⑤在主流程中，实时响应各种中断，执行中断处理程序；⑥输出检测、跟踪和识别结果。
(2)从FPGA1处理器：①上电加载程序后，接收从DSP1处理器传输的波门大小以确定处理图像大小；②接收主FPGA0传输的图像数据，在尺度空间利用高斯微分函数检测潜在的对尺度和选择不变的兴趣点，在这些潜在的兴趣点位置上确定关键点的位置和尺度，并基于图像局部梯度方向，给每个关键点分配方向；③将得到的关键点位置和尺度信息以及方向信息传输到从DSP1作后续处理。
(3)如图5所示，从DSP1处理器：①上电复位后，从外部FLASH1中加载处理程序；②配置DSP1内部寄存器和外部接口控制寄存器、打开外部中断；③进入主处理流程，通过串口接收主DSP0的高度参数以及波门大小和位置参数，生成SIFT特征向量并且进行图像配准，在近距离成像情况下还完成图像多值分割；④在主流程中，实时响应各种中断，执行中断处理程序；⑤将配准后的图像依次经FPgA1和FPGA0传输到后续处理单元，在近距离成像情况下还将SIFT特征向量通过串口传输到主DSP0用于目标识别。
(4)如图6所示，红外非均匀性校正SoC芯片：①上电复位时，校正SoC执行片上ROM中的BOOTLOADER程序，配置芯片通信接口控制寄存器，并且从外部FLASH中读取处理程序；②控制器通过异步串口完成红外非均匀性校正SoC芯片工作配置参数、坏元模板、背景帧和预处理程序的配置；③完成自适应定标或者实时校正，使得图像的校正适应场景变化引起的无效元的变化。
(5)如图8所示，图像旋转ASIC芯片：①上电时芯片复位；②上电复位后，各寄存器恢复到默认状态，启动ASIC旋转一幅图像；③向片上FIFO中依次写入待旋转图像的旋转角度、行数、列数以及像素值；④FPGA0检测旋转完成 标志引脚是否有效，若有效，说明图像旋转ASIC芯片处理一幅图像结束，并已将结果存入图像旋转ASIC存储DPRAM1中，FPGA0可以读取DPRAM1中的旋转结果。
(6)如图9所示，多级滤波ASIC芯片：①上电初始化后，等待DSP0通过FPGA0内部的异步通讯模块写入编程参数，包括输入图像的长度和宽度，并配置输出数据存储的外部SRAM的地址段；②配置完成后，进入多级滤波工作状态；③接收图像数据，并对其进行多级滤波处理，根据设定的地址依次将多级滤波后的图像数据发送到外部DPRAM2；④DSP0通过FPGA0检测多级滤波完成标志引脚是否有效，若有效，说明ASIC处理一幅图像结束，控制器可以读取DPRAM2中的处理结果。
(7)如图10所示，标记ASIC芯片：①芯片上电后复位；②DSP0通过FPGA0配置ASIC内部寄存器，配置待标记图像的行列参数及控制参数；③向寄存器写入相应的启动命令来启动ASIC标记一幅图像；④向ASIC片内输入FIFO写入待标记图像的像素值，假设待标记的图像为M行N列，那么需要向输入FIFO写入M×N个数据。⑤当标记完成后，获取标记后连通区域的个数并从ASIC片内输出FIFO中读取图像标记结果和连通区域特征值。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种飞行器地面运动目标红外图像识别装置，包括红外非均匀性校正SoC芯片、图像旋转ASIC芯片、多级滤波ASIC芯片、连通域标记与轮廓跟踪ASIC芯片、主DSP处理器、从DSP处理器、主FPGA处理器和从FPGA处理器，其中，
所述主DSP处理器用于控制整个目标检测识别算法流程，完成目标检测与特征识别，以及与装置外部接口实现通信，接收飞行器的成像参数信息，同时输出检测、跟踪和识别结果信息；
所述从DSP处理器用于与所述从FPGA处理器共同完成SIFT特征提取与图像配准功能，其中，所述从DSP处理器完成图像配准步骤中的关键点描述和图像配准计算,并且将关键点描述向量即得到的SIFT特征传输给主DSP处理器作为目标特征用于目标识别处理；
所述主FPGA处理器用于构成各个ASIC/SoC芯片、主DSP处理器和从FPGA处理器的数据传输通道，并完成包括透视变换和波门设置的图像预处理，协助所述主DSP处理器完成对各个ASIC/SoC芯片的控制；
所述从FPGA处理器用于与所述从DSP处理器共同完成SIFT特征提取与图像配准功能，从FPGA处理器完成图像配准步骤中的尺度空间极值检测、关键点定位和方向确定；
所述红外非均匀性校正SoC芯片包括一个内嵌微处理器CPU和校正ASIC核，其中内嵌微处理器CPU完成定标过程和增益校正参数的更新过程，校正ASIC核完成实时校正；
所述图像旋转ASIC芯片用于将二维旋转变换分解为三次一维平移运算，同时结合立方卷积插值即双三次插值算法，实现图像的旋转操作；
所述多级滤波ASIC芯片用于根据对于弱小目标、背景和噪声频谱的分析，构建带通滤波器来抑制背景和噪声，其中，针对多种大小目标并存的情况，基于多级滤波算法，利用同一滤波模块的级联实现滤波器带宽的调整以提取不同大小的目标；
所述连通域标记与轮廓跟踪ASIC芯片用于按照八邻域规则，对输入的多值分割图像中具有相同灰度值的连通像素赋予一致且唯一的标记；输出标记后的图像，标号按照连通域在图像中由左到右，由上到下出现的先后顺序，以自然数进行赋值。
2.根据权利要求1所述的飞行器地面运动目标红外图像识别装置，其中，所述主FPGA处理器包括图像校正控制模块、图像接收模块、图像旋转控制模块、透视变换模块、图像“剪切”即波门设置模块、动态互联模块和用于所述主DSP处理器的EMIFA(external memory interface A)地址译码模块，
所述图像校正控制模块通过异步串口完成红外非均匀性校正SoC芯片工作配置参数、坏元模板、背景帧和预处理程序的配置，同时通过控制状态机，将所述主DSP处理器的控制指令解析成红外非均匀性校正SoC芯片所需的控制信号，从而控制该SoC芯片进入相应的处理过程；
所述图像接收模块接收红外非均匀性校正SoC芯片校正后输出的红外图像数据；
所述图像旋转控制模块控制所述图像旋转ASIC芯片的工作流程，上电时，将所述主DSP处理器的控制信号解析为图像旋转ASIC芯片的复位与启动信号，图像旋转ASIC芯片正常启动后，控制图像数据以及参数的输入，同时等待图像旋转处理结束以启动后续的透视变换模块；
所述透视变换模块完成透视变换算法，其中三角函数与反三角函数的计算通过查表法得到；
所述图像“剪切”模块在近距离和中距离成像条件下根据主DSP处理器的提供的波门大小及上一帧图像目标位置信息完成波门设置；
所述动态互联模块根据主DSP处理器提供的成像距离，动态分配内部FIFO接口，完成不同成像距离条件下输入输出接口的切换；
所述EMIFA地址译码模块协助主DSP处理器完成地址分配，以进行数据读写和参数配置。
3.根据权利要求2所述的飞行器地面运动目标红外图像识别装置，其中，
在远距离成像条件下，所述动态互联模块将透视变换后图像输出到所述从FPGA处理器进行配准运算，同时配准后得到的图像数据由所述从FPGA处理器输出到所述多级滤波ASIC芯片；
在中距离成像条件下，所述动态互联模块将剪切图像输出到所述从FPGA处理器进行配准运算，同时配准后得到的图像数据由所述从FPGA处理器输出到所述多级滤波ASIC芯片；
在近距离成像条件下，所述动态互联模块将剪切图像输出到所述从FPGA处理器进行配准运算，同时配准后得到的图像数据由所述从FPGA处理器输出到所述连通域标记与轮廓跟踪ASIC芯片与主DSP处理器。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310462581.6A CN103646232B (zh) | 2013-09-30 | 2013-09-30 | 飞行器地面运动目标红外图像识别装置 |
| PCT/CN2014/085709 WO2015043363A1 (zh) | 2013-09-30 | 2014-09-02 | 飞行器地面运动目标红外图像识别装置 |
| US14/693,847 US9286651B2 (en) | 2013-09-30 | 2015-04-22 | Aircraft-based infrared image recognition device for ground moving target |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310462581.6A CN103646232B (zh) | 2013-09-30 | 2013-09-30 | 飞行器地面运动目标红外图像识别装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103646232A CN103646232A (zh) | 2014-03-19 |
| CN103646232B true CN103646232B (zh) | 2016-08-17 |
Family
ID=50251444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310462581.6A Active CN103646232B (zh) | 2013-09-30 | 2013-09-30 | 飞行器地面运动目标红外图像识别装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9286651B2 (zh) |
| CN (1) | CN103646232B (zh) |
| WO (1) | WO2015043363A1 (zh) |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103646232B (zh) * | 2013-09-30 | 2016-08-17 | 华中科技大学 | 飞行器地面运动目标红外图像识别装置 |
| CN104978749A (zh) * | 2014-04-08 | 2015-10-14 | 南京理工大学 | 一种基于fpga的sift图像特征提取系统 |
| CN105321164B (zh) * | 2014-07-31 | 2018-04-03 | 南京理工大学 | 一种红外小目标预警系统 |
| CN104501959B (zh) * | 2014-12-30 | 2016-08-17 | 华中科技大学 | 一种红外图谱关联智能探测方法及装置 |
| CN104635199B (zh) * | 2015-02-12 | 2017-07-04 | 黑龙江大学 | 块稀疏重构方法实现的宽带信号快速超分辨测向装置 |
| CN105590105A (zh) * | 2016-01-07 | 2016-05-18 | 黎海纤 | 一种快速反应的横向限位和纠偏装置 |
| CN105719242A (zh) * | 2016-01-13 | 2016-06-29 | 广州市赛普电子科技有限公司 | 一种基于查表法的图片快速旋转方法及系统 |
| CN106204660B (zh) * | 2016-07-26 | 2019-06-11 | 华中科技大学 | 一种基于特征匹配的地面目标跟踪装置 |
| CN108225316B (zh) * | 2016-12-22 | 2023-12-29 | 成都天府新区光启未来技术研究院 | 载体姿态信息的获取方法和装置及系统 |
| CN106686278A (zh) * | 2016-12-31 | 2017-05-17 | 华中科技大学 | 一种面向实时目标识别的异构处理机并行协调处理方法 |
| CN106874949B (zh) * | 2017-02-10 | 2019-10-11 | 华中科技大学 | 基于红外图像的运动成像平台运动目标检测方法及系统 |
| CN107610033B (zh) * | 2017-07-28 | 2020-10-13 | 湖北航天技术研究院总体设计所 | 一种星敏感器星点目标快速识别方法 |
| CN108198125B (zh) * | 2017-12-29 | 2021-10-08 | 深圳云天励飞技术有限公司 | 一种图像处理方法及装置 |
| CN110275842B (zh) * | 2018-07-09 | 2022-10-21 | 西北工业大学 | 基于fpga的高光谱目标跟踪系统及方法 |
| CN110766648B (zh) * | 2018-07-27 | 2022-05-27 | 深圳百迈技术有限公司 | 一种特殊非线性滤波图像处理方法 |
| CN109064504B (zh) * | 2018-08-24 | 2022-07-15 | 深圳市商汤科技有限公司 | 图像处理方法、装置和计算机存储介质 |
| US10884899B2 (en) * | 2018-10-01 | 2021-01-05 | International Business Machines Corporation | Optimized trampoline design for fast software tracing |
| CN111200718A (zh) * | 2018-10-31 | 2020-05-26 | 迈格恩特(苏州)质量技术服务有限公司 | 一种双目智能门锁系统 |
| CN109587380B (zh) * | 2018-12-06 | 2020-04-28 | 天津津航技术物理研究所 | 小型化高温工作多接口制冷型红外成像器 |
| CN109961003A (zh) * | 2018-12-26 | 2019-07-02 | 安徽继远软件有限公司 | 一种基于fpga的嵌入式输电线路机载辅助巡视装置 |
| CN110428466B (zh) * | 2019-07-16 | 2022-02-18 | 浙江大华技术股份有限公司 | 一种非均匀性校正的方法和设备 |
| CN110992239B (zh) * | 2019-11-14 | 2023-03-24 | 中国航空工业集团公司洛阳电光设备研究所 | 一种基于单片ddr3芯片的图像时域滤波与显示的方法 |
| CN111462060A (zh) * | 2020-03-24 | 2020-07-28 | 湖南大学 | 胎儿超声图像中标准切面图像的检测方法和装置 |
| CN111323839B (zh) * | 2020-04-07 | 2023-04-07 | 中国人民解放军国防科技大学 | 一种光电探测机构用嵌入式控制系统 |
| CN111461242A (zh) * | 2020-04-08 | 2020-07-28 | 北京航天新风机械设备有限责任公司 | 一种用于生产线的多物料快速对比匹配方法 |
| CN111897262B (zh) * | 2020-07-30 | 2023-08-11 | 电子科技大学 | 基于多块dsp的并行信号采集处理系统的数据处理方法 |
| CN112419392A (zh) * | 2020-11-30 | 2021-02-26 | 广州博进信息技术有限公司 | 基于机器视觉计算运动物体实际大小的方法、设备及介质 |
| CN112581509B (zh) * | 2020-12-25 | 2023-08-15 | 北京环境特性研究所 | 一种基于sopc的无人机载地面目标实时跟踪系统及跟踪方法 |
| CN112861877B (zh) * | 2021-01-20 | 2023-06-27 | 沈阳理工大学 | 一种基于飞行载体的红外简易图像识别方法 |
| CN113255538B (zh) * | 2021-06-01 | 2024-06-14 | 大连理工大学 | 基于fpga的红外弱小目标的检测跟踪装置及方法 |
| CN113781368B (zh) * | 2021-11-12 | 2022-01-21 | 国科天成科技股份有限公司 | 基于局部信息熵的红外成像装置 |
| CN114419342A (zh) * | 2022-01-29 | 2022-04-29 | 中国科学院国家空间科学中心 | 一种基于fpga的高分辨率图像多目标多特征实时提取方法 |
| CN114549275B (zh) * | 2022-02-10 | 2024-03-26 | 中国科学院上海技术物理研究所 | 一种基于双四核dsp信号处理板的实时数字图像处理方法 |
| CN114280571B (zh) * | 2022-03-04 | 2022-07-19 | 北京海兰信数据科技股份有限公司 | 一种雨杂波信号的处理方法、装置及设备 |
| CN115170523B (zh) * | 2022-07-14 | 2023-05-05 | 哈尔滨工业大学 | 一种基于局部对比度的低复杂度红外弱小目标检测方法 |
| CN114998567B (zh) * | 2022-07-18 | 2022-11-01 | 中国科学院长春光学精密机械与物理研究所 | 一种基于多模态特征判别的红外点群目标识别方法 |
| CN115294478B (zh) * | 2022-07-28 | 2024-04-05 | 北京航空航天大学 | 一种应用于现代光电平台的空中无人机目标检测方法 |
| CN116091293B (zh) * | 2022-09-13 | 2023-10-31 | 北京理工大学 | 一种微小型智能弹载计算机架构 |
| CN115880129B (zh) * | 2022-12-12 | 2024-06-04 | 华中光电技术研究所(中国船舶集团有限公司第七一七研究所) | 基于fpga的高帧率二值图像连通域自动标记方法及系统 |
| CN117830301B (zh) * | 2024-03-04 | 2024-05-14 | 青岛正大正电力环保设备有限公司 | 基于红外可见光融合特征的捞渣区域检测方法 |
| CN117953591B (zh) * | 2024-03-27 | 2024-06-14 | 中国人民解放军空军军医大学 | 一种智能肢体康复辅助方法及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1546993A (zh) * | 2003-12-04 | 2004-11-17 | 上海交通大学 | 红外目标检测跟踪与识别系统 |
| CN101105836A (zh) * | 2007-07-06 | 2008-01-16 | 哈尔滨工程大学 | 运动背景的红外图像实时目标识别与跟踪器及方法 |
| CN102314693A (zh) * | 2011-07-27 | 2012-01-11 | 中国科学院长春光学精密机械与物理研究所 | 双模视频目标识别跟踪系统 |
| CN202583884U (zh) * | 2012-04-18 | 2012-12-05 | 北京刘氏尊德科技有限责任公司 | 无人飞行器有效载荷与自动驾驶仪综合控制计算机系统 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7663502B2 (en) * | 1992-05-05 | 2010-02-16 | Intelligent Technologies International, Inc. | Asset system control arrangement and method |
| US7660441B2 (en) * | 2004-07-09 | 2010-02-09 | Southern California, University | System and method for fusing geospatial data |
| US8675995B2 (en) * | 2004-07-09 | 2014-03-18 | Terrago Technologies, Inc. | Precisely locating features on geospatial imagery |
| US8031227B2 (en) * | 2005-03-07 | 2011-10-04 | The Regents Of The University Of Michigan | Position tracking system |
| JP2007299210A (ja) * | 2006-04-28 | 2007-11-15 | Sharp Corp | 画像処理装置、画像形成装置、画像読取装置及び画像処理方法 |
| WO2008097562A1 (en) * | 2007-02-06 | 2008-08-14 | Aai Corporation | Utilizing polarization differencing method for detect, sense and avoid systems |
| CN101267564B (zh) * | 2008-04-16 | 2011-06-15 | 中国科学院计算技术研究所 | 一种多处理器视频编码芯片装置和方法 |
| US8136982B2 (en) * | 2009-03-16 | 2012-03-20 | International Business Machines Corporation | Thermal profiling to validate electronic device authenticity |
| US8886206B2 (en) * | 2009-05-01 | 2014-11-11 | Digimarc Corporation | Methods and systems for content processing |
| US10091439B2 (en) * | 2009-06-03 | 2018-10-02 | Flir Systems, Inc. | Imager with array of multiple infrared imaging modules |
| US9501714B2 (en) * | 2010-10-29 | 2016-11-22 | Qualcomm Incorporated | Systems and methods to improve feature generation in object recognition |
| US8717551B2 (en) * | 2011-09-30 | 2014-05-06 | Inview Technology Corporation | Adaptive search for atypical regions in incident light field and spectral classification of light in the atypical regions |
| CN102801912A (zh) * | 2012-07-17 | 2012-11-28 | 北京伽略电子系统技术有限公司 | 一种红外图像处理芯片及处理方法 |
| US9196041B2 (en) * | 2013-03-14 | 2015-11-24 | Lockheed Martin Corporation | System, method, and computer program product for indicating hostile fire |
| CN103646232B (zh) * | 2013-09-30 | 2016-08-17 | 华中科技大学 | 飞行器地面运动目标红外图像识别装置 |
-
2013
- 2013-09-30 CN CN201310462581.6A patent/CN103646232B/zh active Active
-
2014
- 2014-09-02 WO PCT/CN2014/085709 patent/WO2015043363A1/zh active Application Filing
-
2015
- 2015-04-22 US US14/693,847 patent/US9286651B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1546993A (zh) * | 2003-12-04 | 2004-11-17 | 上海交通大学 | 红外目标检测跟踪与识别系统 |
| CN101105836A (zh) * | 2007-07-06 | 2008-01-16 | 哈尔滨工程大学 | 运动背景的红外图像实时目标识别与跟踪器及方法 |
| CN102314693A (zh) * | 2011-07-27 | 2012-01-11 | 中国科学院长春光学精密机械与物理研究所 | 双模视频目标识别跟踪系统 |
| CN202583884U (zh) * | 2012-04-18 | 2012-12-05 | 北京刘氏尊德科技有限责任公司 | 无人飞行器有效载荷与自动驾驶仪综合控制计算机系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150227776A1 (en) | 2015-08-13 |
| WO2015043363A1 (zh) | 2015-04-02 |
| CN103646232A (zh) | 2014-03-19 |
| US9286651B2 (en) | 2016-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103646232B (zh) | 飞行器地面运动目标红外图像识别装置 | |
| EP3740897B1 (en) | License plate reader using optical character recognition on plural detected regions | |
| Papandreou et al. | Personlab: Person pose estimation and instance segmentation with a bottom-up, part-based, geometric embedding model | |
| Ishii et al. | 500-fps face tracking system | |
| CN111950453B (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
| EP1975879A2 (en) | Computer implemented method for tracking object in sequence of frames of video | |
| CN105631799B (zh) | 一种动平台激光红外融合检测识别系统 | |
| CN106709500B (zh) | 一种图像特征匹配的方法 | |
| WO2021098802A1 (en) | Object detection device, method, and systerm | |
| Li et al. | Treat samples differently: Object tracking with semi-supervised online covboost | |
| CN111507340B (zh) | 一种基于三维点云数据的目标点云数据提取方法 | |
| Penate-Sanchez et al. | Matchability prediction for full-search template matching algorithms | |
| Li et al. | A new automatic real-time crop row recognition based on SoC-FPGA | |
| JP2013037539A (ja) | 画像特徴量抽出装置およびそのプログラム | |
| KR102173955B1 (ko) | 객체 추적을 위한 특징점 검출 장치 및 그 방법 | |
| CN116721398A (zh) | 一种基于跨阶段路由注意力模块和残差信息融合模块的Yolov5目标检测方法 | |
| Farhan et al. | Local region expansion: a method for analyzing and refining image matches | |
| CN113033256B (zh) | 一种指尖检测模型的训练方法和设备 | |
| Gao et al. | Improved u-net semantic segmentation network | |
| Wu et al. | Real-time visual tracking via incremental covariance model update on Log-Euclidean Riemannian manifold | |
| Chenini | An embedded FPGA architecture for efficient visual saliency based object recognition implementation | |
| Wonneberger et al. | Parallel feature extraction and heterogeneous object-detection for multi-camera driver assistance systems | |
| US20240153139A1 (en) | Object pose estimation in the context of neural networks | |
| Rajasree et al. | Improved YOLO-X Model for Tomato Disease Severity Detection using Field Dataset | |
| Golan | End-to-End Object Detection with Neural Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |