CN104574409A - 一种从图像中探测目标的方法及装置 - Google Patents

一种从图像中探测目标的方法及装置 Download PDF

Info

Publication number
CN104574409A
CN104574409A CN201510025711.9A CN201510025711A CN104574409A CN 104574409 A CN104574409 A CN 104574409A CN 201510025711 A CN201510025711 A CN 201510025711A CN 104574409 A CN104574409 A CN 104574409A
Authority
CN
China
Prior art keywords
pixel
matrix
background
detection
inverse matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510025711.9A
Other languages
English (en)
Other versions
CN104574409B (zh
Inventor
张兵
高连如
杨斌
孙旭
李聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Remote Sensing and Digital Earth of CAS
Original Assignee
Institute of Remote Sensing and Digital Earth of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Remote Sensing and Digital Earth of CAS filed Critical Institute of Remote Sensing and Digital Earth of CAS
Priority to CN201510025711.9A priority Critical patent/CN104574409B/zh
Publication of CN104574409A publication Critical patent/CN104574409A/zh
Application granted granted Critical
Publication of CN104574409B publication Critical patent/CN104574409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种从图像中探测目标的方法及装置，利用待探测图像中的第n-1个像元的背景自相关矩阵的逆矩阵，计算待探测图像中的第n个像元的背景自相关矩阵的逆矩阵，再利用第n个像元的背景自相关矩阵的逆矩阵计算待探测像元的探测结果，因为第n-1个像元的背景矩阵中包括第n-1个像元及之前的K-1个像元的值，且第n个像元的背景矩阵中包括第n个像元及之前的K-1个像元的值，因此，两个背景矩阵具有很强的相似性，所以，无需采用矩阵求逆的方式得到第n个像元的背景自相关矩阵的逆矩阵，能够减少计算逆矩阵的计算量。

Description

一种从图像中探测目标的方法及装置
技术领域
本申请涉及电子信息领域，尤其涉及一种从图像中探测目标的方法及装置。
背景技术
从图像中探测出感兴趣的目标是图像处理领域中一项重要的技术。例如，从高光谱遥感图像中探测出感兴趣的地物。从图像中探测目标的方法包括全局探测和局部探测的方式。
其中，全局探测需要接收完图像后再进行背景估计，因此，不利于实现对图像中的目标的实时探测。而局部探测则可以利用待测像元某一临近范围(例如，待测像元的n邻域)内的像元，对待测像元的背景进行估计，因此，无需等待图像全部接收完毕即可进行目标探测，有利于实现实时探测。
但是，正因为局部探测需要对不同的待测像元均进行背景的估计，即对每一次不同的背景统计的结果进行矩阵求逆运算，所以，局部探测存在运算量大的问题。
发明内容
本申请提供了一种从图像中探测目标的方法及装置，目的在于解决局部目标探测方法计算量大的问题。
为了实现上述目的，本申请提供了以下技术方案：
一种从图像中探测目标的方法，包括：
在接收到待探测图像中的第n个像元后，利用所述待探测图像中的第n-1个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景自相关矩阵的逆矩阵，所述第n-1个像元的背景矩阵中包括所述第n-1个像元及其之前的K-1个像元的值，所述第n个像元的背景矩阵中包括所述第n个像元及其之前的K-1个像元的值，其中，n和K均为小于所述待探测图像的像元总数量的整数，并且n>K>2；
依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果，所述待探测像元位于所述第n个像元的背景矩阵中的预设位置。
可选地，所述利用所述待探测图像中的第n-1个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景自相关矩阵的逆矩阵，包括：
依据矩阵求逆引理Sherman-Morrison原理及所述第n-1个像元的背景自相关矩阵的逆矩阵，计算第一背景自相关矩阵的逆矩阵，所述第一背景矩阵为所述第n-1个像元的背景矩阵中增加所述第n个像元的值后形成的矩阵；
依据所述Sherman-Morrison原理及所述第一背景自相关矩阵的逆矩阵，计算第二背景自相关矩阵的逆矩阵，所述第二背景矩阵为所述第一背景矩阵中除去所述第n个像元之前的第K个像元的值后形成的矩阵。
可选地，所述依据矩阵求逆引理Sherman-Morison原理及所述第n-1个像元的背景自相关矩阵的逆矩阵，计算第一背景自相关矩阵的逆矩阵，包括：
利用计算第一背景自相关矩阵的逆矩阵，其中，C为第一背景自相关矩阵的逆矩阵，S1 -1为所述第n-1个像元的背景自相关矩阵的逆矩阵，xn为所述第n个像元的向量值，xn T为所述第n个像元的向量值的转置。
可选地，所述依据所述Sherman-Morrison原理及所述第一背景自相关矩阵的逆矩阵，计算第二背景自相关矩阵的逆矩阵，包括：
利用计算第二背景自相关矩阵的逆矩阵，其中，S2 -1为第二背景自相关矩阵的逆矩阵，xn-K为所述第n个像元之前的第K个像元的向量值，xn-K T为所述第n个像元之前的第K个像元的向量值的转置。
可选地，在所述在接收到待探测图像中的第n个像元后，利用所述待探测图像中的第n-1个像元的背景自相关矩阵的逆矩阵之前，还包括：
获取所述待探测图像中的前K个像元的背景自相关矩阵的逆矩阵；
所述获取所述待探测图像中的前K个像元的背景自相关矩阵的逆矩阵的具体过程包括：
依次对所述前K个像元，计算其中，对于第一个像元，S-1＝β·I，β的范围为10的零次方至10的四次方。
可选地，所述依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果，包括：
在已知目标光谱的情况下，利用目标匹配算法，依据所述目标光谱以及所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果；
在目标光谱未知的情况下，利用异常检测算法，依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果。
可选地，所述依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果，包括：
依据所述第n个像元的背景自相关矩阵的逆矩阵，计算第n-K/2个像元的探测结果，其中，K为偶数。
可选地，所述在已知目标光谱的情况下，依据所述目标光谱以及所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n-K/2个像元的探测结果包括：
利用计算所述第n-K/2个像元的探测结果，其中，output(xn-K/2)为所述第n-K/2个像元的探测结果，d为目标光谱。
可选地，所述利用异常检测算法，依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n-K/2个像元的探测结果包括：
利用output(xn-K/2)＝xn-K/2 TS2 -1xn-K/2，计算所述第n-K/2个像元的探测结果。
一种从图像中探测目标的装置，包括：
第一计算模块，用于在接收到待探测图像中的第n个像元后，利用所述待探测图像中的第n-1个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景自相关矩阵的逆矩阵，所述第n-1个像元的背景矩阵中包括所述第n-1个像元及其之前的K-1个像元的值，所述第n个像元的背景矩阵中包括所述第n个像元及其之前的K-1个像元的值，其中，n和K均为小于所述待探测图像的像元总数量的整数，并且n>K>2；
目标探测模块，用于依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果，所述待探测像元位于所述第n个像元的背景矩阵中的预设位置。
可选地，所述第一计算模块包括：
第一计算单元，用于依据矩阵求逆引理Sherman-Morrison原理及所述第n-1个像元的背景自相关矩阵的逆矩阵，计算第一背景自相关矩阵的逆矩阵，所述第一背景矩阵为所述第n-1个像元的背景矩阵中增加所述第n个像元的值后形成的矩阵；
第二计算单元，用于依据所述Sherman-Morrison原理及所述第一背景自相关矩阵的逆矩阵，计算第二背景自相关矩阵的逆矩阵，所述第二背景矩阵为所述第一背景矩阵中除去所述第n个像元之前的第K个像元的值后形成的矩阵。
可选地，所述第一计算单元用于依据矩阵求逆引理Sherman-Morrison原理及所述第n-1个像元的背景自相关矩阵的逆矩阵，计算第一背景自相关矩阵的逆矩阵，包括：
所述第一计算单元具体用于，利用计算第一背景自相关矩阵的逆矩阵，其中，C为第一背景自相关矩阵的逆矩阵，S1 -1为所述第n-1个像元的背景自相关矩阵的逆矩阵，xn为所述第n个像元的向量值，xn T为所述第n个像元的向量值的转置。
可选地，所述第二计算单元用于依据所述Sherman-Morrison原理及所述第一背景自相关矩阵的逆矩阵，计算第二背景自相关矩阵的逆矩阵，包括：
所述第二计算单元具体用于，利用计算第二背景自相关矩阵的逆矩阵，其中，S2 -1为第二背景自相关矩阵的逆矩阵，xn-K为所述第n个像元之前的第K个像元的向量值，xn-K T为所述第n个像元之前的第K个像元的向量值的转置。
可选地，还包括：
第二计算模块，用于在所述第一计算模块在接收到待探测图像中的第n个像元后，利用所述待探测图像中的第n-1个像元的背景自相关矩阵的逆矩阵之前，获取所述待探测图像中的前K个像元的背景自相关矩阵的逆矩阵，所述获取所述待探测图像中的前K个像元的背景自相关矩阵的逆矩阵的具体过程包括：
依次对所述前K个像元，计算其中，对于第一个像元，S-1＝β·I，β的范围为10的零次方至10的四次方。
可选地，所述目标探测模块包括：
目标匹配单元，用于在已知目标光谱的情况下，利用目标匹配算法，依据所述目标光谱以及所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果；
异常检测单元，用于在目标光谱未知的情况下，利用异常检测算法，依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果。
可选地，所述目标匹配单元或所述异常检测单元用于依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果，包括：
所述目标匹配单元或所述异常检测单元具体用于，依据所述第n个像元的背景自相关矩阵的逆矩阵，计算第n-K/2个像元的探测结果，其中，K为偶数。
可选地，所述目标匹配单元用于在已知目标光谱的情况下，依据所述目标光谱以及所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n-K/2个像元的探测结果包括：
所述目标匹配单元具体用于，利用计算所述第n-K/2个像元的探测结果，其中，output(xn-K/2)为所述第n-K/2个像元的探测结果，d为目标光谱。
可选地，所述异常检测单元用于利用异常检测算法，依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n-K/2个像元的探测结果包括：
所述异常检测单元用于，利用output(xn-K/2)＝xn-K/2 TS2 -1xn-K/2，计算所述第n-K/2个像元的探测结果。
本申请所述的从图像中探测目标的方法及装置，利用待探测图像中的第n-1个像元的背景自相关矩阵的逆矩阵，计算待探测图像中的第n个像元的背景自相关矩阵的逆矩阵，再利用第n个像元的背景自相关矩阵的逆矩阵计算待探测像元的探测结果，因为第n-1个像元的背景矩阵中包括所述第n-1个像元及之前的K-1个像元的值，并且，第n个像元的背景矩阵中包括所述第n个像元及之前的K-1个像元的值，可见，第n个像元的背景矩阵与第n-1个像元的背景矩阵相比，除去了第n-1个像元的背景矩阵中最前面的一个像元的值，并且增加了第n个像元的值，因此，两个背景矩阵具有很强的相似性，所以，在两个背景矩阵间相似性强这一条件的制约下，可以无需采用传统的矩阵求逆的方式得到第n个像元的背景自相关矩阵的逆矩阵，而可以只通过对第n-1个像元的背景自相关矩阵的逆矩阵进行简单运算即可得到第n个像元的背景自相关矩阵的逆矩阵，因此，能够大大减少计算逆矩阵的计算量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种从图像中探测目标的方法的流程图；
图2为本申请实施例公开的第n个像元及第n-1个像元的背景矩阵的示意图；
图3为本申请实施例公开的又一种从图像中探测目标的方法的流程图；
图4为本申请实施例公开的又一种从图像中探测目标的方法的流程图；
图5为本申请实施例公开的方法的实验样本示意图；
图6为分别传统的全局CEM算法、局部CEM算法、以及本实施例所述方法，对目标图5中的目标F1进行探测的结果的示意图；
图7为使用全局CEM算法、局部CEM算法以及本实施例所述方法，对目标图5中的目标F2-F4进行探测的结果的示意图；
图8为使用全局CEM算法、局部CEM算法以及本实施例所述方法，对目标图5中的目标F1-F4进行探测的ROC曲线的示意图；
图9为NASA提供的AVIRIS数据；
图10为使用全局CEM算法、局部CEM算法、以及本实施例所述方法进行目标探测的结果的示意图；
图11为使用全局CEM算法、局部CEM算法、以及本实施例所述方法进行目标探测的ROC曲线的示意图；
图12为本申请实施例公开的一种从图像中探测目标的装置的结构示意图。
具体实施方式
本申请实施例公开了一种从图像中探测目标的方法及装置，可以应用在从高光谱遥感图像中探测目标的过程中，目的在于减小计算量。而计算量的减小对于实际应用中实现高光谱遥感图像的在轨目标探测具有积极意义。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例公开的一种从图像中探测目标的方法，如图1所示，包括以下步骤：
S101：在接收到待探测图像中的第n个像元后，利用所述待探测图像中的第n-1个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景自相关矩阵的逆矩阵；
其中，背景矩阵与背景自相关矩阵的关系为：假设背景矩阵为X＝{x1,x2,…xN}，即N个像元组成的L行、N列的二维矩阵，则此背景的自相关矩阵为X·XT，也可表示为它是一个L维方阵。
本实施例中，所述第n-1个像元的背景矩阵中包括所述第n-1个像元及其之前的K-1个像元的值，所述第n个像元的背景矩阵中包括所述第n个像元及其之前的K-1个像元的值，如图2所示。其中，n和K均为小于所述待探测图像的像元总数量的整数，并且n>K>1。
从图2中可以看出，第n个像元的背景矩阵与第n-1个像元的背景矩阵相比，减去了第n-1个像元的背景矩阵中最前面的一个像元的值，而增加了第n个像元的值。
S102：依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果。
其中，所述待探测像元位于所述第n个像元的背景矩阵中的预设位置，例如，待探测像元为背景矩阵的最中间的像元或者最后一个像元。
对于高光谱遥感图像，目标往往可以为感兴趣的地物，本实施例中，待探测像元的探测结果具体可以为，指示待探测像元是否为感兴趣的地物的结果。
在现有的目标探测技术中，为了提高目标探测的实时性，往往采用局部探测算法从图像中探测目标，而局部探测算法需要针对每一个像元均计算其背景自相关矩阵的逆矩阵，因此，与全局算法相比，无疑增加了计算量，尤其对于像元数量很大的高光谱遥感图像，增加的计算量是巨大的。
而本实施例所述的方法，也可以看作一种局部目标探测算法，因此，能够保证目标探测的实时性，更为重要的是，该方法以“流水”的方式选择图像中待探测像元及之前的K-1个像元的值(例如光谱)作为背景的组成元素，参与背景自相关矩阵的逆矩阵的计算，因为在接收待探测图像时，通常会依次接收到待探测图像中的每一个像元，所以，对于每一个接收到的像元而言，其背景矩阵只需按照像元的接收顺序，在上一个像元的背景矩阵中加入一个新的像元的值，并减去上一个像元的背景矩阵中最先接收到的一个像元的值形成，这样，既保证了背景矩阵与待测像元的空间相关性，又使得当前接收到的像元的背景矩阵易于得到。更重要的是，对于当前接收到的像元的背景矩阵，不再需要用传统方法对其求逆，而只需要通过对上一个像元的背景自相关矩阵的逆矩阵的简单计算，就可以替换得到当前接收到的像元的背景自相关矩阵的逆矩阵，这将大大减小逆矩阵求逆的计算量。
需要说明的是，本实施例中所述的背景矩阵求逆的方法，是在两个背景矩阵具有强相关性的条件下实施的，而非人为设定的计算方法。
对于高光谱遥感图像而言，本实施例所述的方法可以实现实时探测，并且，计算量与全局探测算法相比，无需显著增加计算量，所以，在保证实时性的基础上，硬件无需较大规模的升级，从而无需显著增加硬件的功耗，因此，有利于实现对高光谱遥感图像的在轨实时目标探测。
本申请实施例公开的又一种从图像中探测目标的方法，如图3所示，包括以下具体步骤：
S301：在接收到待探测图像中的第n个像元后，依据矩阵求逆引理Sherman-Morrison原理及所述第n-1个像元的背景自相关矩阵的逆矩阵，计算第一背景自相关矩阵的逆矩阵；
其中，所述第一背景矩阵为所述第n-1个像元的背景矩阵中增加所述第n个像元的值后形成的矩阵。
本实施例中，具体地，可以利用计算第一背景自相关矩阵的逆矩阵，其中，C为第一背景自相关矩阵的逆矩阵，S1 -1为所述第n-1个像元的背景自相关矩阵的逆矩阵，xn为所述第n个像元的向量值，xn T为所述第n个像元的向量值的转置。
S302：依据所述Sherman-Morrison原理及所述第一背景自相关矩阵的逆矩阵，计算第二背景自相关矩阵的逆矩阵；
其中，所述第二背景矩阵为所述第一背景矩阵中除去所述第n个像元之前的第K个像元的值后形成的矩阵。需要说明的是，第n个像元之前的第K个像元指从第n个像元起，记为1，每个像元计数加1，计数为K的像元。
本实施例中，具体地，可以利用计算第二背景自相关矩阵的逆矩阵，其中，S2 -1为第二背景自相关矩阵的逆矩阵，xn-K为所述第n个像元之前的第K个像元的向量值，xn-K T为所述第n个像元之前的第K个像元的向量值的转置。
S303：依据所述第n个像元的背景自相关矩阵的逆矩阵，计算第n-K/2个像元的探测结果，其中，K为偶数。
因为第n-K/2个像元位于第n个像元的背景矩阵的最中间，因此，对于第n-K/2个像元而言，背景矩阵的分布最为合理，所以，目标探测结果就有更高的准确性。
从本实施例中的过程可以看出，利用逐像元接收待探测图像的特点，通过Sherman-Morrison原理即可以从上一个像元的背景自相关矩阵的逆矩阵，经过简单的算术运算，即可得到当前接收到的像元的背景自相关矩阵的逆矩阵，而无需对于每一个像元的背景矩阵均进行求逆运算，从而可以大大减小运算量。
需要强调的是，在实际应用中，为了满足实时探测目标的需要，通常需要采用传统的局部探测算法，因为其运算量巨大，所以，只能对计算设备进行升级，采用大规模的处理器，而这无疑会增加目标探测设备的功耗，因此，还是不利于实现在轨的目标探测，而本实施例中所述的方法，巧妙利用了在轨接收待探测图像以及矩阵的特点，能够大大降低设备的计算量，从而有利于在轨目标探测的实现。
本申请实施例公开的又一种从图像中探测目标的方法，如图4所示，包括以下步骤：
S401：设置初始逆矩阵为S-1＝β·I，计数器n＝1；
本实施例中，β的范围可以为10的零次方至10的四次方，其目的在于估计图像中的系统噪声，在实际应用中，可以根据高光谱图像质量的不同，从上述范围中选择具体数值(图像信噪比越高，β值越大)，以提高目标探测的准确性。
S402：接收待探测的高光谱遥感图像的像元xn以及模式参数；
通常，高光谱图像P是一个L行、M列的二维数组，其中，L为波段数，M为像元个数，故每一列数据对应一个像元的光谱列向量。在此情况下，I为L阶单位矩阵。
本实施例中，模式参数的取值可以为0或1，0表示目标光谱已知，采用目标匹配算法进行目标探测，1表示目标光谱未知，采用异常检测算法进行目标探测。
S403：判断n>K，如果是，执行S406，如果否，执行S404；
本实施例中，K可以为L的平方。
S404：计算 S 1 - 1 = S 1 - 1 - S 1 - 1 x n x n T S 1 - 1 1 + x n T S 1 - 1 x n ;
S405：n＝n+1；返回执行S403；
S406：利用计算第一背景自相关矩阵的逆矩阵，其中，C为第一背景自相关矩阵的逆矩阵，S1 -1为所述第n-1个像元的背景自相关矩阵的逆矩阵，xn为所述第n个像元的向量值，xn T为所述第n个像元的向量值的转置；
S407：利用计算第二背景自相关矩阵的逆矩阵，其中，S2 -1为第二背景自相关矩阵的逆矩阵，xn-K为所述第n个像元之前的第K个像元的向量值，xn-K T为所述第n个像元之前的第K个像元的向量值的转置；
S408：判断接收到的模式参数是0还是1，如果是0，执行S409，如果是1，执行S410；
S409：利用计算所述第n-K/2个像元的探测结果，其中，output(xn-K/2)为第n-K/2个像元的探测结果，d为目标光谱，可以预先接收并存储；
S410：利用output(xn-K/2)＝xn-K/2 TS2 -1xn-K/2，计算所述第n-K/2个像元的探测结果；
S411：输出第n-K/2个像元的探测结果；
S412：n＝n+1；
S413：判断n＝M，如果是，则探测过程结束，如果否，返回执行S402。
本实施例中，将待探测图像的前K个像元仅用作最初的背景矩阵的统计，而不做探测输出，直至接收到第K+1个像元，开始逐像元的输出探测结果，在保证目标探测局部算法探测精度的同时降低计算复杂度，易于实现且满足高光谱遥感在轨实时处理的时间要求。
并且，本实施例中，可以采用两种不同模式探测目标，从而实现单个系统中的双模目标探测，与只可使用一种模式进行目标探测相比，适用性更为普遍。
使用本实施例所述的方法，针对HyMap图像进行目标探测的结果如下：
图5表示的高光谱图像取自美国罗切斯特理工学院图像科学中心提供的公开高光谱数据集。数据由HyMap成像光谱仪采集得到，包含280*800个像元，126个波段，覆盖美国蒙塔纳州库克镇及其周边区域，空间分辨率3米。图中方框区域内布置了大小不同的四种织物目标(F1-F4)，数据中还提供了详细的目标信息(如地面光谱、位置等)。
图6中分别传统的全局CEM算法、局部CEM算法、以及本实施例所述方法，对目标F1进行探测的结果。从图6可以看出，本实施例中所述方法与全局算法均能够准确的探测目标位置，局部算法在F1探测中有较多虚景。
进一步对其它3种目标(F2-F4)进行探测，为了清晰显示，图7对方框区域内的探测结果进行了放大。图7中显示的探测结果中，从左至右分别为使用全局CEM算法、局部CEM算法以及本实施例所述方法的探测结果。从这些探测结果发现，本实施例所述方法能够准确的探测以上三种目标。
为了定量的分析探测效果，图8中使用受试者工作特征(receiver operatingcharacteristic，ROC)曲线比较上述三种方法的探测性能，其中(a)-(d)分别代表使用上述三种不同的方法，对目标F1-F4进行探测的结果。根据ROC曲线的定义，越靠近左上角的ROC曲线代表的探测性能越好。由图8可知，本实施例所述方法在目标F1、F2以及F3的探测中性能最优，在F4探测中低于全局CEM算法但高于局部CEM算法。
图9为NASA提供的AVIRIS数据，该数据为2001年9月16日(911事件后5日)对美国世贸大厦区域航拍得到，对该数据处理的目的是寻找图像中火点位置。同样，经上述三种目标探测方法对比得到图10所示的探测结果及图11所示的ROC曲线。图10中，从左到右依次为使用全局CEM算法、局部CEM算法、以及本实施例所述方法进行目标探测的结果，图11中包括使用上述三种方法对应的ROC曲线。由图10和图11可知，本实施例所述方法在探测性能上类似全局CEM算法，高于局部CEM算法。
与上述方法实施例相对应地，本申请实施例还公开了一种从图像中探测目标的装置，如图12所示，包括第一计算模块1201以及目标探测模块1202，其中：
第一计算模块1201，用于在接收到待探测图像中的第n个像元后，利用所述待探测图像中的第n-1个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景自相关矩阵的逆矩阵，所述第n-1个像元的背景矩阵中包括所述第n-1个像元及其之前的K-1个像元的值，所述第n个像元的背景矩阵中包括所述第n个像元及其之前的K-1个像元的值，其中，n和K均为小于所述待探测图像的像元总数量的整数，并且n>K>2；
目标探测模块1202，用于依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果，所述待探测像元位于所述第n个像元的背景矩阵中的预设位置。
可选地，本实施例中，还可以包括第二计算模块1203，用于在所述第一计算模块在接收到待探测图像中的第n个像元后，利用所述待探测图像中的第n-1个像元的背景自相关矩阵的逆矩阵之前，获取所述待探测图像中的前K个像元的背景自相关矩阵的逆矩阵。
进一步地，具体地，第二计算模块1203获取所述待探测图像中的前K个像元的背景自相关矩阵的逆矩阵的具体实现方式可以为：依次对所述前K个像元，计算其中，对于第一个像元，S-1＝β·I，β的范围为10的零次方至10的四次方。
进一步地，第一计算模块1201可以包括第一计算单元，用于依据矩阵求逆引理Sherman-Morrison原理及所述第n-1个像元的背景自相关矩阵的逆矩阵，计算第一背景自相关矩阵的逆矩阵，所述第一背景矩阵为所述第n-1个像元的背景矩阵中增加所述第n个像元的值后形成的矩阵，以及第二计算单元，用于依据所述Sherman-Morrison原理及所述第一背景自相关矩阵的逆矩阵，计算第二背景自相关矩阵的逆矩阵，所述第二背景矩阵为所述第一背景矩阵中除去所述第n个像元之前的第K个像元的值后形成的矩阵。
其中，第一计算单元依据矩阵求逆引理Sherman-Morrison原理及所述第n-1个像元的背景自相关矩阵的逆矩阵，计算第一背景自相关矩阵的逆矩阵的具体实现方式可以为：利用计算第一背景自相关矩阵的逆矩阵，其中，C为第一背景自相关矩阵的逆矩阵，S1 -1为所述第n-1个像元的背景自相关矩阵的逆矩阵，xn为所述第n个像元的向量值，xn T为所述第n个像元的向量值的转置。
第二计算单元依据所述Sherman-Morrison原理及所述第一背景自相关矩阵的逆矩阵，计算第二背景自相关矩阵的逆矩阵的具体实现方式可以为：利用计算第二背景自相关矩阵的逆矩阵，其中，S2 -1为第二背景自相关矩阵的逆矩阵，xn-K为所述第n个像元之前的第K个像元的向量值，xn-K T为所述第n个像元之前的第K个像元的向量值的转置。
进一步地，目标探测模块1202可以具体包括：目标匹配单元，用于在已知目标光谱的情况下，利用目标匹配算法，依据所述目标光谱以及所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果，以及异常检测单元，用于在目标光谱未知的情况下，利用异常检测算法，依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果。
其中，具体地，目标匹配单元或所述异常检测单元依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果的具体实现方式可以为：依据所述第n个像元的背景自相关矩阵的逆矩阵，计算第n-K/2个像元的探测结果，其中，K为偶数。
目标匹配单元在已知目标光谱的情况下，依据所述目标光谱以及所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n-K/2个像元的探测结果的具体实现方式可以为：利用计算所述第n-K/2个像元的探测结果，其中，output(xn-K/2)为所述第n-K/2个像元的探测结果，d为目标光谱。
异常检测单元利用异常检测算法，依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n-K/2个像元的探测结果的具体实现方式可以为：利用output(xn-K/2)＝xn-K/2 TS2 -1xn-K/2，计算所述第n-K/2个像元的探测结果。
本实施例所述的装置，能够实现一种局部探测目标的过程，因此，有利于实现实时目标探测，同时，相比于全局目标探测的方法，不会显著增加计算量，因此，在实时性的前提下，易于硬件实现，因为无需因为计算量的增加而增设大功耗的设备，所以，有利于实现目标探测的在轨实现。
在实际应用中，本实施例中所述装置可以设置在FPGA中，通过FPGA实现上述功能。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (18)

1.一种从图像中探测目标的方法，其特征在于，包括：
在接收到待探测图像中的第n个像元后，利用所述待探测图像中的第n-1个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景自相关矩阵的逆矩阵，所述第n-1个像元的背景矩阵中包括所述第n-1个像元及其之前的K-1个像元的值，所述第n个像元的背景矩阵中包括所述第n个像元及其之前的K-1个像元的值，其中，n和K均为小于所述待探测图像的像元总数量的整数，并且n>K>2；
依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果，所述待探测像元位于所述第n个像元的背景矩阵中的预设位置。
2.根据权利要求1所述的方法，其特征在于，所述利用所述待探测图像中的第n-1个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景自相关矩阵的逆矩阵，包括：
依据矩阵求逆引理Sherman-Morrison原理及所述第n-1个像元的背景自相关矩阵的逆矩阵，计算第一背景自相关矩阵的逆矩阵，所述第一背景矩阵为所述第n-1个像元的背景矩阵中增加所述第n个像元的值后形成的矩阵；
依据所述Sherman-Morrison原理及所述第一背景自相关矩阵的逆矩阵，计算第二背景自相关矩阵的逆矩阵，所述第二背景矩阵为所述第一背景矩阵中除去所述第n个像元之前的第K个像元的值后形成的矩阵。
3.根据权利要求2所述的方法，其特征在于，所述依据矩阵求逆引理Sherman-Morrison原理及所述第n-1个像元的背景自相关矩阵的逆矩阵，计算第一背景自相关矩阵的逆矩阵，包括：
利用计算第一背景自相关矩阵的逆矩阵，其中，C为第一背景自相关矩阵的逆矩阵，S1 -1为所述第n-1个像元的背景自相关矩阵的逆矩阵，xn为所述第n个像元的向量值，xn T为所述第n个像元的向量值的转置。
4.根据权利要求2所述的方法，其特征在于，所述依据所述Sherman-Morrison原理及所述第一背景自相关矩阵的逆矩阵，计算第二背景自相关矩阵的逆矩阵，包括：
利用计算第二背景自相关矩阵的逆矩阵，其中，S2 -1为第二背景自相关矩阵的逆矩阵，xn-K为所述第n个像元之前的第K个像元的向量值，xn-K T为所述第n个像元之前的第K个像元的向量值的转置。
5.根据权利要求1至4任一项所述的方法，其特征在于，在所述在接收到待探测图像中的第n个像元后，利用所述待探测图像中的第n-1个像元的背景自相关矩阵的逆矩阵之前，还包括：
获取所述待探测图像中的前K个像元的背景自相关矩阵的逆矩阵；
所述获取所述待探测图像中的前K个像元的背景自相关矩阵的逆矩阵的具体过程包括：
依次对所述前K个像元，计算其中，对于第一个像元，S-1＝β·I，β的范围为10的零次方至10的四次方。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果，包括：
在已知目标光谱的情况下，利用目标匹配算法，依据所述目标光谱以及所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果；
在目标光谱未知的情况下，利用异常检测算法，依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果。
7.根据权利要求6所述的方法，其特征在于，所述依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果，包括：
依据所述第n个像元的背景自相关矩阵的逆矩阵，计算第n-K/2个像元的探测结果，其中，K为偶数。
8.根据权利要求7所述的方法，其特征在于，所述在已知目标光谱的情况下，依据所述目标光谱以及所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n-K/2个像元的探测结果包括：
利用计算所述第n-K/2个像元的探测结果，其中，output(xn-K/2)为所述第n-K/2个像元的探测结果，d为目标光谱。
9.根据权利要求7所述的方法，其特征在于，所述利用异常检测算法，依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n-K/2个像元的探测结果包括：
利用output(xn-K/2)＝xn-K/2 TS2 -1xn-K/2，计算所述第n-K/2个像元的探测结果。
10.一种从图像中探测目标的装置，其特征在于，包括：
第一计算模块，用于在接收到待探测图像中的第n个像元后，利用所述待探测图像中的第n-1个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景自相关矩阵的逆矩阵，所述第n-1个像元的背景矩阵中包括所述第n-1个像元及其之前的K-1个像元的值，所述第n个像元的背景矩阵中包括所述第n个像元及其之前的K-1个像元的值，其中，n和K均为小于所述待探测图像的像元总数量的整数，并且n>K>2；
目标探测模块，用于依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果，所述待探测像元位于所述第n个像元的背景矩阵中的预设位置。
11.根据权利要求10所述的装置，其特征在于，所述第一计算模块包括：
第一计算单元，用于依据矩阵求逆引理Sherman-Morrison原理及所述第n-1个像元的背景自相关矩阵的逆矩阵，计算第一背景自相关矩阵的逆矩阵，所述第一背景矩阵为所述第n-1个像元的背景矩阵中增加所述第n个像元的值后形成的矩阵；
第二计算单元，用于依据所述Sherman-Morrison原理及所述第一背景自相关矩阵的逆矩阵，计算第二背景自相关矩阵的逆矩阵，所述第二背景矩阵为所述第一背景矩阵中除去所述第n个像元之前的第K个像元的值后形成的矩阵。
12.根据权利要求11所述的装置，其特征在于，所述第一计算单元用于依据矩阵求逆引理Sherman-Morrison原理及所述第n-1个像元的背景自相关矩阵的逆矩阵，计算第一背景自相关矩阵的逆矩阵，包括：
所述第一计算单元具体用于，利用计算第一背景自相关矩阵的逆矩阵，其中，C为第一背景自相关矩阵的逆矩阵，S1 -1为所述第n-1个像元的背景自相关矩阵的逆矩阵，xn为所述第n个像元的向量值，xn T为所述第n个像元的向量值的转置。
13.根据权利要求11所述的装置，其特征在于，所述第二计算单元用于依据所述Sherman-Morrison原理及所述第一背景自相关矩阵的逆矩阵，计算第二背景自相关矩阵的逆矩阵，包括：
所述第二计算单元具体用于，利用计算第二背景自相关矩阵的逆矩阵，其中，S2 -1为第二背景自相关矩阵的逆矩阵，xn-K为所述第n个像元之前的第K个像元的向量值，xn-K T为所述第n个像元之前的第K个像元的向量值的转置。
14.根据权利要求10至13任一项所述的装置，其特征在于，还包括：
第二计算模块，用于在所述第一计算模块在接收到待探测图像中的第n个像元后，利用所述待探测图像中的第n-1个像元的背景自相关矩阵的逆矩阵之前，获取所述待探测图像中的前K个像元的背景自相关矩阵的逆矩阵，所述获取所述待探测图像中的前K个像元的背景自相关矩阵的逆矩阵的具体过程包括：
依次对所述前K个像元，计算其中，对于第一个像元，S-1＝β·I，β的范围为10的零次方至10的四次方。
15.根据权利要求10至13任一项所述的装置，其特征在于，所述目标探测模块包括：
目标匹配单元，用于在已知目标光谱的情况下，利用目标匹配算法，依据所述目标光谱以及所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果；
异常检测单元，用于在目标光谱未知的情况下，利用异常检测算法，依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果。
16.根据权利要求15所述的装置，其特征在于，所述目标匹配单元或所述异常检测单元用于依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n个像元的背景矩阵中的待探测像元的探测结果，包括：
所述目标匹配单元或所述异常检测单元具体用于，依据所述第n个像元的背景自相关矩阵的逆矩阵，计算第n-K/2个像元的探测结果，其中，K为偶数。
17.根据权利要求16所述的装置，其特征在于，所述目标匹配单元用于在已知目标光谱的情况下，依据所述目标光谱以及所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n-K/2个像元的探测结果包括：
所述目标匹配单元具体用于，利用计算所述第n-K/2个像元的探测结果，其中，output(xn-K/2)为所述第n-K/2个像元的探测结果，d为目标光谱。
18.根据权利要求16所述的装置，其特征在于，所述异常检测单元用于利用异常检测算法，依据所述第n个像元的背景自相关矩阵的逆矩阵，计算所述第n-K/2个像元的探测结果包括：
所述异常检测单元用于，利用output(xn-K/2)＝xn-K/2 TS2 -1xn-K/2，计算所述第n-K/2个像元的探测结果。
CN201510025711.9A 2015-01-19 2015-01-19 一种从图像中探测目标的方法及装置 Active CN104574409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510025711.9A CN104574409B (zh) 2015-01-19 2015-01-19 一种从图像中探测目标的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510025711.9A CN104574409B (zh) 2015-01-19 2015-01-19 一种从图像中探测目标的方法及装置

Publications (2)

Publication Number Publication Date
CN104574409A true CN104574409A (zh) 2015-04-29
CN104574409B CN104574409B (zh) 2018-05-04

Family

ID=53090381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510025711.9A Active CN104574409B (zh) 2015-01-19 2015-01-19 一种从图像中探测目标的方法及装置

Country Status (1)

Country Link
CN (1) CN104574409B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957084A (zh) * 2016-05-06 2016-09-21 哈尔滨工程大学 一种利用点聚集特性的侧扫声纳目标探测方法
CN106022231A (zh) * 2016-05-11 2016-10-12 浙江理工大学 一种基于多特征融合的行人快速检测的技术方法
CN106373157A (zh) * 2016-08-17 2017-02-01 中国科学院遥感与数字地球研究所 高光谱异常探测方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008077379A (ja) * 2006-09-21 2008-04-03 Seiko Epson Corp 画像検出装置、画像検出方法及び画像検出プログラム
CN101266296A (zh) * 2008-04-28 2008-09-17 北京航空航天大学 高光谱小目标探测方法及装置
CN103426167A (zh) * 2013-07-09 2013-12-04 哈尔滨工程大学 一种基于递归分析的高光谱实时检测方法
CN104240257A (zh) * 2014-09-30 2014-12-24 中国人民解放军国防科学技术大学 基于变化检测技术的sar图像舰船目标鉴别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008077379A (ja) * 2006-09-21 2008-04-03 Seiko Epson Corp 画像検出装置、画像検出方法及び画像検出プログラム
CN101266296A (zh) * 2008-04-28 2008-09-17 北京航空航天大学 高光谱小目标探测方法及装置
CN103426167A (zh) * 2013-07-09 2013-12-04 哈尔滨工程大学 一种基于递归分析的高光谱实时检测方法
CN104240257A (zh) * 2014-09-30 2014-12-24 中国人民解放军国防科学技术大学 基于变化检测技术的sar图像舰船目标鉴别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957084A (zh) * 2016-05-06 2016-09-21 哈尔滨工程大学 一种利用点聚集特性的侧扫声纳目标探测方法
CN105957084B (zh) * 2016-05-06 2019-06-11 哈尔滨工程大学 一种利用点聚集特性的侧扫声纳目标探测方法
CN106022231A (zh) * 2016-05-11 2016-10-12 浙江理工大学 一种基于多特征融合的行人快速检测的技术方法
CN106373157A (zh) * 2016-08-17 2017-02-01 中国科学院遥感与数字地球研究所 高光谱异常探测方法和装置
CN106373157B (zh) * 2016-08-17 2019-08-16 中国科学院遥感与数字地球研究所 高光谱异常探测方法和装置

Also Published As

Publication number Publication date
CN104574409B (zh) 2018-05-04

Similar Documents

Publication Publication Date Title
AghaKouchak et al. Modeling radar rainfall estimation uncertainties: Random error model
CN102279386B (zh) 基于fpga的sar成像信号处理数据转置方法
CN106525762A (zh) 一种基于自适应模型的水质监测方法和水质监测装置
CN102680945B (zh) 基于fpga的多普勒调频率估计方法
CN100409258C (zh) 一种实时快速实现高斯模板卷积的装置
Vafaei Sadr et al. Deep learning improves identification of radio frequency interference
CN105760699A (zh) 一种海表盐度反演方法和装置
CN104574409A (zh) 一种从图像中探测目标的方法及装置
CN108053424A (zh) 目标跟踪方法、装置、电子设备及存储介质
Chen et al. An improved bidimensional empirical mode decomposition: A mean approach for fast decomposition
Perkins et al. Montblanc: GPU accelerated radio interferometer measurement equations in support of bayesian inference for radio observations
Khoshandam et al. Marginal rates of substitution in the presence of non-discretionary factors: A data envelopment analysis approach
CN103559715B (zh) 一种高光谱图像的异常检测方法及装置
CN105954739A (zh) 一种知识辅助的非参量恒虚警检测方法
CN108762719B (zh) 一种并行广义内积重构控制器
Gayathri Onboard target detection in hyperspectral image based on deep learning with FPGA implementation
Mohanty et al. Design and performance analysis of fixed-point jacobi svd algorithm on reconfigurable system
US10145871B2 (en) Systems and methods for joint angle-frequency determination
CN104504726A (zh) 一种从图像中探测目标的方法及装置
CN106338775A (zh) 基于干涉合成孔径雷达数据的建筑物倒损程度评估方法
CN103020889A (zh) 图像梯度计算方法及装置
Hu et al. RFI localization in synthetic aperture interferometric radiometers based on sparse Bayesian inference
CN108093153A (zh) 目标跟踪方法、装置、电子设备及存储介质
US10386449B2 (en) System and method for radio tomographic image formation
Hu et al. High resolution 3D imaging in MIMO radar with sparse array

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant