CN116363435B - 一种基于深度学习的遥感图像目标检测系统及方法 - Google Patents
一种基于深度学习的遥感图像目标检测系统及方法 Download PDFInfo
- Publication number
- CN116363435B CN116363435B CN202310351071.5A CN202310351071A CN116363435B CN 116363435 B CN116363435 B CN 116363435B CN 202310351071 A CN202310351071 A CN 202310351071A CN 116363435 B CN116363435 B CN 116363435B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- determining
- parameter
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 152
- 238000013135 deep learning Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 54
- 238000002372 labelling Methods 0.000 claims abstract description 10
- 238000013136 deep learning model Methods 0.000 claims abstract description 9
- 230000006399 behavior Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 23
- 230000001815 facial effect Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 230000010354 integration Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 9
- 239000012634 fragment Substances 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009963 fulling Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于深度学习的遥感图像目标检测系统及方法，其中，系统包括：获取模块，用于获取遥感图像的拍摄高度，同时，获取检测目标的目标信息；确定模块，用于根据拍摄高度和目标信息，确定检测目标的尺度信息；挑选模块，用于根据尺度信息和检测目标的目标类型，挑选进行深度学习的训练图像；训练模块，用于根据训练图像和预设的深度学习模型，训练目标检测模型；标注模块，用于根据目标信息和目标检测模型，确定检测目标。本发明的一种基于深度学习的遥感图像目标检测系统及方法，引入拍摄高度，根据目标信息和拍摄高度确定检测目标的尺度信息，更加适宜；根据尺度信息和目标类型挑选训练图像，训练效率更高，也提升了后续检测的精度。
Description
技术领域
本发明涉及光学遥感图像处理技术领域，特别涉及一种基于深度学习的遥感图像目标检测系统及方法。
背景技术
目前，遥感技术广泛应用于军事领域和民用领域，基于遥感技术可以获取各种地物电磁波大小的胶片和照片，这些胶片和照片图像质量高，将其与目标检测技术联合起来能够实现遥感图像对应区域的目标检测。
申请号为：CN201910451869.0的发明专利公开了一种检测与标注遥感图像小目标一体化的智能方法，其中包括：对已经标注好目标的遥感图像集，进行自适应图像增强，该方法可进行数据增强和样本扩充；将经过自适应图像增强后的图像集输入到基于快速卷积神经网络的目标检测框架，进行目标检测；经过多次训练迭代后，获得上述发明的模型；最后通过迁移学习的方法将其迁移到待标注遥感图像集中。上述发明通过卷积神经网络和迁移学习的方法实现了对遥感图像数据中的小目标的精准检测和标注，适应多种处理环境，对复杂的环境具备较好的抗干扰能力。
但是，上述现有技术虽然实现了遥感图像中的小目标的检测，但是遥感图像中的目标的尺度各异，只针对小目标进行目标检测适宜性较差，同时，样本扩充也增加了神经网络学习的负担，学习的效率较低，另外，针对目标较大的情形，存在大目标底层特征丢失导致目标检测的精度较低的问题。
鉴于此，亟需一种解决办法。
发明内容
本发明目的之一在于提供了一种基于深度学习的遥感图像目标检测系统，引入遥感图像的拍摄高度，根据目标信息和拍摄高度确定检测目标的尺度信息，提高了尺度信息获取的适宜性；根据尺度信息和目标类型挑选训练图像，提高了训练效率，也进一步提升了后续目标检测的精度。
本发明实施例提供的一种基于深度学习的遥感图像目标检测系统，包括：
获取模块，用于获取进行目标检测的遥感图像的拍摄高度，同时，获取检测目标的目标信息；
确定模块，用于根据拍摄高度和目标信息，确定检测目标的尺度信息；
挑选模块，用于根据尺度信息和检测目标的目标类型，从预设的数据集中挑选进行深度学习的训练图像；
训练模块，用于根据训练图像和预设的深度学习模型，训练目标检测模型；
标注模块，用于根据目标信息和目标检测模型，确定遥感图像中的检测目标。
优选的，所述获取模块，包括：
提供节点获取子模块，用于获取遥感图像的提供节点，根据提供节点的提供信息，确定拍摄高度；
和/或，
第一识别物体参数获取子模块，用于获取遥感图像中已经识别的第一识别物体的第一识别参数，同时，获取第一识别物体的第一实际参数，根据第一识别参数和第一实际参数，确定拍摄高度。
优选的，所述确定模块，包括：
第一俯视视角面积确定子模块，用于根据目标信息，确定检测目标的第一俯视视角面积；
面积排序子模块，用于将第一俯视视角面积按照面积的大小进行排序，获取第一俯视视角面积中最大的第二俯视视角面积和第一俯视视角面积中最小的第三俯视视角面积；
尺度上限参数确定子模块，用于根据第二俯视视角面积和拍摄高度，确定尺度上限参数；
尺度下限参数确定子模块，用于根据第三俯视视角面积和拍摄高度，确定尺度下限参数；
尺度信息确定子模块，用于基于预设的尺度参数连续化规则，根据尺度下限参数和尺度上限参数，确定尺度参数连续化参数，并将尺度连续化参数作为尺度信息。
优选的，所述挑选模块，包括：
第一目标图像获取子模块，用于获取数据集中的多个第一目标图像；
第一整合子模块，用于根据尺度信息和检测目标的目标类型，确定第一目标图像中适宜于进行深度学习的第二目标图像，整合所有第二目标图像，获得训练图像。
优选的，所述第一整合子模块，包括：
第二识别物体识别单元，用于根据目标识别技术，识别第一目标图像中的第二识别物体；
第二识别参数确定单元，用于获取第二识别物体的第二实际参数；
第二识别参数确定单元，用于根据第二实际参数和拍摄高度，确定第二识别物体的第二识别参数；
参数范围获取单元，用于获取第二识别参数的第一参数范围，同时，获取尺度信息的第二参数范围；
第三目标图像确定单元，用于若第一参数范围在第二参数范围内，将对应第一目标图像作为第三目标图像；
物体类型获取单元，用于获取第二识别物体的物体类型；
一致性判断单元，用于判断物体类型是否与任一目标类型一致，若一致，将对应第一目标图像作为第四目标图像；
第二整合单元，用于获取第三目标图像和第四目标图像之间的重合图像，剔除第四目标图像中的重合图像，获得第五目标图像，并将第三目标图像和第五目标图像共同作为第六目标图像；
图像处理单元，用于对第六目标图像进行图像处理，获得图像处理后的第七目标图像，并将第七目标图像作为第二目标图像。
优选的，所述图像处理单元，包括：
旋转子单元，用于基于预设的图像旋转规则，旋转第六目标图像，获得多角度的第八目标图像；
第三识别参数获取子单元，用于获取第八目标图像中的第二识别物体的第三识别参数；
大小关系获取子单元，用于获取第三识别参数的参数值和预设阈值的大小关系；
灰度图像获取子单元，用于若参数值大于预设阈值，基于预设的灰度化规则，将相应第八目标图像转换成灰度图像；
图像增强子单元，用于若参数值小于等于预设阈值，对相应第八目标图像进行图像增强，获得增强图像；
第三整合子单元，用于将灰度图像和增强图像共同作为第七目标图像。
优选的，所述标注模块，包括：
语义提取信息获取子模块，用于获取工作人员所在的工作站的距离当前时间最近的预警信息，同时，实时获取工作人员进行目标检测时的语音片段信息；
检测语义提取子模块，用于基于语义提取技术，提取预警信息和语音片段信息中的检测语义；
第一区域确定子模块，用于根据检测语义，确定遥感图像中的第一目标区域；
视线点位确定子模块，用于基于注意力分析机制，确定工作人员投射在遥感图像中的视线点位；
第二区域确定子模块，用于根据视线点位对应于遥感图像的视线扫描区域，确定遥感图像中的第二目标区域；
合并子模块，用于将第一目标区域和第二目标区域共同作为第三目标区域；
第四目标区域获取子模块，用于对第三目标区域进行优先区域判定，获取优先区域判定通过的第四目标区域；
优先目标检测子模块，用于对第四目标区域优先进行目标检测。
优选的，所述第四目标区域获取子模块，包括：
判定框确定单元，用于基于预设的判定框确定规则，确定第三目标区域对应于遥感图像的判定框；
人体图像获取单元，用于获取工作人员查看判定框时的人体图像；
目标指令获取单元，用于根据人体图像，获取判定框的目标指令；
判定框控制单元，用于控制判定框根据目标指令进行移动，获取判定框移动完成时确定的对应于遥感图像的第四目标区域。
优选的，所述目标指令获取单元，包括：
脸部特征识别子单元，用于识别人体图像中工作人员的脸部特征；
人员行为持续识别子单元，用于若脸部特征与预设的目标特征一致，持续识别工作人员的人员行为；
行为指令库获取子单元，用于获取行为指令库；
目标指令确定子单元，用于将人员行为按照人员行为的识别次序依序与行为指令库中的指令行为进行匹配，获取匹配成功的指令行为对应的指令序列，将指令序列作为目标指令。
本发明实施例提供的一种基于深度学习的遥感图像目标检测方法，包括：
步骤1：获取进行目标检测的遥感图像的拍摄高度，同时，获取检测目标的目标信息；
步骤2：根据拍摄高度和目标信息，确定检测目标的尺度信息；
步骤3：根据尺度信息和检测目标的目标类型，从预设的数据集中挑选进行深度学习的训练图像；
步骤4：根据训练图像和预设的深度学习模型，训练目标检测模型；
步骤5：根据目标信息和目标检测模型，确定遥感图像中的检测目标。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于深度学习的遥感图像目标检测系统的示意图；
图2为本发明实施例中一种基于深度学习的遥感图像目标检测方法的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供了一种基于深度学习的遥感图像目标检测系统，如图1所示，包括：
获取模块1，用于获取进行目标检测的遥感图像的拍摄高度，同时，获取检测目标的目标信息；遥感图像为：记录各种地物电磁波大小的胶片或照片；拍摄高度为：拍摄遥感图像的拍摄装置(例如：遥感卫星)拍摄遥感图像时的飞行高度，例如：500km；检测目标为，例如：海域的船只；目标信息为，例如：检测目标的种类；
确定模块2，用于根据拍摄高度和目标信息，确定检测目标的尺度信息；尺度信息为：检测目标在上述拍摄高度下在遥感图像中呈现的大小信息；
挑选模块3，用于根据尺度信息和检测目标的目标类型，从预设的数据集中挑选进行深度学习的训练图像；目标类型为，例如：船类，又例如：车类；预设的数据集为：多个物体图像构成的集合；深度学习是一种机器学习方法，学习样本数据的内在规律和表示层次，最终让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据；
训练模块4，用于根据训练图像和预设的深度学习模型，训练目标检测模型；训练时，根据训练图像对深度学习模型进行训练，直至训练至收敛，获得目标检测模型；深度学习模型为：人工预先设置的神经网络模型；目标检测模型用于代替人工进行遥感图像上的目标检测；
标注模块5，用于根据目标信息和目标检测模型，确定遥感图像中的检测目标。将目标信息输入目标检测模型，模型输出检测目标在遥感图像中的坐标位置并标注在遥感图像上。
上述技术方案的工作原理及有益效果为：
本申请获取遥感图像的拍摄高度，根据检测目标的目标信息和拍摄高度共同确定检测目标的尺度信息，根据尺度信息和检测目标的目标类型，挑选数据集中的训练图像，再根据训练图像训练目标检测模型，最后，根据目标信息和目标检测模型，确定遥感图像中的检测目标。
本申请引入遥感图像的拍摄高度，根据目标信息和拍摄高度确定检测目标的尺度信息，提高了尺度信息获取的适宜性；根据尺度信息和目标类型挑选训练图像，提高了训练效率，也进一步提升了后续目标检测的精度。
在一个实施例中，所述获取模块，包括：
提供节点获取子模块，用于获取遥感图像的提供节点，根据提供节点的提供信息，确定拍摄高度；提供节点为：遥感卫星的通讯节点；提供信息为，例如：遥感卫星位于何种高度进行拍摄；
和/或，
第一识别物体参数获取子模块，用于获取遥感图像中已经识别的第一识别物体的第一识别参数，同时，获取第一识别物体的第一实际参数，根据第一识别参数和第一实际参数，确定拍摄高度。第一识别物体为，例如：某船只；第一识别参数为：第一识别物体在遥感图像上的大小；第一实际参数为：第一识别物体的实际大小；确定拍摄高度时，根据第一识别参数和第一实际参数的缩放比例，确定预设的缩放比例-拍摄高度对照表中缩放比例对应的拍摄高度。
上述技术方案的工作原理及有益效果为：
本申请通过两种方式确定拍摄高度：第一种，引入提供节点，根据提供节点的提供信息确定拍摄高度；第二种，基于已经识别的第一识别物体的第一识别参数和第一实际参数，确定拍摄高度；提升了拍摄高度确定的全面性和合理性。
在一个实施例中，所述确定模块，包括：
第一俯视视角面积确定子模块，用于根据目标信息，确定检测目标的第一俯视视角面积；第一俯视视角面积为：所有检测目标的顶部面积；
面积排序子模块，用于将第一俯视视角面积按照面积的大小进行排序，获取第一俯视视角面积中最大的第二俯视视角面积和第一俯视视角面积中最小的第三俯视视角面积；
尺度上限参数确定子模块，用于根据第二俯视视角面积和拍摄高度，确定尺度上限参数；尺度上限参数为：第一俯视视角面积最大的检测目标在遥感图像中的大小；
尺度下限参数确定子模块，用于根据第三俯视视角面积和拍摄高度，确定尺度下限参数；尺度下限参数为：第一俯视视角面积最小的检测目标在遥感图像中的大小；
尺度信息确定子模块，用于基于预设的尺度参数连续化规则，根据尺度下限参数和尺度上限参数，确定尺度参数连续化参数，并将尺度连续化参数作为尺度信息。尺度参数连续化规则由人工预先设置，尺度参数连续化参数为：遥感图像中，检测目标呈现的大小范围。
上述技术方案的工作原理及有益效果为：
一般的，遥感图像中的检测目标的图像均是从检测目标的上部拍摄的，因此，本申请引入检测目标的第一俯视视角面积，根据检测目标不同大小的第一俯视视角面积确定尺度参数连续化参数，提升了尺度信息获取的规范性和准确性。
在一个实施例中，所述挑选模块，包括：
第一目标图像获取子模块，用于获取数据集中的多个第一目标图像；第一目标图像为：包含多个物体的图像；
第一整合子模块，用于根据尺度信息和检测目标的目标类型，确定第一目标图像中适宜于进行深度学习的第二目标图像，整合所有第二目标图像，获得训练图像。目标类型为：检测目标的种类；基于遥感图像的目标检测和常规目标检测不同的是，遥感图像的拍摄高度较高，且均为俯视位，故，用常规的包含各种物体图像进行模型训练模型的质量较低，所以需要挑选适宜的第二目标图像进行深度学习。
上述技术方案的工作原理及有益效果为：
本申请引入尺度信息和检测目标的目标类型对数据集进行挑选，确定适宜于遥感图像目标检测的训练图像，模型训练效率更高，进一步提高了后续目标检测的精度。
在一个实施例中，所述第一整合子模块，包括：
第二识别物体识别单元，用于根据目标识别技术，识别第一目标图像中的第二识别物体；目标识别技术属于现有技术，其原理不作赘述；第二识别物体为：第一目标图像中的物体；
第二实际参数获取单元，用于获取第二识别物体的第二实际参数；第二实际参数为，例如：车辆的顶部的二维平面面积；
第二识别参数确定单元，用于根据第二实际参数和拍摄高度，确定第二识别物体的第二识别参数；第二识别参数为：第二识别物体在上述遥感图像中的大小；
参数范围获取单元，用于获取第二识别参数的第一参数范围，同时，获取尺度信息的第二参数范围；第一参数范围为：第二识别参数的具体数值；第二参数范围为：尺度信息的数值范围；
第三目标图像确定单元，用于若第一参数范围在第二参数范围内，将对应第一目标图像作为第三目标图像；如果第一参数范围在第二参数范围内，说明对应第二识别物体的尺寸和检测目标的尺寸可能一致，需要深度学习；
物体类型获取单元，用于获取第二识别物体的物体类型；物体类型为，例如：车辆；
一致性判断单元，用于判断物体类型是否与任一目标类型一致，若一致，将对应第一目标图像作为第四目标图像；如果物体类型和目标类型一致，说明对应第二识别物体的特征和检测目标的特征一致性较高，需要深度学习；
第二整合单元，用于获取第三目标图像和第四目标图像之间的重合图像，剔除第四目标图像中的重合图像，获得第五目标图像，并将第三目标图像和第五目标图像共同作为第六目标图像；由于进行尺寸校验和类型检验获取的训练数据可能存在重复，重复的图像的训练价值较低，故剔除重合图像；
图像处理单元，用于对第六目标图像进行图像处理，获得图像处理后的第七目标图像，并将第七目标图像作为第二目标图像。图像处理为：用计算机对图像进行分析，已达到所需结果的技术，例如：对于物体呈现面积较大的图像，图像包含信息较多，可以进行灰度处理，减少后续计算；又例如：对于物体呈现面积较小的图像，进行图像锐化和增加色彩对比等操作，以获取更加丰富的图像特征，更有利于后续的目标检测。
上述技术方案的工作原理及有益效果为：
本申请根据获取的第二识别物体的第二实际参数和拍摄高度，确定第二识别物体的第二识别参数，接着判断第二识别参数的第一参数范围是否在尺度信息的第二参数范围内，即对第二识别物体进行尺度验证，如果第二识别物体的尺度和检测目标的尺度范围内，那么需要的训练深度一致；引入物体类型和目标类型确定第四目标图像，提高了筛选的合理性；对第三目标图像和第四目标图像之间的重合图像进行剔除，避免重复训练；对第六目标图像进行图像处理，提升了后续训练精度。
在一个实施例中，所述图像处理单元，包括：
旋转子单元，用于基于预设的图像旋转规则，旋转第六目标图像，获得多角度的第八目标图像；预设的图像旋转规则由人工预先设置，例如：顺时针旋转90度、180度和270度；
第三识别参数获取子单元，用于获取第八目标图像中的第二识别物体的第三识别参数；第三识别参数为：第八目标图像中的第二识别物体在目标图像中的大小；
大小关系获取子单元，用于获取第三识别参数的参数值和预设阈值的大小关系；一般的，当物体在遥感地图中呈现的面积越大，越有利于后续的识别，因此，需要对不同尺寸的目标图像进行相应处理；参数值为：第八目标图像中的第二识别物体呈现在遥感图像中的面积值；预设阈值由人工预先设置；
灰度图像获取子单元，用于若参数值大于预设阈值，基于预设的灰度化规则，将相应第八目标图像转换成灰度图像；预设的灰度化规则由人工预先设置；
图像增强子单元，用于若参数值小于等于预设阈值，对相应第八目标图像进行图像增强，获得增强图像；对相应第八目标图像进行图像增强的增强模型为：
其中，R(p)为p点的增强模型，I(p)为进行图像增强的第八目标图像的p点亮度，I(j)为进行图像增强的第八目标图像的j点亮度，Subset为进行图像增强的第八目标图像中的所有图像点的集合，d(p,j)表示p点和j点之间的距离函数，r[*]为亮度表现函数，r[*]具体为：
其中，x为亮度表现函数的自变量参数，T为人工预设值；
第三整合子单元，用于将灰度图像和增强图像共同作为第七目标图像。
上述技术方案的工作原理及有益效果为：
本申请引入图像旋转规则旋转第六目标图像，获得多角度的第八目标图像，提高了模型识别多角度检测目标的能力；引入第三识别参数和预设阈值，根据第三识别参数不同的参数值对第八图像进行相应处理，提高了图像处理的适应性。
在一个实施例中，所述标注模块，包括：
语义提取信息获取子模块，用于获取工作人员所在的工作站的距离当前时间最近的预警信息，同时，实时获取工作人员进行目标检测时的语音片段信息；工作站为：工作人员的工作地点，上述工作地点配置遥感图像目标检测中台；预警信息为，例如：何处发生何险情；语音片段信息为，例如：工作人员在进行目标检测时的语音信息，例如：“某某山区检测到异常雷达信号，需要检测”。
检测语义提取子模块，用于基于语义提取技术，提取预警信息和语音片段信息中的检测语义；语义提取技术属于现有技术，可以实现；检测语义为，例如：某某山区存在险情，又例如：某某海域存在异常侦测信号；
第一区域确定子模块，用于根据检测语义，确定遥感图像中的第一目标区域；第一目标区域为：遥感图像中优先进行目标检测的区域；
视线点位确定子模块，用于基于注意力分析机制，确定工作人员投射在遥感图像中的视线点位；注意力分析机制属于现有技术，可以实现；视线点位为：工作人员的眼部视线投射在遥感图像中的位置；
第二区域确定子模块，用于根据视线点位对应于遥感图像的视线扫描区域，确定遥感图像中的第二目标区域；视线扫描区域为：所有视线点位对应于遥感图像的区域；
第四目标区域获取子模块，用于对第三目标区域进行优先区域判定，获取优先区域判定通过的第四目标区域；对第三目标区域进行优先区域判定为，例如：用红色矩形框框选出第三目标区域，获取工作人员查看红色矩形框的反应信息，根据反应信息，判断对应第三目标区域是否为优先区域，若是，将对应第三目标区域作为第四目标区域，否则，重新确定优先目标检测的第四目标区域；
优先目标检测子模块，用于对第四目标区域优先进行目标检测。
上述技术方案的工作原理及有益效果为：
本申请引入语义提取技术，根据工作站的预警信息和工作人员的语音片段信息，对第三目标区域进行优先区域判定，确定可能优先进行目标检测的第四目标区域，提高了优先目标检测的规范性，提高了目标检测的效率。
在一个实施例中，所述第四目标区域获取子模块，包括：
判定框确定单元，用于基于预设的判定框确定规则，确定第三目标区域对应于遥感图像的判定框；判定框确定规则为，例如：确定能够包围所有第三目标区域的最小矩形框；
人体图像获取单元，用于获取工作人员查看判定框时的人体图像；人体图像为：包含工作人员的图像；
目标指令获取单元，用于根据人体图像，获取判定框的目标指令；目标指令为，例如：上移判定框，又例如：扩大判定框；
判定框控制单元，用于控制判定框根据目标指令进行移动，获取判定框移动完成时确定的对应于遥感图像的第四目标区域。
上述技术方案的工作原理及有益效果为：
本申请引入判定框确定规则，确定判定框，自动确定可能优先检测的优先区域并向工作人员展示，更加人性化；根据人体图像，确定判定框的目标指令，并控制判定框根据目标指令进行移动，更加智能。
在一个实施例中，所述目标指令获取单元，包括：
脸部特征识别子单元，用于识别人体图像中工作人员的脸部特征；脸部特征为，例如：蹙眉；脸部特征基于特征提取技术提取，可以实现；
人员行为持续识别子单元，用于若脸部特征与预设的目标特征一致，持续识别工作人员的人员行为；预设的目标特征为，例如：蹙眉和抿嘴等；人员行为具体可以为：向上、下、左和右挥手等；
行为指令库获取子单元，用于获取行为指令库；行为指令库为：数据库，包括多个一一对应的指令行为和行为指令；行为指令为，例如：上移判定框、扩大判定框和取消判定框等；
目标指令确定子单元，用于将人员行为按照人员行为的识别次序依序与行为指令库中的指令行为进行匹配，获取匹配成功的指令行为对应的指令序列，将指令序列作为目标指令。指令序列为：包含先后逻辑顺序的行为指令；
上述技术方案的工作原理及有益效果为：
本申请引入工作人员的脸部特征，当脸部特征与预设的目标特征一致，根据持续识别的工作人员的人员行为和引入的行为指令库的匹配结果，确定目标指令，目标指令获取更加及时和精确。
本发明实施例提供了一种基于深度学习的遥感图像目标检测方法，如图2所示，包括：
步骤1：获取进行目标检测的遥感图像的拍摄高度，同时，获取检测目标的目标信息；
步骤2：根据拍摄高度和目标信息，确定检测目标的尺度信息；
步骤3：根据尺度信息和检测目标的目标类型，从预设的数据集中挑选进行深度学习的训练图像；
步骤4：根据训练图像和预设的深度学习模型，训练目标检测模型；
步骤5：根据目标信息和目标检测模型，确定遥感图像中的检测目标。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (6)
1.一种基于深度学习的遥感图像目标检测系统，其特征在于，包括：
获取模块，用于获取进行目标检测的遥感图像的拍摄高度，同时，获取检测目标的目标信息；
确定模块，用于根据拍摄高度和目标信息，确定检测目标的尺度信息；
挑选模块，用于根据尺度信息和检测目标的目标类型，从预设的数据集中挑选进行深度学习的训练图像；
训练模块，用于根据训练图像和预设的深度学习模型，训练目标检测模型；
标注模块，用于根据目标信息和目标检测模型，确定遥感图像中的检测目标；
其中，所述确定模块，包括：
第一俯视视角面积确定子模块，用于根据目标信息，确定检测目标的第一俯视视角面积；
面积排序子模块，用于将第一俯视视角面积按照面积的大小进行排序，获取第一俯视视角面积中最大的第二俯视视角面积和第一俯视视角面积中最小的第三俯视视角面积；
尺度上限参数确定子模块，用于根据第二俯视视角面积和拍摄高度，确定尺度上限参数；
尺度下限参数确定子模块，用于根据第三俯视视角面积和拍摄高度，确定尺度下限参数；
尺度信息确定子模块，用于基于预设的尺度参数连续化规则，根据尺度下限参数和尺度上限参数，确定尺度参数连续化参数，并将尺度连续化参数作为尺度信息；
其中，所述挑选模块，包括：
第一目标图像获取子模块，用于获取数据集中的多个第一目标图像；
第一整合子模块，用于根据尺度信息和检测目标的目标类型，确定第一目标图像中适宜于进行深度学习的第二目标图像，整合所有第二目标图像，获得训练图像；
其中，所述第一整合子模块，包括：
第二识别物体识别单元，用于根据目标识别技术，识别第一目标图像中的第二识别物体；
第二识别参数确定单元，用于获取第二识别物体的第二实际参数；
第二识别参数确定单元，用于根据第二实际参数和拍摄高度，确定第二识别物体的第二识别参数；
参数范围获取单元，用于获取第二识别参数的第一参数范围，同时，获取尺度信息的第二参数范围；
第三目标图像确定单元，用于若第一参数范围在第二参数范围内，将对应第一目标图像作为第三目标图像；
物体类型获取单元，用于获取第二识别物体的物体类型；
一致性判断单元，用于判断物体类型是否与任一目标类型一致，若一致，将对应第一目标图像作为第四目标图像；
第二整合单元，用于获取第三目标图像和第四目标图像之间的重合图像，剔除第四目标图像中的重合图像，获得第五目标图像，并将第三目标图像和第五目标图像共同作为第六目标图像；
图像处理单元，用于对第六目标图像进行图像处理，获得图像处理后的第七目标图像，并将第七目标图像作为第二目标图像；
其中，所述图像处理单元，包括：
旋转子单元，用于基于预设的图像旋转规则，旋转第六目标图像，获得多角度的第八目标图像；
第三识别参数获取子单元，用于获取第八目标图像中的第二识别物体的第三识别参数；
大小关系获取子单元，用于获取第三识别参数的参数值和预设阈值的大小关系；
灰度图像获取子单元，用于若参数值大于预设阈值，基于预设的灰度化规则，将相应第八目标图像转换成灰度图像；
图像增强子单元，用于若参数值小于等于预设阈值，对相应第八目标图像进行图像增强，获得增强图像；
第三整合子单元，用于将灰度图像和增强图像共同作为第七目标图像。
2.如权利要求1所述的一种基于深度学习的遥感图像目标检测系统，其特征在于，所述获取模块，包括：
提供节点获取子模块，用于获取遥感图像的提供节点，根据提供节点的提供信息，确定拍摄高度；
和/或，
第一识别物体参数获取子模块，用于获取遥感图像中已经识别的第一识别物体的第一识别参数，同时，获取第一识别物体的第一实际参数，根据第一识别参数和第一实际参数，确定拍摄高度。
3.如权利要求1所述的一种基于深度学习的遥感图像目标检测系统，其特征在于，所述标注模块，包括：
语义提取信息获取子模块，用于获取工作人员所在的工作站的距离当前时间最近的预警信息，同时，实时获取工作人员进行目标检测时的语音片段信息；
检测语义提取子模块，用于基于语义提取技术，提取预警信息和语音片段信息中的检测语义；
第一区域确定子模块，用于根据检测语义，确定遥感图像中的第一目标区域；
视线点位确定子模块，用于基于注意力分析机制，确定工作人员投射在遥感图像中的视线点位；
第二区域确定子模块，用于根据视线点位对应于遥感图像的视线扫描区域，确定遥感图像中的第二目标区域；
合并子模块，用于将第一目标区域和第二目标区域共同作为第三目标区域；
第四目标区域获取子模块，用于对第三目标区域进行优先区域判定，获取优先区域判定通过的第四目标区域；
优先目标检测子模块，用于对第四目标区域优先进行目标检测。
4.如权利要求3所述的一种基于深度学习的遥感图像目标检测系统，其特征在于，所述第四目标区域获取子模块，包括：
判定框确定单元，用于基于预设的判定框确定规则，确定第三目标区域对应于遥感图像的判定框；
人体图像获取单元，用于获取工作人员查看判定框时的人体图像；
目标指令获取单元，用于根据人体图像，获取判定框的目标指令；
判定框控制单元，用于控制判定框根据目标指令进行移动，获取判定框移动完成时确定的对应于遥感图像的第四目标区域。
5.如权利要求4所述的一种基于深度学习的遥感图像目标检测系统，其特征在于，所述目标指令获取单元，包括：
脸部特征识别子单元，用于识别人体图像中工作人员的脸部特征；
人员行为持续识别子单元，用于若脸部特征与预设的目标特征一致，持续识别工作人员的人员行为；
行为指令库获取子单元，用于获取行为指令库；
目标指令确定子单元，用于将人员行为按照人员行为的识别次序依序与行为指令库中的指令行为进行匹配，获取匹配成功的指令行为对应的指令序列，将指令序列作为目标指令。
6.一种基于深度学习的遥感图像目标检测方法，其特征在于，包括：
步骤1：获取进行目标检测的遥感图像的拍摄高度，同时，获取检测目标的目标信息；
步骤2：根据拍摄高度和目标信息，确定检测目标的尺度信息；
步骤3：根据尺度信息和检测目标的目标类型，从预设的数据集中挑选进行深度学习的训练图像；
步骤4：根据训练图像和预设的深度学习模型，训练目标检测模型；
步骤5：根据目标信息和目标检测模型，确定遥感图像中的检测目标；
其中，根据拍摄高度和目标信息，确定检测目标的尺度信息，包括：
根据目标信息，确定检测目标的第一俯视视角面积；
将第一俯视视角面积按照面积的大小进行排序，获取第一俯视视角面积中最大的第二俯视视角面积和第一俯视视角面积中最小的第三俯视视角面积；
根据第二俯视视角面积和拍摄高度，确定尺度上限参数；
根据第三俯视视角面积和拍摄高度，确定尺度下限参数；
基于预设的尺度参数连续化规则，根据尺度下限参数和尺度上限参数，确定尺度参数连续化参数，并将尺度连续化参数作为尺度信息；
其中，根据尺度信息和检测目标的目标类型，从预设的数据集中挑选进行深度学习的训练图像，包括：
获取数据集中的多个第一目标图像；
根据尺度信息和检测目标的目标类型，确定第一目标图像中适宜于进行深度学习的第二目标图像，整合所有第二目标图像，获得训练图像；
其中，根据尺度信息和检测目标的目标类型，确定第一目标图像中适宜于进行深度学习的第二目标图像，整合所有第二目标图像，获得训练图像，包括：
根据目标识别技术，识别第一目标图像中的第二识别物体；
获取第二识别物体的第二实际参数；
根据第二实际参数和拍摄高度，确定第二识别物体的第二识别参数；
获取第二识别参数的第一参数范围，同时，获取尺度信息的第二参数范围；
若第一参数范围在第二参数范围内，将对应第一目标图像作为第三目标图像；
获取第二识别物体的物体类型；
判断物体类型是否与任一目标类型一致，若一致，将对应第一目标图像作为第四目标图像；
获取第三目标图像和第四目标图像之间的重合图像，剔除第四目标图像中的重合图像，获得第五目标图像，并将第三目标图像和第五目标图像共同作为第六目标图像；
对第六目标图像进行图像处理，获得图像处理后的第七目标图像，并将第七目标图像作为第二目标图像；
其中，对第六目标图像进行图像处理，获得图像处理后的第七目标图像，并将第七目标图像作为第二目标图像，包括：
基于预设的图像旋转规则，旋转第六目标图像，获得多角度的第八目标图像；
获取第八目标图像中的第二识别物体的第三识别参数；
获取第三识别参数的参数值和预设阈值的大小关系；
若参数值大于预设阈值，基于预设的灰度化规则，将相应第八目标图像转换成灰度图像；
若参数值小于等于预设阈值，对相应第八目标图像进行图像增强，获得增强图像；
将灰度图像和增强图像共同作为第七目标图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310351071.5A CN116363435B (zh) | 2023-04-03 | 2023-04-03 | 一种基于深度学习的遥感图像目标检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310351071.5A CN116363435B (zh) | 2023-04-03 | 2023-04-03 | 一种基于深度学习的遥感图像目标检测系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116363435A CN116363435A (zh) | 2023-06-30 |
| CN116363435B true CN116363435B (zh) | 2023-10-27 |
Family
ID=86921328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310351071.5A Active CN116363435B (zh) | 2023-04-03 | 2023-04-03 | 一种基于深度学习的遥感图像目标检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116363435B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108304873A (zh) * | 2018-01-30 | 2018-07-20 | 深圳市国脉畅行科技股份有限公司 | 基于高分辨率光学卫星遥感影像的目标检测方法及其系统 |
| CN110084093A (zh) * | 2019-02-20 | 2019-08-02 | 北京航空航天大学 | 基于深度学习的遥感图像中目标检测与识别的方法及装置 |
| CN110188628A (zh) * | 2019-05-13 | 2019-08-30 | 北京遥感设备研究所 | 一种基于深度学习模型的rd图像舰船目标识别方法 |
| CN110503020A (zh) * | 2019-08-16 | 2019-11-26 | 华东师范大学 | 一种基于深度学习航空遥感目标检测的方法 |
| KR20190142216A (ko) * | 2019-06-07 | 2019-12-26 | 케이에스아이 주식회사 | 마킹의 딥러닝 인식을 이용한 차량 검지 시스템 |
| CN112132093A (zh) * | 2020-09-30 | 2020-12-25 | 湖南省气象科学研究所 | 高分辨率遥感图像目标检测方法、装置和计算机设备 |
| CN113850761A (zh) * | 2021-08-30 | 2021-12-28 | 北京工业大学 | 一种基于多角度检测框的遥感图像目标检测方法 |
| CN114526709A (zh) * | 2022-02-21 | 2022-05-24 | 中国科学技术大学先进技术研究院 | 基于无人机的面积测量方法、设备及存储介质 |
| CN114863299A (zh) * | 2022-04-28 | 2022-08-05 | 哈尔滨理工大学 | 一种航空图像目标精细识别系统 |
| CN115439424A (zh) * | 2022-08-23 | 2022-12-06 | 成都飞机工业（集团）有限责任公司 | 一种无人机航拍视频图像智能检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11657072B2 (en) * | 2019-05-16 | 2023-05-23 | Here Global B.V. | Automatic feature extraction from imagery |
| CN113673282A (zh) * | 2020-05-14 | 2021-11-19 | 华为技术有限公司 | 目标检测方法和装置 |
| CN112966587B (zh) * | 2021-03-02 | 2022-12-20 | 北京百度网讯科技有限公司 | 目标检测模型的训练方法、目标检测方法及相关设备 |
-
2023
- 2023-04-03 CN CN202310351071.5A patent/CN116363435B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108304873A (zh) * | 2018-01-30 | 2018-07-20 | 深圳市国脉畅行科技股份有限公司 | 基于高分辨率光学卫星遥感影像的目标检测方法及其系统 |
| CN110084093A (zh) * | 2019-02-20 | 2019-08-02 | 北京航空航天大学 | 基于深度学习的遥感图像中目标检测与识别的方法及装置 |
| CN110188628A (zh) * | 2019-05-13 | 2019-08-30 | 北京遥感设备研究所 | 一种基于深度学习模型的rd图像舰船目标识别方法 |
| KR20190142216A (ko) * | 2019-06-07 | 2019-12-26 | 케이에스아이 주식회사 | 마킹의 딥러닝 인식을 이용한 차량 검지 시스템 |
| CN110503020A (zh) * | 2019-08-16 | 2019-11-26 | 华东师范大学 | 一种基于深度学习航空遥感目标检测的方法 |
| CN112132093A (zh) * | 2020-09-30 | 2020-12-25 | 湖南省气象科学研究所 | 高分辨率遥感图像目标检测方法、装置和计算机设备 |
| CN113850761A (zh) * | 2021-08-30 | 2021-12-28 | 北京工业大学 | 一种基于多角度检测框的遥感图像目标检测方法 |
| CN114526709A (zh) * | 2022-02-21 | 2022-05-24 | 中国科学技术大学先进技术研究院 | 基于无人机的面积测量方法、设备及存储介质 |
| CN114863299A (zh) * | 2022-04-28 | 2022-08-05 | 哈尔滨理工大学 | 一种航空图像目标精细识别系统 |
| CN115439424A (zh) * | 2022-08-23 | 2022-12-06 | 成都飞机工业（集团）有限责任公司 | 一种无人机航拍视频图像智能检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| A Remote Sensing Image Based Convolutional Neural Network for Target Detection of Electric Power;Huanxin Wang 等;ACM;第1-6页 * |
| FS-CSP：a fast and efficient pedestrian detector with center and scale prediction;Yugang Qin 等;Springer;第4084-4104页 * |
| 基于多尺度感受野扩增融合的遥感目标检测算法;裴君岩;刘义海;;指挥控制与仿真(01);第34-39页 * |
| 应急遥感制图中敏感目标自动检测与隐藏方法;鲁鹏杰;许大璐;任福;徐胜华;邱天奇;彭瑞;;武汉大学学报(信息科学版)(08);第1263-1272页 * |
| 空对地高度自适应目标智能检测算法;张萌;王仕成;杨艳丽;杨东方;;现代防御技术(06);第81-87页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116363435A (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977813B (zh) | 一种基于深度学习框架的巡检机器人目标定位方法 | |
| JP6926335B2 (ja) | 深層学習における回転可変物体検出 | |
| CN110543892A (zh) | 一种基于多层随机森林的零部件识别方法 | |
| CN113269073A (zh) | 一种基于yolo v5算法的船舶多目标追踪方法 | |
| CN105574550A (zh) | 一种车辆识别方法及装置 | |
| CN111985376A (zh) | 一种基于深度学习的遥感影像舰船轮廓提取方法 | |
| CN109117838B (zh) | 应用于无人船感知系统的目标检测方法及装置 | |
| CN110910341A (zh) | 一种输电线路锈蚀区缺陷检测方法及装置 | |
| CN110751232A (zh) | 一种中文复杂场景文本检测与识别方法 | |
| CN112560698A (zh) | 图像处理方法、装置、设备和介质 | |
| CN113850799A (zh) | 一种基于YOLOv5的微量DNA提取工作站工件检测方法 | |
| Zelener et al. | Cnn-based object segmentation in urban lidar with missing points | |
| CN110633727A (zh) | 基于选择性搜索的深度神经网络舰船目标细粒度识别方法 | |
| CN112163530B (zh) | 基于特征增强和样本选择的ssd小目标检测方法 | |
| CN112347805A (zh) | 一种多目标二维码检测识别方法、系统、装置及存储介质 | |
| CN114882204A (zh) | 船名自动识别方法 | |
| CN114049478A (zh) | 基于改进Cascade R-CNN的红外船舶图像快速识别方法及系统 | |
| CN112561885B (zh) | 基于YOLOv4-tiny的插板阀开度检测方法 | |
| CN117456346A (zh) | 一种水下合成孔径声呐图像目标检测方法及系统 | |
| CN116363435B (zh) | 一种基于深度学习的遥感图像目标检测系统及方法 | |
| CN110334818B (zh) | 一种管路自动识别的方法及系统 | |
| CN112861867A (zh) | 指针式仪表盘识别方法、系统及存储介质 | |
| CN111738264A (zh) | 一种机房设备显示面板数据的智能采集方法 | |
| CN112364687A (zh) | 一种基于改进的Faster R-CNN加油站静电标志识别方法及系统 | |
| CN114494891B (zh) | 一种基于多尺度并行检测的危险品识别装置和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |