CN109584266B - 一种目标检测方法及装置 - Google Patents
一种目标检测方法及装置 Download PDFInfo
- Publication number
- CN109584266B CN109584266B CN201811358627.9A CN201811358627A CN109584266B CN 109584266 B CN109584266 B CN 109584266B CN 201811358627 A CN201811358627 A CN 201811358627A CN 109584266 B CN109584266 B CN 109584266B
- Authority
- CN
- China
- Prior art keywords
- image
- axis
- target
- connected domain
- axis projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 143
- 238000000034 method Methods 0.000 claims description 43
- 238000004891 communication Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000003709 image segmentation Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000012216 screening Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机技术领域，尤其涉及一种目标检测方法及装置。通过采用运动检测结合优化的目标检测手段，对背景相对静止的图像过滤掉大部分背景信息，并从图像中分割出运动物体部分作为目标检测网络模型的输入，实现减少目标检测网络模型需要检测的区域，同时使传入模型的输入中移动目标的占比增大，从而降低目标检测网络模型检测移动目标的难度，提高目标检测的速度和精度。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种目标检测方法及装置。
背景技术
目标检测是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。
目标检测是解决很多任务的基础，比如在人脸关键点检测中是通过先对脸目标确定一个小范围的区域，再使用关键点检测技术加以检测，在人体姿态估计任务中，也是先使用目标检测系统对人体进行检测，确定其所在范围再使用姿态估计相关技术进行估计。
然而为了能达到预期的精度，训练目标检测网络模型需要大量的数据，同时，为了能够很好的区分背景，在数据的多样性上有较大要求。另外在输入的尺寸上，为了能够识别小的物体，往往需要较大的尺寸，这就加大了目标检测网络模型的运算量，降低了速度。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
针对现有技术的上述问题，本发明的目的在于提供一种目标检测方法及装置。其能够过滤掉视频中不需要参与考虑的背景信息，减少目标检测网络模型需检测的区域，提高目标检测的效率和精度。
一方面，本发明提供一种目标检测方法，包括：
获取视频图像；
识别视频图像中的运动物体，获得预处理图像；
在预处理图像中分割出包含所述运动物体的连通域，将所述连通域作为待检测图像；
利用目标检测网络模型，确定所述待检测图像中移动目标的类别信息和位置信息，所述移动目标包含在所述运动物体中。
另一方面，本发明提供一种目标检测装置，包括：
图像获取单元，用于获取视频图像；
预处理单元，用于识别视频图像中的运动物体，获得预处理图像；
图像分割单元，用于在预处理图像中分割出包含所述运动物体的连通域，将所述连通域作为待检测图像；
信息确定单元，用于利用目标检测网络模型，确定所述待检测图像中移动目标的类别信息和位置信息，所述移动目标包含在所述运动物体中。
由于上述技术方案，本发明具有如下有益效果：
本发明提供一种在背景相对静止的视频图像中对小型目标进行识别的方案，采用运动检测结合优化的目标检测手段，对背景相对静止的图像过滤掉大部分背景信息，并从图像中分割出运动物体部分作为目标检测网络模型的输入，减少目标检测网络模型需要检测的区域，同时，传入模型的输入中移动目标的占比增大，能够降低目标检测网络模型检测移动目标的难度，提高目标检测的速度和精度。此外，本方案还能减少训练目标检测网络模型所需的样本的数量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明实施例提供的目标检测方法的一种可选系统架构示意图；
图2是本发明实施例提供的目标检测方法的流程示意图；
图3是本发明实施例检测目标的示例图；
图4是本发明实施例提供的确定包含运动物体的连通域的流程示意图；
图5是本发明实施例获取待检测图像的示例图；
图6是本发明实施例提供的确定移动目标的流程示意图；
图7是本发明实施例提供的卷积神经网络架构示意图；
图8是本发明实施例合并目标特征层的示例图；
图9是本发明实施例输出移动目标的示例图；
图10是本发明实施例提供的目标检测装置的结构示意图；
图11是本发明实施例提供的一种服务器的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
现有的目标检测方案中，为使训练的模型能够在各种场景中有较好的目标检测效果，要求训练样本必须有大量不同的背景，对待检测的目标的多样性也有很高的要求，同时对检测速度和精度的要求也较高，单独靠一个目标检测网络模型很难达到要求。
发明人研究大量样本发现，视频中背景是相对静止的，而需要识别的物体是运动的，如果去除样本中大部分不需要参与考虑的背景信息，确定一个物体的大致范围，然后进行目标识别，则可以降低训练目标检测模型所需的样本的数量，同时可以减少目标检测模型需要检测的区域，使得传入目标检测模型的输入中目标占比增大，进而能更容易的检测出目标物体，提高目标检测的速度和精度。
基于上述思路，本发明提出采用运动检测过滤掉视频图像中相对于运动物体静止的背景信息，通过连通域确定运动物体大致的范围，然后输入目标检测网络模型。下面结合附图对本发明实施例中的技术方案进行清楚、完整的描述。
图1是本发明实施例提供的目标检测方法的一种可选系统架构示意图，如图1所示，该系统架构可以包括终端10和服务器20，其中终端10的数量可以为多个，服务器20可以是单独的服务器或者服务器集群。
本发明实施例中，服务器20包括预处理服务器21和目标检测服务器22。预处理服务器21主要实现对视频图像进行检测，识别视频图像中的运动物体以获得预处理图像，预处理服务器21可以由单台服务器实现，也可以由多台服务器组成的服务器群组实现。可选的，获取视频图像的渠道可以包括用户上传、网络爬取等，本发明可支持多渠道的视频图像获取方式。
可选的，终端10为用户上传视频图像所使用的终端设备，其形式包括但不限于智能手机、平板电脑、PC(个人计算机)等。
预处理服务器21获得预处理图像之后，还可以对预处理图像进行去噪处理，包括但不限于使用腐蚀和膨胀操作去除预处理图像中的噪音。
目标检测服务器22用于利用目标检测网络模型，确定预处理服务器21发送的待检测图像中移动目标的类别信息和位置信息。目标检测服务器22可以由单台服务器实现，也可以由多台服务器组成的服务器群组实现。
显然，上述系统架构仅是一种可选示例，进行目标检测的服务器在系统中的位置和连接并不限于上述示例，可以根据具体的系统情况和要求而调整。
可选的，以对任一视频图像进行目标检测为例，图2示出了本发明实施例提供的目标检测方法的流程示意图，该流程可以由服务器20执行实现，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。请参见图2，该目标检测方法包括：
步骤S201、获取视频图像。
本发明实施例中，服务器可以接收终端上传的数据或者从网络上下载所需数据，获得视频图像。视频图像就是连续的静态图像的序列，视频图像中包含物体的运动信息以及相对于运动物体静止的背景信息。
步骤S203、识别视频图像中的运动物体，获得预处理图像。
运动物体检测是在视频图像中检测运动物体，OpenCV中常用的运动物体检测方法包括背景减法、帧差法和光流法。运动物体检测技术已广泛应用于视频安全监控、车辆检测等方面。其中，背景减法是用原图像减去背景模型，剩下前景图像，该前景图像即为运动物体；背景减法的基本步骤包括：原图减去背景→阈值处理→去除噪声→膨胀连通→查找轮廓→外接矩形。帧差法是对相邻的两帧或者三帧图像，利用像素之间的差异性判断其中是否存在运动物体的方法；帧差法的基本步骤包括：相邻帧相减→阈值处理→去除噪声→膨胀连通→查找轮廓→外接矩形。光流法的原理为：如果图像中没有运动物体，则光流矢量在整个图像区域是连续变化的，当图像中有运动物体时，目标和背景存在着相对运动，运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以计算出运动物体的位置。
在一个可能的实施方式中，本发明实施例基于自适应混合高斯背景建模的背景减除法(BackgroundSubtractorMOG2)来检测视频图像中的运动物体。
步骤S205、在预处理图像中分割出包含所述运动物体的连通域，将所述连通域作为待检测图像。
步骤S207、利用目标检测网络模型，确定所述待检测图像中移动目标的类别信息和位置信息，所述移动目标包含在所述运动物体中。
其中，所述移动目标属于运动物体的一部分，例如运动物体为人，人的手、头、脸等部分均可以作为移动目标。本实施例中，同一运动物体可以包含多个移动目标。
本发明方案可以包括两部分，第一部分为缩小视频图像的检测区域，第二部分为使用目标检测网络模型进行检测。图3是本发明实施例检测目标的示例图，请参见图3，由于最终的检测目标相对于背景是运动的，可以先通过对图3(a)所示的视频图像采用运动检测算法检测出图像中在运动的部分，即运动物体，图3(b)中框选的部分为检测出的运动物体，然后对视频图像进行图像处理，将框选部分的内容提取出来，获得图3(c)所示的待检测图像，待检测图像确定出了视频图像中需要检测的范围，之后将待检测图像输入目标检测网络模型，利用目标检测网络模型检测移动目标，输出移动目标的类别信息和位置信息，其中，移动目标的位置信息可以用目标框表示，请参见图3(d)，图3(d)中小框框选内容即为移动目标，该框选内容为人物的脸部，对应的类别信息为人脸。
本发明实施例针对具有静止背景的视频图像，采用运动检测来过滤掉大部分背景信息，可以减少目标检测网络模型需要检测的区域，使得传入目标检测模型的输入中目标占比增大，进而能更容易的检测出目标物体，提高目标检测的速度和精度。同时，在训练目标检测模型阶段，可以降低训练目标检测模型所需的样本的数量。
在一个可能的实施方式中，所述步骤S203获得的预处理图像还存在小噪音，这些噪音对目标检测存在影响，因而步骤S203之后，还可以进一步包括对获得的预处理图像进行去噪处理的步骤。常见的去除图像噪声的方法包括均值滤波、自适应维纳滤波、中值滤波、形态学噪声滤除及小波去噪等。本实施例优选采用形态学噪声滤除去噪，具体的，可以采用腐蚀和膨胀操作去除预处理图像中的噪音。
图4是本发明实施例提供的确定包含运动物体的连通域的流程示意图。请参见图4，发明实施例中，所述步骤S205可以包括：
步骤S401、对所述预处理图像进行X轴的投影，计算预处理图像在X轴投影上的第一连通域。
具体可以包括：对预处理图像进行X轴的投影；遍历X轴投影中的所有像素点，根据预设的第一像素点间隔阈值确定X轴上的可连接像素点，连接X轴上的可连接像素点获得预处理图像在X轴投影上的第一连通域。
其中，X轴上的可连接像素点可以通过如下方法确定：扫描X轴投影中的所有像素点，针对扫描到的像素点，判断当前像素点与相邻像素点之间间隔的像素点个数是否不大于所述第一像素点间隔阈值，如果当前像素点与相邻像素点之间间隔的像素点个数不大于所述第一像素点间隔阈值，则将当前像素点作为X轴上的可连接像素点。第一像素点间隔阈值可以根据视频图像以及检测目标的大小来确定。
步骤S403、在所述第一连通域限定的范围内，对所述预处理图像进行Y轴的投影，计算预处理图像在Y轴投影上的第二连通域。
具体可以包括：在步骤S401的第一连通域限定的范围内，对所述预处理图像进行Y轴的投影；遍历Y轴投影中的所有像素点，根据预设的第二像素点间隔阈值确定Y轴上的可连接像素点，连接Y轴上的可连接像素点获得预处理图像在Y轴投影上的第二连通域。
其中，Y轴上的可连接像素点可以通过如下方法确定：扫描Y轴投影中的所有像素点，针对扫描到的像素点，判断当前像素点与相邻像素点之间间隔的像素点个数是否不大于所述第二像素点间隔阈值，如果当前像素点与相邻像素点之间间隔的像素点个数不大于所述第二像素点间隔阈值，则将当前像素点作为Y轴上的可连接像素点。第二像素点间隔阈值可以根据视频图像以及检测目标的大小来确定。
步骤S405、将所述第一连通域与所述第二连通域进行结合，得到包含所述运动物体的连通域。
具体的，可以提取所述第一连通域与所述第二连通域之间的重叠部分作为包含所述运动物体的连通域。
图5是本发明实施例获取待检测图像的示例图。请参见图5，图5(a)为待检测的视频图像，通过对视频图像进行运动检测，获得预处理图像图5(b)，预处理图像为经二值化处理的二值化图像，此时图像中存在一些小噪音，通过去噪处理去除图5(b)中的小噪音，得到如图5(c)的预处理图像，之后对预处理图像进行X轴的投影，遍历投影中的所有点，根据第一像素点间隔阈值确定X轴投影上的第一连通域，然后在第一连通域限定的范围内，对预处理图像进行Y轴的投影，遍历投影中的所有点，根据第二像素点间隔阈值确定Y轴投影上的第二连通域，取第一连通域和第二连通域的交集，获得待检测图像，图5(d)框中部分即为待检测图像。
在一个可选的实施例中，在获得预处理图像在X轴投影上的第一连通域之后，还可以进一步对第一连通域进行筛选处理，筛选处理方法为：根据预设的第一连通域阈值，去除第一连通域中长度小于所述第一连通域阈值的部分。通过第一连通域阈值筛除第一连通域中长度过短的部分，可以缩小最终确定的待检测图像的尺寸。
在一个可选的实施例中，在获得预处理图像在Y轴投影上的第二连通域之后，还可以进一步对第二连通域进行筛选处理，筛选处理方法包括：根据预设的第二连通域阈值，去除第二连通域中长度小于所述第二连通域阈值的部分。通过第二连通域阈值筛除第二连通域中长度过短的部分，同样有助于缩小待检测图像的尺寸，通过筛选处理，图5(d)右下侧的小框部分将被删除。
图6是本发明实施例提供的确定移动目标的流程示意图。请参见图6，利用目标检测网络模型确定待检测图像中移动目标的类别信息和位置信息具体可以包括：
步骤S601、将待检测图像输入目标检测网络模型，利用目标检测网络模型的特征提取网络对所述待检测图像进行特征提取，获得多个特征层。
目标检测网络模型的特征提取网络可以是如图7所示的卷积神经网络，通过卷积神经网络对输入的待检测图像进行特征提取，获得对应待检测图像的多个特征层。卷积神经网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力，适用于提取图像特征。卷积神经网络的层级结构包括：数据输入层、卷积计算层、ReLU激励层、池化层和全连接层。图7展示的卷积计算层架构中depth为模块的深度，stride为步长，*n表示同一个模块叠加n次。
步骤S603、从多个所述特征层中确定多个目标特征层。
具体的，从多个特征层中选择2个以上的目标特征层，特征层的数量大于目标特征层的数量。
步骤S605、将多个目标特征层的特征进行合并处理，得到特征合并层。
在一个可能的实施方式中，步骤S605可以包括：将多个所述目标特征层中最后一个特征层作为目标检测的参考层；将参考层缩放至与前一个目标特征层相同大小后，与前一个目标特征层进行特征合并，获得新的参考层；重复执行将新的参考层与前一个目标特征层进行特征合并的步骤直至合并完所有的目标特征层，获得特征合并层。
图8是本发明实施例合并目标特征层的示例图。请参见图8，特征层合并前，需先将参考层调整至与待合并特征层的大小一致，然后进行特征合并。
示例性的，从特征层中选择第5层特征层、第12层特征层和最后一层特征层作为目标特征层，最后一层特征层作为参考层，合并处理时，先将最后一层缩放至与第12层特征层相同大小，然后与第12层特征层进行特征合并，得到新的参考层，将新的参考层缩放至与第5层特征层相同大小后与第5层特征层进行特征合并，得到特征合并层。
步骤S607、将所述特征合并层输入目标检测网络模型的目标检测输出网络，由目标检测输出网络输出移动目标的类别信息和位置信息。
目标检测网络模型可以包括多个目标检测输出网络，各目标检测输出网络用于输出不同的移动目标。将特征合并层的特征输入各目标检测输出网络，通过目标检测输出网络输出不同的移动目标相关信息，具体的，每个移动目标具有对应的类别信息(目标种类)和位置信息(目标框)。
本发明实施例提供的目标检测方法，采用运动检测结合优化的目标检测手段，对背景相对静止的图像过滤掉大部分背景信息，并从图像中分割出运动物体部分作为目标检测网络模型的输入，减少目标检测网络模型需要检测的区域，同时，传入模型的输入中移动目标的占比增大，能够降低目标检测网络模型检测移动目标的难度，提高目标检测的速度和精度。此外，本方案还能减少训练目标检测网络模型所需的样本的数量。
本发明实施例还提供了一种目标检测装置，如图10所示，目标检测装置100包括图像获取单元1001、预处理单元1002、图像分割单元1003和信息确定单元1004。其中，
所述图像获取单元1001，用于获取视频图像；
所述预处理单元1002，用于识别视频图像中的运动物体，获得预处理图像；
所述图像分割单元1003，用于在预处理图像中分割出包含所述运动物体的连通域，将所述连通域作为待检测图像；
所述信息确定单元1004，用于利用目标检测网络模型，确定所述待检测图像中移动目标的类别信息和位置信息，所述移动目标包含在所述运动物体中。
其中，所述图像分割单元包括：
第一计算模块10031，用于对所述预处理图像进行X轴的投影，计算预处理图像在X轴投影上的第一连通域；
第二计算模块10032，用于在所述第一连通域限定的范围内，对所述预处理图像进行Y轴的投影，计算预处理图像在Y轴投影上的第二连通域；
合成模块10033，用于将所述第一连通域与所述第二连通域进行结合，得到包含所述运动物体的连通域。
在一些可能的实现方式中，所述第一计算模块10031还用于：对所述预处理图像进行X轴的投影；遍历X轴投影中的所有像素点，根据预设的第一像素点间隔阈值确定X轴上的可连接像素点，连接X轴上的可连接像素点获得预处理图像在X轴投影上的第一连通域。其中，确定X轴上的可连接像素点可以包括：扫描X轴投影中的所有像素点，针对扫描到的像素点，判断当前像素点与相邻像素点之间间隔的像素点个数是否不大于所述第一像素点间隔阈值，如果当前像素点与相邻像素点之间间隔的像素点个数不大于所述第一像素点间隔阈值，则将当前像素点作为X轴上的可连接像素点。
在一些可能的实现方式中，所述第二计算模块10032还用于：对所述预处理图像进行Y轴的投影；遍历Y轴投影中的所有像素点，根据预设的第二像素点间隔阈值确定Y轴上的可连接像素点，连接Y轴上的可连接像素点获得预处理图像在Y轴投影上的第二连通域。其中，确定Y轴上的可连接像素点可以包括：扫描Y轴投影中的所有像素点，针对扫描到的像素点，判断当前像素点与相邻像素点之间间隔的像素点个数是否不大于所述第二像素点间隔阈值，如果当前像素点与相邻像素点之间间隔的像素点个数不大于所述第二像素点间隔阈值，则将当前像素点作为Y轴上的可连接像素点。
在一些可能的实现方式中，所述第一计算模块10031还用于：根据预设的第一连通域阈值，去除所述第一连通域中长度小于所述第一连通域阈值的部分。
在一些可能的实现方式中，所述第二计算模块10032还用于：根据预设的第二连通域阈值，去除所述第二连通域中长度小于所述第二连通域阈值的部分。
所述合成模块10033，还用于根据预设的第二连通域阈值，去除所述第二连通域中长度小于所述第二连通域阈值的部分。
所述信息确定单元1004还用于：将所述待检测图像输入所述目标检测网络模型，利用目标检测网络模型的特征提取网络对所述待检测图像进行特征提取，获得多个特征层；从多个所述特征层中确定多个目标特征层；将多个目标特征层的特征进行合并处理，得到特征合并层；将所述特征合并层输入目标检测网络模型的目标检测输出网络，由目标检测输出网络输出移动目标的类别信息和位置信息。其中，所述将多个目标特征层的特征进行合并处理，得到特征合并层包括：将多个所述目标特征层中最后一个特征层作为目标检测的参考层；将所述参考层缩放至与前一个目标特征层相同大小后，与前一个目标特征层进行特征合并，获得新的参考层；重复执行将新的参考层与前一个目标特征层进行特征合并的步骤直至合并完所有的目标特征层，获得特征合并层。
所述的目标检测装置实施例中的装置与方法实施例基于同样地发明构思。
本发明实施例提出了一种基于运动检测的结合目标检测的方案，可以很快的划出待检测物体的大致区域，减小后续目标检测网络模型的检测的难度，另一方面，因为缩小了检测区域，可以让小物体占全图比例增加，从而提升目标检测的精度和速度。
本发明实施例提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方法实施例所述的目标检测方法。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本发明实施例还提供了一种服务器的结构示意图，请参阅图11，该服务器1100用于实施上述实施例中提供的目标检测方法，具体来讲，所述服务器结构可以包括上述目标检测装置。该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)1110(例如，一个或一个以上处理器)和存储器1130，一个或一个以上存储应用程序1123或数据1122的存储介质1120(例如一个或一个以上海量存储设备)。其中，存储器1130和存储介质1120可以是短暂存储或持久存储。存储在存储介质1120的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1110可以设置为与存储介质1120通信，在服务器1100上执行存储介质1120中的一系列指令操作。服务器1100还可以包括一个或一个以上电源1160，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1140，和/或，一个或一个以上操作系统1121，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
本发明的实施例还提供了一种存储介质，所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种目标检测方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的目标检测方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本发明提供的目标检测方法、装置、服务器的实施例可见，本说明书基于运动检测结合目标检测手段进行目标检测，在背景相对静止的视频图像中，过滤掉大部分背景信息，并从图像中分割出运动物体部分作为目标检测网络模型的输入，减少目标检测网络模型需要检测的区域，同时，传入模型的输入中移动目标的占比增大，能够降低目标检测网络模型检测移动目标的难度，提高目标检测的速度和精度。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (15)
1.一种目标检测方法，其特征在于，包括：
获取视频图像；
识别所述视频图像中的运动物体，获得预处理图像；
在所述预处理图像中分割出包含所述运动物体的连通域，将所述连通域作为待检测图像；
利用目标检测网络模型，确定所述待检测图像中移动目标的类别信息和位置信息，所述移动目标包含在所述运动物体中；
所述在所述预处理图像中分割出包含所述运动物体的连通域，将所述连通域作为待检测图像包括：
对所述预处理图像进行X轴的投影，计算所述预处理图像在所述X轴投影上的第一连通域；
在所述第一连通域限定的范围内，对所述预处理图像进行Y轴的投影，计算预处理图像在所述Y轴投影上的第二连通域；
将所述第一连通域与所述第二连通域进行结合，得到包含所述运动物体的连通域。
2.根据权利要求1所述的方法，其特征在于，所述对所述预处理图像进行X轴的投影，计算所述预处理图像在所述X轴投影上的第一连通域包括：
对所述预处理图像进行X轴的投影；
遍历所述X轴投影中的所有像素点，根据预设的第一像素点间隔阈值确定X轴上的可连接像素点，连接X轴上的可连接像素点获得所述预处理图像在所述X轴投影上的第一连通域。
3.根据权利要求2所述的方法，其特征在于，所述遍历所述X轴投影中的所有像素点，根据预设的第一像素点间隔阈值确定X轴上的可连接像素点，连接X轴上的可连接像素点获得预处理图像在所述X轴投影上的第一连通域之后，还包括：
根据预设的第一连通域阈值，去除所述第一连通域中长度小于所述第一连通域阈值的部分。
4.根据权利要求2所述的方法，其特征在于，所述遍历所述X轴投影中的所有像素点，根据预设的第一像素点间隔阈值确定X轴上的可连接像素点包括：
扫描所述X轴投影中的所有像素点，针对扫描到的像素点，判断当前像素点与相邻像素点之间间隔的像素点个数是否不大于所述第一像素点间隔阈值，如果当前像素点与相邻像素点之间间隔的像素点个数不大于所述第一像素点间隔阈值，则将当前像素点作为X轴上的可连接像素点。
5.根据权利要求1所述的方法，其特征在于，所述在所述第一连通域限定的范围内，对所述预处理图像进行Y轴的投影，计算预处理图像在所述Y轴投影上的第二连通域包括：
在所述第一连通域限定的范围内，对所述预处理图像进行Y轴的投影；
遍历所述Y轴投影中的所有像素点，根据预设的第二像素点间隔阈值确定Y轴上的可连接像素点，连接Y轴上的可连接像素点获得预处理图像在所述Y轴投影上的第二连通域。
6.根据权利要求5所述的方法，其特征在于，所述遍历所述Y轴投影中的所有像素点，根据预设的第二像素点间隔阈值确定Y轴上的可连接像素点，连接Y轴上的可连接像素点获得预处理图像在所述Y轴投影上的第二连通域之后，还包括：
根据预设的第二连通域阈值，去除所述第二连通域中长度小于所述第二连通域阈值的部分。
7.根据权利要求5所述的方法，其特征在于，所述遍历所述Y轴投影中的所有像素点，根据预设的第二像素点间隔阈值确定Y轴上的可连接像素点包括：
扫描所述Y轴投影中的所有像素点，针对扫描到的像素点，判断当前像素点与相邻像素点之间间隔的像素点个数是否不大于所述第二像素点间隔阈值，如果当前像素点与相邻像素点之间间隔的像素点个数不大于所述第二像素点间隔阈值，则将当前像素点作为Y轴上的可连接像素点。
8.根据权利要求3所述的方法，其特征在于，所述将所述第一连通域与所述第二连通域进行结合，得到包含所述运动物体的连通域包括：
提取所述第一连通域与所述第二连通域之间的重叠部分作为包含所述运动物体的连通域。
9.根据权利要求1所述的方法，其特征在于，所述利用目标检测网络模型，确定所述待检测图像中移动目标的类别信息和位置信息包括：
将所述待检测图像输入所述目标检测网络模型，利用目标检测网络模型的特征提取网络对所述待检测图像进行特征提取，获得多个特征层；
从多个所述特征层中确定多个目标特征层；
将多个目标特征层的特征进行合并处理，得到特征合并层；
将所述特征合并层输入目标检测网络模型的目标检测输出网络，由所述目标检测输出网络输出所述移动目标的类别信息和位置信息。
10.根据权利要求9所述的方法，其特征在于，所述将多个目标特征层的特征进行合并处理，得到特征合并层包括：
将多个所述目标特征层中最后一个特征层作为目标检测的参考层；
将所述参考层缩放至与前一个目标特征层相同大小后，与前一个目标特征层进行特征合并，获得新的参考层；重复执行将新的参考层与前一个目标特征层进行特征合并的步骤直至合并完所有的目标特征层，获得所述特征合并层。
11.一种目标检测装置，其特征在于，包括：
图像获取单元，用于获取视频图像；
预处理单元，用于识别视频图像中的运动物体，获得预处理图像；
图像分割单元，用于在所述预处理图像中分割出包含所述运动物体的连通域，将所述连通域作为待检测图像；
所述图像分割单元包括：
第一计算模块，用于对所述预处理图像进行X轴的投影，计算所述预处理图像在所述X轴投影上的第一连通域；
第二计算模块，用于在所述第一连通域限定的范围内，对所述预处理图像进行Y轴的投影，计算预处理图像在所述Y轴投影上的第二连通域；
合成模块，用于将所述第一连通域与所述第二连通域进行结合，得到包含所述运动物体的连通域；
信息确定单元，用于利用目标检测网络模型，确定所述待检测图像中移动目标的类别信息和位置信息，所述移动目标包含在所述运动物体中。
12.根据权利要求11所述的装置，其特征在于，
所述第一计算模块还用于：对所述预处理图像进行X轴的投影；遍历所述X轴投影中的所有像素点，根据预设的第一像素点间隔阈值确定X轴上的可连接像素点，连接X轴上的可连接像素点获得预处理图像在所述X轴投影上的第一连通域；
所述第二计算模块还用于：对所述预处理图像进行Y轴的投影；遍历所述Y轴投影中的所有像素点，根据预设的第二像素点间隔阈值确定Y轴上的可连接像素点，连接Y轴上的可连接像素点获得预处理图像在所述Y轴投影上的第二连通域。
13.根据权利要求11所述的装置，其特征在于，
所述信息确定单元用于：将所述待检测图像输入所述目标检测网络模型，利用目标检测网络模型的特征提取网络对所述待检测图像进行特征提取，获得多个特征层；从多个所述特征层中确定多个目标特征层；将多个目标特征层的特征进行合并处理，得到特征合并层；将所述特征合并层输入目标检测网络模型的目标检测输出网络，由所述目标检测输出网络输出所述移动目标的类别信息和位置信息。
14.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-10任一项所述的目标检测方法。
15.一种存储介质，其特征在于，所述存储介质设置于服务器中以保存至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-10任一项所述的目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811358627.9A CN109584266B (zh) | 2018-11-15 | 2018-11-15 | 一种目标检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811358627.9A CN109584266B (zh) | 2018-11-15 | 2018-11-15 | 一种目标检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109584266A CN109584266A (zh) | 2019-04-05 |
| CN109584266B true CN109584266B (zh) | 2023-06-09 |
Family
ID=65922444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811358627.9A Active CN109584266B (zh) | 2018-11-15 | 2018-11-15 | 一种目标检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109584266B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070688A (zh) * | 2019-04-30 | 2019-07-30 | 南京邮电大学 | 家用监控预警方法及装置、存储介质和终端 |
| CN112862855B (zh) * | 2019-11-12 | 2024-05-24 | 北京京邦达贸易有限公司 | 图像标注方法、装置、计算设备及存储介质 |
| CN111723634B (zh) * | 2019-12-17 | 2024-04-16 | 中国科学院上海微系统与信息技术研究所 | 一种图像检测方法、装置、电子设备及存储介质 |
| CN111415370A (zh) * | 2020-04-13 | 2020-07-14 | 中山大学 | 一种基于嵌入式的红外复杂场景目标实时跟踪方法及系统 |
| CN111643906B (zh) * | 2020-05-29 | 2021-08-31 | 腾讯科技（深圳）有限公司 | 一种信息处理方法、装置及计算机可读存储介质 |
| CN111950523A (zh) * | 2020-08-28 | 2020-11-17 | 珠海大横琴科技发展有限公司 | 基于航拍的船只检测优化方法、装置、电子设备及介质 |
| CN113470073A (zh) * | 2021-07-06 | 2021-10-01 | 浙江大学 | 一种基于深度学习的动物中心追踪方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101847265A (zh) * | 2010-04-20 | 2010-09-29 | 上海理工大学 | 一种在公交客流统计系统中使用的运动目标提取及多目标分割方法 |
| CN102404555A (zh) * | 2011-11-28 | 2012-04-04 | 西安雷迪维护系统设备有限公司 | 一种关于高压输电线路异物侵界的视频监测系统 |
| CN103839062A (zh) * | 2014-03-11 | 2014-06-04 | 东方网力科技股份有限公司 | 一种图像文字定位方法及装置 |
| CN103984949A (zh) * | 2014-06-11 | 2014-08-13 | 四川九洲电器集团有限责任公司 | 基于高低帽变换和连通域的车牌定位方法及其系统 |
| CN105453546A (zh) * | 2013-08-13 | 2016-03-30 | 株式会社理光 | 图像处理装置、图像处理系统、图像处理方法和计算机程序 |
| CN106529471A (zh) * | 2016-11-08 | 2017-03-22 | 广东安居宝数码科技股份有限公司 | 车脸定位方法和系统 |
| CN107958253A (zh) * | 2018-01-18 | 2018-04-24 | 浙江中控技术股份有限公司 | 一种图像识别的方法和装置 |
| CN108734172A (zh) * | 2018-04-02 | 2018-11-02 | 上海鹰觉科技有限公司 | 基于直线边缘特征的目标识别方法、系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI413024B (zh) * | 2009-11-19 | 2013-10-21 | Ind Tech Res Inst | 物件偵測方法及系統 |
| US9147260B2 (en) * | 2010-12-20 | 2015-09-29 | International Business Machines Corporation | Detection and tracking of moving objects |
| CN103700087B (zh) * | 2013-11-28 | 2016-09-28 | 深圳市智美达科技股份有限公司 | 移动侦测方法和装置 |
| CN106446896B (zh) * | 2015-08-04 | 2020-02-18 | 阿里巴巴集团控股有限公司 | 一种字符分割方法、装置及电子设备 |
| CN109479118A (zh) * | 2016-09-30 | 2019-03-15 | 富士通株式会社 | 对象检测方法、对象检测装置以及电子设备 |
| US10496894B2 (en) * | 2017-03-31 | 2019-12-03 | Tata Consultancy Services Limited | System and method for text localization in images |
| CN108022249B (zh) * | 2017-11-29 | 2020-05-22 | 中国科学院遥感与数字地球研究所 | 一种遥感视频卫星运动车辆目标感兴趣区域自动提取方法 |
| CN108010060B (zh) * | 2017-12-06 | 2021-07-27 | 北京小米移动软件有限公司 | 目标检测方法及装置 |
-
2018
- 2018-11-15 CN CN201811358627.9A patent/CN109584266B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101847265A (zh) * | 2010-04-20 | 2010-09-29 | 上海理工大学 | 一种在公交客流统计系统中使用的运动目标提取及多目标分割方法 |
| CN102404555A (zh) * | 2011-11-28 | 2012-04-04 | 西安雷迪维护系统设备有限公司 | 一种关于高压输电线路异物侵界的视频监测系统 |
| CN105453546A (zh) * | 2013-08-13 | 2016-03-30 | 株式会社理光 | 图像处理装置、图像处理系统、图像处理方法和计算机程序 |
| CN103839062A (zh) * | 2014-03-11 | 2014-06-04 | 东方网力科技股份有限公司 | 一种图像文字定位方法及装置 |
| CN103984949A (zh) * | 2014-06-11 | 2014-08-13 | 四川九洲电器集团有限责任公司 | 基于高低帽变换和连通域的车牌定位方法及其系统 |
| CN106529471A (zh) * | 2016-11-08 | 2017-03-22 | 广东安居宝数码科技股份有限公司 | 车脸定位方法和系统 |
| CN107958253A (zh) * | 2018-01-18 | 2018-04-24 | 浙江中控技术股份有限公司 | 一种图像识别的方法和装置 |
| CN108734172A (zh) * | 2018-04-02 | 2018-11-02 | 上海鹰觉科技有限公司 | 基于直线边缘特征的目标识别方法、系统 |
Non-Patent Citations (2)
| Title |
|---|
| 基于快速背景差分的高速铁路异物侵入检测算法;郭保青;杨柳旭;史红梅;王耀东;许西宁;;仪器仪表学报(第06期);第173-180页 * |
| 复杂背景下运动目标分割算法研究;万海东;张骏;刘真峥;;计算机仿真(第11期);第296-298页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109584266A (zh) | 2019-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584266B (zh) | 一种目标检测方法及装置 | |
| CN109272509B (zh) | 一种连续图像的目标检测方法、装置、设备及存储介质 | |
| CN109685060B (zh) | 图像处理方法和装置 | |
| CN110097586B (zh) | 一种人脸检测追踪方法及装置 | |
| EP1975879B1 (en) | Computer implemented method for tracking object in sequence of frames of video | |
| CN111199230B (zh) | 目标检测的方法、装置、电子设备及计算机可读存储介质 | |
| CN110084238B (zh) | 基于LadderNet网络的指静脉图像分割方法、装置和存储介质 | |
| CN109859250B (zh) | 一种航空红外视频多目标检测与跟踪方法及装置 | |
| Huang et al. | Chute based automated fish length measurement and water drop detection | |
| CN111161090B (zh) | 圈养栏信息的确定方法、装置及系统、存储介质 | |
| US11804026B2 (en) | Device and a method for processing data sequences using a convolutional neural network | |
| CN112733823B (zh) | 手势姿态识别关键帧提取方法、装置及可读存储介质 | |
| CN111723634A (zh) | 一种图像检测方法、装置、电子设备及存储介质 | |
| CN112883940A (zh) | 静默活体检测方法、装置、计算机设备及存储介质 | |
| CN111951283A (zh) | 一种基于深度学习的医学图像识别方法及系统 | |
| CN113780110A (zh) | 一种图像序列中弱小目标实时检测方法及设备 | |
| CN111079613A (zh) | 姿势识别方法和装置、电子设备及存储介质 | |
| de Oliveira Feijó et al. | An algorithm to track laboratory zebrafish shoals | |
| CN111353385A (zh) | 一种基于掩膜对齐与注意力机制的行人再识别方法和装置 | |
| CN117392404A (zh) | 一种提高图像检测速度的方法及系统 | |
| CN113542868A (zh) | 视频关键帧选取方法、装置、电子设备、存储介质 | |
| Huang et al. | Live tracking of rail-based fish catching on wild sea surface | |
| CN112215840B (zh) | 图像检测、行驶控制方法、装置、电子设备及存储介质 | |
| CN115731179A (zh) | 轨道部件检测方法、终端及存储介质 | |
| Pandey et al. | Implementation of 5-block convolutional neural network (cnn) for saliency improvement on flying object detection in videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |