CN110334706A - 一种图像目标识别方法及装置 - Google Patents

一种图像目标识别方法及装置 Download PDF

Info

Publication number
CN110334706A
CN110334706A CN201910576843.9A CN201910576843A CN110334706A CN 110334706 A CN110334706 A CN 110334706A CN 201910576843 A CN201910576843 A CN 201910576843A CN 110334706 A CN110334706 A CN 110334706A
Authority
CN
China
Prior art keywords
pixel
region
image
target
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910576843.9A
Other languages
English (en)
Other versions
CN110334706B (zh
Inventor
程雪岷
毕洪生
程凯常
蔡中华
牛嘉琪
任勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Tsinghua University
Original Assignee
Shenzhen Graduate School Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Tsinghua University filed Critical Shenzhen Graduate School Tsinghua University
Priority to CN201910576843.9A priority Critical patent/CN110334706B/zh
Publication of CN110334706A publication Critical patent/CN110334706A/zh
Application granted granted Critical
Publication of CN110334706B publication Critical patent/CN110334706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像目标识别方法及装置。图像目标识别方法包括以下步骤:S1,将图像中各像素点二值化处理,划分为有效像素点和背景点;S2,根据图像的像素点的总个数和待识别的目标的尺寸范围设定第三阈值的大小,将二值化图片中已连通的区域内的有效像素点的个数与第三阈值进行比较,如果小于第三阈值,则将该区域内的像素点均设置为背景点,从而去除该区域;S3,对剩余的已连通的各区域确定出其外接矩形框,形成框取区域;S4,将框取区域有重叠的已连通区域视为合并的整体区域,确定出整体区域的外接矩形框;图像中,外接矩形框中的图像内容为识别到的目标。本发明的目标识别方法可针对对比度较低的图像有效地识别出图像中的各目标对象。

Description

一种图像目标识别方法及装置
本申请是申请号为201710526661.1、名称为“一种图像目标识别方法及装置”的发明专利申请的分案申请。
【技术领域】
本发明涉及一种图像目标识别方法及装置。
【背景技术】
图像中目标识别是采用各种算法将图像中特定的目标或特征在机器中区分出来的过程,并且将区分出的目标进行下一步处理提供基础。在信息化网络化的今天,可以广泛应用到许多领域。人眼在进行识别某个特定目标时速度往往较慢,若需要对于大量数据或大量图像进行识别或区分,则需要耗费大量的人力物力,采用机器识别代替人眼识别,利用计算机计算量代替人眼的用脑量可以提高速度与降低能耗,对于图像识别领域而言是非常有利的。例如:对一千幅十字路口的视频帧图片进行识别,要求找出通过的车流量,明显采用机器识别远远有利于人眼识别;同样的,若给机器人加上图像目标识别系统,则相当于给机器人添加了“眼睛”,对于发展AI技术也是非常有利的。目前,人们不仅将图像识别技术应用于人脸识别,物品识别等方面,还将其应用在了手写识别等方面,极大地方便了人们的生活。
图像目标识别技术一般为以下流程:图像预处理、图像分割、特征提取和特征识别或匹配。但是所处理的图像一般为较清晰的图像,对于对比度较低的图像办法很少,很难分割提取出有效的目标特征。
【发明内容】
本发明所要解决的技术问题是:弥补上述现有技术的不足,提出一种图像目标识别方法及装置,可针对对比度较低的图像有效地识别出图像中的各目标对象。
本发明的技术问题通过以下的技术方案予以解决:
一种图像目标识别方法,包括以下步骤:S1,将图像中各像素点二值化处理,划分为有效像素点和背景点,从而将图像转换为二值化的图片;S2,根据图像的像素点的总个数和待识别的目标的尺寸范围设定第三阈值的大小,将二值化图片中已连通的区域内的有效像素点的个数与第三阈值进行比较,如果小于所述第三阈值,则将该区域内的像素点均设置为背景点,从而去除该区域;S3,对剩余的已连通的各区域确定出其外接矩形框,形成框取区域;其中,外接矩形框的四条边分别与图像的四条边平行;S4,将框取区域有重叠的已连通区域视为合并的整体区域,确定出整体区域的外接矩形框,外接矩形框的四条边分别与图像的四条边平行;图像中,外接矩形框中的图像内容为识别到的目标。
一种图像目标识别装置,包括二值化处理模块、区域去除模块、区域框取模块和区域合并模块;其中,所述二值化处理模块用于将图像中各像素点二值化处理,划分为有效像素点和背景点,从而将图像转换为二值化的图片;所述区域去除模块用于根据图像的像素点的总个数和待识别的目标的尺寸范围设定第三阈值的大小,将二值化图片中已连通的区域内的有效像素点的个数与第三阈值进行比较,如果小于所述第三阈值,则将该区域内的像素点均设置为背景点,从而去除该区域;区域框取模块用于对剩余的已连通的各区域确定出其外接矩形框,形成框取区域;其中,外接矩形框的四条边分别与图像的四条边平行;所述区域合并模块用于将框取区域有重叠的已连通区域视为合并的整体区域,确定出整体区域的外接矩形框,外接矩形框的四条边分别与图像的四条边平行,外接矩形框中的图像内容为识别到的目标。
本发明与现有技术对比的有益效果是:
本发明的图像目标识别方法及装置,通过二值化处理后转换为二值化图片,并根据图像中像素点的个数与待识别目标尺寸范围设置阈值进行比较后,有效地舍去背景区域。最后通过连通域方法对图像进行分割以及合并,从而有效地识别到目标在图像中所在的位置和在图像中的数量。本发明通过上步骤,可提高对对比度较低、图像特征不清晰的图像进行识别的准确率。
【附图说明】
图1是本发明具体实施方式的图像目标识别方法的流程图;
图2是本发明具体实施方式的整幅图像转为二值化的图片的效果图;
图3是图2经过优化去除散点噪音后的效果图;
图4是图3中经过去除干扰区域后的效果图;
图5是本发明具体实施方式的图像中确定外接矩形框后的效果图;
图6是本发明具体实施方式的图像中部分区域合并确定外接矩形框后的效果图;
图7是本发明具体实施方式的支持向量机二元分类的原理图;
图8是本发明具体实施方式的支持向量机多元分类的原理图;
图9是本发明具体实施方式的第一种分类过程的流程图;
图10是本发明具体实施方式中待提取边缘信息的原图;
图11是图10中感兴趣区域的图像;
图12是图11中经过特征点提取后获得的图像;
图13是本发明具体实施方式中特征点统计方法中的分布示意图。
【具体实施方式】
下面结合具体实施方式并对照附图对本发明做进一步详细说明。
如图1所示,为本具体实施方式中图像目标识别方法的流程图,包括以下步骤:
S1,将图像中各像素点二值化处理,划分为有效像素点和背景点,从而将图像转换为二值化的图片。
该步骤中,二值化转换处理,便于后续识别到目标所在的位置。二值化时,优选地,按照如下步骤进行:以像素点为中心设定第一窗口,通过第一窗口内像素点的像素值的平均值和标准差设置第一阈值的大小,以所述第一阈值与像素点的像素值进行比较,如果像素值大于第一阈值,则将像素点设为有效像素点;否则,将像素点设为背景点。
其中,第一阈值可根据如下式子设置得到:其中,以像素点(x,y)为中心时,T(x,y)表示对应于所述像素点(x,y)的第一阈值;R表示整幅图像的像素点的像素值的标准差的动态范围;k为设定的偏差系数,取正值;m(x,y)表示所述第一窗口内像素点的像素值的平均值;δ(x,y)表示所述第一窗口内像素点的像素灰度值的标准差。通过上述计算式子,可使得第一阈值随第一窗口中像素点的像素灰度值的标准差自适应调整。
该过程中,以像素点为中心进行窗口滑动,通过第一窗口内像素点的平均像素值、像素值标准差设置阈值。对于图像高对比度区域,标准差δ(x,y)趋近于R,这样设置得到的阈值T(x,y)则近似等于均值m(x,y),即将中心像素点(x,y)的像素值与一个近似于局部窗口的平均像素值的阈值进行比较,大于阈值,也即表明大于平均像素值,从而确认为有效像素点。对于局部对比度非常低的领域内,标准差δ(x,y)远小于R,这样设置得到的阈值T(x,y)则比均值m(x,y)要小。比较时,即将中心像素点(x,y)的像素值与一个小于局部窗口的平均像素值的阈值进行比较,而不是始终与固定的均值进行比较,这样可将大于阈值的中心像素点保留为有效的,避免遗漏模糊区域的潜在目标像素点。通过上述使用局部区域的方式设置各个像素点相对应比较的阈值,使用第一窗口中像素点的标准差自适应地调整阈值的大小,使得阈值随图像的对比度自适应调整,从而可对图像中各个像素点进行精确划分,避免因图像模糊而遗漏有效像素点。
将第一阈值与像素点的像素值比较,若像素值大于阈值,则该点为有效像素,可将其设置为白色点,如图2中所示的白色点;否则,为背景点,如图2中所示的黑色区域的像素点,从而将整幅图像转为二值化的图片。
进一步优选地,还包括对二值化处理后的图片进行再确认处理的过程,包括:以像素点为中心设定第二窗口,根据第二窗口内像素点的个数设置第二阈值的大小;将第二窗口内有效像素点的个数与所述第二阈值进行比较,如果大于所述第二阈值,则将该像素点设为有效像素点;否则,将该像素点设为背景点。该步骤中,第二窗口的大小可以与前述第一窗口的大小相同,也可以不相同。
其中,第二阈值可根据如下式子设置得到:其中,floor函数表示向下取整运算,z表示所述第二窗口内像素点的个数。该计算方法中,以正方形窗口为例,可表示边长,表示对角线的平方,将其开根号取整后可近似为对角线长度的取整。即上述设置第二阈值的方式是利用第二窗口对角线上像素点的个数作为阈值。减去2的含义在于去掉自身的1个像素点,再去掉一个可能性的有效像素点,从而使阈值的设置较准确。当然,其余自定义设置阈值的方式也是可行的,只要能识别的绝大多数的有效像素点即可。
上述进一步优化的过程,在二值化的基础上,继续以像素点为中心选定第二窗口(窗口大小可自定),以此为一个整体查看第二窗口内有效点的个数,与自设定的阈值进行比较。若比阈值大,则将中心的像素点设为有效像素点,否则为噪点,设为背景点,去除。该步骤,通过第二窗口的局部有效像素点个数的比较过程,可将周围有效像素点确实较多的中心像素点再次确认为有效点,而将周围有效像素点不太多的中心像素点确认为背景点,从而有效去除图2中图像中的散点。此外,也很重要的一点时,还可以将经过前述局部区域处理后产生的断点进行连接,例如可能有的黑色点在该过程中转变为白色,从而将相邻的白色点连接起来形成连通的白色区域。通过该进一步的优化过程,便于后续进行精确的区域识别。如图3所示,为进一步优化去除散点噪音后的效果图。
S2,根据图像的像素点的总个数和待识别的目标的尺寸范围设定第三阈值的大小,将二值化图片中已连通的区域内的有效像素点的个数与第三阈值进行比较,如果小于所述第三阈值,则将该区域内的像素点均设置为背景点,从而去除该区域。
经过二值化处理后的图片,某些区域的零散的有效像素点,某些区域集中了较多的有效像素点,从而形成已连通的区域。该过程,对整张二值化图片中的已连通域进行筛选,以检测到目标所在的区域,而对于干扰的区域,则予以去除。
具体地,设置第三阈值的大小,根据整幅图像的像素点的总个数与待识别的目标的尺寸范围设定第三阈值的大小。可根据如下式子设置第三阈值的大小:{(a*b)*c/d}/e,其中,a*b表示整幅图像中所有的像素点个数,a表示宽度方向的像素点个数,b表示长度方向的像素点个数;c表示待识别目标的最小尺寸;d表示待识别目标的最大尺寸;e表示估算的a*b大小的图片最多包含的待识别目标的数量。以待识别的目标为浮游生物为例,浮游生物的大小尺寸范围一般在20μm~5cm的范围内。通过浮游生物采集设备获取的图片包含的像素点总个数为2448*2050。估算一张图最多包含10个最大的浮游生物(估算时,可以按照整张图的尺寸和生物尺寸1:1看待,整张图片的尺寸是3厘米*3.5厘米,为10.5平方厘米,以浮游生物平均占1平方厘米的面积,所以四舍五入估算为最多包括10个)。设置第三阈值时,由[(2448*2050)*20/50000]/10设定得到第三阈值为200.736。
将已连通的区域内的有效点的个数和设定的第三阈值进行比较,小于该第三阈值,则表明这些连通的区域内的有效点不足,为干扰区域,从而将该区域内的像素点均设置为背景点,舍去该区域。如图4所示,为图3中舍去干扰区域后的效果示意图。
S3,对剩余的已连通的区域确定出其外接矩形框,形成框取区域;其中,外接矩形框的四条边分别与图像的四条边平行。
经过步骤S2,已连通的区域中,部分区域被舍去,部分区域被保留。对剩余保留的已连通的各区域,通过上述步骤S3,确定出各区域的水平方向的外接矩形框,形成框取区域。外接矩形框即为一个矩形,矩形的四条边分别穿过区域的上下左右四个边界像素点(最上、最下、最左和最右的像素点)。水平方向的外接矩形框,表示矩形框的四条边分别平行于图像的四条边,是水平的。确定出外接矩形框后,矩形框内的内容即为框取区域。如图5所示,为确定外接矩形框后的效果示意图。
S4,将框取区域有重叠的已连通区域视为合并的整体区域,确定出整体区域的外接矩形框,外接矩形框的四条边分别与图像的四条边平行,外接矩形框中的图像内容为识别到的目标。
对于框取的区域,有些区域是独立零散的,有些区域彼此有重叠。对于矩形框有重叠的部分,将这部分的已连通区域视为合并的整体区域,对该整体区域确定出其水平方向的外接矩形框。
如图6所示,为经过步骤S4后,图像中确定出外接矩形框后的效果示意图。相对于图5,图6中的有些区域由一个外接矩形框合并框取。图6中,各外接矩形框中的图像内容即为识别到的目标,从而筛选出疑似目标所在的位置,及相应的数量。
本具体实施方式中,经过上述步骤,处理模糊图像(例如浑浊度较高的水体中成的像)时,通过局部阈值进行比较,精确二值化划分像素点为有效点或者背景噪声点,然后对于二值化后的已连通域进行再次去噪,连通域框取处理以及合并处理,从而对图像进行有效的分割,提取出目标所在的感兴趣区域,可提高对对比度较低、图像特征不清晰的图像进行识别的准确率。该目标识别方法尤其适合在水中拍摄的浮游生物的识别。
识别到目标所在的区域后,可进一步地结合分类方法对区域内的图像内容进行分类处理,识别目标的类别信息。本具体实施方式中,通过如下两种分类方案分别从边界梯度、形态结构单元特征两个方面进行分类。当然,实际应用中,也可根据实际情况选择更适用的其它分类方法。
为便于分类识别处理,对提取出的各区域进行归一化处理,处理为包含有128*128个像素点的图像。
第一种分类方案:采用SVM+HOG的分类方法分析边界梯度进行分类。对归一化后得到的图像进行简单的背景去噪处理后,提取图形的边缘密度和边界梯度进行统计成直方图,从而由支持向量机(SVM)结合方向梯度直方图(HOG)对待测图片进行分析,分辨出是哪种类别的目标。SVM是一个传统的二元分类器,其原理如图7所示。其中,x1表示下方线条更密集的样本点;x2表示上方线条稀疏的样本点。ωTx+b=0的含义是:用线性方程来划分不同样本的超平面;线性方程右侧的1和-1分别代表两个种类。表示两个类别的最外层平行面之间的距离。以待识别的目标为浮游生物为例,浮游生物种类繁多,仅二元是不够的,因此本具体实施方式中将其优化为多种类分类器。
分类过程包括以下步骤:
分类之前先对样本进行训练(样本是事先已挑选的)。训练过程为:将n类样本按照二分法的方式分成1~n/2和n/2+1~n两类,再对这两类包含的样本进行图形的边缘密度和边界梯度统计;重复该过程,将这两类继续按照二分的方法继续分类和统计,直到将样本分类至其中单独的一个类别,即表示训练结束。原理图如图8所示。
分类时,对归一化处理后的各连通域的图像,分别提取各区域中图像的边缘密度和边界梯度,根据边缘密度和梯度信息,与训练获得的样本的统计信息进行比较,将图像分类为n个大类中的n/2个类别中,重复分类过程,将图像分类至n/2个类别中n/4个类别中,重复分类,直至图像分类至其中一个类别中,从而得到图像所属的生物类别。分类的流程图如图9所示。
查找确定类别时,由于待检测的图像对于分类器来说未知,所以时间对于查找种类来说最为重要,最常见的查找方式和排序方式为冒泡法、二分法和快速排序。从时间复杂度上看,冒泡算法为O(n2),二分法为O(log2n),快速排序为O(n*logn),本具体实施方式中最终选取二分法为查找手段。
第二种分类方案:采用特征点分布算法(shape-context)分析形态结构单元特征进行分类。采用边缘快速提取算法提取特征点。该算法可以直接将图形的边缘提取出来,从而可以将提取出来的点作为特征点,更为有效地看出图形的边缘及特征分布情况。该边缘快速提取算法提取精确,且耗时也较短。以图10所示的原图为例,其大小为2448*2050,感兴趣区域的浮游生物图像为图11所示,大小为210*210,提取疑似浮游生物区域的特征点的过程耗时为54秒,提取后得到的特征点(黑色像素点)的图像如图12所示。
分析边界梯度进行分类的过程包括以下步骤:
分类之前对样本进行训练(样本是是事先已挑选的),训练过程为:将样本通过边缘快速提取算法进行处理得到边缘和特征点的分布情况,再通过图13所示的特征点统计方法对特征点分布进行统计,将每种样本的特征点分布情况分别统计在各自的一个文本中,统计出所有样本的特征点分布情况即完成训练。图13所示的统计方法为:以特征点为中心进行8等分(45°为一个区域,360°平分成8个区域),再根据图形特征大小向外扩散5个区域,即以该特征点为中心,到能包含所有特征点的外接圆的最大半径,将这个最大半径分五等分,构成五个圆,同时每个圆按照上述分成8个区域,由此将图形中所有特征点划分到40个区域内。
分类时,将归一化处理后的各连通域的图像通过边缘快速提取算法进行处理得到边缘和特征点的分布情况,再通过图13所示的方法对特征点分布进行统计,将待检测图像统计后的特征点分布结果和训练所得的每个样本的特征点分布统计结果进行比较,从而识别出待检测图像所属的类别。
通过上述设计出的多种类分类器以及多种类训练器可以更好地对目标,例如世界万千物种进行分类。
本具体实施方式中还提供一种图像目标识别装置,包括二值化处理模块、区域去除模块、区域框取模块和区域合并模块;其中,所述二值化处理模块用于将图像中各像素点二值化处理,划分为有效像素点和背景点,从而将图像转换为二值化的图片;所述区域去除模块用于根据图像的像素点的总个数和待识别的目标的尺寸范围设定第三阈值的大小,将二值化图片中已连通的区域内的有效像素点的个数与第三阈值进行比较,如果小于所述第三阈值,则将该区域内的像素点均设置为背景点,从而去除该区域;区域框取模块用于对剩余的已连通的各区域确定出其外接矩形框,形成框取区域;其中,外接矩形框的四条边分别与图像的四条边平行;所述区域合并模块用于将框取区域有重叠的已连通区域视为合并的整体区域,确定出整体区域的外接矩形框,外接矩形框的四条边分别与图像的四条边平行,外接矩形框中的图像内容为识别到的目标。本具体实施方式的目标识别装置可提高对对比度较低、图像特征不清晰的图像进行识别的准确率。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下做出若干替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。

Claims (7)

1.一种图像目标识别方法,其特征在于:包括以下步骤:S1,将图像中各像素点二值化处理,划分为有效像素点和背景点,从而将图像转换为二值化的图片;S2,根据图像的像素点的总个数和待识别的目标的尺寸范围设定第三阈值的大小,将二值化图片中已连通的区域内的有效像素点的个数与第三阈值进行比较,如果小于所述第三阈值,则将该区域内的像素点均设置为背景点,从而去除该区域;S3,对剩余的已连通的各区域确定出其外接矩形框,形成框取区域;其中,外接矩形框的四条边分别与图像的四条边平行;S4,将框取区域有重叠的已连通区域视为合并的整体区域,确定出整体区域的外接矩形框,外接矩形框的四条边分别与图像的四条边平行;图像中,外接矩形框中的图像内容为识别到的目标;步骤S1中,对图像中各像素点进行如下二值化处理:以像素点为中心设定第一窗口,通过第一窗口内像素点的像素值的平均值和标准差设置第一阈值的大小,以所述第一阈值与像素点的像素值进行比较,如果像素值大于第一阈值,则将像素点设为有效像素点;否则,将像素点设为背景点;步骤S1中,还包括如下步骤:在二值化处理的基础上进行再确认处理:以像素点为中心设定第二窗口,根据第二窗口内像素点的个数设置第二阈值的大小;将第二窗口内有效像素点的个数与所述第二阈值进行比较,如果大于所述第二阈值,则将该像素点设为有效像素点;否则,将该像素点设为背景点。
2.根据权利要求1所述的图像目标识别方法,其特征在于:所述第一阈值根据如下式子设置得到:其中,以像素点(x,y)为中心时,T(x,y)表示对应于所述像素点(x,y)的第一阈值;R表示整幅图像的像素点的像素灰度值的标准差的动态范围;k为设定的偏差系数,取正值;m(x,y)表示所述第一窗口内像素点的像素值的平均值;δ(x,y)表示所述第一窗口内像素点的像素灰度值的标准差。
3.根据权利要求1所述的图像目标识别方法,其特征在于:所述第二阈值根据如下式子设置得到:其中,floor函数表示向下取整运算,z表示所述第二窗口内像素点的个数。
4.根据权利要求1所述的图像目标识别方法,其特征在于:步骤S2中,所述第三阈值根据如下式子设置得到:{(a*b)*c/d}/e,其中,a*b表示整幅图像中所有的像素点个数,a表示宽度方向的像素点个数,b表示长度方向的像素点个数;c表示待识别目标的最小尺寸;d表示待识别目标的最大尺寸;e表示估算的a*b大小的图片最多包含的待识别目标的数量。
5.根据权利要求1所述的图像目标识别方法,其特征在于:所述待识别的目标为待识别的浮游生物。
6.根据权利要求1所述的图像目标识别方法,其特征在于:还包括步骤S5,获取识别到的目标的种类信息:S51,样本训练:将n类样本按照二分法的方式分成1~n/2和n/2+1~n两大类,对这两大类包含的样本的图片进行图形的边缘密度和边界梯度统计;重复上述过程,将两大类中的各自n/2类按照二分法的方式继续分类和统计,直至将样本分类至单独的一个类别,并统计出单独各个类别的样本的图形的边缘密度和边界梯度;S52,将目标所在的各区域进行归一化处理;S53,分类:对归一化处理后的各区域,分别提取各区域中图像的边缘密度和边界梯度,根据边缘密度和边界梯度信息,与步骤S51中训练获得的样本的统计信息进行比较,将图像分类至n个大类中的n/2个类别中,重复上述分类过程,将图像分类至n/2个类别中n/4个类别中,重复分类过程,直至将图像分类至其中单独的一个类别中,从而获取得到区域中目标所属的类别信息。
7.根据权利要求1所述的图像目标识别方法,其特征在于:还包括步骤S6,获取识别到的目标的种类信息:S61,样本训练:将n类样本通过边缘快速提取算法进行处理得到边缘和特征点的分布情况,再通过特征点统计方法对特征点的分布进行统计,从而统计出各个类别的样本的特征点分布情况;S62,将目标所在的各区域进行归一化处理;S63,分类:对归一化处理后的各区域的图像,通过边缘快速提取算法进行处理得到边缘和特征点的分布情况,再通过特征点统计方法对特征点分布进行统计,将统计后的结果与步骤S61中训练获得的各个类别的样本的统计结果进行比较,从而识别出目标所属的类别信息。
CN201910576843.9A 2017-06-30 2017-06-30 一种图像目标识别方法及装置 Active CN110334706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910576843.9A CN110334706B (zh) 2017-06-30 2017-06-30 一种图像目标识别方法及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910576843.9A CN110334706B (zh) 2017-06-30 2017-06-30 一种图像目标识别方法及装置
CN201710526661.1A CN107330465B (zh) 2017-06-30 2017-06-30 一种图像目标识别方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201710526661.1A Division CN107330465B (zh) 2017-06-30 2017-06-30 一种图像目标识别方法及装置

Publications (2)

Publication Number Publication Date
CN110334706A true CN110334706A (zh) 2019-10-15
CN110334706B CN110334706B (zh) 2021-06-01

Family

ID=60198065

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910576843.9A Active CN110334706B (zh) 2017-06-30 2017-06-30 一种图像目标识别方法及装置
CN201710526661.1A Active CN107330465B (zh) 2017-06-30 2017-06-30 一种图像目标识别方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710526661.1A Active CN107330465B (zh) 2017-06-30 2017-06-30 一种图像目标识别方法及装置

Country Status (2)

Country Link
CN (2) CN110334706B (zh)
WO (1) WO2019000653A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113900750A (zh) * 2021-09-26 2022-01-07 珠海豹好玩科技有限公司 确定窗口界面边界的方法、装置、存储介质及电子设备
CN114067122A (zh) * 2022-01-18 2022-02-18 深圳市绿洲光生物技术有限公司 一种两级式二值化图像处理方法
CN115601385A (zh) * 2022-04-12 2023-01-13 北京航空航天大学(Cn) 气泡形态处理方法、设备、介质及程序产品
CN116012283A (zh) * 2022-09-28 2023-04-25 逸超医疗科技(北京)有限公司 一种全自动超声图像量测方法、设备及存储介质
CN116758024A (zh) * 2023-06-13 2023-09-15 山东省农业科学院 一种花生种子方向识别方法

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443097A (zh) * 2018-05-03 2019-11-12 北京中科晶上超媒体信息技术有限公司 一种视频目标实时提取优化方法及系统
CN109117845A (zh) * 2018-08-15 2019-01-01 广州云测信息技术有限公司 一种图像中的对象识别方法及装置
CN109190640A (zh) * 2018-08-20 2019-01-11 贵州省生物研究所 一种基于大数据的浮游生物的拦截式采集方法及采集系统
CN109670518B (zh) * 2018-12-25 2022-09-23 浙江大学常州工业技术研究院 一种测量图片中目标物的边界的方法
CN109815906B (zh) * 2019-01-25 2021-04-06 华中科技大学 基于分步深度学习的交通标志检测方法及系统
CN110263608B (zh) * 2019-01-25 2023-07-07 天津职业技术师范大学(中国职业培训指导教师进修中心) 基于图像特征空间变阈值度量的电子元器件自动识别方法
CN109977944B (zh) * 2019-02-21 2023-08-01 杭州朗阳科技有限公司 一种数字水表读数的识别方法
CN111833398B (zh) * 2019-04-16 2023-09-08 杭州海康威视数字技术股份有限公司 一种图像中的像素点标记方法及装置
CN110070533B (zh) * 2019-04-23 2023-05-30 科大讯飞股份有限公司 一种目标检测结果的评测方法、装置、设备及存储介质
CN110096991A (zh) * 2019-04-25 2019-08-06 西安工业大学 一种基于卷积神经网络的手语识别方法
CN110189403B (zh) * 2019-05-22 2022-11-18 哈尔滨工程大学 一种基于单波束前视声纳的水下目标三维重建方法
CN110175563B (zh) * 2019-05-27 2023-03-24 上海交通大学 金属切削刀具图纸标注识别方法及系统
CN110180186B (zh) * 2019-05-28 2022-08-19 北京奇思妙想信息技术有限公司 一种地形图转换方法及系统
CN110443272B (zh) * 2019-06-24 2023-01-03 中国地质大学(武汉) 一种基于模糊择近原则的复杂烟株图像分类方法
CN110348442B (zh) * 2019-07-17 2022-09-30 大连海事大学 一种基于支持向量机的船载雷达图像海上油膜识别方法
CN110390313B (zh) * 2019-07-29 2023-03-28 哈尔滨工业大学 一种暴力动作检测方法及系统
CN110415237B (zh) * 2019-07-31 2022-02-08 Oppo广东移动通信有限公司 皮肤瑕疵检测方法、检测装置、终端设备及可读存储介质
CN110490848B (zh) * 2019-08-02 2022-09-30 上海海事大学 红外目标检测方法、装置及计算机存储介质
CN110941987B (zh) * 2019-10-10 2023-04-07 北京百度网讯科技有限公司 目标对象识别方法、装置、电子设备及存储介质
CN112991253B (zh) * 2019-12-02 2024-05-31 合肥美亚光电技术股份有限公司 中心区域确定方法、异物剔除方法、装置及检测设备
CN112890736B (zh) * 2019-12-03 2023-06-09 精微视达医疗科技(武汉)有限公司 一种内窥成像系统视场掩模的获得方法及装置
CN111126252B (zh) * 2019-12-20 2023-08-18 浙江大华技术股份有限公司 摆摊行为检测方法以及相关装置
CN111191730B (zh) * 2020-01-02 2023-05-12 中国航空工业集团公司西安航空计算技术研究所 一种面向嵌入式深度学习的超大尺寸图像目标检测方法及系统
CN111209864B (zh) * 2020-01-07 2023-05-26 上海交通大学 一种电力设备目标识别方法
CN111260629A (zh) * 2020-01-16 2020-06-09 成都地铁运营有限公司 基于图像处理的受电弓结构异常检测算法
CN111259980B (zh) * 2020-02-10 2023-10-03 北京小马慧行科技有限公司 标注数据的处理方法和装置
CN111598947B (zh) * 2020-04-03 2024-02-20 上海嘉奥信息科技发展有限公司 通过标识特征自动识别病人方位的方法和系统
CN113516611B (zh) * 2020-04-09 2024-01-30 合肥美亚光电技术股份有限公司 异常物料剔除区域的确定方法及装置、物料分选方法及设备
CN113538450B (zh) * 2020-04-21 2023-07-21 百度在线网络技术(北京)有限公司 用于生成图像的方法及装置
CN111507995B (zh) * 2020-04-30 2023-05-23 柳州智视科技有限公司 一种基于彩色图像金字塔和颜色通道分类的图像分割方法
CN111523613B (zh) * 2020-05-09 2023-03-24 黄河勘测规划设计研究院有限公司 水利工程复杂环境下的图像分析抗干扰方法
CN111626230B (zh) * 2020-05-29 2023-04-14 合肥工业大学 一种基于特征增强的车标识别方法及系统
CN111724351B (zh) * 2020-05-30 2023-05-02 上海健康医学院 一种基于机器学习的氦泡电镜图像统计分析方法
CN111753794B (zh) * 2020-06-30 2024-02-27 创新奇智(成都)科技有限公司 水果品质分类方法、装置、电子设备及可读存储介质
CN114199262A (zh) * 2020-08-28 2022-03-18 阿里巴巴集团控股有限公司 一种训练位置识别模型的方法、位置识别方法及相关设备
CN112053399B (zh) * 2020-09-04 2024-02-09 厦门大学 一种胶囊内镜视频中消化道器官的定位方法
CN112102288B (zh) * 2020-09-15 2023-11-07 应急管理部大数据中心 水体识别和水体变化检测方法、装置、设备及介质
CN112085118A (zh) * 2020-09-17 2020-12-15 南京智能仿真技术研究院有限公司 一种基于图像识别技术的大数据分类统计方法
CN112241466A (zh) * 2020-09-22 2021-01-19 天津永兴泰科技股份有限公司 一种基于动物识图的野生动物保护法律推荐系统
CN112241956B (zh) * 2020-11-03 2023-04-07 甘肃省地震局(中国地震局兰州地震研究所) 基于区域生长法和变差函数的PolSAR图像山脊线提取方法
CN112232286A (zh) * 2020-11-05 2021-01-15 浙江点辰航空科技有限公司 一种道路巡检无人机图像识别系统及无人机
CN113409352B (zh) * 2020-11-19 2024-03-15 西安工业大学 单帧红外图像弱小目标检测方法、装置、设备和存储介质
CN112508893B (zh) * 2020-11-27 2024-04-26 中国铁路南宁局集团有限公司 基于机器视觉的铁路双轨间微小异物检测方法及系统
CN112488118B (zh) * 2020-12-18 2023-08-08 哈尔滨工业大学(深圳) 一种目标检测方法及相关装置
CN112668441B (zh) * 2020-12-24 2022-09-23 中国电子科技集团公司第二十八研究所 一种结合先验知识的卫星遥感影像飞机目标识别方法
CN112750136B (zh) * 2020-12-30 2023-12-05 深圳英集芯科技股份有限公司 一种图像处理方法和系统
CN113033400B (zh) * 2021-03-25 2024-01-19 新东方教育科技集团有限公司 识别数学式子的方法、装置、存储介质及电子设备
CN113221917B (zh) * 2021-05-13 2024-03-19 南京航空航天大学 非充分光照下单目视觉双层四边形结构合作目标提取方法
CN114037650B (zh) * 2021-05-17 2024-03-19 西北工业大学 变化检测及目标检测的地面目标可见光毁伤图像处理方法
CN113420668B (zh) * 2021-06-21 2024-01-12 西北工业大学 一种基于二维多尺度排列熵的水下目标识别方法
CN113298702B (zh) * 2021-06-23 2023-08-04 重庆科技学院 基于大尺寸图像像素点的重新排序和分割方法
CN113689455B (zh) * 2021-07-01 2023-10-20 上海交通大学 热流体图像处理方法、系统、终端及介质
CN113469980B (zh) * 2021-07-09 2023-11-21 连云港远洋流体装卸设备有限公司 一种基于图像处理的法兰识别方法
CN113591674B (zh) * 2021-07-28 2023-09-22 桂林电子科技大学 一种面向实时视频流的边缘环境行为识别系统
CN113588663B (zh) * 2021-08-03 2024-01-23 上海圭目机器人有限公司 一种管线缺陷识别与信息提取方法
CN113688829B (zh) * 2021-08-05 2024-02-20 南京国电南自电网自动化有限公司 一种变电站监控画面自动识别方法及系统
CN113610830B (zh) * 2021-08-18 2023-12-29 常州领创电气科技有限公司 一种避雷器用的检测系统及方法
CN113776408B (zh) * 2021-09-13 2022-09-13 北京邮电大学 一种闸门开度尺读数方法
CN114757901A (zh) * 2022-04-01 2022-07-15 海门市恒昌织带有限公司 基于计算机视觉的纺织梳理系统
CN114821030B (zh) * 2022-04-11 2023-04-04 苏州振旺光电有限公司 行星图像处理方法、系统以及装置
CN114871120B (zh) * 2022-05-26 2023-11-07 江苏省徐州医药高等职业学校 基于图像数据处理的药品确定分拣方法及装置
CN115026839B (zh) * 2022-07-29 2024-04-26 西南交通大学 一种轨道车辆转向架斜楔支撑机器人摇枕孔定位方法
CN114998887B (zh) * 2022-08-08 2022-10-11 山东精惠计量检测有限公司 一种电能计量表智能识别方法
CN118037559A (zh) * 2022-11-11 2024-05-14 蔚来移动科技有限公司 基于车体抠像的图像处理方法、装置、电子设备及介质
CN115690693B (zh) * 2022-12-13 2023-03-21 山东鲁旺机械设备有限公司 一种建筑吊篮的智能监控系统及监控方法
CN116311543B (zh) * 2023-02-03 2024-03-08 汇金智融(深圳)科技有限公司 一种基于图像识别技术的笔迹分析方法及系统
CN116740332B (zh) * 2023-06-01 2024-04-02 南京航空航天大学 基于区域检测的星上空间目标部件中心定位和测角方法
CN116403094B (zh) * 2023-06-08 2023-08-22 成都菁蓉联创科技有限公司 一种嵌入式图像识别方法及系统
CN117058292B (zh) * 2023-07-28 2024-04-26 北京透彻未来科技有限公司 基于数字病理图像的色阶图渲染系统
CN116740579B (zh) * 2023-08-15 2023-10-20 兰陵县城市规划设计室 一种国土空间规划数据智能采集方法
CN116740070B (zh) * 2023-08-15 2023-10-24 青岛宇通管业有限公司 基于机器视觉的塑料管道外观缺陷检测方法
CN116758578B (zh) * 2023-08-18 2023-11-07 上海楷领科技有限公司 机械制图信息提取方法、装置、系统及存储介质
CN117373050A (zh) * 2023-11-02 2024-01-09 济南大学 一种高精度识别图纸管线的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777122A (zh) * 2010-03-02 2010-07-14 中国海洋大学 一种角毛藻显微图像细胞目标提取方法
CN102663406A (zh) * 2012-04-12 2012-09-12 中国海洋大学 一种基于显微图像的角毛藻和非角毛藻自动分类方法
CN103049763A (zh) * 2012-12-07 2013-04-17 华中科技大学 一种基于上下文约束的目标识别方法
KR101601564B1 (ko) * 2014-12-30 2016-03-09 가톨릭대학교 산학협력단 얼굴의 원형 블록화를 이용한 얼굴 검출 방법 및 그 장치
CN105868708A (zh) * 2016-03-28 2016-08-17 锐捷网络股份有限公司 一种图像目标识别方法及装置
CN106846339A (zh) * 2017-02-13 2017-06-13 广州视源电子科技股份有限公司 一种图像检测方法和装置
CN106875404A (zh) * 2017-01-18 2017-06-20 宁波摩视光电科技有限公司 一种白带显微图像中上皮细胞的智能识别方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7092573B2 (en) * 2001-12-10 2006-08-15 Eastman Kodak Company Method and system for selectively applying enhancement to an image
CN101699469A (zh) * 2009-11-09 2010-04-28 南京邮电大学 课堂录像中教师黑板书写动作的自动识别方法
CN102375982B (zh) * 2011-10-18 2013-01-02 华中科技大学 一种融合多字符特征的车牌定位方法
CN104036239B (zh) * 2014-05-29 2017-05-10 西安电子科技大学 基于特征融合和聚类的高分辨sar图像快速舰船检测方法
CN104077777B (zh) * 2014-07-04 2017-01-11 中国科学院大学 一种海面舰船目标检测方法
CN105117706B (zh) * 2015-08-28 2019-01-18 小米科技有限责任公司 图像处理方法和装置、字符识别方法和装置
CN105261049B (zh) * 2015-09-15 2017-09-22 重庆飞洲光电技术研究院 一种图像连通区域快速检测方法
CN106250901A (zh) * 2016-03-14 2016-12-21 上海创和亿电子科技发展有限公司 一种基于图像特征信息的数字识别方法
CN106407978B (zh) * 2016-09-24 2020-10-30 上海大学 一种结合似物度的无约束视频中显著物体检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777122A (zh) * 2010-03-02 2010-07-14 中国海洋大学 一种角毛藻显微图像细胞目标提取方法
CN102663406A (zh) * 2012-04-12 2012-09-12 中国海洋大学 一种基于显微图像的角毛藻和非角毛藻自动分类方法
CN103049763A (zh) * 2012-12-07 2013-04-17 华中科技大学 一种基于上下文约束的目标识别方法
CN103049763B (zh) * 2012-12-07 2015-07-01 华中科技大学 一种基于上下文约束的目标识别方法
KR101601564B1 (ko) * 2014-12-30 2016-03-09 가톨릭대학교 산학협력단 얼굴의 원형 블록화를 이용한 얼굴 검출 방법 및 그 장치
CN105868708A (zh) * 2016-03-28 2016-08-17 锐捷网络股份有限公司 一种图像目标识别方法及装置
CN106875404A (zh) * 2017-01-18 2017-06-20 宁波摩视光电科技有限公司 一种白带显微图像中上皮细胞的智能识别方法
CN106846339A (zh) * 2017-02-13 2017-06-13 广州视源电子科技股份有限公司 一种图像检测方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨榕等: "基于图像处理技术的浮游生物自动分类研究", 《计算机仿真》 *
王铌等: "图像自动识别技术在海洋浮游生物分析中的应用", 《研究论文》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113900750A (zh) * 2021-09-26 2022-01-07 珠海豹好玩科技有限公司 确定窗口界面边界的方法、装置、存储介质及电子设备
CN113900750B (zh) * 2021-09-26 2024-02-23 珠海豹好玩科技有限公司 确定窗口界面边界的方法、装置、存储介质及电子设备
CN114067122A (zh) * 2022-01-18 2022-02-18 深圳市绿洲光生物技术有限公司 一种两级式二值化图像处理方法
CN114067122B (zh) * 2022-01-18 2022-04-08 深圳市绿洲光生物技术有限公司 一种两级式二值化图像处理方法
CN115601385A (zh) * 2022-04-12 2023-01-13 北京航空航天大学(Cn) 气泡形态处理方法、设备、介质及程序产品
CN116012283A (zh) * 2022-09-28 2023-04-25 逸超医疗科技(北京)有限公司 一种全自动超声图像量测方法、设备及存储介质
CN116012283B (zh) * 2022-09-28 2023-10-13 逸超医疗科技(北京)有限公司 一种全自动超声图像量测方法、设备及存储介质
CN116758024A (zh) * 2023-06-13 2023-09-15 山东省农业科学院 一种花生种子方向识别方法
CN116758024B (zh) * 2023-06-13 2024-02-23 山东省农业科学院 一种花生种子方向识别方法

Also Published As

Publication number Publication date
CN107330465B (zh) 2019-07-30
CN110334706B (zh) 2021-06-01
CN107330465A (zh) 2017-11-07
WO2019000653A1 (zh) 2019-01-03

Similar Documents

Publication Publication Date Title
CN107330465B (zh) 一种图像目标识别方法及装置
CN104834922B (zh) 基于混合神经网络的手势识别方法
Jumb et al. Color image segmentation using K-means clustering and Otsu’s adaptive thresholding
CN110097034A (zh) 一种智能人脸健康程度的识别与评估方法
CN105740945B (zh) 一种基于视频分析的人群计数方法
Savkare et al. Automatic system for classification of erythrocytes infected with malaria and identification of parasite's life stage
CN110120056B (zh) 基于自适应直方图阈值和轮廓检测的血液白细胞分割方法
CN104123543B (zh) 一种基于人脸识别的眼球运动识别方法
CN104794708A (zh) 一种基于多特征学习的动脉粥样硬化斑块成分分割方法
CN106446952A (zh) 一种乐谱图像识别方法及装置
Zhou et al. Leukocyte image segmentation based on adaptive histogram thresholding and contour detection
CN106295789A (zh) 一种基于图像处理的作物种子计数方法
CN109636824A (zh) 一种基于图像识别技术的多目标计数方法
CN104021384B (zh) 一种人脸识别方法及装置
CN108257124A (zh) 一种基于图像的白细胞计数方法和系统
CN106529377A (zh) 一种基于图像的年龄估计方法、装置及系统
CN106127735A (zh) 一种设施蔬菜边缘清晰类叶面病斑分割方法及装置
CN110728185A (zh) 一种判别驾驶人存在手持手机通话行为的检测方法
CN110458792A (zh) 人脸图像质量的评价方法及装置
CN110021019A (zh) 一种aga临床图像的ai辅助毛发的粗细分布分析方法
CN107392105B (zh) 一种基于反向协同显著区域特征的表情识别方法
CN104966271B (zh) 基于生物视觉感受野机制的图像去噪方法
CN109409347A (zh) 一种基于人脸特征检测疲劳驾驶的方法
CN107563287B (zh) 人脸识别方法和装置
Chen et al. Robust segmentation for low quality cell images from blood and bone marrow

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant