CN102307275A - 对监控图像进行不规则多边形马赛克处理的方法及其装置 - Google Patents

对监控图像进行不规则多边形马赛克处理的方法及其装置 Download PDF

Info

Publication number
CN102307275A
CN102307275A CN201110267115A CN201110267115A CN102307275A CN 102307275 A CN102307275 A CN 102307275A CN 201110267115 A CN201110267115 A CN 201110267115A CN 201110267115 A CN201110267115 A CN 201110267115A CN 102307275 A CN102307275 A CN 102307275A
Authority
CN
China
Prior art keywords
shaded areas
polygon
mosaic processing
module
rectangular block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201110267115A
Other languages
English (en)
Other versions
CN102307275B (zh
Inventor
王小刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN 201110267115 priority Critical patent/CN102307275B/zh
Publication of CN102307275A publication Critical patent/CN102307275A/zh
Application granted granted Critical
Publication of CN102307275B publication Critical patent/CN102307275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及视频监控领域,公开了一种对监控图像进行不规则多边形马赛克处理的方法及其装置。计算以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值;在坐标的最大值和最小值的范围内,以预先设定的步长,以与第一维度方向垂直的扫描直线对遮蔽区域进行逐行扫描,通过扫描将遮蔽区域分割成多个遮蔽矩形块,以DMA方式复制遮蔽矩形块中的数据到处理器进行处理。

Description

对监控图像进行不规则多边形马赛克处理的方法及其装置
技术领域
本发明涉及视频监控领域,特别涉及不规则多边形马赛克处理技术。
背景技术
当前,隐私遮蔽已广泛应用至监控行业,即随着球机云台的转动,使需要进行遮蔽的隐私区域固定保持遮蔽状态。为了保证遮蔽的实时性,需要对每一帧图像进行处理。从上层传输的经纬度坐标转换至平面坐标,并以此进行马赛克处理,都需要进行计算处理,这就对处理器的性能和算法效率提出了严格的要求。在处理马赛克时,由于矩形具有处理简单,算法效率高等优点,所以当前的马赛克隐私块,都以矩形为主,在矩形隐私遮蔽处理过程中,处理器只需得到矩形的左上角点坐标(x0,y0)和矩形宽w,高h,即可采用整块直接内存存取(Direct Memory Access,简称“DMA”)拷贝数据块进行处理来实现。
但随着隐私遮蔽的应用的深入和对遮蔽块形状的要求越来越多。以此背景下,提出了不规则多边形的马赛克处理方法。即在图像平面内,处理器对上层传输的任意坐标的几个点形成的不规则多边形进行马赛克处理,从而达到多边形隐私遮蔽的效果。而不规则多边形只给出几个顶点的坐标点作为初始条件,由于多边形的偏移量以及跨度都无规律可循,所以无法采用类似矩形的DMA拷贝技术。对此,可采用的处理过程一般为:对多边形的最大外接矩形框内的像素点是否在多边形之内进行逐点判断,若在多边形内部,则做相应的处理,否者跳过继续判断处理下一个点。
然而,由于现有技术中处理器性能的限制,对矩形框内的像素点是否在多边形之内进行逐点判断处理,当多边形面积较大时,就需要很大的计算量,使得处理运算性能整体下降。当处理面积较大的单块多边形时,就会造成视频数据严重丢帧,影响隐私遮蔽数据完整性,可能会造成使隐私公开的后果。所以采用此方法远远不能满足需要多块多边形隐私遮蔽时的要求。
对此,亟待提出一种处理速度快、复杂度低、实时性强和隐私数据保密性完整性优的隐私遮蔽解决方案。
发明内容
本发明的目的在于提供一种对监控图像进行不规则多边形马赛克处理的方法及其装置,极大减小了对任意形状的多边形区域进行遮蔽处理时处理器的数据处理负载。
为解决上述技术问题,本发明的实施方式提供了一种对监控图像进行不规则多边形马赛克处理的方法,计算以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值;
在坐标的最大值和最小值的范围内,以预先设定的步长,以与第一维度方向垂直的扫描直线对遮蔽区域进行逐行扫描,每次扫描时包括以下步骤:
计算扫描直线与遮蔽区域边界线的交点集;
根据交点集确定一个或多个遮蔽矩形块,其中这些遮蔽矩形块在第一维度方向上的长度由交点集决定,这些遮蔽矩形块在第二维度方向上的长度是预先设定的步长,第二维度方向与第一维度方向相互垂直;
将遮蔽矩形块中的图像数据以直接内存存取方式复制到处理器直接访问的高速缓存中进行马赛克处理。
本发明的实施方式还提供了一种对监控图像进行不规则多边形马赛克处理的装置,包括以下模块:
计算模块,用于计算以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值;
扫描模块,用于在坐标的最大值和最小值的范围内,以预先设定的步长,以与第一维度方向垂直的扫描直线对遮蔽区域进行逐行扫描;
扫描模块包括以下子模块:
交点集计算子模块,用于计算扫描直线与遮蔽区域边界线的交点集;
遮蔽矩形块确定子模块,用于根据交点集确定一个或多个遮蔽矩形块,其中这些遮蔽矩形块在第一维度方向上的长度由交点集决定,这些遮蔽矩形块在第二维度方向上的长度是预先设定的步长,第二维度方向与第一维度方向相互垂直;
内存存取子模块,用于将遮蔽矩形块确定子模块确定的遮蔽矩形块中的图像数据以直接内存存取方式复制到处理器直接访问的高速缓存中;
马赛克处理子模块,用于将内存存取子模块以直接内存存取方式复制到处理器直接访问的高速缓存中的遮蔽矩形块中的图像数据进行马赛克处理。
本发明实施方式与现有技术相比,主要区别及其效果在于:
通过扫描将遮蔽区域分割成多个遮蔽矩形块,以DMA方式复制遮蔽矩形块中的数据到处理器进行处理,从而极大减小了对任意形状的多边形区域进行遮蔽处理时处理器的数据处理负载,所需处理的多边形越多,进行遮蔽处理效率越好。
进一步地,通过读取视频帧图像的以通过顶点坐标及其连接顺序标识的多边形标识的遮蔽区域,并在云台进行转动时,判断该帧图像的所述遮蔽区域多边形顶点是否全部落在当前画面内,可以动态准确地确定视频中每帧图像的遮蔽区域,提高了隐私保密的实时性和数据完整性,以及对监控图像进行不规则多边形马赛克处理方法的鲁棒性。
进一步地,在所述根据所述交点集确定一个或多个遮蔽矩形块之后,根据马赛克处理的最小数据单元,调整所述遮蔽矩形块长度为所述最小数据单元的整数倍,对所述交点集中的在第二维度方向或第一维度坐标之间的差值进行对齐取整操作,可以保证马赛克隐私遮蔽的完整性和保密性。保存经调整之后的遮蔽矩形块集合,当云台不转动时,可以通过判断该保存的遮蔽矩形块集合是否为空进行相应的操作,减少了运算量,加强了实时性。
进一步地,当云台静止时或者不使用云台时,其隐私遮蔽区域保持不变,所以就无需进行该不规则多边形的提取,直接将所述块集合内各遮蔽矩形块中的图像数据以直接内存存取方式复制到处理器直接访问的高速缓存中进行马赛克处理,简化了处理步骤,节省了处理时间,继续通过设定的时间片间隔内,读取视频帧图像的以多边形表示的遮蔽区域。
附图说明
图1是本发明第一实施方式中一种对监控图像进行不规则多边形马赛克处理的方法的流程示意图;
图2是本发明第二实施方式中一种对监控图像进行不规则多边形马赛克处理的方法的流程示意图;
图3是本发明第三实施方式中一种对监控图像进行不规则多边形马赛克处理的方法的流程示意图;
图4(a)是本发明第三实施方式中一种对监控图像进行不规则多边形马赛克处理的方法的合连接顺序的多边形示意图;
图4(b)是本发明第三实施方式中一种对监控图像进行不规则多边形马赛克处理的方法的不合连接顺序的多边形示意图;
图5(a)是本发明第三实施方式中一种对监控图像进行不规则多边形马赛克处理的方法的多边形全部落在当前画面内部的示意图;
图5(b)是本发明第三实施方式中一种对监控图像进行不规则多边形马赛克处理的方法的多边形部分落在当前画面内部的示意图;
图5(c)是本发明第三实施方式中一种对监控图像进行不规则多边形马赛克处理的方法的多边形落在当前画面之外的示意图;
图6是本发明第三实施方式中一种对监控图像进行不规则多边形马赛克处理的方法的扫描线与多边形交点示意图;
图7(a)是本发明第三实施方式中一种对监控图像进行不规则多边形马赛克处理的方法的对一块隐蔽区域进行马赛克处理的示意图;
图7(b)是本发明第三实施方式中一种对监控图像进行不规则多边形马赛克处理的方法的对多块隐蔽区域进行马赛克处理的示意图;
图8是本发明第四实施方式中一种对监控图像进行不规则多边形马赛克处理的装置的结构示意图;
图9是本发明第五实施方式中一种对监控图像进行不规则多边形马赛克处理的装置的结构示意图;
图10是本发明第六实施方式中一种对监控图像进行不规则多边形马赛克处理的装置的结构示意图。
具体实施方式
在以下的叙述中,为了使读者更好地理解本申请而提出了许多技术细节。但是,本领域的普通技术人员可以理解,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请各权利要求所要求保护的技术方案。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明第一实施方式涉及一种对监控图像进行不规则多边形马赛克处理的方法。图1是该对监控图像进行不规则多边形马赛克处理的方法的流程示意图。该对监控图像进行不规则多边形马赛克处理的方法,包括以下步骤:
计算以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值。
在坐标的最大值和最小值的范围内,以预先设定的步长,以与第一维度方向垂直的扫描直线对遮蔽区域进行逐行扫描,每次扫描时包括以下步骤:
计算扫描直线与遮蔽区域边界线的交点集。
根据交点集确定一个或多个遮蔽矩形块,其中这些遮蔽矩形块在第一维度方向上的长度由交点集决定,这些遮蔽矩形块在第二维度方向上的长度是预先设定的步长,第二维度方向与第一维度方向相互垂直。
将遮蔽矩形块中的图像数据以直接内存存取方式复制到处理器直接访问的高速缓存中进行马赛克处理。
通过扫描将遮蔽区域分割成多个遮蔽矩形块,以DMA方式复制遮蔽矩形块中的数据到处理器进行处理,从而极大减小了对任意形状的多边形区域进行遮蔽处理时处理器的数据处理负载,所需处理的多边形越多,进行遮蔽处理效果越好。
作为本发明的一个优选实例,该对监控图像进行不规则多边形马赛克处理的方法可通过以下步骤实现:
在步骤101中,计算以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值;
此后进入步骤102,在坐标的最大值和最小值的范围内,以预先设定的步长,以与第一维度方向垂直的扫描直线对遮蔽区域进行逐行扫描;
每次扫描进行以下子步骤:
在步骤103中,计算扫描直线与遮蔽区域边界线的交点集;
此后进入步骤104,根据交点集确定一个或多个遮蔽矩形块,其中这些遮蔽矩形块在第一维度方向上的长度由交点集决定,这些遮蔽矩形块在第二维度方向上的长度是预先设定的步长,第二维度方向与第一维度方向相互垂直;
此后进入步骤105,将遮蔽矩形块中的图像数据以直接内存存取方式复制到处理器直接访问的高速缓存中;
此后进入步骤106,对处理器直接访问的高速缓存中的遮蔽矩形块中的图像数据进行马赛克处理;
此后进入步骤107,判断当前视频帧的遮蔽区域是否扫描完毕;
若否,则返回步骤102;否则,结束本流程;
处理器可以是DSP,CPU,单片机等。处理器直接访问的高速缓存可以是DSP的片内存储,CPU的高速缓存器,单片机内部的随机存取存储器(Random Access Memory,简称“RAM”)等等,只要是处理器可以直接进行高速访问的存储器即可,可以在处理器内,也可以在处理器外。多边形可以有任意的边数,常见的有三角形、四边形、五边形、六边形等等。
在本发明的优选例中,所述遮蔽矩形块为落在该遮蔽区域的位置,而非遮蔽图像本身。
本发明第二实施方式涉及一种对监控图像进行不规则多边形马赛克处理的方法。
第二实施方式在第一实施方式的基础上进行了改进,主要改进之处在于:在计算以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值的步骤之前,还包括以下步骤:读取视频帧图像的遮蔽区域;判断该帧图像的所述遮蔽区域多边形顶点是否全部落在当前画面内;若全部落在所述当前画面内,则计算以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值的步骤;若部分落在所述当前画面内,则确定一个新的以多边形表示的遮蔽区域,之后计算以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值的步骤;若全部在所述当前画面外,则跳过对本帧图像的马赛克处理。通过读取视频帧图像的以通过顶点坐标及其连接顺序标识的多边形标识的遮蔽区域,判断该帧图像的所述遮蔽区域多边形顶点是否全部落在当前画面内,可以准确地确定视频中每帧图像的遮蔽区域,提高了隐私保密的实时性和数据完整性,以及对监控图像进行不规则多边形马赛克处理方法的鲁棒性。
在所述根据所述交点集确定一个或多个遮蔽矩形块的步骤之后还包括以下步骤:调整所述遮蔽矩形块长度为所述马赛克处理的最小数据单元长度的整数倍,对所述交点集中的在第二维度方向或第一维度坐标之间的差值进行对齐取整操作,可以保证马赛克隐私遮蔽的完整性和保密性。
具体地说,
在计算以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值的步骤之前,还包括以下步骤:
读取视频帧图像的遮蔽区域,其中遮蔽区域以通过顶点坐标及其连接顺序标识的多边形表示。
判断该帧图像的遮蔽区域多边形顶点是否全部落在当前画面内。
若全部落在当前画面内,则进入计算以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值的步骤。
若部分落在当前画面内,则根据视频帧图像遮蔽区域的多边形顶点与当前画面相对位置,确定一个新的以多边形表示的遮蔽区域,之后进入计算以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值的步骤。
若全部在当前画面外,则跳过对本帧图像的马赛克处理。
在本发明的其他实施方式中,表示遮蔽区域的多边形的标识,包含但不仅限于顶点坐标及其连接顺序标识方式,还可以通过边缘检测、影像或真实正射化的亮度差法等。当前视频帧图像的以通过顶点坐标及其连接顺序标识的多边形表示的遮蔽区域读取可以是周期性也可以是非周期性的,在周期性读取当中可以以预先设定的时间片进行,而在非周期性的方式中可以通过实时诊断进行读取。所述视频帧图像对当前画面的映射中的坐标变换包括但不仅限于柱坐标变换或者极坐标变换,还包括数极坐标变换等。
在根据交点集确定一个或多个遮蔽矩形块的步骤之后还包括以下步骤:
调整遮蔽矩形块长度为马赛克处理的最小数据单元长度的整数倍。
在根据交点集确定一个或多个遮蔽矩形块之后,根据马赛克处理的最小数据单元,调整遮蔽矩形块长度为最小数据单元的整数倍,对交点集中的在第二维度方向或第一维度坐标之间的差值进行对齐取整操作,可以保证马赛克隐私遮蔽的完整性和保密性。保存经调整之后的遮蔽矩形块集合,当云台不转动时,可以通过判断该保存的遮蔽矩形块集合是否为空进行相应的操作,减少了运算量,加强了实时性。
由于马赛克处理是按照最小数据单元即矩形块来进行处理的,对遮蔽矩形块长度的调整应当是最小数据单元的整数倍,而对不是马赛克处理的最小数据单元整数倍的遮蔽矩形块,根据遮蔽数据保密性的要求高低,可以但不仅限于四舍五入的方式,对多余的像素进行删除不计,或者增加一个数据块用于储存多余的像素,当遮蔽数据保密性和完整性的要求较高时,可以采用增加最小数据单元进行处理的进余法。
图2是该对监控图像进行不规则多边形马赛克处理的方法的流程示意图。作为本发明的一个优选实例,如图2所示,该对监控图像进行不规则多边形马赛克处理的方法可通过以下步骤实现:
在步骤201中,读取当前视频帧图像;
此后进入步骤202,读取视频帧图像的遮蔽区域,其中所述遮蔽区域以通过顶点坐标及其连接顺序标识的多边形表示;
此后进入步骤203,判断该帧图像的所述遮蔽区域多边形顶点是否全部落在当前画面内;
若全部落在所述当前画面内,则进入步骤205;若部分落在所述当前画面内,则进入步骤204;若全部在所述当前画面外,则跳过对本帧图像的马赛克处理,返回步骤201;
在步骤204中,若部分落在所述当前画面内,则根据所述视频帧图像遮蔽区域的多边形顶点与当前画面相对位置,确定一个新的以多边形表示的遮蔽区域,之后进入步骤205;
在步骤205中,计算以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值;
此后进入步骤206,在以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值的范围内,以预先设定的步长,以与第一维度方向垂直的扫描直线对所述遮蔽区域进行逐行扫描;每次扫描时包括以下步骤的执行:
此后进入步骤207,计算所述扫描直线与遮蔽区域边界线的交点集;
此后进入步骤208,根据所述交点集确定一个或多个遮蔽矩形块,其中这些遮蔽矩形块在第一维度方向上的长度由所述交点集决定,这些遮蔽矩形块在第二维度方向上的长度是所述预先设定的步长,第二维度方向与第一维度方向相互垂直;
此后进入步骤209,调整所述遮蔽矩形块长度为所述马赛克处理的最小数据单元长度的整数倍;
此后进入步骤210,将所述遮蔽矩形块中的图像数据以直接内存存取方式复制到处理器直接访问的高速缓存中;
此后进入步骤211,对高速缓存中的遮蔽矩形块中的图像数据进行马赛克处理;
此后进入步骤212,判断当前视频帧的遮蔽区域是否扫描完毕;
若否,则返回步骤206继续进行当前视频帧的遮蔽剩余区域进行扫描;否则,结束本流程。
本发明第三实施方式涉及一种对监控图像进行不规则多边形马赛克处理的方法。
第三实施方式在第一实施方式的基础上进行了改进,主要改进之处在于:
在调整遮蔽矩形块长度为马赛克处理的最小数据单元长度的整数倍之后,还将经调整的遮蔽矩形块的参数加入到块集合中;
在读取视频帧图像的遮蔽区域步骤之前,还判断所述云台是否转动;若云台转动,则读取视频帧图像的遮蔽区域;若云台没有转动,则判断块集合是否为空,若为空,则跳过对本帧图像的马赛克处理;若不为空,则分别将块集合内各遮蔽矩形块中的图像数据以直接内存存取方式复制到处理器直接访问的高速缓存中进行马赛克处理。
当云台静止时或者不使用云台时,其隐私遮蔽区域保持不变,所以就无需进行该不规则多边形的提取,直接将块集合内各遮蔽矩形块中的图像数据以直接内存存取方式复制到处理器直接访问的高速缓存中进行马赛克处理,简化了处理步骤,节省了处理时间,继续通过设定的时间片间隔内,读取视频帧图像的以多边形表示的遮蔽区域。
具体地说,
在调整遮蔽矩形块长度为马赛克处理的最小数据单元长度的整数倍的步骤之后,还包括以下步骤:
将经调整的遮蔽矩形块的参数加入到块集合中。
在读取视频帧图像的遮蔽区域步骤之前,还包括判断云台是否转动的步骤。
若判定云台转动,则执行读取视频帧图像的遮蔽区域的步骤。
若判定云台没有转动,则判断块集合是否为空,若为空,则跳过对本帧图像的多边形提取处理。若不为空,则分别将块集合内各遮蔽矩形块中的图像数据以直接内存存取方式复制到处理器直接访问的高速缓存中进行马赛克处理。
在本发明的其他实施方式中,遮蔽矩形块集合中的元素结构,可以通过平面坐标点当前画面平面像素点表示,也可以通过遮蔽矩形块的多边形拟合的斜率以及起始像素坐标点和终端像素坐标点标识,或者通过起始像素点坐标和每行扫描线上的马赛克处理的最小数据单元的整数倍来表示。
图3是该对监控图像进行不规则多边形马赛克处理的方法的流程示意图。作为本发明的一个优选实例,如图3所示,该对监控图像进行不规则多边形马赛克处理的方法可通过以下步骤实现:
在步骤301中,读取当前视频帧图像;
此后进入步骤302,判断云台是否转动;
若判定所述云台没有转动,则判断所述块集合是否为空,若为空,则跳过对本帧图像的马赛克处理;若不为空,则分别将所述块集合内各遮蔽矩形块中的图像数据以直接内存存取方式复制到处理器直接访问的高速缓存中进行马赛克处理。
若是,则进入步骤303;若否,则进入步骤315;
在步骤303中,读取视频帧图像的遮蔽区域,其中所述遮蔽区域以通过顶点坐标及其连接顺序标识的多边形表示;如图4(a)所示的遮蔽区域是以通过顶点坐标及其连接顺序标识的四边形表示,如图4(b)所示的遮蔽区域则没有通过顶点坐标及其连接顺序标识来表示。
在实际应用中,同样适用于边数大于四边或者小于四边的多边形。
如上层传值顺序如下:A=(x0,y0)→B=(x1,y1)→C=(x2,y2)→D=(x3,y3)→A=(x0,y0)。开启隐私遮蔽时,每隔一段时间,DSP读取一次由应用更新的4个坐标点即四边形顶点,由于云台的转动,在把球面坐标上有效的4个三维坐标点转化为二维平面上的点时,这4个二维坐标点并不一定在当前画面中,所以首先需要判断这4个顶点与二维平面的关系,实际处理中可分为三种情况:4个顶点全部在当前画面内部、4个顶点部分在当前画面内部以及4个顶点都不在画面内部。所以对这三种情况分别进行讨论。
此后进入步骤304,判断该帧图像的所述遮蔽区域多边形顶点是否全部落在当前画面内;
若部分落在所述当前画面内,则进入步骤305;若全部落在所述当前画面内,则进入步骤306;若全部在所述当前画面外,则跳过对本帧图像的马赛克处理,返回步骤301;
随着球机云台的转动,四边形逐渐移出画面,直至全部移出画面,如图5(c)所示。此时表示当前画面不存在隐私遮蔽区域,即可跳过后续处理。
在步骤305中,若部分落在所述当前画面内,则根据所述视频帧图像遮蔽区域的多边形顶点与当前画面相对位置,确定一个新的以多边形表示的遮蔽区域,之后进入步骤306;
在步骤306中,计算以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值;
对于这种情况,则需先取4个顶点纵坐标的最大值与最小值,如若需要处理的四边形如图5(a)所示,则各顶点中纵坐标最小值y_min=y0,最大值y_max=y1;然后取一条水平线hLine,从上到下,由y_min移至y_max进行对多边形的水平切割。由于马赛克需要按块进行处理,如8×8、16×16、32×32等,这里取16×16进行块处理,所以水平线hLine处理完一次,向下跨16行再处理,即
Figure BDA0000090272040000141
原来4个顶点全在画面内部的四边形,随着球机云台的转动而部分移出画面。此时,四边形被当前画面分割为两部分,即画面内部与画面外部,如图5(b)所示。画面内部的四边形被画面边缘切割后形成新的多边形。由于画面内部需要进行马赛克的处理,而画面外部则无需处理,所以只需处理画面内部的新生成的多边形,其处理方式与图5(a)所示相同。
此后进入步骤307,在以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值的范围内,以预先设定的步长,以与第一维度方向垂直的扫描直线对所述遮蔽区域进行逐行扫描;每次扫描时包括以下步骤308至314的执行:
此后进入步骤308,计算所述扫描直线与遮蔽区域边界线的交点集;
在获取多边形各个点坐标值以及水平线hLine之后,就可以算出水平线hLine与多边形的交点值,从而确定交点集,如图6所示;
此后进入步骤309,根据所述交点集确定一个或多个遮蔽矩形块,其中这些遮蔽矩形块在第一维度方向上的长度由所述交点集决定,这些遮蔽矩形块在第二维度方向上的长度是所述预先设定的步长,第二维度方向与第一维度方向相互垂直;
此后进入步骤310,调整所述遮蔽矩形块长度为所述马赛克处理的最小数据单元长度的整数倍;
在求得如图6所示的P1,P2两个交点形成如图7(a)所示的上半部分遮蔽矩形块之后,为了保证马赛克隐私遮蔽的完整性,要对P1,P2横坐标差值即“x_2-x_1”进行16像素点的对齐操作(或称为调整操作),对齐操作处理完之后,由于需计算区域为矩形规则区域,即可利用DMA将此图像数据拷贝至DSP片内进行马赛克处理;同样,在处理下半部分图形时,会出现hLine与多边形有4个交点的情况,这时候需要进行两次马赛克处理,每块马赛克的处理方式与只有两个交点时相同,如图7(b)所示。
水平线hLine由上至下扫描完成后,对每次求得的矩形块进行马赛克处理后,即实现了多边形的马赛克处理。
此后进入步骤311,将经调整的遮蔽矩形块的参数加入到块集合中;
此后进入步骤312,将所述遮蔽矩形块中的图像数据以直接内存存取方式复制到处理器直接访问的高速缓存中;
此后进入步骤313,对高速缓存中的遮蔽矩形块中的图像数据进行马赛克处理;
此后进入步骤314,判断当前视频帧的遮蔽区域是否扫描完毕;
若否,则返回步骤307,继续进行当前视频帧的遮蔽剩余区域进行扫描;否则,返回步骤301,读取下一视频帧图像;
在步骤315中,若步骤302中判定云台不转动,则判断所述块集合是否为空;
若是,则跳过对本帧图像的马赛克处理,返回步骤301,读取下一视频帧图像;否则,进入步骤316;
在步骤316中,读取当前视频帧图像的遮蔽矩形块集;
此后进入步骤317,根据遮蔽矩形块集地图像数据以直接内存存取方式复制到处理器直接访问的高速缓存中;
此后进入步骤318,对高速缓存中的遮蔽矩形块中的图像数据进行马赛克处理;此后返回步骤301,读取下一视频帧图像。
本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现,指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的,易失性的或者非易失性的,固态的或者非固态的,固定的或者可更换的介质等等)。同样,存储器可以例如是可编程阵列逻辑(Prog rammable Array Logic,简称“PAL”)、随机存取存储器(Random Access Memory,简称“RAM”)、可编程只读存储器(Prog rammable Read Only Memory,简称“PROM”)、只读存储器(Read-Only Memory,简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Prog rammable ROM,简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc,简称“DVD”)等等。
本发明第四实施方式涉及一种对监控图像进行不规则多边形马赛克处理的装置。图8是该对监控图像进行不规则多边形马赛克处理的装置的结构示意图。该对监控图像进行不规则多边形马赛克处理的装置包括以下模块:
计算模块,用于计算以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值。
扫描模块,用于在坐标的最大值和最小值的范围内,以预先设定的步长,以与第一维度方向垂直的扫描直线对遮蔽区域进行逐行扫描。
扫描模块包括以下子模块:
交点集计算子模块,用于计算扫描直线与遮蔽区域边界线的交点集。
遮蔽矩形块确定子模块,用于根据交点集确定一个或多个遮蔽矩形块,其中这些遮蔽矩形块在第一维度方向上的长度由交点集决定,这些遮蔽矩形块在第二维度方向上的长度是预先设定的步长,第二维度方向与第一维度方向相互垂直。
内存存取子模块,用于将遮蔽矩形块确定子模块确定的遮蔽矩形块中的图像数据以直接内存存取方式复制到处理器直接访问的高速缓存中。
马赛克处理子模块,用于将内存存取子模块以直接内存存取方式复制到处理器直接访问的高速缓存中的遮蔽矩形块中的图像数据进行马赛克处理。
第一实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本发明第五实施方式涉及一种对监控图像进行不规则多边形马赛克处理的装置。图9是该对监控图像进行不规则多边形马赛克处理的装置的结构示意图。
第五实施方式在第四实施方式的基础上进行了改进,主要改进之处在于:增加了读取视频帧图像的遮蔽区域的读取模块、判断读取模块读取的该帧图像的遮蔽区域多边形顶点是否全部落在当前画面内的包含判断模块、确定一个新的以多边形表示的遮蔽区域的部分区域确定模块以及调整遮蔽矩形块长度为马赛克处理的最小数据单元长度的整数倍的调整模块。
具体地说,还包括以下模块:
读取模块,用于读取视频帧图像的遮蔽区域,其中遮蔽区域以通过顶点坐标及其连接顺序标识的多边形表示。
包含判断模块,用于判断读取模块读取的该帧图像的遮蔽区域多边形顶点是否全部落在当前画面内。
部分区域确定模块,用于若判断模块判定的部分落在当前画面内,则根据视频帧图像遮蔽区域的多边形顶点与当前画面相对位置,确定一个新的以多边形表示的遮蔽区域。
如果包含判断模块判定遮蔽区域多边形顶点全部落在当前画面内,则由计算模块和扫描模块进行马赛克处理。
如果包含判断模块判定遮蔽区域多边形顶点部分落在当前画面内,则先由部分区域确定模块确定一个新的以多边形表示的遮蔽区域,再由计算模块和扫描模块进行马赛克处理。
如果包含判断模块判定遮蔽区域多边形顶点全部落在当前画面外,则跳过计算模块和扫描模块对本帧图象进行的马赛克处理。
对包含判断模块判定的三种处理条件极其相应的处理结果,可以但不仅限于作为计算模块的数据输入,当读取模块读取的该帧图像的遮蔽区域多边形顶点全部或部分落在当前画面内,则进入计算模块的计算,当读取模块读取的该帧图像的遮蔽区域多边形顶点全部都不在当前画面内,则进入读取模块读取下一视频帧图像的遮蔽区域。
调整模块,用于在遮蔽矩形块确定子模块根据交点集确定一个或多个遮蔽矩形块之后,调整遮蔽矩形块长度为马赛克处理的最小数据单元长度的整数倍。
第二实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第二实施方式中。
本发明第六实施方式涉及一种对监控图像进行不规则多边形马赛克处理的装置。图10是该对监控图像进行不规则多边形马赛克处理的装置的结构示意图。
第六实施方式在第四实施方式的基础上进行了改进,主要改进之处在于:增加了将调整后的遮蔽矩形块的参数加入到块集合的保存模块、判断云台是否转动的转动判断模块、在转动判断模块判定云台没有转动时判断块集合是否为空的集合判断模块以及在集合判断模块判定块集合不为空时,分别将块集合内各遮蔽矩形块中的图像数据以直接内存存取方式复制到处理器直接访问的高速缓存中进行马赛克处理的矩形块读取模块。这种直接利用之前保存模块保存的遮蔽矩形块集合的参数进行读取当前遮蔽区域的图像数据,节省了处理时间,简化了工作流程,提高了处理效率,增加了系统的实时性性能。
具体地说,还包括以下模块:
保存模块,用于将经调整模块调整后的遮蔽矩形块的参数加入到块集合中。
转动判断模块,用于判断云台是否转动,如果转动,则由读取模块进行后续处理。
集合判断模块,用于在转动判断模块判定云台没有转动时,判断块集合是否为空,若为空,则跳过对本帧图像的马赛克处理。
矩形块读取模块,用于在集合判断模块判定块集合不为空时,分别将块集合内各遮蔽矩形块中的图像数据以直接内存存取方式复制到处理器直接访问的高速缓存中进行马赛克处理。
云台是否转动可根据相应的参数进行判断,例如云台设备参数等。
第三实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第三实施方式中。
需要说明的是,本发明各模块实施方式中提到的各单元都是逻辑单元,在物理上,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现,这些逻辑单元本身的物理实现方式并不是最重要的,这些逻辑单元所实现的功能的组合是才解决本发明所提出的技术问题的关键。此外,为了突出本发明的创新部分,本发明上述各模块实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,这并不表明上述设备实施方式并不存在其它的单元。
虽然通过参照本发明的某些优选实施方式,已经对本发明进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。

Claims (8)

1.一种对监控图像进行不规则多边形马赛克处理的方法,其特征在于,计算以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值;
在所述坐标的最大值和最小值的范围内,以预先设定的步长,以与第一维度方向垂直的扫描直线对所述遮蔽区域进行逐行扫描,每次扫描时包括以下步骤:
计算所述扫描直线与遮蔽区域边界线的交点集;
根据所述交点集确定一个或多个遮蔽矩形块,其中这些遮蔽矩形块在第一维度方向上的长度由所述交点集决定,这些遮蔽矩形块在第二维度方向上的长度是所述预先设定的步长,第二维度方向与第一维度方向相互垂直;
将所述遮蔽矩形块中的图像数据以直接内存存取方式复制到处理器直接访问的高速缓存中进行马赛克处理。
2.根据权利要求1所述的对监控图像进行不规则多边形马赛克处理的方法,其特征在于,在计算以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值的步骤之前,还包括以下步骤:
读取视频帧图像的遮蔽区域,其中所述遮蔽区域以通过顶点坐标及其连接顺序标识的多边形表示;
判断该帧图像的所述遮蔽区域多边形顶点是否全部落在当前画面内;
若全部落在所述当前画面内,则进入所述计算以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值的步骤;
若部分落在所述当前画面内,则根据所述视频帧图像遮蔽区域的多边形顶点与当前画面相对位置,确定一个新的以多边形表示的遮蔽区域,之后进入所述计算以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值的步骤;
若全部在所述当前画面外,则跳过对本帧图像的马赛克处理。
3.根据权利要求2所述的对监控图像进行不规则多边形马赛克处理的方法,其特征在于,在所述根据所述交点集确定一个或多个遮蔽矩形块的步骤之后还包括以下步骤:
调整所述遮蔽矩形块长度为所述马赛克处理的最小数据单元长度的整数倍。
4.根据权利要求3所述的对监控图像进行不规则多边形马赛克处理的方法,其特征在于,在所述调整所述遮蔽矩形块长度为所述马赛克处理的最小数据单元长度的整数倍的步骤之后,还包括以下步骤:
将经调整的遮蔽矩形块的参数加入到块集合中;
在所述读取视频帧图像的遮蔽区域步骤之前,还包括判断所述云台是否转动的步骤;
若判定所述云台转动,则执行所述读取视频帧图像的遮蔽区域的步骤;
若判定所述云台没有转动,则判断所述块集合是否为空,若为空,则跳过对本帧图像的马赛克处理;若不为空,则分别将所述块集合内各遮蔽矩形块中的图像数据以直接内存存取方式复制到处理器直接访问的高速缓存中进行马赛克处理。
5.一种对监控图像进行不规则多边形马赛克处理的装置,其特征在于,包括以下模块:
计算模块,用于计算以多边形表示的遮蔽区域在第一维度方向坐标的最大值和最小值;
扫描模块,用于在所述坐标的最大值和最小值的范围内,以预先设定的步长,以与第一维度方向垂直的扫描直线对所述遮蔽区域进行逐行扫描;
所述扫描模块包括以下子模块:
交点集计算子模块,用于计算所述扫描直线与遮蔽区域边界线的交点集;
遮蔽矩形块确定子模块,用于根据所述交点集确定一个或多个遮蔽矩形块,其中这些遮蔽矩形块在第一维度方向上的长度由所述交点集决定,这些遮蔽矩形块在第二维度方向上的长度是所述预先设定的步长,第二维度方向与第一维度方向相互垂直;
内存存取子模块,用于将所述遮蔽矩形块确定子模块确定的遮蔽矩形块中的图像数据以直接内存存取方式复制到处理器直接访问的高速缓存中;
马赛克处理子模块,用于将所述内存存取子模块以直接内存存取方式复制到处理器直接访问的高速缓存中的遮蔽矩形块中的图像数据进行马赛克处理。
6.根据权利要求5所述的对监控图像进行不规则多边形马赛克处理的装置,其特征在于,还包括以下模块:
读取模块,用于读取视频帧图像的遮蔽区域,其中所述遮蔽区域以通过顶点坐标及其连接顺序标识的多边形表示;
包含判断模块,用于判断所述读取模块读取的该帧图像的所述遮蔽区域多边形顶点是否全部落在当前画面内;
部分区域确定模块,用于若所述判断模块判定的部分落在当前画面内,则根据所述视频帧图像遮蔽区域的多边形顶点与当前画面相对位置,确定一个新的以多边形表示的遮蔽区域;
如果所述包含判断模块判定所述遮蔽区域多边形顶点全部落在当前画面内,则由所述计算模块和扫描模块进行马赛克处理;
如果所述包含判断模块判定所述遮蔽区域多边形顶点部分落在当前画面内,则先由所述部分区域确定模块确定一个新的以多边形表示的遮蔽区域,再由所述计算模块和扫描模块进行马赛克处理;
如果所述包含判断模块判定所述遮蔽区域多边形顶点全部落在当前画面外,则跳过所述计算模块和扫描模块对本帧图象进行的马赛克处理。
7.根据权利要求6所述的对监控图像进行不规则多边形马赛克处理的装置,其特征在于,还包括以下模块:
调整模块,用于在所述遮蔽矩形块确定子模块根据所述交点集确定一个或多个遮蔽矩形块之后,调整所述遮蔽矩形块长度为所述马赛克处理的最小数据单元长度的整数倍。
8.根据权利要求7所述的对监控图像进行不规则多边形马赛克处理的装置,其特征在于,还包括以下模块:
保存模块,用于将经所述调整模块调整后的遮蔽矩形块的参数加入到块集合中;
转动判断模块,用于判断所述云台是否转动,如果转动,则由所述读取模块进行后续处理;
集合判断模块,用于在所述转动判断模块判定所述云台没有转动时,判断所述块集合是否为空,若为空,则跳过对本帧图像的马赛克处理;
矩形块读取模块,用于在所述集合判断模块判定块集合不为空时,分别将所述块集合内各遮蔽矩形块中的图像数据以直接内存存取方式复制到处理器直接访问的高速缓存中进行马赛克处理。
CN 201110267115 2011-09-09 2011-09-09 对监控图像进行不规则多边形马赛克处理的方法及其装置 Active CN102307275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110267115 CN102307275B (zh) 2011-09-09 2011-09-09 对监控图像进行不规则多边形马赛克处理的方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110267115 CN102307275B (zh) 2011-09-09 2011-09-09 对监控图像进行不规则多边形马赛克处理的方法及其装置

Publications (2)

Publication Number Publication Date
CN102307275A true CN102307275A (zh) 2012-01-04
CN102307275B CN102307275B (zh) 2013-08-07

Family

ID=45381076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110267115 Active CN102307275B (zh) 2011-09-09 2011-09-09 对监控图像进行不规则多边形马赛克处理的方法及其装置

Country Status (1)

Country Link
CN (1) CN102307275B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106634A (zh) * 2012-12-26 2013-05-15 上海合合信息科技发展有限公司 银行卡个人信息保护方法及系统
CN103593861A (zh) * 2013-11-21 2014-02-19 武大吉奥信息技术有限公司 一种面向2.5维地图服务的瓦片加载方法
CN105144703A (zh) * 2012-11-30 2015-12-09 派尔高公司 摇摄/倾斜/缩放相机的窗口遮蔽
CN106598078A (zh) * 2016-11-04 2017-04-26 浙江宇视科技有限公司 一种云台摄像机的图像处理方法及设备
CN107517360A (zh) * 2017-08-01 2017-12-26 深圳英飞拓科技股份有限公司 一种图像区域遮蔽方法及装置
CN108364282A (zh) * 2018-01-15 2018-08-03 北京华兴宏视技术发展有限公司 图像马赛克检测方法、图像马赛克检测系统
CN108668097A (zh) * 2018-05-22 2018-10-16 苏州市启献智能科技有限公司 一种实现家园互通的远程幼儿查看系统和方法
CN113628096A (zh) * 2020-05-07 2021-11-09 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
US11392316B2 (en) * 2019-05-24 2022-07-19 Texas Instruments Incorporated System and method for predication handling

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1767638A (zh) * 2005-11-30 2006-05-03 北京中星微电子有限公司 一种保护隐私权的可视图像监控方法及其系统
JP2008167206A (ja) * 2006-12-28 2008-07-17 Matsushita Electric Ind Co Ltd 監視カメラシステム及び監視カメラ制御方法
CN101262598A (zh) * 2008-03-25 2008-09-10 华为技术有限公司 马赛克图像合成的方法及装置
CN101540894A (zh) * 2009-04-10 2009-09-23 浙江工业大学 一种视频监控中隐私区域的遮蔽方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1767638A (zh) * 2005-11-30 2006-05-03 北京中星微电子有限公司 一种保护隐私权的可视图像监控方法及其系统
JP2008167206A (ja) * 2006-12-28 2008-07-17 Matsushita Electric Ind Co Ltd 監視カメラシステム及び監視カメラ制御方法
CN101262598A (zh) * 2008-03-25 2008-09-10 华为技术有限公司 马赛克图像合成的方法及装置
CN101540894A (zh) * 2009-04-10 2009-09-23 浙江工业大学 一种视频监控中隐私区域的遮蔽方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105144703A (zh) * 2012-11-30 2015-12-09 派尔高公司 摇摄/倾斜/缩放相机的窗口遮蔽
CN105144703B (zh) * 2012-11-30 2018-10-19 派尔高公司 摇摄/倾斜/缩放相机的窗口遮蔽
CN103106634A (zh) * 2012-12-26 2013-05-15 上海合合信息科技发展有限公司 银行卡个人信息保护方法及系统
CN103593861A (zh) * 2013-11-21 2014-02-19 武大吉奥信息技术有限公司 一种面向2.5维地图服务的瓦片加载方法
CN106598078A (zh) * 2016-11-04 2017-04-26 浙江宇视科技有限公司 一种云台摄像机的图像处理方法及设备
CN107517360A (zh) * 2017-08-01 2017-12-26 深圳英飞拓科技股份有限公司 一种图像区域遮蔽方法及装置
CN107517360B (zh) * 2017-08-01 2020-04-14 深圳英飞拓科技股份有限公司 一种图像区域遮蔽方法及装置
CN108364282A (zh) * 2018-01-15 2018-08-03 北京华兴宏视技术发展有限公司 图像马赛克检测方法、图像马赛克检测系统
CN108364282B (zh) * 2018-01-15 2022-02-11 北京华兴宏视技术发展有限公司 图像马赛克检测方法、图像马赛克检测系统
CN108668097A (zh) * 2018-05-22 2018-10-16 苏州市启献智能科技有限公司 一种实现家园互通的远程幼儿查看系统和方法
US11392316B2 (en) * 2019-05-24 2022-07-19 Texas Instruments Incorporated System and method for predication handling
CN113628096A (zh) * 2020-05-07 2021-11-09 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备

Also Published As

Publication number Publication date
CN102307275B (zh) 2013-08-07

Similar Documents

Publication Publication Date Title
CN102307275B (zh) 对监控图像进行不规则多边形马赛克处理的方法及其装置
JP4488543B2 (ja) 埋込画像の探索及び整合
US11398075B2 (en) Methods and systems for processing and colorizing point clouds and meshes
US20150206318A1 (en) Method and apparatus for image enhancement and edge verificaton using at least one additional image
KR102234606B1 (ko) 광학 코드들을 이용한 데이터 송신
CN106575448A (zh) 激光扫描数据的图像渲染
KR102104221B1 (ko) 디지털 객체 고유 식별자(doi) 인지 방법 및 디바이스
CN105825478A (zh) 在对象去除之后恢复图像中的缺失结构的结构分析方法
US11022435B2 (en) Pattern projection depth value 3D scanning device and method
US9317906B2 (en) Image processing apparatus and method
JP4990876B2 (ja) 画像処理装置
JP2008225942A (ja) 農地区画データ作成システム
JP4020093B2 (ja) 縁検出方法及び装置及びプログラム及び記憶媒体及び枠検出方法及び装置及びプログラム及び記憶媒体
US10935375B2 (en) Portable 3D document scanning device and method
EP2966613A1 (en) Method and apparatus for generating a super-resolved image from an input image
JP3638845B2 (ja) 画像処理装置及び方法
US20230196707A1 (en) Fiducial patterns
JP6764983B1 (ja) 建物形状設定装置及びプログラム
CN109859118B (zh) 一种基于四叉树的有效镶嵌多边形优化去除云覆盖区域的方法和系统
KR100685858B1 (ko) 원근 왜곡 보정 방법 및 시스템
JP2006018840A (ja) 画像中の線を検出する方法、装置、プログラム、および記憶媒体、ならびに、droとともに用いられるマスク、その使用方法、およびこれを記憶する装置
CN109993688A (zh) 机器人及其照片拍摄和处理方法、存储装置
JP2004151815A (ja) 特定領域抽出方法、特定領域抽出装置、特定領域抽出プログラム及びそのプログラムを記録した記録媒体
JP5654070B2 (ja) 画像処理装置、画像処理方法、及びプログラム
RU2758668C1 (ru) Способ и система защиты цифровой информации, отображаемой на экране электронных устройств

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant