CN114419720B - 一种图像遮挡方法、系统及计算机可读存储介质 - Google Patents
一种图像遮挡方法、系统及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114419720B CN114419720B CN202210326603.5A CN202210326603A CN114419720B CN 114419720 B CN114419720 B CN 114419720B CN 202210326603 A CN202210326603 A CN 202210326603A CN 114419720 B CN114419720 B CN 114419720B
- Authority
- CN
- China
- Prior art keywords
- image
- shielding
- occlusion
- privacy
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 78
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000000903 blocking effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007639 printing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种图像遮挡方法、系统及计算机可读存储介质,该图像遮挡方法包括:图像采集设备获取原始图像;图像采集设备对原始图像中的隐私对象进行遮挡处理,得到遮挡图像;图像采集设备将遮挡图像以及遮挡信息传输至图像存储设备,以使图像存储设备对接收到的遮挡图像进行遮挡检测,并对遮挡图像进行补充遮挡处理,遮挡信息至少包括遮挡图像中隐私对象的坐标信息、隐私对象的遮挡标识。通过上述方式,本发明能够在设备能力有限的情况下提高实现有效遮挡,提高准确性。
Description
技术领域
本发明涉及图像处理技术领域,特别是涉及一种图像遮挡方法、系统及计算机可读存储介质。
背景技术
目前随着人们对于个人隐私保护意识的提高,人们对于公共监控系统收集的隐私信息越来越感到担忧,因此对于如何做好个人隐私保护和公共安全之间的平衡显得尤为重要。在通常的一些监控中,对于识别到隐私信息会进行打码遮挡处理。这样既可以降低大部分人的隐私信息泄露的担忧,又可以保证日常的公共监控安全。
当前打码遮挡受限于硬件芯片平台的能力,系统硬件隐私处理能力有限的情况下,无法有效保证隐私安全。
发明内容
本发明主要解决的技术问题是提供一种图像遮挡方法、系统及计算机可读存储介质,能够在设备能力有限的情况下提高实现有效遮挡,提高准确性。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种图像遮挡方法,该图像遮挡方法包括:图像采集设备获取原始图像;图像采集设备对原始图像中的隐私对象进行遮挡处理,得到遮挡图像;图像采集设备将遮挡图像以及遮挡信息传输至图像存储设备,以使图像存储设备对接收到的遮挡图像进行遮挡检测,并对遮挡图像进行补充遮挡处理,遮挡信息至少包括遮挡图像中隐私对象的坐标信息、隐私对象的遮挡标识。
其中,图像采集设备对原始图像中的隐私对象进行遮挡处理包括:图像采集设备识别获取原始图像中的隐私对象;判断原始图像中隐私对象的个数是否超出图像采集设备的遮挡处理能力;若原始图像中隐私对象的个数超出图像采集设备的遮挡处理能力,则基于隐私对象的参数信息,按照图像采集设备的遮挡条件有选择的对隐私对象进行遮挡处理。
其中,隐私对象的参数信息包括隐私对象的角度、隐私对象的图像质量、隐私对象相对图像采集设备的距离中的一种或多种;遮挡条件包括角度小于第一阈值、图像质量大于第二阈值、距离小于第三阈值的图像中的一种或多种。
其中,图像采集设备对原始图像中的隐私对象进行遮挡处理包括:图像采集设备获取隐私对象的参数信息;忽略不满足遮挡条件的隐私对象;判断剩余隐私对象的个数是否超出图像采集设备的遮挡处理能力;当超出图像采集设备的遮挡处理能力时,对部分隐私对象进行遮挡处理,并登记待遮挡处理的隐私对象的遮挡信息,遮挡信息至少包括隐私对象的坐标信息、隐私对象的遮挡标识;将遮挡信息以及遮挡图像发送给图像存储设备。
为解决上述技术问题,本发明采用的另一个技术方案是:提供另一种图像遮挡系统,该图像遮挡系统包括:图像存储设备接收遮挡图像和遮挡信息,遮挡图像是经过图像采集设备遮挡处理后的图像,遮挡信息至少包括遮挡图像中隐私对象的坐标信息、隐私对象的遮挡标识;图像存储设备对接收到的遮挡图像进行遮挡检测,并对遮挡图像进行补充遮挡处理。
其中,图像存储设备对接收到的遮挡图像进行遮挡检测,并对遮挡图像进行补充遮挡处理包括:图像存储设备解析遮挡信息,获取未被遮挡的隐私对象;获取未被遮挡的隐私对象的参数信息;判断隐私对象的参数信息是否符合图像存储设备的遮挡条件;将满足遮挡条件的隐私对象进行遮挡。
其中,图像存储设备对接收到的遮挡图像进行遮挡程度检测,并对遮挡图像进行补充遮挡处理包括:图像存储设备识别获取遮挡图像中的隐私对象;获取隐私对象的参数信息,基于隐私对象的参数信息,按照图像存储设备的遮挡条件对隐私对象进行遮挡处理。
其中,隐私对象的参数信息是由图像存储设备从图像采集设备接收过来的。
为解决上述技术问题,本发明采用的又一个技术方案是:提供另一种图像遮挡系统,该图像遮挡系统包括:图像采集设备获取原始图像;图像采集设备对原始图像中的隐私对象进行遮挡处理,得到遮挡图像;图像采集设备将遮挡图像以及遮挡信息传输至图像存储设备,遮挡信息至少包括遮挡图像中隐私对象的坐标信息、隐私对象的遮挡标识;图像存储设备对接收到的遮挡图像进行遮挡检测,并对遮挡图像进行补充遮挡处理。
其中,初始化图像采集设备和图像存储设备的遮挡条件,使得图像采集设备的遮挡条件与图像存储设备的遮挡条件相同。
为解决上述技术问题,本发明采用的另一个技术方案是:提供一种图像遮挡系统,该图像遮挡系统包括:图像采集设备,用于获取原始图像;对原始图像中的隐私对象进行遮挡处理,得到遮挡图像;将遮挡图像以及遮挡信息传输至图像存储设备;图像存储设备,用于将对接收到的遮挡图像进行遮挡检测,并对遮挡图像进行补充遮挡处理。
为解决上述技术问题,本发明采用的另一个技术方案是:提供一种计算机可读存储介质,计算机可读存储介质用于存储指令/程序数据,指令/程序数据能够被执行以实现上述的图像遮挡方法。
本发明的有益效果是:区别于现有技术的情况,本发明通过采用前端的图像采集设备和后端的图像存储设备结合的方法,在前端设备遮挡隐私之后,利用后端设备进行补充遮挡,能够在设备能力有限的情况下提高实现有效遮挡,提高隐私保护的效果,保证隐私安全。
附图说明
图1是本申请图像遮挡方法第一实施方式的流程示意图;
图2是本申请图像遮挡方法第二实施方式的流程示意图;
图3是本申请图像采集设备的图像遮挡方法一实施方式的流程示意图;
图4是本申请图像遮挡方法第三实施方式的流程示意图;
图5是本申请图像遮挡方法第四实施方式的流程示意图;
图6是本申请图像采集设备和图像存储设备的示意图;
图7是本申请人脸打码方法一实施方式的流程示意图;
图8是本申请实施方式中图像遮挡系统的结构示意图;
图9是本申请实施方式中图像遮挡设备的结构示意图;
图10是本申请实施方式中计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。
本申请提供一种图像遮挡方法,通过采用前端的图像采集设备和后端的图像存储设备结合的方法,在前端设备遮挡隐私之后,利用后端设备进行补充遮挡,能够在设备能力有限的情况下提高实现有效遮挡,提高隐私保护的效果,保证隐私安全。
请参阅图1,图1是本申请图像遮挡方法第一实施方式的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图1所示的流程顺序为限。如图1所示,本实施方式包括:
S110:图像采集设备获取原始图像。
图像采集设备可以直接获取原始图像,或者先获取原始视频码流,将原始视频码流逐帧处理为多个原始图像。使用的图像采集设备可以为具有智能检测功能的相机,如数字IPC(IP CAMERA,网络摄像机)摄像机、球型摄像机等。
S130:图像采集设备对原始图像中的隐私对象进行遮挡处理,得到遮挡图像。
利用图像采集设备对原始图像中的隐私对象进行检测并遮挡,其中,隐私对象为在原始图像中需要进行保护的信息,如人脸信息、身份信息、工作信息等。将隐私对象识别并遮挡,得到遮挡图像。
S150:图像采集设备将遮挡图像以及遮挡信息传输至图像存储设备,以使图像存储设备对接收到的遮挡图像进行遮挡检测,并对遮挡图像进行补充遮挡处理。
同时,图像采集设备对检测到的隐私对象进行进一步识别,获取隐私对象的坐标信息、隐私对象的遮挡标识作为遮挡信息。其中,隐私对象的坐标信息为该隐私对象需要进行遮挡的部分的坐标信息,隐私对象的遮挡标识为表示该隐私对象是否已进行遮挡操作。
图像采集设备将上述遮挡得到的遮挡图像和遮挡图像的遮挡信息发送至图像存储设备。图像存储设备接收遮挡图像和遮挡信息,通过比对遮挡图像中的隐私对象和其遮挡标识判断该隐私对象是否已进行遮挡操作,当遮挡标识显示该隐私对象未被遮挡,则直接获取隐私对象的坐标信息,根据坐标信息的位置对遮挡图像中的隐私对象进行补充遮挡处理。
在该实施方式中,通过采用前端的图像采集设备和后端的图像存储设备结合的方法,在前端设备遮挡隐私之后,利用后端设备进行补充遮挡,能够在设备能力有限的情况下提高实现有效遮挡,提高隐私保护的效果,保证隐私安全。
请参阅图2,图2是本申请图像遮挡方法第二实施方式的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图2所示的流程顺序为限。如图2所示,本实施方式包括:
S210:图像采集设备获取原始图像。
图像采集设备可以直接获取原始图像,或者先获取原始视频码流,将原始视频码流逐帧处理为多个原始图像。使用的图像采集设备可以为具有智能检测功能的相机,如数字IPC(IP CAMERA,网络摄像机)摄像机、球型摄像机等。
S220:图像采集设备识别获取原始图像中的隐私对象。
图像采集设备对原始图像进行识别,获取需要进行遮挡处理的隐私对象。隐私对象包括人脸信息、身份信息、工作信息等需要被保护的信息。
S230:判断原始图像中隐私对象的个数是否超出图像采集设备的遮挡处理能力。
对隐私对象进行遮挡需要考虑图像采集设备的处理能力,当需要进行遮挡处理的隐私对象过多时,隐私对象无法被全部遮挡,因此,预先获取原始图像中隐私对象的个数和图像采集设备的处理能力下所能遮挡的最多个数。若原始图像中隐私对象的个数没有超出图像采集设备的遮挡处理能力,则利用图像采集设备对原始图像中的所有隐私对象进行遮挡处理,并进行步骤S250。若原始图像中隐私对象的个数超出图像采集设备的遮挡处理能力,则进行步骤S240。
S240:基于隐私对象的参数信息,按照图像采集设备的遮挡条件有选择的对隐私对象进行遮挡处理。
基于隐私对象的参数信息,获取隐私对象需要进行遮挡处理的优先级,按照图像采集设备选择满足遮挡条件的隐私对象先进行遮挡处理。具体地,请参阅图3,图3是本申请实施方式中本申请图像采集设备的图像遮挡方法一实施方式的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图3所示的流程顺序为限。如图3所示,本实施方式包括:
S310:图像采集设备获取隐私对象的参数信息。
图像采集设备对隐私对象进行进一步识别,获取其参数信息。隐私对象的参数信息包括隐私对象的角度、隐私对象的图像质量、隐私对象相对图像采集设备的距离中的一种或多种。其中,隐私对象的角度包括隐私对象相对正方向的偏转角度,如上偏、下偏、左偏和右偏。进一步地,还包括偏转角度值,如上偏20度、右偏65度等。隐私对象的图像质量为该原始图像中隐私对象的拍摄清楚程度。
S330:判断满足遮挡条件的隐私对象的个数是否超出图像采集设备的遮挡处理能力。
结合隐私对象的参数信息和遮挡条件,判断满足遮挡条件的隐私对象的个数是否超出图像采集设备的遮挡处理能力。具体地,图像采集设备的遮挡条件包括隐私对象的角度小于第一阈值、隐私对象的图像质量大于第二阈值、隐私对象相对图像采集设备的距离小于第三阈值的图像中的一种或多种。忽略不满足遮挡条件的隐私对象,图像采集设备不对其进行遮挡处理,当满足遮挡条件的隐私对象的个数不超出图像采集设备的遮挡处理能力,则对满足遮挡条件的隐私对象进行遮挡处理,并进行步骤:S370。当满足遮挡条件的隐私对象的个数仍然超出图像采集设备的遮挡处理能力,则进行步骤S350。
S350:对部分隐私对象进行遮挡处理。
此时,图像采集设备仍然无法对所有满足遮挡条件的隐私对象进行遮挡处理,则图像采集设备利用最大限度的遮挡处理能力对部分满足遮挡条件的隐私对象进行遮挡处理。
具体地,在一实施方式中,首先获取满足角度小于第一阈值的隐私对象的个数,当个数超出图像采集设备的遮挡处理能力,则优先选择角度值小的隐私对象进行遮挡处理;当个数没有超出图像采集设备的遮挡处理能力,则对该满足条件的隐私对象进行遮挡处理。再获取满足图像质量大于第二阈值的隐私对象的格式,当个数超过图像采集设备的遮挡处理能力时,则优先对图像质量好的隐私对象进行遮挡处理;当个数没有超过图像采集设备的遮挡处理能力时,则对该满足条件的隐私对象进行遮挡处理。再获取相对图像采集设备的距离小于第三阈值的隐私对象的个数,当个数超过图像采集设备的遮挡处理能力时,则优先对距离近的隐私对象进行遮挡处理。
S370:获取待遮挡处理的隐私对象的遮挡信息。
图像采集设备对检测到的隐私对象进行进一步识别,获取隐私对象的坐标信息、隐私对象的遮挡标识作为遮挡信息。其中,隐私对象的坐标信息为该隐私对象需要进行遮挡的部分的坐标信息,隐私对象的遮挡标识为表示该隐私对象是否已进行遮挡操作。
在该实施方式中,通过图像采集设备对图像进智能隐私检测和对图像的智能分析对于隐私对象角度较差,图像质量模糊,距离较远的没有必要打码的进行挑选防止占用系统功能,而对于真正需要遮挡的正角度,图像较为清晰,距离较近的隐私对象可以做到最大能力的遮挡。同时,有选择行地遮挡可以实现动态调整遮挡,对于同一个隐私对象,不是在所有的图像都需要遮挡,当距离和角发生变化时,可以动态灵活调整遮挡为不遮挡,将能力让给其他更需要遮挡的隐私对象,确保最大化的有效遮挡。
S250:图像采集设备将遮挡图像、隐私对象的参数信息和遮挡信息传输至图像存储设备。以使图像存储设备对接收到的遮挡图像进行遮挡检测,并对遮挡图像进行补充遮挡处理。
请参阅图4,图4是本申请图像遮挡方法第三实施方式的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图4所示的流程顺序为限。如图4所示,本实施方式包括:
S410:图像存储设备接收遮挡图像和遮挡信息。
遮挡图像是经过图像采集设备遮挡处理后的图像,遮挡信息至少包括遮挡图像中隐私对象的坐标信息、隐私对象的遮挡标识。
S430:图像存储设备解析遮挡信息,获取未被遮挡的隐私对象的参数信息。
图像存储设备解析从图像采集设备处获取的信息,解析得到遮挡图像、隐私对象的参数信息和遮挡信息。
S450:基于隐私对象的参数信息,按照图像存储设备的遮挡条件对隐私对象进行补充遮挡处理。
通过比对遮挡图像中的隐私对象和其遮挡标识判断该隐私对象是否已进行遮挡操作,若没有进行遮挡操作,则判断隐私对象的参数信息是否符合图像存储设备的遮挡条件,对满足遮挡条件的隐私对象进行遮挡操作。具体地,图像存储设备的遮挡条件包括隐私对象的角度小于第一阈值、隐私对象的图像质量大于第二阈值、隐私对象相对图像采集设备的距离小于第三阈值的图像中的一种或多种。当遮挡标识显示该隐私对象未被遮挡,则直接获取隐私对象的坐标信息,根据坐标信息的位置对遮挡图像中的隐私对象进行补充遮挡处理。当遮挡标识显示该隐私对象被遮挡,则不对该隐私对象进行处理。
该实施方式中,通过图像采集设备和图像存储设备对采集到的视频进行智能检测和分析,根据设置的隐私对象的角度值,图像质量分数,距离淘汰掉不需要遮挡的隐私对象,在图像采集设备硬件能力受限的情况可以最大程度的将有效遮挡,并且通过图像存储设备对于图像采集设备已经提取过的坐标的剩余坐标进行检测和分析,对于可能超过图像采集设备性能的条件下可能漏掉的隐私对象进行遮挡,这样联动智能的方式既保证了最大化的遮挡效果,又能有效防止因为前端图像采集设备遮挡能力不足时导致漏遮的情况发生,提高图像遮挡准确度。
请参阅图5,图5是本申请图像遮挡方法第四实施方式的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图5所示的流程顺序为限。如图5所示,本实施方式包括:
S510:图像采集设备获取原始图像。
S530:图像采集设备对原始图像中的隐私对象进行遮挡处理,得到遮挡图像。
S550:图像采集设备将遮挡图像以及遮挡信息传输至图像存储设备。
遮挡信息至少包括遮挡图像中隐私对象的坐标信息、隐私对象的遮挡标识。
S570:图像存储设备对接收到的遮挡图像进行遮挡检测,并对遮挡图像进行补充遮挡处理。
在该实施方式中,通过采用前端的图像采集设备和后端的图像存储设备结合的方法,在前端设备遮挡隐私之后,利用后端设备进行补充遮挡,能够在设备能力有限的情况下提高实现有效遮挡,提高隐私保护的效果,保证隐私安全。
本申请的图像遮挡方法可以应用于需要大量隐私处理的场景中,如在大型商场和广场这种大场合的监控中,需要对人脸进行遮挡处理,即人脸打码,但人脸数量较多,很大可能超过芯片平台的人脸打码个数限制,而当前通用的方案是根据人脸识别的先后顺序,前面识别的人脸的优先打码,后面识别的人脸后打码,而当超过限制之后就有可能超过硬件芯片打码性能之后进入场景中的人员可能不再打码。这样就会导致后识别有比较清晰的人脸时不会打码而前面本身模糊的人员却被打码。因此,在一具体实施方式中,将本申请的图像遮挡方法应用于监控系统的智能人脸打码中,具体地,在利用智能设备进行人脸打码时,主要采用两个智能设备,请参阅图6和图7,图6是本申请图像采集设备和图像存储设备的示意图,图7是本申请人脸打码方法一实施方式的流程示意图。
如图6所示,本申请分别采用的图像采集设备为前端采集智能设备,图像存储设备为后端存储智能设备,其中,前端采集智能设备可以为具有智能人脸检测功能的相机,如数字IPC(IP CAMERA,网络摄像机)摄像机、球型摄像机等,后端存储智能设备可以为XVR、NVR(Network Video Recorder,网络摄像机)等存储录像机设备。在该实施方式中,会分别使用前端采集智能设备和后端存储智能设备进行人脸打码,因此预先对前端和后端的智能设备进行参数匹配,初始化图像采集设备和图像存储设备的遮挡条件,确保前后端智能设备人脸打码的算法版本相同。
前端采集智能设备中包括视频采集模块、智能人脸分析模块和视频传输模块。利用视频采集模块采集视频码流,将视频码流输入到智能人脸分析模块中。智能人脸分析模块对视频码流中的每一帧待检测图像进行检测,检测待检测图像场景中是否包含人脸信息,当检测到图像中包含有人脸信息时,进一步获取人脸的参数信息和遮挡信息,参数信息包括人脸角度信息、人脸图像质量信息和人脸与前端采集智能设备之间的距离信息,遮挡信息包括人脸在图像中的坐标信息和遮挡标识,遮挡标识用于标识该人脸是否被打码,此时,图像中人脸的遮挡标识为未打码。具体地,智能人脸分析模块首先获取人脸的坐标信息和遮挡标识,再分析人脸角度信息,人脸角度信息包括角度信息和角度值信息,其中,角度信息包括侧脸、仰头和低头等,角度值信息为角度信息对应的程度,如侧脸40度。其次,再分析人脸图像质量信息,按照人脸的清晰程度或者模糊程度对该人脸进行打分,如按清晰程度对人脸打分,分数越高,人脸的清晰程度越高。然后,再分析人脸与前端采集智能设备之间的距离信息,对待检测图像进行深度学习,检测得到人脸距离前端采集智能设备之间的距离,并记录距离的相对值。
进一步的,检测待检测图像中的人脸数量是否超过前端采集智能设备的硬件芯片能够支持的最多人脸打码数量。一般地,智能设备对视频或图像进行打码时,会采用从上至下或者从左至右的顺序打码,而当需要打码的人脸数量过多,且超过智能设备的最大打码能力时,智能设备无法将视频或图像中的所有人脸进行打码,则会出现一个区域内的人脸均没有被打码。因此,在本申请的实施方式中,判断待检测图像中的人脸数量是否超过前端采集智能设备的硬件芯片能够支持的最多人脸打码数量,当人脸数量没有超过支持的最多人脸打码数量时,对待检测图像中的所有人脸全部打码,得到打码图像,并通过视频传输模块将打码图像、参数信息和遮挡信息传输至后端存储智能设备。
当待检测图像中的人脸数量超过前端采集智能设备的硬件芯片能够支持的最多人脸打码数量时,舍弃不满足打码要求的人脸,统计剩余人脸数量。打码要求为人脸角度值小于第一阈值、人脸图像质量大于第二阈值、人脸与前端采集智能设备的距离小于第三阈值的图像。
判断剩余人脸数量是否超过前端采集智能设备的硬件芯片能够支持的最多人脸打码数量,当人脸数量没有超过支持的最多人脸打码数量时,对待检测图像中的所有剩余人脸全部打码,得到打码图像,并通过视频传输模块将打码图像、人脸的参数信息和遮挡信息传输至后端存储智能设备。
当待检测图像中的剩余人脸数量超过前端采集智能设备的硬件芯片能够支持的最多人脸打码数量时,先对识别靠前的人脸进行打码,得到打码图像,并通过视频传输模块将打码图像、人脸的参数信息和遮挡信息传输至后端存储智能设备。
后端存储智能设备包括视频接收模块、智能分析模块、人脸识别/比对模块、视频存储模块、预览模块和回放模块。后端存储智能设备的视频接收模块接收打码图像、人脸的参数信息和遮挡信息。并在智能分析模块对码流并进行逐帧分析,利用遮挡信息检测到没有进行打码的人脸信息,并判断这些人脸的参数信息,对于满足打码条件但没有打码的人脸,按照人脸的位置信息直接进行打码。
同时,当检测到存在满足打码条件但没有打码的人脸,则说明当前打码已超过前端采集智能设备的最大性能,有可能存在前端采集智能设备漏检到的人脸,则利用人脸识别/比对模块重新识别图像中人脸的坐标没有覆盖到的区域,当识别到新的人脸时,通过分析人脸的参数信息,对满足打码条件的人脸进行补充打码。
在预览模块可以对人脸打码情况进行预览,以对打码方法适时调整,打码完成之后将数据码流保存于视频存储模块中。回放模块可以对视频存储模块中的视频码流回放查看。
该实施方式中,通过前端采集智能设备和后端存储智能设备对采集到的前端视频进行智能人脸检测和人脸分析,根据设置的人脸角度值,人脸图像质量分数,人脸距离淘汰掉不需要打码的人脸,在前端采集智能设备硬件能力受限的情况可以最大程度的将有效人脸打码,并且通过后端存储智能设备对于前端已经提取过的坐标的剩余坐标进行人脸检测和分析,对于可能超过前端性能的条件下可能漏掉的有效人脸进行打码,这样前后端联动智能的方式既保证了最大化的打码效果,又能有效防止因为前端打码能力不足时导致漏打的情况发生,提高打码准确度。
请参阅图8,图8是本申请实施方式中图像遮挡系统的结构示意图。该实施方式中,图像遮挡系统包括图像采集设备81和图像存储设备82。
其中,图像采集设备81用于获取原始图像;对原始图像中的隐私对象进行遮挡处理,得到遮挡图像;将遮挡图像以及遮挡信息传输至图像存储设备;图像存储设备82用于将对接收到的遮挡图像进行遮挡检测,并对遮挡图像进行补充遮挡处理。该图像遮挡系统用于通过采用前端的图像采集设备和后端的图像存储设备结合的方法,在前端设备遮挡隐私之后,利用后端设备进行补充遮挡,能够在设备能力有限的情况下提高实现有效遮挡,提高隐私保护的效果,保证隐私安全。
请参阅图9,图9是本申请实施方式中图像遮挡设备的结构示意图。该实施方式中,图像遮挡设备91包括处理器92。
处理器92还可以称为CPU(Central Processing Unit,中央处理单元)。处理器92可能是一种集成电路芯片,具有信号的处理能力。处理器92还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器92也可以是任何常规的处理器等。
图像遮挡设备91可以进一步包括存储器(图中未示出),用于存储处理器92运行所需的指令和数据。
处理器92用于执行指令以实现上述本申请图像遮挡任一实施例及任意不冲突的组合所提供的方法。
请参阅图10,图10是本申请实施方式中计算机可读存储介质的结构示意图。本申请实施例的计算机可读存储介质11存储有指令/程序数据12,该指令/程序数据12被执行时实现本申请图像遮挡方法任一实施例以及任意不冲突的组合所提供的方法。其中,该指令/程序数据12可以形成程序文件以软件产品的形式存储在上述存储介质11中,以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质11包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种图像遮挡方法,其特征在于,所述方法包括:
图像采集设备获取原始图像;
所述图像采集设备获取所述原始图像中的隐私对象以及所述隐私对象的参数信息,忽略不满足遮挡条件的隐私对象,判断剩余隐私对象的个数是否超出所述图像采集设备的遮挡处理能力,当剩余隐私对象的个数超出所述图像采集设备的遮挡处理能力时,则基于所述隐私对象的参数信息,按照所述图像采集设备的遮挡条件有选择的对部分所述隐私对象进行遮挡处理得到遮挡图像,并登记待遮挡处理的隐私对象的遮挡信息;所述遮挡信息至少包括所述隐私对象的坐标信息、所述隐私对象的遮挡标识;所述隐私对象的参数信息包括所述隐私对象的角度、所述隐私对象的图像质量、所述隐私对象相对所述图像采集设备的距离中的多种;所述遮挡条件包括角度小于第一阈值、图像质量大于第二阈值、距离小于第三阈值的图像中的多种;
所述图像采集设备将所述遮挡图像以及遮挡信息传输至图像存储设备,以使所述图像存储设备对接收到的所述遮挡图像进行遮挡检测,获取未被遮挡的隐私对象,并对所述遮挡图像进行补充遮挡处理,所述遮挡信息至少包括所述遮挡图像中所述隐私对象的坐标信息、所述隐私对象的遮挡标识。
2.根据权利要求1所述的图像遮挡方法,其特征在于,所述方法还包括:
初始化所述图像采集设备和所述图像存储设备的遮挡条件,使得所述图像采集设备的遮挡条件与所述图像存储设备的遮挡条件相同。
3.一种图像遮挡方法,其特征在于,所述方法包括:
图像存储设备接收遮挡图像和遮挡信息,所述遮挡图像是经过图像采集设备遮挡处理后的图像,所述遮挡信息至少包括所述遮挡图像中所述隐私对象的坐标信息、所述隐私对象的遮挡标识,所述遮挡图像和遮挡信息是所述图像采集设备利用如权利要求1-2任一项所述的图像遮挡方法获得;
所述图像存储设备对接收到的所述遮挡图像进行遮挡检测,获取未被遮挡的隐私对象,并对所述遮挡图像进行补充遮挡处理。
4.根据权利要求3所述的图像遮挡方法,其特征在于,
所述图像存储设备对接收到的所述遮挡图像进行遮挡检测,获取未被遮挡的隐私对象,并对所述遮挡图像进行补充遮挡处理包括:
所述图像存储设备解析所述遮挡信息,获取未被遮挡的隐私对象;
获取所述未被遮挡的隐私对象的参数信息;
判断所述隐私对象的参数信息是否符合所述图像存储设备的遮挡条件;
将满足遮挡条件的隐私对象进行遮挡。
5.根据权利要求3所述的图像遮挡方法,其特征在于,
所述图像存储设备对接收到的所述遮挡图像进行遮挡检测,并对所述遮挡图像进行补充遮挡处理包括:
所述图像存储设备识别获取所述遮挡图像中的隐私对象;
获取所述隐私对象的参数信息,基于所述隐私对象的参数信息,按照所述图像存储设备的遮挡条件对所述隐私对象进行遮挡处理。
6.根据权利要求4或5所述的图像遮挡方法,其特征在于,
所述隐私对象的参数信息是由所述图像存储设备从所述图像采集设备接收过来的。
7.一种图像遮挡方法,其特征在于,所述方法包括:
图像采集设备获取原始图像;
所述图像采集设备获取所述原始图像中的隐私对象以及所述隐私对象的参数信息,忽略不满足遮挡条件的隐私对象,判断剩余隐私对象的个数是否超出所述图像采集设备的遮挡处理能力,当剩余隐私对象的个数超出所述图像采集设备的遮挡处理能力时,则基于所述隐私对象的参数信息,按照所述图像采集设备的遮挡条件有选择的对部分所述隐私对象进行遮挡处理得到遮挡图像,并登记待遮挡处理的隐私对象的遮挡信息;所述遮挡信息至少包括所述隐私对象的坐标信息、所述隐私对象的遮挡标识;所述隐私对象的参数信息包括所述隐私对象的角度、所述隐私对象的图像质量、所述隐私对象相对所述图像采集设备的距离中的多种;所述遮挡条件包括角度小于第一阈值、图像质量大于第二阈值、距离小于第三阈值的图像中的多种;
所述图像采集设备将所述遮挡图像以及遮挡信息传输至图像存储设备,所述遮挡信息至少包括所述遮挡图像中所述隐私对象的坐标信息、所述隐私对象的遮挡标识;
所述图像存储设备对接收到的所述遮挡图像进行遮挡检测,获取未被遮挡的隐私对象,并对所述遮挡图像进行补充遮挡处理。
8.一种图像遮挡系统,其特征在于,该图像遮挡系统包括:
图像采集设备,用于获取原始图像,所述图像采集设备获取所述原始图像中的隐私对象以及所述隐私对象的参数信息,忽略不满足遮挡条件的隐私对象,判断剩余隐私对象的个数是否超出所述图像采集设备的遮挡处理能力,当剩余隐私对象的个数超出所述图像采集设备的遮挡处理能力时,则基于所述隐私对象的参数信息,按照所述图像采集设备的遮挡条件有选择的对部分所述隐私对象进行遮挡处理得到遮挡图像,并登记待遮挡处理的隐私对象的遮挡信息;所述遮挡信息至少包括所述隐私对象的坐标信息、所述隐私对象的遮挡标识;所述隐私对象的参数信息包括所述隐私对象的角度、所述隐私对象的图像质量、所述隐私对象相对所述图像采集设备的距离中的多种;所述遮挡条件包括角度小于第一阈值、图像质量大于第二阈值、距离小于第三阈值的图像中的多种;将所述遮挡图像以及遮挡信息传输至图像存储设备;
图像存储设备,用于将对接收到的所述遮挡图像进行遮挡检测,获取未被遮挡的隐私对象,并对所述遮挡图像进行补充遮挡处理。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储指令/程序数据,所述指令/程序数据能够被执行以实现如权利要求1-7任一项所述的图像遮挡方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210326603.5A CN114419720B (zh) | 2022-03-30 | 2022-03-30 | 一种图像遮挡方法、系统及计算机可读存储介质 |
PCT/CN2023/083479 WO2023185646A1 (en) | 2022-03-30 | 2023-03-23 | Systems and methods for image processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210326603.5A CN114419720B (zh) | 2022-03-30 | 2022-03-30 | 一种图像遮挡方法、系统及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114419720A CN114419720A (zh) | 2022-04-29 |
CN114419720B true CN114419720B (zh) | 2022-10-18 |
Family
ID=81263599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210326603.5A Active CN114419720B (zh) | 2022-03-30 | 2022-03-30 | 一种图像遮挡方法、系统及计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114419720B (zh) |
WO (1) | WO2023185646A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114419720B (zh) * | 2022-03-30 | 2022-10-18 | 浙江大华技术股份有限公司 | 一种图像遮挡方法、系统及计算机可读存储介质 |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101540894A (zh) * | 2009-04-10 | 2009-09-23 | 浙江工业大学 | 一种视频监控中隐私区域的遮蔽方法 |
CN101945259A (zh) * | 2010-09-13 | 2011-01-12 | 珠海全志科技有限公司 | 一种视频图像叠加与遮挡的装置和方法 |
CN103179378A (zh) * | 2011-12-26 | 2013-06-26 | 天津市亚安科技股份有限公司 | 具有隐私遮挡功能的视频监控装置以及隐私遮挡方法 |
CN103890783A (zh) * | 2012-10-11 | 2014-06-25 | 华为技术有限公司 | 一种实现视频遮挡的方法、装置和系统 |
CN105100545A (zh) * | 2014-05-23 | 2015-11-25 | 三亚中兴软件有限责任公司 | 画面亮度调整方法、多点控制单元mcu及终端 |
CN106358069A (zh) * | 2016-10-31 | 2017-01-25 | 维沃移动通信有限公司 | 一种视频数据处理方法及移动终端 |
CN106375737A (zh) * | 2016-11-25 | 2017-02-01 | 浙江宇视科技有限公司 | 一种视频图像局部遮挡的方法及装置 |
CN107945103A (zh) * | 2017-11-14 | 2018-04-20 | 上海歌尔泰克机器人有限公司 | 无人机图像的隐私遮挡方法、装置及无人机 |
CN108206930A (zh) * | 2016-12-16 | 2018-06-26 | 杭州海康威视数字技术股份有限公司 | 基于隐私遮蔽显示图像的方法及装置 |
CN109167912A (zh) * | 2018-09-05 | 2019-01-08 | 北京图示科技发展有限公司 | 一种智能眼镜的图像处理方法及装置 |
CN109886864A (zh) * | 2017-12-06 | 2019-06-14 | 杭州海康威视数字技术股份有限公司 | 隐私遮蔽处理方法及装置 |
CN110248083A (zh) * | 2018-03-09 | 2019-09-17 | 韩华泰科株式会社 | 一种监控设备 |
CN111343130A (zh) * | 2018-12-19 | 2020-06-26 | 中国移动通信集团辽宁有限公司 | 一种隐私保护的方法、装置及设备 |
CN111586361A (zh) * | 2020-05-19 | 2020-08-25 | 浙江大华技术股份有限公司 | 一种图像的处理方法及相关装置 |
CN112468823A (zh) * | 2020-11-10 | 2021-03-09 | 浙江大华技术股份有限公司 | 一种基于模拟录像装置的隐私遮挡方法、装置和存储介质 |
CN112950443A (zh) * | 2021-02-05 | 2021-06-11 | 深圳市镜玩科技有限公司 | 基于图像贴纸的自适应隐私保护方法、系统、设备及介质 |
CN113658219A (zh) * | 2021-07-22 | 2021-11-16 | 浙江大华技术股份有限公司 | 高空抛物的检测方法、装置、系统、电子装置和存储介质 |
CN114025173A (zh) * | 2021-11-17 | 2022-02-08 | 浙江大华技术股份有限公司 | 一种图像处理方法、终端及计算机可读存储介质 |
CN114143503A (zh) * | 2021-10-20 | 2022-03-04 | 浙江大华技术股份有限公司 | 视频遮挡方法、装置、计算机设备和可读存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9876964B2 (en) * | 2014-05-29 | 2018-01-23 | Apple Inc. | Video coding with composition and quality adaptation based on depth derivations |
US11748926B2 (en) * | 2018-03-09 | 2023-09-05 | Hanwha Techwin Co., Ltd. | Method and apparatus for performing privacy masking by reflecting characteristic information of objects |
CN114048489B (zh) * | 2021-09-01 | 2022-11-18 | 广东智媒云图科技股份有限公司 | 一种基于隐私保护的人体属性数据处理方法及装置 |
CN114119647A (zh) * | 2021-12-07 | 2022-03-01 | 航天科技控股集团股份有限公司 | 基于深度学习的隐私摄像系统 |
CN114419720B (zh) * | 2022-03-30 | 2022-10-18 | 浙江大华技术股份有限公司 | 一种图像遮挡方法、系统及计算机可读存储介质 |
-
2022
- 2022-03-30 CN CN202210326603.5A patent/CN114419720B/zh active Active
-
2023
- 2023-03-23 WO PCT/CN2023/083479 patent/WO2023185646A1/en unknown
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101540894A (zh) * | 2009-04-10 | 2009-09-23 | 浙江工业大学 | 一种视频监控中隐私区域的遮蔽方法 |
CN101945259A (zh) * | 2010-09-13 | 2011-01-12 | 珠海全志科技有限公司 | 一种视频图像叠加与遮挡的装置和方法 |
CN103179378A (zh) * | 2011-12-26 | 2013-06-26 | 天津市亚安科技股份有限公司 | 具有隐私遮挡功能的视频监控装置以及隐私遮挡方法 |
CN103890783A (zh) * | 2012-10-11 | 2014-06-25 | 华为技术有限公司 | 一种实现视频遮挡的方法、装置和系统 |
CN105100545A (zh) * | 2014-05-23 | 2015-11-25 | 三亚中兴软件有限责任公司 | 画面亮度调整方法、多点控制单元mcu及终端 |
CN106358069A (zh) * | 2016-10-31 | 2017-01-25 | 维沃移动通信有限公司 | 一种视频数据处理方法及移动终端 |
CN106375737A (zh) * | 2016-11-25 | 2017-02-01 | 浙江宇视科技有限公司 | 一种视频图像局部遮挡的方法及装置 |
CN108206930A (zh) * | 2016-12-16 | 2018-06-26 | 杭州海康威视数字技术股份有限公司 | 基于隐私遮蔽显示图像的方法及装置 |
CN107945103A (zh) * | 2017-11-14 | 2018-04-20 | 上海歌尔泰克机器人有限公司 | 无人机图像的隐私遮挡方法、装置及无人机 |
CN109886864A (zh) * | 2017-12-06 | 2019-06-14 | 杭州海康威视数字技术股份有限公司 | 隐私遮蔽处理方法及装置 |
CN110248083A (zh) * | 2018-03-09 | 2019-09-17 | 韩华泰科株式会社 | 一种监控设备 |
CN109167912A (zh) * | 2018-09-05 | 2019-01-08 | 北京图示科技发展有限公司 | 一种智能眼镜的图像处理方法及装置 |
CN111343130A (zh) * | 2018-12-19 | 2020-06-26 | 中国移动通信集团辽宁有限公司 | 一种隐私保护的方法、装置及设备 |
CN111586361A (zh) * | 2020-05-19 | 2020-08-25 | 浙江大华技术股份有限公司 | 一种图像的处理方法及相关装置 |
CN112468823A (zh) * | 2020-11-10 | 2021-03-09 | 浙江大华技术股份有限公司 | 一种基于模拟录像装置的隐私遮挡方法、装置和存储介质 |
CN112950443A (zh) * | 2021-02-05 | 2021-06-11 | 深圳市镜玩科技有限公司 | 基于图像贴纸的自适应隐私保护方法、系统、设备及介质 |
CN113658219A (zh) * | 2021-07-22 | 2021-11-16 | 浙江大华技术股份有限公司 | 高空抛物的检测方法、装置、系统、电子装置和存储介质 |
CN114143503A (zh) * | 2021-10-20 | 2022-03-04 | 浙江大华技术股份有限公司 | 视频遮挡方法、装置、计算机设备和可读存储介质 |
CN114025173A (zh) * | 2021-11-17 | 2022-02-08 | 浙江大华技术股份有限公司 | 一种图像处理方法、终端及计算机可读存储介质 |
Non-Patent Citations (2)
Title |
---|
Privacy-Preserving Surveillance as an Edge Service Based on Lightweight Video Protection Schemes Using Face De-Identification and Window Masking;Alem Fitwi 等;《Electronics》;20211231;1-36 * |
基于生成对抗网络的图像隐私保护方法研究;葛瑞;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20210515;第2021年卷(第05期);I138-65 * |
Also Published As
Publication number | Publication date |
---|---|
CN114419720A (zh) | 2022-04-29 |
WO2023185646A1 (en) | 2023-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101942808B1 (ko) | 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 | |
US20190304102A1 (en) | Memory efficient blob based object classification in video analytics | |
US8891826B2 (en) | Image processing system, image processing method, and computer program | |
KR101687530B1 (ko) | 촬상 시스템에 있어서의 제어방법, 제어장치 및 컴퓨터 판독 가능한 기억매체 | |
US10096091B2 (en) | Image generating method and apparatus | |
US9305331B2 (en) | Image processor and image combination method thereof | |
JP6555906B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20080158361A1 (en) | Video surveillance equipment and video surveillance system | |
KR102297217B1 (ko) | 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치 | |
CN111401315B (zh) | 基于视频的人脸识别方法、识别装置及存储装置 | |
CN114419720B (zh) | 一种图像遮挡方法、系统及计算机可读存储介质 | |
KR20190035186A (ko) | 딥 러닝 기법을 활용한 지능형 무인 보안 시스템 | |
US20140369553A1 (en) | Method for triggering signal and in-vehicle electronic apparatus | |
KR100948382B1 (ko) | 방범 서비스 방법 및 시스템 | |
CN109002776B (zh) | 人脸识别方法、系统、计算机设备和计算机可读存储介质 | |
KR20130122262A (ko) | 영상 검색 시스템 및 영상 분석 서버 | |
US7406216B2 (en) | Method and apparatus for distributed analyses of images | |
KR101350882B1 (ko) | 영상 분석 서버 | |
US7835552B2 (en) | Image capturing apparatus and face area extraction method | |
KR20150112712A (ko) | 객체 행동패턴 cctv 영상 분석서버 | |
JP2007025940A (ja) | 防犯システム、防犯装置、防犯方法、及びプログラム | |
JP5769468B2 (ja) | 物体検出システム及び物体検出方法 | |
CN213123586U (zh) | 一种智能镜面视频广告机 | |
JP3498875B2 (ja) | 動画像処理システム | |
CN107545687A (zh) | 一种基于运动规则的安防视频报警系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |