CN110942027A - 遮挡策略的确定方法及装置、存储介质、电子装置 - Google Patents
遮挡策略的确定方法及装置、存储介质、电子装置 Download PDFInfo
- Publication number
- CN110942027A CN110942027A CN201911175730.4A CN201911175730A CN110942027A CN 110942027 A CN110942027 A CN 110942027A CN 201911175730 A CN201911175730 A CN 201911175730A CN 110942027 A CN110942027 A CN 110942027A
- Authority
- CN
- China
- Prior art keywords
- face
- identification information
- information
- target face
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 73
- 238000004590 computer program Methods 0.000 claims description 18
- 230000008014 freezing Effects 0.000 claims description 6
- 238000007710 freezing Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000012805 post-processing Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241000353135 Psenopsis anomala Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种遮挡策略的确定方法及装置、存储介质、电子装置，上述方法包括：获取视频流中每一帧数据的所有人脸的标识信息，以及目标人脸的标识信息；对于所述每一帧数据，识别出所述人脸的标识信息中与所述目标人脸的标识信息相同的目标人脸信息；对所述目标人脸信息对应的人脸在所述每一帧数据中执行相同的遮挡策略，采用上述技术方案，解决了相关技术中由于视频中出现了存在一定角度的人脸，导致无法准确的对视频中出现的人脸进行马赛克等处理等问题，进而实现视频流中在人脸角度不佳的情况下，对目标人脸和非目标人脸都能进行有效处理，从而达到保护隐私的作用。
Description
技术领域
本发明涉及一种遮挡策略的确定方法及装置、存储介质、电子装置。
背景技术
随着个人隐私保护越来越受到重视，当前人脸识别产品客户无法直接使用，比如，目标A发生特殊事件，警方介入后需要调查取证，下载网络硬盘录像机(Network VideoRecorder简称NVR)中的录像，要求录像中对非涉案人员进行人脸马赛克处理，只留下目标A和案件相关人员的人脸不打马赛克，操作上用户可自行选定哪些人员不打马赛克，具体地，可以基于人脸检测、特征提取、人脸比对等技术，录像中的人脸与目标人脸库进行比对，未比对上的人脸进行马赛克模糊化处理后，进行编码后生成录像。
相关技术中，例如，CN109063506A公开了一种用于医疗手术示教系统的隐私处理方法，该专利点方法包含采集模块、解码模块、人脸识别模块、打码模块和编码模块，如图5所示，其核心是把采集到的视频流实时解码，解码后的YUV(YUV分为三个分量，“Y”表示明亮度，也就是灰度值；而“U”和“V”表示色度)帧数据送人脸识别模块进行分析并提取特征，与特征库进行比对，根据比对结果判断是否进行打码处理，处理后yuv帧数据送编码模块进行编码生成视频流，但该技术方案存在一定角度的人脸无法比对上，无法进行打码处理。导致的结果是视频中角度不佳的目标人脸，进行马赛克处理，影响调查取证；此外，存在一定角度的人脸，容易出现比对出错，导致的结果是在人脸角度不佳的情况下，出现视频中应该打码的人脸，未进行马赛克处理，即无法达到保护隐私的目的。
针对相关技术中，由于视频中出现了存在一定角度的人脸，导致无法准确的对视频中出现的人脸进行马赛克等处理等问题，尚未提出有效的技术方案。
发明内容
本发明实施例提供了一种遮挡策略的确定方法及装置、存储介质、电子装置，以至少解决相关技术由于视频中存在角度不佳情况的人脸，导致无法准确的对视频中出现的目标人脸和非目标人脸进行处理的问题。
根据本发明的一个实施例，提供了一种遮挡策略的确定方法，包括：获取视频流中每一帧数据的所有人脸的标识信息，以及目标人脸的标识信息；对于所述每一帧数据，识别出所述人脸的标识信息中与所述目标人脸的标识信息相同的目标人脸信息；对所述目标人脸信息对应的人脸在所述每一帧数据中执行相同的遮挡策略。
可选的，对目标人脸信息对应的人脸在每一帧数据中执行相同的遮挡策略，包括：对目标人脸信息对应的人脸在每一帧数据中均不进行遮挡。
可选的，上述获取目标人脸的标识信息，至少包括以下之一：识别目标人脸的证件信息，得到第一识别结果，其中，第一识别结果至少用于指示目标人脸的标识信息；冻结视频流的视频画面，对视频画面进行识别，得到第二识别结果，其中，第二识别结果至少用于指示目标人脸的标识信息；将所有人脸的标识信息展示在界面上，接收目标对象的选择操作，以确定目标人脸的标识信息。
可选的，获取视频流中每一帧数据的所有人脸的标识信息之前或之后，上述方法还包括：获取视频流中每一帧数据的以下至少之一参数信息：所有人脸的人脸轨迹，所有人脸的人脸特征，所有人脸的人脸坐标。
可选的，上述方法还包括：将所有人脸的标识信息、参数信息和比对结果保存至预设的数据库中，其中，比对结果用于指示所有人脸的标识信息与目标人脸的标识信息的比对结果。
可选的，对目标人脸信息对应的人脸在每一帧数据中执行相同的遮挡策略，包括：获取数据库中目标人脸信息对应的标识信息；将目标人脸的标识信息的遮挡处理标识位进行归一化处理为第一值，其中，在遮挡处理标识位为第一值的情况下，在每一帧数据中，对目标人脸信息对应的人脸不进行遮挡，在遮挡处理标识位为第二值的情况下，在每一帧数据中，对目标人脸信息对应的人脸进行遮挡。
根据本发明的另一个实施例，还提供了一种遮挡策略的确定装置，包括：获取模块，用于获取视频流中每一帧数据的所有人脸的标识信息，以及目标人脸的标识信息；识别模块，用于对于所述每一帧数据，识别出所述人脸的标识信息中与所述目标人脸的标识信息相同的目标人脸信息；确定模块，用于对所述目标人脸信息对应的人脸在所述每一帧数据中执行相同的遮挡策略。
可选的，上述确定模块还用于对所述目标人脸信息对应的人脸在所述每一帧数据中均不进行遮挡。
可选的，获取模块还用于执行至少以下之一：识别所述目标人脸的证件信息，得到第一识别结果，其中，所述第一识别结果至少用于指示所述目标人脸的标识信息；冻结所述视频流的视频画面，对所述视频画面进行识别，得到第二识别结果，其中，所述第二识别结果至少用于指示所述目标人脸的标识信息；将所述所有人脸的标识信息展示在界面上，接收目标对象的选择操作，以确定所述目标人脸的标识信息。
可选的，所述获取模块还用于获获取所述视频流中每一帧数据的以下至少之一参数信息：所有人脸的人脸轨迹，所有人脸的人脸特征，所有人脸的人脸坐标。
可选的，所述装置还包括，保存模块，用于将所有人脸的标识信息、参数信息和比对结果保存至预设的数据库中，其中，比对结果用于指示所有人脸的标识信息与目标人脸的标识信息的比对结果。
可选的，所述确定模块，还用于获取数据库中目标人脸信息对应的标识信息；将目标人脸的标识信息的遮挡处理标识位进行归一化处理为第一值，其中，在遮挡处理标识位为第一值的情况下，在每一帧数据中，对目标人脸信息对应的人脸不进行遮挡，在遮挡处理标识位为第二值的情况下，在每一帧数据中，对目标人脸信息对应的人脸进行遮挡。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明的技术方案，获取视频流中每一帧数据的所有人脸的标识信息，以及目标人脸的标识信息；对于所述每一帧数据，识别出所述人脸的标识信息中与所述目标人脸的标识信息相同的目标人脸信息；对所述目标人脸信息对应的人脸在所述每一帧数据中执行相同的遮挡策略，采用上述技术方案，解决了相关技术中由于视频中出现了存在一定角度的人脸，导致无法准确的对视频中出现的人脸进行马赛克等处理等问题，进而实现视频流中在人脸角度不佳的情况下，对目标人脸和非目标人脸都能进行有效处理，从而达到保护隐私的作用。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种遮挡策略的确定方法的移动终端的硬件结构框图；
图2为根据本发明实施例的遮挡策略的确定方法的流程图；
图3是根据本发明实施例的遮挡策略的确定装置的结构框图；
图4是根据本发明可选实施例的遮挡策略的确定方法的流程图；
图5是相关技术中遮挡策略的确定过程流程图；
图6为根据本发明实施例的预处理环节的工作流程示意图；
图7为根据本发明实施例的预处理环节的数据库处理工作流程示意图；
图8为根据本发明实施例的对每一帧的信息都记录到数据库，视频文件所有帧分析完毕，进行数据库处理的流程示意图；
图9为根据本发明实施例的后处理环节的工作流程示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例1所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种遮挡策略的确定方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的遮挡策略的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
根据本发明的一个实施例，提供了一种遮挡策略的确定方法，图2为根据本发明实施例的遮挡策略的确定方法的流程图，如图2所示，包括：
步骤S202，获取视频流中每一帧数据的所有人脸的标识信息，以及目标人脸的标识信息；
步骤S204，对于每一帧数据，识别出人脸的标识信息中与目标人脸的标识信息相同的目标人脸信息；
步骤S206，对目标人脸信息对应的人脸在每一帧数据中执行相同的遮挡策略。
通过上述步骤，获取视频流中每一帧数据的所有人脸的标识信息，以及目标人脸的标识信息；对于所述每一帧数据，识别出所述人脸的标识信息中与所述目标人脸的标识信息相同的目标人脸信息；对所述目标人脸信息对应的人脸在所述每一帧数据中执行相同的遮挡策略，采用上述技术方案，解决了相关技术中由于视频中出现了存在一定角度的人脸，导致无法准确的对视频中出现的人脸进行马赛克等处理等问题，进而实现视频流中在人脸角度不佳的情况下，对目标人脸和非目标人脸都能进行有效处理，从而达到保护隐私的作用。
可选的，在对目标人脸信息对应的人脸在每一帧数据中执行相同的遮挡策略，具体可以是对目标人脸信息对应的人脸在每一帧数据中均不进行遮挡。
通过本实施例，通过获取视频流中每一帧数据的所有人脸的标识信息，以及目标人脸的标识信息，在获取每一帧的人脸标识信息后，对每一帧数据中的目标人脸执行不进行遮挡的遮挡策略。例如，公安机关在对相关罪犯进行网上通缉时，需要对公共场所视频流的每一帧数据进行检测，因为人员较多，每一帧图像上的人脸又比较密集，因此可以执行遮挡策略即对目标人脸不进行遮挡用来突出目标人脸，对非目标人脸进行遮挡处理，形成显著的区分，突出显示了包含目标人脸信息的人脸，达到了保护隐私的作用。
可选的，获取目标人脸的标识信息，至少包括以下之一：识别目标人脸的证件信息，得到第一识别结果，其中，第一识别结果至少用于指示目标人脸的标识信息；冻结视频流的视频画面，对视频画面进行识别，得到第二识别结果，其中，第二识别结果至少用于指示目标人脸的标识信息；将所有人脸的标识信息展示在界面上，接收目标对象的选择操作，以确定目标人脸的标识信息。上述方法，通过识别目标人脸的证件信息(例如：身份证、护照、毕业证等包含目标人脸的证件)或者视频画面(例如：通过车站安检门的视频画面)来获取目标人脸的标识信息，利用得到的识别结果指示目标人脸的标识信息特征；还可以通过界面展示所有的人脸的标识信息，根据接收目标对象的选择确定目标人脸的标识信息。
通过本实施例，可以对目标人脸的标识信息特征进行灵活的收集，及时得到目标人脸的标识信息，在对视频流的每一帧数据中的所有人脸进行比对筛选时有参考依据。
可选的，在获取视频流中每一帧数据的所有人脸的标识信息之前或之后还包括：获取所述视频流中每一帧数据的以下至少之一参数信息：所有人脸的人脸轨迹，所有人脸的人脸特征，所有人脸的人脸坐标。通过视频流中的每一帧数据得到所有人脸的标识信息，对所有人脸在每一帧数据中的人脸轨迹进行参数信息收集(例如，偏航角大于45度、俯仰角大于45度、侧滚角大于75度的人脸轨迹)，来根据人脸轨迹判断每一帧中该人脸是否出现，还可以收集视频流中每一帧数据中所有人脸的人脸特征(例如，脸型是瓜子脸还是圆脸，脸上是否长有痣)，来确认含有该人脸特征的人脸在每一帧的出现情况，还可以是视频流中每一帧数据中所有人脸的人脸坐标(例如，在每一帧视频画面上，目标人脸出现在画面上的位置)，通过坐标来确认人脸在每一帧数据的分布情况。
通过本实施例，对每一帧数据中参数信息的获取来判断一个人脸是否在当前一帧数据中有位置分布，进而对目标人脸的标识信息进行准确地获取，有效的处理视频流中的目人脸和非目标人脸，从而达到保护隐私的作用。
可选的，获取视频流中每一帧数据的参数信息后，将所有人脸的标识信息、参数信息和比对结果保存至预设的数据库中，其中，比对结果用于指示所有人脸的标识信息与目标人脸的标识信息的比对结果。
通过本实施例，将获取到的所有人脸的标识信息、参数信息和比对结果进行数据库保存，方便再次使用目标人脸的标识信息在所有人脸的相关数据库中查询分析。
可选的，对所述目标人脸信息对应的人脸在所述每一帧数据中执行相同的遮挡策略，包括：获取所述数据库中所述目标人脸信息对应的标识信息；将所述目标人脸的标识信息的遮挡处理标识位进行归一化处理为第一值，其中，在所述遮挡处理标识位为第一值的情况下，在所述每一帧数据中，对所述目标人脸信息对应的人脸不进行遮挡，在所述遮挡处理标识位为第二值的情况下，在所述每一帧数据中，对所述目标人脸信息对应的人脸进行遮挡，具体地，遮挡处理标识位可以是bMask，第一值为1时表示需要利用马赛克对对应的人脸进行遮挡，第二值为0时不需要对人脸进行遮挡，也可以是其它具有明显区别的值，通过值来对遮挡与不遮挡进行划分，本发明在此不做限定。
通过本实施例，对相关目标人脸的标识信息的遮挡处理标识位进行归一化处理，根据归一化处理后不同的值采取对应的遮挡策略，提高了对每一帧数据中人脸信息的处理效率。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种遮挡策略的确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例的遮挡策略的确定装置的结构框图，如图3所示，该装置包括：
(1)获取模块32，用于获取视频流中每一帧数据的所有人脸的标识信息，以及目标人脸的标识信息；
(2)识别模块34，与获取模块32连接，用于对于所述每一帧数据，识别出所述人脸的标识信息中与所述目标人脸的标识信息相同的目标人脸信息；
(3)确定模块36，与识别模块34连接，用于对所述目标人脸信息对应的人脸在所述每一帧数据中执行相同的遮挡策略。
通过上述装置，获取视频流中每一帧数据的所有人脸的标识信息，以及目标人脸的标识信息；对于所述每一帧数据，识别出所述人脸的标识信息中与所述目标人脸的标识信息相同的目标人脸信息；对所述目标人脸信息对应的人脸在所述每一帧数据中执行相同的遮挡策略，采用上述技术方案，解决了相关技术中由于视频中出现了存在一定角度的人脸，导致无法准确的对视频中出现的人脸进行马赛克等处理等问题，进而实现视频流中在人脸角度不佳的情况下，对目标人脸和非目标人脸都能进行有效处理，从而达到保护隐私的作用。
可选的，确定模块36，还用于对目标人脸信息对应的人脸在每一帧数据中均不进行遮挡。
通过本实施例，通过确定模块36执行遮挡策略时，在获取视频流中每一帧数据的所有人脸的标识信息，以及目标人脸的标识信息后，对每一帧数据中的目标人脸执行不进行遮挡的遮挡策略。例如，公安机关在对相关罪犯进行网上通缉时，需要对公共场所视频流的每一帧数据进行检测，因为人员较多，每一帧图像上的人脸又比较密集，因此可以执行遮挡策略即对目标人脸不进行遮挡用来突出目标人脸，对非目标人脸进行遮挡处理，形成显著的区分，突出显示了包含目标人脸信息的人脸，达到了保护隐私的作用。
可选的，获取模块32还用于执行至少以下之一：识别目标人脸的证件信息，得到第一识别结果，其中，第一识别结果至少用于指示目标人脸的标识信息；冻结视频流的视频画面，对视频画面进行识别，得到第二识别结果，其中，第二识别结果至少用于指示目标人脸的标识信息；将所有人脸的标识信息展示在界面上，接收目标对象的选择操作，以确定目标人脸的标识信息。上述方法，通过识别目标人脸的证件信息(例如：身份证、护照、毕业证等包含目标人脸的证件)或者视频画面(例如：通过车站安检门的视频画面)来获取目标人脸的标识信息，利用得到的识别结果指示目标人脸的标识信息特征。还可以通过界面展示所有的人脸的标识信息，根据接收目标对象的选择确定目标人脸的标识信息。
通过本实施例，对目标人脸的标识信息特征进行灵活的收集，及时得到目标人脸的标识信息，在对视频流的每一帧数据中的所有人脸进行比对筛选时有参考依据。
可选的，获取模块32还用于获取所述视频流中每一帧数据的以下至少之一参数信息：所有人脸的人脸轨迹，所有人脸的人脸特征，所有人脸的人脸坐标。通过视频流中的每一帧数据得到所有人脸的标识信息，对所有人脸在每一帧数据中的人脸轨迹进行参数信息收集(例如，偏航角大于45度、俯仰角大于45度、侧滚角大于75度的人脸轨迹)，来根据人脸轨迹判断每一帧中该人脸是否出现，还可以收集视频流中每一帧数据中所有人脸的人脸特征(例如，脸型是瓜子脸还是圆脸，脸上是否长有痣)，来确认含有该人脸特征的人脸在每一帧的出现情况，还可以是视频流中每一帧数据中所有人脸的人脸坐标(例如，在每一帧视频画面上，目标人脸出现在画面上的位置)，通过坐标来确认人脸在每一帧数据的分布情况。
通过本实施例，获取模块32可以对每一帧数据中参数信息的获取来判断一个人脸是否在当前一帧数据中有位置分布，进而对目标人脸的标识信息进行准确地获取，有效的处理视频流中的目人脸和非目标人脸，从而达到保护隐私的作用。
可选的，所述装置还包括，保存模块，用于将所有人脸的标识信息、参数信息和比对结果保存至预设的数据库中，其中，比对结果用于指示所有人脸的标识信息与目标人脸的标识信息的比对结果。
通过本实施例，获取模块32将获取到的所有人脸的标识信息、参数信息和比对结果进行数据库保存，方便再次使用目标人脸的标识信息在相关数据库中的所有人脸的标识信息进行查询。
可选的，确定模块36还用于获取所述数据库中所述目标人脸信息对应的标识信息；将所述目标人脸的标识信息的遮挡处理标识位进行归一化处理为第一值，其中，在所述遮挡处理标识位为第一值的情况下，在所述每一帧数据中，对所述目标人脸信息对应的人脸不进行遮挡，在所述遮挡处理标识位为第二值的情况下，在所述每一帧数据中，对所述目标人脸信息对应的人脸进行遮挡。具体地，遮挡处理标识位可以是bMask，第一值为1时表示需要利用马赛克对对应的人脸进行遮挡，第二值为0时不需要对人脸进行遮挡，也可以是其它具有明显区别的值，通过值来对遮挡与不遮挡进行划分，本发明在此不做限定。
通过本实施例，确定模块36对相关目标人脸的标识信息的遮挡处理标识位进行归一化处理，根据归一化处理后不同的值采取对应的遮挡策略，提高了对每一帧数据中人脸信息的处理效率。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
为了更好的理解本发明实施例限定的遮挡策略的确定流程，以下结合一可选实施例对上述流程进行说明，但不用于限定本发明实施例的技术方案。
本发明可选实施例提供了一种用于安防监控领域的对导出录像中人脸进行马赛克处理的方法，从而做到个人隐私的保护。该方法用到的模块主要包含解码模块、人脸识别模块、马赛克模块、数据库模块和编码模块。解码模块负责将视频流解码并输出YUV格式的帧数据。YUV帧数据送入人脸识别模块进行人脸分析并提取特征，与提前建模好的特征库进行比对，根据比对结果，进行马赛克模糊处理，处理后的YUV帧送入编码模块编码，输出处理后的视频流。
在本实施例中提供了一种遮挡策略的确定流程，图4是根据本发明可选实施例的遮挡策略的确定方法的流程图，包括以下步骤：
步骤402，输入码流文件(相当于视频流文件)；
步骤404，对输入的码流文件进行解码；
步骤406，对解码后的码流文件利用人脸识别模块进行人脸识别；
步骤408，根据识别模块识别出的人脸，获取相应的人脸信息；
步骤410，将获取到的人脸信息存入数据库；
步骤412，根据数据库信息判断存入数据库的人脸信息是否要进行马赛克处理；
步骤414，根据数据库给出的处理信息，通过马赛克模块处理对应人脸信息；
步骤416，经过遮挡处理的文件重新利用编码模块编码后输出文件。
为了更好的理解上述遮挡策略的确定过程，以下结合一可选实施例对上述流程进行说明，但不用于限定本发明实施例的技术方案，图5是根据目前公开发明实施例的遮挡策略的确定过程流程图，包括以下步骤：
步骤502，输入码流文件；
步骤504，对输入的码流文件进行解码；
步骤506，对解码后的码流文件利用人脸识别模块进行人脸识别；根据识别模块识别出的人脸，获取相应的人脸信息，引入特征库进行比对；
步骤508，根据人脸信息与特征库的比对结果，通过马赛克模块处理对应人脸信息；
步骤510，利用编码模块重新编码经马赛克模块处理后后文件，并输出文件。
对比图4和图5的两个流程图，图4中框中标示部分是主要的差异部分，也是本发明实施例的核心部分。
从图5所示的流程中可以发现，现有方案是逐帧处理，即分析完一帧，根据分析结果，实时对相应帧或者临近帧进行马赛克处理。但由于大于一定角度(比如偏航角大于45度、俯仰角大于45度、侧滚角大于75度)的人脸，算法无法识别或者识别容易出错，所以图5所示方案存在的缺陷是角度不佳的目标人脸与特征库比对不上，角度不佳的人脸误比对上，而在安防监控的实际应用场景中，人脸姿态各异，如上缺陷非常容易暴露，导致无法真正做到隐私处理或隐私处理过度。图4是本技术方案的目标人脸隐私处理流程，框标示部分是与现有方案的差异部分，在人脸角度不佳的情况下，对目标人脸和非目标人脸都能进行有效处理，并将分析结果与图像帧进行一一匹配，从而真正起到保护隐私的作用。
为了帮助理解，把该实施例技术方案的实现分成两部分介绍，即预处理环节和后处理环节。预处理环节为了获取视频流中所有人脸的相关信息，包括人脸轨迹、id、是否需要马赛克处理等；后处理环节根据预处理输出的信息，对人脸马赛克处理后编码输出视频流。
图6为根据本发明实施例的预处理环节的工作流程示意图，如图6所示，包括如下步骤：
步骤602：视频码流送至解码模块，由解码模块将视频流解码成yuv帧数据
步骤604：yuv帧数据送至人脸识别模块，每一帧分析输出人脸id、人脸轨迹、人脸特征等信息。
步骤606：获取人脸信息。提供两种方式获取用户配置(即哪些目标人脸不需要马赛克处理，其余人脸都进行马赛克处理)。
上述提到的获取人脸信息有两种方式可供选择，但本发明实施例不仅仅局限于此：
(1)创建目标人脸特征库，视频中人脸与特征库人脸比对，获取比对结果。特征库创建提供如下两种方法：通过导入目标人物的证件照，经人脸识别模块分析输出人脸特征，生成特征库；录像回放中，画面冻结，选择目标人物较清晰的正脸抠图，送人脸识别模块分析输出人脸特征，生成特征库
(2)根据步骤604中输出的人脸id、人脸轨迹坐标，把每个人脸id对应的抓图呈现在界面上，由用户选择目标人脸，获取界面配置结果。
步骤608：每一个id对应的信息和比对结果以id为key值记录到数据库。一条数据库信息包含信息如下：帧序号、人脸id、人脸坐标、是否需要马赛克处理标志bMask(注：1表示需要马赛克处理；0表示不需要)。
步骤610：遍历数据库，与特征库比中的目标人脸对应的id，与该id相同的数据库字段bMask归一化成0。
对于数据库处理的技术方案，以下结合一可选实施例对上述流程进行说明，但不用于限定本发明实施例的技术方案，图7为根据本发明实施例的预处理环节的数据库处理工作流程示意图。
假设人脸A、B、C都是在特征库的目标人脸。人脸A、B、C在第一帧时，只有人脸C角度比较正，能比对成功，而人脸A、B角度不佳，未能与特征库比对上(若用图5的实施例处理，A、B马赛克遮挡，C正常显示)。第一帧的信息记录到数据库。
经过N帧，人脸A、B、C在第N+1帧时，人脸A变成正常角度，人脸B变成正常角度，人脸C变成角度不佳(若用方案5处理，A、B正常显示，C马赛克遮挡)。但实际上，人脸A、B、C从第一帧开始到第N+1帧就应该正常显示。若用图4的实施例，就能做到。
由于每一帧的信息都记录到数据库，视频文件所有帧分析完毕，对数据库进行处理。处理逻辑是同一个人脸id在某一帧被比对上，不需要马赛克处理，那么认为该id在其他其他时刻即使没有比对上，也不需要马赛克处理，因为是同一个人脸。故经处理后，人脸A、B、C都正常显示，不需要马赛克处理，图8为对每一帧的信息都记录到数据库，视频文件所有帧分析完毕，进行数据库处理的流程示意图。
图9为根据本发明实施例的后处理环节的工作流程示意图，如图9所示，包括以下步骤
步骤902：同一视频码流送入解码模块，由解码模块将视频流解码成yuv帧数据。
步骤904：yuv帧对应的帧序号为f1，遍历数据库，找到帧序号等于f1的所有数据库记录
步骤906：根据每条记录中的bMask，若为0，不需要马赛克处理，若为1，把rect标识的区域进行马赛克处理。
步骤908：马赛克处理后的yuv帧送编码模块编码，输出码流。
在进行后处理环节时，同一个人脸，正脸的情况下与存在一定角度的情况下，人脸识别算法很难有效判断为同一个人脸，因此，根据本实施例，通过对码流进行预处理，获取每一帧的人脸id、轨迹、是否马赛克处理标记等信息，记录到数据库，并对数据库中的同一id的是否马赛克标记归一化处理。后处理环节根据每条数据库信息记录的轨迹和标记，进行马赛克处理，很好的解决了人脸角度不佳的情况下，对同一个人脸马赛克处理结果一致性的问题。
对在本发明实施例中，在进行后处理环节时，对人脸信息获取有两种优选的方法：
(1)创建目标人脸特征库，用于与视频中人脸提取的特征比对；
(2)分析输出的人脸信息界面呈现，由用户选择并获取配置。其中目标人脸特征库创建给出两种方式，人脸证件照导入方式和视频画面人脸选择方式。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取视频流中每一帧数据的所有人脸的标识信息，以及目标人脸的标识信息；
S2，对于所述每一帧数据，识别出所述人脸的标识信息中与所述目标人脸的标识信息相同的目标人脸信息；
S3，对所述目标人脸信息对应的人脸在所述每一帧数据中执行相同的遮挡策略。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取视频流中每一帧数据的所有人脸的标识信息，以及目标人脸的标识信息；
S2，对于所述每一帧数据，识别出所述人脸的标识信息中与所述目标人脸的标识信息相同的目标人脸信息；
S3，对所述目标人脸信息对应的人脸在所述每一帧数据中执行相同的遮挡策略。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种遮挡策略的确定方法，其特征在于，包括：
获取视频流中每一帧数据的所有人脸的标识信息，以及目标人脸的标识信息；
对于所述每一帧数据，识别出所述人脸的标识信息中与所述目标人脸的标识信息相同的目标人脸信息；
对所述目标人脸信息对应的人脸在所述每一帧数据中执行相同的遮挡策略。
2.根据权利要求1所述的方法，其特征在于，对所述目标人脸信息对应的人脸在所述每一帧数据中执行相同的遮挡策略，包括：
对所述目标人脸信息对应的人脸在所述每一帧数据中均不进行遮挡。
3.根据权利要求1所述的方法，其特征在于，所述获取目标人脸的标识信息，至少包括以下之一：
识别所述目标人脸的证件信息，得到第一识别结果，其中，所述第一识别结果至少用于指示所述目标人脸的标识信息；
冻结所述视频流的视频画面，对所述视频画面进行识别，得到第二识别结果，其中，所述第二识别结果至少用于指示所述目标人脸的标识信息；
将所述所有人脸的标识信息展示在界面上，接收目标对象的选择操作，以确定所述目标人脸的标识信息。
4.根据权利要求1所述的方法，其特征在于，获取视频流中每一帧数据的所有人脸的标识信息之前或之后，所述方法还包括：
获取所述视频流中每一帧数据的以下至少之一参数信息：所有人脸的人脸轨迹，所有人脸的人脸特征，所有人脸的人脸坐标。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
将所述所有人脸的标识信息、所述参数信息和比对结果保存至预设的数据库中，其中，所述比对结果用于指示所有人脸的标识信息与所述目标人脸的标识信息的比对结果。
6.根据权利要求5所述的方法，其特征在于，对所述目标人脸信息对应的人脸在所述每一帧数据中执行相同的遮挡策略，包括：
获取所述数据库中所述目标人脸信息对应的标识信息；
将所述目标人脸的标识信息的遮挡处理标识位进行归一化处理为第一值，其中，在所述遮挡处理标识位为第一值的情况下，在所述每一帧数据中，对所述目标人脸信息对应的人脸不进行遮挡，在所述遮挡处理标识位为第二值的情况下，在所述每一帧数据中，对所述目标人脸信息对应的人脸进行遮挡。
7.一种遮挡策略的确定装置，其特征在于，包括：
获取模块，用于获取视频流中每一帧数据的所有人脸的标识信息，以及目标人脸的标识信息；
识别模块，用于对于所述每一帧数据，识别出所述人脸的标识信息中与所述目标人脸的标识信息相同的目标人脸信息；
确定模块，用于对所述目标人脸信息对应的人脸在所述每一帧数据中执行相同的遮挡策略。
8.根据权利要求7所述的装置，其特征在于，所述确定模块，还用于对所述目标人脸信息对应的人脸在所述每一帧数据中均不进行遮挡。
9.根据权利要求7所述的装置，其特征在于，所述获取模块，还用于执行至少以下之一：
识别所述目标人脸的证件信息，得到第一识别结果，其中，所述第一识别结果至少用于指示所述目标人脸的标识信息；
冻结所述视频流的视频画面，对所述视频画面进行识别，得到第二识别结果，其中，所述第二识别结果至少用于指示所述目标人脸的标识信息；
将所述所有人脸的标识信息展示在界面上，接收目标对象的选择操作，以确定所述目标人脸的标识信息。
10.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。
11.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911175730.4A CN110942027A (zh) | 2019-11-26 | 2019-11-26 | 遮挡策略的确定方法及装置、存储介质、电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911175730.4A CN110942027A (zh) | 2019-11-26 | 2019-11-26 | 遮挡策略的确定方法及装置、存储介质、电子装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110942027A true CN110942027A (zh) | 2020-03-31 |
Family
ID=69908925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911175730.4A Pending CN110942027A (zh) | 2019-11-26 | 2019-11-26 | 遮挡策略的确定方法及装置、存储介质、电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110942027A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111885339A (zh) * | 2020-07-01 | 2020-11-03 | 海尔优家智能科技（北京）有限公司 | 隐私处理方法及装置、计算机可读的存储介质、电子介质 |
| CN111970486A (zh) * | 2020-07-15 | 2020-11-20 | 浙江大华技术股份有限公司 | 视频遮挡方法、设备及存储介质 |
| CN112037127A (zh) * | 2020-07-27 | 2020-12-04 | 浙江大华技术股份有限公司 | 视频监控的隐私遮挡方法及装置、存储介质、电子装置 |
| CN113692590A (zh) * | 2021-09-14 | 2021-11-23 | 商汤国际私人有限公司 | 数据安全处理方法及装置、设备、存储介质 |
| CN115379260A (zh) * | 2022-08-19 | 2022-11-22 | 杭州华橙软件技术有限公司 | 视频的隐私处理方法、装置、存储介质及电子装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105872717A (zh) * | 2015-10-26 | 2016-08-17 | 乐视移动智能信息技术（北京）有限公司 | 视频处理方法及系统、视频播放器与云服务器 |
| CN105957001A (zh) * | 2016-04-18 | 2016-09-21 | 深圳感官密码科技有限公司 | 一种隐私保护方法及装置 |
| CN106874827A (zh) * | 2015-12-14 | 2017-06-20 | 北京奇虎科技有限公司 | 视频识别方法和装置 |
| CN109598138A (zh) * | 2018-11-15 | 2019-04-09 | 阿里巴巴集团控股有限公司 | 图片中敏感信息识别、掩盖和感知是否查看的方法及装置 |
-
2019
- 2019-11-26 CN CN201911175730.4A patent/CN110942027A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105872717A (zh) * | 2015-10-26 | 2016-08-17 | 乐视移动智能信息技术（北京）有限公司 | 视频处理方法及系统、视频播放器与云服务器 |
| CN106874827A (zh) * | 2015-12-14 | 2017-06-20 | 北京奇虎科技有限公司 | 视频识别方法和装置 |
| CN105957001A (zh) * | 2016-04-18 | 2016-09-21 | 深圳感官密码科技有限公司 | 一种隐私保护方法及装置 |
| CN109598138A (zh) * | 2018-11-15 | 2019-04-09 | 阿里巴巴集团控股有限公司 | 图片中敏感信息识别、掩盖和感知是否查看的方法及装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111885339A (zh) * | 2020-07-01 | 2020-11-03 | 海尔优家智能科技（北京）有限公司 | 隐私处理方法及装置、计算机可读的存储介质、电子介质 |
| CN111970486A (zh) * | 2020-07-15 | 2020-11-20 | 浙江大华技术股份有限公司 | 视频遮挡方法、设备及存储介质 |
| CN111970486B (zh) * | 2020-07-15 | 2022-04-19 | 浙江大华技术股份有限公司 | 视频遮挡方法、设备及存储介质 |
| CN112037127A (zh) * | 2020-07-27 | 2020-12-04 | 浙江大华技术股份有限公司 | 视频监控的隐私遮挡方法及装置、存储介质、电子装置 |
| CN113692590A (zh) * | 2021-09-14 | 2021-11-23 | 商汤国际私人有限公司 | 数据安全处理方法及装置、设备、存储介质 |
| CN115379260A (zh) * | 2022-08-19 | 2022-11-22 | 杭州华橙软件技术有限公司 | 视频的隐私处理方法、装置、存储介质及电子装置 |
| CN115379260B (zh) * | 2022-08-19 | 2023-11-03 | 杭州华橙软件技术有限公司 | 视频的隐私处理方法、装置、存储介质及电子装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110942027A (zh) | 遮挡策略的确定方法及装置、存储介质、电子装置 | |
| US10008240B2 (en) | Case video processing apparatus, case video processing system, and case video processing method | |
| CN110008797B (zh) | 一种多摄像机多人脸视频接续采集方法 | |
| Zhang et al. | Face morphing detection using Fourier spectrum of sensor pattern noise | |
| Barni et al. | Identification of cut & paste tampering by means of double-JPEG detection and image segmentation | |
| Poisel et al. | Forensics investigations of multimedia data: A review of the state-of-the-art | |
| US10573346B2 (en) | Case video log data generating apparatus, case video processing system, and case video log data generating method | |
| CN113673459B (zh) | 基于视频的生产施工场所安全巡检方法、系统、设备 | |
| CN107992739A (zh) | 用户验证方法、装置及系统 | |
| EP2874396A1 (en) | Method and system for securing a stream of data | |
| CN110795595A (zh) | 基于边缘计算的视频结构化存储方法、装置、设备及介质 | |
| CN110738178A (zh) | 园区施工安全检测方法、装置、计算机设备及存储介质 | |
| CN111010547A (zh) | 目标对象的追踪方法及装置、存储介质、电子装置 | |
| CN111522995B (zh) | 目标对象分析方法、装置及电子设备 | |
| CN108881813A (zh) | 一种视频数据处理方法及装置、监控系统 | |
| CN106296949B (zh) | 一种基于h264视频解码技术的门禁系统及方法 | |
| CN107944371A (zh) | 一种基于数据挖掘的公安视频监控图像处理方法 | |
| KR20090132339A (ko) | 감시 시스템 네트워크를 이용한 객체의 이동 경로 추적방법 및 시스템 | |
| Mohiuddin et al. | A comprehensive survey on state-of-the-art video forgery detection techniques | |
| CN115761614A (zh) | 基于多视角深度学习算法的异常行为目标检测系统 | |
| Ahmed et al. | Automated intruder detection from image sequences using minimum volume sets | |
| CN109614893B (zh) | 基于情境推理的异常行为行踪智能识别方法及装置 | |
| Mante et al. | A survey on video-based evidence analysis and digital forensic | |
| CN112738471A (zh) | 基于物联网和人工智能的安防监控数据处理方法及云通信服务器 | |
| NAGAGOPIRAJU et al. | MACHINE LEARNING AND BLOCKCHAIN-BASED REAL-TIME FACIAL RECOGNITION ATTENDANCE SYSTEM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200331 |
|
| RJ01 | Rejection of invention patent application after publication |