CN113627524A - 一种人脸识别大数据训练新系统 - Google Patents

一种人脸识别大数据训练新系统 Download PDF

Info

Publication number
CN113627524A
CN113627524A CN202110910546.0A CN202110910546A CN113627524A CN 113627524 A CN113627524 A CN 113627524A CN 202110910546 A CN202110910546 A CN 202110910546A CN 113627524 A CN113627524 A CN 113627524A
Authority
CN
China
Prior art keywords
big data
unit
image
deep learning
face recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110910546.0A
Other languages
English (en)
Inventor
吴泽徐
许晓东
程超超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Pingtan Ruiqian Intelligent Technology Co ltd
Original Assignee
Fujian Pingtan Ruiqian Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Pingtan Ruiqian Intelligent Technology Co ltd filed Critical Fujian Pingtan Ruiqian Intelligent Technology Co ltd
Priority to CN202110910546.0A priority Critical patent/CN113627524A/zh
Publication of CN113627524A publication Critical patent/CN113627524A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人脸识别大数据训练新系统，属于大数据技术领域，包括：门禁单元、图像获取单元、图像拆分单元、大数据处理单元、深度学习单元，监控单元；所述门禁单元用于识别人的基本信息；所述图像获取单元用于获取人物动态影像；所述图像拆分单元用于将人物动态影像进行分帧、筛除、抽帧；所述大数据处理单元用于图像拆分单元抽帧图像的处理；所述深度学习单元用于利用大数据处理单元构建深度学习模型；所述监控单元用于一定空间范围内基于构建的大数据深度学习模型识别人物；本发明的优点在于利用每日打卡的时间提取人物视频流，通过视频流构建大数据，利用大数据训练深度学习模型，进一步提高人员定位精度和速度。

Description

一种人脸识别大数据训练新系统
技术领域
本发明属于大数据技术领域，特别涉及一种人脸识别大数据训练新系统。
背景技术
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。人脸识别技术在安全系统、商业领域和日常生活中已经有了都有成熟的应用，人脸识别通过视频采集设备获取用户的面部图像，再利用核心的算法对其脸部的五官位置、脸型和角度进行计算分析，进而和自身数据库里已有的范本进行比对，从而判断出用户的真实身份。
传统的人脸识别算法步骤是：根据人脸检测的框位置，先初始化初始脸部轮廓位置；进行上一步位置和图形特征检测下一步位置；进行迭代，最终得到相对准确的轮廓位置。但传统的算法识别精度较差，因此随着科技的发展，研究人员提出了深度学习与人脸识别的结合，深度学习算法步骤：对图像进行轮廓定位态校正；全局粗定位；局部精细定位。但深度学习的缺点在于只能提供有限数据量的应用场景下，深度学习算法不能够对数据的规律进行无偏差的估计。因此为了达到很好的人脸识别精度，需要大数据支撑。深度学习和大数据系统融合，是将深度学习和大数据系统打通，具体来说，就是深度学习模型在大数据系统集群上进行训练和预测。但是目前商用人脸识别场景下要构建大数据数据库并不简单，如何能够实时更新系统，提高识别精度和速度是目前需要关注的问题。
发明内容
(一)要解决的技术问题
基于上述的背景技术和不足，申请人意在利用每日打卡的时间提取人物视频流，通过视频流构建大数据，利用大数据训练深度学习模型，利用高精度的深度学习模型进一步提高监控模块定位人员的精度和速度。
(二)技术方案
本发明通过如下技术方案实现：一种人脸识别大数据训练新系统，所述系统包括：门禁单元、图像获取单元、图像拆分单元、大数据处理单元、深度学习单元，监控单元；
所述门禁单元用于识别人的基本信息；
所述图像获取单元用于获取人物动态影像；
所述图像拆分单元用于将人物动态影像进行分帧、筛除、抽帧；
所述大数据处理单元用于图像拆分单元抽帧图像的处理；
所述深度学习单元用于利用大数据处理单元构建深度学习模型；
所述监控单元用于一定空间范围内基于构建的大数据深度学习模型识别人物。
作为上述方案的进一步说明，所述门禁单元具体的利用门禁卡身份识别信息进行定标确定人物信息，利用确定的人物信息辅助后续的深度学习模型的构建。
作为上述方案的进一步说明，所述图像获取单元具体的利用人脸识别装置的摄像单元获取人物在通过某一特定空间时一段时间内的动态影像；基于获取的动态影像利用图像拆分单元对动态影像进行拆分，并筛选其中可以识别特征元素的关键帧，并将关键帧图像抽出。
作为上述方案的进一步说明，所述大数据处理单元具体用于接收图像拆分单元获得关键帧进行存储并构建人脸特征数据库；通过大数据构建的人脸特征数据库，深度学习单元将已有的人脸特征训练数据库进行划分构建人物分类网络。
作为上述方案的进一步说明，所述一种人脸识别大数据训练新系统的训练方法包括如下步骤：
步骤100：人物通过门禁单元，确定待识别人脸的身份；
步骤200：通过门禁单元时同步开启图像获取单元获取人物通过门禁单元时动态影像；
步骤300：动态影像获取后将人物动态影像进行分帧、筛除、抽帧；
步骤400：大数据处理单元将图像拆分单元抽帧图像进行处理
步骤500：将大数据处理单元处理后的图像存储构建人脸特征数据库后导入深度学习模型进行训练；
步骤600：将训练结果反馈至监控单元进行人物追踪。
作为上述方案的进一步说明，所述步骤400具体的包括如下步骤：
步骤410：依据正面、背面、左侧、右侧、低头、抬头六个视角将抽帧后的图像进行分类；
步骤420：基于步骤410构建的分类分别提取眼部特征、鼻子特征、嘴部特征及外部特征
步骤430：将上述步骤构建的特征导入深度学习模型。
作为上述方案的进一步说明，所述外部特征包括眼镜、头发颜色、上衣颜色、每个视角中占整个视角图像中的比例。
作为上述方案的进一步说明，所述步骤600具体的监控单元获取视角范围内影像，根据获取的影响提取特征，将特征映射至深度学习模型中进行比对获得比对结构，进而实现人物的定位追踪。
具体实施方式
一种人脸识别大数据训练新系统，所述系统包括：门禁单元、图像获取单元、图像拆分单元、大数据处理单元、深度学习单元，监控单元；
所述门禁单元用于识别人的基本信息；
所述图像获取单元用于获取人物动态影像；
所述图像拆分单元用于将人物动态影像进行分帧、筛除、抽帧；
所述大数据处理单元用于图像拆分单元抽帧图像的处理；
所述深度学习单元用于利用大数据处理单元构建深度学习模型；
所述监控单元用于一定空间范围内基于构建的大数据深度学习模型识别人物。
其中，所述门禁单元具体的利用门禁卡身份识别信息进行定标确定人物信息，利用确定的人物信息辅助后续的深度学习模型的构建。在本实施例中门禁单元还提供人脸识别、指纹识别方式，可以为构建1:N提供额外的确定信息。
其中，所述图像获取单元具体的利用人脸识别装置的摄像单元获取人物在通过某一特定空间时一段时间内的动态影像；基于获取的动态影像利用图像拆分单元对动态影像进行拆分，并筛选其中可以识别特征元素的关键帧，并将关键帧图像抽出。本实施例提出这两个单元可以更好的建构用于深度学习模型重复学习，构建1:N人脸识别，利用图像获取单元可以获取不同状态下的脸部信息系，并导入大数据处理提取特征，通过每天打卡时反复读取动态影像、处理、提取特征，构建大量充足的大数据数据库。
其中，所述大数据处理单元具体用于接收图像拆分单元获得关键帧进行存储并构建人脸特征数据库；通过大数据构建的人脸特征数据库，深度学习单元将已有的人脸特征训练数据库进行划分构建人物分类网络。在本实施例中的大数据处理单元是基于大数据及深度学习两者进行构建，可以满足深度学习所需要的庞大的数据量，而利用深度学习模型可以从庞杂的数据中训练处识别模型，进一步提高1:N人脸识别精度。
在本实施例中对于具体如何实现大数据构建数据库后，深度学习单元基于人脸特征数据库构建深度学习模型进行详细说明：
首先图像获取单元通过四个视角的摄像头记录动态影像，其中前后左右四个视角可记录正面、背面、左侧、右侧四个视角的信息；正面信息又包含低头、抬头两个视角的信息；在分割视频时，本实施例的目的在于通过某一特定空间时一段时间内的动态影像中的人脸特征，不需要对面部的表情的特征进行识别提取，因此可以采用较为简单的算法进行分割提取关键帧；但同时需要避免数据的冗余；结合本实例中四个视角的摄像头提取照片，若采用较为复杂的算法则大大提高算力压力，同时当人通过某一个特空间时，四个视角的摄像头拍摄时间在3-5s之间，假定摄像头的帧数为25帧/s，则每个视角获取的图像张数在75张至125张之间，每次获取数据在300-500张；因此在本实施例中既要保证算法的简便减少算力压力，也要保证避免数据的冗余；
综上所述，在本实施例中采用基于像素强度的帧间差方法进行关键帧提取；其优点在于算法实现简单，程序设计复杂度低；对光线等场景变化不太敏感，能够适应各种动态环境，稳定性较好。具体的算法如下：
读取视频，并以此计算每两帧之间的帧间差分，进而得到平均帧间差分强度可以用来衡量两帧图像的变化大小；
选择具有平均帧间差分强度局部最大值的帧作为视频的关键帧；即当视频中某一帧与前一帧画面内容产生较大的变化就认定为关键帧
其数学公式描述如下
Figure BDA0003203371040000051
在该式中Di为连续两帧图像之间的差分图像；Di＝1代表关键帧，Di＝0代表非关键帧；fi代表第i个平均帧间差分强度；
其次本实施例为构建多姿态人脸数据库将数据库中的分类分为正面、背面、左侧、右侧、低头、抬头六个视角出发构建数据库，保证数据库的泛性；同时基于六个视角出发同时涵盖口罩、帽子、眼镜、发色四种外部特征，如表1所示；
表1不同视角中人脸特征表现
眼部特征 鼻子特征 嘴部特征 外部特征
正面 瞳孔、眼白 鼻孔、鼻翼 上嘴唇、下嘴唇、正向牙齿 口罩、帽子、眼镜、发色
背面 无 无 无 口罩、帽子、眼镜、发色
左侧 瞳孔、眼白 鼻翼 嘴角上扬、嘴角下沉、侧向牙齿 口罩、帽子、眼镜、发色
右侧 瞳孔、眼白 鼻翼 嘴角上扬、嘴角下沉、侧向牙齿 口罩、帽子、眼镜、发色
低头 瞳孔、眼白 鼻孔 上嘴唇、下嘴唇 口罩、帽子、眼镜、发色
抬头 瞳孔、眼白 鼻孔 上嘴唇、下嘴唇 口罩、帽子、眼镜、发色
在本实施例中基于TensorFlow深度学习框架，采用FaceNet构建深度学习模型；具体的在门禁单元时，已经确定人物信息，因此基于关键帧构建的数据库需要进行分类，在大数据数据库的基础上建立个人人脸特征数据库，数据库将上述表1获得的图像进行收集设定对应文件夹；此时经过分类后大数据数据库包含数个个人人脸特征数据库，每个人对应一个ID，每个ID对应数张个人脸图像，通过FaceNet进行训练，构建对应的个人人脸识别模型；当每天人物经过门禁模块时候，重复上述的模型训练；利用每日更新的数据库对模型进行训练，保证数据库的识别精度。
算法流程包括如下步骤：
步骤510：输入的人脸图像样本，并裁剪到固定尺寸
步骤520：将样本导入TensorFlow架构
步骤530：将图像样本的特征进行归一化，生成多维特征向量；
步骤540：比较特征向量间的欧式距离，判断是否为同一人；
需要注意的是本发明实施例中的人脸识别大数据训练新系统的训练方法适用多种深度学习模型，例如FaceNet、VGG、ResNet和DenseNet；在本实施例中采用的是FaceNet模型作为举例说明；因此对于深度学习模型的算法不再做过多的赘述。
其中，所述一种人脸识别大数据训练新系统的训练方法包括如下步骤：
步骤100：人物通过门禁单元，确定待识别人脸的身份；
步骤200：通过门禁单元时同步开启图像获取单元获取人物通过门禁单元时动态影像；
步骤300：动态影像获取后将人物动态影像进行分帧、筛除、抽帧；
步骤400：大数据处理单元将图像拆分单元抽帧图像进行处理
步骤500：将大数据处理单元处理后的图像存储构建人脸特征数据库后导入深度学习模型进行训练；
步骤600：将训练结果反馈至监控单元进行人物追踪。
在本实施例中步骤100的目的在于首先确定人的特征，构建1:N的第一个步骤，确定这个人是谁。
在本实施例中步骤200-400的目的在于构建大数据数据库的基础，首先通过步骤100中的人是谁，再通过步骤200-400构建该人在不同状态下的特征提取，通过这个步骤可以解决1:N人脸识别中机器面临着曝光过度、逆光、侧脸、远距离等问题，其根源在于已先确定了人物是谁，在人物通过门禁单元时，可以利用视频流全面提取人物的侧脸、顺光、逆光的脸部特征信息，这些特征信息经由大数据处理单元处理后，当调用监控单元进行追踪时，可以快速识别定位人物的位置。
其中，所述步骤400具体的包括如下步骤：步骤410：依据正面、背面、左侧、右侧、低头、抬头六个视角将抽帧后的图像进行分类；步骤420：基于步骤410构建的分类分别提取眼部特征、鼻子特征、嘴部特征及外部特征步骤430：将上述步骤构建的特征导入深度学习模型。
其中，所述外部特征包括眼镜、头发颜色、上衣颜色、每个视角中占整个视角图像中的比例。
在本实施例中提出的步骤400具体的步骤其目的在于更好的构建人物特征提高深度学习模型的精度。
其中，所述步骤600具体的监控单元获取视角范围内影像，根据获取的影响提取特征，将特征映射至深度学习模型中进行比对获得比对结构，进而实现人物的定位追踪。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.一种人脸识别大数据训练新系统，其特征在于：所述系统包括：门禁单元、图像获取单元、图像拆分单元、大数据处理单元、深度学习单元，监控单元；
所述门禁单元用于识别人的基本信息；
所述图像获取单元用于获取人物动态影像；
所述图像拆分单元用于将人物动态影像进行分帧、筛除、抽帧；
所述大数据处理单元用于图像拆分单元抽帧图像的处理；
所述深度学习单元用于利用大数据处理单元构建深度学习模型；
所述监控单元用于一定空间范围内基于构建的大数据深度学习模型识别人物。
2.如权利要求1所述的一种人脸识别大数据训练新系统，其特征在于：所述门禁单元具体的利用门禁卡身份识别信息进行定标确定人物信息，利用确定的人物信息辅助后续的深度学习模型的构建。
3.如权利要求1所述的一种人脸识别大数据训练新系统，其特征在于：所述图像获取单元具体的利用人脸识别装置的摄像单元获取人物在通过某一特定空间时一段时间内的动态影像；基于获取的动态影像利用图像拆分单元对动态影像进行拆分，并筛选其中可以识别特征元素的关键帧，并将关键帧图像抽出。
4.如权利要求3所述的一种人脸识别大数据训练新系统，其特征在于：所述大数据处理单元具体用于接收图像拆分单元获得关键帧进行存储并构建人脸特征数据库；通过大数据构建的人脸特征数据库，深度学习单元将已有的人脸特征训练数据库进行划分构建人物分类网络。
5.如权利要求1所述的一种人脸识别大数据训练新系统，其特征在于：所述一种人脸识别大数据训练新系统的训练方法包括如下步骤：
步骤100：人物通过门禁单元，确定待识别人脸的身份；
步骤200：通过门禁单元时同步开启图像获取单元获取人物通过门禁单元时动态影像；
步骤300：动态影像获取后将人物动态影像进行分帧、筛除、抽帧；
步骤400：大数据处理单元将图像拆分单元抽帧图像进行处理
步骤500：将大数据处理单元处理后的图像存储构建人脸特征数据库后导入深度学习模型进行训练；
步骤600：将训练结果反馈至监控单元进行人物追踪。
6.如权利要求5所述的一种人脸识别大数据训练新系统，其特征在于：所述步骤400具体的包括如下步骤：
步骤410：依据正面、背面、左侧、右侧、低头、抬头六个视角将抽帧后的图像进行分类；
步骤420：基于步骤410构建的分类分别提取眼部特征、鼻子特征、嘴部特征及外部特征
步骤430：将上述步骤构建的特征导入深度学习模型。
7.如权利要求6所述的一种人脸识别大数据训练新系统，其特征在于：所述外部特征包括眼镜、头发颜色、上衣颜色、每个视角中占整个视角图像中的比例。
8.如权利要求5所述的一种人脸识别大数据训练新系统，其特征在于：所述步骤600具体的监控单元获取视角范围内影像，根据获取的影响提取特征，将特征映射至深度学习模型中进行比对获得比对结构，进而实现人物的定位追踪。
CN202110910546.0A 2021-08-09 2021-08-09 一种人脸识别大数据训练新系统 Pending CN113627524A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110910546.0A CN113627524A (zh) 2021-08-09 2021-08-09 一种人脸识别大数据训练新系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110910546.0A CN113627524A (zh) 2021-08-09 2021-08-09 一种人脸识别大数据训练新系统

Publications (1)

Publication Number Publication Date
CN113627524A true CN113627524A (zh) 2021-11-09

Family

ID=78383849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110910546.0A Pending CN113627524A (zh) 2021-08-09 2021-08-09 一种人脸识别大数据训练新系统

Country Status (1)

Country Link
CN (1) CN113627524A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410304A (zh) * 2022-08-26 2022-11-29 山东大佳机械有限公司 基于自学习的鸡舍养殖安全防控方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258191A (zh) * 2013-05-15 2013-08-21 苏州福丰科技有限公司 基于人脸识别的小区门禁系统
CN111160307A (zh) * 2019-12-31 2020-05-15 帷幄匠心科技（杭州）有限公司 一种人脸识别方法及人脸识别打卡系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258191A (zh) * 2013-05-15 2013-08-21 苏州福丰科技有限公司 基于人脸识别的小区门禁系统
CN111160307A (zh) * 2019-12-31 2020-05-15 帷幄匠心科技（杭州）有限公司 一种人脸识别方法及人脸识别打卡系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410304A (zh) * 2022-08-26 2022-11-29 山东大佳机械有限公司 基于自学习的鸡舍养殖安全防控方法及系统

Similar Documents

Publication Publication Date Title
CN109657609B (zh) 人脸识别方法及系统
CN108921100B (zh) 一种基于可见光图像与红外图像融合的人脸识别方法及系统
CN104866829B (zh) 一种基于特征学习的跨年龄人脸验证方法
Moghaddam et al. Face recognition using view-based and modular eigenspaces
CN110532970B (zh) 人脸2d图像的年龄性别属性分析方法、系统、设备和介质
CN109598242B (zh) 一种活体检测方法
CN111241975B (zh) 一种基于移动端边缘计算的人脸识别检测方法及系统
CN107967458A (zh) 一种人脸识别方法
CN109508700A (zh) 一种人脸识别方法、系统及存储介质
CN109934195A (zh) 一种基于信息融合的反欺骗三维人脸识别方法
CN109377429A (zh) 一种人脸识别素质教育智慧评价系统
MX2013002904A (es) Aparato de proceso de imagenes de personas y metodo para procesar imagenes de personas.
CN102902986A (zh) 自动性别识别系统及方法
CN104123543A (zh) 一种基于人脸识别的眼球运动识别方法
CN110503000B (zh) 一种基于人脸识别技术的教学抬头率测量方法
CN106250825A (zh) 一种在医保应用中场景自适应的人脸识别系统
CN113947814A (zh) 一种基于时空信息增强和多尺度显著性特征提取的跨视角步态识别方法
CN113205002B (zh) 非受限视频监控的低清人脸识别方法、装置、设备及介质
CN110110603A (zh) 一种基于面部生理信息的多模态唇读方法
CN106570471A (zh) 基于压缩跟踪算法的尺度自适应多姿态人脸跟踪方法
CN116645717A (zh) 一种基于PCANet+和LSTM的微表情识别方法及系统
CN113627524A (zh) 一种人脸识别大数据训练新系统
CN112990381B (zh) 畸变图像目标识别方法及装置
Rajawat et al. Low resolution face recognition techniques: A survey
RU2005100267A (ru) Способ и система автоматической проверки присутствия живого лица человека в биометрических системах безопасности

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211109