CN113538720A - 基于海思智能ai芯片的嵌入式人脸识别考勤方法 - Google Patents
基于海思智能ai芯片的嵌入式人脸识别考勤方法 Download PDFInfo
- Publication number
- CN113538720A CN113538720A CN202010302148.6A CN202010302148A CN113538720A CN 113538720 A CN113538720 A CN 113538720A CN 202010302148 A CN202010302148 A CN 202010302148A CN 113538720 A CN113538720 A CN 113538720A
- Authority
- CN
- China
- Prior art keywords
- face
- face recognition
- intelligent
- chip
- attendance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 210000000887 face Anatomy 0.000 claims description 16
- 230000009191 jumping Effects 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims description 2
- 238000007621 cluster analysis Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 210000001747 pupil Anatomy 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 13
- 238000011161 development Methods 0.000 abstract description 7
- 238000013461 design Methods 0.000 abstract description 3
- 238000007619 statistical method Methods 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000007605 air drying Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Collating Specific Patterns (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
Abstract
本发明公开了一种基于海思智能AI芯片的嵌入式人脸识别考勤方法，该方法基于海思Hi3516DV300开发板和人脸识别技术，预先使用人脸注册模块通过员工照片采集人脸信息并将人脸特征、员工姓名、员工身份证号存入数据库中，利用摄像头抓拍员工人脸，对抓拍的人脸进行人脸检测、人脸图像预处理以及人脸识别操作，将最终的识别结果存入数据库中，可实时通过前端Html页面查看员工的考勤信息。本发明将人脸识别技术与公司考勤业务相结合，并以海思智能AI芯片为基础，在小型嵌入式设备上实现准确率高，实时性、便捷性都较好的考勤方法设计，能够以低成本、高效率的方式得到准确的统计分析结果。
Description
技术领域
本发明涉及机器视觉和图像处理技术，具体涉及一种基于海思智能AI芯片的嵌入式人脸识别考勤方法。
背景技术
信息技术的不断发展便利了人们的生活和工作，也改变了公司考勤的方法。从最初的点名考勤、签字考勤，然后到后来的电子考勤，如指纹签到考勤等，考勤的形式逐渐变得多样化，不同的考勤形式适合不同的应用场景。点名考勤是最原始的公司考勤方式，在人员比较稳定的场所中，这种考勤签到形式弊端较为明显，浪费资源并且实体存储的方式不便于长久保留，容易出现丢失现象。电子考勤是目前较为流行的并且较为便利的形式，包括指纹、ID卡考勤等。指纹考勤需预先存入员工的指纹信息库，才能进行考勤，当人员变动，还要频繁更新指纹信息库，操作非常麻烦，并且由于指纹考勤对环境和考勤人员皮肤的要求都很高，当空气干燥、皮肤脏、蜕皮等情况就无法识别，而且读头容易磨损。这些原因使得指纹考勤机寿命短，维护成本高。ID卡签到也是目前应用较为多的签到方式，尤其对于学校与用人单位，但是这种方式虽然有着快捷的优点但是会出现严重的代签问题，从而影响最后的统计结果。
随着AI技术的不断发展，人脸识别技术作为其重要核心技术之一同样有着很大的突破，目前人脸识别在安全监控、身份识别、客流分析、图像重构、人机交互等场景具有广泛应用，引起越来越多的关注。人脸识别技术是一种非强制性、非接触性、高准确率、易于采集、高并发、无侵犯的生物识别技术，人脸识别通过各种摄像头无需与具体的设备接触便可获得人脸图像，同一时刻可以获取多张人脸，对人脸进行识别，并且无需用户主动参与。
由于传统的考勤方式虽然能够保证考勤无差错、无代签，但是需要很大的人力资源去统计分析结果，而采用电子考勤的方式很容易出现代签的情况，影响统计结果，针对以上种种问题，可将人脸识别技术与公司考勤业务相结合，代替传统的公司考勤方法，预防他人代签；但目前已有的人脸识别考勤方法为满足实际使用的准确率以及实时性要求过度依赖国外GPU显卡解决方案。
发明内容
本发明的目的在于提供一种基于海思智能AI芯片的嵌入式人脸识别考勤方法。
实现本发明目的的技术解决方案为：一种基于海思智能AI芯片的嵌入式人脸识别考勤方法，该方法基于海思智能AI芯片Hi3516实现，包括人脸注册模块、人脸识别模块、web前端管理模块；人脸注册模块用于将员工人脸特征、员工姓名、员工身份证号存储到人脸库中；人脸识别模块用于对摄像头采集到的图像进行人脸检测、人脸图像预处理、人脸识别以及数据存储操作；web前端管理模块可对员工考勤情况实时查看，所述考勤方法主要包含以下步骤：
步骤1，通过摄像头采集YUV420格式的图像数据；
步骤2，对步骤1得到的图像采用人脸检测算法检测出图片中的所有人脸；
步骤3，将步骤2检测结果中最大的人脸进行活体检测，判断该人脸是否为伪造人脸；若为真实人脸，则对当前人脸照片进行人脸对齐操作，否则跳至步骤1；
步骤4，将对齐后的人脸用人脸识别算法提取人脸特征，并与数据库中已注册人脸逐一比对计算相似度，通过计算人脸特征间的余弦距离得到相似度，取最高相似度max_similarity；设定人脸相似度阈值threshold，若
max_similarity≥threshold，则识别通过，并在界面显示该人脸信息，同时将人脸信息以及当前时间存入数据库中，否则跳至步骤1；
步骤5，将数据库中的记录信息可视化输出。
与现有技术相比，本发明的显著优点为：与当前流行的电子考勤方式相比，本发明将人脸识别技术应用到公司考勤场景中，以轻量级人脸检测网络以及高准确度的人脸识别网络为基础，将人脸识别考勤解决方案从国外GPU显卡服务端转换至国产平台海思嵌入式ARM端，在小型嵌入式设备上实现准确率高，实时性、便捷性都较好的考勤方法设计，同时以低成本、高效率的方式获得准确的统计分析结果。
附图说明
图1为本发明基于海思智能AI芯片的嵌入式人脸识别考勤方法流程图。
图2为本发明考勤方法中人脸检测网络结构图。
图3为本发明考勤方法中人脸识别网络结构图。
具体实施方式
本发明针对现有公司考勤方法中存在的不足，提出了一种基于海思智能AI芯片的嵌入式人脸识别考勤方法，该方法基于海思Hi3516DV300开发板、和人脸识别技术，预先使用人脸注册软件通过员工照片采集人脸信息并将人脸特征、员工姓名、员工身份证号存入数据库中，利用摄像头抓拍员工人脸，对抓拍的人脸进行人脸检测、人脸图像预处理以及人脸识别操作，将最终的识别结果存入数据库中，可实时通过前端Html页面查看员工的考勤信息，并进行统计和分析。
如图1所示，本发明的考勤方法基于海思智能AI芯片Hi3516实现，包括人脸注册模块、人脸识别模块、web前端管理模块；人脸注册模块用于将员工人脸特征、员工姓名、员工身份证号存储到人脸库中；人脸识别模块用于对摄像头采集到的图像进行人脸检测、人脸图像预处理、人脸识别以及数据存储操作；web前端管理模块可对员工考勤情况实时查看，所述考勤方法主要包含以下步骤：
步骤1，通过摄像头采集YUV420格式的图像数据；
步骤2，对步骤1得到的图像采用人脸检测算法检测出图片中的所有人脸；
步骤3，将步骤2检测结果中最大的人脸进行活体检测，判断该人脸是否为伪造人脸；若为真实人脸，则对当前人脸照片进行人脸对齐操作，否则跳至步骤1；
步骤4，将对齐后的人脸用人脸识别算法提取人脸特征，并与数据库中已注册人脸逐一比对计算相似度，通过计算人脸特征间的余弦距离得到相似度，此处取最高相似度max_similarity；设定人脸相似度阈值threshold，若max_similarity>＝threshold，则识别通过，并在界面显示该人脸信息，同时将人脸信息以及当前时间存入数据库中，否则跳至步骤1；
步骤5，设计web界面，并将数据库中的记录信息在html页面可视化。
进一步的，步骤2中人脸检测算法基于改进的Yolov3轻量级网络实现，如图2所示，该算法利用MobileNet网络结构和Inception结构取代Yolov3的基础特征提取网络，同时对Yolov3中的尺度识别模块进行改进，针对实际使用时人脸目标较大的情况，为加快计算速度对Yolov3中的尺度识别模块进行改进，将原有的3个尺度检测结构缩减至2个尺度检测结构，检测尺度大小分别为13×13，26×26，最后将两种尺度特征图分别输入到Detection层，通过非极大值抑制等操作输出检测框的坐标与置信度。此外采用K-means算法对数据集中目标人脸框进行聚类分析，通过聚类选出合适的锚点框宽高维度作为改进网络的初始候选框，使得每一种尺寸的特征图配备3种尺寸的锚点框。
进一步的，步骤3中活体检测算法采用近红外人脸活体检测算法。
进一步的，步骤3中人脸对齐操作先是通过MTCNN算法的O-Net网络模型定位人脸眼睛、鼻子、嘴巴的位置坐标，再通过仿射变换将人脸对齐至分辨率为112×96的图像数据。
进一步的，步骤4中人脸识别算法基于SphereFace网络结构改进训练实现，如图3所示，该网络以64层残差网络结构为主干网络，其中该主干网络由29个ResNet单元模块组合而成，模型输入大小为112×96×3，经过交替残差网络提取特征后接入全连接层输出1×512维向量，并采用PReLU激活函数，同时结合CosFace损失函数，在格林深瞳人脸识别数据集上进行优化训练，在不增加模型复杂度的情况下，有效提高了模型准确率。
进一步的，步骤2的人脸检测算法和步骤4的人脸识别算法均是将在Caffe深度框架下的模型通过量化工具转为海思Hi3516支持的NNIE框架下的深度模型。
下面结合实施例对本发明技术方案进行详细说明。
实施例
本实施例采用基于海思智能AI芯片的嵌入式人脸识别考勤方法，该方法基于海思Hi3516DV300开发板和人脸识别技术，预先使用人脸注册模块通过员工照片采集人脸信息并将人脸特征、员工姓名、员工身份证号存入数据库中，利用摄像头抓拍员工人脸，对抓拍的人脸进行人脸检测、人脸图像预处理以及人脸识别操作，将最终的识别结果存入数据库中，可实时通过前端Html页面查看员工的考勤信息，并进行统计和分析；具体流程如下：
步骤1：通过摄像头采集YUV420格式的图像数据；
步骤2：对步骤1得到的图像采用人脸检测算法检测出图片中的所有人脸；
步骤3：将步骤2检测结果中最大的人脸进行活体检测，判断该人脸是否为伪造人脸；若为真实人脸，则对当前人脸照片进行人脸对齐操作，否则跳至步骤1；
步骤4：将对齐后的人脸用人脸识别算法提取人脸特征，并与数据库中已注册人脸逐一比对计算相似度，通过计算人脸特征间的余弦距离得到相似度，此处取最高相似度max_similarity；设定人脸相似度阈值threshold，若max_similarity>＝threshold，则识别通过，并在界面显示该人脸信息，同时将人脸信息以及当前时间存入数据库中，否则跳至步骤1；
步骤5：设计web界面，并将数据库中的记录信息在html页面可视化。
本实施例在海思Hi3516DV300开发板上进行实验，人脸检测与人脸识别模型均是在Caffe深度框架下训练得到，然后通过量化工具将模型量化至开发板支持的深度模型。
表1为本实施例实测结果表，其中人脸库大小为1000。
表1含有1000条数据的人脸库测试表
从表1实际测试效果来看，本发明解决了常规签到方法中的不足，在小型嵌入式设备上实现准确率高，实时性、便捷性都较好的考勤方法设计，能够以低成本、高效率的方式得到准确的统计分析结果。
Claims (6)
1.一种基于海思智能AI芯片的嵌入式人脸识别考勤方法，其特征在于，该方法基于海思智能AI芯片Hi3516实现，包括人脸注册模块、人脸识别模块、web前端管理模块；人脸注册模块用于将员工人脸特征、员工姓名、员工身份证号存储到人脸库中；人脸识别模块用于对摄像头采集到的图像进行人脸检测、人脸图像预处理、人脸识别以及数据存储操作；web前端管理模块用于对员工考勤情况实时查看，所述考勤方法主要包含以下步骤：
步骤1，通过摄像头采集YUV420格式的图像数据；
步骤2，采用人脸检测算法检测出图像中的所有人脸；
步骤3，将步骤2检测结果中最大的人脸进行活体检测，判断该人脸是否为伪造人脸；若为真实人脸，则对当前人脸照片进行人脸对齐操作，否则跳至步骤1；
步骤4，将对齐后的人脸用人脸识别算法提取人脸特征，并与数据库中已注册人脸逐一比对计算相似度，通过计算人脸特征间的余弦距离得到相似度，取最高相似度max_similarity；设定人脸相似度阈值threshold，若
max_similarity≥threshold，则识别通过，并在界面显示该人脸信息，同时将人脸信息以及当前时间存入数据库中，否则跳至步骤1；
步骤5，将数据库中的记录信息可视化输出。
2.根据权利要求1所述的基于海思智能AI芯片的嵌入式人脸识别考勤方法，其特征在于，所述步骤2中人脸检测算法基于改进的Yolov3轻量级网络实现，该算法利用MobileNet网络结构和Inception结构取代Yolov3的基础特征提取网络，将原有的3个尺度检测结构缩减至2个尺度检测结构，检测尺度大小分别为13×13，26×26，并利用K-means算法对数据集中目标人脸框进行聚类分析，通过聚类选出合适的锚点框宽高维度作为改进网络的初始候选框，使得每一种尺寸的特征图配备3种尺寸的锚点框。
3.根据权利要求1所述的基于海思智能AI芯片的嵌入式人脸识别考勤方法，其特征在于，所述步骤3中活体检测算法采用近红外人脸活体检测算法。
4.根据权利要求1所述的基于海思智能AI芯片的嵌入式人脸识别考勤方法，其特征在于，所述步骤3中人脸对齐操作先是通过MTCNN算法的O-Net网络模型定位人脸眼睛、鼻子、嘴巴的位置坐标，再通过仿射变换将人脸对齐至分辨率为112×96的图像数据。
5.根据权利要求1所述的基于海思智能AI芯片的嵌入式人脸识别考勤方法，其特征在于，所述步骤4中人脸识别算法基于SphereFace网络结构改进训练实现，该网络以64层残差网络结构为主干网络，采用PReLU激活函数，同时结合CosFace损失函数，在格林深瞳人脸识别数据集上进行优化训练。
6.根据权利要求1所述的基于海思智能AI芯片的嵌入式人脸识别考勤方法，其特征在于，所述步骤2的人脸检测算法和步骤4的人脸识别算法均是将在Caffe深度框架下的模型通过量化工具转为海思Hi3516支持的NNIE框架下的深度模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010302148.6A CN113538720A (zh) | 2020-04-16 | 2020-04-16 | 基于海思智能ai芯片的嵌入式人脸识别考勤方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010302148.6A CN113538720A (zh) | 2020-04-16 | 2020-04-16 | 基于海思智能ai芯片的嵌入式人脸识别考勤方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113538720A true CN113538720A (zh) | 2021-10-22 |
Family
ID=78088476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010302148.6A Pending CN113538720A (zh) | 2020-04-16 | 2020-04-16 | 基于海思智能ai芯片的嵌入式人脸识别考勤方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113538720A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114093050A (zh) * | 2021-11-29 | 2022-02-25 | 深圳中维世纪科技有限公司 | 一种基于人脸识别算法的智慧考勤系统 |
| CN116543438A (zh) * | 2023-05-05 | 2023-08-04 | 深圳市齐胜达科技有限公司 | 一种动态追踪捕捉人脸的精准识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203193791U (zh) * | 2013-03-26 | 2013-09-11 | 深圳市中控生物识别技术有限公司 | 一种具有人脸识别功能的网络摄像机 |
| CN105426875A (zh) * | 2015-12-18 | 2016-03-23 | 武汉科技大学 | 一种基于深度卷积神经网络的人脸识别方法和考勤系统 |
| CN107507289A (zh) * | 2017-09-30 | 2017-12-22 | 四川长虹电器股份有限公司 | 一种移动端人脸识别考勤方法及系统 |
| CN109754478A (zh) * | 2017-11-06 | 2019-05-14 | 北京航天长峰科技工业集团有限公司 | 一种低用户配合度的人脸智能考勤方法 |
| CN110110650A (zh) * | 2019-05-02 | 2019-08-09 | 西安电子科技大学 | 行人中的人脸识别方法 |
-
2020
- 2020-04-16 CN CN202010302148.6A patent/CN113538720A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203193791U (zh) * | 2013-03-26 | 2013-09-11 | 深圳市中控生物识别技术有限公司 | 一种具有人脸识别功能的网络摄像机 |
| CN105426875A (zh) * | 2015-12-18 | 2016-03-23 | 武汉科技大学 | 一种基于深度卷积神经网络的人脸识别方法和考勤系统 |
| CN107507289A (zh) * | 2017-09-30 | 2017-12-22 | 四川长虹电器股份有限公司 | 一种移动端人脸识别考勤方法及系统 |
| CN109754478A (zh) * | 2017-11-06 | 2019-05-14 | 北京航天长峰科技工业集团有限公司 | 一种低用户配合度的人脸智能考勤方法 |
| CN110110650A (zh) * | 2019-05-02 | 2019-08-09 | 西安电子科技大学 | 行人中的人脸识别方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114093050A (zh) * | 2021-11-29 | 2022-02-25 | 深圳中维世纪科技有限公司 | 一种基于人脸识别算法的智慧考勤系统 |
| CN116543438A (zh) * | 2023-05-05 | 2023-08-04 | 深圳市齐胜达科技有限公司 | 一种动态追踪捕捉人脸的精准识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103116763B (zh) | 一种基于hsv颜色空间统计特征的活体人脸检测方法 | |
| CN108537191A (zh) | 一种基于结构光摄像头的三维人脸识别方法 | |
| CN104166841A (zh) | 一种视频监控网络中指定行人或车辆的快速检测识别方法 | |
| CN114998934B (zh) | 基于多模态智能感知和融合的换衣行人重识别和检索方法 | |
| CN107610177B (zh) | 一种同步定位与地图构建中确定特征点的方法和设备 | |
| CN114758362B (zh) | 基于语义感知注意力和视觉屏蔽的换衣行人重识别方法 | |
| CN112541434B (zh) | 一种基于中心点跟踪模型的人脸识别方法 | |
| CN113538720A (zh) | 基于海思智能ai芯片的嵌入式人脸识别考勤方法 | |
| CN107038400A (zh) | 人脸识别装置及方法和利用其的目标人跟踪装置及方法 | |
| CN111639580A (zh) | 一种结合特征分离模型和视角转换模型的步态识别方法 | |
| CN113903068A (zh) | 基于人脸特征的陌生人监控方法、装置、设备及存储介质 | |
| CN105844204B (zh) | 人体行为识别方法和装置 | |
| CN110222660B (zh) | 一种基于动态与静态特征融合的签名鉴伪方法及系统 | |
| CN115862113A (zh) | 陌生人异常识别方法、装置、设备及存储介质 | |
| CN114821725A (zh) | 一种基于神经网络的矿工人脸识别系统 | |
| CN113486712B (zh) | 一种基于深度学习的多人脸识别方法、系统和介质 | |
| Mishra | Persuasive boundary point based face detection using normalized edge detection in regular expression face morphing | |
| CN107424141A (zh) | 一种基于概率块的面部图像质量评估方法 | |
| CN111414884A (zh) | 一种基于边缘计算的面部表情识别方法 | |
| KR100711223B1 (ko) | 저니키(Ｚｅｒｎｉｋｅ)/선형 판별 분석(ＬＤＡ)을 이용한얼굴 인식 방법 및 그 방법을 기록한 기록매체 | |
| CN117558035B (zh) | 一种基于图像技术的人物身份识别系统及方法 | |
| CN113688868B (zh) | 一种多线程的图像处理方法及装置 | |
| CN112001280B (zh) | 一种实时、可在线优化的人脸识别系统和方法 | |
| Xu | Recognition method of basketball players' shooting action based on graph convolution neural network | |
| CN111461249A (zh) | 一种照片打分分析方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211022 |
|
| RJ01 | Rejection of invention patent application after publication |