CN112989989A - 一种安检方法、装置、设备及存储介质 - Google Patents
一种安检方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112989989A CN112989989A CN202110255447.3A CN202110255447A CN112989989A CN 112989989 A CN112989989 A CN 112989989A CN 202110255447 A CN202110255447 A CN 202110255447A CN 112989989 A CN112989989 A CN 112989989A
- Authority
- CN
- China
- Prior art keywords
- target
- detected
- dimensional code
- code
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000007689 inspection Methods 0.000 title claims abstract description 67
- 230000036541 health Effects 0.000 claims abstract description 80
- 230000036760 body temperature Effects 0.000 claims abstract description 50
- 238000009529 body temperature measurement Methods 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims description 63
- 230000008569 process Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 241000700605 Viruses Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000003612 virological effect Effects 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000014599 transmission of virus Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
Abstract
本申请公开了一种安检方法、装置、设备及介质,包括:实时采集包含待检测目标的目标人脸及对应二维码的待检测图像,并判断目标人脸是否佩戴口罩;如果是,则识别二维码以得到二维码的网址信息;基于网址信息利用爬虫工具获取二维码的目标信息,以判断二维码是否为健康码且在当下时刻是否处于安全状态;如果是,则通过非接触测温方式对待检测目标的体温进行检测,并判断体温是否在预设范围内,如果是,则判定待检测目标通过安检。本申请基于利用爬虫工具获取的二维码的目标信息判断该二维码是否为健康码且在当下时刻是否处于安全状态,避免二维码为无效的历史截屏图像导致的安检漏洞,同时结合人脸识别和体温检测,进一步提高了安检精确度。
Description
技术领域
本发明涉及计算机技术领域,特别涉及一种安检方法、装置、设备及存储介质。
背景技术
随着新型冠状病毒的防控逐渐进入常态化状态,针对关键环节和风险点应该继续抓紧抓实抓细各项防控举措。特别是对于人流量较大的居民区、商超等地方,应该对出入人流进行严格检测,最大程度上降低病毒的传播力度。
目前为了防止病毒传播,许多小区、园区、商场门口都会设有安检点,一般是由保安人员完成安检工作,一方面,这种人工安检方式较为耗时耗力,不仅增大了安保人员的工作量,同时由于人工检查时间长,且在进入人流量较大时,往往会疏于检查,无法保证安检效果或是导致人群堵塞,人群密度的增加无疑利于病毒的传播,此外,安保人员与被测者的近距离接触也增加了病毒传播的可能性。另一方面,在人工安检中无法准确判断健康码的有效性,对于无效的历史截屏二维码无法进行准确识别,导致大量安检漏洞。因此,如何在保证安检精度的基础上实现自动化检测在常态化防疫道路上至关重要。
发明内容
有鉴于此,本发明的目的在于提供一种安检方法、装置、设备及存储介质,能够基于利用爬虫工具获取的二维码的目标信息判断该二维码是否为健康码且在当下时刻是否处于安全状态,避免二维码为无效的历史截屏图像导致的安检漏洞,同时结合人脸识别和体温检测,进一步提高了安检精确度。其具体方案如下:
本申请的第一方面提供了一种安检方法,包括:
实时采集包含待检测目标的目标人脸及对应二维码的待检测图像,并判断所述待检测图像中的所述目标人脸是否佩戴口罩;
如果所述目标人脸佩戴口罩,则识别所述待检测图像中的所述二维码,以得到所述二维码的网址信息;
基于所述网址信息利用爬虫工具获取所述二维码的目标信息,并根据所述目标信息判断所述二维码是否为健康码并且所述健康码在当下时刻是否处于安全状态;
如果处于安全状态,则通过非接触测温方式对所述待检测目标的体温进行检测,并判断所述待检测目标的体温是否在预设范围内,如果是,则判定所述待检测目标通过安检。
可选的,所述实时采集包含待检测目标的目标人脸及对应二维码的待检测图像之后,还包括:
将所述待检测图像在显示界面进行显示,以便所述待检测目标能根据所述显示界面中的实时采集到的所述待检测图像进行相应的位置调整。
可选的,所述判断所述待检测图像中的所述目标人脸是否佩戴口罩,包括:
利用基于SSD算法的目标检测模型对所述待检测图像中的所述目标人脸进行检测,以判断所述目标人脸是否佩戴口罩。
可选的,所述识别所述待检测图像中的所述二维码,以得到所述二维码的网址信息,包括:
利用pyzar库识别所述待检测图像中是否存在二维码,如果存在,则利用矩形框对所述显示界面上的所述二维码进行标注显示,并获取所述二维码的网址信息。
可选的,所述基于所述网址信息利用爬虫工具获取所述二维码的目标信息,包括:
利用requests库对所述网址信息进行访问,以得到与所述网址信息对应的所述二维码的目标信息;其中,所述目标信息为表征所述二维码的安全状态的数字信息;
相应的,所述根据所述目标信息判断所述二维码是否为健康码并且所述健康码在当下时刻是否处于安全状态,包括:
如果所述目标信息为空值,则判定所述二维码不是健康码,如果所述目标信息不为空值,则判定所述二维码是健康码,并根据所述数字信息判断所述健康码在当下时刻是否处于安全状态。
可选的,所述通过非接触测温方式对所述待检测目标的体温进行检测,包括:
利用FC-010测温模块中的红外传感器及测距传感器对所述待检测目标进行体温检测;其中,所述FC-010测温模块中通过串口传输数据。
可选的,所述安检方法,还包括:
通过调用与实时安检流程阶段状态对应的音频文件,对所述实时安检流程阶段状态进行语音播报。
本申请的第二方面提供了一种安检装置,包括:
第一检测模块,用于实时采集包含待检测目标的目标人脸及对应二维码的待检测图像,并判断所述待检测图像中的所述目标人脸是否佩戴口罩;
第二检测模块,用于在所述目标人脸佩戴口罩时,识别所述待检测图像中的所述二维码,以得到所述二维码的网址信息,并基于所述网址信息利用爬虫工具获取所述二维码的目标信息,以及根据所述目标信息判断所述二维码是否为健康码并且所述健康码在当下时刻是否处于安全状态;
第三检测模块,用于在所述健康码处于安全状态时,利用红外传感器对所述待检测目标的体温进行检测,并判断所述待检测目标的体温是否在预设范围内,如果是,则判定所述待检测目标通过安检。
本申请的第三方面提供了一种电子设备,所述电子设备包括处理器和存储器;其中所述存储器用于存储计算机程序,所述计算机程序由所述处理器加载并执行以实现前述安检方法。
本申请的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现前述安检方法。
本申请中,先实时采集包含待检测目标的目标人脸及对应二维码的待检测图像,并判断所述待检测图像中的所述目标人脸是否佩戴口罩,如果所述目标人脸佩戴口罩,则识别所述待检测图像中的所述二维码,以得到所述二维码的网址信息。然后基于所述网址信息利用爬虫工具获取所述二维码的目标信息,并根据所述目标信息判断所述二维码是否为健康码并且所述健康码在当下时刻是否处于安全状态。最后,如果所述健康码在当下时刻处于安全状态,则通过非接触测温方式对所述待检测目标的体温进行检测,并判断所述待检测目标的体温是否在预设范围内,如果是,则判定所述待检测目标通过安检。本申请基于利用爬虫工具获取的二维码的目标信息判断该二维码是否为健康码且在当下时刻是否处于安全状态,避免二维码为无效的历史截屏图像导致的安检漏洞,同时结合人脸识别和体温检测,进一步提高了安检精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种安检方法流程图;
图2为本申请提供的一种具体的安检方法示意图;
图3为本申请提供的一种红外测温装置示意图;
图4为本申请提供的一种具体的安检方法流程图;
图5为本申请提供的一种HSV色域三维结构示意图;
图6为本申请提供的一种HSV色域三维结构坐标示意图;
图7为本申请提供的一种SSD检测模型结构示意图;
图8为本申请提供的一种SSD检测模型过程示意图;
图9为本申请提供的一种健康码示意图;
图10为本申请提供的一种安检装置结构示意图;
图11为本申请提供的一种安检电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有的人工安检方法一方面较为耗时耗力,不仅增大了安保人员的工作量,同时由于人工检查时间长,且在进入人流量较大时,往往会疏于检查,无法保证安检效果或是导致人群堵塞,人群密度的增加无疑利于病毒的传播,此外,安保人员与被测者的近距离接触也增加了病毒传播的可能性。另一方面,在人工安检中无法准确判断健康码的有效性,对于无效的历史截屏二维码无法进行准确识别,导致大量安检漏洞。针对上述技术缺陷,本申请提供一种安检方案,能够基于利用爬虫工具获取的二维码的目标信息判断该二维码是否为健康码且在当下时刻是否处于安全状态,避免二维码为无效的历史截屏图像导致的安检漏洞,同时结合人脸识别和体温检测,进一步提高了安检精确度。
图1为本申请实施例提供的一种安检方法流程图。参见图1所示,该安检方法包括:
S11:实时采集包含待检测目标的目标人脸及对应二维码的待检测图像,并判断所述待检测图像中的所述目标人脸是否佩戴口罩。
本实施例中,首先实时采集包含待检测目标的目标人脸及对应二维码的待检测图像,然后判断所述待检测图像中的所述目标人脸是否佩戴口罩。在实际的安检系统中,可以利用高清USB摄像头对安检情况进行是实时拍摄以得到实时视频帧,摄像头可以使用4K高清自动对焦摄像头模组,例如采用适用于人脸采集领域的索尼IMX415高清传感器,像素值为800万,能自动对焦且100度无畸变,灵敏度较高。对采集到的所述实时视频帧中的所述目标人脸进行检测,通过人脸、口罩及其位置关系来判断是否佩戴口罩,如果仅识别口罩,可能存在有人只是将口罩拿在手里并没有佩戴在脸上的情况从而导致检测结果不准确。对于上述步骤,传统方法先识别出人脸,再判断口罩佩戴情况,深度学习方法综合考虑识别精度、检测速度通过利用人脸口罩样本集对模型进行训练,通过训练后的深度学习模型直接判断口罩佩戴情况。例如利用HSV颜色识别模型或者基于卷积神经网络的目标检测模型判断所述待检测图像中的所述目标人脸是否佩戴口罩,本实施例对具体的检测方法不进行限定。
S12:如果所述目标人脸佩戴口罩,则识别所述待检测图像中的所述二维码,以得到所述二维码的网址信息。
S13:基于所述网址信息利用爬虫工具获取所述二维码的目标信息,并根据所述目标信息判断所述二维码是否为健康码并且所述健康码在当下时刻是否处于安全状态。
本实施例中,如果所述目标人脸佩戴口罩,则首先识别所述待检测图像中的所述二维码,以得到所述二维码的网址信息。然后基于所述网址信息利用爬虫工具获取所述二维码的目标信息,最后根据所述目标信息判断所述二维码是否为健康码并且所述健康码在当下时刻是否处于安全状态,以实现健康码检测功能。二维码是用某种特定的几何图形按一定规律在平面(二维方向上)分布的、黑白相间的、记录数据符号信息的图形,在代码编制上巧妙地利用构成计算机内部逻辑基础的“0”、“1”比特流的概念,使用若干个与二进制相对应的几何形体来表示文字数值信息,通过图象输入设备或光电扫描设备自动识读以实现信息自动处理,它具有条码技术的一些共性,每种码制有其特定的字符集,每个字符占有一定的宽度,具有一定的校验功能。二维码图片能够存储一定量的信息,二维码图像尺寸越大,其所能存储的信息也就越多,健康码是一种二维码,健康码中存在着表征该健康码是否处于安全状态的信息,但并不是所有的二维码都属于健康码的范畴,因此首要步骤就是找到并识别所述视频帧中的二维码以得到所述二维码的可访问网址,并通过爬虫工具检索该网址,判断所得到的网页信息中是否存在所需的关键检测数据,根据该关键检测数据判断所述二维码是否为健康码且安全有效。相对于现有技术中根据健康码中绿色分布情况(健康码绿色表示健康)来判断所述健康码是否处于安全状态,避免了对于历史截屏图像的健康码无法进行准确识别的情况。
S14:如果处于安全状态,则通过非接触测温方式对所述待检测目标的体温进行检测,并判断所述待检测目标的体温是否在预设范围内,如果是,则判定所述待检测目标通过安检。
本实施例中,当检测到所述二维码为健康码且处于安全状态时,则通过非接触测温方式对所述待检测目标的体温进行检测,并判断所述待检测目标的体温是否在预设范围内,如果是,则判定所述待检测目标通过安检。通过红外测温功能主要实现了非接触测温,同时为防止系统误报警,需要判断检测温度是否是人体温度,而不是环境温度。在自然界中,任何高于绝对零度(-273℃)的物体就存在分子和原子无规则的运动,物体都在不断地向外释放红外辐射能量。辐射能量的大小及其波长与物体表面的温度有着密切的关系,例如人体的正常温度在36~37℃之间,放射的红外波长为9~13чm。红外测温器就是通过滤镜只接收人体放射的红外线,并通过内部传感器将红外波长转为对应信号量,并经过算法处理后,得到对应温度,如图2所示。另外对于检测距离也有一定限制,一般非接触测温模块都会有一个测距传感器,用来对测温结果进行一定的距离修正,使其测温值更准确,为了保证检测精度一般控制在0.1m到1m。需要说明的是,人脸识别、二维码检测和体温检测这三个模块不存在先后顺序,为了保证检测速度可以同时进行,具体的执行过程如图3所示。
更进一步的,安检结果在显示界面上进行显示和/或通过语音播报进行反馈。在一种实施例中,将所述待检测图像在显示界面进行显示,以便所述待检测目标能根据所述显示界面中的实时采集到的所述待检测图像进行相应的位置调整。例如,在安检过程中可以将将摄像头读取到的实时视频帧显示在显示器上,让被测者能够直观的看到自己的位置状态,以便修改自己的位置,(离检测器更近或更远),使检测器能正确识别。特别的,健康码如果距离检测器太远将识别不到,如果被测者拿的健康码位置过远,其可通过显示器图像,调近位置以便检测。另外,当检测到某种状态被触发了,在显示器也会有对应的图像提醒出现,如在被测试者通过全部检测时,在显示界面上将显示一个绿色的对勾符号。在另一种实施例中,通过调用与实时安检流程阶段状态对应的音频文件,对所述实时安检流程阶段状态进行语音播报。语音合成与播报部分是对于三个检测模块结果进行输出的一种方法,能够直观地告知被测者与安保人员被测者的体温是否正常、是否佩戴好口罩、是否出示了健康码以及健康码是否健康、是否全部检测通过等信息。例如,如果检测到有人没有佩戴口罩,将语音播报“请佩戴好口罩”,同时在显示器上会有相应的提示。实现语音播报的前提是需要获取到相关的语音数据,例如被测者没有戴口罩则播放“请佩戴口罩”这个语音。诸如此类还有其他语音提示音频,需要获取并保存在本地,当触发播报时,将播放相关音频。音频获取可以自己录音或是通过百度语音合成器合成。本实施通过百度语音合成API的方式合成播报语音,具体的,通过调用百度语音合成器提供的API接口程序,上传一个句子字符串以获得相应的音频文件,并将其保存在本地。百度语音合成API是基于业界领先的深度神经网络技术,提供高度拟人的语音合成服务,能对音频进行相应的设定,例如语音语速、音量、男女声等,让系统能够进行更为直观的语音播报。有了音频数据后,当系统检测到某种状态被触发了,将通过程序去读取对应状态的音频文件,并通过扬声器进行播放,提醒被测试者,结合显示界面上的图像信息或显示的文字信息,使被测者及安保人员能直观快速地了解被测者的安检情况。
综上,基于上述安检方法的安检系统启动后会循环检测摄像头数据,并将摄像头图像显示在显示器上,提醒检测者位置信息以及出示健康码。通过程序读取一帧摄像头图像,将读取到的图像送入口罩检测器,口罩检测器需要对图像进行一系列的处理,之后分析判断是否佩戴好口罩,如果没有佩戴好将启动相应的语音播报以及图像显示(图像上会给出红色警示)。如果佩戴好则进一步检测健康码,程序会先从图像中找出是否存在二维码,如果存在则识别出二维码中的信息(一个可访问的网址链接),之后通过访问这个网址链接可以获取到健康码的情况,并播报相应的语音以及图像显示。继而对读取到红外测温数据进行判断,判断温度是否在安全范围内,若否将启动相应的语音播报以及图像显示。如果以上三个检测都通过了,将播放“请通过”语音并在显示绿色成功通过图像。停滞几秒钟,确保用户已通过后,将开启新一轮的检测。
可见,本申请实施例先实时采集包含待检测目标的目标人脸及对应二维码的待检测图像,并判断所述待检测图像中的所述目标人脸是否佩戴口罩,如果所述目标人脸佩戴口罩,则识别所述待检测图像中的所述二维码,以得到所述二维码的网址信息。然后基于所述网址信息利用爬虫工具获取所述二维码的目标信息,并根据所述目标信息判断所述二维码是否为健康码并且所述健康码在当下时刻是否处于安全状态。最后,如果所述健康码在当下时刻处于安全状态,则通过非接触测温方式对所述待检测目标的体温进行检测,并判断所述待检测目标的体温是否在预设范围内,如果是,则判定所述待检测目标通过安检。本申请实施例基于利用爬虫工具获取的二维码的目标信息判断该二维码是否为健康码且在当下时刻是否处于安全状态,避免二维码为无效的历史截屏图像导致的安检漏洞,同时结合人脸识别和体温检测,进一步提高了安检精确度。
图4为本申请实施例提供的一种具体的安检方法流程图。参见图4所示,该安检方法包括:
S21:实时采集包含待检测目标的目标人脸及对应二维码的待检测图像,并利用基于SSD算法的目标检测模型对所述待检测图像中的所述目标人脸进行检测,以判断所述目标人脸是否佩戴口罩。
本实施例中,在获取到摄像头读取到的视频帧后,也即所述待检测图像,对图像进行一定的预处理,通过检测算法检测出是否有佩戴口罩。
在一种实施例中,通过HSV色域面积算法对所述待检测图像中的所述目标人脸进行检测,以判断所述目标人脸是否佩戴口罩。SV色域是针对用户观感的一种颜色模型,侧重于表示色彩的颜色、深浅、明暗,如图5和图6所示。相比RBG色域的三元色调色,HSV色域能够使用户更加准确的选择出想要的颜色。通过对于色调(Hue)、饱和度(Saturation)、亮度(Value)三个变量的调节,可以获得任一一种颜色或是使得图片中想要的颜色部分能够突出显示。HSV色域面积方案就是先通过调整色调、饱和度、亮度三者的组合值将皮肤肤色(人脸颜色)过滤出来,其滤出颜色在图像上显示为白色区块,其他颜色为黑色区块。此时根据人脸肤色色域的大小(即白色区块大小),估测出被测者是否佩戴口罩。因为人脸肤色与口罩颜色不同,会被HSV过滤为黑色区块,此时佩戴口罩的人脸肤色色域面积(即白色区块面积)要小于未佩戴口罩的人脸肤色色域面积。HSV色域面积方案简单易实现。然而,在实际操作的过程中,人脸上的眼镜、毛等区域很难过滤掉,甚至一些颜色接近于人脸肤色的地方也无法滤去,且人脸之间肤色差异大或检测地点的光线发生变化,容易导致偏差过大、检测精度过低,出现误报或不报。
在另一种实施例中,采用SSD多目标检测网络对所述待检测图像中的所述目标人脸进行检测,以判断所述目标人脸是否佩戴口罩。SSD网络可以快速检测并分类图像中的多个目标。其基本结构如图7所示。通过不断进行卷积计算,可以提取出更深层次的图像特征,例如,靠网络前面的卷积核,可以识别出圆形、方形等特征的边缘,而更深层的卷积核能学习并识别到诸如人脸等复杂特征。SSD会将不同尺度的卷积结果保存并在最后进行拼接与判断,通过非极大值抑制法(Non Maximum Suppression,NMS)来抑制掉一部分重叠或者不正确的预测框,生成最终的目标预测框以及其识别类型的判断。SSD网络预测过程的基本步骤如图8所示,首先输入一幅图片(300x300),将其输入到预训练好的分类网络(改进的传统的VGG16网络)中来获得不同大小的特征映射;然后抽取Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2层的feature map,随后在这些feature map层上面的每一个点构造6个不同尺度大小的Default boxes,通过对这些点的检测和分类,生成多个初步符合条件的Default boxes;接着将不同feature map获得的Default boxes结合起来,经过NMS方法来抑制掉一部分重叠或者不正确的Default boxes,生成最终的Default boxes集合即检测结果。
对应于本方案,首先利用人脸口罩样本集对基于SSD网络构建的模型进行训练,以得到训练后的所述目标检测模型。然后改变所述待检测图像的图片纬度顺序并作归一化和缩放处理,缩放尺寸到所述目标检测模型的输入图像尺寸,本实施例中设置为300*300。最后通过调用训练好的所述目标检测模型,计算出所述待检测图像中佩戴口罩的人脸的信息,包括:是否戴口罩,用0或1分别表示未戴或已戴;确信度,即对检测结果准确度的判断,范围为0到1,数值越大就代表预测确信度越高;人脸框,即如果检测到人脸(不管是否佩戴口罩),都会输出这个人脸在图像中的坐标以及长宽。当然,也可以直接使用pytorch深度学习库中训练好的SSD检测模型信息以及模型权重,检测摄像头读取到的图像,输出检测结果是否佩戴口罩、人脸框、执行度。
S22:如果所述目标人脸佩戴口罩,则利用pyzar库识别所述待检测图像中是否存在二维码,如果存在,则利用矩形框对所述显示界面上的所述二维码进行标注显示,并获取所述二维码的网址信息。
S23:利用requests库对所述网址信息进行访问,以得到与所述网址信息对应的所述二维码的目标信息;其中,所述目标信息为表征所述二维码的安全状态的数字信息。
S24:如果所述目标信息为空值,则判定所述二维码不是健康码,如果所述目标信息不为空值,则判定所述二维码是健康码,并根据所述数字信息判断所述健康码在当下时刻是否处于安全状态。
本实施例中,由于是基于python语言进行实现的,因此在健康码检测模块中,主要利用pyzar库和requests库对二维码进行检测。pyzar库是用于识别二维码,requests库用于访问网址信息。检测启动后会先通过调用pyzbar.decode方法识别所述待检测图像中是否存在二维码,如果存在,则会在显示器上显示出一个矩形框,提示识别到二维码,并且会获取到一个网址,之后通过调用requests.get(url)方法访问这个网址以得到与所述网址信息对应的所述二维码的目标信息。对于健康码来说,在获取到健康码的地址信息后,通过python“requests”库对地址链接进行get访问后得到的信息中包含的目标信息即为“code”字段中的信息,当所述目标信息为空值(不存在code字段或者code字段为空),则判定所述二维码不是健康码,当“code”字段为“0”代表处于健康状态(显示绿色),为“1”代表二维码已失效,其他数字代表非绿色状态。例如,对图9中所示的健康码进行识别后所得到的可访问网址链接为:https://suishenmafront1.sh.gov.cn/smzy/fyz/qrcodeDetail?ewmid=Q7b8obg0nIrGv qxztAT0jsDTWgqKgvpYqHBGX2b3CpCIZUHWasGFhaP4%2Bu558jZQrKtG156ZeL%2Fq29pDwsJoHw%3D%3D&date=1592634504000&from=8&type=1。
S25:如果处于安全状态,则利用FC-010测温模块中的红外传感器及测距传感器对所述待检测目标进行体温检测;其中,所述FC-010测温模块通过串口传输数据。
S26:判断所述待检测目标的体温是否在预设范围内,如果是,则判定所述待检测目标通过安检。
本实施例中,利用FC-010测温模块中的红外传感器及测距传感器对所述待检测目标进行体温检测,所述FC-010测温模块由红外传感器、测距传感器组成,可实现对站立于传感器前的人员进行体温测量,测量结果准确、稳定,测量距离较宽,模块采用先进的算法,结合环温、距离、红外反射率、透射率等多种条件进行体温校正,保证了检测结果的准确性及可靠度。所述FC-010测温模块的测温精度为±0.2℃,测距精度为±0.5cm,测温距离在0~100cm之间,最大采样率为100Hz(即每秒采集100个数据)。另外,所述FC-010测温模块通过串口传输数据,因此需要引入python“serial”库。定义接入串口的位置,判断是否打开串口,防止报错。读取数据,并将字符串形式的数据转为十进制数。其中包括了测温温度以及前方障碍物距离。通过实时获取的距离信息,我们可以让检测系统在判断前方50cm内出现障碍物时开启体温检测。通过温度信息,可以判断被测者体温是否在安全范围内,如果在安全范围内,则判定通过安检。
可见,本申请实施例利用基于SSD算法的目标检测模型检测被测试者是否佩戴口,同时利用pyzar库和requests库对二维码进行识别并获得对应的数字信息,并根据该数字信息判断所述二维码是否为安全有效的健康码,在此基础上利用FC-010测温模块中的红外传感器和测距传感器对被测试者进行体温检测,当被测试者同时满足口罩检测、健康码检测、体温检测时则通过安检,检测效率和精确度较高。
参见图10所示,本申请实施例还相应公开了一种安检装置,包括:
第一检测模块11,用于实时采集包含待检测目标的目标人脸及对应二维码的待检测图像,并判断所述待检测图像中的所述目标人脸是否佩戴口罩;
第二检测模块12,用于在所述目标人脸佩戴口罩时,识别所述待检测图像中的所述二维码,以得到所述二维码的网址信息,并基于所述网址信息利用爬虫工具获取所述二维码的目标信息,以及根据所述目标信息判断所述二维码是否为健康码并且所述健康码在当下时刻是否处于安全状态;
第三检测模块13,用于在所述健康码处于安全状态时,利用红外传感器对所述待检测目标的体温进行检测,并判断所述待检测目标的体温是否在预设范围内,如果是,则判定所述待检测目标通过安检。
可见,本申请实施例先实时采集包含待检测目标的目标人脸及对应二维码的待检测图像,并判断所述待检测图像中的所述目标人脸是否佩戴口罩,如果所述目标人脸佩戴口罩,则识别所述待检测图像中的所述二维码,以得到所述二维码的网址信息。然后基于所述网址信息利用爬虫工具获取所述二维码的目标信息,并根据所述目标信息判断所述二维码是否为健康码并且所述健康码在当下时刻是否处于安全状态。最后,如果所述健康码在当下时刻处于安全状态,则通过非接触测温方式对所述待检测目标的体温进行检测,并判断所述待检测目标的体温是否在预设范围内,如果是,则判定所述待检测目标通过安检。本申请实施例基于利用爬虫工具获取的二维码的目标信息判断该二维码是否为健康码且在当下时刻是否处于安全状态,避免二维码为无效的历史截屏图像导致的安检漏洞,同时结合人脸识别和体温检测,进一步提高了安检精确度。
在一些具体实施例中,所述第一检测模块11,具体用于利用基于SSD算法的目标检测模型对所述待检测图像中的所述目标人脸进行检测,以判断所述目标人脸是否佩戴口罩。
在一些具体实施例中,所述意图预判模块12,具体包括:
识别单元,用于利用pyzar库识别所述待检测图像中是否存在二维码,如果存在,则利用矩形框对所述显示界面上的所述二维码进行标注显示,并获取所述二维码的网址信息;
获取单元,用于利用requests库对所述网址信息进行访问,以得到与所述网址信息对应的所述二维码的目标信息;其中,所述目标信息为表征所述二维码的安全状态的数字信息;
判断单元,用于如果所述目标信息为空值,则判定所述二维码不是健康码,如果所述目标信息不为空值,则判定所述二维码是健康码,并根据所述数字信息判断所述健康码在当下时刻是否处于安全状态。
在一些具体实施例中,所述第三检测模块13,具体用于利用FC-010测温模块中的红外传感器及测距传感器对所述待检测目标进行体温检测;其中,所述FC-010测温模块通过串口传输数据。
在一些具体实施例中,所述安检装置还包括:
显示模块,用于将所述待检测图像在显示界面进行显示,以便所述待检测目标能根据所述显示界面中的实时采集到的所述待检测图像进行相应的位置调整;
播报模块,用于通过调用与实时安检流程阶段状态对应的音频文件,对所述实时安检流程阶段状态进行语音播报。
进一步的,本申请实施例还提供了一种电子设备。图11是根据一示例性实施例示出的电子设备20结构图,图中的内容不能认为是对本申请的使用范围的任何限制。
图11为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20,具体可以包括:至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中,所述存储器22用于存储计算机程序,所述计算机程序由所述处理器21加载并执行,以实现前述任一实施例公开的安检方法中的相关步骤。
本实施例中,电源23用于为电子设备20上的各硬件设备提供工作电压;通信接口24能够为电子设备20创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议,在此不对其进行具体限定;输入输出接口25,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。
另外,存储器22作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,其上所存储的资源可以包括操作系统221、计算机程序222及图像及体温数据223等,存储方式可以是短暂存储或者永久存储。
其中,操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222,以实现处理器21对存储器22中海量图像及体温数据223的运算与处理,其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的安检方法的计算机程序之外,还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223可以包括电子设备20收集到的图像及体温数据。
进一步的,本申请实施例还公开了一种存储介质,所述存储介质中存储有计算机程序,所述计算机程序被处理器加载并执行时,实现前述任一实施例公开的安检方法步骤。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个…”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的安检方法、装置、设备及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种安检方法,其特征在于,包括:
实时采集包含待检测目标的目标人脸及对应二维码的待检测图像,并判断所述待检测图像中的所述目标人脸是否佩戴口罩;
如果所述目标人脸佩戴口罩,则识别所述待检测图像中的所述二维码,以得到所述二维码的网址信息;
基于所述网址信息利用爬虫工具获取所述二维码的目标信息,并根据所述目标信息判断所述二维码是否为健康码并且所述健康码在当下时刻是否处于安全状态;
如果处于安全状态,则通过非接触测温方式对所述待检测目标的体温进行检测,并判断所述待检测目标的体温是否在预设范围内,如果是,则判定所述待检测目标通过安检。
2.根据权利要求1所述的安检方法,其特征在于,所述实时采集包含待检测目标的目标人脸及对应二维码的待检测图像之后,还包括:
将所述待检测图像在显示界面进行显示,以便所述待检测目标能根据所述显示界面中的实时采集到的所述待检测图像进行相应的位置调整。
3.根据权利要求1所述的安检方法,其特征在于,所述判断所述待检测图像中的所述目标人脸是否佩戴口罩,包括:
利用基于SSD算法的目标检测模型对所述待检测图像中的所述目标人脸进行检测,以判断所述目标人脸是否佩戴口罩。
4.根据权利要求2所述的安检方法,其特征在于,所述识别所述待检测图像中的所述二维码,以得到所述二维码的网址信息,包括:
利用pyzar库识别所述待检测图像中是否存在二维码,如果存在,则利用矩形框对所述显示界面上的所述二维码进行标注显示,并获取所述二维码的网址信息。
5.根据权利要求1所述的安检方法,其特征在于,所述基于所述网址信息利用爬虫工具获取所述二维码的目标信息,包括:
利用requests库对所述网址信息进行访问,以得到与所述网址信息对应的所述二维码的目标信息;其中,所述目标信息为表征所述二维码的安全状态的数字信息;
相应的,所述根据所述目标信息判断所述二维码是否为健康码并且所述健康码在当下时刻是否处于安全状态,包括:
如果所述目标信息为空值,则判定所述二维码不是健康码,如果所述目标信息不为空值,则判定所述二维码是健康码,并根据所述数字信息判断所述健康码在当下时刻是否处于安全状态。
6.根据权利要求1所述的安检方法,其特征在于,所述通过非接触测温方式对所述待检测目标的体温进行检测,包括:
利用FC-010测温模块中的红外传感器及测距传感器对所述待检测目标进行体温检测;其中,所述FC-010测温模块通过串口传输数据。
7.根据权利要求1至6任一项所述的安检方法,其特征在于,还包括:
通过调用与实时安检流程阶段状态对应的音频文件,对所述实时安检流程阶段状态进行语音播报。
8.一种安检装置,其特征在于,包括:
第一检测模块,用于实时采集包含待检测目标的目标人脸及对应二维码的待检测图像,并判断所述待检测图像中的所述目标人脸是否佩戴口罩;
第二检测模块,用于在所述目标人脸佩戴口罩时,识别所述待检测图像中的所述二维码,以得到所述二维码的网址信息,并基于所述网址信息利用爬虫工具获取所述二维码的目标信息,以及根据所述目标信息判断所述二维码是否为健康码并且所述健康码在当下时刻是否处于安全状态;
第三检测模块,用于在所述健康码处于安全状态时,利用红外传感器对所述待检测目标的体温进行检测,并判断所述待检测目标的体温是否在预设范围内,如果是,则判定所述待检测目标通过安检。
9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器;其中所述存储器用于存储计算机程序,所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的安检方法。
10.一种计算机可读存储介质,其特征在于,用于存储计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如权利要求1至7任一项所述的安检方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110255447.3A CN112989989A (zh) | 2021-03-09 | 2021-03-09 | 一种安检方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110255447.3A CN112989989A (zh) | 2021-03-09 | 2021-03-09 | 一种安检方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112989989A true CN112989989A (zh) | 2021-06-18 |
Family
ID=76336159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110255447.3A Pending CN112989989A (zh) | 2021-03-09 | 2021-03-09 | 一种安检方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112989989A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114360127A (zh) * | 2021-12-16 | 2022-04-15 | 三峡大学 | 一种用于安检系统的行人健康监测方法 |
CN114710751A (zh) * | 2022-06-08 | 2022-07-05 | 山东天用智能技术有限公司 | 一种场所码查询方法及联动控制系统 |
CN115331453A (zh) * | 2022-08-17 | 2022-11-11 | 康一 | 一种车辆进入无接触式智能控制方法 |
WO2024050760A1 (en) * | 2022-09-08 | 2024-03-14 | Intel Corporation | Image processing with face mask detection |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105335862A (zh) * | 2015-10-16 | 2016-02-17 | 长沙利诚种业有限公司 | 基于移动互联网的种业零售防伪防窜方法及系统 |
CN110689337A (zh) * | 2019-08-20 | 2020-01-14 | 哈尔滨学院 | 一种基于QR Code二维码的智能提示方法及其系统 |
CN111553266A (zh) * | 2020-04-27 | 2020-08-18 | 杭州宇泛智能科技有限公司 | 识别验证方法、装置及电子设备 |
CN111612012A (zh) * | 2020-05-25 | 2020-09-01 | 信雅达系统工程股份有限公司 | 健康码的识别方法及装置 |
CN111751004A (zh) * | 2020-06-12 | 2020-10-09 | 上海仪电(集团)有限公司中央研究院 | 一种健康状态自动识别装置及识别方法 |
CN112233300A (zh) * | 2020-09-26 | 2021-01-15 | 杭州雅观科技有限公司 | 一种基于人工智能的社区通行防疫监控联防系统及其方法 |
CN112232186A (zh) * | 2020-10-14 | 2021-01-15 | 盈合(深圳)机器人与自动化科技有限公司 | 防疫监测方法与系统 |
CN112365618A (zh) * | 2020-10-19 | 2021-02-12 | 北京全路通信信号研究设计院集团有限公司 | 一种基于人脸识别和二维码测温考勤系统及方法 |
-
2021
- 2021-03-09 CN CN202110255447.3A patent/CN112989989A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105335862A (zh) * | 2015-10-16 | 2016-02-17 | 长沙利诚种业有限公司 | 基于移动互联网的种业零售防伪防窜方法及系统 |
CN110689337A (zh) * | 2019-08-20 | 2020-01-14 | 哈尔滨学院 | 一种基于QR Code二维码的智能提示方法及其系统 |
CN111553266A (zh) * | 2020-04-27 | 2020-08-18 | 杭州宇泛智能科技有限公司 | 识别验证方法、装置及电子设备 |
CN111612012A (zh) * | 2020-05-25 | 2020-09-01 | 信雅达系统工程股份有限公司 | 健康码的识别方法及装置 |
CN111751004A (zh) * | 2020-06-12 | 2020-10-09 | 上海仪电(集团)有限公司中央研究院 | 一种健康状态自动识别装置及识别方法 |
CN112233300A (zh) * | 2020-09-26 | 2021-01-15 | 杭州雅观科技有限公司 | 一种基于人工智能的社区通行防疫监控联防系统及其方法 |
CN112232186A (zh) * | 2020-10-14 | 2021-01-15 | 盈合(深圳)机器人与自动化科技有限公司 | 防疫监测方法与系统 |
CN112365618A (zh) * | 2020-10-19 | 2021-02-12 | 北京全路通信信号研究设计院集团有限公司 | 一种基于人脸识别和二维码测温考勤系统及方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114360127A (zh) * | 2021-12-16 | 2022-04-15 | 三峡大学 | 一种用于安检系统的行人健康监测方法 |
CN114360127B (zh) * | 2021-12-16 | 2023-09-22 | 三峡大学 | 一种用于安检系统的行人健康监测方法 |
CN114710751A (zh) * | 2022-06-08 | 2022-07-05 | 山东天用智能技术有限公司 | 一种场所码查询方法及联动控制系统 |
CN115331453A (zh) * | 2022-08-17 | 2022-11-11 | 康一 | 一种车辆进入无接触式智能控制方法 |
WO2024050760A1 (en) * | 2022-09-08 | 2024-03-14 | Intel Corporation | Image processing with face mask detection |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112989989A (zh) | 一种安检方法、装置、设备及存储介质 | |
EP3869459B1 (en) | Target object identification method and apparatus, storage medium and electronic apparatus | |
CN108921159B (zh) | 用于检测安全帽的佩戴情况的方法和装置 | |
CN110807429A (zh) | 基于tiny-YOLOv3的施工安全检测方法及系统 | |
US9576223B2 (en) | Method and system for evaluating the resemblance of a query object to reference objects | |
CN111739250B (zh) | 结合图像处理技术与红外传感器的火灾探测方法及系统 | |
US20160260306A1 (en) | Method and device for automated early detection of forest fires by means of optical detection of smoke clouds | |
CN110390229B (zh) | 一种人脸图片筛选方法、装置、电子设备及存储介质 | |
TW202026948A (zh) | 活體檢測方法、裝置以及儲存介質 | |
CN108229485A (zh) | 用于测试用户界面的方法和装置 | |
CN110210739B (zh) | 一种基于人工智能的核辐射检测方法和系统 | |
CN113642474A (zh) | 一种基于yolov5的危险区域人员监控方法 | |
WO2022227772A1 (zh) | 人体属性检测模型的训练方法、装置、电子设备及介质 | |
Boffety et al. | Color image simulation for underwater optics | |
CN114782897A (zh) | 基于机器视觉及深度学习的危险行为检测方法及系统 | |
CN112801227A (zh) | 一种台风识别模型的生成方法、装置、设备及存储介质 | |
CN111524113A (zh) | 提升链异常识别方法、系统、设备及介质 | |
CN112347874A (zh) | 一种火灾检测方法、装置、设备及存储介质 | |
CN109993071B (zh) | 基于遥感影像的变色林木自动识别及调查的方法和系统 | |
CN115083229B (zh) | 基于ai视觉识别的飞行训练设备智能识别与警示系统 | |
US20230005261A1 (en) | Object detection over water using normalized difference vegetation index system and method | |
CN114241401A (zh) | 异常判定方法、装置、设备、介质及产品 | |
CN112633142A (zh) | 一种输电线路违章建筑物识别方法及相关装置 | |
Ivanda et al. | An application of 1D convolution and deep learning to remote sensing modelling of Secchi depth in the northern Adriatic Sea | |
CN115239682B (zh) | 一种电缆线路防外破监测告警方法与系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210618 |
|
RJ01 | Rejection of invention patent application after publication |