CN110705520A - 目标检测方法、装置、计算机设备和计算机可读存储介质 - Google Patents

目标检测方法、装置、计算机设备和计算机可读存储介质 Download PDF

Info

Publication number
CN110705520A
CN110705520A CN201911005488.6A CN201911005488A CN110705520A CN 110705520 A CN110705520 A CN 110705520A CN 201911005488 A CN201911005488 A CN 201911005488A CN 110705520 A CN110705520 A CN 110705520A
Authority
CN
China
Prior art keywords
target
image
key points
detection
position frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911005488.6A
Other languages
English (en)
Inventor
周康明
牛寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kos Technology Shanghai Co Ltd
Shanghai Eye Control Technology Co Ltd
Original Assignee
Kos Technology Shanghai Co Ltd
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kos Technology Shanghai Co Ltd, Shanghai Eye Control Technology Co Ltd filed Critical Kos Technology Shanghai Co Ltd
Priority to CN201911005488.6A priority Critical patent/CN110705520A/zh
Publication of CN110705520A publication Critical patent/CN110705520A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种目标检测方法、装置、计算机设备和计算机可读存储介质。所述目标检测方法包括:根据目标图像,获取所述目标图像中的目标人像对应的一组关键点;从所述一组关键点中,筛选出多个目标关键点;根据所述多个目标关键点在所述目标图像中的位置,从所述目标图像中获取与所述位置对应的检测图像;对所述检测图像进行分类,得到分类结果;所述分类结果用于指示所述检测图像是否包括目标物。采用本方法能够提升服务行业监管工作的效率。

Description

目标检测方法、装置、计算机设备和计算机可读存储介质
技术领域
本发明涉及图像处理技术领域,特别是涉及一种目标检测方法、装置、计算机设备和计算机可读存储介质。
背景技术
随着各个行业客户服务意识的不断提升,服务机构关于客户服务的标准也越来越高;通常,服务机构对不同服务岗位有不同的着装及配饰要求,因此,需要对服务人员的着装及配饰进行监控。
例如,在金融行业中,银行柜员、大堂经理及安保人员等工作人员均需身着相应的工装、工鞋,佩戴各自的工牌,以提升金融机构的整体形象及客户体验;目前,监控工作人员的着装及配饰是否符合监管要求,是由监管人员人工浏览监控视频进行判断的。
然后,上述的人工浏览方式存在监管工作效率低下的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提升服务监管效率的目标检测方法、装置、计算机设备和计算机可读存储介质。
第一方面,本申请实施例提供了一种目标检测方法,所述目标检测方法包括:
根据目标图像,获取所述目标图像中的目标人像对应的一组关键点;
从所述一组关键点中,筛选出多个目标关键点;
根据所述多个目标关键点在所述目标图像中的位置,从所述目标图像中获取与所述位置对应的检测图像;
对所述检测图像进行分类,得到分类结果;所述分类结果用于指示所述检测图像是否包括目标物。
在其中一个实施例中,所述根据目标图像,获取所述目标图像中的目标人像对应的一组关键点,包括:
根据所述目标图像及预设的姿态估计模型,从所述目标图像中获取多个关键点;
根据所述多个关键点,检测所述目标图像包括一个目标人像或包括多个人像;
若所述目标图像包括一个目标人像,则确定获取到的所述多个关键点为所述目标人像对应的一组关键点。
在其中一个实施例中,所述根据所述多个目标关键点在所述目标图像中的位置,从所述目标图像中获取与所述位置对应的检测图像,包括:
获取所述多个目标关键点的坐标最大值及坐标最小值;
根据所述坐标最大值及所述坐标最小值,生成所述多个目标关键点对应的关键点位置框;
基于所述关键点位置框,从所述目标图像中获取与所述关键点位置框对应的检测图像。
在其中一个实施例中,所述基于所述关键点位置框,从所述目标图像中获取与所述关键点位置框对应的检测图像,包括:
获取与所述关键点位置框的各坐标分别对应的修正参数;
根据各所述修正参数,对所述关键点位置框的各坐标进行修正,得到修正框;
在所述目标图像中截取与所述修正框对应的图像区域,得到所述检测图像。
在其中一个实施例中,所述方法还包括:
获取监控图像;所述监控图像包括所述目标人像;
利用预设的人体检测模型,对所述目标人像在所述监控图像中的位置进行检测,确定所述监控图像中所述目标人像的初始位置框;
基于所述初始位置框,从所述监控图像中获取所述目标图像。
在其中一个实施例中,所述利用预设的人体检测模型,对所述目标人像在所述监控图像中的位置进行检测,确定所述监控图像中所述目标人像的初始位置框,包括:
利用预设的人体检测模型,对所述目标人像在所述监控图像中的位置进行检测,得到检测结果;所述检测结果包括人像类别及初始位置框;
将目标人像类别对应的初始位置框确定为所述目标人像的初始位置框。
在其中一个实施例中,所述基于所述初始位置框,从所述监控图像中获取所述目标图像,包括:
获取与所述初始位置框的各坐标分别对应的比例扩充参数;
根据各比例扩充参数,对所述初始位置框的各坐标进行修正,得到截取位置框;
根据所述截取位置框,在所述监控图像中截取与所述截取位置框对应的图像区域,得到所述目标图像。
第二方面,本申请实施例提供一种目标检测装置,所述装置包括:
第一获取模块,用于根据目标图像,获取所述目标图像中的目标人像对应的一组关键点;
筛选模块,用于从所述一组关键点中,筛选出多个目标关键点;
第二获取模块,用于根据所述多个目标关键点在所述目标图像中的位置,从所述目标图像中获取与所述位置对应的检测图像;
分类模块,用于对所述检测图像进行分类,得到分类结果;所述分类结果用于指示所述检测图像是否包括目标物。
第三方面,本申请实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的方法的步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的方法的步骤。
本申请实施例提供的技术方案带来的有益效果至少包括:
通过根据目标图像,获取所述目标图像中的目标人像对应的一组关键点;从所述一组关键点中,筛选出多个目标关键点;根据所述多个目标关键点在所述目标图像中的位置,从所述目标图像中获取与所述位置对应的检测图像;对所述检测图像进行分类,得到分类结果;所述分类结果用于指示所述检测图像是否包括目标物;由此,通过从目标人像对应的一组关键点提取多个目标关键点,基于该多个目标关键点获取检测图像,并对检测图像进行分类,即得到检测图像是否包括目标物的分类结果;避免了传统技术中,由监管人员人工浏览监控视频来判断工作人员的着装及配饰是否符合监管要求,导致的监管工作效率低下的问题。本申请可以提升服务行业监管工作的效率。
附图说明
图1为一个实施例提供的目标检测方法的应用环境图;
图2为一个实施例提供的目标检测方法的流程示意图;
图3为一个实施例中步骤S100的细化步骤示意图;
图4为一个实施例提供的目标检测方法的流程示意图;
图5为一个实施例中步骤S300的细化步骤示意图;
图6为图5中步骤S330的细化步骤示意图;
图7为一个实施例提供的目标检测方法的流程示意图;
图8为一个实施例中步骤S530的细化步骤示意图;
图9为一个实施例提供的目标检测装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的目标检测方法,可以应用于如图1所示的计算机设备,该计算机设备可以是服务器,其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存目标检测方法的数据。
本申请实施例提供的目标检测方法、装置、计算机设备和计算机可读存储介质,旨在解决传统技术中,由监管人员人工浏览监控视频来判断工作人员的着装及配饰是否符合监管要求,造成的监管效率低下的技术问题。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
需要说明的是,本申请实施例提供的目标检测方法,其执行主体可以是目标检测装置,该目标检测装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。下述方法实施例中,均以执行主体是计算机设备为例来进行说明。
请参考图2,其示出了本申请实施例提供的一种目标检测方法的流程图,如图2所示,本实施例目标检测方法可以包括以下步骤:
步骤S100,根据目标图像,获取目标图像中的目标人像对应的一组关键点。
具体地,本实施例采用Open Pose姿态估计模型,获取目标图像中的目标人像对应的一组关键点。
一个完整人像的关键点包括人体骨架的25个主要关节点:鼻子、脖子、右肩膀、右手肘、右手腕、左肩膀、左手肘、左手腕、骶骨、右胯骨、右膝盖、脚踝、左胯骨、左膝盖、左脚踝、右眼、左眼、右耳、左耳、左脚趾1、左脚趾2、左脚跟、右脚趾1、右脚趾2、右脚跟;本实施例中,目标人像对应的一组关键点包括25个关节点中的部分或者全部,目标人像对应的一组关键点中关键点的数量与目标图像中目标人像的完整度相关。
以服务行业为例,为了对服务人员的着装及配饰进行监管,例如工装、工鞋、工牌等,服务区域往往安装有监控设备以获取服务区域的监控视频。当需要对特定服务人员进行着装及配饰的合规度检查时,计算机设备从监控视频中抽取一帧监控图像,并从监控图像中提取目标图像,目标图像中包括该特定服务人员对应的目标人像。
在其它实施例中,目标图像也可以是计算机设备直接从视频流中抽取到的一帧图像,视频流可以是终端拍摄的视频或者是监控摄设备拍摄的视频,等等,在此不做具体限制。
步骤S200,从一组关键点中,筛选出多个目标关键点。
本实施例中,以监管工作需求为检测服务人员是否穿着工鞋为例,在需要对特定服务人员是否穿着工鞋进行检测时,计算机设备根据目标图像,获取目标图像中该特定服务人员对应的目标人像对应的一组关键点,并从这组关键点中提取目标人像的左脚四个关键点:左脚踝、左脚趾1、左脚趾2、左脚跟,以及目标人像的右脚四个关键点:右脚踝、右脚趾1、右脚趾2、右脚跟,提取到的这八个关键点即为计算机设备筛选出的多个目标关键点。
可以理解的是,多个目标关键点的筛选与实际的监管需求相关联。例如,若需检测服务人员是否佩戴工牌,则筛选脖子、肩膀及手肘的关键点以获取服务人员胸前区域的图像;若需检测服务人员是否佩戴手套,则筛选手部的关键点以获取服务人员手部区域的图像,等等。
步骤S300,根据多个目标关键点在目标图像中的位置,从目标图像中获取与位置对应的检测图像。
目标关键点在目标图像中的位置,即为目标关键点在目标图像中的位置坐标,每个目标关键点在目标图像中均有对应的位置坐标。
本实施例中,从目标图像中获取与多个目标关键点的位置对应的检测图像,具体是基于多个目标关键点对应的关键点位置框获取的。以目标图像处于直角坐标系的第四象限为例,计算机设备根据目标人像的左脚四个关键点在目标图像中的位置坐标,选取关键点坐标的横轴最大值和最小值、竖轴最大值和最小值,将横轴最小值及竖轴最大值作为关键点位置框的左上角坐标,将横轴最大值和竖轴最小值作为该关键点位置框的右下角坐标,即可得到与左脚四个关键点对应的第一关键点位置框,同理,得到与右脚四个关键点对应的第二关键点位置框。
计算机设备在目标图像中分别截取与第一关键点位置框、与第二关键点位置框的区域分别对应的检测图像。
步骤S400,对检测图像进行分类,得到分类结果;分类结果用于指示检测图像是否包括目标物。
计算机设备采用分类模型,对从目标图像中截取的左脚的检测图像及右脚的检测图像进行分类,分类模型可以是基于卷积神经网络的二分类分类器,由若干卷积层、归一化层、激活层、池化层等堆叠而成,输出的分类结果是针对指定类别的预测概率值。本实施例中,分类结果具体是针对检测图像是工鞋的概率值,若左脚检测图像及右脚检测图像的预测概率值均大于预设阈值,则确定目标人像穿着工鞋,否则,则确定目标人像未穿着工鞋。
本实施例通过根据目标图像,获取目标图像中的目标人像对应的一组关键点;从一组关键点中,筛选出多个目标关键点;根据多个目标关键点在目标图像中的位置,从目标图像中获取与位置对应的检测图像;对检测图像进行分类,得到分类结果;分类结果用于指示检测图像是否包括目标物;由此,通过从目标人像对应的一组关键点提取多个目标关键点,基于该多个目标关键点获取检测图像,并对检测图像进行分类,即得到检测图像是否包括目标物的分类结果;避免了传统技术中,由监管人员人工浏览监控视频来判断工作人员的着装及配饰是否符合监管要求,导致的监管工作效率低下的问题。本实施例可以提升服务行业监管工作的效率。
在另一个实施例提供的目标检测方法中,在上述图2所示实施例的基础上,参见图3,图3为另一个实施例中步骤S100的细化步骤示意图,本实施例步骤S100具体包括:
步骤S110,根据目标图像及预设的姿态估计模型,从目标图像中获取多个关键点。
本实施例中,采用Open Pose姿态估计模型,从目标图像中获取多个关键点。OpenPose,开源人体姿态识别项目,通过检测人体的多个关键点,实现人体动作、面部表情、手指运动等姿态的估计;Open Pose可以检测到图像中所有人的关键点坐标,适用于单人和多人,具有极好的鲁棒性。本实施例中,将目标图像输入至Open Pose中,得到针对目标图像中所有人像分别对应的一组关键点。
步骤S120,根据多个关键点,检测目标图像包括一个目标人像或包括多个人像。
计算机设备根据从目标图像中得到的多个关键点,检测该目标图像包括一个目标人像或包括多个人像;具体地,目标图像中每个人像分别对应一组关键点,可以理解的是,若目标图像包括多个人像,则会得到多组关键点;而若目标图像仅包括目标人像,则只会得到一组关键点,由此,计算机设备可以确定目标图像包括一个目标人像或者包括多个人像。
步骤S130,若目标图像包括一个目标人像,则确定获取到的多个关键点为目标人像对应的一组关键点。
若通过Open Pose姿态估计模型只得到一组关键点,计算机设备则确定目标图像仅包括一个目标人像,并将通过Open Pose姿态估计模型得到的一组关键点确定为该目标人像对应的一组关键点。
本实施例根据目标图像及预设的姿态估计模型,从目标图像中获取多个关键点;根据多个关键点,检测目标图像包括一个目标人像或包括多个人像;若目标图像包括一个目标人像,则确定获取到的多个关键点为目标人像对应的一组关键点;由此,提升了目标人像的关键点的获取准确度,避免了将其他人的关键点作为目标人像的关键点造成的监管准确性低的问题。本实施例提升了服务行业监管工作的准确率及可靠性。
图4为另一个实施例提供的目标检测方法的流程示意图。在上述图2所示实施例的基础上,本实施例步骤S200包括步骤S210和步骤S220:
步骤S210,检测一组关键点中,有效关键点的个数是否大于预设阈值。
在本实施例中,获取到的每个关键点在目标图像中均有对应的位置坐标,若关键点的位置坐标为(0,0),则代表该关键点无效。预设阈值在实际实施时可以自行设置,例如,设置为8,即若目标人像对应的一组关键点中,位置坐标不等于(0,0)的关键点数量大于8,则确定该组关键点有效;若目标人像对应的一组关键点中,位置坐标不等于(0,0)的关键点数量不大于8,则确定该组关键点无效。
进一步地,在检测到目标人像对应的一组关键点无效时,计算机设备重新从视频流中抽取图像用以提取关键点来检测目标人像的着装及配饰。
步骤S220,若大于,则从一组关键点中,筛选出多个目标关键点。
若目标人像对应的一组关键点中,位置坐标不等于(0,0)的关键点数量大于预设阈值,则确定该组关键点有效,计算机设备则从目标人像对应的这组关键点中,筛选出多个目标关键点,目标关键点可以是目标人像的手部或者脚部关键点用以进行相应的监管判断,等等。
进一步地,作为一种实施方式,步骤S220之后,本实施例目标检测方法还包括:
步骤S230,检测目标关键点的坐标是否有效。
若目标关键点的坐标有效,则执行步骤S300,根据多个目标关键点在目标图像中的位置,从目标图像中获取与位置对应的检测图像。
具体地,为了避免目标人像对应的一组关键点有效,但是筛选出的目标关键点无效的情况,本实施例中,计算机设备从一组关键点中,筛选出多个目标关键点之后,检测筛选到的目标关键点的坐标是否有效。例如,为了检测特定服务人员对应的目标人像是否穿着工鞋,计算机设备从目标人像对应的一组关键点中获取多个目标关键点,具体是获取目标人像左脚的四个关键点及右脚的四个关键点,若计算机设备检测到左脚的四个关键点及右脚的八个关键点的坐标均不等于(0,0),则代表左脚的四个关键点及右脚的四个关键点均有效,计算机设备则执行步骤S300,否则,计算机设备重新从视频流中抽取图像用以提取关键点来检测目标人像是否穿着工鞋。
本实施例通过检测目标人像对应的一组关键点中,有效关键点的个数是否大于预设阈值;若大于,则从一组关键点中,筛选出多个目标关键点;检测目标关键点的坐标是否有效;若有效,则根据多个目标关键点在目标图像中的位置,从目标图像中获取与位置对应的检测图像;由此,避免了获取到的目标人像的目标关键点不准确导致的目标人像监管错误的情况,本实施例提升了针对目标人像的监管准确性。
在另一个实施例提供的目标检测方法中,在上述图2所示实施例的基础上,参见图5,图5为另一个实施例中步骤S300的细化步骤示意图,本实施例步骤S300具体包括:
步骤S310,获取多个目标关键点的坐标最大值及坐标最小值。
本实施例中,以监管工作需求为检测服务人员是否穿着工鞋为例,在需要对特定服务人员是否穿着工鞋进行检测时,计算机设备根据目标图像,获取目标图像中该特定服务人员对应的目标人像对应的一组关键点,并从这组关键点中提取多个目标关键点。
多个目标关键点包括目标人像的左脚四个关键点bpt14、bpt19、bpt20、bpt21,及目标人像的右脚四个关键点bpt11、bpt22、bpt23、bpt24。其中,bpt14、bpt19、bpt20、bpt21依次代表目标人像的左脚踝、左脚趾1、左脚趾2、左脚跟;bpt11、bpt22、bpt23、bpt24依次代表目标人像的右脚踝、右脚趾1、右脚趾2、右脚跟。
计算机设备获取多个目标关键点的坐标最大值及坐标最小值;具体的,以目标人像的左脚四个关键点为例,计算机设备通过以下公式1-公式4获取左脚四个关键点对应的横坐标最小值、纵坐标最小值、横坐标最大值、纵坐标最大值:
tlx=min(bpt14.x,bpt19.x,bpt20.x,bpt21.x) 公式1
tly=min(bpt14.y,bpt19.y,bpt20.y,bpt21.y) 公式2
brx=max(bpt14.x,bpt19.x,bpt20.x,bpt21.x) 公式3
bry=max(bpt14.y,bpt19.y,bpt20.y,bpt21.y) 公式4
其中,tlx代表横坐标最小值,tly代表纵坐标最小值,brx代表横坐标最大值,bry代表纵坐标最大值。同样地,计算机设备获取右脚四个关键点的横坐标最小值、纵坐标最小值、横坐标最大值以及纵坐标最大值。
步骤S320,根据坐标最大值及坐标最小值,生成多个目标关键点对应的关键点位置框。
本实施例中,假设目标图像处于直角坐标系的第四象限,计算机设备根据得到的tlx,tly,brx,bry,将(tlx,bry)作为左脚四个关键点对应的第一关键点位置框的左上角坐标,将(brx,tly)作为第一关键点位置框的右下角坐标,由此,得到左脚四个关键点对应的矩形第一关键点位置框的坐标。同样的,计算机设备生成目标人像的右脚四个关键点对应的矩形第二关键点位置框的坐标。
步骤S330,基于关键点位置框,从目标图像中获取与关键点位置框对应的检测图像。
计算机设备根据第一关键点位置框的坐标、第二关键点位置框的坐标,在目标图像中分别截取与第一关键点位置框的坐标对应的第一检测图像、截取与第二关键点位置框的坐标对应的第二检测图像,并将第一检测图像及第二检测图像输入至分类模型中进行分类,若根据分类结果判断出第一检测图像与第二检测图像均包括目标物,即工鞋,则确定目标人像的工鞋穿着合规。
进一步地,参见图6,作为一种实施方式,图6为本实施例中,步骤S330的细化步骤示意图,步骤S330具体包括步骤S331、步骤S332和步骤S333:
步骤S331,获取与关键点位置框的各坐标分别对应的修正参数。
可以理解的是,关键点位置框可能没有把目标图像中目标人像需要检测的部位全部框在关键点位置框内,即关键点位置框存在误差。本实施例中,计算机设备获取与关键点位置框的各坐标分别对应的修正参数,对关键点位置框进行扩大。修正参数可以是用户输入的,也可以是由计算机设备从数据库中获取到的。
步骤S332,根据各修正参数,对关键点位置框的各坐标进行修正,得到修正框。
作为一种实施方式,以目标人像的左脚四个关键点对应的第一关键点位置框为例,与第一关键点位置框的左上角点的x坐标tlx、y坐标bry、右下角点的x坐标brx、y坐标tly依次对应的修正参数分别用kleft、ktop、kbottom、kright表示。假设目标图像处于直角坐标系的第四象限,则计算机设备对第一关键点位置框的左上角点的x坐标采用以下公式5进行修正,对第一关键点位置框的左上角点的y坐标采用以下公式6进行修正,对第一关键点位置框的右下角点的x坐标采用以下公式7进行修正,对第一关键点位置框的右下角点的y坐标采用以下公式8进行修正:
ntlx=(1-kleft)*tlx 公式5
nbry=(1-ktop)*bry 公式6
nbrx=(1+kbottom)*tlx 公式7
ntly=(1+kright)*tly 公式8
本实施例中,设置ktop=10%、kbottom=10%、kleft=10%、kright=10%,即计算机设备对第一关键点位置框扩大10%,得到的(ntlx,nbry)、(nbrx,ntly)即为第一关键点位置框对应的修正框的左上角及右下角坐标。同样的,计算机设备获取第二关键点位置框对应的修正框的坐标。
步骤S333,在目标图像中截取与修正框对应的图像区域,得到检测图像。
计算机设备根据修正后的修正框的坐标,在目标图像中截取与目标人像与修正框对应的双脚检测图像,并基于截取到的与修正框对应的双脚检测图像,对目标人像是否穿穿着工鞋进行检测,进一步地,可以对与修正框对应的双脚检测图像进行缩放,缩放至固定尺寸后输入至分类模型分类。
本实施例提升了从目标图像中获取到的检测图像的准确度,进一步提升了基于检测图像的分类结果的准确性,在服务监管中,提升了对目标人像的监管准确性。
图7为另一个实施例提供的目标检测方法的流程示意图。在上述图2所示实施例的基础上,本实施例目标检测方法还包括步骤S510,步骤S520以及步骤S530,具体地:
步骤S510,获取监控图像;监控图像包括目标人像。
以服务行业为例,为了对服务人员的着装及配饰进行监管,例如工装、工鞋、工牌等,服务区域往往安装有监控设备以获取服务区域的监控视频。当需要对特定服务人员进行着装及配饰的合规度检查时,计算机设备从监控视频中抽取一帧监控图像,以便从监控图像中提取目标图像,目标图像中包括该特定服务人员对应的目标人像。
步骤S520,利用预设的人体检测模型,对目标人像在监控图像中的位置进行检测,确定监控图像中目标人像的初始位置框。
在本实施例中,作为一种实施方式,具体地,步骤S520可以包括细化步骤a和步骤b:
步骤a,利用预设的人体检测模型,对目标人像在监控图像中的位置进行检测,得到检测结果;检测结果包括人像类别及初始位置框。
步骤b,将目标人像类别对应的初始位置框确定为目标人像的初始位置框。
本实施例中,人体检测模型是基于YOLO目标检测算法或者SSD目标检测算法实现的端到端的目标检测器,主要包括特征提取子模块和检测子模块,特征提取子模块由若干卷积层、归一化层、激活层、池化层等堆叠而成;检测子模块在特征提取子模块的基础上继续构造若干特征层,在构造的每个特征层上设置多个预设框用于确定目标人像的初始位置框。
作为一种实施方式,针对监控图像,人体检测模型输出监控图像中每个人像的人像检测结果,人像检测结果表示为{clsid,x,y,w,h},其中,clsid代表当前人像检测结果对应人像的人像类别,例如,目标类别或者非目标类别;x,y,w,h依次代表初始位置框的左上角点的x坐标、y坐标、初始位置框的宽、初始位置框的高。
计算机设备根据人像检测结果中的clsid,确定目标类别,即目标人像对应的人像检测结果,并将目标人像对应的人像检测结果中(x,y,w,h)作为目标人像的初始位置框的坐标。
步骤S530,基于初始位置框,从监控图像中获取目标图像。
计算机设备根据目标人像对应的初始位置框的坐标,从监控图像中截取与该坐标位置覆盖区域相同的目标图像。
在另一个实施例中,作为一种实施方式,参见图8,图8为步骤S530的细化步骤示意图,步骤S530具体包括步骤S531、步骤S532和步骤S533:
步骤S531,获取与初始位置框的各坐标分别对应的比例扩充参数。
本实施例中,为了提高目标人像对应的初始位置框的准确性,计算机设备对目标人像的初始位置框进行坐标修正,修正后得到截取位置框。
步骤S532,根据各比例扩充参数,对初始位置框的各坐标进行修正,得到截取位置框。
可以理解的是,初始位置框可能没有把监控图像中的目标人像全部框在初始位置框内,即初始位置框存在误差。本实施例中,计算机设备获取与目标人像的初始位置框的各点坐标分别对应的比例扩充参数,对初始位置框进行扩大。比例扩充参数可以是用户输入的,也可以是由计算机设备从数据库中获取到的。
作为一种实施方式,本实施例中,比例扩充参数分别用p1、p2、p3、p4表示。假设监控图像处于直角坐标系的第四象限,则计算机设备对初始位置框的左上角点的x坐标采用以下公式9进行修正,对初始位置框的左上角点的y坐标采用以下公式10进行修正,对初始位置框的宽采用以下公式11进行修正,对初始位置框的高采用以下公式12进行修正:
nx=(1-p1)*x 公式9
ny=(1-p2)*y 公式10
nw=w+(p1+p3)*x 公式11
nh=h-(p2+p4)*y 公式12
本实施例中,设置p1=5%、p2=5%、p3=5%、p4=5%,即计算机设备对初始位置框扩大5%,得到的(nx,ny,nw,nh)即为截取位置框的坐标。
比例扩充参数的取值,在实际设置时与初始位置框的误差程度相关。可以理解的是,若监控图像处于直角坐标系的其它象限,公式9-12会随着初始位置框坐标的正负变化作相应改变,坐标修正的目的是为了修正后的截取位置框可以将目标人像框完整,避免初始位置框由于误差对目标人像框定不完整的情况。
步骤S533,根据截取位置框,在监控图像中截取与截取位置框对应的图像区域,得到目标图像。
计算机设备根据修正后的截取位置框,在监控图像中截取与截取位置框对应的图像区域,得到目标图像。
本实施例通过确定监控图像中目标人像的初始位置框,并对初始位置框进行坐标修正,得到截取位置框;根据截取位置框,在监控图像中截取与截取位置框对应的图像区域,得到目标图像;由此,提升了从监控图像中识别目标人像的准确度,提升了目标图像的获取准确度,进一步提升了检测图像的获取准确性,在服务监管中,提升了检测图像对应的目标人像特定部位的监管准确性。
应该理解的是,虽然图2-8的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-8中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图9所示,提供了一种目标检测装置,包括:
第一获取模块10,用于根据目标图像,获取所述目标图像中的目标人像对应的一组关键点;
筛选模块20,用于从所述一组关键点中,筛选出多个目标关键点;
第二获取模块30,用于根据所述多个目标关键点在所述目标图像中的位置,从所述目标图像中获取与所述位置对应的检测图像;
分类模块40,用于对所述检测图像进行分类,得到分类结果;所述分类结果用于指示所述检测图像是否包括目标物。
可选地,所述第一获取模块10,包括:
第一获取单元,用于根据所述目标图像及预设的姿态估计模型,从所述目标图像中获取多个关键点;
第一检测单元,用于根据所述多个关键点,检测所述目标图像包括一个目标人像或包括多个人像;
第一确定单元,用于若所述目标图像包括一个目标人像,则确定获取到的所述多个关键点为所述目标人像对应的一组关键点。
可选地,所述第二获取模块30,包括:
第二获取单元,用于获取所述多个目标关键点的坐标最大值及坐标最小值;
生成单元,用于根据所述坐标最大值及所述坐标最小值,生成所述多个目标关键点对应的关键点位置框;
第三获取单元,用于基于所述关键点位置框,从所述目标图像中获取与所述关键点位置框对应的检测图像。
可选地,所述第三获取单元,包括:
获取子单元,用于获取与所述关键点位置框的各坐标分别对应的修正参数;
第一修正子单元,用于根据各所述修正参数,对所述关键点位置框的各坐标进行修正,得到修正框;
截取子单元,用于在所述目标图像中截取与所述修正框对应的图像区域,得到所述检测图像。
可选地,所述装置还包括:
第三获取模块,用于获取监控图像;所述监控图像包括所述目标人像;
检测模块,用于利用预设的人体检测模型,对所述目标人像在所述监控图像中的位置进行检测,确定所述监控图像中所述目标人像的初始位置框;
第四获取模块,用于基于所述初始位置框,从所述监控图像中获取所述目标图像。
可选地,所述检测模块,包括:
第二检测单元,用于利用预设的人体检测模型,对所述目标人像在所述监控图像中的位置进行检测,得到检测结果;所述检测结果包括人像类别及初始位置框;
第二确定单元,用于将目标人像类别对应的初始位置框确定为所述目标人像的初始位置框。
可选地,所述第四获取模块,包括:
第四获取单元,用于用于获取与所述初始位置框的各坐标分别对应的比例扩充参数;
修正单元,用于根据各比例扩充参数,对所述初始位置框的各坐标进行修正,得到截取位置框;
截取单元,用于根据所述截取位置框,在所述监控图像中截取与所述截取位置框对应的图像区域,得到所述目标图像。
本实施例提供的目标检测装置,可以执行上述目标检测方法实施例,其实现原理和技术效果类似,在此不再赘述。
关于目标检测装置的具体限定可以参见上文中对于目标检测方法的限定,在此不再赘述。上述目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,还提供了一种如图1所示的计算机设备,该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标检测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标检测方法。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
根据目标图像,获取所述目标图像中的目标人像对应的一组关键点;从所述一组关键点中,筛选出多个目标关键点;根据所述多个目标关键点在所述目标图像中的位置,从所述目标图像中获取与所述位置对应的检测图像;对所述检测图像进行分类,得到分类结果;所述分类结果用于指示所述检测图像是否包括目标物。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Ramb微秒)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
根据目标图像,获取所述目标图像中的目标人像对应的一组关键点;从所述一组关键点中,筛选出多个目标关键点;根据所述多个目标关键点在所述目标图像中的位置,从所述目标图像中获取与所述位置对应的检测图像;对所述检测图像进行分类,得到分类结果;所述分类结果用于指示所述检测图像是否包括目标物。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式,描述较为详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种目标检测方法,其特征在于,所述方法包括:
根据目标图像,获取所述目标图像中的目标人像对应的一组关键点;
从所述一组关键点中,筛选出多个目标关键点;
根据所述多个目标关键点在所述目标图像中的位置,从所述目标图像中获取与所述位置对应的检测图像;
对所述检测图像进行分类,得到分类结果;所述分类结果用于指示所述检测图像是否包括目标物。
2.根据权利要求1所述的方法,其特征在于,所述根据目标图像,获取所述目标图像中的目标人像对应的一组关键点,包括:
根据所述目标图像及预设的姿态估计模型,从所述目标图像中获取多个关键点;
根据所述多个关键点,检测所述目标图像包括一个目标人像或包括多个人像;
若所述目标图像包括一个目标人像,则确定获取到的所述多个关键点为所述目标人像对应的一组关键点。
3.根据权利要求1所述的方法,其特征在于,所述根据所述多个目标关键点在所述目标图像中的位置,从所述目标图像中获取与所述位置对应的检测图像,包括:
获取所述多个目标关键点的坐标最大值及坐标最小值;
根据所述坐标最大值及所述坐标最小值,生成所述多个目标关键点对应的关键点位置框;
基于所述关键点位置框,从所述目标图像中获取与所述关键点位置框对应的检测图像。
4.根据权利要求3所述的方法,其特征在于,所述基于所述关键点位置框,从所述目标图像中获取与所述关键点位置框对应的检测图像,包括:
获取与所述关键点位置框的各坐标分别对应的修正参数;
根据各所述修正参数,对所述关键点位置框的各坐标进行修正,得到修正框;
在所述目标图像中截取与所述修正框对应的图像区域,得到所述检测图像。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取监控图像;所述监控图像包括所述目标人像;
利用预设的人体检测模型,对所述目标人像在所述监控图像中的位置进行检测,确定所述监控图像中所述目标人像的初始位置框;
基于所述初始位置框,从所述监控图像中获取所述目标图像。
6.根据权利要求5所述的方法,其特征在于,所述利用预设的人体检测模型,对所述目标人像在所述监控图像中的位置进行检测,确定所述监控图像中所述目标人像的初始位置框,包括:
利用预设的人体检测模型,对所述目标人像在所述监控图像中的位置进行检测,得到检测结果;所述检测结果包括人像类别及初始位置框;
将目标人像类别对应的初始位置框确定为所述目标人像的初始位置框。
7.根据权利要求5或6所述的方法,其特征在于,所述基于所述初始位置框,从所述监控图像中获取所述目标图像,包括:
获取与所述初始位置框的各坐标分别对应的比例扩充参数;
根据各比例扩充参数,对所述初始位置框的各坐标进行修正,得到截取位置框;
根据所述截取位置框,在所述监控图像中截取与所述截取位置框对应的图像区域,得到所述目标图像。
8.一种目标检测装置,其特征在于,所述装置包括:
第一获取模块,用于根据目标图像,获取所述目标图像中的目标人像对应的一组关键点;
筛选模块,用于从所述一组关键点中,筛选出多个目标关键点;
第二获取模块,用于根据所述多个目标关键点在所述目标图像中的位置,从所述目标图像中获取与所述位置对应的检测图像;
分类模块,用于对所述检测图像进行分类,得到分类结果;所述分类结果用于指示所述检测图像是否包括目标物。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201911005488.6A 2019-10-22 2019-10-22 目标检测方法、装置、计算机设备和计算机可读存储介质 Pending CN110705520A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911005488.6A CN110705520A (zh) 2019-10-22 2019-10-22 目标检测方法、装置、计算机设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911005488.6A CN110705520A (zh) 2019-10-22 2019-10-22 目标检测方法、装置、计算机设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110705520A true CN110705520A (zh) 2020-01-17

Family

ID=69200838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911005488.6A Pending CN110705520A (zh) 2019-10-22 2019-10-22 目标检测方法、装置、计算机设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110705520A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325144A (zh) * 2020-02-19 2020-06-23 上海眼控科技股份有限公司 行为检测方法、装置、计算机设备和计算机可读存储介质
CN111507317A (zh) * 2020-06-30 2020-08-07 之江实验室 一种基于视觉的旋转设备作业手套佩戴检测方法及系统
CN112395999A (zh) * 2020-11-19 2021-02-23 平安普惠企业管理有限公司 基于图像识别的穿戴规范判定方法及相关设备
CN112819885A (zh) * 2021-02-20 2021-05-18 深圳市英威诺科技有限公司 基于深度学习的动物识别方法、装置、设备及存储介质
CN117036327A (zh) * 2023-08-22 2023-11-10 广州市疾病预防控制中心(广州市卫生检验中心、广州市食品安全风险监测与评估中心、广州医科大学公共卫生研究院) 一种防护用品检视方法、系统、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215669A1 (zh) * 2016-06-17 2017-12-21 北京市商汤科技开发有限公司 物体识别方法和装置、数据处理装置和计算设备
CN110163197A (zh) * 2018-08-24 2019-08-23 腾讯科技(深圳)有限公司 目标检测方法、装置、计算机可读存储介质及计算机设备
CN110188701A (zh) * 2019-05-31 2019-08-30 上海媒智科技有限公司 基于人体关键节点预测的服饰识别方法、系统及终端
CN110263605A (zh) * 2018-07-18 2019-09-20 桂林远望智能通信科技有限公司 基于二维人体姿态估计的行人服饰颜色识别方法及装置
CN110287856A (zh) * 2019-06-21 2019-09-27 上海闪马智能科技有限公司 一种执勤人员行为分析系统、方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215669A1 (zh) * 2016-06-17 2017-12-21 北京市商汤科技开发有限公司 物体识别方法和装置、数据处理装置和计算设备
CN110263605A (zh) * 2018-07-18 2019-09-20 桂林远望智能通信科技有限公司 基于二维人体姿态估计的行人服饰颜色识别方法及装置
CN110163197A (zh) * 2018-08-24 2019-08-23 腾讯科技(深圳)有限公司 目标检测方法、装置、计算机可读存储介质及计算机设备
CN110188701A (zh) * 2019-05-31 2019-08-30 上海媒智科技有限公司 基于人体关键节点预测的服饰识别方法、系统及终端
CN110287856A (zh) * 2019-06-21 2019-09-27 上海闪马智能科技有限公司 一种执勤人员行为分析系统、方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325144A (zh) * 2020-02-19 2020-06-23 上海眼控科技股份有限公司 行为检测方法、装置、计算机设备和计算机可读存储介质
CN111507317A (zh) * 2020-06-30 2020-08-07 之江实验室 一种基于视觉的旋转设备作业手套佩戴检测方法及系统
CN112395999A (zh) * 2020-11-19 2021-02-23 平安普惠企业管理有限公司 基于图像识别的穿戴规范判定方法及相关设备
CN112819885A (zh) * 2021-02-20 2021-05-18 深圳市英威诺科技有限公司 基于深度学习的动物识别方法、装置、设备及存储介质
CN117036327A (zh) * 2023-08-22 2023-11-10 广州市疾病预防控制中心(广州市卫生检验中心、广州市食品安全风险监测与评估中心、广州医科大学公共卫生研究院) 一种防护用品检视方法、系统、设备及介质
CN117036327B (zh) * 2023-08-22 2024-03-12 广州市疾病预防控制中心(广州市卫生检验中心、广州市食品安全风险监测与评估中心、广州医科大学公共卫生研究院) 一种防护用品检视方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN110705520A (zh) 目标检测方法、装置、计算机设备和计算机可读存储介质
CN111062239A (zh) 人体目标检测方法、装置、计算机设备及存储介质
CN110717476A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN111476097A (zh) 人体姿态评估方法、装置、计算机设备及存储介质
US20220383653A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program
CN111275032A (zh) 基于人体关键点的深蹲检测方法、装置、设备及介质
CN111325144A (zh) 行为检测方法、装置、计算机设备和计算机可读存储介质
CN112633196A (zh) 人体姿态检测方法、装置和计算机设备
CN111626210B (zh) 人员着装检测方法、处理终端、及存储介质
CN111753643A (zh) 人物姿态识别方法、装置、计算机设备和存储介质
CN112163479A (zh) 动作检测方法、装置、计算机设备和计算机可读存储介质
US10496874B2 (en) Facial detection device, facial detection system provided with same, and facial detection method
CN111191532A (zh) 基于施工区域的人脸识别方法、装置、计算机设备
CN113807289A (zh) 人体姿态的检测方法及装置、电子设备、存储介质
CN111783702A (zh) 一种基于图像增强算法和人体关键点定位的高效行人摔倒检测方法
JP7106296B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN113362221A (zh) 用于门禁的人脸识别系统与人脸识别方法
JP7173341B2 (ja) 人物状態検出装置、人物状態検出方法及びプログラム
CN111967455A (zh) 一种基于计算机视觉综合判定规定着装的方法
US11527090B2 (en) Information processing apparatus, control method, and non-transitory storage medium
US11482031B2 (en) System and method for detecting potentially dangerous human posture
WO2018128138A1 (ja) 画像処理装置、映像監視システム、画像処理方法およびプログラムを格納した記録媒体
JP7491380B2 (ja) 画像選択装置、画像選択方法、及びプログラム
US11263780B2 (en) Apparatus, method, and program with verification of detected position information using additional physical characteristic points
JP7396364B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200117

RJ01 Rejection of invention patent application after publication