CN112906646A - 人体姿态的检测方法及装置 - Google Patents

人体姿态的检测方法及装置 Download PDF

Info

Publication number
CN112906646A
CN112906646A CN202110309735.2A CN202110309735A CN112906646A CN 112906646 A CN112906646 A CN 112906646A CN 202110309735 A CN202110309735 A CN 202110309735A CN 112906646 A CN112906646 A CN 112906646A
Authority
CN
China
Prior art keywords
target object
image frame
posture
identified
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110309735.2A
Other languages
English (en)
Inventor
竹梦圆
王政
黄韶华
袁涛
黄锦川
王运付
沈涛
宋齐军
辛荣寰
张钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
China Information Technology Designing and Consulting Institute Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
China Information Technology Designing and Consulting Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd, China Information Technology Designing and Consulting Institute Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202110309735.2A priority Critical patent/CN112906646A/zh
Publication of CN112906646A publication Critical patent/CN112906646A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人体姿态的检测方法及装置,涉及图像识别技术领域,用于提高人体姿态检测的准确性和效率。该方法包括:获取待识别视频数据,该待识别视频数据包括第一目标对象;当该待识别视频数据满足预设条件时,确定第一目标对象所处的场景信息以及所述第一目标对象的至少两个人体关键点信息;根据第一目标对象所处的场景信息以及第一目标对象的至少两个人体关键点信息,检测第一目标对象的姿态。本申请实施例应用于检测工作人员的姿态是否标准的过程。

Description

人体姿态的检测方法及装置
技术领域
本申请涉及图像识别技术领域,尤其涉及一种人体姿态的检测方法及装置。
背景技术
随着技术的发展,在一些场景下,需要检测处于该场景下人员的姿态。例如,在加油站、公司的服务前台的场景下,工作人员的姿态可以反映工作人员的态度以及服务质量。又例如,在生产车间,工作人员的姿态可以反映工作人员的工作效率。
目前,工作人员的姿态是否符合标准或要求是由专业人员确定的。但是专业人员需要花费大量时间检查工作人员的姿态,且存在人为主管因素。因此,由专业人员检查工作人员的姿态,准确性和效率都不高。
发明内容
本申请提供一种人体姿态的检测方法及装置,用于提高检测工作人员的姿态的准确性和效率。
为达到上述目的,本申请用如下技术方案:
第一方面,提供了一种人体姿态的检测方法,该方法包括:人体姿态的检测装置(后续为了便于描述,简称为“检测装置”)获取待识别视频数据,该待识别视频数据包括第一目标对象;当待识别视频数据满足预设条件时,检测装置确定第一目标对象所处的场景信息以及第一目标对象的至少两个人体关键点信息;检测装置根据第一目标对象所处的场景信息以及第一目标对象的至少两个人体关键点信息,检测第一目标对象的姿态。
基于第一方面的技术方案,检测装置可以在待识别视频数据满足预设条件的情况下,基于目标对象所处的场景,提取目标对象的多个人体关键点信息。如此,检测装置可以根据目标对象的多个人体关键点信息确定目标对象的姿态是否符合该场景下的标准。相较于现有技术中,通过人工检测工作人员的姿态,本申请的技术方案中,基于设备检测的准确性更高,同时,检测装置可以通过视频监控的手段,检测工作人员的姿态是否标准,无需人工耗费时间进行监控,提高了检测效率。
第二方面,提供了一种人体姿态的检测装置,该通信装置可以包括:
通信单元,用于获取待识别视频数据,该待识别视频数据包括第一目标对象。
处理单元,用于当待识别视频数据满足预设条件是,检测装置确定第一目标对象所处的场景信息以及第一目标对象的至少两个人体关键点信息。
处理单元,还用于根据第一目标对象所处的场景信息以及第一目标对象的至少两个人体关键点信息,检测第一目标对象的姿态。
第三方面,提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当指令被执行时,实现如第一方面的方法。
第四方面,提供一种计算机程序产品,该计算机程序产品包括计算机指令,当所述计算机指令在人体姿态的检测装置上运行时,使得所述检测装置执行如第一方面及其任一种可能的设计方式(或实现方式)所述的人体姿态的检测方法。
第五方面,提供一种芯片,芯片包括至少一个处理器及通信接口,通信接口和至少一个处理器耦合,至少一个处理器用于运行计算机程序或指令,以实现第一方面的方法。
第六方面,提供一种通信装置,包括:处理器、存储器和通信接口;其中,通信接口用于所述通信装置和其他设备或网络通信;该存储器用于存储一个或多个程序,该一个或多个程序包括计算机执行指令,当该通信装置运行时,处理器执行该存储器存储的该计算机执行指令,以使该通信装置执行第一方面的方法。
上述提供的通信装置或计算机可读存储介质或计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文提供的对应的方法中对应方案的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种检测装置建立的平面直角坐标系的示意图;
图2为本申请实施例提供的一种监控系统的结构示意图;
图3为本申请实施例提供的一种通信装置300的结构示意图;
图4为本申请实施例提供的一种人体姿态的检测方法的流程示意图;
图5为本申请实施例提供的一种确定至少一个对比结果的示意图;
图6为本申请实施例提供的一种通信装置60的结构示意图。
具体实施方式
在描述本申请实施例之前,对本申请实施例涉及的名词术语进行解释说明:
人体关键点信息:是指人体的部位信息,比如,人体的手部(包括左手和右手)位置信息、头部位置信息、肩膀位置信息等。
需要说明的是,本申请实施例中,人体的部位信息可以是指人体的坐标信息。例如,检测装置以图像帧的一点为原点,建立平面直角坐标系。比如,如图1所示,为检测装置获取的包括目标对象的图像帧。检测装置可以将图像帧的左下角作为原点,图像帧的下边缘为X轴,图像帧的左边缘为Y轴,建立平面直角坐标系。
基于图1的平面直角坐标系,检测装置可以确定图像帧中的人体关键点信息。例如,原点的坐标为(0,0),检测装置可以确定图像帧中的多个人体关键点信息。
需要指出的是,本申请实施例中,检测装置可以对图像帧进行标准化处理,例如,每个图像帧的缩放比例相同。从而可以降低人体关键点信息的误差。
人体姿态:可以是指人体动作。人体动作包括人体各个部位之间的距离。例如,人体的手部与头部之间的距离、人体双手之间的距离、人体手部与肩部之间的距离等。本申请实施例中,检测装置可以根据人体关键点信息,确定人体各个部位之间的距离。例如,检测装置可以根据人体的左手的坐标信息与右手的坐标信息,确定人体双手之间的距离。又例如,检测装置可以根据人体的手部的坐标信息与头部的坐标信息,确定人体的手部的相较于头部的高度。
目前,工作人员的姿态是否符合标准或要求是由专业人员确定的。但是专业人员需要花费大量时间检查工作人员的姿态,且存在人为主管因素。因此,由专业人员检查工作人员的姿态,准确性和效率都不高。
鉴于此,本申请实施例提供了一种人体姿态的检测方法,通过检测视频数据满足预设条件,基于目标对象所处场景,检测目标对象的姿态是否符合该场景下的标准姿态。
本申请实施例提供的人体姿态的检测方法可以适用于监控系统。图2示出了一种监控系统的结构示意图。如图2所示,本申请提供的监控系统包括服务器20以及多个感知设备21。服务器20与多个感知设备21连接。
其中,感知设备21可以为用于获取视频数据的设备,例如,可以为相机、摄像机等,也可以为数据采集设备,如:无线保真(Wireless-Fidelity,Wi-Fi)探针。
需要说明的是,本申请实施例中,感知设备可以设置于多个区域,例如,可以设置于服务前台、加油站的加油区域、商店的结账区域。如此,感知设备可以获取包括工作人员的视频数据。
服务器20可以为用于对视频数据进行处理的设备,例如,可以为各种个人计算机、笔记本电脑、智能手机、平板电脑等计算设备。服务器20可以获取视频数据中的目标对象(如工作人员)的关键点信息等。具体的,可以参照后续描述。
如图2所示,本申请实施例中的感知设备21在获取到(拍摄到或者探测到)视频数据后,向与该感知设备21连接的服务器20发送该视频数据。服务器20在接收到视频数据后,确定该视频数据包括目标对象。之后,服务器20开始检测该视频数据是否满足预设条件。若满足预设条件,则服务器20可以采用本申请实施例提供的人体姿态的检测方法检测目标对象的状态。
图2中的设备均可以采用图3所示的组成结构,或者包括图3所示的部件。图3为本申请实施例提供的一种通信装置300的组成示意图,该通信装置300可以为检测装置中的芯片或者片上系统。如图3所示,该通信装置300包括处理器301,通信接口302以及通信线路303。
进一步的,该通信装置300还可以包括存储器304。其中,处理器301,存储器304以及通信接口302之间可以通过通信线路303连接。
其中,处理器301是CPU、通用处理器网络处理器(network processor,NP)、数字信号处理器(digital signal processing,DSP)、微处理器、微控制器、可编程逻辑器件(programmable logic device,PLD)或它们的任意组合。处理器301还可以是其它具有处理功能的装置,例如电路、器件或软件模块,不予限制。
通信接口302,用于与其他设备或其它通信网络进行通信。该其它通信网络可以为以太网,无线接入网(radio access network,RAN),无线局域网(wireless local areanetworks,WLAN)等。通信接口302可以是模块、电路、通信接口或者任何能够实现通信的装置。
通信线路303,用于在通信装置300所包括的各部件之间传送信息。
存储器304,用于存储指令。其中,指令可以是计算机程序。
其中,存储器304可以是只读存储器(read-only memory,ROM)或可存储静态信息和/或指令的其他类型的静态存储设备,也可以是随机存取存储器(random accessmemory,RAM)或可存储信息和/或指令的其他类型的动态存储设备,还可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、只读光盘(compact disc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或其他磁存储设备等,不予限制。
需要指出的是,存储器304可以独立于处理器301存在,也可以和处理器301集成在一起。存储器304可以用于存储指令或者程序代码或者一些数据等。存储器304可以位于通信装置300内,也可以位于通信装置300外,不予限制。处理器301,用于执行存储器304中存储的指令,以实现本申请下述实施例提供的天线参数的确定方法。
在一种示例中,处理器301可以包括一个或多个CPU,例如,图3中的CPU0和CPU1。
作为一种可选的实现方式,通信装置300包括多个处理器,例如,除图3中的处理器301之外,还可以包括处理器307。
作为一种可选的实现方式,通信装置300还包括输出设备305和输入设备306。示例性地,输入设备306是键盘、鼠标、麦克风或操作杆等设备,输出设备305是显示屏、扬声器(speaker)等设备。
需要指出的是,通信装置300可以是台式机、便携式电脑、网络服务器、移动手机、平板电脑、无线终端、嵌入式设备、芯片系统或有图3中类似结构的设备。此外,图3中示出的组成结构并不构成对该终端设备的限定,除图3所示部件之外,该终端设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本申请实施例中,芯片系统可以由芯片构成,也可以包括芯片和其他分立器件。
本申请实施例提供的人体姿态的检测方法的执行主体为人体姿态的检测装置。该人体姿态的检测装置可以是上述服务器20,也可以是上述服务器20中的CPU,还可以是上述服务器20中用于检测人体姿态的控制模块,还可以是上述服务器20中用于识别人体姿态的客户端。本申请实施例以服务器20执行人体姿态的检测方法为例,对本申请提供的人体姿态的检测方法进行说明。
下面结合附图对本申请实施例提供的异常聚集识别方法进行描述。
此外,本申请的各实施例之间涉及的动作、术语等均可以相互参考,不予限制。本申请的实施例中各个设备之间交互的消息名称或消息中的参数名称等只是一个示例,具体实现中也可以采用其他的名称,不予限制。
为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一终端和第二终端仅仅是为了区分不同的终端,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
下面结合图2所示通信系统,对本申请实施例提供的人体姿态的检测方法进行描述。其中,其中,本申请各实施例之间涉及的动作,术语等均可以相互参考,不予限制。本申请的实施例中各个设备之间交互的消息名称或消息中的参数名称等只是一个示例,具体实现中也可以采用其他的名称,不予限制。本申请各实施例涉及的动作只是一个示例,具体实现中也可以采用其他的名称,如:本申请实施例所述的“包括在”还可以替换为“承载于”或者“携带在”等。
图4为本申请实施例提供了一种人体姿态的检测方法,如图4所示,该方法包括:
步骤401、检测装置获取待识别视频数据。
其中,检测装置可以为图2中的服务器20,或者具有图3所示的结构。
其中,待识别视频数据可以包括第一目标对象。第一目标对象可以为需要进行人体姿态检测的人员。例如,可以为加油站的工作人员、服务前台的工作人员、商店的工作人员等。待识别视频数据可以为实时视频数据,也可以为录播视频数据,不予限制。
一种示例中,检测装置可以通过预先安装在第一目标对象的所处区域的感知装置,拍摄第一目标对象,以获取包括第一目标对象的视频数据。
需要说明的是,本申请实施例中,检测装置也可以获取包括第一目标对象的多个连续的图像帧。
步骤402、当待识别视频数据满足预设条件时,检测装置确定第一目标对象所处的场景信息以及第一目标对象的至少两个人体关键点信息。
其中,预设条件可以用于触发检测装置进行人体姿态识别。例如,预设条件可以包括待识别视频数据中出现第二目标对象且第二目标对象处于第一目标区域、第一目标对象处于第二目标区域、待识别视频出现第一物体且第一物体处于在第三目标区域中的一个或多个。也就是说,当待识别视频数据中出现上述预设条件中的一个或多个时,检测装置可以开始检测目标对象的姿态;当待识别视频数据不满足预设条件时,检测装置可以不检测目标对象的姿态。
下面结合具体示例对上述预设条件进行说明:
条件1、待识别视频数据中出现第二目标对象且第二目标对象处于第一目标区域。
其中,第二目标对象是指除待检测姿态的工作人员之外的其他人员。例如,可以为需要服务的人员。比如,第二目标对象可以为需要结账的人员。
一种示例中,检测装置可以通过人脸识别技术,检测待识别视频中包括的每个人员,用以判断该待识别视频中的人员是否为工作人员。例如,检测装置可以将待识别视频中的人员的面部图像与人脸图像数据库中的多个面部图像进行比对,以判断该人员是否为工作人员。人脸图像数据库可以包括多个工作人员的面部图像。该人脸图像数据库可以为检测装置配置的,也可以配置在与检测装置通信连接的其他设备中。不予限制。
需要说明的是,当人脸图像数据库设置在其他设备中时,检测装置可以将提取的待识别视频数据的人员的面部图像发送至其他设备,用于人脸识别。
第一目标区域可以是指第一目标对象所处区域相邻的区域。例如,第一目标对象为商店的工作人员,则第一目标区域可以是为商店的收银台的结账通道。又例如,第一目标对象为服务前台的工作人员,则第一目标区域可以为公司门口与服务前台之间的区域。
一种可能的实现方式中,检测装置可以根据预设的指令,确定第一目标区域。
其中,预设的指令可以用于限制第一目标区域的边界。例如,预设的指令可以包括多个坐标位置,该多个坐标位置可以构成一个封闭的区域。例如,可以为矩形或圆形的区域。如此,检测装置可以确定第二目标区域。
条件2、第一目标对象处于第二目标区域。
其中,第二目标区域可以是指工作人员需要执行预设动作的区域。例如,第二目标区域可以是指工作人员需要作擦拭动作的区域。比如,商店的窗户前的区域,工作人员需要执行擦拭窗户玻璃的动作。第二目标区域的确定方法可以参数上述描述,不予赘述。
一种示例中,第一目标对象处于第二目标区域可以是指第一目标对象在第二目标区域内执行预设动作,且执行时长大于第一预设时长。其中,第一预设时长可以根据需要设置,例如,可以为10分钟、15分钟等,不予限制。
条件3、待识别视频出现第一物体且第一物体处于第三目标区域。
其中,第一物体可以是指可移动的物体。例如,可以为车辆(包括汽车、摩托车等)。
其中,第三目标区域可以是指第一目标对象需要为第一物体服务的区域。例如,可以是指第一目标对象引导第一物体移动方向的区域。比如,可以是指停车场的引导区,或者加油站的引导区。又可以是指第一目标对象需要为第一物体加油或擦洗的区域。比如,可以是指加油站的加油设施所处的区域,或者,清洗车辆的区域。
一种示例中,第三目标区域出现第一物体可以是指第一物体在第三目标区域内停留的时长大于第二预设时长。其中,第二预设时长可以根据需要设置,例如,可以为5分钟、10分钟等,不予限制。
需要说明的是,上述预设条件仅为示例性的,当然还可以包括其他条件,例如,可以包括预设区域内的人数和/或物体大于预设数量。不予限制。
其中,第一目标对象所处的场景信息可以是指第一目标对象的工作场景。例如,可以为室内或室外。结合上述预设条件,当待识别视频数据满足上述条件1时,检测装置可以确定第一目标对象处于第一场景(如室内);当待识别视频数据满足上述条件2或条件3时,检测装置可以确定第一目标对象处于第二场景(如室外)。
一种可能的实现方式中,检测装置可以提取待识别视频数据的多个连续的图像帧,对该多个连续的图像帧,执行第一对比操作,以确定该待识别视频数据是否出现第二目标对象或第一物体。
其中,第一对比操作可以包括下述S1~S3:
S1、对比第一图像帧与第二图像帧,确定至少一个对比结果,第二图像帧为第一图像帧之后且与第一图像帧相邻的图像帧。
其中,至少一个对比结果可以用于反映目标对象是否需要执行动作。检测装置可以根据该至少一个对比结果确定是否检测目标对象的姿态。
需要说明的是,本申请实施例中,检测装置提取的多个连续的图像帧中每个图像帧均携带一个时间戳。该时间戳可以用于标识该图像帧。如此,检测装置可以根据图像帧的时间戳,将该多个图像帧排序。例如,按照时间顺序进行排序。第一图像帧为时间戳最早的图像帧,第二图像帧的时间戳位于第一图像帧的时间戳之后。
进一步的,为了更加准确的确定待识别视频数据中是否出现第二目标对象或第一物体,本申请实施例中,可以将包括第一目标对象的图像帧作为参照图像帧。也即,第一图像帧可以为预先设置的图像帧。该图像帧可以包括第一目标对象,但不包括第二目标对象或第一物体。
S2、若至少一个对比结果包括至少一个前景区域,判断至少一个前景区域的形状。
其中,该至少一个前景区域为第一图像帧与第二图像帧之间像素不同的区域。
具体的,如图5所示,检测装置可以将第一图像帧作为参照图像帧,对比第二图像帧与第一图像帧是否存在像素不同的区域。若存在,检测装置提取该区域的像素点,并判断该区域的像素点构成的图像的形状。例如,检测装置可以将该区域的像素构成的图像与预设的人体的图像以及预设的物体(如车辆)的图像进行比对,以确定该区域的像素构成的图像是目标对象还是物体。
S3、若至少一个对比结果不包括至少一个前景区域,对比第二图像帧与第三图像帧。
其中,第三图像帧为第二图像帧之后且与第二图像帧相邻的图像帧。
需要说明的是,本申请实施例中,在第三图像帧与第二图像帧不存在像素不同的区域的情况下,检测装置可以依次对比第三图像帧和第四图像帧。如此,检测装置可以确定待识别视频数据中是否出现第二目标对象或第一物体。
进一步的,在第一目标对象所处的场景为室内的情况下,检测装置获取的第一目标对象的人体关键点信息可以包括双手之间的距离以及手部与脚部之间的距离、手部与肩膀之间的距离、手部与肘部之间的距离等。如此,检测装置可以根据该多个人体关键点信息,确定第一目标对象是否在执行抬手礼、双手传递等动作。例如,双手传递物品的姿态可以根据手部与肩膀之间的距离、双手之间的距离、手部与肘部之间的距离等多个人体关键点信息确定。又例如,抬手礼可以根据手部与肩膀之间的距离、手部与头部之间的距离等多个人体关键点信息确定。
在第一目标对象所处的场景为室外的情况下,检测装置获取的第一目标对象的人体关键点信息可以包括手部与头部之间的距离、双手与肩膀之间的距离、手部与肘部之间的距离等。如此,检测装置可以根据该多个人体关键点信息,确定第一目标对象是否在执行擦拭窗户、提示用户注意(如提示归零)、引导车辆等动作。例如,擦拭窗户的动作可以根据手部与头部之间的距离等人体关键信息确定。又例如,提示用户注意以及引导车辆的动作可以根据手部与头部之间的距离以及手部与肩膀之间的距离确定。
需要说明的是,由于工作人员在执行提示用户注意以及引导车辆等动作时,所处的区域不一致,因此,检测装置可以结合目标对象所处的区域以及人体关键点信息确定目标对象是否在执行相应的动作。检测装置也可以获取更多的人体关键点信息,确定目标对象是否执行某个动作。
步骤403、检测装置根据第一目标对象所处的场景信息以及第一目标对象的至少两个人体关键点信息,检测第一目标对象的姿态。
其中,检测第一目标对象的姿态可以是指检测第一目标对象的姿态是否符合标准姿态或者检测第一目标对象的姿态与标准姿态之间的相似度。
一种可能的实现方式中,检测装置可以根据第一目标对象所处的场景信息,确定第一目标对象对应的第一参考数据;对比至少两个人体关键点之间的距离与第一参考数据之间的差值,并根据该差值判断第一目标对象的姿态是否符合预设姿态。
其中,第一参考数据可以是指标准姿态下的至少两个人体关键点之间距离。
一种示例中,检测装置可以具有多个不同场景下的不同动作的参考数据。例如,在室内的场景下,双手传递物品的动作对应参考数据1,抬手礼的动作对应查考数据2。又例如,在室外的场景下擦拭窗户的动作对应参考数据3,提示用户注意的动作对应参考数据4,引导车辆的动作对应参考数据5。
进一步的,检测装置可以根据第一目标对象的至少两个人体关键点之间的距离与参考数据之前的差值是否超过阈值,确定第一目标对象的姿态是否符合预设姿态。
若没有超过阈值,则说明第一目标对象的姿态符合预设姿态;若超过阈值,则说明第一目标对象的姿态不符合预设姿态。
其中,在第一目标对象的姿态不符合预设姿态的情况下,检测装置可以输出第一通知消息,第一通知消息可以用于通知第一目标对象的姿态存在问题。例如,第一通知消息可以包括第一目标对象执行的动作、场景信息以及时间戳。
当然,检测装置还可以检测第一目标对象执行某一动作的时长。若第一目标对象在执行该动作的时间段内,符合预设姿态的时长大于不符合预设姿态的时长,则说明第一目标对象的工作态度较好。如若第一目标对象在执行该动作的时间段内,符合预设姿态的时长小于不符合预设姿态的时长,则说明第一目标对象的工作态度较差。
又一种可能的实现方式中,检测装置可以对比第一目标对象的姿态与预设姿态的相似度。例如,检测装置可以预先设置有第一目标对象的标准姿态的图像。检测装置可以基于余弦相似度、欧式距离等相似度算法确定第一目标对象的状态与预设姿态的相似度。
当第一目标对象的姿态与预设姿态的相似度大于预设阈值时,说明第一目标对象的姿态符合标准姿态;当第一目标对象的姿态与预设姿态的相似度小于预设阈值时,说明第一目标对象的姿态不符合标准姿态。
基于图4所示的技术方案中,检测装置可以在待识别视频数据满足预设条件的情况下,基于目标对象所处的场景,提取目标对象的多个人体关键点信息。如此,检测装置可以根据目标对象的多个人体关键点信息确定目标对象的姿态是否符合该场景下的标准。相较于现有技术中,通过人工检测工作人员的姿态,本申请的技术方案中,基于设备检测的准确性更高,同时,检测装置可以通过视频监控的手段,检测工作人员的姿态是否标准,无需人工耗费时间进行监控,提高了检测效率。
本申请上述实施例中的各个方案在不矛盾的前提下,均可以进行结合。
本申请实施例可以根据上述方法示例对检测装置进行功能模块或者功能单元的划分,例如,可以对应各个功能划分各个功能模块或者功能单元,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块或者功能单元的形式实现。其中,本申请实施例中对模块或者单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图6示出了一种通信装置60的结构示意图,该通信装置60可以为检测装置,也可以为应用于检测装置的芯片,该通信装置60可以用于执行上述实施例中涉及的检测装置的功能。图6所示的通信装置60可以包括:通信单元602以及处理单元601。
通信单元602,用于获取待识别视频数据,所述待识别视频数据包括第一目标对象。
处理单元601,用于当所述待识别视频数据满足预设条件时,确定第一目标对象所处的场景信息以及所述第一目标对象的至少两个人体关键点信息。
处理单元601,还用于根据所述第一目标对象所处的场景信息以及所述第一目标对象的至少两个人体关键点信息,检测所述第一目标对象的姿态。
其中,通信装置60的具体实现方式可参考图4所示的人体姿态的检测方法中检测装置的行为功能。
一种可能的设计中,图4所示的通信装置60还可以包括存储单元603。存储单元603用于储存程序代码和指令。
一种可能的设计中,处理单元601,具体用于:当待识别视频出现除第一目标对象之外的第二目标对象,且第二目标对象处于第一目标区域,则确定第一目标对象处于第一场景;当待识别视频出现第一物体,且第一物体处于第三目标区域,或者,第一目标对象处于第二目标区域,则确定第一目标对象处于第二场景。
一种可能的设计中,处理单元601,具体用于:根据第一目标对象所处的场景信息,确定第一目标对象对应的第一参考数据;对比至少两个人体关键点之间的距离与第一参考数据之间的差值;根据差值判断第一目标对象的姿态是否符合预设姿态。
一种可能的设计中,处理单元601,还用于提取待识别视频数据的多个连续的图像帧。处理单元601,还用于对多个连续的图像帧,执行第一对比操作,以确定待识别视频数据是否出现第二目标对象或第一物体,第一对操作包括:对比第一图像帧与第二图像帧,确定至少一个对比结果,第二图像帧为第一图像帧之后且与第一图像帧相邻的图像帧;若至少一个对比结果包括至少一个前景区域,判断至少一个前景区域的形状,至少一个前景区域为第一图像帧与第二图像帧之间像素不同的区域;若至少一个对比结果不包括至少一个前景区域,对比第二图像帧与第三图像帧,第三图像帧为第二图像帧之后且与第二图像帧相邻的图像帧。
作为又一种可实现方式,图6中的处理单元601可以由处理器代替,该处理器可以集成处理单元601的功能。图6中的通信单元602可以由收发器或收发单元代替,该收发器或收发单元可以集成通信单元602的功能。
进一步的,当处理单元601由处理器代替,通信单元602由收发器或收发单元代替时,本申请实施例所涉及的通信装置60可以为图2所示通信装置。
本申请实施例还提供了一种计算机可读存储介质。上述方法实施例中的全部或者部分流程可以由计算机程序来指令相关的硬件完成,该程序可存储于上述计算机可读存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。计算机可读存储介质可以是前述任一实施例的通信装置(包括数据发送端和/或数据接收端)的内部存储单元,例如通信装置的硬盘或内存。上述计算机可读存储介质也可以是上述终端装置的外部存储设备,例如上述终端装置上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,上述计算机可读存储介质还可以既包括上述通信装置的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述通信装置所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是,本申请的说明书、权利要求书及附图中的术语“第一”和“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上,“至少两个(项)”是指两个或三个及三个以上,“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种人体姿态的检测方法,其特征在于,所述方法包括:
获取待识别视频数据,所述待识别视频数据包括第一目标对象;
当所述待识别视频数据满足预设条件时,确定所述第一目标对象所处的场景信息以及所述第一目标对象的至少两个人体关键点信息;
根据所述第一目标对象所处的场景信息以及所述第一目标对象的至少两个人体关键点信息,检测所述第一目标对象的姿态。
2.根据权利要求1所述的方法,其特征在于,当所述待识别视频数据满足预设条件时,确定第一目标对象所处的场景信息,包括:
当所述待识别视频出现除所述第一目标对象之外的第二目标对象,且所述第二目标对象处于第一目标区域,则确定所述第一目标对象处于第一场景;
当所述待识别视频出现第一物体,且所述第一物体处于第三目标区域,或者,所述第一目标对象处于第二目标区域,则确定所述第一目标对象处于第二场景。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一目标对象所处的场景信息以及所述第一目标对象的至少两个人体关键点,检测所述第一目标对象的姿态,包括:
根据所述第一目标对象所处的场景信息,确定所述第一目标对象对应的第一参考数据;
对比所述至少两个人体关键点之间的距离与所述第一参考数据之间的差值;
根据所述差值判断所述第一目标对象的姿态是否符合预设姿态。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
提取待识别视频数据的多个连续的图像帧;
对所述多个连续的图像帧,执行第一对比操作,以确定所述待识别视频数据是否出现第二目标对象或第一物体,所述第一对操作包括:
对比第一图像帧与第二图像帧,确定至少一个对比结果,所述第二图像帧为所述第一图像帧之后且与所述第一图像帧相邻的图像帧;
若所述至少一个对比结果包括至少一个前景区域,判断所述至少一个前景区域的形状,所述至少一个前景区域为所述第一图像帧与所述第二图像帧之间像素不同的区域;
若所述至少一个对比结果不包括所述至少一个前景区域,对比所述第二图像帧与第三图像帧,所述第三图像帧为所述第二图像帧之后且与所述第二图像帧相邻的图像帧。
5.一种人体姿态的检测装置,其特征在于,所述检测装置包括:
通信单元,用于获取待识别视频数据,所述待识别视频数据包括第一目标对象;
处理单元,用于当所述待识别视频数据满足预设条件时,确定第一目标对象所处的场景信息以及所述第一目标对象的至少两个人体关键点信息;
所述处理单元,还用于根据所述第一目标对象所处的场景信息以及所述第一目标对象的至少两个人体关键点信息,检测所述第一目标对象的姿态。
6.根据权利要求5所述的装置,其特征在于,所述处理单元,具体用于:
当所述待识别视频出现除所述第一目标对象之外的第二目标对象,且所述第二目标对象处于第一目标区域,则确定所述第一目标对象处于第一场景;
当所述待识别视频出现第一物体,且所述第一物体处于第三目标区域,或者,所述第一目标对象处于第二目标区域,则确定所述第一目标对象处于第二场景。
7.根据权利要求5所述的装置,其特征在于,所述处理单元,具体用于:
根据所述第一目标对象所处的场景信息,确定所述第一目标对象对应的第一参考数据;
对比所述至少两个人体关键点之间的距离与所述第一参考数据之间的差值;
根据所述差值判断所述第一目标对象的姿态是否符合预设姿态。
8.根据权利要求5-7任一项所述的装置,其特征在于,
所述处理单元,还用于提取待识别视频数据的多个连续的图像帧;
所述处理单元,还用于对所述多个连续的图像帧,执行第一对比操作,以确定所述待识别视频数据是否出现第二目标对象或第一物体,所述第一对操作包括:
对比第一图像帧与第二图像帧,确定至少一个对比结果,所述第二图像帧为所述第一图像帧之后且与所述第一图像帧相邻的图像帧;
若所述至少一个对比结果包括至少一个前景区域,判断所述至少一个前景区域的形状,所述至少一个前景区域为所述第一图像帧与所述第二图像帧之间像素不同的区域;
若所述至少一个对比结果不包括所述至少一个前景区域,对比所述第二图像帧与第三图像帧,所述第三图像帧为所述第二图像帧之后且与所述第二图像帧相邻的图像帧。
9.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机指令,当所述计算机指令在人体姿态的检测装置上运行时,使得所述人体姿态的检测装置执行如权利要求1-4中任意一项所述的人体姿态的检测方法。
10.一种通信装置,其特征在于,包括:处理器、存储器和通信接口;其中,通信接口用于所述通信装置和其他设备或网络通信;所述存储器用于存储一个或多个程序,该一个或多个程序包括计算机执行指令,当该通信装置运行时,处理器执行该存储器存储的该计算机执行指令,以使该通信装置执行权利要求1至4中任一项所述的人体姿态的检测方法。
CN202110309735.2A 2021-03-23 2021-03-23 人体姿态的检测方法及装置 Pending CN112906646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110309735.2A CN112906646A (zh) 2021-03-23 2021-03-23 人体姿态的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110309735.2A CN112906646A (zh) 2021-03-23 2021-03-23 人体姿态的检测方法及装置

Publications (1)

Publication Number Publication Date
CN112906646A true CN112906646A (zh) 2021-06-04

Family

ID=76106157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110309735.2A Pending CN112906646A (zh) 2021-03-23 2021-03-23 人体姿态的检测方法及装置

Country Status (1)

Country Link
CN (1) CN112906646A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023025181A1 (zh) * 2021-08-27 2023-03-02 北京字跳网络技术有限公司 图像识别方法、装置和电子设备
CN116343341A (zh) * 2023-05-12 2023-06-27 天津志听医疗科技有限公司 一种基于姿态识别的动作预测分析方法和系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221663A (zh) * 2008-01-18 2008-07-16 电子科技大学中山学院 一种基于运动目标检测的智能监控报警方法
US8380558B1 (en) * 2006-12-21 2013-02-19 Videomining Corporation Method and system for analyzing shopping behavior in a store by associating RFID data with video-based behavior and segmentation data
US20150310312A1 (en) * 2014-04-25 2015-10-29 Xerox Corporation Busyness detection and notification method and system
CN109086729A (zh) * 2018-08-13 2018-12-25 成都盯盯科技有限公司 通信行为检测方法、装置、设备及存储介质
CN109194879A (zh) * 2018-11-19 2019-01-11 Oppo广东移动通信有限公司 拍照方法、装置、存储介质及移动终端
CN109271961A (zh) * 2018-10-09 2019-01-25 成都阳帆网络科技有限公司 基于人物身份特征识别的行为模式判断方法
WO2019116099A1 (en) * 2017-12-13 2019-06-20 Humanising Autonomy Limited Systems and methods for predicting pedestrian intent
CN110298221A (zh) * 2018-03-23 2019-10-01 上海形趣信息科技有限公司 自助健身方法、系统、电子设备、存储介质
CN110309801A (zh) * 2019-07-05 2019-10-08 名创优品(横琴)企业管理有限公司 一种视频分析方法、装置、系统、存储介质及计算机设备
CN110456723A (zh) * 2019-08-15 2019-11-15 成都睿晓科技有限公司 一种基于深度学习的加油站卸油区安全管控系统
CN110472870A (zh) * 2019-08-15 2019-11-19 成都睿晓科技有限公司 一种基于人工智能的收银台服务规范检测系统
CN110490125A (zh) * 2019-08-15 2019-11-22 成都睿晓科技有限公司 一种基于手势自动检测的加油区服务质量检测系统
CN110909684A (zh) * 2019-11-25 2020-03-24 创新奇智(北京)科技有限公司 基于人体检测的工作状态检查系统及方法
CN112163566A (zh) * 2020-10-28 2021-01-01 中国铁路兰州局集团有限公司 视频图像的监控方法和装置
CN112237730A (zh) * 2019-07-17 2021-01-19 腾讯科技(深圳)有限公司 健身动作纠正方法及电子设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8380558B1 (en) * 2006-12-21 2013-02-19 Videomining Corporation Method and system for analyzing shopping behavior in a store by associating RFID data with video-based behavior and segmentation data
CN101221663A (zh) * 2008-01-18 2008-07-16 电子科技大学中山学院 一种基于运动目标检测的智能监控报警方法
US20150310312A1 (en) * 2014-04-25 2015-10-29 Xerox Corporation Busyness detection and notification method and system
WO2019116099A1 (en) * 2017-12-13 2019-06-20 Humanising Autonomy Limited Systems and methods for predicting pedestrian intent
CN110298221A (zh) * 2018-03-23 2019-10-01 上海形趣信息科技有限公司 自助健身方法、系统、电子设备、存储介质
CN109086729A (zh) * 2018-08-13 2018-12-25 成都盯盯科技有限公司 通信行为检测方法、装置、设备及存储介质
CN109271961A (zh) * 2018-10-09 2019-01-25 成都阳帆网络科技有限公司 基于人物身份特征识别的行为模式判断方法
CN109194879A (zh) * 2018-11-19 2019-01-11 Oppo广东移动通信有限公司 拍照方法、装置、存储介质及移动终端
CN110309801A (zh) * 2019-07-05 2019-10-08 名创优品(横琴)企业管理有限公司 一种视频分析方法、装置、系统、存储介质及计算机设备
CN112237730A (zh) * 2019-07-17 2021-01-19 腾讯科技(深圳)有限公司 健身动作纠正方法及电子设备
CN110456723A (zh) * 2019-08-15 2019-11-15 成都睿晓科技有限公司 一种基于深度学习的加油站卸油区安全管控系统
CN110472870A (zh) * 2019-08-15 2019-11-19 成都睿晓科技有限公司 一种基于人工智能的收银台服务规范检测系统
CN110490125A (zh) * 2019-08-15 2019-11-22 成都睿晓科技有限公司 一种基于手势自动检测的加油区服务质量检测系统
CN110909684A (zh) * 2019-11-25 2020-03-24 创新奇智(北京)科技有限公司 基于人体检测的工作状态检查系统及方法
CN112163566A (zh) * 2020-10-28 2021-01-01 中国铁路兰州局集团有限公司 视频图像的监控方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WANQING ZHAO 等: "Learning deep network for detecting 3D object keypoints and 6D poses" *
向桂山 等: "基于人脸肤色和特征的实时检测跟踪算法" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023025181A1 (zh) * 2021-08-27 2023-03-02 北京字跳网络技术有限公司 图像识别方法、装置和电子设备
CN116343341A (zh) * 2023-05-12 2023-06-27 天津志听医疗科技有限公司 一种基于姿态识别的动作预测分析方法和系统
CN116343341B (zh) * 2023-05-12 2023-08-15 天津志听医疗科技有限公司 一种基于姿态识别的动作预测分析方法和系统

Similar Documents

Publication Publication Date Title
CN108985199B (zh) 商品取放操作的检测方法、装置及存储介质
CN109815818B (zh) 目标人物追踪方法、系统及相关装置
CN110610127B (zh) 人脸识别方法、装置、存储介质及电子设备
CN110033293B (zh) 获取用户信息的方法、装置及系统
CN104246793A (zh) 移动设备的三维脸部识别
CN113255606A (zh) 行为识别方法、装置、计算机设备及存储介质
CN110879995A (zh) 目标物品检测方法及装置、存储介质及电子装置
CN109656973B (zh) 一种目标对象关联分析方法及装置
EP2991027A1 (en) Image processing program, image processing method and information terminal
CN112906646A (zh) 人体姿态的检测方法及装置
CN109426785A (zh) 一种人体目标身份识别方法及装置
CN110992502A (zh) 一种人脸识别考勤方法、系统以及可读存储介质
CN111753608A (zh) 信息处理方法及装置、电子设备及存储介质
US10853829B2 (en) Association method, and non-transitory computer-readable storage medium
CN107832598B (zh) 解锁控制方法及相关产品
CN114783061B (zh) 一种吸烟行为检测方法、装置、设备和介质
CN109800656B (zh) 定位方法及相关产品
CN110446082B (zh) 广告推送方法、信息处理方法及相关产品
CN111078751A (zh) 一种基于unreal4进行目标统计的方法及其系统
CN114758286B (zh) 基于工作票事件的边缘智能安全监测方法和装置
CN112580397A (zh) 数据处理方法、装置及存储介质
CN112561987B (zh) 人员位置显示方法及相关装置
CN115953815A (zh) 基建现场的监测方法及装置
CN113191356B (zh) 一种开关柜压板设备的状态识别方法及相关装置
CN112183284B (zh) 一种安全信息验证、代驾接单控制方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210604