CN108921098B - 人体运动分析方法、装置、设备及存储介质 - Google Patents

人体运动分析方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN108921098B
CN108921098B CN201810720374.9A CN201810720374A CN108921098B CN 108921098 B CN108921098 B CN 108921098B CN 201810720374 A CN201810720374 A CN 201810720374A CN 108921098 B CN108921098 B CN 108921098B
Authority
CN
China
Prior art keywords
human body
action
target
target human
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810720374.9A
Other languages
English (en)
Other versions
CN108921098A (zh
Inventor
王健
李旭斌
亢乐
刘泽宇
迟至真
张成月
刘霄
孙昊
文石磊
包英泽
陈明裕
丁二锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810720374.9A priority Critical patent/CN108921098B/zh
Publication of CN108921098A publication Critical patent/CN108921098A/zh
Priority to US16/459,890 priority patent/US10970528B2/en
Priority to EP19183926.5A priority patent/EP3531341B1/en
Priority to JP2019124785A priority patent/JP6731097B2/ja
Application granted granted Critical
Publication of CN108921098B publication Critical patent/CN108921098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/52—Weighing apparatus combined with other objects, e.g. furniture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本发明实施例提供一种人体运动分析方法、装置、设备及存储介质。该方法包括：获取多个拍摄设备拍摄的图像信息，所述多个拍摄设备中至少有一个拍摄设备设置在货架上方；根据所述多个拍摄设备拍摄的图像信息进行人体跟踪，确定至少一个人体在空间中的位置信息和所述至少一个人体的标识信息；根据所述至少一个人体中目标人体在空间中的位置信息，获取与所述位置信息对应的货架上方的拍摄设备拍摄的目标图像；根据所述目标图像以及与所述位置信息对应的非视觉传感器的检测数据，对所述目标人体的动作进行识别。本发明实施例提高了人体跟踪的准确度，提高了人体动作识别精度。

Description

人体运动分析方法、装置、设备及存储介质
技术领域
本发明实施例涉及通信技术领域，尤其涉及一种人体运动分析方法、装置、设备及存储介质。
背景技术
在零售场景下，需要对人体运动进行分析，具体涉及人体跟踪和与购买行为相关的动作获取及识别。
现有技术中，通过均匀布设的多路摄像头进行人体跟踪，具体采用多路摄像头拍摄到的二维图像信息作为人体跟踪的基础，在二维图像中进行人体跟踪并确定人体位置，但是，当零售场景下人员密集时，人体跟踪不准确。另外，现有技术采用光幕或红外传感器获取及识别与购买行为相关的动作，但是通过光幕或红外传感器获取的手部位置不精确，无法准确识别人体动作。
发明内容
本发明实施例提供一种人体运动分析方法、装置、设备及存储介质，以提高人体跟踪的准确度、提高人体动作识别精度。
第一方面，本发明实施例提供一种人体运动分析方法，包括：
获取多个拍摄设备拍摄的图像信息，所述多个拍摄设备中至少有一个拍摄设备设置在货架上方；
根据所述多个拍摄设备拍摄的图像信息进行人体跟踪，确定至少一个人体在空间中的位置信息和所述至少一个人体的标识信息；
根据所述至少一个人体中目标人体在空间中的位置信息，获取与所述位置信息对应的货架上方的拍摄设备拍摄的目标图像；
根据所述目标图像以及与所述位置信息对应的非视觉传感器的检测数据，对所述目标人体的动作进行识别。
第二方面，本发明实施例提供一种人体运动分析装置，包括：
第一获取模块，用于获取多个拍摄设备拍摄的图像信息，所述多个拍摄设备中至少有一个拍摄设备设置在货架上方；
确定模块，用于根据所述多个拍摄设备拍摄的图像信息进行人体跟踪，确定至少一个人体在空间中的位置信息和所述至少一个人体的标识信息；
第二获取模块，用于根据所述至少一个人体中目标人体在空间中的位置信息，获取与所述位置信息对应的货架上方的拍摄设备拍摄的目标图像；
识别模块，用于根据所述目标图像以及与所述位置信息对应的非视觉传感器的检测数据，对所述目标人体的动作进行识别。
第三方面，本发明实施例提供一种设备，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现第一方面所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。
本发明实施例提供的人体运动分析方法、装置、设备及存储介质，通过获取多个拍摄设备拍摄的图像信息，根据该多个拍摄设备拍摄的图像信息进行人体跟踪，多个拍摄设备中至少有一个拍摄设备设置在货架上方，由于货架上方的拍摄设备能够较为完整的拍摄到货架前方的人体，因此提高了人体跟踪的准确度；另外，结合货架上方的拍摄设备拍摄的图像信息和人体周围的非视觉传感器的检测数据，对人体动作进行识别，提高了人体动作识别精度。
附图说明
图1为本发明实施例提供的一种应用场景的示意图；
图2为本发明实施例提供的人体运动分析方法流程图；
图3为本发明另一实施例提供的人体运动分析方法流程图；
图4为本发明实施例提供的人体运动分析装置的结构示意图；
图5为本发明实施例提供的设备的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本发明提供的人体运动分析方法，可以适用于图1所示的应用场景。如图1所示，该应用场景具体可以是零售场景，例如超市、商场等，如图1所示，该应用场景包括多个拍摄设备例如拍摄设备11、拍摄设备12、拍摄设备13、拍摄设备14，其中，拍摄设备11、拍摄设备12、拍摄设备13可设置在店铺的顶部，拍摄设备14可设置在货架15的上方。另外，该应用场景中还包括具有数据处理、图像处理功能的设备16，设备16可以是店铺本地的终端设备例如计算机，也可以是远程的服务器。设备16可接收拍摄设备11、拍摄设备12、拍摄设备13、拍摄设备14拍摄到的图像信息。另外，货架15上还可以安装有非视觉传感器，例如安装在货架15的横梁17上的光幕传感器18、安装在货架15的层板19上的红外传感器20，设备16可获取非视觉传感器的检测数据，可选的，拍摄设备和非视觉传感器可以与设备16有线连接或无线连接。
本发明提供的人体运动分析方法，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图2为本发明实施例提供的人体运动分析方法流程图。本发明实施例针对现有技术的如上技术问题，提供了人体运动分析方法，该方法具体步骤如下：
步骤201、获取多个拍摄设备拍摄的图像信息，所述多个拍摄设备中至少有一个拍摄设备设置在货架上方。
如图1所示，设置在店铺顶部的拍摄设备11、拍摄设备12、拍摄设备13和设置在货架15上方的拍摄设备14实时拍摄图像信息，并将拍摄到的图像信息发送给设备16，可选的，每个拍摄设备和设备16之间可以进行有线通信或无线通信。在本实施例中，拍摄设备具体可以是RGB摄像头，也可以是RGB-D摄像头。此处只是示意性说明，并不限定拍摄设备的数量和具体位置。可以理解，在其他实施例中，拍摄设备11、拍摄设备12、拍摄设备13可以不设置在店铺顶部，例如可以设置在店铺的墙上、角落等地方，只要多个拍摄设备的拍摄覆盖范围能够覆盖到该店铺即可。此外，拍摄设备14也可以不设置在货架上方，例如可以设置在货架的竖梁上，只要该拍摄设备14能够拍摄到该货架前方的顾客即可，此处也不限定每个货架上安装的拍摄设备的数量。
步骤202、根据所述多个拍摄设备拍摄的图像信息进行人体跟踪，确定至少一个人体在空间中的位置信息和所述至少一个人体的标识信息。
设备16接收到拍摄设备11、拍摄设备12、拍摄设备13和拍摄设备14实时拍摄的图像信息后，根据每个拍摄设备实时拍摄的图像信息进行人体跟踪，确定出每个拍摄设备拍摄到的人体在空间中的3D位置信息、人体的标识信息、以及人体在每个拍摄设备拍摄到的图像信息中的2D位置信息。
例如，拍摄设备11、拍摄设备12、拍摄设备13和拍摄设备14拍摄到的图像中包括人体A、人体B和人体C，设备16进行人体跟踪后，确定出人体A、人体B和人体C分别在空间中的3D位置信息、标识信息、以及人体A、人体B和人体C分别在各个拍摄设备拍摄的图像中的2D位置。
步骤203、根据所述至少一个人体中目标人体在空间中的位置信息，获取与所述位置信息对应的货架上方的拍摄设备拍摄的目标图像。
可以理解，人体A、人体B和人体C在店铺内会产生各种不同的动作，例如拿起商品、放回商品等动作，设备16可以对每个人体的动作进行识别，以人体A为例，当设备16确定出人体A在空间中的3D位置信息后，可进一步确定与该3D位置信息对应的货架上方的拍摄设备，例如，设备16根据人体A在空间中的3D位置信息，确定出距离人体A最近的设置在货架上方的拍摄设备例如拍摄设备14，并从设备16接收到的所有图像信息中确定出由拍摄设备14拍摄的图像信息，可以理解，拍摄设备14拍摄的图像信息中包括人体A。此处，将拍摄设备14拍摄的图像信息记为目标图像。
步骤204、根据所述目标图像以及与所述位置信息对应的非视觉传感器的检测数据，对所述目标人体的动作进行识别。
在本实施例中，设备16还可以根据人体A在空间中的3D位置信息，确定出距离人体A最近的非视觉传感器，具体的，设备16根据拍摄设备14拍摄的图像信息和距离人体A最近的非视觉传感器的检测数据，对人体A的动作进行识别。
具体的，所述对所述目标人体的动作进行识别，包括：识别所述目标人体拿起商品的动作；和/或识别所述目标人体放下商品的动作。
例如，设备16根据拍摄设备14拍摄的图像信息和距离人体A最近的非视觉传感器的检测数据，对人体A拿起商品和/或放下商品的动作进行识别。
本发明实施例通过获取多个拍摄设备拍摄的图像信息，根据该多个拍摄设备拍摄的图像信息进行人体跟踪，多个拍摄设备中至少有一个拍摄设备设置在货架上方，由于货架上方的拍摄设备能够较为完整的拍摄到货架前方的人体，因此提高了人体跟踪的准确度；另外，结合货架上方的拍摄设备拍摄的图像信息和人体周围的非视觉传感器的检测数据，对人体动作进行识别，提高了人体动作识别精度。
图3为本发明另一实施例提供的人体运动分析方法流程图。在上述实施例的基础上，所述根据所述目标图像以及与所述位置信息对应的非视觉传感器的检测数据，对所述目标人体的动作进行识别，具体包括如下步骤：
步骤301、获取所述目标图像中目标人体的关键点，所述目标人体的关键点包括所述目标人体的手部关键点。
例如，设备16接收到拍摄设备14拍摄的目标图像后，根据人体A在该目标图像中的2D位置信息，采用人体关键点算法获取该目标图像中人体A的关键点，可以理解，该人体A的关键点包括人体A躯体的关键点和人体A手部的关键点，并且设备16可根据该目标图像中人体A躯体的关键点和人体A手部的关键点，建立人体A和人体A手部的关联关系。
步骤302、根据所述目标人体的手部关键点以及与所述位置信息对应的非视觉传感器的检测数据，对所述目标人体的动作进行识别。
具体的，设备16根据人体A手部的关键点以及距离人体A最近的非视觉传感器的检测数据，对人体A的动作进行识别。可以理解，设备16可以实时接收到拍摄设备14拍摄的目标图像，并实时从该目标图像中提取人体A手部的关键点，但是，设备16并非实时根据人体A手部的关键点，识别人体A手部的动作，因为人体A手部并非实时都发生动作，例如人体A并非实时都拿起商品或放下商品，人体A在拿起商品之前可能会仔细观察商品，当人体A拿起商品后也会仔细观看并不会立即放下商品，因此，如果人体A手部动作例如拿起商品或放下商品发生的频率较低，而设备16实时根据人体A手部的关键点，识别人体A手部的动作时，将会加大设备16的运算量。因此，在本实施例中，设备16可结合距离人体A最近的非视觉传感器的检测数据和人体A手部的关键点，对人体A的动作进行识别。
可选的，所述非视觉传感器包括光幕传感器，所述光幕传感器设置在所述货架面向顾客的横梁上，所述光幕传感器用于检测所述动作的发生时间；所述根据所述目标人体的手部关键点以及与所述位置信息对应的非视觉传感器的检测数据，对所述目标人体的动作进行识别，包括：在所述光幕传感器检测到的所述动作的发生时间，根据所述目标人体的手部关键点，对所述目标人体的动作进行识别。
如图1所示，光幕传感器18设置在货架15的横梁17上，具体的，光幕传感器18可以呈条状，且光幕传感器18设置在横梁17面向顾客的外沿上。可选的，横梁17的外沿上设置有多个光幕传感器，光幕传感器18只是其中一个。例如，该多个光幕传感器依次排列设置在横梁17的外沿上，其中，每个光幕传感器相对于横梁17的位置信息是预先设定的。
例如，当人体A伸出手去拿商品21或者将商品21放回原处时，人体A的手部将经过该多个光幕传感器中的至少一个例如光幕传感器18，此时光幕传感器18可将感测信号发送给设备16，设备16可根据光幕传感器18发出感测信号的时间确定人体A手部动作的发生时间，并根据光幕传感器18相对于横梁17的位置信息，确定人体A手部动作的发生位置。具体的，设备16在人体A手部动作的发生时间，根据人体A手部关键点及变化，对人体A手部的动作进行识别，例如拿起商品、放回商品或其他动作。
可选的，所述非视觉传感器还包括红外传感器，所述红外传感器设置在所述货架的层板上；所述光幕传感器还用于检测所述动作的发生位置；所述在所述光幕传感器检测到的所述动作的发生时间，根据所述目标人体的手部关键点，对所述目标人体的动作进行识别，包括：在所述光幕传感器检测到的所述动作的发生时间，根据所述光幕传感器检测到的所述动作的发生位置，获取与所述动作的发生位置对应的红外传感器检测到的人体和/或商品的红外辐射强度变化；根据与所述动作的发生位置对应的红外传感器检测到的人体和/或商品的红外辐射强度变化，以及所述目标人体的手部关键点，对所述目标人体的动作进行识别。
如图1所示，红外传感器20设置在货架15的层板19上，可以理解，货架15的层板19上可设置有多个红外传感器，红外传感器20只是其中一个。红外传感器可用于感测人体A手部辐射的红外线，以及红外传感器前方的商品。当人体A伸手拿商品21或将商品21放回原处时，红外传感器检测到的人体A手部辐射的红外线的强度是在不断变化的，例如，当人体A手部逐渐靠近商品21时，红外传感器检测到的人体A手部辐射的红外线的强度不断增加；当人体A手部逐渐远离商品21时，红外传感器检测到的人体A手部辐射的红外线的强度不断减弱。可以理解，层板19上距离人体A手部最近的红外传感器检测到的人体A手部辐射的红外线的强度较为准确。
如何确定层板19上距离人体A手部最近的红外传感器，一种可能的方式是：当人体A伸出手去拿商品21或者将商品21放回原处时，人体A的手部将经过如上所述多个光幕传感器中的至少一个例如光幕传感器18，此时光幕传感器18可将感测信号发送给设备16，设备16可根据光幕传感器18发出感测信号的时间确定人体A手部动作的发生时间，并根据光幕传感器18相对于横梁17的位置信息，确定人体A手部动作的发生位置，此时设备16可根据人体A手部动作的发生位置，确定出距离该人体A手部动作的发生位置最近的红外传感器，或者确定出距离光幕传感器18最近的红外传感器例如红外传感器20。进一步，设备16获取红外传感器20检测到的人体和/或商品的红外辐射强度变化，并结合红外传感器20检测到的人体和/或商品的红外辐射强度变化和人体A手部在拍摄设备14拍摄的目标图像中的关键点及该关键点的变化，对人体A手部的动作进行识别，例如拿起商品、放回商品或其他动作。
可选的，所述非视觉传感器还包括重力传感器，所述重力传感器设置在所述货架的层板上；所述方法还包括：在所述光幕传感器检测到的所述动作的发生时间，根据所述光幕传感器检测到的所述动作的发生位置，获取与所述动作的发生位置对应的重力传感器检测到的重力变化；所述根据与所述动作的发生位置对应的红外传感器检测到的人体和/或商品的红外辐射强度变化，以及所述目标人体的手部关键点，对所述目标人体的动作进行识别，包括：根据与所述动作的发生位置对应的红外传感器检测到的人体和/或商品的红外辐射强度变化、与所述动作的发生位置对应的重力传感器检测到的重力变化，以及所述目标人体的手部关键点，对所述目标人体的动作进行识别。
如图1所示，货架15的层板19上还可设置有重力传感器，可以理解，当层板19上的商品减少或增加时，该重力传感器的检测结果是不同的，也就是说，当人体A从层板19上拿起商品或放回商品时，该重力传感器的检测结果是不同的。因此，设备16在对人体A手部动作进行识别时，还可以结合该重力传感器的检测结果。
具体的，当人体A伸出手去拿商品21或者将商品21放回原处时，人体A的手部将经过如上所述多个光幕传感器中的至少一个例如光幕传感器18，此时光幕传感器18可将感测信号发送给设备16，设备16可根据光幕传感器18发出感测信号的时间确定人体A手部动作的发生时间，并根据光幕传感器18相对于横梁17的位置信息，确定人体A手部动作的发生位置，此时设备16可根据人体A手部动作的发生位置，确定出距离该人体A手部动作的发生位置最近的红外传感器，或者确定出距离光幕传感器18最近的红外传感器例如红外传感器20，以及确定出距离该人体A手部动作的发生位置最近的重力传感器，或者确定出距离光幕传感器18最近的红外传感器例如重力传感器。进一步，设备16获取红外传感器20检测到的人体和/或商品的红外辐射强度变化，以及该重力传感器检测到的重力变化，设备16结合红外传感器20检测到的人体和/或商品的红外辐射强度变化、该重力传感器检测到的重力变化、以及人体A手部在拍摄设备14拍摄的目标图像中的关键点及该关键点的变化，对人体A手部的动作进行识别，例如拿起商品、放回商品或其他动作。
此外，当设备16确定出人体A手部的动作后，还可以根据上述人体跟踪过程中确定的人体A的标识信息，确定出该动作是当前店铺中的哪个人正在进行的。
本发明实施例通过结合货架上方的拍摄设备拍摄的图像信息和人体周围的非视觉传感器的检测数据，对人体动作进行识别，提高了人体动作识别精度，另外，通过非视觉传感器的检测数据确定人体动作的发生时间，在人体动作的发生时间对人体动作进行识别，而不用实时识别人体动作，当人体动作发生频率较低时，可减少设备的运算量，提高设备的资源利用率。
图4为本发明实施例提供的人体运动分析装置的结构示意图。该人体运动分析装置具体可以是上述实施例中的设备16，或该设备16的部件。本发明实施例提供的人体运动分析装置可以执行人体运动分析方法实施例提供的处理流程，如图4所示，人体运动分析装置40包括：第一获取模块41、确定模块42、第二获取模块43和识别模块44；其中，第一获取模块41用于获取多个拍摄设备拍摄的图像信息，所述多个拍摄设备中至少有一个拍摄设备设置在货架上方；确定模块42用于根据所述多个拍摄设备拍摄的图像信息进行人体跟踪，确定至少一个人体在空间中的位置信息和所述至少一个人体的标识信息；第二获取模块43用于根据所述至少一个人体中目标人体在空间中的位置信息，获取与所述位置信息对应的货架上方的拍摄设备拍摄的目标图像；识别模块44用于根据所述目标图像以及与所述位置信息对应的非视觉传感器的检测数据，对所述目标人体的动作进行识别。
可选的，识别模块44包括获取单元441和识别单元442；获取单元441用于获取所述目标图像中目标人体的关键点，所述目标人体的关键点包括所述目标人体的手部关键点；识别单元442用于根据所述目标人体的手部关键点以及与所述位置信息对应的非视觉传感器的检测数据，对所述目标人体的动作进行识别。
可选的，所述非视觉传感器包括光幕传感器，所述光幕传感器设置在所述货架面向顾客的横梁上，所述光幕传感器用于检测所述动作的发生时间；识别单元442具体用于：在所述光幕传感器检测到的所述动作的发生时间，根据所述目标人体的手部关键点，对所述目标人体的动作进行识别。
可选的，所述非视觉传感器还包括红外传感器，所述红外传感器设置在所述货架的层板上；所述光幕传感器还用于检测所述动作的发生位置；获取单元441还用于：在所述光幕传感器检测到的所述动作的发生时间，根据所述光幕传感器检测到的所述动作的发生位置，获取与所述动作的发生位置对应的红外传感器检测到的人体和/或商品的红外辐射强度变化；识别单元442具体用于：根据与所述动作的发生位置对应的红外传感器检测到的人体和/或商品的红外辐射强度变化，以及所述目标人体的手部关键点，对所述目标人体的动作进行识别。
可选的，所述非视觉传感器还包括重力传感器，所述重力传感器设置在所述货架的层板上；获取单元441还用于：在所述光幕传感器检测到的所述动作的发生时间，根据所述光幕传感器检测到的所述动作的发生位置，获取与所述动作的发生位置对应的重力传感器检测到的重力变化；识别单元442具体用于：根据与所述动作的发生位置对应的红外传感器检测到的人体和/或商品的红外辐射强度变化、与所述动作的发生位置对应的重力传感器检测到的重力变化，以及所述目标人体的手部关键点，对所述目标人体的动作进行识别。
可选的，识别模块44具体用于：识别所述目标人体拿起商品的动作；和/或识别所述目标人体放下商品的动作。
图4所示实施例的人体运动分析装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图5为本发明实施例提供的设备的结构示意图。该设备可以是终端设备,也可以是服务器。本发明实施例提供的设备可以执行人体运动分析方法实施例提供的处理流程，如图5所示，设备50包括存储器51、处理器52、计算机程序和通讯接口53；其中，计算机程序存储在存储器51中，并被配置为由处理器52执行以上实施例所述的人体运动分析方法。
图5所示实施例的设备可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
另外，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的人体运动分析方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种人体运动分析方法，其特征在于，包括：
获取多个拍摄设备拍摄的图像信息，所述多个拍摄设备中至少有一个拍摄设备设置在货架上方；
根据所述多个拍摄设备拍摄的图像信息进行人体跟踪，确定至少一个人体在空间中的位置信息和所述至少一个人体的标识信息；
根据所述至少一个人体中目标人体在空间中的位置信息，获取与所述位置信息对应的货架上方的拍摄设备拍摄的目标图像；
根据所述目标图像以及与所述位置信息对应的非视觉传感器的检测数据，对所述目标人体的动作进行识别；
其中，所述根据所述目标图像以及与所述位置信息对应的非视觉传感器的检测数据，对所述目标人体的动作进行识别，包括：
获取所述目标图像中目标人体的关键点，所述目标人体的关键点包括所述目标人体的手部关键点；
根据所述目标人体的手部关键点以及与所述位置信息对应的非视觉传感器的检测数据，对所述目标人体的动作进行识别。
2.根据权利要求1所述的方法，其特征在于，所述非视觉传感器包括光幕传感器，所述光幕传感器设置在所述货架面向顾客的横梁上，所述光幕传感器用于检测所述动作的发生时间；
所述根据所述目标人体的手部关键点以及与所述位置信息对应的非视觉传感器的检测数据，对所述目标人体的动作进行识别，包括：
在所述光幕传感器检测到的所述动作的发生时间，根据所述目标人体的手部关键点，对所述目标人体的动作进行识别。
3.根据权利要求2所述的方法，其特征在于，所述非视觉传感器还包括红外传感器，所述红外传感器设置在所述货架的层板上；
所述光幕传感器还用于检测所述动作的发生位置；
所述在所述光幕传感器检测到的所述动作的发生时间，根据所述目标人体的手部关键点，对所述目标人体的动作进行识别，包括：
在所述光幕传感器检测到的所述动作的发生时间，根据所述光幕传感器检测到的所述动作的发生位置，获取与所述动作的发生位置对应的红外传感器检测到的人体和/或商品的红外辐射强度变化；
根据与所述动作的发生位置对应的红外传感器检测到的人体和/或商品的红外辐射强度变化，以及所述目标人体的手部关键点，对所述目标人体的动作进行识别。
4.根据权利要求3所述的方法，其特征在于，所述非视觉传感器还包括重力传感器，所述重力传感器设置在所述货架的层板上；
所述方法还包括：
在所述光幕传感器检测到的所述动作的发生时间，根据所述光幕传感器检测到的所述动作的发生位置，获取与所述动作的发生位置对应的重力传感器检测到的重力变化；
所述根据与所述动作的发生位置对应的红外传感器检测到的人体和/或商品的红外辐射强度变化，以及所述目标人体的手部关键点，对所述目标人体的动作进行识别，包括：
根据与所述动作的发生位置对应的红外传感器检测到的人体和/或商品的红外辐射强度变化、与所述动作的发生位置对应的重力传感器检测到的重力变化，以及所述目标人体的手部关键点，对所述目标人体的动作进行识别。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述目标人体的动作进行识别，包括：
识别所述目标人体拿起商品的动作；和/或
识别所述目标人体放下商品的动作。
6.一种人体运动分析装置，其特征在于，包括：
第一获取模块，用于获取多个拍摄设备拍摄的图像信息，所述多个拍摄设备中至少有一个拍摄设备设置在货架上方；
确定模块，用于根据所述多个拍摄设备拍摄的图像信息进行人体跟踪，确定至少一个人体在空间中的位置信息和所述至少一个人体的标识信息；
第二获取模块，用于根据所述至少一个人体中目标人体在空间中的位置信息，获取与所述位置信息对应的货架上方的拍摄设备拍摄的目标图像；
识别模块，用于根据所述目标图像以及与所述位置信息对应的非视觉传感器的检测数据，对所述目标人体的动作进行识别；
其中，所述识别模块包括：获取单元和识别单元；
所述获取单元用于获取所述目标图像中目标人体的关键点，所述目标人体的关键点包括所述目标人体的手部关键点；
所述识别单元用于根据所述目标人体的手部关键点以及与所述位置信息对应的非视觉传感器的检测数据，对所述目标人体的动作进行识别。
7.根据权利要求6所述的人体运动分析装置，其特征在于，所述非视觉传感器包括光幕传感器，所述光幕传感器设置在所述货架面向顾客的横梁上，所述光幕传感器用于检测所述动作的发生时间；
所述识别单元具体用于：在所述光幕传感器检测到的所述动作的发生时间，根据所述目标人体的手部关键点，对所述目标人体的动作进行识别。
8.根据权利要求7所述的人体运动分析装置，其特征在于，所述非视觉传感器还包括红外传感器，所述红外传感器设置在所述货架的层板上；
所述光幕传感器还用于检测所述动作的发生位置；
所述获取单元还用于：在所述光幕传感器检测到的所述动作的发生时间，根据所述光幕传感器检测到的所述动作的发生位置，获取与所述动作的发生位置对应的红外传感器检测到的人体和/或商品的红外辐射强度变化；
所述识别单元具体用于：根据与所述动作的发生位置对应的红外传感器检测到的人体和/或商品的红外辐射强度变化，以及所述目标人体的手部关键点，对所述目标人体的动作进行识别。
9.根据权利要求8所述的人体运动分析装置，其特征在于，所述非视觉传感器还包括重力传感器，所述重力传感器设置在所述货架的层板上；
所述获取单元还用于：在所述光幕传感器检测到的所述动作的发生时间，根据所述光幕传感器检测到的所述动作的发生位置，获取与所述动作的发生位置对应的重力传感器检测到的重力变化；
所述识别单元具体用于：根据与所述动作的发生位置对应的红外传感器检测到的人体和/或商品的红外辐射强度变化、与所述动作的发生位置对应的重力传感器检测到的重力变化，以及所述目标人体的手部关键点，对所述目标人体的动作进行识别。
10.根据权利要求6-9任一项所述的人体运动分析装置，其特征在于，所述识别模块具体用于：
识别所述目标人体拿起商品的动作；和/或
识别所述目标人体放下商品的动作。
11.一种设备，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-5任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-5任一项所述的方法。
CN201810720374.9A 2018-07-03 2018-07-03 人体运动分析方法、装置、设备及存储介质 Active CN108921098B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810720374.9A CN108921098B (zh) 2018-07-03 2018-07-03 人体运动分析方法、装置、设备及存储介质
US16/459,890 US10970528B2 (en) 2018-07-03 2019-07-02 Method for human motion analysis, apparatus for human motion analysis, device and storage medium
EP19183926.5A EP3531341B1 (en) 2018-07-03 2019-07-02 Method and apparatus for recognising an action of a hand
JP2019124785A JP6731097B2 (ja) 2018-07-03 2019-07-03 人体行動分析方法、人体行動分析装置、機器及びコンピュータ可読記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810720374.9A CN108921098B (zh) 2018-07-03 2018-07-03 人体运动分析方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN108921098A CN108921098A (zh) 2018-11-30
CN108921098B true CN108921098B (zh) 2020-08-18

Family

ID=64425344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810720374.9A Active CN108921098B (zh) 2018-07-03 2018-07-03 人体运动分析方法、装置、设备及存储介质

Country Status (4)

Country Link
US (1) US10970528B2 (zh)
EP (1) EP3531341B1 (zh)
JP (1) JP6731097B2 (zh)
CN (1) CN108921098B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429194B (zh) * 2019-01-09 2023-04-07 阿里巴巴集团控股有限公司 用户轨迹确定系统、方法、装置及服务器
CN109948515B (zh) * 2019-03-15 2022-04-15 百度在线网络技术（北京）有限公司 物体的类别识别方法和装置
CN109979130A (zh) * 2019-03-29 2019-07-05 厦门益东智能科技有限公司 一种商品自动识别和结算售货柜、方法以及系统
CN110443218B (zh) * 2019-08-13 2022-01-28 北京百度网讯科技有限公司 一种人物检测方法和装置
CN110705510B (zh) * 2019-10-16 2023-09-05 杭州优频科技有限公司 一种动作确定方法、装置、服务器和存储介质
CN111401207B (zh) * 2020-03-11 2022-07-08 福州大学 基于mars深度特征提取与增强的人体动作识别方法
CN113554678B (zh) * 2020-04-24 2023-09-12 杭州海康威视数字技术股份有限公司 一种运动目标徘徊行为检测的方法、装置及存储介质
CN113449740A (zh) * 2021-06-30 2021-09-28 上海宇仓智能仓储设备有限公司 移动货架的通道视觉检测方法、系统、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204305213U (zh) * 2014-12-02 2015-04-29 苏州创捷传媒展览股份有限公司 多摄像头人体跟踪互动视觉装置
CN104885111A (zh) * 2013-09-19 2015-09-02 松下电器（美国）知识产权公司 使信息终端显示销售信息的控制方法
CN105518734A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
CN105580040A (zh) * 2013-09-06 2016-05-11 日本电气株式会社 销售促进系统、销售促进方法、非瞬时计算机可读介质和货架系统
CN105761423A (zh) * 2016-02-04 2016-07-13 合肥联宝信息技术有限公司 侦测手持式电子设备的用户的行为的装置及方法
CN109409175A (zh) * 2017-08-16 2019-03-01 图灵通诺（北京）科技有限公司 结算方法、装置和系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2473963A1 (en) * 2003-07-14 2005-01-14 Sunnybrook And Women's College Health Sciences Centre Optical image-based position tracking for magnetic resonance imaging
US8403858B2 (en) * 2006-10-12 2013-03-26 Perceptive Navigation Llc Image guided catheters and methods of use
US8670029B2 (en) * 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8929600B2 (en) * 2012-12-19 2015-01-06 Microsoft Corporation Action recognition based on depth maps
WO2014104360A1 (ja) * 2012-12-28 2014-07-03 株式会社東芝 動作情報処理装置及び方法
US9414776B2 (en) * 2013-03-06 2016-08-16 Navigated Technologies, LLC Patient permission-based mobile health-linked information collection and exchange systems and methods
JP2015061579A (ja) * 2013-07-01 2015-04-02 株式会社東芝 動作情報処理装置
JP5632512B1 (ja) * 2013-07-02 2014-11-26 パナソニック株式会社 人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置
JP6253311B2 (ja) * 2013-08-28 2017-12-27 キヤノン株式会社 画像処理装置、画像処理方法
WO2015033576A1 (ja) * 2013-09-06 2015-03-12 日本電気株式会社 セキュリティシステム、セキュリティ方法及び非一時的なコンピュータ可読媒体
WO2015093330A1 (ja) * 2013-12-17 2015-06-25 シャープ株式会社 認識データ伝送装置
US9922301B2 (en) * 2014-01-09 2018-03-20 Panasonic Intellectual Property Corporation Of America Information display method for store work relating to lighting control system, and lighting control method
JP2015176227A (ja) * 2014-03-13 2015-10-05 富士通株式会社 監視方法、監視装置および監視プログラム
US9514363B2 (en) * 2014-04-08 2016-12-06 Disney Enterprises, Inc. Eye gaze driven spatio-temporal action localization
JP6532217B2 (ja) * 2014-11-19 2019-06-19 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理システム
JP6573361B2 (ja) * 2015-03-16 2019-09-11 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
US9877012B2 (en) * 2015-04-01 2018-01-23 Canon Kabushiki Kaisha Image processing apparatus for estimating three-dimensional position of object and method therefor
JP2017033401A (ja) 2015-08-04 2017-02-09 株式会社 ｉｍｐａｃｔＴＶ 顧客情報収集装置、顧客情報収集システムおよび顧客情報収集方法
JP2017076338A (ja) 2015-10-16 2017-04-20 ソニー株式会社 情報処理装置、および情報処理方法、ウェアラブル端末、並びにプログラム
JP6508419B2 (ja) 2016-03-22 2019-05-08 日本電気株式会社 画像表示装置、画像表示システム、画像表示方法及びプログラム
WO2017175707A1 (ja) 2016-04-06 2017-10-12 日本電気株式会社 物体種類特定装置、物体種類特定方法及び記録媒体
CN114795151A (zh) * 2016-06-30 2022-07-29 松下知识产权经营株式会社 方法及系统
US20190143517A1 (en) * 2017-11-14 2019-05-16 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for collision-free trajectory planning in human-robot interaction through hand movement prediction from vision
EP3579196A1 (en) * 2018-06-05 2019-12-11 Cristian Sminchisescu Human clothing transfer method, system and device
CN109920180A (zh) * 2019-01-23 2019-06-21 北京小牛智能科技有限公司 超市防盗系统、超市自助结账方法和客户端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518734A (zh) * 2013-09-06 2016-04-20 日本电气株式会社 顾客行为分析系统、顾客行为分析方法、非暂时性计算机可读介质和货架系统
CN105580040A (zh) * 2013-09-06 2016-05-11 日本电气株式会社 销售促进系统、销售促进方法、非瞬时计算机可读介质和货架系统
CN104885111A (zh) * 2013-09-19 2015-09-02 松下电器（美国）知识产权公司 使信息终端显示销售信息的控制方法
CN204305213U (zh) * 2014-12-02 2015-04-29 苏州创捷传媒展览股份有限公司 多摄像头人体跟踪互动视觉装置
CN105761423A (zh) * 2016-02-04 2016-07-13 合肥联宝信息技术有限公司 侦测手持式电子设备的用户的行为的装置及方法
CN109409175A (zh) * 2017-08-16 2019-03-01 图灵通诺（北京）科技有限公司 结算方法、装置和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Sensors for Gesture Recognition Systems;Sigal Berman;《IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS—PART C: APPLICATIONS AND REVIEWS》;20120331;第42卷(第3期);第282页 *

Also Published As

Publication number Publication date
US20190325207A1 (en) 2019-10-24
CN108921098A (zh) 2018-11-30
JP6731097B2 (ja) 2020-07-29
JP2019164842A (ja) 2019-09-26
EP3531341A3 (en) 2020-01-08
EP3531341A2 (en) 2019-08-28
EP3531341B1 (en) 2022-04-27
US10970528B2 (en) 2021-04-06

Similar Documents

Publication Publication Date Title
CN108921098B (zh) 人体运动分析方法、装置、设备及存储介质
US10212324B2 (en) Position detection device, position detection method, and storage medium
US9684928B2 (en) Foot tracking
JP6904421B2 (ja) 店舗装置、店舗管理方法、プログラム
CN108986164B (zh) 基于图像的位置检测方法、装置、设备及存储介质
US20200342264A1 (en) Learning data generation device, learning data generation method, and recording medium
CN110675426B (zh) 人体跟踪方法、装置、设备及存储介质
US11847796B2 (en) Calibrating cameras using human skeleton
JP5554726B2 (ja) データ関連付けのための方法と装置
CN108875507B (zh) 行人跟踪方法、设备、系统和计算机可读存储介质
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
CN111429194B (zh) 用户轨迹确定系统、方法、装置及服务器
KR101188296B1 (ko) 스트랩다운 이중 모드 영상탐색기의 가중치 기반 표적 결정 방법 및 이를 이용한 가중치 기반 표적 결정 시스템
KR102250712B1 (ko) 전자 장치 및 제어 방법
JP2018186397A (ja) 情報処理装置、映像監視システム、情報処理方法及びプログラム
CN108062741B (zh) 双目图像处理方法、成像装置和电子设备
JP2017068375A (ja) 複数のカメラ間での人物の追跡装置、追跡方法及びプログラム
KR101706674B1 (ko) 원거리 가시광선 영상과 열 영상에 기반한 성별 인식 방법 및 장치
CN110232353B (zh) 一种获取场景人员深度位置的方法和装置
JP7164047B2 (ja) 注視点検出装置及び注視点検出方法
CN111630524B (zh) 测量物体参数的方法及装置
Hadi et al. Improved occlusion handling for human detection from mobile robot
JP2009210286A (ja) 画像処理装置および画像処理プログラム
JP2022028861A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2021128798A (ja) 情報処理装置、システム、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant