CN110231605A - 人体行为的识别方法、装置、计算机设备和存储介质 - Google Patents

人体行为的识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110231605A
CN110231605A CN201910383307.7A CN201910383307A CN110231605A CN 110231605 A CN110231605 A CN 110231605A CN 201910383307 A CN201910383307 A CN 201910383307A CN 110231605 A CN110231605 A CN 110231605A
Authority
CN
China
Prior art keywords
human body
key point
body key
cloud data
motion profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910383307.7A
Other languages
English (en)
Other versions
CN110231605B (zh
Inventor
颜培清
王斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suteng Innovation Technology Co Ltd
Original Assignee
Suteng Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suteng Innovation Technology Co Ltd filed Critical Suteng Innovation Technology Co Ltd
Priority to CN201910383307.7A priority Critical patent/CN110231605B/zh
Publication of CN110231605A publication Critical patent/CN110231605A/zh
Application granted granted Critical
Publication of CN110231605B publication Critical patent/CN110231605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种人体行为的识别方法、装置、计算机设备和存储介质。所述方法包括：获取激光雷达监测到的稠密点云数据；根据所述稠密点云数据确定人体关键点的运动轨迹；根据所述人体关键点的运动轨迹，识别出人体行为。由于激光雷达具有高精度、探测距离远、不受光线影响等优点，因此本发明实施例可以实现在室内外各种场景中全天候准确识别；并且，激光雷达监测到的稠密点云数据不包括彩色图像信息，因此能够较好的保护被测人员的隐私，可以使人体行为识别技术被广泛使用。

Description

人体行为的识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及行为识别技术领域，特别是涉及一种人体行为的识别方法、装置、计算机设备和存储介质。
背景技术
随着计算机的发展，人体行为识别技术已经逐渐深入人们的工作和生活中。例如，利用人体行为识别技术的行人预警系统、智慧养老、智能防盗等。
目前，人体行为识别技术通常是基于摄像头采集二维图像进行识别。例如，摄像头采集十字路口的二维图像，从二维图像中识别出是否有违反交通规则(比如攀爬护栏、闯红灯)的行为。
但是，采用摄像头采集二维图像，存在有效探测距离近、在夜晚或阴暗环境中难以准确识别人体，以及容易泄露隐私等问题。因此，人体行为识别技术的应用场景受到很大限制，不能被广泛使用。
发明内容
基于此，有必要针对上述技术问题，提供一种能够在多种应用场景中使用的人体行为的识别方法、装置、计算机设备和存储介质。
一方面，本发明实施例提供了一种人体行为的识别方法，包括：
获取激光雷达监测到的稠密点云数据；
根据上述稠密点云数据确定人体关键点的运动轨迹；
根据人体关键点的运动轨迹，识别出人体行为。
在其中的一个实施例中，上述根据稠密点云数据确定人体关键点的运动轨迹，包括：
根据稠密点云数据，确定人体关键点在多个时刻的位置坐标；
对多个时刻的位置坐标进行跟踪，得到人体关键点的运动轨迹。
在其中的一个实施例中，上述根据稠密点云数据，确定人体关键点在多个时刻的位置坐标，包括：
将多个时刻的稠密点云数据转换为对应的二维特征图；
将各二维特征图输入至预先训练的神经网络，得到人体关键点在各时刻的位置坐标。
在其中的一个实施例中，上述方法还包括：
将多个二维特征图输入预设的卷积神经网络，得到人体关键点和人体关键点的位置坐标；
采用梯度下降算法对卷积神经网络的权重和偏置进行更新，在人体关键点与关键点标注一致时，得到上述预先训练的神经网络。
在其中的一个实施例中，上述根据人体关键点的运动轨迹，识别出人体行为，包括：
采用预设的分类器对人体关键点的运动轨迹进行分类，确定人体行为所属的分类。
在其中的一个实施例中，上述方法还包括：
若人体行为所属的分类为预设的异常分类，则生成报警信息。
在其中的一个实施例中，上述方法还包括：
将人体关键点的运动轨迹和所述报警信息发送至监控终端。
另一方面，本发明实施例提供了一种人体行为的识别装置，包括：
稠密点云数据获取模块，用于获取激光雷达监测到的稠密点云数据；
运动轨迹确定模块，用于根据稠密点云数据确定人体关键点的运动轨迹；
人体行为识别模块，用于根据人体关键点的运动轨迹，识别出人体行为。
在其中的一个实施例中，上述运动轨迹确定模块包括：
位置坐标确定子模块，用于根据稠密点云数据，确定人体关键点在多个时刻的位置坐标；
运动轨迹确定子模块，用于对多个时刻的位置坐标进行跟踪，得到人体关键点的运动轨迹。
在其中的一个实施例中，上述位置坐标确定子模块包括：
数据转换单元，用于将多个时刻的稠密点云数据转换为二维特征图；
位置坐标确定单元，用于将各二维特征图输入至预先训练的神经网络，得到人体关键点在各时刻的位置坐标。
在其中的一个实施例中，上述装置还包括：
位置坐标计算模块，用于将多个二维特征图输入预设的卷积神经网络，得到人体关键点和人体关键点的位置坐标；
参数调整模块，用于采用梯度下降算法对卷积神经网络的权重和偏置进行更新，在人体关键点与关键点标注一致时，得到上述预先训练的神经网络。
在其中的一个实施例中，上述人体行为识别模块，具体用于采用预设的分类器对所述人体关键点的运动轨迹进行分类，确定人体行为所属的分类。
在其中的一个实施例中，上述装置还包括：
报警信息生成模块，用于若人体行为所属的分类为预设的异常分类，则生成报警信息。
在其中的一个实施例中，上述装置还包括：
信息发送模块，用于将人体关键点的运动轨迹和报警信息发送至监控终端。
又一方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
又一方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法的步骤。
上述人体行为的识别方法、装置、计算机设备和存储介质，获取激光雷达监测到的稠密点云数据；根据稠密点云数据确定人体关键点的运动轨迹；根据人体关键点的运动轨迹，识别出人体行为。由于激光雷达具有高精度、探测距离远、不受光线影响等优点，因此本发明实施例可以实现在室内外各种场景中全天候准确识别人体行为；并且，激光雷达监测到的稠密点云数据不包括彩色图像信息，因此能够较好的保护被测人员的隐私，可以使人体行为识别技术的应用场景更广泛。
附图说明
图1a为一个实施例中人体行为的识别方法的应用环境图之一；
图1b为一个实施例中人体行为的识别方法的应用环境图之二；
图2为一个实施例中人体行为的识别方法的流程示意图；
图3为一个实施例中根据稠密点云数据确定人体关键点的运动轨迹步骤的流程示意图；
图4为一个实施例中识别出人体行为后的步骤的流程示意图；
图5为一个实施例中人体行为的识别装置的结构框图之一；
图6为一个实施例中运动轨迹确定模块的结构框图；
图7为一个实施例中人体行为的识别装置的结构框图之二。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的人体行为的识别方法，可以应用于如图1a所示的应用环境中。其中，人体行为的识别装置可以包括设置在同一处的激光雷达和识别芯片，激光雷达监测得到稠密点云数据，并将稠密点云数据发送给识别芯片，识别芯片根据稠密点云数据识别人体行为。
也可以应用如图1b所示的应用环境中。其中，人体行为的识别装置包括激光雷达和设置在监控终端的识别芯片，激光雷达与监控终端采用有线或无线方式进行通信。激光雷达将监测到的稠密点云数据发送到监控终端，监控终端的识别芯片根据稠密点云数据识别人体行为。其中，监控终端可以但不限于是各种个人计算机、笔记本电脑、平板电脑。
参照图2，示出了本发明实施例提供的一种人体行为的识别方法，该方法以上述图1a中的识别芯片为例。具体步骤包括：
步骤101，获取激光雷达监测到的稠密点云数据。
本实施例中，采用激光雷达对监测区域进行监测，从激光雷达获取监测到的稠密点云数据。获取方式可以采用有线或无线方式，本发明实施例对此不作详细限定，可以根据实际情况进行设置。
具体地，在对监测区域进行监测时，激光雷达向监测区域发射密集的入射激光，入射激光被监测区域内的物体反射，激光雷达再接收返回的回波光束。激光雷达接收到回波光束后，可以从回波光束中得到物体表面每个采样点的空间坐标和激光反射强度等信息，即得到点云(Point Cloud)数据。由于入射激光数量大并且比较密集，因此可以得到稠密点云数据。
由于激光雷达具有高精度、探测距离远、不受光线影响等优点，因此，采用激光雷达监测到的稠密点云数据不受环境、应用场景限制，可以实现在室内外各种场景中全天候准确识别。例如，将激光雷达设置在马路上，在雨雪、大雾天气仍然可以监测行人；或者，将激光雷达设置在病房中，在夜晚时仍然可以监测病人。可见，由于激光雷达具有多种优点，使得人体行为识别技术可以应用到更广泛的场景中去，从而扩大了人体行为识别技术的应用范围。
步骤102，根据稠密点云数据确定人体关键点的运动轨迹。
本实施例中，由于稠密点云数据包括物体表面的空间坐标，因此可以在获取到稠密点云数据后，根据稠密点云数据对监控区域进行三维建模。在建模后，从三维模型中识别出人体，进而在识别出的人体中确定人体关键点。例如，从监控区域的三维模型中识别出人体，进而确定头部，或者肩部、肘部、手部、臀部、膝部、脚部等人体关键点，本发明实施例对人体关键点不作详细限定，可以根据实际情况进行设置。
在识别出人体关键点后，根据人体关键点在多个时刻的位置变化确定人体关键点的运动轨迹。例如，人体的头部在10分钟内由A点经过B点到达C点，则可以确定头部的运动轨迹。人体的手部在5分钟内由X点经过Y点到达Z点，则可以确定手部的运动轨迹。
由于稠密点云数据不包括彩色图像信息，因此在从稠密点云数据中识别出人体时，不会识别出被测人员的相貌、肤色、穿着等信息，可以很好地保护被测人员的隐私，从而使人体行为识别技术应用到更广泛的场景中。
步骤103，根据人体关键点的运动轨迹，识别出人体行为。
本实施例中，确定人体关键点的运动轨迹后，可以从预设的人体行为库中查找与上述人体关键点的运动轨迹匹配的运动轨迹，从而识别出人体行为。也可以将上述人体关键点的运动轨迹与多个预设运动轨迹一一比对，判断上述人体关键点的运动轨迹是否与某一个预设运动轨迹一致。本发明实施例对识别方式不作详细限定，可以根据实际情况进行设置。
综上所述，本发明实施例中，获取激光雷达监测到的稠密点云数据；根据稠密点云数据确定人体关键点的运动轨迹；根据人体关键点的运动轨迹，识别出人体行为。由于激光雷达具有高精度、探测距离远、不受光线影响等优点，因此本发明实施例可以实现在室内外各种场景中全天候准确识别人体行为；并且，由于激光雷达监测到的稠密点云数据不包括彩色图像信息，因此不会识别出被测人员的相貌、肤色、穿着等信息，能够较好的保护被测人员的隐私，使人体行为识别技术应用到更广泛的场景中。
在另一个实施例中，如图3所示，本实施例涉及的是根据稠密点云数据确定人体关键点的运动轨迹步骤的一种可选的过程。在上述图2所示实施例的基础上，上述步骤102具体可以包括以下步骤：
步骤201，根据稠密点云数据，确定人体关键点在多个时刻的位置坐标。
本实施例中，从激光雷达获取到稠密点云数据后，确定多个时刻的稠密点云数据，由于稠密点云数据中包含物体与激光雷达之间的距离、激光发射高度、激光的反射强度等数据，因此，可以根据这些数据确定人体关键点在各时刻的位置坐标。
具体地，将多个时刻的稠密点云数据转换为对应的二维特征图；将各二维特征图输入至预先训练的神经网络，得到人体关键点在各时刻的位置坐标。
在实际操作中，可以设置稠密点云数据与二维特征图之间的映射关系。例如，一个激光点与二维特征图中的一个像素对应。因此，可以根据映射关系将一个时刻的稠密点云数据转换为一帧二维特征图。
将一个时刻的稠密点云数据转换为一帧二维特征图后，将二维特征图输入到预先训练的神经网络后，神经网络会输出人体关键点在该时刻的位置坐标。以此类推，可以得到多个时刻人体关键点的位置坐标。
对于神经网络的训练，具体可以包括：将多个二维特征图输入预设的卷积神经网络，得到人体关键点和人体关键点的位置坐标。采用梯度下降算法对卷积神经网络的权重和偏置进行更新，在人体关键点与关键点标注一致时，得到预先训练的神经网络。
例如，将M个二维特征图输入到预设的卷积神经网络中，得到头部、肩部、手部的位置坐标。接着，采用随机梯度下降算法对卷积神经网络的权重和偏置进行调整，在卷积神经网络输出的人体关键点与关键点标注趋于一致时，得到预先训练的神经网络。本发明实施例可以采用卷积神经网络，也可以采用其他神经网络，对此不作详细限定，可以根据实际情况进行设置。
步骤202，对多个时刻的位置坐标进行跟踪，得到人体关键点的运动轨迹。
本实施例中，确定了人体关键点在各时刻的位置坐标后，可以采用跟踪算法对多个时刻的位置坐标进行跟踪，得到人体关键点的运动轨迹。也可以采用其他方式得到人体关键点的运动轨迹，本发明实施例对此不作详细限定，可以根据实际情况进行设置。
综上所述，本发明实施例中，根据稠密点云数据确定人体关键点在多个时刻的位置坐标，对多个时刻的位置坐标进行跟踪得到人体关键点的运动轨迹。由于稠密点云数据不包括彩色图像信息，因此在确定人体关键点的位置坐标和运动轨迹时，不会识别出被测人员的相貌、肤色、穿着等信息，能够较好的保护被测人员的隐私。进一步地，采用神经网络确定人体关键点的位置坐标，可以实现机器学习、智能识别，提高了识别的准确率。
在另一个实施例中，本实施例涉及的是根据人体关键点的运动轨迹识别出人体行为步骤的一种可选的过程。在上述图2所示实施例的基础上，上述步骤103具体可以包括：采用预设的分类器对人体关键点的运动轨迹进行分类，确定人体行为所属的分类。
本实施例中，在预设的分类器中设置人体行为的多个分类。例如，激光雷达设置在马路上，预设的分类器可以设置攀爬护栏、摔倒、走路等多个分类。激光雷达设置在病房中，预设的分类器可以设置咳嗽、抽搐、正常呼吸等多个分类。本发明实施例对分类器设置的分类不作详细限定，可以根据实际情况进行设置。
在确定人体关键点的运动轨迹后，将运动轨迹输入预设的分类器，预设的分类器就可以根据人体关键点的运动轨迹对人体行为进行分类，从而确定人体行为所属的分类。例如，根据人体关键点的运动轨迹，确定人体行为所属的分类为攀爬护栏，或者确定人体行为所属的分类为抽搐等等。
可以理解地，预设的分类器可以根据一个人体关键点的运动轨迹进行分类，也可以根据多个人体关键点的运动轨迹进行分类，本发明实施例对此不作详细限定，可以根据实际情况进行设置。
进一步地，还可以采用预设的分类器对人体关键点的位置坐标进行分类，确定人体姿态所属的分类。
具体地，在预设的分类器中设置人体姿态的多个分类。例如，在预设的分类器中设置站立、匍匐、端坐、仰卧等多个人体姿态。将某一时刻的人体关键点的位置坐标输入到预设的分类器中，则预设的分类器可以根据该时刻的人体关键点的位置坐标对该时刻的人体姿态进行分类，从而确定该时刻的人体姿态。以此类推，预设的分类器可以分别对其他时刻的人体姿态进行分类，从而确定其他时刻的人体姿态。
综上所述，本发明实施例中，采用预设的分类器对人体关键点的运动轨迹进行分类，从而确定人体行为所属的分类，可以使人体行为识别更加智能，更加准确。
在另一个实施例中，如图4所示，本实施例涉及的是在识别出人体行为后的一种可选的过程。在上述图2所示实施例的基础上，还可以包括以下步骤：
步骤104，若人体行为所属的分类为预设的异常分类，则生成报警信息。
本实施例中，预设的分类器可以在设置人体行为的分类时，将其中一些分类设置为异常分类。例如，将攀爬护栏、摔倒设置为异常分类，或者将咳嗽、抽搐设置为异常分类。
如果人体行为所属的分类为预设的异常分类，则生成报警信息。例如，如果马路上有行人攀爬护栏，则生成声光报警，以便交警及时发现，避免行人出现意外。如果病房中病人发生抽搐症状，则生成声光报警，以便护士或者医生及时发现，及时治疗，避免病人发生意外。
可见，当人体行为所属的分类为预设的异常分类时，生成报警信息，可以让其他人及时发现被测人的异常行为，从而采取相应的措施，保证被测人员的安全。
步骤105，将人体关键点的运动轨迹和报警信息发送至监控终端。
本实施例中，识别芯片也可以连接监控终端，在确定人体关键点的运动轨迹后，可以将人体关键点的运动轨迹发送至监控终端。在生成报警信息后，也可以将报警信息发送至监控终端。监控终端可以存储人体关键点的运动轨迹和报警信息，以便后续查看。也可以根据人体关键点的运动轨迹和报警信息进行进一步的分析。本发明实施例对此不作详细限定，可以根据实际情况进行设置。
综上所述，本发明实施例中，若人体行为所属的分类为预设的异常分类，则生成报警信息；让其他人及时发现被测人的异常行为，从而采取相应的措施，保证被测人员的安全。进一步地，将人体关键点的运动轨迹和报警信息发送至监控终端，以便监控终端可以存储或者分析人体关键点的运动轨迹和报警信息。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种人体行为的识别装置的结构框图，该装置包括：
稠密点云数据获取模块301，用于获取激光雷达监测到的稠密点云数据；
运动轨迹确定模块302，用于根据稠密点云数据确定人体关键点的运动轨迹；
人体行为识别模块303，用于根据人体关键点的运动轨迹，识别出人体行为。
在其中的一个实施例中，如图6所示，上述运动轨迹确定模块302包括：
位置坐标确定子模块3021，用于根据稠密点云数据，确定人体关键点在多个时刻的位置坐标；
运动轨迹确定子模块3022，用于对多个时刻的位置坐标进行跟踪，得到人体关键点的运动轨迹。
在其中的一个实施例中，上述位置坐标确定子模块包括：
数据转换单元，用于将多个时刻的稠密点云数据转换为对应的二维特征图；
位置坐标确定单元，用于将各二维特征图输入至预先训练的神经网络，得到人体关键点在各时刻的位置坐标。
在其中的一个实施例中，如图7所示，上述装置还包括：
位置坐标计算模块304，用于将多个二维特征图输入预设的卷积神经网络，得到人体关键点和人体关键点的位置坐标；
参数调整模块305，用于采用梯度下降算法对卷积神经网络的权重和偏置进行更新，在人体关键点与关键点标注一致时，得到预先训练的神经网络。
在其中的一个实施例中，上述人体行为识别模块，具体用于采用预设的分类器对人体关键点的运动轨迹进行分类，确定人体行为所属的分类。
在其中的一个实施例中，如图7所示，上述装置还包括：
报警信息生成模块306，用于若人体行为所属的分类为预设的异常分类，则生成报警信息。
在其中的一个实施例中，如图7所示，上述装置还包括：
信息发送模块307，用于将人体关键点的运动轨迹和报警信息发送至监控终端。
关于人体行为的识别装置的具体限定可以参见上文中对于人体行为的识别方法的限定，在此不再赘述。上述人体行为的识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取激光雷达监测到的稠密点云数据；
根据稠密点云数据确定人体关键点的运动轨迹；
根据人体关键点的运动轨迹，识别出人体行为。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据稠密点云数据，确定人体关键点在多个时刻的位置坐标；
对多个时刻的位置坐标进行跟踪，得到人体关键点的运动轨迹。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将多个时刻的稠密点云数据转换为对应的二维特征图；
将各二维特征图输入至预先训练的神经网络，得到人体关键点在各时刻的位置坐标。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将多个二维特征图输入预设的卷积神经网络，得到人体关键点和人体关键点的位置坐标；
采用梯度下降算法对卷积神经网络的权重和偏置进行更新，在人体关键点与关键点标注一致时，得到预先训练的神经网络。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
采用预设的分类器对人体关键点的运动轨迹进行分类，确定人体行为所属的分类。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若人体行为所属的分类为预设的异常分类，则生成报警信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将人体关键点的运动轨迹和报警信息发送至监控终端。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取激光雷达监测到的稠密点云数据；
根据稠密点云数据确定在人体关键点的运动轨迹；
根据人体关键点的运动轨迹，识别出人体行为。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据稠密点云数据，确定人体关键点在多个时刻的位置坐标；
对多个时刻的位置坐标进行跟踪，得到人体关键点的运动轨迹。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将多个时刻的稠密点云数据转换为对应的二维特征图；
将各二维特征图中输入至预先训练的神经网络，得到人体关键点在各时刻的位置坐标。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将多个二维特征图输入预设的卷积神经网络，得到人体关键点和人体关键点的位置坐标；
采用梯度下降算法对卷积神经网络的权重和偏置进行更新，在人体关键点与关键点标注一致时，得到预先训练的神经网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
采用预设的分类器对人体关键点的运动轨迹进行分类，确定人体行为所属的分类。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若人体行为所属的分类为预设的异常分类，则生成报警信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将人体关键点的运动轨迹和报警信息发送至监控终端。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人体行为的识别方法，其特征在于，所述方法包括：
获取激光雷达监测到的稠密点云数据；
根据所述稠密点云数据确定人体关键点的运动轨迹；
根据所述人体关键点的运动轨迹，识别出人体行为。
2.根据权利要求1所述的方法，其特征在于，所述根据所述稠密点云数据确定人体关键点的运动轨迹，包括：
根据所述稠密点云数据，确定所述人体关键点在多个时刻的位置坐标；
对所述多个时刻的位置坐标进行跟踪，得到所述人体关键点的运动轨迹。
3.根据权利要求2所述的方法，其特征在于，所述根据所述稠密点云数据，确定所述人体关键点在多个时刻的位置坐标，包括：
将多个时刻的稠密点云数据转换为对应的二维特征图；
将各所述二维特征图输入至预先训练的神经网络，得到所述人体关键点在各时刻的位置坐标。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
将多个二维特征图输入预设的卷积神经网络，得到所述人体关键点和所述人体关键点的位置坐标；
采用梯度下降算法对所述卷积神经网络的权重和偏置进行更新，在所述人体关键点与关键点标注一致时，得到所述预先训练的神经网络。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述人体关键点的运动轨迹，识别出人体行为，包括：
采用预设的分类器对所述人体关键点的运动轨迹进行分类，确定所述人体行为所属的分类。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
若所述人体行为所属的分类为预设的异常分类，则生成报警信息。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
将所述人体关键点的运动轨迹和所述报警信息发送至监控终端。
8.一种人体行为的识别装置，其特征在于，所述装置包括：
稠密点云数据获取模块，用于获取激光雷达监测到的稠密点云数据；
运动轨迹确定模块，用于根据所述稠密点云数据确定人体关键点的运动轨迹；
人体行为识别模块，用于根据所述人体关键点的运动轨迹，识别出人体行为。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201910383307.7A 2019-05-09 2019-05-09 人体行为的识别方法、装置、计算机设备和存储介质 Active CN110231605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910383307.7A CN110231605B (zh) 2019-05-09 2019-05-09 人体行为的识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910383307.7A CN110231605B (zh) 2019-05-09 2019-05-09 人体行为的识别方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110231605A true CN110231605A (zh) 2019-09-13
CN110231605B CN110231605B (zh) 2021-10-29

Family

ID=67860500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910383307.7A Active CN110231605B (zh) 2019-05-09 2019-05-09 人体行为的识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110231605B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021203667A1 (en) * 2020-04-06 2021-10-14 Huawei Technologies Co., Ltd. Method, system and medium for identifying human behavior in a digital video using convolutional neural networks
CN114152283A (zh) * 2021-11-24 2022-03-08 山东蓝创网络技术股份有限公司 基于立体点阵技术的家庭养老照护床位服务监管系统
CN114152953A (zh) * 2021-11-24 2022-03-08 山东蓝创网络技术股份有限公司 基于立体点阵技术的长期护理保险服务监管系统
CN115661935A (zh) * 2022-10-31 2023-01-31 海信集团控股股份有限公司 一种人体动作准确度确定方法和设备
WO2023206236A1 (zh) * 2022-04-28 2023-11-02 华为技术有限公司 一种目标的检测方法及相关装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767419A (zh) * 2017-11-07 2018-03-06 广州深域信息科技有限公司 一种人体骨骼关键点检测方法及装置
CN107921923A (zh) * 2015-08-28 2018-04-17 德尔福技术有限公司 用于自动化车辆的行人意图检测
CN108121961A (zh) * 2017-12-21 2018-06-05 华自科技股份有限公司 巡检行为识别方法、装置、计算机设备和存储介质
CN108596056A (zh) * 2018-04-10 2018-09-28 武汉斑马快跑科技有限公司 一种出租车运营行为动作识别方法及系统
CN108802758A (zh) * 2018-05-30 2018-11-13 北京应互科技有限公司 一种基于激光雷达的智能安防监控装置、方法和系统
CN108830215A (zh) * 2018-06-14 2018-11-16 南京理工大学 基于人员骨架信息的危险行为识别方法
CN108875708A (zh) * 2018-07-18 2018-11-23 广东工业大学 基于视频的行为分析方法、装置、设备、系统及存储介质
CN109624832A (zh) * 2018-12-27 2019-04-16 侯力宇 一种汽车智能防炫目前大灯的方法及系统
CN109670411A (zh) * 2018-11-30 2019-04-23 武汉理工大学 基于生成对抗网络的内河船舶点云数据深度图像处理方法和系统
CN109670431A (zh) * 2018-12-11 2019-04-23 北京小马智行科技有限公司 一种行为检测方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107921923A (zh) * 2015-08-28 2018-04-17 德尔福技术有限公司 用于自动化车辆的行人意图检测
CN107767419A (zh) * 2017-11-07 2018-03-06 广州深域信息科技有限公司 一种人体骨骼关键点检测方法及装置
CN108121961A (zh) * 2017-12-21 2018-06-05 华自科技股份有限公司 巡检行为识别方法、装置、计算机设备和存储介质
CN108596056A (zh) * 2018-04-10 2018-09-28 武汉斑马快跑科技有限公司 一种出租车运营行为动作识别方法及系统
CN108802758A (zh) * 2018-05-30 2018-11-13 北京应互科技有限公司 一种基于激光雷达的智能安防监控装置、方法和系统
CN108830215A (zh) * 2018-06-14 2018-11-16 南京理工大学 基于人员骨架信息的危险行为识别方法
CN108875708A (zh) * 2018-07-18 2018-11-23 广东工业大学 基于视频的行为分析方法、装置、设备、系统及存储介质
CN109670411A (zh) * 2018-11-30 2019-04-23 武汉理工大学 基于生成对抗网络的内河船舶点云数据深度图像处理方法和系统
CN109670431A (zh) * 2018-12-11 2019-04-23 北京小马智行科技有限公司 一种行为检测方法及装置
CN109624832A (zh) * 2018-12-27 2019-04-16 侯力宇 一种汽车智能防炫目前大灯的方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宓超等: "《装卸机器视觉及其应用》", 31 January 2016, 上海科学技术出版社 *
邵帅: "用于服务机器人导航的视觉环境感知研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021203667A1 (en) * 2020-04-06 2021-10-14 Huawei Technologies Co., Ltd. Method, system and medium for identifying human behavior in a digital video using convolutional neural networks
US11625646B2 (en) 2020-04-06 2023-04-11 Huawei Cloud Computing Technologies Co., Ltd. Method, system, and medium for identifying human behavior in a digital video using convolutional neural networks
CN114152283A (zh) * 2021-11-24 2022-03-08 山东蓝创网络技术股份有限公司 基于立体点阵技术的家庭养老照护床位服务监管系统
CN114152953A (zh) * 2021-11-24 2022-03-08 山东蓝创网络技术股份有限公司 基于立体点阵技术的长期护理保险服务监管系统
WO2023206236A1 (zh) * 2022-04-28 2023-11-02 华为技术有限公司 一种目标的检测方法及相关装置
CN115661935A (zh) * 2022-10-31 2023-01-31 海信集团控股股份有限公司 一种人体动作准确度确定方法和设备

Also Published As

Publication number Publication date
CN110231605B (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN110231605A (zh) 人体行为的识别方法、装置、计算机设备和存储介质
Arrue et al. An intelligent system for false alarm reduction in infrared forest-fire detection
US10007850B2 (en) System and method for event monitoring and detection
CN109581361A (zh) 一种检测方法、检测装置、终端以及检测系统
US11023777B1 (en) Methods for training and testing obfuscation network capable of performing distinct concealing processes for distinct regions of original image and learning and testing devices using the same
CA3004572A1 (en) Neural network point cloud generation system
CN109886241A (zh) 基于长短期记忆网络的驾驶员疲劳检测
CN104919333B (zh) 车辆上用于检测操作手势的传感器系统
Devapriya et al. Advance driver assistance system (ADAS)-speed bump detection
CN103500330B (zh) 一种基于多传感器、多特征融合的半监督的人检测方法
WO2021114766A1 (zh) 一种基于深度数据的人员行为模式分析方法和系统
Gad et al. Vision-based approach for automated social distance violators detection
CN111626314A (zh) 点云数据的分类方法、装置、计算机设备和存储介质
CN109830078A (zh) 适用于狭小空间的智能行为分析方法及智能行为分析设备
CA3196344A1 (en) Rail feature identification system
Yu et al. A goal-directed visual perception system using object-based top–down attention
CN108765826A (zh) 一种基于深度学习的多遮挡模糊场景人形识别方法及系统
CN111814766A (zh) 车辆行为预警方法、装置、计算机设备和存储介质
CN116189305A (zh) 一种基于神经网络模型嵌入的人员危险动作识别方法
CN113822241B (zh) 步态数据的获取方法、助行设备和计算机可读存储介质
Ranjith et al. An IoT based Monitoring System to Detect Animal in the Railway Track using Deep Learning Neural Network
Raj et al. Wild Animals Intrusion Detection for Safe Commuting in Forest Corridors using AI Techniques
CN113627326A (zh) 一种基于可穿戴设备和人体骨架的行为识别方法
i Badia et al. A collision avoidance model based on the lobula giant movement detector (LGMD) neuron of the locust
KR102492066B1 (ko) 이동식 예방 경계 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant