CN117368876B - 一种人体检测方法、装置、设备及存储介质 - Google Patents

一种人体检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117368876B
CN117368876B CN202311354028.0A CN202311354028A CN117368876B CN 117368876 B CN117368876 B CN 117368876B CN 202311354028 A CN202311354028 A CN 202311354028A CN 117368876 B CN117368876 B CN 117368876B
Authority
CN
China
Prior art keywords
point cloud
target
cloud data
feature
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311354028.0A
Other languages
English (en)
Other versions
CN117368876A (zh
Inventor
周煊
袁国枢
李华志
李丽丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Earda Technologies Co ltd
Original Assignee
Earda Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Earda Technologies Co ltd filed Critical Earda Technologies Co ltd
Priority to CN202311354028.0A priority Critical patent/CN117368876B/zh
Publication of CN117368876A publication Critical patent/CN117368876A/zh
Application granted granted Critical
Publication of CN117368876B publication Critical patent/CN117368876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/414—Discriminating targets with respect to background clutter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种人体检测方法、装置、设备及存储介质，该方法包括：加载分类器与目标检测网络；驱动毫米波雷达持续向外部环境采集多帧原始点云数据；提取连续排序的三帧原始点云数据，作为第一目标点云数据、第二目标点云数据与第三目标点云数据；计算第一目标点云数据与第三目标点云数据之间的差值，作为差分点云数据；将差分点云数据输入分类器中提取第一目标点云特征、依据第一目标点云特征分类是否存在人体；若存在人体，则将差分点云数据叠加至第二目标点云数据中，得到第四目标点云数据；将第四目标点云数据输入目标检测网络中提取第二目标点云特征、依据部分第一目标点云特征与第二目标点云特征检测人体。保证检测精确度，提高检测速度。

Description

一种人体检测方法、装置、设备及存储介质
技术领域
本发明涉及毫米波雷达的技术领域，尤其涉及一种人体检测方法、装置、设备及存储介质。
背景技术
随着智能家电的普及，诸如电灯、马桶等家电设备中开始普及毫米波雷达这种隐私性强的传感器，使用毫米波雷达快速检测环境中是否存在人体，在存在人体的情况下检测人体的位置、活动状态等详细信息，并以此控制家电设备，例如，开灯、关灯、掀开马桶盖，等等。
目前，在快速检测是否存在人体时，主要是计算毫米波雷达发出的相邻两帧信号之间的频率差，如果频率差不为0，则判断存在人体，如果频率差为0，则判断不存在人体。
但是，环境中可能存在其他活动的宠物、物体，如风吹动窗帘等，也会使用频率差为0，存在误检测的可能，导致检测是否存在人体的精确度较低。
发明内容
本发明提供了一种人体检测方法、装置、设备及存储介质，以解决如何提高使用毫米波雷达快速检测是否存在人体的精确度的问题。
根据本发明的一方面，提供了一种人体检测方法，包括：
加载分类器与目标检测网络；
驱动毫米波雷达持续向外部环境采集多帧原始点云数据；
提取连续排序的三帧所述原始点云数据，作为第一目标点云数据、第二目标点云数据与第三目标点云数据；
计算所述第一目标点云数据与所述第三目标点云数据之间的差值，作为差分点云数据；
将所述差分点云数据输入所述分类器中提取第一目标点云特征、依据所述第一目标点云特征分类是否存在人体；
若存在人体，则将所述差分点云数据叠加至所述第二目标点云数据中，得到第四目标点云数据；
将所述第四目标点云数据输入所述目标检测网络中提取第二目标点云特征、依据部分所述第一目标点云特征与所述第二目标点云特征检测人体。
根据本发明的另一方面，提供了一种人体检测装置，包括：
模型加载模块，用于加载分类器与目标检测网络；
点云检测模块，用于驱动毫米波雷达持续向外部环境采集多帧原始点云数据；
帧提取模块，用于提取连续排序的三帧所述原始点云数据，作为第一目标点云数据、第二目标点云数据与第三目标点云数据；
差分计算模块，用于计算所述第一目标点云数据与所述第三目标点云数据之间的差值，作为差分点云数据；
人体分类模块，用于将所述差分点云数据输入所述分类器中提取第一目标点云特征、依据所述第一目标点云特征分类是否存在人体；
点云叠加模块，用于若存在人体，则将所述差分点云数据叠加至所述第二目标点云数据中，得到第四目标点云数据；
人体检测模块，用于将所述第四目标点云数据输入所述目标检测网络中提取第二目标点云特征、依据部分所述第一目标点云特征与所述第二目标点云特征检测人体。
根据本发明的另一方面，提供了一种家电设备，所述家电设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的人体检测方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现本发明任一实施例所述的人体检测方法。
在本实施例中，加载分类器与目标检测网络；驱动毫米波雷达持续向外部环境采集多帧原始点云数据；提取连续排序的三帧原始点云数据，作为第一目标点云数据、第二目标点云数据与第三目标点云数据；计算第一目标点云数据与第三目标点云数据之间的差值，作为差分点云数据；将差分点云数据输入分类器中提取第一目标点云特征、依据第一目标点云特征分类是否存在人体；若存在人体，则将差分点云数据叠加至第二目标点云数据中，得到第四目标点云数据；将第四目标点云数据输入目标检测网络中提取第二目标点云特征、依据部分第一目标点云特征与第二目标点云特征检测人体。本实施例实现了由粗(分类)到细(目标检测)的探测是否存在人体的操作，分类器使用帧间的差分点云数据快速分类，可以过滤部分无人体的帧，减少目标检测网络的运算量，目标检测网络复用分类器的部分第一目标点云特征，不仅保证特征的丰富度，保证检测人体的精确度，而且可有效减少提取特征的操作，提高检测人体的速度。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种人体检测方法的流程图；
图2是根据本发明实施例一提供的一种分类器与目标检测网络的结构示意图；
图3是根据本发明实施例二提供的一种人体检测装置的结构示意图；
图4是根据本发明实施例三提供的一种家电设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供的一种人体检测方法的流程图，本实施例可适用于对毫米波雷达探测的点云数据进行二级检测，从而确定是否存在人体情况，该方法可以由人体检测装置来执行，该人体检测装置可以采用硬件和/或软件的形式实现，该人体检测装置可配置于家电设备中。如图1所示，该方法包括：
步骤101、加载分类器与目标检测网络。
在本实施例中，可以预先基于深度学习构建分类器与目标检测网络，并采集样本对分类器与目标检测网络进行训练、验证，使得分类器可用于依据点云数据的差分信息分类是否存在人体，目标检测网络用于依据点云数据及其差分信息检测人体。
其中，分类器与目标检测网络不局限于人工设计的神经网络，尤其为可在家电设备等资源相对有限的端部署方案，例如，MobileNet(移动网络)及其变种(ShuffleNet)、YOLO(You Only Look Once)系列，等等，也可以通过模型量化方法优化的神经网络，通过NAS(Neural Architecture Search，神经网络结构搜索)方法针对人体特性搜索的神经网络，等等，本实施例对此不加以限制。
用户在家庭、办公室等室内环境中部署各种家电设备，例如，照明灯(如面板等、吸顶灯、走廊过道灯灯)、空调、马桶，等等，该家电设备设置有毫米波雷达、分类器与目标检测网络。
在实际应用中，毫米波雷达具有多个频段，包括5.8GHz、10GHz、24GHz、60GHz、77GHz等等，对于居家办公等较为简单的场景，可使用频段为24GHz的毫米波雷达，其最大支持250MHz扫频带宽，距离分辨率最小60cm，存在感应效果良好。
此外，分类器与目标检测网络可由云端维护，云端在更新分类器或目标检测网络时，将更新的内容同步分发至家电设备。
在家电设备启动时，可将分类器与目标检测网络加载至内存运行。
步骤102、驱动毫米波雷达持续向外部环境采集多帧原始点云数据。
在本实施例中，可以驱动毫米波雷达持续向外部环境发射多帧信号，这些信号经外部环境中的障碍物发射，毫米波雷达可接收到反射过来的信号，对这些信号进行重建，得到多帧原始点云数据。
进一步地，由于室内环境中用户处于低速运动的状态，可以在每帧信号中抽取一帧Chirp(线性调频信号)，在多帧信号中抽取多帧Chirp，以便获得用户较为丰富的运动信息，对多帧Chirp进行添加窗口、FFT(Fast Fourier Transform，快速傅里叶变换)、计算方位角、计算方位距离等操作，重建为三维的原始点云数据。
在具体实现中，可以查询驱动毫米波雷达所处家电设备的运行模式，该运行模式可以包括智能模式、节能模式、自定义模式，等等。
其中，智能模式为家电设备自主检测用户的状态并依据用户的状态控制家电设备的操作。
节能模式为用户手动控制家电设备的操作。
自定义模式为用户设定多个时间段，在不同时间段中，家电设备自主检测用户的状态并依据用户的状态控制家电设备的操作，或者，用户手动控制家电设备的操作。
若运行模式为智能模式，则可以查询用户历史在多个周期性的时间段内使用家电设备的频次。
其中，所谓周期性的时间段，可以指时间段周期出现，如每天12:00-13:00等，各个时间段之间的长度可以相同、也可以不同，例如，在家电设备较为繁忙的期间，该时间段切分的长度较短，以提高灵敏度，在家电设备较为空闲的期间，该时间段切分的长度较长。
用户每通过家电设备的按钮、硬件遥控器或软件遥控器等方式主动控制家电设备，则可以记录一次使用信息及时间戳，统计时间戳位于时间段内的使用信息的数量，即为用户在该时间段内使用家电设备的频次。
若当前到达时间段、且频次大于预设的第二阈值(表示用户控制家电设备的频次较高)，则每间隔预设的时间驱动毫米波雷达向所处家电设备所处的外部环境采集原始点云数据。
由于毫米波雷达是探测是否存在人体，其探测是否存在人体的频率较正常的频率低，此时，探测是否存在人体间隔的时间较正常间隔的时间长，如3秒、6秒等。
步骤103、提取连续排序的三帧原始点云数据，作为第一目标点云数据、第二目标点云数据与第三目标点云数据。
毫米波雷达持续采集原始点云数据，形成一系列的原始点云数据，记为点云序列，在该点云序列中，可以添加窗口，该窗口的长度为3，可囊括三帧原始点云数据，按照既定的步长(如1或2)在该点云序列中滑动。
如图2所示，在每次滑动时，读取该窗口中连续排序的三帧原始点云数据，为便于区分，将这连续排序的三帧原始点云数据分别记为第一目标点云数据Fi-1、第二目标点云数据Fi与第三目标点云数据Fi+1，其中，i为正整数，且i≥2，那么，第一目标点云数据Fi-1排序在之前第二目标点云数据Fi，第二目标点云数据Fi排序在第三目标点云数据Fi+1之前，即，第二目标点云数据Fi排序在第一目标点云数据Fi-1与第三目标点云数据Fi+1之间。
步骤104、计算第一目标点云数据与第三目标点云数据之间的差值，作为差分点云数据。
一般情况下，当存在室内环境存在移动的对象时，原始点云数据之间会存在差别，因此，求取两帧原始点云数据之间的差值，该差值一般取绝对值，静止的对象在表现出来是趋向0，而移动的对象(尤其为轮廓)存在灰度变化，并非趋向0。
在本实施例中，如图2所示，可以对第一目标点云数据Fi-1与第三目标点云数据Fi+1做差分运算，从而计算第一目标点云数据Fi-1与第三目标点云数据Fi+1之间的差值，记为差分点云数据FDiff。
由于用户在室内环境中经常出现阅读、工作、看电视等操作，处于一种缓慢移动的状态，增加帧间(即第一目标点云数据与第三目标点云数据)的时间差距，可以放大移动的幅度，减缓或避免出现点云重叠的情况，尽可能探测出处于环境移动状态的人体。
步骤105、将差分点云数据输入分类器中提取第一目标点云特征、依据第一目标点云特征分类是否存在人体。
在探测是否存在人体的过程中，分类器的结构较为简单、可提供速度较快的粗分类，因此，可设置分类器在人体的维度上实现二分类的功能，即，该分类器输出的分类结果为存在人体、不存在人体。
如图2所示，将差分点云数据FDiff输入分类器中，分类器按照其结构对差分点云数据FDiff进行处理，在处理的过程中，对差分点云数据FDiff执行提取特征的操作，尤其为提取空间(轮廓)的特征，从差分点云数据FDiff中提取多个层次的特征，记为第一目标点云特征，依据第一目标点云特征分类是否存在人体。
在具体实现中，如图2所示，分类器包括第一卷积块Block_1、第二卷积块Block_2、第三卷积块Block_3与全连接层(Fully Connected Layers，FC)。
其中，第一卷积块Block_1、第二卷积块Block_2、第三卷积块Block_3均为对可提供卷积操作的结构的封装，第一卷积块Block_1、第二卷积块Block_2、第三卷积块Block_3之间的结构相同或相似，例如，C2f(CSPLayer)结构、卷积模块(包含卷积层(ConvolutionalLayer，Conv)、BN(Batch Normlization，批量归一化)与SiLU(Sigmoid Linear Unit，S形线性单元))，或者，多个Bottleneck(瓶颈残差模块)，或者，多个卷积层，等等，本实施例对此不加以限制。
相应地，第一目标点云特征从浅到深依次包括第一层次点云特征P1、第二层次点云特征P2与第三层次点云特征P3。
将差分点云数据FDiff输入第一卷积块Block_1中，第一卷积块Block_1按照其结构对差分点云数据FDiff进行处理，获得第一层次点云特征P1。
将第一层次点云特征P1输入第二卷积块Block_2中，第二卷积块Block_2按照其结构对第一层次点云特征P1进行处理，获得第二
层次点云特征P2。
通过Concat(拼接)等函数将第一层次点云特征P1与第二层次点云特征P2融合为第一中间点云特征。
由于差分点云数据FDiff中的点较为稀疏，使其信息量较少，差分点云数据FDiff经过多次下采样，容易造成信息丢失，因此，将浅层的特征(即第一层次点云特征P1)与深层特征(即第二层次点云特征P2)融合，可提高信息的丰富程度，可提高分类是否存在人体的精确度。
将第一中间点云特征输入第三卷积块Block_3中，第三卷积块Block_3按照其结构对第一中间点云特征进行处理，获得第三层次点云特征P3。
将第三层次点云特征P3输入全连接层FC中映射为概率，并将该概率与预设的第一阈值进行比较。
若概率大于或等于预设的第一阈值，则确定存在人体。
若概率小于预设的第一阈值，则确定不存在人体。
一般情况下，可将第一阈值设置得稍低一些，以便提高分类器的灵敏度，尽可能召回可能存在人体的差分点云数据FDiff与相应的第二目标点云数据Fi。
步骤106、若存在人体，则将差分点云数据叠加至第二目标点云数据中，得到第四目标点云数据。
如果分类器输出的分类结果为不存在人体，则可以结束本次检测是否存在人体，继续移动窗口，开启下次检测是否存在人体。
如果分类器输出的分类结果为存在人体，分类结果存在一定的错误率，因此，可以调用目标检测网络进行精检测，此时，如图2所示，将差分点云数据FDiff中的点叠加至第二目标点云数据Fi中，得到第四目标点云数据。
由于差分点云数据中FDiff的点主要表现为处于移动状态的对象的轮廓，可以保留该对象的特征，使其可用于检测人体。
由于第二目标点云数据Fi位于第一目标点云数据Fi-1与第三目标点云数据Fi+1中，那么第一目标点云数据Fi-1与第三目标点云数据Fi+1之间差分点云数据FDiff可均衡地叠加在人体附近，使得第四目标点云数据中记录了三个时态连续的静态信息，从而形成时序上的动态信息，提高特征的丰富程度，提高检测人体的精确度。
步骤107、将第四目标点云数据输入目标检测网络中提取第二目标点云特征、依据部分第一目标点云特征与第二目标点云特征检测人体。
在探测是否存在人体的过程中，目标检测网络的结构较为复杂、可提供精确度较高的精检测，其检测结果除了明确是否存在人体之外，还可复用于控制家电设备的操作中，减少重复性的检测操作。
将第四目标点云数据输入目标检测网络中，目标检测网络按照其结构对第四目标点云数据进行处理，在处理的过程中，对第四目标点云数据执行提取特征的操作，尤其为时序与空间的特征，从第四目标点云数据中提取多个层次的特征，记为第二目标点云特征。
依据部分第一目标点云特征(尤其为深层次的第一目标点云特征)与第二目标点云特征检测人体。
通过复用第一目标点云特征，可以提高特征的丰富度，减少目标检测网络的结构的复杂程度，降低特征提取操作的运算量，从而提高检测的速度。
在本发明的一个实施例中，如图2所示，目标检测网络包括特征网络Backbone、颈部网络Neck与头网络Head，则在本实施例中，步骤107可以包括如下步骤：
步骤1071、在特征网络中，从第四目标点云数据中依次提取第一阶段点云特征、第二阶段点云特征与第三阶段点云特征。
如图2所示，第二目标点云特征包括与第一层次点云特征P1对应的第一阶段点云特征D1、与第二层次点云特征P2对应的第二阶段点云特征D2、以及、与第三层次点云特征P3对应的第三阶段点云特征D3。
所谓对应，可以指第一层次点云特征P1在分类器中的层次与第一阶段点云特征D1在目标检测网络中的层次相同，第二层次点云特征P2在分类器中的层次与第二阶段点云特征D2在目标检测网络中的层次相同，第三层次点云特征P3在分类器中的层次与第三阶段点云特征D3在目标检测网络中的层次相同，以便后续融合时提高特征的质量。
特征网络Backbone负责对点云特征提取特征，特征网络Backbone中包含了诸如卷积、上采样等多个层的结构，将第四目标点云特征输入特征网络Backbone中，依次经过多个层的处理，在这个处理的过程中，按照处理的顺序依次生成多个特征，分别提取五个特征，记为第一阶段点云特征D1、第二阶段点云特征D2与第三阶段点云特征D3。
在具体实现中，如图2所示，特征网络Backbone包括第四卷积块Block_4、第五卷积块Block_5与第六卷积块Block_6，其中，第四卷积块Block_4、第五卷积块Block_5与第六卷积块Block_6均为对可提供卷积操作的结构的封装，第四卷积块Block_4、第五卷积块Block_5与第六卷积块Block_6之间的结构相同或相似，例如，C2f结构、卷积模块(包含卷积层、BN与SiLU)，或者，多个Bottleneck，或者，多个卷积层，等等，本实施例对此不加以限制。
一般情况下，第四卷积块Block_4、第五卷积块Block_5与第六卷积块Block_6的结构比第一卷积块Block_1、第二卷积块Block_2、第三卷积块Block_3复杂，以便提取更加丰富的特征。
将第四目标点云数据输入第四卷积块Block_4中，第四卷积块Block_4按照其结构对第四目标点云数据进行处理，获得第一阶段点云特征D1。
将第一阶段点云特征D1输入第五卷积块Block_5中，第五卷积块Block_5按照其结构对第一阶段点云特征D1进行处理，获得第二阶段点云特征D2。
通过Concat等函数将第一阶段点云特征D1与第二阶段点云D2特征融合为第二中间点云特征。
将第二中间点云特征输入第六卷积块Block_6中，第六卷积块Block_6按照其结构对第二中间点云特征进行处理，获得第三阶段点云特征D3。
步骤1072、在颈部网络中，将第二阶段点云特征、第三阶段点云特征、第二层次点云数据与第三层次点云数据进行多尺度的融合操作，得到第一候选点云特征与第二候选点云特征。
如图2所示，颈部网络Neck包含了诸如卷积、上采样、拼接等多个层的结构，主要负责对点云特征进行多尺度的融合，并将这些特征传递给头结构Head。
将第二阶段点云特征D2、第三阶段点云特征D3、第二层次点云数据P2与第三层次点云数据P3输入颈部网络Neck中执行多尺度的特征融合操作，得到第一候选点云特征K1与第二候选点云特征K2。
在具体实现中，如图2所示，对第三阶段点云特征D3执行上采样操作Upsample，得到第一尺度点云特征。
使用Concat等函数将第一尺度点云特征与第二阶段点云D2进行融合，得到第二尺度点云特征。
将第二尺度点云特征输入多个二维的卷积层Conv2D中，依次对第二尺度点云特征进行卷积与上采样Upsample，得到第三尺度点云特征。
使用Concat等函数将第三尺度点云特征与第二层次点云特征P2融合为第四尺度点云特征。
将第四尺度点云特征输入多个二维的卷积层Conv2D中，对第四尺度点云特征进行卷积，得到第一候选点云特征K1。
将第一候选点云特征K1与第三层次点云特征P3融合为第五尺度点云特征。
将第五尺度点云特征输入多个二维的卷积层Conv2D中，对第五尺度点云特征进行卷积，得到第二候选点云特征K2。
步骤1073、在头网络中，将第一候选点云特征与第二候选点云特征解耦合为目标检测框。
如图2所示，头网络Head属于解耦合头Decoupled Head，将第一候选点云特征K1与第二候选点云特征K2均输入头网络Head中，头网络Head按照其结构对第一候选点云特征K1与第二候选点云特征K2进行解耦Decoupled，生成目标检测框，其中，该目标检测框用于框定人体。
所谓解耦合Decoupled，是将目标(即人体)的位置和类别分别提取出来，通过不同的网络分支分别学习，最后再进行融合，可有效减少参数量和计算复杂度，增强目标检测网络的泛化性和鲁棒性。
在具体实现中，如图2所示，头网络Head中具有第一检测分支与第二检测分支，第一检测分支中具有两个第一子分支，每个第一子分支中均具有第一长短期记忆网络LSTM_1与多个第一卷积层Conv_1，第二检测分支中具有两个第二子分支，每个第二子分支中均具有第二长短期记忆网络LSTM_2与多个第二卷积层Conv_2。
其中，第一长短期记忆网络LSTM_1与第二长短期记忆网络LSTM_2均属于长短期记忆网络，长短期记忆网络通过引入记忆细胞、输入门、输出门和遗忘门的概念，记忆细胞负责保存重要信息，输入门决定要不要将当前输入信息写入记忆细胞，遗忘门决定要不要遗忘记忆细胞中的信息，输出门决定要不要将记忆细胞的信息作为当前的输出。这些门的控制能够有效地捕捉序列中重要的长时间依赖性，可有效从点云特征中提取时序上的特征。
在第一检测分支中，将第一候选点云特征K1输入第一长短期记忆网络LSTM_1中进行处理，得到第一检测点云特征。
将第一检测点云特征输入多个第一卷积层Conv_1中进行卷积，得到第一候选检测框BBox_1，其中，第一候选检测框BBox_1用于框定人体。
在解耦合的操作中，检测的目标为人体，其中一个第一子分支负责检测目标的位置，另外一个第一子分支负责检测目标的类别，将位置与类别融合为第一候选检测框BBox_1。
在第二检测分支中，将第二候选点云特征K2输入第二长短期记忆网络LSTM_2中进行处理，得到第二检测点云特征。
将第二检测点云特征输入多个第二卷积层Conv_2中进行卷积，得到第二候选检测框BBox_2，其中，第二候选检测框Bbox_2用于框定人体。
在解耦合的操作中，检测的目标为人体，其中一个第二子分支负责检测目标的位置，另外一个第二子分支负责检测目标的类别，将位置与类别融合为第二候选检测框BBox_2。
汇合第一检测分支与第二检测分支，通过IOU(交并比)、NMS(非极大值抑制)等操作，将第一候选检测框BBox_1与第二候选检测框BBox_2融合为目标检测框Box。
在本实施例中，加载分类器与目标检测网络；驱动毫米波雷达持续向外部环境采集多帧原始点云数据；提取连续排序的三帧原始点云数据，作为第一目标点云数据、第二目标点云数据与第三目标点云数据；计算第一目标点云数据与第三目标点云数据之间的差值，作为差分点云数据；将差分点云数据输入分类器中提取第一目标点云特征、依据第一目标点云特征分类是否存在人体；若存在人体，则将差分点云数据叠加至第二目标点云数据中，得到第四目标点云数据；将第四目标点云数据输入目标检测网络中提取第二目标点云特征、依据部分第一目标点云特征与第二目标点云特征检测人体。本实施例实现了由粗(分类)到细(目标检测)的探测是否存在人体的操作，分类器使用帧间的差分点云数据快速分类，可以过滤部分无人体的帧，减少目标检测网络的运算量，目标检测网络复用分类器的部分第一目标点云特征，不仅保证特征的丰富度，保证检测人体的精确度，而且可有效减少提取特征的操作，提高检测人体的速度。
实施例二
图3为本发明实施例二提供的一种人体检测装置的结构示意图。如图3所示，该装置包括：
模型加载模块301，用于加载分类器与目标检测网络；
点云检测模块302，用于驱动毫米波雷达持续向外部环境采集多帧原始点云数据；
帧提取模块303，用于提取连续排序的三帧所述原始点云数据，作为第一目标点云数据、第二目标点云数据与第三目标点云数据；
差分计算模块304，用于计算所述第一目标点云数据与所述第三目标点云数据之间的差值，作为差分点云数据；
人体分类模块305，用于将所述差分点云数据输入所述分类器中提取第一目标点云特征、依据所述第一目标点云特征分类是否存在人体；
点云叠加模块306，用于若存在人体，则将所述差分点云数据叠加至所述第二目标点云数据中，得到第四目标点云数据；
人体检测模块307，用于将所述第四目标点云数据输入所述目标检测网络中提取第二目标点云特征、依据部分所述第一目标点云特征与所述第二目标点云特征检测人体。
在本发明的一个实施例中，所述分类器包括第一卷积块、第二卷积块、第三卷积块与全连接层；所述第一目标点云特征包括第一层次点云特征、第二层次点云特征与第三层次点云特征；
所述人体分类模块305包括：
第一层次提取模块，用于将所述差分点云数据输入所述第一卷积块中进行处理，获得第一层次点云特征；
第二层次提取模块，用于将所述第一层次点云特征输入所述第二卷积块中进行处理，获得第二层次点云特征；
第一中间融合模块，用于将所述第一层次点云特征与所述第二层次点云特征融合为第一中间点云特征；
第三层次提取模块，用于将所述第一中间点云特征输入所述第三卷积块中进行处理，获得第三层次点云特征；
概率映射模块，用于将所述第三层次点云特征输入所述全连接层中映射为概率；
人体确定模块，用于若所述概率大于或等于预设的第一阈值，则确定存在人体。
在本发明的一个实施例中，所述目标检测网络包括特征网络、颈部网络与头网络，所述第二目标点云特征包括与所述第一层次点云特征对应的第一阶段点云特征、与所述第二层次点云特征对应的第二阶段点云特征、以及、与所述第三层次点云特征对应的第三阶段点云特征；
所述人体检测模块307包括：
阶段点云提取模块，用于在所述特征网络中，从所述第四目标点云数据中依次提取第一阶段点云特征、第二阶段点云特征与第三阶段点云特征；
多尺度融合模块，用于在所述颈部网络中，将所述第二阶段点云特征、所述第三阶段点云特征、所述第二层次点云数据与所述第三层次点云数据进行多尺度的融合操作，得到第一候选点云特征与第二候选点云特征；
目标检测框生成模块，用于在所述头网络中，将所述第一候选点云特征与第二候选点云特征解耦合为目标检测框，所述目标检测框用于框定人体。
在本发明的一个实施例中，所述特征网络包括第四卷积块、第五卷积块与第六卷积块；
所述阶段点云提取模块包括：
第一阶段提取模块，用于将所述第四目标点云数据输入所述第四卷积块中进行处理，获得第一阶段点云特征；
第二阶段提取模块，用于将所述第一阶段点云特征输入所述第五卷积块中进行处理，获得第二阶段点云特征；
第二中间融合模块，用于将所述第一阶段点云特征与所述第二阶段点云特征融合为第二中间点云特征；
第三阶段提取模块，用于将所述第二中间点云特征输入所述第六卷积块中进行处理，获得第三阶段点云特征。
在本发明的一个实施例中，所述多尺度融合模块包括：
第一尺度融合模块，用于对所述第三阶段点云特征执行上采样操作，得到第一尺度点云特征；
第二尺度融合模块，用于将所述第一尺度点云特征与所述第二阶段点云进行融合，得到第二尺度点云特征；
第三尺度融合模块，用于依次对所述第二尺度点云特征进行卷积与上采样，得到第三尺度点云特征；
第四尺度融合模块，用于将所述第三尺度点云特征与所述第二层次点云特征融合为第四尺度点云特征；
第五尺度融合模块，用于对所述第四尺度点云特征进行卷积，得到第一候选点云特征；
第六尺度融合模块，用于将所述第一候选点云特征与所述第三层次点云特征融合为第五尺度点云特征；
第七尺度融合模块，用于对所述第五尺度点云特征进行卷积，得到第二候选点云特征。
在本发明的一个实施例中，所述头网络中具有第一长短期记忆网络与多个第一卷积层，以及，第二长短期记忆网络与多个第二卷积层；
所述目标检测框生成模块包括：
第一检测提取模块，用于将所述第一候选点云特征输入所述第一长短期记忆网络中进行处理，得到第一检测点云特征；
第一候选检测框生成模块，用于将所述第一检测点云特征输入多个所述第一卷积层中进行卷积，得到第一候选检测框，所述第一候选检测框用于框定人体；
第二检测提取模块，用于将所述第二候选点云特征输入所述第二长短期记忆网络中进行处理，得到第二检测点云特征；
第二候选检测框生成模块，用于将所述第二检测点云特征输入多个所述第二卷积层中进行卷积，得到第二候选检测框，所述第二候选检测框用于框定人体；
候选检测框融合模块，用于将所述第一候选检测框与所述第二候选检测框融合为目标检测框。
在本发明的一个实施例中，所述点云检测模块302包括：
运行模式查询模块，用于查询驱动毫米波雷达所处家电设备的运行模式；
频次查询模块，用于若所述运行模式为智能模式，则查询用户历史在多个周期性的时间段内使用所述家电设备的频次；
外部环境探测模块，用于若当前到达所述时间段、且所述频次大于预设的第二阈值，则每间隔预设的时间驱动所述毫米波雷达向所处家电设备所处的外部环境采集原始点云数据。
本发明实施例所提供的人体检测装置可执行本发明任意实施例所提供的人体检测方法，具备执行人体检测方法相应的功能模块和有益效果。
实施例三
图4示出了可以用来实施本发明的实施例的家电设备10的结构示意图。家电设备旨在表示各种形式的数字计算机，诸如，照明灯具、马桶、空调和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示，家电设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储家电设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
家电设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许家电设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，如人体检测方法。
在一些实施例中，人体检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到家电设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的人体检测方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行人体检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
实施例四
本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序在被处理器执行时实现如本发明任一实施例所提供的人体检测方法。
计算机程序产品在实现的过程中，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (9)

1.一种人体检测方法，其特征在于，包括：
加载分类器与目标检测网络；
驱动毫米波雷达持续向外部环境采集多帧原始点云数据；
提取连续排序的三帧所述原始点云数据，作为第一目标点云数据、第二目标点云数据与第三目标点云数据；
计算所述第一目标点云数据与所述第三目标点云数据之间的差值，作为差分点云数据；
将所述差分点云数据输入所述分类器中提取第一目标点云特征、依据所述第一目标点云特征分类是否存在人体；
若存在人体，则将所述差分点云数据叠加至所述第二目标点云数据中，得到第四目标点云数据；
将所述第四目标点云数据输入所述目标检测网络中提取第二目标点云特征、依据部分所述第一目标点云特征与所述第二目标点云特征检测人体；
其中，所述分类器包括第一卷积块、第二卷积块、第三卷积块与全连接层；所述第一目标点云特征包括第一层次点云特征、第二层次点云特征与第三层次点云特征；
所述将所述差分点云数据输入所述分类器中提取第一目标点云特征、依据所述第一目标点云特征分类是否存在人体，包括：
将所述差分点云数据输入所述第一卷积块中进行处理，获得第一层次点云特征；
将所述第一层次点云特征输入所述第二卷积块中进行处理，获得第二层次点云特征；
将所述第一层次点云特征与所述第二层次点云特征融合为第一中间点云特征；
将所述第一中间点云特征输入所述第三卷积块中进行处理，获得第三层次点云特征；
将所述第三层次点云特征输入所述全连接层中映射为概率；
若所述概率大于或等于预设的第一阈值，则确定存在人体。
2.根据权利要求1所述的方法，其特征在于，所述目标检测网络包括特征网络、颈部网络与头网络，所述第二目标点云特征包括与所述第一层次点云特征对应的第一阶段点云特征、与所述第二层次点云特征对应的第二阶段点云特征、以及、与所述第三层次点云特征对应的第三阶段点云特征；
所述将所述第四目标点云数据输入所述目标检测网络中提取第二目标点云特征、依据部分所述第一目标点云特征与所述第二目标点云特征检测人体，包括：
在所述特征网络中，从所述第四目标点云数据中依次提取第一阶段点云特征、第二阶段点云特征与第三阶段点云特征；
在所述颈部网络中，将所述第二阶段点云特征、所述第三阶段点云特征、所述第二层次点云特征与所述第三层次点云特征进行多尺度的融合操作，得到第一候选点云特征与第二候选点云特征；
在所述头网络中，将所述第一候选点云特征与第二候选点云特征解耦合为目标检测框，所述目标检测框用于框定人体。
3.根据权利要求2所述的方法，其特征在于，所述特征网络包括第四卷积块、第五卷积块与第六卷积块；
所述在所述特征网络中，从所述第四目标点云数据中依次提取第一阶段点云特征、第二阶段点云特征与第三阶段点云特征，包括：
将所述第四目标点云数据输入所述第四卷积块中进行处理，获得第一阶段点云特征；
将所述第一阶段点云特征输入所述第五卷积块中进行处理，获得第二阶段点云特征；
将所述第一阶段点云特征与所述第二阶段点云特征融合为第二中间点云特征；
将所述第二中间点云特征输入所述第六卷积块中进行处理，获得第三阶段点云特征。
4.根据权利要求2所述的方法，其特征在于，所述在所述颈部网络中，将所述第二阶段点云特征、所述第三阶段点云特征、所述第二层次点云特征与所述第三层次点云特征进行多尺度的融合操作，得到第一候选点云特征与第二候选点云特征，包括：
对所述第三阶段点云特征执行上采样操作，得到第一尺度点云特征；
将所述第一尺度点云特征与所述第二阶段点云特征进行融合，得到第二尺度点云特征；
依次对所述第二尺度点云特征进行卷积与上采样，得到第三尺度点云特征；
将所述第三尺度点云特征与所述第二层次点云特征融合为第四尺度点云特征；
对所述第四尺度点云特征进行卷积，得到第一候选点云特征；
将所述第一候选点云特征与所述第三层次点云特征融合为第五尺度点云特征；
对所述第五尺度点云特征进行卷积，得到第二候选点云特征。
5.根据权利要求2所述的方法，其特征在于，所述头网络中具有第一长短期记忆网络与多个第一卷积层，以及，第二长短期记忆网络与多个第二卷积层；
所述在所述头网络中，将所述第一候选点云特征与第二候选点云特征解耦合为目标检测框，包括：
将所述第一候选点云特征输入所述第一长短期记忆网络中进行处理，得到第一检测点云特征；
将所述第一检测点云特征输入多个所述第一卷积层中进行卷积，得到第一候选检测框，所述第一候选检测框用于框定人体；
将所述第二候选点云特征输入所述第二长短期记忆网络中进行处理，得到第二检测点云特征；
将所述第二检测点云特征输入多个所述第二卷积层中进行卷积，得到第二候选检测框，所述第二候选检测框用于框定人体；
将所述第一候选检测框与所述第二候选检测框融合为目标检测框。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述驱动毫米波雷达持续向外部环境采集多帧原始点云数据，包括：
查询驱动毫米波雷达所处家电设备的运行模式；
若所述运行模式为智能模式，则查询用户历史在多个周期性的时间段内使用所述家电设备的频次；
若当前到达所述时间段、且所述频次大于预设的第二阈值，则每间隔预设的时间驱动所述毫米波雷达向所处家电设备所处的外部环境采集原始点云数据。
7.一种人体检测装置，其特征在于，包括：
模型加载模块，用于加载分类器与目标检测网络；
点云检测模块，用于驱动毫米波雷达持续向外部环境采集多帧原始点云数据；
帧提取模块，用于提取连续排序的三帧所述原始点云数据，作为第一目标点云数据、第二目标点云数据与第三目标点云数据；
差分计算模块，用于计算所述第一目标点云数据与所述第三目标点云数据之间的差值，作为差分点云数据；
人体分类模块，用于将所述差分点云数据输入所述分类器中提取第一目标点云特征、依据所述第一目标点云特征分类是否存在人体；
点云叠加模块，用于若存在人体，则将所述差分点云数据叠加至所述第二目标点云数据中，得到第四目标点云数据；
人体检测模块，用于将所述第四目标点云数据输入所述目标检测网络中提取第二目标点云特征、依据部分所述第一目标点云特征与所述第二目标点云特征检测人体；
其中，所述分类器包括第一卷积块、第二卷积块、第三卷积块与全连接层；所述第一目标点云特征包括第一层次点云特征、第二层次点云特征与第三层次点云特征；
所述人体分类模块包括：
第一层次提取模块，用于将所述差分点云数据输入所述第一卷积块中进行处理，获得第一层次点云特征；
第二层次提取模块，用于将所述第一层次点云特征输入所述第二卷积块中进行处理，获得第二层次点云特征；
第一中间融合模块，用于将所述第一层次点云特征与所述第二层次点云特征融合为第一中间点云特征；
第三层次提取模块，用于将所述第一中间点云特征输入所述第三卷积块中进行处理，获得第三层次点云特征；
概率映射模块，用于将所述第三层次点云特征输入所述全连接层中映射为概率；
人体确定模块，用于若所述概率大于或等于预设的第一阈值，则确定存在人体。
8.一种家电设备，其特征在于，所述家电设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的人体检测方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现权利要求1-6中任一项所述的人体检测方法。
CN202311354028.0A 2023-10-18 2023-10-18 一种人体检测方法、装置、设备及存储介质 Active CN117368876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311354028.0A CN117368876B (zh) 2023-10-18 2023-10-18 一种人体检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311354028.0A CN117368876B (zh) 2023-10-18 2023-10-18 一种人体检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117368876A CN117368876A (zh) 2024-01-09
CN117368876B true CN117368876B (zh) 2024-03-29

Family

ID=89390608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311354028.0A Active CN117368876B (zh) 2023-10-18 2023-10-18 一种人体检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117368876B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109188457A (zh) * 2018-09-07 2019-01-11 百度在线网络技术（北京）有限公司 物体检测框的生成方法、装置、设备、存储介质及车辆
CN112966696A (zh) * 2021-02-05 2021-06-15 中国科学院深圳先进技术研究院 一种处理三维点云的方法、装置、设备以及存储介质
CN113093170A (zh) * 2021-06-07 2021-07-09 长沙莫之比智能科技有限公司 一种基于knn算法的毫米波雷达室内人员检测方法
CN114419617A (zh) * 2022-01-27 2022-04-29 中国第一汽车股份有限公司 一种目标检测方法、装置、设备及存储介质
CN115424233A (zh) * 2022-04-21 2022-12-02 中国第一汽车股份有限公司 基于信息融合的目标检测方法以及目标检测装置
CN116106855A (zh) * 2023-04-13 2023-05-12 中国科学技术大学 摔倒检测方法及摔倒检测装置
CN116189123A (zh) * 2023-01-06 2023-05-30 智道网联科技(北京)有限公司 目标检测模型的训练方法、装置及目标检测方法、装置
CN116185039A (zh) * 2023-03-15 2023-05-30 湖南师范大学 基于雷达帧间差分最大线面积的agv跟随方法
CN116206359A (zh) * 2022-12-27 2023-06-02 浙江大学 基于毫米波雷达与动态采样神经网络的人体步态识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109581361A (zh) * 2018-11-22 2019-04-05 九牧厨卫股份有限公司 一种检测方法、检测装置、终端以及检测系统
US11341650B2 (en) * 2020-03-19 2022-05-24 At&T Intellectual Property I, L.P. Method for accelerating three-dimensional object segmentation with point cloud simplifications
US20230074860A1 (en) * 2021-09-08 2023-03-09 Motional Ad Llc Machine learning-based point cloud alignment classification

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109188457A (zh) * 2018-09-07 2019-01-11 百度在线网络技术（北京）有限公司 物体检测框的生成方法、装置、设备、存储介质及车辆
CN112966696A (zh) * 2021-02-05 2021-06-15 中国科学院深圳先进技术研究院 一种处理三维点云的方法、装置、设备以及存储介质
CN113093170A (zh) * 2021-06-07 2021-07-09 长沙莫之比智能科技有限公司 一种基于knn算法的毫米波雷达室内人员检测方法
CN114419617A (zh) * 2022-01-27 2022-04-29 中国第一汽车股份有限公司 一种目标检测方法、装置、设备及存储介质
CN115424233A (zh) * 2022-04-21 2022-12-02 中国第一汽车股份有限公司 基于信息融合的目标检测方法以及目标检测装置
CN116206359A (zh) * 2022-12-27 2023-06-02 浙江大学 基于毫米波雷达与动态采样神经网络的人体步态识别方法
CN116189123A (zh) * 2023-01-06 2023-05-30 智道网联科技(北京)有限公司 目标检测模型的训练方法、装置及目标检测方法、装置
CN116185039A (zh) * 2023-03-15 2023-05-30 湖南师范大学 基于雷达帧间差分最大线面积的agv跟随方法
CN116106855A (zh) * 2023-04-13 2023-05-12 中国科学技术大学 摔倒检测方法及摔倒检测装置

Also Published As

Publication number Publication date
CN117368876A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
Xu et al. Deep learning for multiple object tracking: a survey
Sehairi et al. Comparative study of motion detection methods for video surveillance systems
US8983133B2 (en) Multi-view object detection using appearance model transfer from similar scenes
Zhang et al. Pedestrian detection method based on Faster R-CNN
CN110414559B (zh) 智能零售柜商品目标检测统一框架的构建方法及商品识别方法
Rakai et al. Data association in multiple object tracking: A survey of recent techniques
Chen et al. An improved Yolov3 based on dual path network for cherry tomatoes detection
CN111741133B (zh) 一种云边端协同的气象智能预警系统
US10445885B1 (en) Methods and systems for tracking objects in videos and images using a cost matrix
US20200097775A1 (en) Systems and methods for detecting and classifying anomalous features in one-dimensional data
US20200111231A1 (en) Methods for context-aware object tracking
Xiong et al. Contrastive learning for automotive mmWave radar detection points based instance segmentation
CN113239753A (zh) 基于YOLOv4改进的交通标志检测与识别方法
CN102902965A (zh) 实现多目标跟踪的视频图像数据结构化描述处理的方法
US20220076022A1 (en) System and method for object tracking using feature-based similarities
CN117368876B (zh) 一种人体检测方法、装置、设备及存储介质
Xu et al. Bilateral association tracking with parzen window density estimation
Zhang et al. Dynamic gesture recognition based on RF sensor and AE-LSTM neural network
Chen et al. Application of Data‐Driven Iterative Learning Algorithm in Transmission Line Defect Detection
Dong et al. Combination of modified U‐Net and domain adaptation for road detection
Huang et al. An improved YOLOv3‐tiny algorithm for vehicle detection in natural scenes
Prasad Adaptive traffic signal control system with cloud computing based online learning
CN112597871A (zh) 基于二阶段聚类的无监督车辆重识别方法、系统及存储介质
Yang et al. Real‐time detecting and tracking of traffic shockwaves based on weighted consensus information fusion in distributed video network
Sun et al. Image detection of foreign body intrusion in railway perimeter based on dual recognition method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant