CN117368902A - 一种轨迹跟踪方法、装置、设备及存储介质 - Google Patents

一种轨迹跟踪方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117368902A
CN117368902A CN202311350469.3A CN202311350469A CN117368902A CN 117368902 A CN117368902 A CN 117368902A CN 202311350469 A CN202311350469 A CN 202311350469A CN 117368902 A CN117368902 A CN 117368902A
Authority
CN
China
Prior art keywords
point cloud
cloud data
difference
level
backbone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311350469.3A
Other languages
English (en)
Other versions
CN117368902B (zh
Inventor
刘运可
卢铬坤
姚林欣
童宇
杨碧婉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Earda Technologies Co ltd
Original Assignee
Earda Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Earda Technologies Co ltd filed Critical Earda Technologies Co ltd
Priority to CN202311350469.3A priority Critical patent/CN117368902B/zh
Publication of CN117368902A publication Critical patent/CN117368902A/zh
Application granted granted Critical
Publication of CN117368902B publication Critical patent/CN117368902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/414—Discriminating targets with respect to background clutter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种轨迹跟踪方法、装置、设备及存储介质，该方法包括：在家电设备空闲时，驱动毫米波雷达向家庭环境采集作为背景的点云数据，作为参考点云数据；在参考点云数据中标记表征可移动的物体，作为参考对象；在家电设备工作时，驱动毫米波雷达按照指定的频率在家庭环境中采集多帧目标点云数据；计算各帧目标点云数据与参考点云数据之间的差值，作为差异对象；将差异对象与历史上各个参考对象进行匹配；若差异对象与参考对象失败，则将差异对象与各个人体对象进行匹配，人体对象为指定姿态下的人体的点云数据；若差异对象与人体对象匹配成功，则依据各帧差异对象生成移动轨迹。运算量少，耗时低，保障跟踪用户的实时性。

Description

一种轨迹跟踪方法、装置、设备及存储介质
技术领域
本发明涉及雷达的技术领域，尤其涉及一种轨迹跟踪方法、装置、设备及存储介质。
背景技术
随着家电设备逐渐的智能化，在家电设备中通常配置有隐私性较强的雷达，使用雷达探测并跟踪用户，以便为用户提供适配的服务，例如，将空调的出风口对准用户，将挂壁扇对准用户，将灯光对准用户，等等。
目前，为了确保精确度，使用雷达跟踪用户的方法通常是使用雷达对点云数据进行语义分割，得到各个对象object，从中各个对象object中识别出人体。
但是，语义分割属于深度学习的技术，运算量较大，耗时较高，使得跟踪用户时产生延时。
发明内容
本发明提供了一种轨迹跟踪方法、装置、设备及存储介质，以解决如何保障使用雷达跟踪用户的实时性的问题。
根据本发明的一方面，提供了一种轨迹跟踪方法，应用于安装在家庭环境的家电设备，所述家电设备中设置有毫米波雷达，所述方法包括：
在所述家电设备空闲时，驱动所述毫米波雷达向所述家庭环境采集作为背景的点云数据，作为参考点云数据；
在所述参考点云数据中标记表征可移动的物体，作为参考对象；
在所述家电设备工作时，驱动所述毫米波雷达按照指定的频率在所述家庭环境中采集多帧目标点云数据；
计算各帧所述目标点云数据与所述参考点云数据之间的差值，作为差异对象；
将所述差异对象与历史上各个所述参考对象进行匹配；
若所述差异对象与所述参考对象失败，则将所述差异对象与各个人体对象进行匹配，所述人体对象为指定姿态下的人体的点云数据；
若所述差异对象与所述人体对象匹配成功，则依据各帧所述差异对象生成移动轨迹。
根据本发明的另一方面，提供了一种轨迹跟踪装置，应用于安装在家庭环境的家电设备，所述家电设备中设置有毫米波雷达，所述装置包括：
参考点云数据采集模块，用于在所述家电设备空闲时，驱动所述毫米波雷达向所述家庭环境采集作为背景的点云数据，作为参考点云数据；
参考对象标记模块，用于在所述参考点云数据中标记表征可移动的物体，作为参考对象；
目标点云数据采集模块，用于在所述家电设备工作时，驱动所述毫米波雷达按照指定的频率在所述家庭环境中采集多帧目标点云数据；
差异对象计算模块，用于计算各帧所述目标点云数据与所述参考点云数据之间的差值，作为差异对象；
参考对象匹配模块，用于将所述差异对象与历史上各个所述参考对象进行匹配；
人体对象匹配模块，用于若所述差异对象与所述参考对象失败，则将所述差异对象与各个人体对象进行匹配，所述人体对象为指定姿态下的人体的点云数据；
移动轨迹生成模块，用于若所述差异对象与所述人体对象匹配成功，则依据各帧所述差异对象生成移动轨迹。
根据本发明的另一方面，提供了一种家电设备，所述家电设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的轨迹跟踪方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现本发明任一实施例所述的轨迹跟踪方法。
在本实施例中，在家电设备空闲时，驱动毫米波雷达向家庭环境采集作为背景的点云数据，作为参考点云数据；在参考点云数据中标记表征可移动的物体，作为参考对象；在家电设备工作时，驱动毫米波雷达按照指定的频率在家庭环境中采集多帧目标点云数据；计算各帧目标点云数据与参考点云数据之间的差值，作为差异对象；将差异对象与历史上各个参考对象进行匹配；若差异对象与参考对象失败，则将差异对象与各个人体对象进行匹配，人体对象为指定姿态下的人体的点云数据；若差异对象与人体对象匹配成功，则依据各帧差异对象生成移动轨迹。家电设备在空闲的状态具备更加充足的资源，去更新家庭环境的背景及可移动的物体，在工作的状态以更少的资源去滤除可移动的物体、匹配人体，不断减少匹配的对象量，运算量少，耗时低，既可以保证跟踪用户的精确度，又可以保障跟踪用户的实时性。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种轨迹跟踪方法的流程图；
图2是根据本发明实施例一提供的一种语义分割网络的结构示意图；
图3是根据本发明实施例一提供的一种连接块的结构示意图；
图4是根据本发明实施例二提供的一种轨迹跟踪装置的结构示意图；
图5是根据本发明实施例三提供的一种家电设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供的一种轨迹跟踪方法的流程图，该方法可以由轨迹跟踪装置来执行，该轨迹跟踪装置可以采用硬件和/或软件的形式实现，该轨迹跟踪装置可应用于安装在家庭环境的家电设备中，如照明灯具、空调、风扇(尤其为挂壁扇)等，该家电设备作为IoT(Internet of Things，物联网)设备，可接入物联网平台中，用户可以使用客户端登录该物联网平台，对家电设备定义安装的家庭环境，如客厅、卧室、书房等。如图1所示，该方法包括：
步骤101、在家电设备空闲时，驱动毫米波雷达向家庭环境采集作为背景的点云数据，作为参考点云数据。
家电设备中设置有毫米波雷达，毫米波雷达是工作在毫米波波段(millimeterwave)探测的雷达，通常毫米波是指30～300GHz频域(波长为1～10mm)的。
在实际应用中，毫米波雷达具有多个频段，包括5.8GHz、10GHz、24GHz、60GHz、77GHz等等，由于家庭环境属于简单的场景，可使用频段为24GHz的毫米波雷达，其最大支持250MHz扫频带宽，距离分辨率最小60cm，存在感应效果良好的优点。
在家庭环境中，家电设备通常是在部分时段工作、为用户提供服务，其余时段处于空闲的状态，即，家电设备未工作、待机，例如，空调未制冷或制热、风扇未转动、照明灯具未照明，等等，此时，家电设备可以按照预设的策略驱动毫米波雷达向家庭环境采集可作为背景的点云数据，记为参考点云数据。
其中，可作为背景是指家庭环境中缺省待跟踪的目标(即人体)，剩余家私、家电等物品。
对于不同类型的家电设备，其策略有所不同，例如，定时采集、在噪声大于阈值(存在活动的可能)时采集，等等，本实施例对此不加以限制。
在本发明的一个实施例中，步骤101可以包括如下步骤：
步骤1011、驱动毫米波雷达向家庭环境采集点云数据，作为原始点云数据。
在本实施例中，家电设备可以控制毫米波雷达向家庭环境发射多帧信号，这些信号经家庭环境中的障碍物发射，毫米波雷达可接收到反射过来的信号，对这些信号进行重建，得到多帧点云数据，记为原始点云数据。
进一步地，由于家庭环境中的物体时大多处于静止的状态，可以将短时间内的多帧点云数据叠加，提高原始点云数据的稠密程度，以提高语义分割的精确度。
在具体实现中，可以在每帧信号中抽取一帧Chirp(线性调频信号)，在多帧信号中抽取多帧Chirp，以便获得用户较为丰富的信息，对多帧Chirp进行添加窗口、FFT(FastFourier Transform，快速傅里叶变换)、计算方位角、计算方位距离等操作，重建为三维的原始点云数据。
步骤1012、加载编码器、连接层与解码器。
在本实施例中，可以预先针对毫米波雷达的构建语义分割网络，将原始点云数据输入语义分割网络中进行语义分割，得到语义信息。
在家庭环境中，语义信息可以包括人体，以及，粗颗粒度的家具(如床、衣柜、桌子、椅子、地板等)与家电(如电视、风扇、冰箱、扫地机器人等)，并不包括细颗粒度的物体(如茶杯、鞋子等)。
进一步地，语义分割网络的结构不局限于人工设计的神经网络，例如，U-Net(U型网络)、FCN(Fully Convolution Network，全卷积网络)、SegNet(Semantic Segmentation，语义分割)，等等，也可以通过模型量化方法优化的神经网络，通过NAS(NeuralArchitecture Search，神经网络结构搜索)方法针对点云的特性搜索的神经网络，等等，本实施例对此不加以限制。
在一个示例中，语义分割网络包括编码器Encoder、连接层Connect与解码器Decoder，其中，编码器Encoder用于提取点云数据的高层特征，表示为一个编码向量；解码器Decoder用于将编码向量解码为点云数据的语义信息；连接层Connect用于连接编码器Encoder与解码器Decoder，传递编码向量。
家电设备在空闲时，可将语义分割网络中的编码器Encoder、连接层Connect与解码器Decoder加载至内存运行，等待对原始点云数据进行语义分割。
步骤1013、在编码器中对原始点云数据执行编码操作，得到多个层级的骨干点云特征。
将原始点云数据输入编码器Encoder中，编码器Encoder按照其结构对原始点云数据执行编码操作，在编码操作的过程中，依次可以生成多个层级的特征，记为骨干点云特征。
在一个示例中，如图2所示，编码器Encoder包括点卷积层PointCNN、池化层Pooling、第一长短期记忆网络LSTM_1与第二长短期记忆网络LSTM_2。
在某些结构中，编码器会使用卷积操作，虽然卷积操作能够提取规则数据的空间信息，但点云数据本身所固有的不规则性使普通的卷积操作无法直接应用于原始点云数据。
点卷积层PointCNN中具有一种X-Transformation，先对原始点云数据进行规则化处理，重新加权和排列各点的相关联特征，保留原始点云数据的空间位置信息，然后对处理过的原始点云数据进行传统的卷积操作。由于点云卷积PointCNN能够利用数据中以网格形式密集表示的空间局部相关性，因此在语义分割上可取得良好的表现。
第一长短期记忆网络LSTM_1与第二长短期记忆网络LSTM_2均属于长短期记忆网络，长短期记忆网络可获取原始点云数据本身固有的上下文特征，空间上下文信息可有效提升语义分割的性能。
那么，在本示例中，在点卷积层PointCNN中对原始点云数据执行点卷积操作，得到第一层级的骨干点云特征。
在池化层Pooling中对第一层级的骨干点云特征执行最大池化操作，得到第二层级的骨干点云特征。
在第一长短期记忆网络LSTM_1中对第二层级的骨干点云特征提取时序上的特征，得到第三层级的骨干点云特征。
将第一层级的骨干点云特征与第三层级的骨干点云特征拼接Concat为第四层级的骨干点云特征.
在第二长短期记忆网络LSTM_2中对第四层级的骨干点云特征提取时序上的特征，得到第五层级的骨干点云特征。
步骤1014、在连接层中对多个层级的骨干点云特征执行映射操作，得到多个层级的中间点云特征。
将多个层级的骨干点云特征输入连接层Connect中，连接层Connect按照其结构对骨干点云特征执行映射操作，得到多个层级的中间点云特征。
在一个示例中，如图2所示，连接层Connect包括多个连接块Block，在不同层级，连接块Block的数量有所不同。
其中，如图3所示，每个连接块Block中依次分布反卷积块Deconv、卷积块Conv、批量归一化函数(Batch Normlization，BN)与激活函数(如ReLU(Rectified Linear Unit，线性整流函数))。
其中，反卷积块Deconv中具有一个或多个反卷积层，反卷积层提供反卷积操作，卷积块Conv中具有一个或多个卷积层，卷积层提供卷积操作，反卷积块Deconv中反卷积层的数量与卷积块Conv中卷积层的数量相同。
那么，在本示例中，将第一层级的骨干点云特征输入三个连接块Block进行处理，得到第一层级的中间点云特征；
将第三层级的骨干点云特征输入两个连接块Block进行处理，得到第二层级的中间点云特征。
将第五层级的骨干点云特征输入一个连接块Block进行处理，得到第三层级的中间点云特征。
步骤1015、在解码器中对多个层级的中间点云特征执行解码操作，得到原始点云数据的语义信息。
将多个层级的中间点云特征输入解码器Decoder中，解码器Decoder按照其结构对多个层级的中间点云特征执行解码操作，输出原始点云数据的语义信息。
在一个示例中，如图2所示，解码器Decoder包括第一卷积层Conv_1、第二卷积层Conv_2、第三卷积层Conv_3与多层感知机MLP(Multi-Layer Perceptron)，其中，第一卷积层Conv_1、第二卷积层Conv_2、第三卷积层Conv_3与均属于携带批量归一化函数与激活函数(如ReLU)的卷积层，第一卷积层Conv_1、第二卷积层Conv_2、第三卷积层Conv_3中卷积层的层数可以相同，也可以不同。
在本示例中，在第一卷积层Conv_1中对第三层级的中间点云特征执行卷积操作，得到第一解码点云特征。
将第一解码点云特征与第二层级的中间点云特征拼接Concat为第二解码点云特征。
在第二卷积层Conv_2中对第二解码点云特征执行卷积操作，得到第三解码点云特征。
将第三解码点云特征与第一层级的中间点云特征拼接Concat为第四解码点云特征。
在第三卷积层Conv_3中对第四解码点云特征执行卷积操作，得到第五解码点云特征。
在多层感知机MLP中将第五解码点云特征映射为原始点云数据的语义信息。
在本示例中，语义分割网络(编码器、连接层与解码器)的结构较为简单，可在保证语义分割的精确度的情况下，可有效降低运算量，适用于资源较为有限的家电设备。
步骤1016、若语义信息未包含人体，则确定原始点云数据表征家庭环境的背景、将原始点云数据设置为参考点云数据。
如果当前帧原始点云数据的语义信息并未包含人体，则可以确定当前帧原始点云数据表征家庭环境的背景、将原始点云数据更新为新一帧的参考点云数据。
家庭环境在短时间内存在变化的可能，因此，作为背景的参考点云数据实时更新，以便适应家庭环境的变化。
步骤102、在参考点云数据中标记表征可移动的物体，作为参考对象。
在实际应用中，家庭环境在短时间内变化的大多为可移动的物体，例如，椅子、婴儿床、落地扇，等等，在参考点云数据中标记表征可移动的物体，记为参考对象object，可提高背景的纯净程度。
在具体实现中，可以对当前帧参考点云数据与上一帧参考点云数据执行差分操作，计算当前帧参考点云数据与上一帧参考点云数据之间的差值，作为变动对象object。
查询变动对象在当前帧参考点云数据中的语义信息。
若变动对象的语义信息为外观固定的家具家电，则标记变动对象表征可移动的物体，作为参考对象。
所谓外观固定，可以指外观的形态在短时间内不会发生改变，如电视机、椅子、婴儿床等。
此外，某些形态在短时间内会发生改变的家居家电，并不纳入参考对象，如窗帘等。
在实际应用中，某些物体(如椅子、婴儿床等)是频繁移动的，某些物体(如床、跑步机等)可能是偶尔移动的，频繁移动的物体作为参考对象的价值较大，偶尔移动的物体作为参考对象的价值较小。
因此，可确定对象簇，对象簇用于记录历史上的参考对象，对象簇中的各个参考对象设置有有效期，该有效期是一个逻辑的数值。
将当前参考对象与对象簇中的各个参考对象进行匹配，其中，匹配的操作可以包括计算轮廓(投影)的相似度、各个高度的横截面的相似度，等等，以判断当前参考对象与对象簇中的各个参考对象是否是同一个物体。
若匹配成功，表示当前参考对象与对象簇中的参考对象属于同一个物体，则可以重置对象簇中的参考对象的有效期，将对象簇中的参考对象的有效期调整至默认的数值。
若匹配失败，表示当前参考对象与对象簇中的任一参考对象均不属于同一个物体，则将对象簇中的各个参考对象的有效期减1。
将当前参考对象写入对象簇中，并对当前参考点对象设置有效期，当前参考点对象的有效期调整至默认的数值。
若对象簇中的某个参考对象的有效期为0，则滤除对象簇中的参考对象。
在本实施例中，依据检测参考对象的频率动态地维护参考对象，滤除偶尔移动的参考对象，保留频繁移动的参考对象，可以提高参考对象的整体价值，减少后续无效的运算量。
步骤103、在家电设备工作时，驱动毫米波雷达按照指定的频率在家庭环境中采集多帧目标点云数据。
在家电设备工作时，可以驱动毫米波雷达按照指定的频率在家庭环境中采集多帧点云数据，记为目标点云数据。
其中，该频率在初始时是一个默认的经验值，也可以为最近使用的数值，本实施例对此不加以限制。
步骤104、计算各帧目标点云数据与参考点云数据之间的差值，作为差异对象。
对各帧目标点云数据与当前参考点云数据执行差分运算，从而计算各帧目标点云数据与参考点云数据之间的差值，记为差异对象object。
步骤105、将差异对象与历史上各个参考对象进行匹配。
将差异对象与历史上各个参考对象(即对象簇中的各个参考对象)进行匹配，其中，匹配的操作可以包括计算轮廓(投影)的相似度、各个高度的横截面的相似度，等等，以判断差异对象与历史上各个参考对象是否是同一个物体。
步骤106、若差异对象与参考对象失败，则将差异对象与各个人体对象进行匹配。
如果差异对象与历史上各个参考对象均匹配失败，差异对象可能为人体、也可能为外观并不固定的物体(如窗帘等)，那么，可以将差异对象与各个人体对象进行匹配。
其中，人体对象为指定姿态(如坐椅子上、坐地板上、蹲、站、卧等)下的人体的点云数据，可以由云端维护并分发至各个家电设备。
其中，匹配的操作可以包括计算轮廓(投影)的相似度、各个高度的横截面的相似度，等等，以判断差异对象与人体对象是否相同。
步骤107、若差异对象与人体对象匹配成功，则依据各帧差异对象生成移动轨迹。
如果差异对象与人体对象匹配成功，表示该差异对象表示人体，则可以依据各帧差异对象的时间顺序、生成人体的移动轨迹。
在本发明的一个实施例中，步骤107可以包括如下步骤：
步骤1071、计算相邻两帧差异对象之间的重叠程度。
在家庭环境中，用户大多是处于低速运动的状态，其移动的幅度较少，因此，可以计算相邻两帧差异对象之间的重叠程度，以此校验是否是同一个用户。
在具体实现中，由于空调、挂壁扇、照明灯具等家电设备安装的位置较高，向下扫描目标点云数据，因此，可以将各帧差异对象投影至垂直面上，得到投影对象。
使用Canny等边缘检测算子对各帧投影对象拟合轮廓。
计算相邻两帧轮廓之间的完整交并比(Complete IoU，CIoU)，作为相邻两帧差异对象之间的重叠程度。
步骤1072、若重叠程度大于预设的阈值，则在差异对象的范围内寻找表征重心的目标点。
将重叠程度与预设的阈值进行比较，如果重叠程度大于预设的阈值，表示相邻两帧差异对象之间的重叠程度较高，属于同一个用户，此时，在各个差异对象的范围内寻找表征重心的目标点。
示例性地，对差异对象生成最小外接立方体，在最小外接立方体中取中心点，作为表征重心的目标点。
步骤1073、将相邻两帧差异对象的目标点相连，得到移动轨迹。
按照时间顺序将相邻两帧差异对象的目标点相连，前一帧差异对象指向后一帧差异对象，多帧差异对象的目标点连接之后，可得到带有方向的移动轨迹。
由于目标点处于家电设备的坐标系中，因此，移动轨迹处于家电设备的坐标系中，家电设备可以沿该移动轨迹为用户提供服务。
在本发明的一个实施例中，步骤107还可以包括如下步骤：
步骤1074、计算相邻两帧差异对象的目标点之间间隔的距离。
在本实施例中，可以使用欧式距离等方式计算相邻两帧差异对象的目标点之间间隔的距离。
步骤1075、将重叠程度与距离代入如下公式中，以更新频率：
P＝Pn/(1+e-γ(αDistance-βIoU+δ))+Pm；
其中，P为频率，Pn与Pm均为频率的基础量，α与β均为权重，γ为缩放系数，δ为偏移系数，IoU为重叠程度，Distance为距离。
进一步地，(Pn+Pm)为频率的上限值，Pm为频率的下限值，1/(1+e-γ(αDistance-βIoU+δ))为调节系数，其数值范围为(0，1)。
重叠程度与调节系数负相关，即，重叠程度越高，调节系数越小，从而降低频率，反之，重叠程度越低，调节系数越大，从而提高频率。
距离与调节系数正相关，即，距离越近，调节系数越小，从而降低频率，反之，距离越远，调节系数越大，从而提高频率。
在本实施例中，依据重叠程度与距离动态调整频率，既可以保证跟踪效果，又降低了家电设备的功耗。
在本实施例中，在家电设备空闲时，驱动毫米波雷达向家庭环境采集作为背景的点云数据，作为参考点云数据；在参考点云数据中标记表征可移动的物体，作为参考对象；在家电设备工作时，驱动毫米波雷达按照指定的频率在家庭环境中采集多帧目标点云数据；计算各帧目标点云数据与参考点云数据之间的差值，作为差异对象；将差异对象与历史上各个参考对象进行匹配；若差异对象与参考对象失败，则将差异对象与各个人体对象进行匹配，人体对象为指定姿态下的人体的点云数据；若差异对象与人体对象匹配成功，则依据各帧差异对象生成移动轨迹。家电设备在空闲的状态具备更加充足的资源，去更新家庭环境的背景及可移动的物体，在工作的状态以更少的资源去滤除可移动的物体、匹配人体，不断减少匹配的对象量，运算量少，耗时低，既可以保证跟踪用户的精确度，又可以保障跟踪用户的实时性。
实施例二
图4为本发明实施例二提供的一种轨迹跟踪装置的结构示意图。如图4所示，应用于安装在家庭环境的家电设备，所述家电设备中设置有毫米波雷达，所述装置包括：
参考点云数据采集模块401，用于在所述家电设备空闲时，驱动所述毫米波雷达向所述家庭环境采集作为背景的点云数据，作为参考点云数据；
参考对象标记模块402，用于在所述参考点云数据中标记表征可移动的物体，作为参考对象；
目标点云数据采集模块403，用于在所述家电设备工作时，驱动所述毫米波雷达按照指定的频率在所述家庭环境中采集多帧目标点云数据；
差异对象计算模块404，用于计算各帧所述目标点云数据与所述参考点云数据之间的差值，作为差异对象；
参考对象匹配模块405，用于将所述差异对象与历史上各个所述参考对象进行匹配；
人体对象匹配模块406，用于若所述差异对象与所述参考对象失败，则将所述差异对象与各个人体对象进行匹配，所述人体对象为指定姿态下的人体的点云数据；
移动轨迹生成模块407，用于若所述差异对象与所述人体对象匹配成功，则依据各帧所述差异对象生成移动轨迹。
在本发明的一个实施例中，所述参考点云数据采集模块401包括：
原始点云数据采集模块，用于驱动所述毫米波雷达向所述家庭环境采集点云数据，作为原始点云数据；
语义分割网络加载模块，用于加载编码器、连接层与解码器；
编码模块，用于在所述编码器中对所述原始点云数据执行编码操作，得到多个层级的骨干点云特征；
连接模块，用于在所述连接层中对多个层级的所述骨干点云特征执行映射操作，得到多个层级的中间点云特征；
解码模块，用于在所述解码器中对多个层级的所述中间点云特征执行解码操作，得到所述原始点云数据的语义信息；
参考点云数据设置模块，用于若所述语义信息未包含人体，则确定所述原始点云数据表征所述家庭环境的背景、将所述原始点云数据设置为参考点云数据。
在本发明的一个实施例中，所述编码器包括点卷积层、池化层、第一长短期记忆网络与第二长短期记忆网络，所述连接层包括多个连接块，每个所述连接块中依次分布反卷积块、卷积块、批归一化层与激活层，所述解码器包括第一卷积层、第二卷积层、第三卷积层与多层感知机；
所述编码模块还用于：
在所述点卷积层中对所述原始点云数据执行点卷积操作，得到第一层级的骨干点云特征；
在所述池化层中对第一层级的所述骨干点云特征执行最大池化操作，得到第二层级的骨干点云特征；
在所述第一长短期记忆网络中对第二层级的所述骨干点云特征提取时序上的特征，得到第三层级的骨干点云特征；
将所述第一层级的所述骨干点云特征与第三层级的所述骨干点云特征拼接为第四层级的骨干点云特征；
在所述第二长短期记忆网络中对第四层级的所述骨干点云特征提取时序上的特征，得到第五层级的骨干点云特征；
所述连接模块还用于：
将第一层级的所述骨干点云特征输入三个所述连接块进行处理，得到第一层级的中间点云特征；
将第三层级的所述骨干点云特征输入两个所述连接块进行处理，得到第二层级的中间点云特征；
将第五层级的所述骨干点云特征输入一个所述连接块进行处理，得到第三层级的中间点云特征；
所述解码模块还用于：
在所述第一卷积层中对第三层级的所述中间点云特征执行卷积操作，得到第一解码点云特征；
将所述第一解码点云特征与第二层级的所述中间点云特征拼接为第二解码点云特征；
在所述第二卷积层中对所述第二解码点云特征执行卷积操作，得到第三解码点云特征；
将所述第三解码点云特征与第一层级的所述中间点云特征拼接为第四解码点云特征；
在所述第三卷积层中对所述第四解码点云特征执行卷积操作，得到第五解码点云特征；
在所述多层感知机中将所述第五解码点云特征映射为所述原始点云数据的语义信息。
在本发明的一个实施例中，所述参考对象标记模块402包括：
变动对象计算模块，用于计算当前所述参考点云数据与上一所述参考点云数据之间的差值，作为变动对象；
参考对象设置模块，用于若所述变动对象的所述语义信息为外观固定的家具家电，则标记所述变动对象表征可移动的物体，作为参考对象。
在本发明的一个实施例中，所述参考对象标记模块402还包括：
对象簇确定模块，用于确定对象簇，所述对象簇用于记录历史上的参考对象，所述对象簇中的各个所述参考对象设置有有效期；
对象自匹配模块，用于将当前所述参考对象与所述对象簇中的各个所述参考对象进行匹配；
有效期重置模块，用于若匹配成功，则将所述对象簇中的所述参考对象的有效期调整至默认的数值；
有效期衰减模块，用于若匹配失败，则将所述对象簇中的各个所述参考对象的有效期减1；
有效期初始化模块，用于将当前所述参考对象写入所述对象簇中，并对当前所述参考点对象设置有效期，将当前所述参考点对象的有效期调整至默认的数值；
参考对象滤除模块，用于若所述对象簇中的某个所述参考对象的有效期为0，则滤除所述对象簇中的所述参考对象。
在本发明的一个实施例中，所述移动轨迹生成模块407包括：
重叠程度计算模块，用于计算相邻两帧所述差异对象之间的重叠程度；
目标点寻找模块，用于若所述重叠程度大于预设的阈值，则在所述差异对象的范围内寻找表征重心的目标点；
目标点相连模块，用于将相邻两帧所述差异对象的所述目标点相连，得到移动轨迹。
在本发明的一个实施例中，所述重叠程度计算模块包括：
对象投影模块，用于将各帧所述差异对象投影至垂直面上，得到投影对象；
轮廓拟合模块，用于对各帧所述投影对象拟合轮廓；
交并比计算模块，用于计算相邻两帧所述轮廓之间的完整交并比，作为相邻两帧所述差异对象之间的重叠程度。
在本发明的一个实施例中，所述目标点寻找模块包括：
外接立方体生成模块，用于对所述差异对象生成最小外接立方体；
中心点设置模块，用于在所述最小外接立方体中取中心点，作为表征重心的目标点。
在本发明的一个实施例中，所述移动轨迹生成模块407还包括：
距离计算模块，用于计算相邻两帧所述差异对象的所述目标点之间间隔的距离；
频率更新模块，用于将所述重叠程度与所述距离代入如下公式中，以更新所述频率：
P＝Pn/(1+e-γ(αDistance-βIoU+δ))+Pm；
其中，P为频率，Pn与Pm均为频率的基础量，α与β均为权重，γ为缩放系数，δ为偏移系数，IoU为重叠程度，Distance为距离。
本发明实施例所提供的轨迹跟踪装置可执行本发明任意实施例所提供的轨迹跟踪方法，具备执行轨迹跟踪方法相应的功能模块和有益效果。
实施例三
图5示出了可以用来实施本发明的实施例的家电设备10的结构示意图。家电设备旨在表示各种形式的数字计算机，诸如，照明灯具、空调、挂壁扇和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示，家电设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储家电设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
家电设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许家电设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，如轨迹跟踪方法。
在一些实施例中，轨迹跟踪方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到家电设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的轨迹跟踪方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行轨迹跟踪方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在家电设备上实施此处描述的系统和技术，该家电设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给家电设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
实施例四
本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序在被处理器执行时实现如本发明任一实施例所提供的轨迹跟踪方法。
计算机程序产品在实现的过程中，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种轨迹跟踪方法，其特征在于，应用于安装在家庭环境的家电设备，所述家电设备中设置有毫米波雷达，所述方法包括：
在所述家电设备空闲时，驱动所述毫米波雷达向所述家庭环境采集作为背景的点云数据，作为参考点云数据；
在所述参考点云数据中标记表征可移动的物体，作为参考对象；
在所述家电设备工作时，驱动所述毫米波雷达按照指定的频率在所述家庭环境中采集多帧目标点云数据；
计算各帧所述目标点云数据与所述参考点云数据之间的差值，作为差异对象；
将所述差异对象与历史上各个所述参考对象进行匹配；
若所述差异对象与所述参考对象失败，则将所述差异对象与各个人体对象进行匹配，所述人体对象为指定姿态下的人体的点云数据；
若所述差异对象与所述人体对象匹配成功，则依据各帧所述差异对象生成移动轨迹。
2.根据权利要求1所述的方法，其特征在于，所述驱动所述毫米波雷达向所述家庭环境采集作为背景的点云数据，作为参考点云数据，包括：
驱动所述毫米波雷达向所述家庭环境采集点云数据，作为原始点云数据；
加载编码器、连接层与解码器；
在所述编码器中对所述原始点云数据执行编码操作，得到多个层级的骨干点云特征；
在所述连接层中对多个层级的所述骨干点云特征执行映射操作，得到多个层级的中间点云特征；
在所述解码器中对多个层级的所述中间点云特征执行解码操作，得到所述原始点云数据的语义信息；
若所述语义信息未包含人体，则确定所述原始点云数据表征所述家庭环境的背景、将所述原始点云数据设置为参考点云数据；
所述在所述参考点云数据中标记表征可移动的物体，作为参考对象，包括：
计算当前所述参考点云数据与上一所述参考点云数据之间的差值，作为变动对象；
若所述变动对象的所述语义信息为外观固定的家具家电，则标记所述变动对象表征可移动的物体，作为参考对象。
3.根据权利要求2所述的方法，其特征在于，所述编码器包括点卷积层、池化层、第一长短期记忆网络与第二长短期记忆网络，所述连接层包括多个连接块，每个所述连接块中依次分布反卷积块、卷积块、批归一化层与激活层，所述解码器包括第一卷积层、第二卷积层、第三卷积层与多层感知机；
所述在所述编码器中对所述原始点云数据执行编码操作，得到多个层级的骨干点云特征，包括：
在所述点卷积层中对所述原始点云数据执行点卷积操作，得到第一层级的骨干点云特征；
在所述池化层中对第一层级的所述骨干点云特征执行最大池化操作，得到第二层级的骨干点云特征；
在所述第一长短期记忆网络中对第二层级的所述骨干点云特征提取时序上的特征，得到第三层级的骨干点云特征；
将所述第一层级的所述骨干点云特征与第三层级的所述骨干点云特征拼接为第四层级的骨干点云特征；
在所述第二长短期记忆网络中对第四层级的所述骨干点云特征提取时序上的特征，得到第五层级的骨干点云特征；
所述在所述连接层中对多个层级的所述骨干点云特征执行映射操作，得到多个层级的中间点云特征，包括：
将第一层级的所述骨干点云特征输入三个所述连接块进行处理，得到第一层级的中间点云特征；
将第三层级的所述骨干点云特征输入两个所述连接块进行处理，得到第二层级的中间点云特征；
将第五层级的所述骨干点云特征输入一个所述连接块进行处理，得到第三层级的中间点云特征；
所述在所述解码器中对多个层级的所述中间点云特征执行解码操作，得到所述原始点云数据的语义信息，包括：
在所述第一卷积层中对第三层级的所述中间点云特征执行卷积操作，得到第一解码点云特征；
将所述第一解码点云特征与第二层级的所述中间点云特征拼接为第二解码点云特征；
在所述第二卷积层中对所述第二解码点云特征执行卷积操作，得到第三解码点云特征；
将所述第三解码点云特征与第一层级的所述中间点云特征拼接为第四解码点云特征；
在所述第三卷积层中对所述第四解码点云特征执行卷积操作，得到第五解码点云特征；
在所述多层感知机中将所述第五解码点云特征映射为所述原始点云数据的语义信息。
4.根据权利要求2所述的方法，其特征在于，所述在所述参考点云数据中标记表征可移动的物体，作为参考对象，还包括：
确定对象簇，所述对象簇用于记录历史上的参考对象，所述对象簇中的各个所述参考对象设置有有效期；
将当前所述参考对象与所述对象簇中的各个所述参考对象进行匹配；
若匹配成功，则将所述对象簇中的所述参考对象的有效期调整至默认的数值；
若匹配失败，则将所述对象簇中的各个所述参考对象的有效期减1；
将当前所述参考对象写入所述对象簇中，并对当前所述参考点对象设置有效期，将当前所述参考点对象的有效期调整至默认的数值；
若所述对象簇中的某个所述参考对象的有效期为0，则滤除所述对象簇中的所述参考对象。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述依据各帧所述差异对象生成移动轨迹，包括：
计算相邻两帧所述差异对象之间的重叠程度；
若所述重叠程度大于预设的阈值，则在所述差异对象的范围内寻找表征重心的目标点；
将相邻两帧所述差异对象的所述目标点相连，得到移动轨迹。
6.根据权利要求5所述的方法，其特征在于，所述计算相邻两帧所述差异对象之间的重叠程度，包括：
将各帧所述差异对象投影至垂直面上，得到投影对象；
对各帧所述投影对象拟合轮廓；
计算相邻两帧所述轮廓之间的完整交并比，作为相邻两帧所述差异对象之间的重叠程度；
所述在所述差异对象的范围内寻找表征重心的目标点，包括：
对所述差异对象生成最小外接立方体；
在所述最小外接立方体中取中心点，作为表征重心的目标点。
7.根据权利要求5所述的方法，其特征在于，所述依据各帧所述差异对象生成移动轨迹，还包括：
计算相邻两帧所述差异对象的所述目标点之间间隔的距离；
将所述重叠程度与所述距离代入如下公式中，以更新所述频率：
P＝Pn/(1+e-γ(αDistance-βIoU+δ))+Pm；
其中，P为频率，Pn与Pm均为频率的基础量，α与β均为权重，γ为缩放系数，δ为偏移系数，IoU为重叠程度，Distance为距离。
8.一种轨迹跟踪装置，其特征在于，应用于安装在家庭环境的家电设备，所述家电设备中设置有毫米波雷达，所述装置包括：
参考点云数据采集模块，用于在所述家电设备空闲时，驱动所述毫米波雷达向所述家庭环境采集作为背景的点云数据，作为参考点云数据；
参考对象标记模块，用于在所述参考点云数据中标记表征可移动的物体，作为参考对象；
目标点云数据采集模块，用于在所述家电设备工作时，驱动所述毫米波雷达按照指定的频率在所述家庭环境中采集多帧目标点云数据；
差异对象计算模块，用于计算各帧所述目标点云数据与所述参考点云数据之间的差值，作为差异对象；
参考对象匹配模块，用于将所述差异对象与历史上各个所述参考对象进行匹配；
人体对象匹配模块，用于若所述差异对象与所述参考对象失败，则将所述差异对象与各个人体对象进行匹配，所述人体对象为指定姿态下的人体的点云数据；
移动轨迹生成模块，用于若所述差异对象与所述人体对象匹配成功，则依据各帧所述差异对象生成移动轨迹。
9.一种家电设备，其特征在于，所述家电设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的轨迹跟踪方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现权利要求1-7中任一项所述的轨迹跟踪方法。
CN202311350469.3A 2023-10-18 2023-10-18 一种轨迹跟踪方法、装置、设备及存储介质 Active CN117368902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311350469.3A CN117368902B (zh) 2023-10-18 2023-10-18 一种轨迹跟踪方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311350469.3A CN117368902B (zh) 2023-10-18 2023-10-18 一种轨迹跟踪方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117368902A true CN117368902A (zh) 2024-01-09
CN117368902B CN117368902B (zh) 2024-04-23

Family

ID=89405453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311350469.3A Active CN117368902B (zh) 2023-10-18 2023-10-18 一种轨迹跟踪方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117368902B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111352092A (zh) * 2018-12-21 2020-06-30 莱卡地球系统公开股份有限公司 包括LiDAR和用于进行对象分类的多光谱成像的3D监视系统
WO2022022694A1 (zh) * 2020-07-31 2022-02-03 北京智行者科技有限公司 自动驾驶环境感知方法及系统
CN114779787A (zh) * 2022-05-23 2022-07-22 杭州萤石软件有限公司 栅格地图构建方法、机器人及机器可读存储介质
WO2022188094A1 (zh) * 2021-03-11 2022-09-15 华为技术有限公司 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达
US20230141421A1 (en) * 2021-11-09 2023-05-11 Suteng Innovation Technology Co., Ltd. Point cloud motion compensation method and apparatus, storage medium, and lidar

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111352092A (zh) * 2018-12-21 2020-06-30 莱卡地球系统公开股份有限公司 包括LiDAR和用于进行对象分类的多光谱成像的3D监视系统
WO2022022694A1 (zh) * 2020-07-31 2022-02-03 北京智行者科技有限公司 自动驾驶环境感知方法及系统
WO2022188094A1 (zh) * 2021-03-11 2022-09-15 华为技术有限公司 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达
US20230141421A1 (en) * 2021-11-09 2023-05-11 Suteng Innovation Technology Co., Ltd. Point cloud motion compensation method and apparatus, storage medium, and lidar
CN114779787A (zh) * 2022-05-23 2022-07-22 杭州萤石软件有限公司 栅格地图构建方法、机器人及机器可读存储介质

Also Published As

Publication number Publication date
CN117368902B (zh) 2024-04-23

Similar Documents

Publication Publication Date Title
US5264836A (en) Three dimensional cursor
US10572970B2 (en) Extracting 2D floor plan from 3D GRID representation of interior space
WO2020000504A1 (zh) 基于arima的冷库温湿度数据预测方法及相关产品
Chun et al. Real-time smart lighting control using human motion tracking from depth camera
US20220076153A1 (en) System and method for optimal sensor placement
CN112784664A (zh) 语义地图构建与作业方法、自主移动设备及存储介质
CN117368902B (zh) 一种轨迹跟踪方法、装置、设备及存储介质
CN111291440A (zh) 住宅户型动线计算方法和装置
CN113630647A (zh) 电视机控制方法、系统、电视机及计算机可读存储介质
JP2021032879A (ja) レーダーに基づく姿勢認識装置、方法及び電子機器
CN117741647A (zh) 一种毫米波雷达智能家居感知方法与装置
CN115841707A (zh) 基于深度学习的雷达人体姿态识别方法及相关设备
CN117404783B (zh) 一种空调的控制方法、装置、空调及存储介质
CN112200037B (zh) 一种微弱信号检测方法、终端和计算机可读存储介质
CN112731332B (zh) 基于毫米波的静态目标存在识别方法及系统
CN115884479B (zh) 一种照明灯具的转向方法、装置、设备及存储介质
CN115390468A (zh) 设备控制方法、装置、电子设备及存储介质
CN114187650A (zh) 动作识别方法、装置、电子设备及存储介质
CN116794989A (zh) 基于场景设备联动的用户状态确定方法及装置
US12094052B1 (en) Residential robotic device-based living area estimation
CN117169870A (zh) 一种目标检测跟踪方法、装置、电子设备及存储介质
CN113687350B (zh) 一种跌倒检测方法、装置、电子设备及存储介质
WO2024197655A1 (zh) 基于去噪自编码器和卷积神经网络的WiFi指纹室内定位方法
CN117636404B (zh) 基于非穿戴式设备的跌倒检测方法及系统
CN114533040B (zh) 一种固定空间内人员特定活跃度的监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant