CN113537035A - 人体目标检测方法、装置、电子装置和存储介质 - Google Patents

人体目标检测方法、装置、电子装置和存储介质 Download PDF

Info

Publication number
CN113537035A
CN113537035A CN202110785229.0A CN202110785229A CN113537035A CN 113537035 A CN113537035 A CN 113537035A CN 202110785229 A CN202110785229 A CN 202110785229A CN 113537035 A CN113537035 A CN 113537035A
Authority
CN
China
Prior art keywords
target
detected
point cloud
human body
cloud cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110785229.0A
Other languages
English (en)
Inventor
陈凯
江一波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bestechnic Shanghai Co Ltd
Original Assignee
Ningbo Xitang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Xitang Information Technology Co ltd filed Critical Ningbo Xitang Information Technology Co ltd
Priority to CN202110785229.0A priority Critical patent/CN113537035A/zh
Publication of CN113537035A publication Critical patent/CN113537035A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请涉及一种人体目标检测方法、装置、电子装置和存储介质，该方法包括：获取毫米波雷达采集到的点云数据包；对点云数据包进行聚类分析，得到至少一个目标点云簇，其中，每个目标点云簇对应一个待测目标；分别对每个目标点云簇进行目标跟踪，得到与每个目标点云簇对应的待测目标在预设时间段内的运动轨迹长度，以及获取红外感应器在预设时间段内采集到的来自待测目标的红外辐射能量强度变化次数；根据待测目标的运动轨迹长度以及待测目标的红外辐射能量强度变化次数，确定待测目标是否为人体目标。通过本申请，解决了相关技术中对人体目标进行检测时易被干扰且准确率低的问题，实现了提高人体目标检测方法的抗干扰能力以及准确率的技术效果。

Description

人体目标检测方法、装置、电子装置和存储介质
技术领域
本申请涉及目标检测技术领域，特别是涉及一种人体目标检测方法、装置、电子装置和存储介质。
背景技术
随着智能城市、智能家居以及智能建筑的不断发展与应用，如何保证用户的隐私以及安全显得至关重要。例如，在人员安全监测方面，人员目标的检测就显得尤为重要；在人体体征检测方面，需要对待测目标进行定位，并以此为依据来进行信号的进一步分析。除此之外，还有许多基于雷达的应用都需要对待测目标进行检测定位。
目前，相关技术中可用于对人体目标进行检测的传感器有许多，例如：光学摄像头、红外感应器、超声波传感器、不同类型的雷达系统以及同时安装多类传感器的双鉴传感设备。然而，基于光学摄像头进行人体目标检测的准确度会很大程度受到环境照明的影响，除此之外，基于光学摄像头的人体目标检测方法还会涉及与个人隐私相关的问题；基于红外感应器的人体目标检测方法只能检测存在明显位置移动的人体目标，且容易受到各类热源(电器、宠物等)以及光源的干扰，在环境温度与人体温度相仿时，红外感应器的探测准确度和灵敏度都会明显下降，影响该类检测算法的鲁棒性。因此，这类传感器在用于对人体目标进行检测时都存在易被干扰且准确率较低的问题。
目前针对相关技术中对人体目标进行检测时易被干扰且准确率低的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种人体目标检测方法、装置、电子装置和存储介质，以至少解决相关技术中对人体目标进行检测时易被干扰且准确率低的问题。
第一方面，本申请实施例提供了一种人体目标检测方法，所述方法包括：获取毫米波雷达采集到的点云数据包；对所述点云数据包进行聚类分析，得到至少一个目标点云簇，其中，每个所述目标点云簇对应一个待测目标；分别对每个目标点云簇进行目标跟踪，得到与每个目标点云簇对应的待测目标在预设时间段内的运动轨迹长度，以及获取红外感应器在所述预设时间段内采集到的来自待测目标的红外辐射能量强度变化次数；根据所述待测目标的运动轨迹长度以及来自所述待测目标的红外辐射能量强度变化次数，确定所述待测目标是否为人体目标。
在其中一些实施例中，根据所述待测目标的运动轨迹长度以及来自所述待测目标的红外辐射能量强度变化次数，确定所述待测目标是否为人体目标包括：在所述待测目标的运动轨迹长度大于预设的第一阈值的情况下，判断来自所述待测目标的红外辐射能量强度变化次数是否大于预设的第二阈值；在来自所述待测目标的红外辐射能量强度变化次数大于所述第二阈值的情况下，确定所述待测目标为人体目标；在来自所述待测目标的红外辐射能量强度变化次数小于所述第二阈值的情况下，确定所述待测目标为非人体目标。
在其中一些实施例中，在来自所述待测目标的红外辐射能量强度变化次数大于所述第二阈值的情况下，确定所述待测目标为人体目标包括：获取所述毫米波雷达在所述预设时间段内采集到的所述待测目标的最大高度值；在来自所述待测目标的红外辐射能量强度变化次数大于所述第二阈值，以及所述待测目标的最大高度值大于预设的第三阈值的情况下，确定所述待测目标为人体目标。
在其中一些实施例中，所述方法还包括：获取所述毫米波雷达在所述预设时间段内采集到的所述待测目标的存在时间；在所述待测目标的存在时间大于预设的第四阈值，以及所述待测目标的运动轨迹长度小于所述第一阈值的情况下，确定所述待测目标为非人体目标。
在其中一些实施例中，分别对每个目标点云簇进行目标跟踪，得到与每个目标点云簇对应的待测目标在预设时间段内的运动轨迹长度，以及获取红外感应器在所述预设时间段内采集到的来自待测目标的红外辐射能量强度变化次数包括：分别对每个目标点云簇进行目标跟踪，得到与每个目标点云簇对应的待测目标在预设时间段内的运动轨迹长度以及速度分布信息；根据每个待测目标的速度分布信息，分别确定每个待测目标在所述预设时间段中的速度非零时间段；获取所述红外感应器在所述速度非零时间段内采集到的来自待测目标的红外辐射能量强度变化次数。
在其中一些实施例中，所述点云数据包包括所述毫米波雷达采集的多个检测点的点云数据，所述点云数据包括所述检测点与所述毫米波雷达之间的径向距离、所述检测点的径向速度以及所述检测点的信噪比；对所述点云数据包进行聚类分析，得到至少一个目标点云簇包括：根据每个检测点与所述毫米波雷达之间的径向距离以及每个检测点的径向速度，对所述点云数据包进行聚类分析，得到至少一个点云簇；分别判断每个点云簇内的检测点的数量是否大于预设的第五阈值，以及判断每个点云簇内的检测点的最大信噪比是否大于预设的第六阈值；在所述点云簇内的检测点的数量大于所述第五阈值，以及所述点云簇内的检测点的最大信噪比大于所述第六阈值的情况下，确定所述点云簇为目标点云簇。
在其中一些实施例中，所述方法还包括：获取所述毫米波雷达检测范围内的人体目标的数量；在所述人体目标的数量大于或等于1时，确定在所述毫米波雷达检测范围内存在人体目标，并输出每个所述人体目标的位置信息；在所述人体目标的数量小于1时，确定在所述毫米波雷达检测范围内不存在人体目标。
第二方面，本申请实施例提供了一种人体目标检测装置，所述装置包括：获取模块，用于获取毫米波雷达采集到的点云数据包；聚类模块，用于对所述点云数据包进行聚类分析，得到至少一个目标点云簇，其中，每个所述目标点云簇对应一个待测目标；跟踪模块，用于分别对每个目标点云簇进行目标跟踪，得到与每个目标点云簇对应的待测目标在预设时间段内的运动轨迹长度，以及获取红外感应器在所述预设时间段内采集到的来自待测目标的红外辐射能量强度变化次数；确定模块，用于根据所述待测目标的运动轨迹长度以及来自所述待测目标的红外辐射能量强度变化次数，确定所述待测目标是否为人体目标。
第三方面，本申请实施例还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如上述第一方面所述的人体目标检测方法。
第四方面，本申请实施例还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述第一方面所述的人体目标检测方法。
相比于相关技术，本申请实施例提供的人体目标检测方法、装置、电子装置和存储介质，通过获取毫米波雷达采集到的点云数据包，并对点云数据包进行聚类分析，得到至少一个目标点云簇，分别对每个目标点云簇进行目标跟踪，得到与每个目标点云簇对应的待测目标在预设时间段内的运动轨迹长度，以及获取红外感应器在预设时间段内采集到的来自待测目标的红外辐射能量强度变化次数，最后根据待测目标的运动轨迹长度以及待测目标的红外辐射能量强度变化次数，确定待测目标是否为人体目标。解决了相关技术中对人体目标进行检测时易被干扰且准确率低的问题，实现了提高人体目标检测方法的抗干扰能力以及准确率的技术效果。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的人体目标检测方法的流程图；
图2是根据本申请优选实施例的人体目标检测方法的流程图；
图3是根据本申请实施例的人体目标检测装置的结构框图；
图4是根据本申请实施例的电子装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供了一种人体目标检测方法，图1是根据本申请实施例的人体目标检测方法的流程图，如图1所示，该方法包括：
步骤S101，获取毫米波雷达采集到的点云数据包。
在本实施例中，毫米波雷达可以是发射电磁波的波长大于0.1mm以及小于0.2mm，频率在20GHz～300GHz之间的雷达系统，目前常见的毫米波雷达主要采用24GHz、60GHz或77GHz等发射频段。
步骤S102，对点云数据包进行聚类分析，得到至少一个目标点云簇，其中，每个目标点云簇对应一个待测目标。
在本实施例中，可以基于点云数据包中每个检测点的空间距离、速度等信息，使用DBSCAN(具有噪声的基于密度的聚类方法，Density-Based Spatial Clustering ofApplications with Noise，简称为DBSCAN)等算法，对点云数据包中的检测点进行聚类分析，并获取多个目标点云簇。
步骤S103，分别对每个目标点云簇进行目标跟踪，得到与每个目标点云簇对应的待测目标在预设时间段内的运动轨迹长度，以及获取红外感应器在预设时间段内采集到的来自待测目标的红外辐射能量强度变化次数。
在本实施例中，可以使用卡尔曼(Kalman)滤波或者MHT(多假设跟踪，MultipleHypothesis Tracking，简称为MHT)算法分别对每个目标点云簇对应的待测目标进行目标跟踪，获取待测目标在预设时间段内的运动轨迹长度。
在上述实施例中，可以使用PIR(热释电红外传感器，Passive Infrared Ray，简称为PIR)在预设时间段内采集来自待测目标的红外辐射能量强度变化次数，利用PIR接收来自待测目标的(红外)辐射能量，通过前端的菲涅尔透镜将检测空间划分成明暗区域，当移动热源穿越明暗区时，PIR可以探测到接收到的能量发生变化，此时转成电信号输出，获取来自待测目标的红外辐射能量强度变化次数。
步骤S104，根据待测目标的运动轨迹长度以及待测目标的红外辐射能量强度变化次数，确定待测目标是否为人体目标。
在本实施例中，可以在每一个待测目标形成时初始化该待测目标的分类标签为“未知目标”，并在确定该待测目标为人体目标后，更新其分类标签为“人体目标”；或者确定该待测目标不为人体目标后，标记为“非人目标”。
在上述实施例中，可以利用毫米波雷达发射电磁波，并对回波信号进行信号处理，输出雷达检测点；其中，对回波信号的信号处理包括：对回波信号进行A/D采样、基于距离维度的FFT(快速傅里叶变换，Fast Fourier transform，简称为FFT)、基于多普勒维度的FFT；在多天线雷达系统中，还需要对回波信号进行基于角度(水平方向角以及垂直俯仰角等)维度的FFT或者基于Capon算法或MUSIC算法的角度测量处理。
在上述实施例中，可以通过CFAR(恒虚警检测，Constant False Alarm Rate，简称为CFAR)算法确定各个雷达检测点，并形成点云数据包，输出每个检测点的径向距离、径向速度、信噪比等数据信息；在多天线雷达系统中，还会额外输出每个检测点的方向角、俯仰角等数据信息。
通过上述步骤S101至步骤S104，通过获取毫米波雷达采集到的点云数据包，并对点云数据包进行聚类分析，得到至少一个目标点云簇，分别对每个目标点云簇进行目标跟踪，得到与每个目标点云簇对应的待测目标在预设时间段内的运动轨迹长度，以及获取红外感应器在预设时间段内采集到的来自待测目标的红外辐射能量强度变化次数，最后根据待测目标的运动轨迹长度以及待测目标的红外辐射能量强度变化次数，确定待测目标是否为人体目标，融合红外感应器的检测结果到毫米波雷达的数据处理过程中，能够有效排除来自非人运动物体对检测结果的干扰，提高对厘米级以上目标的微小动作的探测灵敏度。通过本申请，解决了相关技术中对人体目标进行检测时易被干扰且准确率低的问题，实现了提高人体目标检测方法的抗干扰能力以及准确率的技术效果。
在其中一些实施例中，根据待测目标的运动轨迹长度以及待测目标的红外辐射能量强度变化次数，确定待测目标是否为人体目标通过如下步骤实施：
步骤1，在待测目标的运动轨迹长度大于预设的第一阈值的情况下，判断待测目标的红外辐射能量强度变化次数是否大于预设的第二阈值。
步骤2，在待测目标的红外辐射能量强度变化次数大于第二阈值的情况下，确定待测目标为人体目标。
步骤3，在待测目标的红外辐射能量强度变化次数小于第二阈值的情况下，确定待测目标为非人体目标。
在本实施例中，需要先确定待测目标的运动轨迹长度Δd是否大于预设的第一阈值ηd，在Δd＞ηd则触发对待测目标的目标分类操作，即检测对待测目标的跟踪记录中，红外感应器采集到的待测目标的红外辐射能量强度变化次数(或者待测目标的红外辐射能量强度发生变化的时刻数量)Npir是否大于预设的第二阈值npir，在Npir＞npir时，则确定待测目标为人体目标；否则，确定待测目标为非人体目标，通过融合红外感应器的检测结果到毫米波雷达的数据处理过程中，能够有效排除来自非人运动物体对检测结果的干扰。
在上述实施例中，在待测目标的红外辐射能量强度变化次数大于第二阈值的情况下，确定待测目标为人体目标还包括：获取毫米波雷达在预设时间段内采集到的待测目标的最大高度值；在待测目标的红外辐射能量强度变化次数大于第二阈值，以及待测目标的最大高度值大于预设的第三阈值的情况下，确定待测目标为人体目标。
在本实施例中，毫米波雷达若能够输出高度信息，则需要将待测目标的最大高度值作为待测目标的目标分类依据，可以根据待测目标相对于毫米波雷达的径向距离以及俯仰角等信息，并结合毫米波雷达的安装高度折算得到待测目标的高度值。此时在确定待测目标的红外辐射能量强度变化次数大于第二阈值后，还需要判断待测目标的跟踪记录中记录到的最大高度值Hobj是否大于预设的第三阈值ηh，若Hobj＞ηh则确定待测目标为人体目标，通过将待测目标的最大高度值作为待测目标的目标分类依据，可以有效排除宠物等干扰目标。
在上述实施例中，该方法还实施如下步骤：
步骤1，获取毫米波雷达在预设时间段内采集到的待测目标的存在时间。
步骤2，在待测目标的存在时间大于预设的第四阈值，以及待测目标的运动轨迹长度小于第一阈值的情况下，确定待测目标为非人体目标。
在本实施例中，若检测到待测目标在预设时间段内的存在时间Tobj大于等于预设的第四阈值ηT，且Δd小于ηd时，则确定待测目标为非人体目标。
在上述实施例中，预设时间段可以是待测目标在其被目标跟踪过程中，速度不为零的时间段，预设的第一阈值ηd、预设的第二阈值npir、预设的第三阈值ηh以及预设的第四阈值ηT都可以根据用户需要或者实际检测经验得到，满足用户的多样化需求。
在其中一些实施例中，分别对每个目标点云簇进行目标跟踪，得到与每个目标点云簇对应的待测目标在预设时间段内的运动轨迹长度，以及获取红外感应器在预设时间段内采集到的来自待测目标的红外辐射能量强度变化次数通过如下步骤实施：
步骤1，分别对每个目标点云簇进行目标跟踪，得到与每个目标点云簇对应的待测目标在预设时间段内的运动轨迹长度以及速度分布信息。
步骤2，根据每个待测目标的速度分布信息，分别确定每个待测目标在预设时间段中的速度非零时间段。
步骤3，获取红外感应器在速度非零时间段内采集到的来自待测目标的红外辐射能量强度变化次数。
在本实施例中，可以利用毫米波雷达对待测目标进行高精度的目标跟踪，并在待测目标进行较大范围运动即速度非零时间段时，结合红外感应器在速度非零时间段内采集到的待测目标的红外辐射能量强度变化次数对待测目标进行目标分类，在人员静止后，即使红外感应器已经无法检测到来自待测目标的红外辐射能量强度的变化了，也可以根据毫米波雷达获取的待测目标的跟踪轨迹继续标记待测目标为人体目标，同时避免侵犯监控区域内用户隐私，可全天候工作，受环境光亮度影响较小，提高人体目标检测方法的鲁棒性。
在其中一些实施例中，点云数据包包括毫米波雷达采集的多个检测点的点云数据，点云数据包括检测点与毫米波雷达之间的径向距离、检测点的径向速度以及检测点的信噪比；对点云数据包进行聚类分析，得到至少一个目标点云簇通过如下步骤实施：
步骤1，根据每个检测点与毫米波雷达之间的径向距离以及每个检测点的径向速度，对点云数据包进行聚类分析，得到至少一个点云簇。
步骤2，分别判断每个点云簇内的检测点的数量是否大于预设的第五阈值，以及判断每个点云簇内的检测点的最大信噪比是否大于预设的第六阈值。
步骤3，在点云簇内的检测点的数量大于第五阈值，以及点云簇内的检测点的最大信噪比大于第六阈值的情况下，确定点云簇为目标点云簇。
在本实施例中，点云数据包包括毫米波雷达采集的多个检测点的点云数据，且点云数据包括检测点与毫米波雷达之间的径向距离、检测点的径向速度以及检测点的信噪比。
在上述实施例中，在毫米波雷达为多天线雷达系统时，点云数据还包括检测点的方向角、俯仰角等信息；并且，需要毫米波雷达输出的在球坐标系下的四维向量(径向距离、径向速度、方向角以及水平角)转换为在空间直角坐标系下的六维向量(即以雷达为原点的X、Y、Z位置坐标和对应的三个坐标轴的速度分量)，提高点云数据的数据处理准确度。
在上述实施例中，可以将检测点按照信噪比由高到低进行排序，得到排序后的检测点，并根据每个检测点与毫米波雷达之间的径向距离和相对角度(俯仰角、方向角等)确定每个检测点的空间直角坐标位置以及径向速度，并基于每个检测点的空间直角坐标位置以及径向速度，对排序后的检测点径向聚类，得到多个点云簇。
在获取多个点云簇后，可以判断每个点云簇包含的检测点数量是否大于预设的第五阈值，并判断每个点云簇内的检测点的最大信噪比是否大于预设的第六阈值SNRsnrmax，在点云簇包含的检测点数量小于第五阈值时，则将该点云簇内包含的检测点标记为噪声；并设置信噪比检测阈值即(第六阈值SNRsnrmax)，舍弃点云簇中的检测点的最大信噪比低于该信噪比检测阈值的点云簇，得到有效点云簇，即可以对应一个待测目标的目标点云簇，减少无效干扰数据，只剩下有效点云簇，去除部分噪声，减小运算量，提高运算速度，提高目标点云簇的确定准确率。
在其中一些实施例中，该方法还实施如下步骤：
步骤1，获取毫米波雷达检测范围内的人体目标的数量。
步骤2，在人体目标的数量大于或等于1时，确定在毫米波雷达检测范围内存在人体目标，并输出每个人体目标的位置信息。
步骤3，在人体目标的数量小于1时，确定在毫米波雷达检测范围内不存在人体目标。
在本实施例中，可以根据所有当前检测为内存在的待测目标的分类标签情况，输出当前场景内是否存在人员的结论(大于等于1个人体目标，即输出当前场景内有人的结论；否则输出无人结论)，并给出每个人体目标的位置信息(距离、水平方位坐标、垂直高度等)。
在上述实施例中，由于毫米波雷达主动发射电磁波，且针对点云数据进行的信号处理和包括目标跟踪在内的点云相关数据处理过程复杂度较高，导致系统功耗较大，可以设置低功耗工作模式，低功耗工作模式包括：通过微处理器关闭毫米波雷达的射频模块，只使得红外感应器继续检测，当红外感应器检测到来自待测目标的红外辐射能量强度发生变化后，再开启毫米波雷达的射频模块使其开始发射电磁波，并开始读取毫米波雷达检测到的数据；当毫米波雷达跟踪的所有待测目标均被标记为“非人目标”时，通过微处理器关闭毫米波雷达的射频模块，并暂停读取毫米波雷达检测到的数据；在毫米波雷达的射频模块关闭期间，毫米波雷达检测范围内的检测结论均为不存在人体目标。
图2是根据本申请优选实施例的人体目标检测方法的流程图，如图2所示，在其中一些实施例中，该方法包括：
步骤S201，对毫米波雷达采集到的回波信号进行信号处理。
步骤S202，基于CFAR算法确定各个雷达检测点，并形成点云数据包。
步骤S203，获取点云数据包。
步骤S204，在多天线雷达系统中，对点云数据包中的点云数据进行坐标转换。
步骤S205，对点云数据包进行检测点聚类分析。
步骤S206，获取目标点云簇。
步骤S207，对目标点云簇对应的待测目标进行目标跟踪，获取待测目标的运动轨迹。
步骤S208，判断待测目标的运动轨迹长度Δd是否大于等于预设的第一阈值ηd；并在Δd≥ηd的情况下，进入步骤S211；否则，进入步骤S214。
步骤S209，利用红外感应器对来自待测目标的红外辐射能量强度变化进行检测。
步骤S210，记录红外感应器的检测结果。
步骤S211，判断待测目标的红外辐射能量强度变化次数Npir是否大于等于预设的第二阈值npir；并在Npir≥npir的情况下，进入步骤S212；否则，进入步骤S214。
步骤S212，判断待测目标的最大高度值Hobj是否大于预设的第三阈值ηh；并在Hobj＞ηh的情况下，进入步骤S213。
步骤S213，确定待测目标为人体目标。
步骤S214，判断待测目标的存在时间Tobj是否大于等于预设的第四阈值ηT；并在Tobj≥ηT时，进入步骤215；否则，进入步骤S216。
步骤S215，确定待测目标为非人目标。
步骤S216，确定待测目标为未知目标。
步骤S217，判断人体目标的数量是否大于等于1；并在人体目标的数量大于等于1的情况下，进入步骤S218；否则进入步骤S219。
步骤S218，确定当前检测范围内有人。
步骤S219，确定当前检测范围内无人。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
本实施例提供了一种人体目标检测装置，图3是根据本申请实施例的人体目标检测装置的结构框图，如图3所示，该装置包括：获取模块30，用于获取毫米波雷达采集到的点云数据包；聚类模块31，用于对点云数据包进行聚类分析，得到至少一个目标点云簇，其中，每个目标点云簇对应一个待测目标；跟踪模块32，用于分别对每个目标点云簇进行目标跟踪，得到与每个目标点云簇对应的待测目标在预设时间段内的运动轨迹长度，以及获取红外感应器在预设时间段内采集到的来自待测目标的红外辐射能量强度变化次数；确定模块33，用于根据待测目标的运动轨迹长度以及待测目标的红外辐射能量强度变化次数，确定待测目标是否为人体目标。
在其中一些实施例中，确定模块33还被配置为用于在待测目标的运动轨迹长度大于预设的第一阈值的情况下，判断待测目标的红外辐射能量强度变化次数是否大于预设的第二阈值；在待测目标的红外辐射能量强度变化次数大于第二阈值的情况下，确定待测目标为人体目标；在待测目标的红外辐射能量强度变化次数小于第二阈值的情况下，确定待测目标为非人体目标
在其中一些实施例中，确定模块33还被配置为用于获取毫米波雷达在预设时间段内采集到的待测目标的最大高度值；在待测目标的红外辐射能量强度变化次数大于第二阈值，以及待测目标的最大高度值大于预设的第三阈值的情况下，确定待测目标为人体目标。
在其中一些实施例中，确定模块33还被配置为用于获取毫米波雷达在预设时间段内采集到的待测目标的存在时间；在待测目标的存在时间大于预设的第四阈值，以及待测目标的运动轨迹长度小于第一阈值的情况下，确定待测目标为非人体目标。
在其中一些实施例中，跟踪模块32还被配置为用于分别对每个目标点云簇进行目标跟踪，得到与每个目标点云簇对应的待测目标在预设时间段内的运动轨迹长度以及速度分布信息；根据每个待测目标的速度分布信息，分别确定每个待测目标在预设时间段中的速度非零时间段；获取红外感应器在速度非零时间段内采集到的来自待测目标的红外辐射能量强度变化次数。
在其中一些实施例中，点云数据包包括毫米波雷达采集的多个检测点的点云数据，点云数据包括检测点与毫米波雷达之间的径向距离、检测点的径向速度以及检测点的信噪比；聚类模块31还被配置为用于根据每个检测点与毫米波雷达之间的径向距离以及每个检测点的径向速度，对点云数据包进行聚类分析，得到至少一个点云簇；分别判断每个点云簇内的检测点的数量是否大于预设的第五阈值，以及判断每个点云簇内的检测点的最大信噪比是否大于预设的第六阈值；在点云簇内的检测点的数量大于第五阈值，以及点云簇内的检测点的最大信噪比大于第六阈值的情况下，确定点云簇为目标点云簇。
在其中一些实施例中，该装置还包括输出模块，用于获取毫米波雷达检测范围内的人体目标的数量；在人体目标的数量大于或等于1时，确定在毫米波雷达检测范围内存在人体目标，并输出每个人体目标的位置信息；在人体目标的数量小于1时，确定在毫米波雷达检测范围内不存在人体目标。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
本实施例还提供了一种电子装置，图4是根据本申请实施例的电子装置的硬件结构示意图，如图4所示，该电子装置包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
具体地，上述处理器402可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器404可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器404可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(Solid State Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerial Bus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器404可在人体目标检测装置的内部或外部。在特定实施例中，存储器404是非易失性(Non-Volatile)存储器。在特定实施例中，存储器404包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(Random Access Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(ErasableProgrammable Read-Only Memory，简称为EPROM)、电可擦除PROM(Electrically ErasableProgrammable Read-Only Memory，简称为EEPROM)、电可改写ROM(ElectricallyAlterable Read-Only Memory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-AccessMemory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode DynamicRandom Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDate Out Dynamic Random Access Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。
处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种人体目标检测方法。
可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。
可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：
S1，获取毫米波雷达采集到的点云数据包。
S2，对点云数据包进行聚类分析，得到至少一个目标点云簇，其中，每个目标点云簇对应一个待测目标。
S3，分别对每个目标点云簇进行目标跟踪，得到与每个目标点云簇对应的待测目标在预设时间段内的运动轨迹长度，以及获取红外感应器在预设时间段内采集到的来自待测目标的红外辐射能量强度变化次数。
S4，根据待测目标的运动轨迹长度以及待测目标的红外辐射能量强度变化次数，确定待测目标是否为人体目标。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的人体目标检测方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种人体目标检测方法。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种人体目标检测方法，其特征在于，所述方法包括：
获取毫米波雷达采集到的点云数据包；
对所述点云数据包进行聚类分析，得到至少一个目标点云簇，其中，每个所述目标点云簇对应一个待测目标；
分别对每个目标点云簇进行目标跟踪，得到与每个目标点云簇对应的待测目标在预设时间段内的运动轨迹长度，以及获取红外感应器在所述预设时间段内采集到的来自待测目标的红外辐射能量强度变化次数；
根据所述待测目标的运动轨迹长度以及来自所述待测目标的红外辐射能量强度变化次数，确定所述待测目标是否为人体目标。
2.根据权利要求1所述的人体目标检测方法，其特征在于，根据所述待测目标的运动轨迹长度以及来自所述待测目标的红外辐射能量强度变化次数，确定所述待测目标是否为人体目标包括：
在所述待测目标的运动轨迹长度大于预设的第一阈值的情况下，判断来自所述待测目标的红外辐射能量强度变化次数是否大于预设的第二阈值；
在来自所述待测目标的红外辐射能量强度变化次数大于所述第二阈值的情况下，确定所述待测目标为人体目标；
在来自所述待测目标的红外辐射能量强度变化次数小于所述第二阈值的情况下，确定所述待测目标为非人体目标。
3.根据权利要求2所述的人体目标检测方法，其特征在于，在来自所述待测目标的红外辐射能量强度变化次数大于所述第二阈值的情况下，确定所述待测目标为人体目标包括：
获取所述毫米波雷达在所述预设时间段内采集到的所述待测目标的最大高度值；
在来自所述待测目标的红外辐射能量强度变化次数大于所述第二阈值，以及所述待测目标的最大高度值大于预设的第三阈值的情况下，确定所述待测目标为人体目标。
4.根据权利要求2所述的人体目标检测方法，其特征在于，所述方法还包括：
获取所述毫米波雷达在所述预设时间段内采集到的所述待测目标的存在时间；
在所述待测目标的存在时间大于预设的第四阈值，以及所述待测目标的运动轨迹长度小于所述第一阈值的情况下，确定所述待测目标为非人体目标。
5.根据权利要求1所述的人体目标检测方法，其特征在于，分别对每个目标点云簇进行目标跟踪，得到与每个目标点云簇对应的待测目标在预设时间段内的运动轨迹长度，以及获取红外感应器在所述预设时间段内采集到的来自待测目标的红外辐射能量强度变化次数包括：
分别对每个目标点云簇进行目标跟踪，得到与每个目标点云簇对应的待测目标在预设时间段内的运动轨迹长度以及速度分布信息；
根据每个待测目标的速度分布信息，分别确定每个待测目标在所述预设时间段中的速度非零时间段；
获取所述红外感应器在所述速度非零时间段内采集到的来自待测目标的红外辐射能量强度变化次数。
6.根据权利要求1所述的人体目标检测方法，其特征在于，所述点云数据包包括所述毫米波雷达采集的多个检测点的点云数据，所述点云数据包括所述检测点与所述毫米波雷达之间的径向距离、所述检测点的径向速度以及所述检测点的信噪比；对所述点云数据包进行聚类分析，得到至少一个目标点云簇包括：
根据每个检测点与所述毫米波雷达之间的径向距离以及每个检测点的径向速度，对所述点云数据包进行聚类分析，得到至少一个点云簇；
分别判断每个点云簇内的检测点的数量是否大于预设的第五阈值，以及判断每个点云簇内的检测点的最大信噪比是否大于预设的第六阈值；
在所述点云簇内的检测点的数量大于所述第五阈值，以及所述点云簇内的检测点的最大信噪比大于所述第六阈值的情况下，确定所述点云簇为目标点云簇。
7.根据权利要求1所述的人体目标检测方法，其特征在于，所述方法还包括：
获取所述毫米波雷达检测范围内的人体目标的数量；
在所述人体目标的数量大于或等于1时，确定在所述毫米波雷达检测范围内存在人体目标，并输出每个所述人体目标的位置信息；
在所述人体目标的数量小于1时，确定在所述毫米波雷达检测范围内不存在人体目标。
8.一种人体目标检测装置，其特征在于，所述装置包括：
获取模块，用于获取毫米波雷达采集到的点云数据包；
聚类模块，用于对所述点云数据包进行聚类分析，得到至少一个目标点云簇，其中，每个所述目标点云簇对应一个待测目标；
跟踪模块，用于分别对每个目标点云簇进行目标跟踪，得到与每个目标点云簇对应的待测目标在预设时间段内的运动轨迹长度，以及获取红外感应器在所述预设时间段内采集到的来自待测目标的红外辐射能量强度变化次数；
确定模块，用于根据所述待测目标的运动轨迹长度以及来自所述待测目标的红外辐射能量强度变化次数，确定所述待测目标是否为人体目标。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的人体目标检测方法。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的人体目标检测方法。
CN202110785229.0A 2021-07-12 2021-07-12 人体目标检测方法、装置、电子装置和存储介质 Pending CN113537035A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110785229.0A CN113537035A (zh) 2021-07-12 2021-07-12 人体目标检测方法、装置、电子装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110785229.0A CN113537035A (zh) 2021-07-12 2021-07-12 人体目标检测方法、装置、电子装置和存储介质

Publications (1)

Publication Number Publication Date
CN113537035A true CN113537035A (zh) 2021-10-22

Family

ID=78127484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110785229.0A Pending CN113537035A (zh) 2021-07-12 2021-07-12 人体目标检测方法、装置、电子装置和存储介质

Country Status (1)

Country Link
CN (1) CN113537035A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114137505A (zh) * 2021-11-17 2022-03-04 珠海格力电器股份有限公司 一种基于无线雷达的目标检测方法及装置
CN114820664A (zh) * 2022-06-28 2022-07-29 浙江大学 图像数据处理方法、装置、图像数据处理设备及存储介质
CN115236661A (zh) * 2022-08-22 2022-10-25 深圳市海兴科技有限公司 一种基于微波感应的人体存在检测方法及微波感应器
CN116699604A (zh) * 2023-06-07 2023-09-05 深圳芯瑞晟微电子有限公司 一种基于pir和雷达双鉴探测传感器的控制方法及系统
WO2024199547A1 (zh) * 2023-03-28 2024-10-03 北京格物世纪科技有限公司 一种被动式人体检测方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324913A (zh) * 2013-05-29 2013-09-25 长安大学 一种基于形状特征和轨迹分析的行人事件检测方法
CN108534327A (zh) * 2018-04-16 2018-09-14 宁波奥克斯电气股份有限公司 一种空调的智能控制方法和装置
US20190317191A1 (en) * 2018-04-11 2019-10-17 Infineon Technologies Ag Human Detection and Identification in a Setting Using Millimiter-Wave Radar
CN111199555A (zh) * 2019-12-13 2020-05-26 意诺科技有限公司 毫米波雷达目标识别方法
CN112396791A (zh) * 2020-11-26 2021-02-23 珠海格力电器股份有限公司 入侵行为的报警方法和装置、存储介质、电子装置
CN112926722A (zh) * 2021-01-27 2021-06-08 上海兰宝传感科技股份有限公司 一种扶梯出入口区域人员计数方法
CN113093170A (zh) * 2021-06-07 2021-07-09 长沙莫之比智能科技有限公司 一种基于knn算法的毫米波雷达室内人员检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324913A (zh) * 2013-05-29 2013-09-25 长安大学 一种基于形状特征和轨迹分析的行人事件检测方法
US20190317191A1 (en) * 2018-04-11 2019-10-17 Infineon Technologies Ag Human Detection and Identification in a Setting Using Millimiter-Wave Radar
CN108534327A (zh) * 2018-04-16 2018-09-14 宁波奥克斯电气股份有限公司 一种空调的智能控制方法和装置
CN111199555A (zh) * 2019-12-13 2020-05-26 意诺科技有限公司 毫米波雷达目标识别方法
CN112396791A (zh) * 2020-11-26 2021-02-23 珠海格力电器股份有限公司 入侵行为的报警方法和装置、存储介质、电子装置
CN112926722A (zh) * 2021-01-27 2021-06-08 上海兰宝传感科技股份有限公司 一种扶梯出入口区域人员计数方法
CN113093170A (zh) * 2021-06-07 2021-07-09 长沙莫之比智能科技有限公司 一种基于knn算法的毫米波雷达室内人员检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王林泓: ""热释电红外信号特征分析及人体识别方法研究"", 《中国博士学位论文全文数据库信息科技辑》, pages 138 - 83 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114137505A (zh) * 2021-11-17 2022-03-04 珠海格力电器股份有限公司 一种基于无线雷达的目标检测方法及装置
CN114820664A (zh) * 2022-06-28 2022-07-29 浙江大学 图像数据处理方法、装置、图像数据处理设备及存储介质
CN115236661A (zh) * 2022-08-22 2022-10-25 深圳市海兴科技有限公司 一种基于微波感应的人体存在检测方法及微波感应器
CN115236661B (zh) * 2022-08-22 2023-04-07 深圳市海兴科技有限公司 一种基于微波感应的人体存在检测方法及微波感应器
WO2024199547A1 (zh) * 2023-03-28 2024-10-03 北京格物世纪科技有限公司 一种被动式人体检测方法、装置、设备及介质
CN116699604A (zh) * 2023-06-07 2023-09-05 深圳芯瑞晟微电子有限公司 一种基于pir和雷达双鉴探测传感器的控制方法及系统

Similar Documents

Publication Publication Date Title
CN113537035A (zh) 人体目标检测方法、装置、电子装置和存储介质
CN113267773B (zh) 一种基于毫米波雷达的室内人员准确检测和精确定位方法
JP2009539272A (ja) 超広帯域レーダセンサおよびネットワーク
CN112505679A (zh) 人体目标跟踪系统及方法
Bao et al. CNN-based regional people counting algorithm exploiting multi-scale range-time maps with an IR-UWB radar
CN112394334A (zh) 雷达反射点的聚类装置、方法以及电子设备
CN112946630B (zh) 一种基于毫米波雷达的人员计数跟踪方法
CN112835026A (zh) 雷达镜像目标检测方法、装置、雷达设备和车辆
Li et al. Di-gesture: Domain-independent and real-time gesture recognition with millimeter-wave signals
Yang et al. A portable traffic counting, speed estimation, and classification terminal using IR-UWB radar
He et al. Decentralised tracking for human target in multistatic ultra‐wideband radar
WO2012078577A9 (en) Surveillance and tracking system and method
CN112731387A (zh) 用于油烟机的启动方法、装置、油烟机及处理器
Yang et al. CubeSense++: Smart Environment Sensing with Interaction-Powered Corner Reflector Mechanisms
Parmar et al. Multiple target tracking and data association in wireless sensor network
CN114942416A (zh) 一种状态识别方法及装置
Shahid et al. Low-Cost Multi-Layer Approach for Motion Detection System for Area Monitoring
Fernandes et al. Wi-Fi intruder detection
Shamsfakhr et al. A multi-target detection and position tracking algorithm based on mmWave-FMCW radar data
Vançin et al. Detection of the vehicle direction with adaptive threshold algorithm using magnetic sensor nodes
Sonny et al. Dynamic Targets Occupancy Status Detection utilizing mmWave Radar Sensor and Ensemble Machine Learning
Zou et al. A Review of Human Activity Recognition Based on Millimeter-Wave Radar
EP4411413A1 (en) Apparatus and method for tracking objects
Gianoglio et al. On the Edge Recurrent Neural Network Approach for Ground Moving FMCW Radar Target Classification
Yang et al. Human Intrusion Detection System using mm Wave Radar

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220623

Address after: Room 201, block B, Changtai Plaza, Lane 2889, Jinke Road, Pudong New Area, Shanghai 200120

Applicant after: Hengxuan Technology (Shanghai) Co.,Ltd.

Address before: 315500 room 701, No. 88, Dongfeng Road, Yuelin street, Fenghua City, Ningbo City, Zhejiang Province

Applicant before: NINGBO XITANG INFORMATION TECHNOLOGY Co.,Ltd.