CN117824624A - 一种基于人脸识别的室内追踪定位方法、系统及存储介质 - Google Patents

一种基于人脸识别的室内追踪定位方法、系统及存储介质 Download PDF

Info

Publication number
CN117824624A
CN117824624A CN202410248512.3A CN202410248512A CN117824624A CN 117824624 A CN117824624 A CN 117824624A CN 202410248512 A CN202410248512 A CN 202410248512A CN 117824624 A CN117824624 A CN 117824624A
Authority
CN
China
Prior art keywords
information
gesture
indoor
face
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410248512.3A
Other languages
English (en)
Other versions
CN117824624B (zh
Inventor
韩畅
丁金善
叶威
刘彬
林伟斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hankvision Technology Co ltd
Original Assignee
Shenzhen Hankvision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hankvision Technology Co ltd filed Critical Shenzhen Hankvision Technology Co ltd
Priority to CN202410248512.3A priority Critical patent/CN117824624B/zh
Publication of CN117824624A publication Critical patent/CN117824624A/zh
Application granted granted Critical
Publication of CN117824624B publication Critical patent/CN117824624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/383Indoor data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3841Data obtained from two or more sources, e.g. probe vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025Living bodies
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48Thermography; Techniques using wholly visual means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于视觉技术领域,公开了一种基于人脸识别的室内追踪定位方法、系统及存储介质,包括通过SLAM技术建立室内空间的三维点云地图,并在室内空间的预设位置布置取像摄像头、深度摄像头和热成像仪;启动取像摄像头捕捉图像信息,并识别人脸信息;启动热成像仪以扫描获得目标人物在三维点云地图内的空间位置;调节深度摄像头的方位,以对目标空间进行拍摄获得视频信息,采用姿态识别方法分析获得姿态信息,将人脸信息和姿态信息输入于多模态数据融合模型进行匹配,获得人脸‑姿态的定位信息;通过多模式识别和数据融合,姿态信息对人脸识别的匹配,增强了系统对于目标人物空间定位的能力,显著提升了室内追踪系统在复杂环境中的适应力与准确度。

Description

一种基于人脸识别的室内追踪定位方法、系统及存储介质
技术领域
本发明涉及视觉技术领域,尤其涉及一种基于人脸识别的室内追踪定位方法、系统及存储介质。
背景技术
随着技术的快速发展,室内定位和追踪技术在多个领域变得越来越重要,这项技术不仅在安全监控领域扮演着关键角色,而且在零售、智能建筑管理、会议记录以及紧急情况响应等多个领域也有广泛应用。这类技术通过实时监控和分析人员的位置和移动模式,能够提高安全水平,优化空间使用效率,以及增强顾客体验。随着人工智能和图像处理技术的进步,市场对于更加精准和智能的室内追踪定位系统的需求日益增加。
现有技术中的室内追踪定位技术主要依赖于视频监控,并对监控获得视频进行人脸识别以对目标进行定位和追踪,但是常规的人脸识别技术的缺点在于,视频监控系统在处理复杂环境和多个移动目标时,可能会出现识别错误或追踪丢失的情况,单纯的人脸识别技术在人脸遮挡或角度变化较大时识别效果不佳,而且难以实现精确的三维空间定位,虽然可以通过点云数据处理虽然能提供三维空间信息,但处理速度较慢且对硬件要求高,限制了其在实时追踪应用中的效能。
鉴于此,需要对现有技术中的室内追踪技术加以改进,以解决人脸识别容易受到干扰,导致追踪效果不佳的技术问题。
发明内容
本发明的目的在于提供一种基于人脸识别的室内追踪定位方法、系统及存储介质,解决以上的技术问题。
为达此目的,本发明采用以下技术方案:
一种基于人脸识别的室内追踪定位方法,包括:
通过SLAM技术建立室内空间的三维点云地图,并在室内空间的预设位置布置取像摄像头、深度摄像头和热成像仪;
启动所述取像摄像头实时捕捉室内空间的图像信息,并识别所述图像信息中的人脸信息;
启动所述热成像仪对室内空间进行红外扫描,获得目标人物在三维点云地图内的空间位置,以标记为目标空间;
调节所述深度摄像头的方位,以对所述目标空间进行拍摄获得视频信息,采用姿态识别方法分析目标人物在所述视频信息的行为和运动模式,以获得姿态信息;
构建多模态数据融合模型,将所述人脸信息和姿态信息输入于所述多模态数据融合模型进行匹配,获得人脸-姿态的定位信息。
可选的,所述通过SLAM技术建立室内空间的三维点云地图,具体包括:
根据室内空间的环境特点和需求选择对应的SLAM系统;
通过移动模块带动所述SLAM系统沿预设路径遍历所述室内空间,在移动过程中,所述SLAM系统持续采集沿着所述预设路径的反馈信息,以获得运动反馈信息;
所述SLAM系统对获得所述运动反馈信息进行处理,通过匹配算法将SLAM系统的位置和姿态与所述运动反馈信息相匹配,同时构建室内空间的初步三维地图。
可选的,所述通过SLAM技术建立室内空间的三维点云地图,还包括:
采用闭环检测对所述初步三维地图进行优化处理,获得优化的初步三维地图;
利用特征点匹配和环境识别技术,对优化的初步三维地图进行连续的定位校正,并在优化的初步三维地图上增加关键特征和标记,获得室内空间的三维点云地图。
可选的,所述调节所述深度摄像头的方位,以对所述目标空间进行拍摄获得视频信息;具体包括:
根据目标空间的位置信息,预估所述深度摄像头拍摄的最佳角度和焦距,并通过控制系统调整所述深度摄像头置于所述最佳角度和焦距;
根据目标空间的环境光线条件,同步调整所述深度摄像头的光学参数;所述光学参数包括曝光、对焦和白平衡参数;
实时获得所述热成像仪的目标空间,通过控制系统动态调整所述深度摄像头的方位,使所述目标人物位于所述深度摄像头的拍摄范围内,并实时运行以拍摄关于所述目标人物的视频信息;
将所述视频信息的视频帧与所述取像摄像头的图像信息进行时间轴的同步处理。
可选的,所述采用姿态识别方法分析目标人物在所述视频信息的行为和运动模式,以获得姿态信息;具体包括:
采用姿态识别方法对获得的视频信息进行分析,实时识别并跟踪目标人物的关键身体点;
结合同步处理的所述图像信息和视频信息的视频帧,定位每个所述关键身体点在所述三维点云地图中的位置,建立目标人物的姿态模型;
分析所述视频信息中的目标人物的关键身体点的运动轨迹,提取动作特征;
将提取的动作特征输入于深度学习模型进行模型训练,以识别行为模式和动作序列;
通过所述行为模式和动作序列对所述姿态模型进行优化,以获得姿态信息。
可选的,所述构建多模态数据融合模型,具体包括:
确定多模态数据融合模型的基本架构,所述基本架构包括输入层、处理层和输出层;
在所述处理层设计用于处理不同类型数据的特定网络层,以及将不同类型数据进行整合的融合层;所述特定网络层用于处理人脸信息和姿态信息;
采用预设数量的标记数据输入于所述多模态数据融合模型的输入层,所述输入层对所述标记数据进行预处理后输送至所述处理层;
所述特定网络层采用交叉验证法对所述标记数据进行训练和验证,并通过所述融合层的特征融合算法对所述标记数据进行整合,以获得融合数据;
通过将所述融合数据与预设目标数据进行对比,以验证所述多模态数据融合模型的性能。
可选的,所述将所述人脸信息和姿态信息输入于所述多模态数据融合模型进行匹配,获得人脸-姿态的定位信息;具体包括:
对收集到的所述人脸信息和姿态信息进行预处理;所述预处理包括规一化、去噪和特征提取;
将实时获取的所述人脸信息和所述姿态信息输入到所述多模态数据融合模型中进行融合处理,并输出人脸-姿态定位信息。
本发明还提供了一种室内追踪定位装置,用于实现如上所述的基于人脸识别的室内追踪定位方法,所述定位装置包括:
SLAM系统,用于建立室内空间的三维点云地图;
取像摄像头,用于捕捉室内空间的图像信息并从中识别人脸信息;
热成像仪,用于对室内空间进行红外扫描,获得目标人物在三维点云地图内的空间位置;
深度摄像头,用于对所述目标空间进行拍摄获得视频信息;
姿态识别模块,用于处理所述视频信息,并实时识别和跟踪目标人物的姿态;
控制系统,用于控制所述定位装置运行;
用户界面,用于显示人脸-姿态定位信息。
本发明还提供了一种存储介质,所述存储介质上存储有指令,所述指令用于实现如上所述的基于人脸识别的室内追踪定位方法。
与现有技术相比,本发明具有以下有益效果:工作时,利用SLAM技术创建室内空间的三维点云地图,并在关键位置安装取像摄像头、深度摄像头以及热成像仪;之后,取像摄像头实时捕捉室内图像,并识别图中的人脸信息;同时,热成像仪对室内进行红外扫描,以在三维点云地图中确定目标人物的空间位置;接着,调整深度摄像头的方向,拍摄目标空间以获取视频信息,并通过姿态识别方法分析视频中目标人物的行为和运动模式,从而获取其姿态信息;最后,通过构建的多模态数据融合模型,将人脸信息和姿态信息结合起来,进行匹配,以实现准确的人脸-姿态定位信息;本方案通过多模式识别和数据融合,姿态信息对人脸识别的匹配,建立了对人脸识别的补偿机制有效克服了常规人脸识别在复杂环境下易出现错误和遮挡下识别率下降的问题;同时SLAM技术建立的三维点云地图为定位提供了高精度空间参考,深度摄像头和姿态识别技术的应用进一步丰富了追踪定位的维度,增强了系统对于目标人物空间定位的能力,显著提升了室内追踪系统在复杂环境中的适应力与准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
本说明书附图所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本实施例一的室内追踪定位方法的流程示意图之一;
图2为本实施例一的室内追踪定位方法的流程示意图之二。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明的描述中,需要理解的是,术语“上”、“下”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。需要说明的是,当一个组件被认为是“连接”另一个组件,它可以是直接连接到另一个组件或者可能同时存在居中设置的组件。
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
本发明实施例提供了一种基于人脸识别的室内追踪定位方法,包括:
S1,通过SLAM技术建立室内空间的三维点云地图,并在室内空间的预设位置布置取像摄像头、深度摄像头和热成像仪;
通过SLAM技术建立室内环境的详细三维映射,SLAM能够在没有先验地图的情况下,通过传感器数据实时地构建环境地图并定位传感器(或携带传感器的设备)本身的位置;这为后续的追踪定位操作提供了精确的三维坐标框架。在布置必要的取像摄像头、深度摄像头和热成像仪后,系统能够从不同角度捕捉室内环境并从多种传感器融合数据,为追踪提供丰富的信息源。
S2,启动取像摄像头实时捕捉室内空间的图像信息,并识别图像信息中的人脸信息;
启动取像摄像头捕捉实时图像信息,并在这些图像中识别人脸信息;常规摄像头的图像信息用于人脸识别,可以结合机器学习或深度学习技术来提高人脸检测和识别的准确率。这一步骤是实现个体追踪的基础,但由于人脸识别可能受到光照、遮挡等因素的影响,因此单独的人脸识别可能不足以确保稳定可靠的追踪。
S3,启动热成像仪对室内空间进行红外扫描,获得目标人物在三维点云地图内的空间位置,以标记为目标空间;
使用热成像仪进行室内空间的红外扫描,从而检测到目标人物在三维点云地图中的空间位置,并将这一位置标记为目标空间。热成像仪可以感应到人体发出的红外辐射,因此相比于常规的视觉基础的摄像头,在光线不佳或有遮挡物的条件下仍能有效检测到人体的存在和位置。
S4,调节深度摄像头的方位,以对目标空间进行拍摄获得视频信息,采用姿态识别方法分析目标人物在视频信息的行为和运动模式,以获得姿态信息;
通过调整深度摄像头的方位,针对标记的目标空间获取更深层次的视频信息,然后利用姿态识别方法分析目标人物的行为和运动模式,从而获得姿态信息。深度摄像头提供了目标人物的三维姿态信息,有助于解析复杂的人体动作,并可用于辅助识别人物身份和追踪动态目标。
S5,构建多模态数据融合模型,将人脸信息和姿态信息输入于多模态数据融合模型进行匹配,获得人脸-姿态的定位信息。
构建一个多模态数据融合模型,该模型将人脸信息和姿态信息整合起来,进行匹配和分析,以得出更加精确的定位信息;多模态数据融合可以弥补单一传感器或识别技术的不足,通过结合不同类型的传感器数据和识别技术,在精确度方面显著提高室内追踪系统的性能。这个过程利用算法来确定各模态数据之间的相关性,并生成一个综合的分析结果,从而获得一个准确的、动态的人脸-姿态定位信息。
本发明的工作原理为:工作时,利用SLAM技术创建室内空间的三维点云地图,并在关键位置安装取像摄像头、深度摄像头以及热成像仪;之后,取像摄像头实时捕捉室内图像,并识别图中的人脸信息;同时,热成像仪对室内进行红外扫描,以在三维点云地图中确定目标人物的空间位置;接着,调整深度摄像头的方向,拍摄目标空间以获取视频信息,并通过姿态识别方法分析视频中目标人物的行为和运动模式,从而获取其姿态信息;最后,通过构建的多模态数据融合模型,将人脸信息和姿态信息结合起来,进行匹配,以实现准确的人脸-姿态定位信息;本方案通过多模式识别和数据融合,姿态信息对人脸识别的匹配,建立了对人脸识别的补偿机制有效克服了常规人脸识别在复杂环境下易出现错误和遮挡下识别率下降的问题;同时SLAM技术建立的三维点云地图为定位提供了高精度空间参考,深度摄像头和姿态识别技术的应用进一步丰富了追踪定位的维度,增强了系统对于目标人物空间定位的能力,显著提升了室内追踪系统在复杂环境中的适应力与准确度。
在本实施例中,具体说明的是,步骤S1具体包括:
S11,根据室内空间的环境特点和需求选择对应的SLAM系统;
选择合适的SLAM系统是关键的第一步,因为不同的室内环境特点(例如大小、形状、固定结构和移动空间)和需求(如准确性、速度和成本)可能会影响所选用SLAM系统的类型;其中,SLAM系统可以为基于激光的SLAM、基于视觉的SLAM或二者的融合系统中的一种。
S12,通过移动模块带动SLAM系统沿预设路径遍历室内空间,在移动过程中,SLAM系统持续采集沿着预设路径的反馈信息,以获得运动反馈信息;
SLAM系统需要在室内空间内移动以采集数据,可以使用自动或手动控制的移动模块(如机器人或轮式车辆)搭载SLAM系统沿着预设的路径进行遍历。在移动过程中,SLAM系统会不断收集运动备反馈信息,如传感器数据和环境特征,这对于地图构建和定位至关重要。
S13,SLAM系统对获得运动反馈信息进行处理,通过匹配算法将SLAM系统的位置和姿态与运动反馈信息相匹配,同时构建室内空间的初步三维地图;
此步骤涉及到收集到的运动反馈信息的处理和分析;SLAM系统通过特定的匹配算法将系统的实际位置和姿态与采集的数据相匹配。这是地图构建的关键环节,因为系统需要知道自身在地图中的确切位置以及面对的方向(姿态)来准确描绘周围的空间。
S14,采用闭环检测对初步三维地图进行优化处理,获得优化的初步三维地图;
闭环检测是一种用于优化和提高地图准确性的技术。在构建地图时,系统可能会返回到之前访问过的区域,闭环检测能识别这些情况并调整地图数据,以减少累积误差,优化生成的初步三维地图。
S15,利用特征点匹配和环境识别技术,对优化的初步三维地图进行连续的定位校正,并在优化的初步三维地图上增加关键特征和标记,获得室内空间的三维点云地图;
特征点匹配和环境识别技术能够在地图中识别和标记关键的环境特征点,这些点作为定位校正的基准,有助于提升后续定位的准确度。在此基础上,对初步地图进行连续校正,并添加关键特征和标记,最终生成精确的三维点云地图。
S16,在室内空间的预设位置布置取像摄像头、深度摄像头和热成像仪。
最后,三维点云地图建立完毕后,需要在室内空间预设的关键位置布置所需的监控和传感设备。取像摄像头用于捕捉可视图像并进行人脸识别,深度摄像头用于捕捉空间深度信息以辅助姿态检测和识别,热成像仪则用于检测人体的热特征,辅助进行室内人员的定位。这一步骤为后续的实时室内追踪定位铺垫了基础。
在本实施例中,具体说明的是,步骤S4具体包括:
S41,根据目标空间的位置信息,预估深度摄像头拍摄的最佳角度和焦距,并通过控制系统调整深度摄像头置于最佳角度和焦距;
系统首先需要根据目标空间的位置信息,预估出深度摄像头拍摄目标的最佳角度和焦距,这一步骤是为了确保摄像头能够清晰、准确地捕捉到目标人物的图像和深度信息;通过调整摄像头的角度和焦距,可以获得更优质的图像,有助于后续的姿态分析和身份确认。控制系统的自动调整功能在这里发挥重要作用,确保摄像头始终对准目标空间。
S42,根据目标空间的环境光线条件,同步调整深度摄像头的光学参数;光学参数包括曝光、对焦和白平衡参数;
根据目标空间的环境光线条件同步调整深度摄像头的光学参数,如曝光、对焦和白平衡。这些参数调整对于适应不同的环境光照条件至关重要,可以确保无论是在光线较暗还是较亮的环境中,深度摄像头都能够捕获到高质量的图像。良好的图像质量是进行有效姿态分析的前提。
S43,实时获得热成像仪的目标空间,通过控制系统动态调整深度摄像头的方位,使目标人物位于深度摄像头的拍摄范围内,并实时运行以拍摄关于目标人物的视频信息;
这一步骤体现了系统的动态响应能力,能够根据实时数据调整摄像头的位置和角度,保证持续有效地捕捉目标人物的动态。实时运行模式对于追踪移动目标至关重要。
S44,将视频信息的视频帧与取像摄像头的图像信息进行时间轴的同步处理。
系统将深度摄像头捕捉到的视频信息与取像摄像头的图像信息进行时间轴上的同步处理。这意味着系统将确保来自不同摄像头的数据在时间上对齐,以便于融合分析;时间同步对于确保数据的一致性和可靠性非常关键,尤其是在处理和分析动态场景时;这样,不同摄像头捕获的信息可以被视为同一时间点的数据,为后续的多模态数据融合和分析奠定了基础。
S45,采用姿态识别方法对获得的视频信息进行分析,实时识别并跟踪目标人物的关键身体点;
采用的姿态识别方法用于分析从深度摄像头获得的视频信息。这一方法可以实时识别并跟踪人体的关键身体点,例如头部、手肘、膝盖等。通过对这些关键点的识别与追踪,系统能够了解目标人物的姿态和运动情况,这是构建人体姿态模型和进行行为分析的前提。
S46,结合同步处理的图像信息和视频信息的视频帧,定位每个关键身体点在三维点云地图中的位置,建立目标人物的姿态模型;
将前述步骤中识别的关键身体点与同步的图像信息和视频帧结合起来,进而在之前构建的三维点云地图中定位每个关键身体点的具体位置;通过这种方法,可以构建起目标人物的详细姿态模型,并以三维形式表示,允许从不同角度和维度对人物的姿势进行分析。
S47,分析视频信息中的目标人物的关键身体点的运动轨迹,提取动作特征;
系统进一步分析在视频信息中记录的目标人物各关键身体点的运动轨迹,由这些跟踪点的运动轨迹,可以提取出目标人物的动作特征,比如步行、奔跑或举手等动作的特征;这些提取出的动作特征对于理解目标人物的行为模式至关重要。
S48,将提取的动作特征输入于深度学习模型进行模型训练,以识别行为模式和动作序列;
将提取的动作特征输入至深度学习模型进行训练。深度学习模型通过学习这些特征,能够识别目标人物的行为模式和动作序列;深度学习在处理大量复杂数据方面非常高效,并且在模式识别和分类任务中表现出色。通过训练,模型将更准确地识别相似的行为模式。
S49,通过行为模式和动作序列对姿态模型进行优化,以获得姿态信息。
系统使用从行为模式和动作序列中获得的信息来优化姿态模型;这个过程可以进一步提高姿态信息的准确性和可靠性。优化后的姿态模型不仅能体现人物的当前姿态,还能反映人物动作的流畅性和连续性,这有利于识别特定的行为和运动模式。
在本实施例中,具体说明的是,步骤S5具体包括:
S51,确定多模态数据融合模型的基本架构,基本架构包括输入层、处理层和输出层;
输入层负责接收各种类型的数据(如人脸信息和姿态信息),处理层执行数据处理和分析任务,而输出层则提供最终的融合结果;这个架构的设计能够有效处理和融合不同类型的数据。
S52,在处理层设计用于处理不同类型数据的特定网络层,以及将不同类型数据进行整合的融合层;特定网络层用于处理人脸信息和姿态信息;
在处理层设计特定的网络层,用于处理不同类型的数据(例如人脸信息和姿态信息),以及一个融合层,用于将这些不同类型的数据进行整合。特定网络层的设计通常根据数据的特性来优化,以确保每种类型的数据都得到有效的处理;而融合层则运用特定的算法来整合来自不同源的信息,目的是产生一个综合视图,从而提高整体的识别和定位准确性。
S53,采用预设数量的标记数据输入于多模态数据融合模型的输入层,输入层对标记数据进行预处理后输送至处理层;
对预设数量的标记数据进行输入和预处理的过程。这些标记数据是用于训练多模态数据融合模型的,输入层对这些数据进行预处理(例如规范化、去噪等),然后传输到处理层进行更深入的分析。这个预处理步骤用于确保数据质量和后续处理的准确性。
S54,特定网络层采用交叉验证法对标记数据进行训练和验证,并通过融合层的特征融合算法对标记数据进行整合,以获得融合数据;
特定网络层使用交叉验证法对标记数据进行训练和验证,这有助于提高模型的准确性和泛化能力;通过融合层的特征融合算法,处理层对来自不同网络层的标记数据进行整合,从而生成融合数据;这个整合过程是多模态数据融合模型的核心,它允许模型有效地结合来自不同数据源的信息。
S55,通过将融合数据与预设目标数据进行对比,以验证多模态数据融合模型的性能。
通过将融合数据与预设的目标数据进行比较,来验证多模态数据融合模型的性能;这个验证过程是评估模型效果的关键步骤,可以确保模型在实际应用中能够达到预期的准确性和可靠性。
S56,对收集到的人脸信息和姿态信息进行预处理;预处理包括规一化、去噪和特征提取;
对收集到的人脸信息和姿态信息进行预处理,这包括规一化、去噪和特征提取等步骤。这些预处理操作对于改善数据质量、减少噪声干扰和突出关键特征非常重要,是确保数据能够有效输入到多模态数据融合模型中的基础。
S57,将实时获取的人脸信息和姿态信息输入到多模态数据融合模型中进行融合处理,并输出人脸-姿态定位信息。
将实时获取的人脸信息和姿态信息输入到多模态数据融合模型中进行处理。在这个过程中,模型融合了这两种类型的信息,并输出最终的人脸-姿态定位信息;这个输出是追踪定位系统的最终结果,结合了人脸识别的精确性和姿态识别的动态信息,提供了一个全面且细致的目标追踪定位解决方案。
实施例二:
本发明还提供了一种室内追踪定位装置,用于实现如实施例一的基于人脸识别的室内追踪定位方法,定位装置包括:
SLAM系统,用于建立室内空间的三维点云地图;SLAM系统模块包括如激光扫描仪、处理单元(用于实时处理SLAM算法的计算需求)和移动单元(用于遍历空间,可能包括轮子或其他移动机制)。
取像摄像头,用于捕捉室内空间的图像信息并从中识别人脸信息;
热成像仪,用于对室内空间进行红外扫描,获得目标人物在三维点云地图内的空间位置;
深度摄像头,用于对目标空间进行拍摄获得视频信息;
姿态识别模块,用于处理视频信息,并实时识别和跟踪目标人物的姿态;
控制系统,用于控制定位装置运行;
用户界面,用于显示人脸-姿态定位信息。
工作流程:本室内追踪定位装置首先通过SLAM系统遍历并扫描室内环境,以建立一个高精度的三维点云地图。同时,取像摄像头在关键区域捕捉实时图像信息,利用人脸识别算法检测图像中的人脸,为确定个体提供初步数据。随后,热成像仪进行红外扫描,精确定位目标人物在三维空间中的位置,标记目标空间。深度摄像头则捕获目标空间的深度视频信息,由姿态识别模块分析这些信息以实时追踪目标人物的身体姿态和动作。控制系统统筹调配各个部件的工作,并保证设备的协同运转。最终,用户界面将人脸-姿态定位信息可视化展示给用户或系统管理员,实现直观的监控和追踪结果评估。
实施例三:
本发明提供了一种存储介质,存储介质上存储有指令,指令用于实现如实施例一的基于人脸识别的室内追踪定位方法。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于人脸识别的室内追踪定位方法,其特征在于,包括:
通过SLAM技术建立室内空间的三维点云地图,并在室内空间的预设位置布置取像摄像头、深度摄像头和热成像仪;
启动所述取像摄像头实时捕捉室内空间的图像信息,并识别所述图像信息中的人脸信息;
启动所述热成像仪对室内空间进行红外扫描,获得目标人物在三维点云地图内的空间位置,以标记为目标空间;
调节所述深度摄像头的方位,以对所述目标空间进行拍摄获得视频信息,采用姿态识别方法分析目标人物在所述视频信息的行为和运动模式,以获得姿态信息;
构建多模态数据融合模型,将所述人脸信息和姿态信息输入于所述多模态数据融合模型进行匹配,获得人脸-姿态的定位信息。
2.根据权利要求1所述的基于人脸识别的室内追踪定位方法,其特征在于,所述通过SLAM技术建立室内空间的三维点云地图,具体包括:
根据室内空间的环境特点和需求选择对应的SLAM系统;
通过移动模块带动所述SLAM系统沿预设路径遍历所述室内空间,在移动过程中,所述SLAM系统持续采集沿着所述预设路径的反馈信息,以获得运动反馈信息;
所述SLAM系统对获得所述运动反馈信息进行处理,通过匹配算法将SLAM系统的位置和姿态与所述运动反馈信息相匹配,同时构建室内空间的初步三维地图。
3.根据权利要求2所述的基于人脸识别的室内追踪定位方法,其特征在于,所述通过SLAM技术建立室内空间的三维点云地图,还包括:
采用闭环检测对所述初步三维地图进行优化处理,获得优化的初步三维地图;
利用特征点匹配和环境识别技术,对优化的初步三维地图进行连续的定位校正,并在优化的初步三维地图上增加关键特征和标记,获得室内空间的三维点云地图。
4.根据权利要求1所述的基于人脸识别的室内追踪定位方法,其特征在于,所述调节所述深度摄像头的方位,以对所述目标空间进行拍摄获得视频信息;具体包括:
根据目标空间的位置信息,预估所述深度摄像头拍摄的最佳角度和焦距,并通过控制系统调整所述深度摄像头置于所述最佳角度和焦距;
根据目标空间的环境光线条件,同步调整所述深度摄像头的光学参数;所述光学参数包括曝光、对焦和白平衡参数;
实时获得所述热成像仪的目标空间,通过控制系统动态调整所述深度摄像头的方位,使所述目标人物位于所述深度摄像头的拍摄范围内,并实时运行以拍摄关于所述目标人物的视频信息;
将所述视频信息的视频帧与所述取像摄像头的图像信息进行时间轴的同步处理。
5.根据权利要求4所述的基于人脸识别的室内追踪定位方法,其特征在于,所述采用姿态识别方法分析目标人物在所述视频信息的行为和运动模式,以获得姿态信息;具体包括:
采用姿态识别方法对获得的视频信息进行分析,实时识别并跟踪目标人物的关键身体点;
结合同步处理的所述图像信息和视频信息的视频帧,定位每个所述关键身体点在所述三维点云地图中的位置,建立目标人物的姿态模型;
分析所述视频信息中的目标人物的关键身体点的运动轨迹,提取动作特征;
将提取的动作特征输入于深度学习模型进行模型训练,以识别行为模式和动作序列;
通过所述行为模式和动作序列对所述姿态模型进行优化,以获得姿态信息。
6.根据权利要求1所述的基于人脸识别的室内追踪定位方法,其特征在于,构建多模态数据融合模型,具体包括:
确定多模态数据融合模型的基本架构,所述基本架构包括输入层、处理层和输出层;
在所述处理层设计用于处理不同类型数据的特定网络层,以及将不同类型数据进行整合的融合层;所述特定网络层用于处理人脸信息和姿态信息;
采用预设数量的标记数据输入于所述多模态数据融合模型的输入层,所述输入层对所述标记数据进行预处理后输送至所述处理层;
所述特定网络层采用交叉验证法对所述标记数据进行训练和验证,并通过所述融合层的特征融合算法对所述标记数据进行整合,以获得融合数据;
通过将所述融合数据与预设目标数据进行对比,以验证所述多模态数据融合模型的性能。
7.根据权利要求6所述的基于人脸识别的室内追踪定位方法,其特征在于,所述将所述人脸信息和姿态信息输入于所述多模态数据融合模型进行匹配,获得人脸-姿态的定位信息;具体包括:
对收集到的所述人脸信息和姿态信息进行预处理;所述预处理包括规一化、去噪和特征提取;
将实时获取的所述人脸信息和所述姿态信息输入到所述多模态数据融合模型中进行融合处理,并输出人脸-姿态定位信息。
8.一种室内追踪定位装置,其特征在于,用于实现如权利要求1至7任一项所述的基于人脸识别的室内追踪定位方法,所述定位装置包括:
SLAM系统,用于建立室内空间的三维点云地图;
取像摄像头,用于捕捉室内空间的图像信息并从中识别人脸信息;
热成像仪,用于对室内空间进行红外扫描,获得目标人物在三维点云地图内的空间位置;
深度摄像头,用于对所述目标空间进行拍摄获得视频信息;
姿态识别模块,用于处理所述视频信息,并实时识别和跟踪目标人物的姿态;
控制系统,用于控制所述定位装置运行;
用户界面,用于显示人脸-姿态定位信息。
9.一种存储介质,其特征在于,所述存储介质上存储有指令,所述指令用于实现如权利要求1至7中任一项所述的基于人脸识别的室内追踪定位方法。
CN202410248512.3A 2024-03-05 2024-03-05 一种基于人脸识别的室内追踪定位方法、系统及存储介质 Active CN117824624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410248512.3A CN117824624B (zh) 2024-03-05 2024-03-05 一种基于人脸识别的室内追踪定位方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410248512.3A CN117824624B (zh) 2024-03-05 2024-03-05 一种基于人脸识别的室内追踪定位方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN117824624A true CN117824624A (zh) 2024-04-05
CN117824624B CN117824624B (zh) 2024-05-14

Family

ID=90519477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410248512.3A Active CN117824624B (zh) 2024-03-05 2024-03-05 一种基于人脸识别的室内追踪定位方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN117824624B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118009888A (zh) * 2024-04-08 2024-05-10 深圳市明谋科技有限公司 一种线缆压接的视觉检测方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539874A (zh) * 2014-06-17 2015-04-22 武汉理工大学 融合热释电传感与摄像机的人体混合监控系统及方法
CN109558879A (zh) * 2017-09-22 2019-04-02 华为技术有限公司 一种基于点线特征的视觉slam方法和装置
CN110487270A (zh) * 2019-08-26 2019-11-22 中国计量大学 一种基于可穿戴惯性测量单元和红外传感器网络的室内人体定位方法
CN110988861A (zh) * 2019-10-31 2020-04-10 复旦大学 基于毫米波雷达的人体姿态识别系统
CN111046725A (zh) * 2019-10-24 2020-04-21 宝略科技(浙江)有限公司 一种基于监控视频的人脸识别和点云融合的空间定位方法
CN111982295A (zh) * 2020-07-24 2020-11-24 南京轩世琪源软件科技有限公司 一种多功能室内定位成像仪及其使用方法
CN112581545A (zh) * 2020-12-30 2021-03-30 深兰科技(上海)有限公司 多模态热源识别及三维空间定位系统、方法及存储介质
WO2021190729A1 (en) * 2020-03-24 2021-09-30 Nokia Solutions And Networks Oy Camera relocalization methods for real-time ar-supported network service visualization
WO2021233029A1 (en) * 2020-05-18 2021-11-25 Shenzhen Intelligence Ally Technology Co., Ltd. Simultaneous localization and mapping method, device, system and storage medium
CN114120013A (zh) * 2021-11-23 2022-03-01 同济大学 一种红外与rgb跨模态特征点匹配方法
CN115588036A (zh) * 2022-10-12 2023-01-10 烟台艾睿光电科技有限公司 图像采集方法及装置、机器人
CN116630394A (zh) * 2023-07-25 2023-08-22 山东中科先进技术有限公司 一种三维建模约束的多模态目标物体姿态估计方法及系统
CN117456136A (zh) * 2023-11-06 2024-01-26 北京相数科技有限公司 一种基于多模态视觉识别的数字孪生场景智能生成方法
CN117606497A (zh) * 2023-10-19 2024-02-27 上海慧璟航空科技有限公司 一种实时地图构建方法、系统及导盲眼镜

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104539874A (zh) * 2014-06-17 2015-04-22 武汉理工大学 融合热释电传感与摄像机的人体混合监控系统及方法
CN109558879A (zh) * 2017-09-22 2019-04-02 华为技术有限公司 一种基于点线特征的视觉slam方法和装置
CN110487270A (zh) * 2019-08-26 2019-11-22 中国计量大学 一种基于可穿戴惯性测量单元和红外传感器网络的室内人体定位方法
CN111046725A (zh) * 2019-10-24 2020-04-21 宝略科技(浙江)有限公司 一种基于监控视频的人脸识别和点云融合的空间定位方法
CN110988861A (zh) * 2019-10-31 2020-04-10 复旦大学 基于毫米波雷达的人体姿态识别系统
WO2021190729A1 (en) * 2020-03-24 2021-09-30 Nokia Solutions And Networks Oy Camera relocalization methods for real-time ar-supported network service visualization
WO2021233029A1 (en) * 2020-05-18 2021-11-25 Shenzhen Intelligence Ally Technology Co., Ltd. Simultaneous localization and mapping method, device, system and storage medium
CN111982295A (zh) * 2020-07-24 2020-11-24 南京轩世琪源软件科技有限公司 一种多功能室内定位成像仪及其使用方法
CN112581545A (zh) * 2020-12-30 2021-03-30 深兰科技(上海)有限公司 多模态热源识别及三维空间定位系统、方法及存储介质
CN114120013A (zh) * 2021-11-23 2022-03-01 同济大学 一种红外与rgb跨模态特征点匹配方法
CN115588036A (zh) * 2022-10-12 2023-01-10 烟台艾睿光电科技有限公司 图像采集方法及装置、机器人
CN116630394A (zh) * 2023-07-25 2023-08-22 山东中科先进技术有限公司 一种三维建模约束的多模态目标物体姿态估计方法及系统
CN117606497A (zh) * 2023-10-19 2024-02-27 上海慧璟航空科技有限公司 一种实时地图构建方法、系统及导盲眼镜
CN117456136A (zh) * 2023-11-06 2024-01-26 北京相数科技有限公司 一种基于多模态视觉识别的数字孪生场景智能生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI S 等: "A fire reconnaissance robot based on SLAM position thermal imaging echnologies and AR display", SENSORS(BASEL), vol. 19, no. 22, 18 November 2019 (2019-11-18), pages 1 - 5 *
许伟村 等: "基于视觉感知的机场旅客主动定位系统", 民航学报, vol. 2, no. 04, 31 July 2018 (2018-07-31), pages 78 - 81 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118009888A (zh) * 2024-04-08 2024-05-10 深圳市明谋科技有限公司 一种线缆压接的视觉检测方法及系统

Also Published As

Publication number Publication date
CN117824624B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN110543867B (zh) 一种多摄像头条件下的人群密度估测系统及方法
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
CN105894702B (zh) 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法
CN117824624B (zh) 一种基于人脸识别的室内追踪定位方法、系统及存储介质
US9373023B2 (en) Method and apparatus for robustly collecting facial, ocular, and iris images using a single sensor
CN103168467B (zh) 使用热图像坐标的安防摄像机追踪和监控系统及方法
CN114693746B (zh) 基于身份识别和跨摄像头目标追踪的智能监控系统及方法
Wheeler et al. Face recognition at a distance system for surveillance applications
CN109977813A (zh) 一种基于深度学习框架的巡检机器人目标定位方法
CN102855471B (zh) 远距离虹膜智能成像装置及方法
KR101850534B1 (ko) 적외선 카메라와 마커를 이용한 영상 촬영 시스템, 방법 및 어플리케이션
KR101023951B1 (ko) 행동인식 시스템 및 방법
CN110910460A (zh) 一种获取位置信息的方法、装置及标定设备
CN114905512B (zh) 一种智能巡检机器人全景追踪及避障方法及系统
CN107509055A (zh) 一种旋转式全景焦点识别光电跟踪仪及其实施方法
Carletti et al. An efficient and effective method for people detection from top-view depth cameras
CN110991306B (zh) 自适应的宽视场高分辨率智能传感方法和系统
CN106412400A (zh) 基于可见光及近红外的仿生视觉成像系统及其调焦方法
CN114511592B (zh) 一种基于rgbd相机和bim系统的人员轨迹追踪方法及系统
CN111399634A (zh) 一种手势引导物体识别的方法及装置
CN112785564B (zh) 一种基于机械臂的行人检测跟踪系统与方法
CN117496586A (zh) 一种基于视频图像的人员异常行为识别方法
EP4354853A1 (en) Thermal-image-monitoring system using plurality of cameras
CN112601021B (zh) 一种网络摄像机监控视频的处理方法及系统
CN113824880A (zh) 一种基于目标检测和uwb定位的车辆跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant