CN112100305B - 一种基于多源数据的轨迹确定方法、装置、设备及介质 - Google Patents
一种基于多源数据的轨迹确定方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112100305B CN112100305B CN202010967963.4A CN202010967963A CN112100305B CN 112100305 B CN112100305 B CN 112100305B CN 202010967963 A CN202010967963 A CN 202010967963A CN 112100305 B CN112100305 B CN 112100305B
- Authority
- CN
- China
- Prior art keywords
- information
- track
- target object
- data
- internet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种基于多源数据的轨迹确定方法、装置、设备及介质,通过获取目标车辆的车辆图像信息和车辆轨迹信息,根据车辆图像信息获取目标对象的面部特征信息,并对目标对象进行身份识别生成目标对象的身份识别信息,根据身份识别信息,获取目标对象的初始轨迹信息,根据车辆轨迹信息和初始轨迹信息确定目标对象的第一最终轨迹信息;本发明还提供了一种基于多源数据的轨迹确定装置、设备及介质,实现了在确定目标对象的身份信息的基础上,采用多源数据,进一步基于车辆轨迹信息初始轨迹信息确定第一最终轨迹信息,满足实际的业务需求,提升用户体验度。
Description
技术领域
本发明涉及计算机技术领域,特别是涉及一种基于多源数据的轨迹确定方法、装置、设备及介质。
背景技术
目前交通道路卡口可以对机动车辆数据进行采集,根据车辆识别的数据可以对车辆轨迹进行精准的刻画。
但在目前更多的实际业务中不光是需要对车辆进行轨迹刻画,还需要能精准的获取车辆驾驶人员的轨迹信息。但是目前单纯的通过车辆卡口采集数据这种单一数据源不能对驾驶人员进行精准的轨迹分析,无法满足实际的业务需求,用户体验度不高。
发明内容
针对于以上所述相关技术的缺点,本发明的目的在于提供一种基于多源数据的轨迹确定方法、装置、设备及介质,用于解决仅以单一数据源不能对驾驶人员进行精准的轨迹分析,不能满足实际业务需求,用户体验度不高的问题。
为实现上述目的及其他相关目的,本发明提供一种基于多源数据的轨迹确定方法,包括:
获取目标车辆的车辆图像信息和车辆轨迹信息;
根据所述车辆图像信息获取目标对象的面部特征信息,并对所述目标对象进行身份识别,生成所述目标对象的身份识别信息,所述目标对象位于所述目标车辆内;
根据所述身份识别信息,获取所述目标对象的初始轨迹信息;
根据所述车辆轨迹信息和所述初始轨迹信息确定所述目标对象的第一最终轨迹信息。
可选的,所述对所述目标对象进行身份识别,生成所述目标对象的身份识别信息包括:
根据所述面部特征信息与第一、二、三预设数据库中至少之一确定所述身份识别信息,其中,所述第一预设数据库、所述第二预设数据库和所述第三预设数据库存储的数据不同。
可选的,所述根据所述面部特征信息与第一预设数据库确定所述身份识别信息包括:将所述面部特征信息与第一预设数据库中的底库信息进行比对,确定所述身份识别信息,所述第一预设数据库包括人员底库数据,所述人员底库数据包括身份证信息、驾驶证信息中至少之一;
所述根据所述面部特征信息与第二预设数据库确定所述身份识别信息包括:将所述面部特征信息与第二预设数据库的第二对象进行聚类,确定所述身份识别信息,所述第二预设数据库包括轨迹确定底库数据,所述轨迹确定底库数据包括历史车辆抓拍数据;
所述根据所述面部特征信息与第三预设数据库确定所述身份识别信息包括:将所述面部特征信息与第三预设数据库的第三对象进行聚类,确定所述身份识别信息,所述第三预设数据库包括人脸抓拍数据,所述人脸抓拍数据包括人脸抓拍图像。
可选的,所述根据所述身份识别信息获取所述目标对象的初始轨迹信息包括:
根据所述身份识别信息和所述第二预设数据库确定所述目标对象的第一轨迹信息;
根据所述身份识别信息和所述第三预设数据库确定所述目标对象的第二轨迹信息;
根据所述第一轨迹信息、所述第二轨迹信息中至少之一确定所述初始轨迹信息。
可选的,所述根据所述车辆轨迹信息和所述初始轨迹信息确定所述目标对象的第一最终轨迹信息,包括:
分别获取所述车辆轨迹信息、所述初始轨迹信息的时间信息;
根据时间序列将所述车辆轨迹信息和所述初始轨迹信息拟合生成所述第一最终轨迹信息。
可选的,还包括:
根据所述身份信息获取所述目标对象的关联信息,所述关联信息包括以下至少之一:出行信息、住宿信息、消费信息;
根据所述身份识别信息和所述关联信息确定所述目标对象的关联轨迹信息;
分别获取所述车辆轨迹信息、所述关联轨迹信息、所述初始轨迹信息的时间信息;
根据时间序列将所述车辆轨迹信息、所述关联轨迹信息、所述初始轨迹信息拟合生成第二最终轨迹信息。
可选的,还包括:
获取物联网感知数据,所述物联网感知数据包括物联网中感知设备所获取的感知数据;
根据所述第二最终轨迹信息和所述物联网感知数据确定所述目标对象的物联网轨迹信息;
根据所述第二最终轨迹信息和所述物联网轨迹信息确定所述目标对象的综合轨迹。
可选的,所述根据所述第二最终轨迹信息和所述物联网轨迹信息确定所述目标对象的综合轨迹的方法包括以下至少一种:
将所述第二最终轨迹信息和所述物联网感知数据通过时空碰撞方法确定所述物联网轨迹信息;
将所述第二最终轨迹信息和所述物联网感知数据通过频次分析方法确定所述物联网轨迹信息;
将所述第二最终轨迹信息和所述物联网感知数据通过聚类分析方法确定所述物联网轨迹信息。
可选的,所述将所述第二最终轨迹信息和所述物联网感知数据通过时空碰撞方法确定所述物联网轨迹信息包括:获取第二最终轨迹信息中的时间信息和地点信息,根据所述物联网感知数据构建时间列表和地点列表,将所述第二最终轨迹信息中的时间信息和地点信息获与所述时间列表和地点列表进行时空碰撞,生成所述物联网轨迹信息。
所述将所述第二最终轨迹信息和所述物联网感知数据通过频次分析方法确定所述物联网轨迹信息包括:获取所述第二最终轨迹信息中各轨迹点所对应的监测数据,所述监测数据包括基于各轨迹点在预设时空范围所获取的事件,获取各所述事件的发生频次,根据所述频次在所述物联网感知数据中确定所述第二物联网轨迹信息,所述预设时空范围包括预设时间范围和预设地点范围,所述预设时间范围包括所述轨迹点所在时间前后预设时间长度的时间范围,所述预设地点范围包括所述轨迹点所在地点周围预设距离的地点范围;
所述将所述第二最终轨迹信息和所述物联网感知数据通过聚类分析方法确定所述物联网轨迹信息包括:获取所述第二最终轨迹信息中各轨迹点所对应的监测数据,所述监测数据包括基于各轨迹点在预设时空范围所获取的事件,对所述事件进行聚类处理获取所述监测数据的特征向量,根据所述特征向量在所述物联网感知数据中确定所述物联网轨迹信息。
本发明还提供了一种基于多源数据的轨迹确定装置,包括:
第一获取模块,用于获取目标车辆的车辆图像信息和车辆轨迹信息;
第二获取模块,用于根据所述车辆图像信息获取目标对象的面部特征信息,并对所述目标对象进行身份识别生成所述目标对象的身份识别信息,所述目标对象位于所述目标车辆内;
第三获取模块,用于根据所述身份识别信息,获取所述目标对象的初始轨迹信息;
第一最终轨迹确定模块,用于根据所述车辆轨迹信息和所述初始轨迹信息确定所述目标对象的第一最终轨迹信息。
可选的,所述第二获取模还用于根据所述面部特征信息与第一、二、三预设数据库中至少之一确定所述身份识别信息,其中,所述第一预设数据库、所述第二预设数据库和所述第三预设数据库存储的数据不同;
所述根据所述面部特征信息与第一预设数据库确定所述身份识别信息包括:将所述面部特征信息与第一预设数据库中的底库信息进行比对,确定所述身份识别信息,所述第一预设数据库包括人员底库数据,所述人员底库数据包括身份证信息、驾驶证信息中至少之一;
所述根据所述面部特征信息与第二预设数据库确定所述身份识别信息包括:将所述面部特征信息与第二预设数据库的第二对象进行聚类,确定所述身份识别信息,所述第二预设数据库包括轨迹确定底库数据,所述轨迹确定底库数据包括历史车辆抓拍数据;
所述根据所述面部特征信息与第三预设数据库确定所述身份识别信息包括:将所述面部特征信息与第三预设数据库的第三对象进行聚类,确定所述身份识别信息,所述第三预设数据库包括人脸抓拍数据,所述人脸抓拍数据包括人脸抓拍图像。
可选的,还包括:
第四获取模块,用于根据所述身份信息获取所述目标对象的关联信息,所述关联信息包括以下至少之一:出行信息、住宿信息、消费信息;
关联轨迹信息确定模块,用于根据所述身份识别信息和所述关联信息确定所述目标对象的关联轨迹信息;
时间信息获取模块,用于分别获取所述车辆轨迹信息、所述关联轨迹信息、所述初始轨迹信息的时间信息;
第二最终轨迹信息生成模块,用于根据时间序列将所述车辆轨迹信息、所述关联轨迹信息、所述初始轨迹信息拟合生成第二最终轨迹信息。
可选的,还包括:
感知数据获取模块,用于获取物联网感知数据,所述物联网感知数据包括物联网中感知设备所获取的感知数据;
物联网轨迹确定模块,用于根据所述第二最终轨迹信息和所述物联网感知数据确定所述目标对象的物联网轨迹信息;
综合轨迹确定模块,用于根据所述第二最终轨迹信息和所述物联网轨迹信息确定所述目标对象的综合轨迹。
本发明还提供了一种设备,所述设备包括:
一个或多个处理器;和其上存储有指令的一个或多个机器可读介质,当所述一个或多个处理器执行时,使得所述设备执行如上述实施例如上述实施例中一个或多个所述的基于多源数据的轨迹确定方法。
本发明还提供了一种介质,应用于计算机可读介质,其上存储有指令,当由一个或多个处理器执行时,使得设备执行如上述实施例中一个或多个所述的基于多源数据的轨迹确定方法。
如上所述,本发明提供的一种基于多源数据的轨迹确定方法、装置、设备及介质,具有以下有益效果:
通过获取目标车辆的车辆图像信息和车辆轨迹信息,根据车辆图像信息获取目标对象的面部特征信息,并对目标对象进行身份识别生成目标对象的身份识别信息,根据身份识别信息,获取目标对象的初始轨迹信息,根据车辆轨迹信息和初始轨迹信息确定目标对象的第一最终轨迹信息,实现了在确定目标对象的身份信息的基础上,进一步基于车辆轨迹信息和初始轨迹信息确定第一最终轨迹信息,满足实际的业务需求,提升用户体验度。
附图说明
图1为本发明实施例一提供的轨迹确定方法的流程示意图。
图2为本发明实施例二提供的具体的轨迹确定方法的流程示意图。
图3为本发明实施例三提供的轨迹确定装置的结构示意图。
图4为一实施例提供的终端设备的硬件结构示意图。
图5为另一实施例提供的终端设备的硬件结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
实施例一
请参阅图1,本发明提供一种基于多源数据的轨迹确定方法,包括:
S101:获取目标车辆的车辆图像信息和车辆轨迹信息。
在一些实施例中,车辆图像信息可以通过获取交通道路卡口的监控设备或者抓拍设备拍摄得到,基于该车辆图像信息可以获取车辆轨迹信息。
在一些实施例中,车辆图像信息和车辆轨迹信息也可以根据相关技术的方式得到,在此不做限定。
在一些实施例中,车辆轨迹信息包括车辆所在位置和车辆图像信息的获取时间,由于目标对象是位于该目标车辆中的,此时,车辆轨迹信息也即该目标对象在车辆图像被抓拍那一时刻的轨迹信息。
S102:根据车辆图像信息获取目标对象的面部特征信息,并对目标对象进行身份识别生成目标对象的身份识别信息。
需要说明的是,目标对象位于目标车辆内,也即目标对象包括目标车辆内部的乘客、驾驶人员中至少之一。
在一些实施例中,获取目标对象的面部特征信息包括:
根据车辆图像信息确定目标对象的人脸图像;
根据人脸图像确定目标对象的面部特征信息。
在一些实施例中,获取目标对象的面部特征信息包括:
获取目标对象的人脸图像,所述人脸图像包括人脸抓拍图像;
根据人脸抓拍图像确定目标对象的面部特征信息。
需要说明的是,人脸抓拍图像可以是交通道路卡口直接对车辆中的目标对象的人脸进行抓拍形成的人员抓拍图像。
在一些实施例中,目标对象包括但不限于车辆中的乘客或驾驶人员等。目标对象可以是车辆中座位位于任意位置的一个或多个乘客。例如,目标对象可以是车辆的驾驶人员和/或坐在副驾驶的乘客。
在一些实施例中,由于采集车辆图像信息时,车辆的身份信息(如型号、品牌、车牌等) 较为容易获取,而车辆中的人员的面部图像有时因种种原因会存在模糊不清楚的状况,因此,若目标对象包括车辆中的当前乘坐人员(驾驶人员和乘客),在获取车辆图像信息之前,还包括将图像采集的焦点设置在目标对象所在的位置。这样可以尽可能的从车辆图像信息中获取到合乎人脸识别标准的目标对象的人脸图像。
在一些实施例中,获取目标对象的面部特征信息还包括:
根据车辆图像信息获取目标对象的原始图像;
将原始图像与第三预设数据库的人脸抓拍图像进行聚类,获取聚类结果;
从聚类结果中确定最优图像;
根据最优图像获取目标对象的面部特征信息。
在一些实施例中,若目标对象为行驶车辆中的某一乘客或驾驶人员,则第三预设数据库包括但不限于在其他关联卡口所拍摄的人脸抓拍图像。
在一些实施例中,从聚类结果中确定最优图像可以通过设置人脸识别的图像标准,聚类结果中包括多个与原始图像的第一相似度大于第一相似度阈值的疑似图像,因此可以从这些疑似图像中选取符合人脸识别的图像标准要求的至少一张图像中的一张作为最佳图像。
在一些实施例中,也可以通过对聚类结果中的各疑似图像先进行数据清洗,去除不满足人脸识别要求的疑似图像后,再在剩余的疑似图像中确定最优图像。
例如,目标对象为行驶车辆内乘坐在副驾驶位置的人员,原始图像为从目标车辆通过某一卡口时所拍摄的车辆图像信息中确定的目标对象的人脸图像,根据目标车辆的行驶方向等信息可以确定目标车辆可能经过的卡口的信息,将目标车辆可能经过的卡口所拍摄的人脸抓拍照片作为第三预设数据库的图像,将原始图像与若干张目标车辆可能经过的卡口所拍摄的人脸抓拍图像信息进行聚类处理,根据聚类结果获取一张人脸识别较好的照片,根据该人脸识别较好的照片获取目标对象的面部特征信息。可选的,原始图像与第三预设数据库的图像进行聚类时,也即,将原始图像与若干张目标车辆可能经过的卡口所拍摄的人脸抓拍照片进行聚类处理时,可以先根据原始图像和其他抓拍卡口的数据进行聚类归档,利用归档的结果关联人体抓拍数据,基于人体识别和聚类技术可以再一步丰富轨迹刻画的手段和数据种类。
在一些实施例中,面部特征信息可以通过人脸监测算法,提取包括目标对象的图像中目标对象的人脸图片,利用人脸特征提取算法进行特征提取来获得。
S103:根据身份识别信息,目标对象的初始轨迹信息。
在一些实施例中,身份识别信息包括唯一的且能够表明目标对象身份的信息,例如假设目标对象为中国公民,则身份识别信息可以是身份证号,假设目标对象是公司的某一员工,身份识别信息可以是工号等。身份识别信息与该目标对象的属性相关。身份识别信息还可以是手机号码等。
在一些实施例中,身份识别信息也可能是其他可能可以表明目标对象的身份的信息,包括但不限于:与目标对象同行人员的信息、与目标对象同时出现的事物、与目标对象同行的动物信息等。例如,该身份识别信息可以是与目标对象同行过次数较多的狗的信息、具有标志性的手表、皮包、装饰物等信息。
在一些实施例中,对目标对象进行身份识别,生成目标对象的身份识别信息包括:
根据面部特征信息与第一、二、三预设数据库中至少之一确定所述身份识别信息。
需要说明的是,第一预设数据库、第二预设数据库和第三预设数据库存储的数据不同。
在一些实施例中,根据面部特征信息与第一预设数据库确定身份识别信息包括:将面部特征信息与第一预设数据库中的底库信息进行比对,确定身份识别信息。
在一些实施例中,第一预设数据库包括但不限于以下至少之一:驾驶人员信息库、常驻人口信息库等。在一些实施例中,第一预设数据库包括与若干个对象的基本信息,第一预设数据库中可能包括目标对象的身份识别信息,也可能不会包括目标对象的身份识别信息,在此不做限定。
在一些实施例中,第一预设数据库包括人员底库数据,人员底库数据包括身份证信息、驾驶证信息中至少之一。
在一些实施例中,将面部特征信息与第一预设数据库的第一对象进行比对,确定身份识别信息包括:
获取面部特征信息与各第一对象的第二相似度;
获取第二相似度大于第二相似度阈值的第一对象的第一对象身份识别信息;
若各第一对象身份识别信息一致,身份识别信息包括第一对象身份识别信息。
在一些实施例中,若第一对象身份识别信息不一致,此时可以通过调整第二相似度阈值来重新确定第一对象,进而获取到各第一对象身份识别信息一致的第一对象,将该第一对象身份识别信息作为目标对象的身份识别信息。
例如,目标用户为行驶的车辆中的驾驶人员A,获取驾驶人员A的面部特征信息后,将该面部特征信息与各交通卡口的监控图像中所采集到的各驾乘人员M的面部特征信息进行比对,得到各驾乘人员M与驾驶人员A的第二相似度,假设设定当前第二相似度阈值为99%,获取到第二相似度大于99%的驾乘人员M共有5位,进一步采集这5位驾乘人员M的第一对象身份识别信息,若这5个第一对象身份识别信息均一致,则驾驶人员A的身份识别信息就是这5位驾乘人员M的第一对象身份识别信息,若这5个第一对象身份识别信息存在不一致,则设定当前第二相似度阈值为99.8%,获取到第二相似度大于99.8%的驾乘人员M共有 2位,进一步采集这2位驾乘人员M的第一对象身份识别信息,若这2个第一对象身份识别信息均一致,则驾驶人员A的身份识别信息就是这2位驾乘人员M的第一对象身份识别信息。若这2位驾乘人员M第一对象身份识别信息不一致,继续提高第二相似度阈值的大小,取第二相似度最高的驾乘人员M第一对象身份识别信息作为驾驶人员A的身份识别信息。
在一些实施例中,根据面部特征信息与第二预设数据库确定身份识别信息包括:将面部特征信息与第二预设数据库的第二对象进行聚类,确定身份识别信息。
在一些实施例中,第二预设数据库包括轨迹确定底库数据,轨迹确定底库数据包括历史车辆抓拍数据。可选的,该车辆抓拍数据包括抓拍时间、抓拍地点、车辆内乘客或驾驶人员图像、车辆内乘客或驾驶人员面部特征信息中至少一中数据。
在一些实施例中,第二预设数据库中还存储有之前通过轨迹确定方法所确定的目标对象的历史轨迹数据,以便后续需要再次确定该目标对象的轨迹时,可以直接拉取该历史轨迹,减少计算量,提升效率。
需要说明的是,第一预设数据库、第二预设数据库中至少有一个数据库包括目标对象的身份识别信息。
在一些实施例中,第二对象包括一个车辆抓拍数据。
在一些实施例中,根据面部特征信息与第三预设数据库确定身份识别信息包括:将面部特征信息与第三预设数据库的第三对象进行聚类,确定身份识别信息。
在一些实施例中,第三预设数据库包括人脸抓拍数据,人脸抓拍数据包括人脸抓拍图像。
需要说明的是,第三对象包括一个人脸抓拍数据。
在一些实施例中,人脸抓拍数据包括交通执法记录仪采集的包括人脸信息、时间、地点的执法信息。
在一些实施例中,根据该身份识别信息获取目标对象的初始轨迹信息包括:根据该身份识别信息从上述、第二预设数据库、第三预设数据库中至少一个确定该目标对象的初始轨迹信息。例如,根据该身份识别信息从由目标车辆可能经过的卡口所拍摄的人脸抓拍照片构成的第三预设数据库中确定该目标对象的初始轨迹信息。
需要说明的是,第二、三数据库的数据还可以是基于道路监控视频所提取的数据。
在一些实施例中,根据身份识别信息获取目标对象的初始轨迹信息包括:
根据身份识别信息和第二预设数据库确定目标对象的第一轨迹信息;
根据身份识别信息和第三预设数据库确定目标对象的第二轨迹信息;
根据第一轨迹信息、第二轨迹信息中至少之一确定初始轨迹信息。
其中,第一轨迹信息包括基于历史车辆抓拍数据形成了该目标对象所驾驶或乘坐过的车辆的轨迹所形成的该目标对象的轨迹信息,例如历史车辆抓拍数据包括若干个该目标对象驾驶车辆的轨迹点,此时该车辆的轨迹点即为该目标对象的轨迹点,将各轨迹点结合生成第一轨迹信息。其中,第二轨迹信息包括基于道路交通卡口人脸抓拍图像所形成的该目标对象本身的轨迹信息,例如,人脸抓拍图像中各个该目标对象的历史人脸图像均可以形成轨迹点,将各轨迹点结合生成第二轨迹信息。可见,基于车辆抓拍数据生成该目标对象所乘坐或驾驶的车辆轨迹数据,进而可以生成该目标对象的第一轨迹信息,基于交通卡口的人脸抓拍数据可以生成该目标对象实际运动轨迹的第二轨迹信息。
在一些实施例中,人脸抓拍数据与车辆抓拍数据可能是同一位置同时抓拍形成的,故第一、二轨迹信息可能存在重合的轨迹点,此时,在生成初始轨迹信息时,对于重合的轨迹点只保留其中一个即可。
在一些实施例中,目标对象的初始轨迹信息可以是2020年9月14日13时20分10秒,XX路口与XX路口交叉处,2020年9月14日13时39分23秒,XX路XX方向XX公里处。该初始轨迹信息基于道路交通车辆抓拍设备所上报的车辆抓拍数据、人脸抓拍设备所述上报的人脸抓拍数据的历史数据生成,表征目标对象基于道路监控、抓拍的相关数据所确定的轨迹信息。
在一些实施例中,根据第一轨迹信息和第二轨迹信息确定初始轨迹信息包括:分别获取第一轨迹信息和第二轨迹信息中各轨迹点的时间信息和地点信息;
根据时间信息将第一信息和第二轨迹信息拟合生成初始轨迹信息,或,根据地点信息将第一信息和第二轨迹信息拟合生成初始轨迹信息。
S104:根据车辆轨迹信息和初始轨迹信息确定目标对象的第一最终轨迹信息。
在一些实施例中,根据车辆轨迹信息和初始轨迹信息确定目标对象的第一最终轨迹信息,包括:
分别获取车辆轨迹信息、初始轨迹信息的时间信息;
根据时间序列将车辆轨迹信息和初始轨迹信息拟合生成第一最终轨迹信息。在一些实施例中,基于多源数据的轨迹确定方法还包括:
根据身份信息获取目标对象的关联信息,关联信息包括以下至少之一:出行信息、住宿信息、消费信息;
根据身份识别信息和关联信息确定目标对象的关联轨迹信息;
分别获取车辆轨迹信息、关联轨迹信息、初始轨迹信息的时间信息;
根据时间序列将车辆轨迹信息、关联轨迹信息、初始轨迹信息拟合生成第二最终轨迹信息。
在一些实施例中,关键轨迹信息表征该目标对象在工作、生活中的消费事件、住宿事件所产生的轨迹信息。这些关联信息确定的轨迹点不一定是在某一道路上,也可以是某车站、某商场等,使得目标对象的轨迹更加丰富。
在一些实施例中,关联信息包括除由交通卡口的抓拍设备所上报的车辆抓拍数据和人脸抓拍数据外,其余设备所采集到的可以表征目标对象的轨迹的信息,关联信息包括但不限于出行信息、住宿信息、消费信息等。
应当知晓的是,当身份识别信息为目标对象所特有的唯一的信息,如身份证号、手机号等时,后续根据该身份识别信息所确定的关联信息较为准确。当身份识别信息为目标对象相关联的信息时,根据其关联度的不同,第二最终轨迹信息的可信度也存在一定程度的变化。例如,当身份识别信息为目标对象同行的狗的信息时,当目标对象与狗总是同时出现时,则基于该身份识别信息所确定的第二最终轨迹信息可信度较高,当目标对象不经常与狗同时出现时,换句话说,遛狗的人员经常变化时,基于该身份识别信息所确定的第二最终轨迹信息的可信度相对较低。
在一些实施例中,确定身份识别信息,根据该身份识别信息在第三预设数据库和第一、二、三预设数据库不同的至少一个第四数据库中确定包括该目标对象的信息作为关联信息。需要说明的是,第四数据库包括至少一项能够表明目标对象的位置的信息。例如,第四数据库为住宿信息库,包括目标对象的一次入住信息,根据该入住信息可以得到目标对象在某一时间段的活动范围。又例如第四数据库为消费信息库,根据目标对象在某一时刻的消费信息也可以确定该目标对象在某一时间段的活动范围。
需要说明的是,出行信息、住宿信息、消费信息包括事件发生时间和事件发生地点。
例如,当目标对象为行驶车辆M的驾乘人员X时,通常获取到的目标对象X的原始图像是由道路上卡口的监控设备所拍摄的,为获取到更多关于该目标对象的信息,可以根据该目标对象的身份识别信息在第四数据库中查找关联信息,其中第四数据库包括住宿信息、消费信息、出行信息等信息中至少之一。假设原始图像的拍摄地点是A城市,拍摄时间是8月 1日,在第四数据库中根据身份识别信息又可以查找到在7月15日12时8分9秒在B城市XX商场有过消费记录,在7月20日在C城市有过打车记录,行驶方向为16点9分9秒从 XX小区到XX医院,到达时间为18点7分30秒,则将上述的消费记录和乘车记录作为该目标对象的关联信息,对应的关联轨迹信息为7月15日12时8分9秒B城市XX商场;16点 9分9秒XX小区;18点7分30秒XX医院。
在一些实施例中,根据车辆轨迹信息、关联信息和初始轨迹信息确定目标对象的第二最终轨迹信息包括:
分别获取车辆轨迹信息、关联轨迹信息、初始轨迹信息的地点信息;
根据地点序列将车辆轨迹信息、关联轨迹信息、初始轨迹信息拟合生成第二最终轨迹信息。
在一些实施例中,由于关联信息至少包括事件发生时间和时间发生地点等信息,基于该关联信息可以确定目标对象在某一时刻某一地点出现的事件链条可以生成关联轨迹信息,基于关联轨迹信息、车辆轨迹信息和初始轨迹信息形成该目标对象的第二最终轨迹信息。
由于轨迹信息包括若干个轨迹点,各轨迹点均包括时间信息和地点信息,通过分别获取车辆轨迹信息、关联轨迹信息、初始轨迹信息的时间信息,根据时间序列将车辆轨迹信息、关联轨迹信息、初始轨迹信息拟合生成第二最终轨迹信息,可以实现对多数据源所得到的轨迹信息进行有效的整合。
例如,某目标对象通过轨迹确定得到其车辆轨迹信息为A地点,2020年9月1日15时,初始轨迹信息包括B地点,2020年9月2日15时,C地点,2020年9月2日18时,关联轨迹信息包括D地点,2020年9月4日10时,此时第二最终轨迹信息包括A地点,2020年9 月1日15时,B地点,2020年9月2日15时,C地点,2020年9月2日18时,D地点, 2020年9月4日10时。通过根据身份识别信息基于多源数据来获取关联信息,进而根据关联信息、车辆轨迹信息和初始轨迹信息确定目标对象的第二最终轨迹信息,可以更加准确的获取目标对象的第二最终轨迹信息。
在一些实施例中,基于多源数据的轨迹确定方法还包括:
获取物联网感知数据;
根据第二最终轨迹信息和物联网感知数据确定目标对象的物联网轨迹信息;
根据第二最终轨迹信息和物联网轨迹信息确定目标对象的综合轨迹。
在一些实施例中,物联网感知数据包括物联网中感知设备所获取的感知数据,可选的,物联网感知数据包括在物联网系统中,各种感知设备(包括各类传感器设备以及多媒体监控设备)所动态采集的采样数据。
在一些实施例中,物联网感知数据包括业务中建设的物联网设备所采集的数据。
在一些实施例中,根据第二最终轨迹信息利用大数据挖掘技术,将多种数据进行碰撞和拟合分析进而可以确定目标对象的物联网轨迹信息。
在一些实施例中,将第二最终轨迹信息和多维的物联网轨迹信息进行拟合,可以得到综合轨迹。
在一些实施例中,将多个目标对象的综合轨迹进行统一汇总和存储,形成目标对象的轨迹库,通过该轨迹库可以实现后续将目标对象多维度的身份识别信息作为查询条件,快速准确的获取目标对象的轨迹信息。其中多维度的身份识别信息包括从不同角度,不同分类赋予目标对象唯一的识别信息。例如目标对象为一个拥有一辆车的中国公民,多维度的身份度的身份识别信息包括但不限于该中国公民的身份证号码、车辆的车牌号码、人脸图像等。
在一些实施例中,根据第二最终轨迹信息和物联网感知数据确定目标对象的物联网轨迹信息的方法包括以下至少一种:
将第二最终轨迹信息和物联网感知数据通过时空碰撞方法确定物联网轨迹信息;
将第二最终轨迹信息和物联网感知数据通过频次分析方法确定物联网轨迹信息;
将第二最终轨迹信息和物联网感知数据通过聚类分析方法确定物联网轨迹信息。
在一些实施例中,将第二最终轨迹信息和物联网感知数据通过时空碰撞方法确定物联网轨迹信息包括:获取第二最终轨迹信息中的时间信息和地点信息,在物联网感知数据中找出与时间信息一致物联网感知数据构建时间列表,在物联网感知数据中找出与时间信息一致物联网感知数据构建地点列表,基于该时间列表和地点列表构建时空碰撞比较分析模型,获取该时空碰撞比较分析模型针对该第二最终轨迹信息输出的分析结果,将该分析结果作为物联网轨迹信息。
在一些实施例中,将第二最终轨迹信息和物联网感知数据通过时空碰撞方法确定物联网轨迹信息包括:获取第二最终轨迹信息中的时间信息和地点信息,根据物联网感知数据构建时间列表和地点列表,将第二最终轨迹信息中的时间信息和地点信息获与时间列表和地点列表进行时空碰撞,生成物联网轨迹信息。
在一些实施例中,将第二最终轨迹信息和物联网感知数据通过频次分析方法确定物联网轨迹信息包括:获取第二最终轨迹信息中各轨迹点所对应的监测数据,监测数据包括基于各轨迹点在预设时空范围所获取的事件,获取各事件的发生频次,根据频次在物联网感知数据中确定物联网轨迹信息。
在一些实施例中,将第二最终轨迹信息和物联网感知数据通过聚类分析方法确定物联网轨迹信息包括:获取第二最终轨迹信息中各轨迹点所对应的监测数据,监测数据包括基于各轨迹点在预设时空范围所获取的事件,对事件进行聚类处理获取监测数据的特征向量,根据特征向量在物联网感知数据中确定物联网轨迹信息。
需要说明的是,预设时空范围包括预设时间范围和预设地点范围,预设时间范围包括轨迹点所在时间前后预设时间长度的时间范围,预设地点范围包括轨迹点所在地点周围预设距离的地点范围。
需要说明的是,轨迹点包括拍摄到人脸图像的时间和地点。该地点可以是经纬度标识,也可以是实际地理位置如某国某市某条路等,在此不做限定。
下面通过一个示例性示例说明将第二最终轨迹信息和物联网感知数据通过聚类分析方法确定物联网轨迹信息的具体过程:获取目标对象的第二最终轨迹信息中包括的各个轨迹点,获取轨迹点时间前后各10分钟,以轨迹点位置为圆心,方圆1公里的监测数据,该监测数据包括但不限于手机MAC地址、车辆RFID扫描信息、声音信息等时间,对各个轨迹点所对应的时间进行聚类后得到至少大部分轨迹点的事件均包括某一特定手机MAC地址,此时,获取该手机MAC地址事件的特征向量,根据该特征向量在物联网感知数据中确定也同样包括该手机MAC地址事件的数据构成物联网轨迹信息。下面通过一个示例性示例说明将第二最终轨迹信息和物联网感知数据通过频次分析方法确定物联网轨迹信息的具体过程:获取目标对象的第二最终轨迹信息中包括的各个轨迹点,获取轨迹点时间前后各10分钟,以轨迹点位置为圆心,方圆1公里的监测数据,该监测数据包括但不限于手机MAC地址、车辆RFID扫描信息、声音信息等时间,对各个轨迹点所对应的时间进行频次分析后得到每间隔一定时间都会监测到一次车辆RFID扫描信息,此时,获取该车辆RFID扫描信息及其频次,根据该频次在物联网感知数据中确定也同样具有类似频次车辆RFID扫描信息事件的数据构成物联网轨迹信息。
在一些实施例中,频次分析方法、聚类分析方法可以采用相关技术的方式实现,在此不做限定。
在一些实施例中,该轨迹确定方法还包括:将综合轨迹通过GIS(地理信息系统,Geographic Information System)地图进行展示。
本发明实施例提供了一种基于多源数据的轨迹确定方法,通过获取目标车辆的车辆图像信息和车辆轨迹信息,根据车辆图像信息获取目标对象的面部特征信息,并对目标对象进行身份识别生成目标对象的身份识别信息,根据身份识别信息,获取目标对象的初始轨迹信息,根据车辆轨迹信息和初始轨迹信息确定目标对象的第一最终轨迹信息,实现了在确定目标对象的身份信息的基础上,进一步基于车辆轨迹信息和初始轨迹信息确定第一最终轨迹信息,满足实际的业务需求,提升用户体验度。
可选的,当目标对象包括驾驶人员时,可以基于车辆卡口采集数据对驾驶人员进行轨迹分析,确定第一最终轨迹信息,辅助快速做出研判,提高工作效率,满足实际的业务需求。
可选的,本发明实施例中的轨迹确定方法还包括根据第二最终轨迹信息和物联网感知数据确定物联网轨迹信息,进而得到综合轨迹,这样基于多种来源的数据形成综合轨迹,当物联网感知数据为实时采集数据时,可以实现对目标对象轨迹的实时分析,实现对目标对象的轨迹信息接近实时刻画。
可选的,还可以将综合轨迹利用GIS地图统一进行轨迹信息展示,可以基于时空维度进行动态直观的轨迹绘制,从而达到一张图全面展现目标对象的轨迹信息。
实施例二
为了更清楚的说明上述实施例一所提供的轨迹确定方法,以下以目标对象为行驶中车辆的驾驶人员,目标对象的面部特征信息是根据道路卡口的人脸抓拍设备所抓拍到的原始图像获取的应用场景为例,具体的示例性说明上述轨迹确定方法,参见图2,驾驶人员轨迹确定方法包括:
S201:获取人脸图像和车辆轨迹信息;
在一些实施例中,通过高清的车辆卡口采集设备获取车辆图像信息,基于该车辆图像信息通过人脸监测技术获取抓拍图像中驾驶人员位置的人脸图像。
在一些实施例中,通过车辆卡口数据获取的人脸抓拍照片作为人脸图像。
在一些实施例中,上述人脸图像也即原始图像。
在一些实施例中,获取人脸图像的同时还获取车辆轨迹信息,该车辆轨迹信息包括人脸图像采集时车辆所在地点和采集时间。
S202:获取面部特征信息;
在一些实施例中,利用人脸特征提取算法进行特征提取,获取驾驶人员的人脸图像对应的特征值,进而得到驾驶人员的面部特征信息。
在一些实施例中,由于人脸识别结果存在一定的不确定性,为增加面部特征信息提取的准确度,可以利用多个卡口所抓拍的同一辆车的历史数据,进行驾驶人员的人脸图像的获取,并对原始图像的信息与多个卡口抓拍的历史人脸图像的信息进行聚类,根据聚类结果获取一张识别效果较好的人脸图像作为最优图像,对最优图像进行人脸识别以获取面部特征信息。
S203:人员库比对;
在一些实施例中,将提取的驾驶人员的面部特征信息与第一预设数据库的第一对象进行特征比对,得到比对结果。其中,在一些实施例中,比对结果包括比中人员;第一预设数据库包括人员底库。
在一些实施例中,将面部特征信息与人员底库的第一对象进行比对,得到比对结果具体的可以为:获取面部特征信息与各第一对象的第二相似度,获取第二相似度大于第二相似度阈值的第一对象的第一对象身份识别信息,若各第一对象身份识别信息一致,身份识别信息即为第一对象身份识别信息。有时由于第二相似度阈值的设定原因,可能可以获取到多个第二相似度大于第二相似度阈值的第一对象,这些第一对象分别所对应的第一对象身份识别信息并不一致,此时,可以通过提高第二相似度阈值来获得这些被比中的第一对象,最终调整得到各比中的第一对象分别所对应的第一对象身份识别信息一致的状态。
S204:底库聚类归档;
在一些实施例中,将步骤S202中提取的面部特征信息加入到第二预设数据库的聚类模块中,其中第二预设数据库包括但不限于轨迹确定底库等,从而可以实现将驾驶人员和现有的轨迹确定底库中的人员进行归类,得到聚类结果。
S205:抓拍库聚类归档;
在一些实施例中,将步骤S202中提取的面部特征信息加入到第三预设数据库的聚类模块中,进行聚类处理。其中,第三预设数据库包括车辆抓拍图像库和人脸图像抓怕库中至少之一。
在一些实施例中,通过对原始图像的信息与多个卡口抓拍的人脸抓拍照片、该人员所乘坐的车辆抓拍照片的信息进行聚类,得到初始轨迹信息。
在一些实施例中,利用初始轨迹信息关联人体抓拍数据,基于人体识别和聚类技术可以再一步丰富轨迹刻画的手段和数据种类。
S206:获取身份识别信息,并生成第一最终轨迹信息;
在一些实施例中,根据步骤S203和/或步骤S204获取的比对结果和/或聚类结果,再结合业务系统数据获取驾驶人员的身份识别信息。
在一些实施例中,身份识别信息包括以下至少之一:身份证号码、电话号码、关联特征等。
S207:获取关联信息,并生成第二最终轨迹信息;
在一些实施例中,可以根据步骤S206获取的身份识别信息,根据该身份识别信息在除人脸抓拍数据之外的其他轨迹信息中确定与驾驶人员相关的信息作为关联信息,根据该关联信息、初步轨迹信息及车辆轨迹信息确定驾驶人员的第二最终轨迹信息。关联信息包括但不限于出行信息、住宿信息或者消费信息等信息。这样通过多维度的信息(出行信息、消费信息、住宿信息等)而不是仅依靠交通的道路人脸抓拍信息确定驾驶人员的轨迹,可以进一步的丰富驾驶人员的轨迹信息。
S208:物联网数据碰撞拟合,生成物联网轨迹信息;
基于步骤S207形成的第二最终轨迹信息,通过时空碰撞、频次分析及聚类分析等大数据挖掘技术,将多维的轨迹信息进行拟合生成物联网轨迹信息。
通过利用AI+大数据技术实现数据高效整合,将现有的车辆抓拍数据、人脸抓拍数据、物联网采集数据进行挖掘分析,实现数据高效整合。同时轨迹信息更丰富、更精准、更实时,基于多种来源数据形成综合轨迹,可以实现源数据实时采集,实时分析,轨迹信息可以接近实时刻画。
S209,根据第二最终轨迹信息和物联网轨迹信息形成综合轨迹;
基于前述所有步骤,将分散的驾驶人员轨迹信息进行统一汇总和存储,将第二最终轨迹信息和物联网轨迹信息形成驾驶人员综合轨迹;后续可以基于车牌、驾驶人照片、驾驶人员证件号等查询条件,通过该综合轨迹快速准确获取驾驶人员的轨迹信息;
步骤S210,将综合轨迹通过GIS地图进行展示;
根据实际业务需要,将驾驶人员的综合轨迹通过GIS地图进行统一展示。
这样,可以将驾驶人员的轨迹信息直观、清洗、完整的展示出来。利用GIS地图对综合轨迹统一进行展示,可以基于时空维度进行动态直观的轨迹绘制,从而达到一张图全面展现驾驶人员的轨迹信息。
本发明实施例通过获取人脸图像和车辆轨迹信息,根据该人脸图像获取面部特征信息,将车辆识别技术和人脸识别技术进行融合,根据面部特征信息结合人员基础库信息,快速明确驾驶人身份信息,得到驾驶人员身份识别信息,根据身份识别信息确定关联信息,同时,利用人脸聚类技术将车辆卡口中驾驶人员的面部识别信息和城市其他人脸抓拍卡口的数据进行融合,可以基于关联信息、初步轨迹信息和车辆轨迹信息丰富驾驶人员第二最终轨迹信息,提高第二最终轨迹信息的精准度;将物联网感知数据和人脸识别数据以及人脸聚类结果数据通过大数据挖掘分析技术进行融合匹配,形成驾驶人员综合轨迹,可以方便后续从多个维度进行数据调用。
可选的,获取驾驶人员人脸图像,通过人脸识别技术和人员底库进行比对(驾驶人员库或者常住人口库)获取人员基本信息(身份识别信息),然后再结合物联网采集数据或者业务数据进行关联分析,对单一的车辆卡口轨迹信息进行了很好的补充,从而形成较为完整和准确的轨迹信息,最后基于GIS展现技术在一张图上完整刻画驾驶人员轨迹。
可选的,本发明通过利用AI+大数据技术实现数据高效整合,将现有的车辆抓拍数据、人脸抓拍数据、物联网采集数据进行挖掘分析,实现数据高效整合;轨迹信息更丰富、更精准、更实时,基于多种来源数据形成综合轨迹信息,源数据实时采集,实时分析,轨迹信息可以接近实时刻画;轨迹信息直观、清晰、完整,利用GIS地图统一进行综合轨迹信息展示,可以基于时空维度进行动态直观的轨迹绘制,从而达到一张图全面展现人员轨迹信息。
实施例三
参见图3,本实施例提供了一种基于多源数据的轨迹确定装置300,包括:
第一获取模块301,用于获取目标车辆的车辆图像信息和车辆轨迹信息;
第二获取模块302,用于根据车辆图像信息获取目标对象的面部特征信息,并对目标对象进行身份识别生成目标对象的身份识别信息,目标对象位于目标车辆内;
第三获取模块303,用于根据身份识别信息,获取目标对象的初始轨迹信息;
第一最终轨迹确定模块304,用于根据车辆轨迹信息和初始轨迹信息确定目标对象的第一最终轨迹信息。
在一些实施例中,第二获取模还用于根据面部特征信息与第一、二、三预设数据库中至少之一确定身份识别信息,其中,第一预设数据库、第二预设数据库和第三预设数据库存储的数据不同;
根据面部特征信息与第一预设数据库确定身份识别信息包括:将面部特征信息与第一预设数据库中的底库信息进行比对,确定身份识别信息,第一预设数据库包括人员底库数据,人员底库数据包括身份证信息、驾驶证信息中至少之一;
根据面部特征信息与第二预设数据库确定身份识别信息包括:将面部特征信息与第二预设数据库的第二对象进行聚类,确定身份识别信息,第二预设数据库包括轨迹确定底库数据,轨迹确定底库数据包括历史车辆抓拍数据;
根据面部特征信息与第三预设数据库确定身份识别信息包括:将面部特征信息与第三预设数据库的第三对象进行聚类,确定身份识别信息,第三预设数据库包括人脸抓拍数据,人脸抓拍数据包括人脸抓拍图像。
在一些实施例中,基于多源数据的轨迹确定装置还包括:
第四获取模块,用于根据身份信息获取目标对象的关联信息,关联信息包括以下至少之一:出行信息、住宿信息、消费信息;
关联轨迹信息确定模块,用于根据身份识别信息和关联信息确定目标对象的关联轨迹信息;
时间信息获取模块,用于分别获取车辆轨迹信息、关联轨迹信息、初始轨迹信息的时间信息;
第二最终轨迹信息生成模块,用于根据时间序列将车辆轨迹信息、关联轨迹信息、初始轨迹信息拟合生成第二最终轨迹信息。
在一些实施例中,基于多源数据的轨迹确定装置还包括:
感知数据获取模块,用于获取物联网感知数据,物联网感知数据包括物联网中感知设备所获取的感知数据;
物联网轨迹确定模块,用于根据最终轨迹信息和物联网感知数据确定目标对象的物联网轨迹信息;
综合轨迹确定模块,用于根据第二最终轨迹信息和物联网轨迹信息确定目标对象的综合轨迹。
在本实施例中,该轨迹确定装置执行上述方法,具体功能和技术效果参照上述实施例即可,此处不再赘述。
本申请实施例还提供了一种设备,该设备可以包括:一个或多个处理器;和其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述设备执行上述任一实施例所述的方法。
在实际应用中,该设备可以作为终端设备,也可以作为服务器,终端设备的例子可以包括:智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3,Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4,Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等,本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本申请上述任一实施例中方法所包含步骤的指令(instructions)。
本申请实施例还提供了一种介质,应用于计算机可读介质,其上存储有指令,当由一个或多个处理器执行时,使得设备执行如上述实施例中一个或多个所述的基于多源数据的轨迹确定方法。
图4为本申请一实施例提供的终端设备的硬件结构示意图。如图所示,该终端设备可以包括:输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM 存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,第一存储器1103中可以存储各种程序,用于完成各种处理功能以及实现本实施例的方法步骤。
可选的,上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit,简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的,上述输入设备1100可以包括多种输入设备,例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的,该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等);可选的,该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等);可选的,上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口,例如芯片的输入引脚接口或者输入接口等;输出设备1102可以包括显示器、音响等输出设备。
在本实施例中,该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能,具体功能和技术效果参照上述实施例即可,此处不再赘述。
图5为本申请的另一个实施例提供的终端设备的硬件结构示意图。图5是对图4在实现过程中的一个具体的实施例。如图所示,本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码,实现上述实施例中图 1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令,例如消息,图片,视频等。第二存储器1202可能包含随机存取存储器(random access memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
可选地,第二处理器1201设置在处理组件1200中。该终端设备还可以包括:通信组件 1203,电源组件1204,多媒体组件1205,音频组件1206,输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定,本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令,以完成上述图1或图2所示方法的全部或部分步骤。此外,处理组件1200可以包括一个或多个模块,便于处理组件1200和其他组件之间的交互。例如,处理组件1200可以包括多媒体模块,以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统,一个或多个电源,及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中,显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板,显示屏可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件1206被配置为输出和/或输入语音信号。例如,音频组件1206包括一个麦克风 (MIC),当终端设备处于操作模式,如语音识别模式时,麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中,音频组件1206还包括一个扬声器,用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口,上述外围接口模块可以是点击轮,按钮等。这些按钮可包括但不限于:音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器,用于为终端设备提供各个方面的状态评估。例如,传感器组件1208可以检测到终端设备的打开/关闭状态,组件的相对定位,用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在,包括检测用户与终端设备间的距离。在一些实施例中,该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个实施例中,该终端设备中可以包括SIM卡插槽,该SIM卡插槽用于插入SIM卡,使得终端设备可以登录GPRS网络,通过互联网与服务器建立通信。
由上可知,在图5实施例中所涉及的通信组件1203、音频组件1206以及输入/输出接口 1207、传感器组件1208均可以作为图4实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (11)
1.一种基于多源数据的轨迹确定方法,其特征在于,包括:
获取目标车辆的车辆图像信息和车辆轨迹信息;
根据所述车辆图像信息获取目标对象的面部特征信息,并对所述目标对象进行身份识别,生成所述目标对象的身份识别信息,所述目标对象位于所述目标车辆内;
根据所述身份识别信息,获取所述目标对象的初始轨迹信息;
根据所述车辆轨迹信息和所述初始轨迹信息确定所述目标对象的第一最终轨迹信息;
根据所述身份信息获取所述目标对象的关联信息,所述关联信息包括以下至少之一;出行信息、住宿信息、消费信息;
根据所述身份识别信息和所述关联信息确定所述目标对象的关联轨迹信息;
分别获取所述车辆轨迹信息、所述关联轨迹信息、所述初始轨迹信息的时间信息;
根据时间序列将所述车辆轨迹信息、所述关联轨迹信息、所述初始轨迹信息拟合生成第二最终轨迹信息;
获取物联网感知数据,所述物联网感知数据包括物联网中感知设备所获取的感知数据;
根据所述第二最终轨迹信息和所述物联网感知数据确定所述目标对象的物联网轨迹信息;
根据所述第二最终轨迹信息和所述物联网轨迹信息确定所述目标对象的综合轨迹;
其中,所述根据所述第二最终轨迹信息和所述物联网轨迹信息确定所述目标对象的综合轨迹的方法包括以下至少一种,
获取所述第二最终轨迹信息中各轨迹点所对应的监测数据,所述监测数据包括基于各轨迹点在预设时空范围所获取的事件,获取各所述事件的发生频次,根据所述频次在所述物联网感知数据中确定第二物联网轨迹信息,所述预设时空范围包括预设时间范围和预设地点范围,所述预设时间范围包括所述轨迹点所在时间前后预设时间长度的时间范围,所述预设地点范围包括所述轨迹点所在地点周围预设距离的地点范围;
获取所述第二最终轨迹信息中各轨迹点所对应的监测数据,所述监测数据包括基于各轨迹点在预设时空范围所获取的事件,对所述事件进行聚类处理获取所述监测数据的特征向量,根据所述特征向量在所述物联网感知数据中确定所述物联网轨迹信息。
2.根据权利要求1所述的基于多源数据的轨迹确定方法,其特征在于,所述对所述目标对象进行身份识别,生成所述目标对象的身份识别信息包括:
根据所述面部特征信息与第一、二、三预设数据库中至少之一确定所述身份识别信息,其中,所述第一预设数据库、所述第二预设数据库和第三预设数据库存储的数据不同。
3.根据权利要求2所述的基于多源数据的轨迹确定方法,其特征在于,
所述根据所述面部特征信息与第一预设数据库确定所述身份识别信息包括:将所述面部特征信息与第一预设数据库中的底库信息进行比对,确定所述身份识别信息,所述第一预设数据库包括人员底库数据,所述人员底库数据包括身份证信息、驾驶证信息中至少之一;
所述根据所述面部特征信息与第二预设数据库确定所述身份识别信息包括:将所述面部特征信息与第二预设数据库的第二对象进行聚类,确定所述身份识别信息,所述第二预设数据库包括轨迹确定底库数据,所述轨迹确定底库数据包括历史车辆抓拍数据;
所述根据所述面部特征信息与第三预设数据库确定所述身份识别信息包括:将所述面部特征信息与第三预设数据库的第三对象进行聚类,确定所述身份识别信息,所述第三预设数据库包括人脸抓拍数据,所述人脸抓拍数据包括人脸抓拍图像。
4.根据权利要求3所述的基于多源数据的轨迹确定方法,其特征在于,所述根据所述身份识别信息获取所述目标对象的初始轨迹信息包括:
根据所述身份识别信息和所述第二预设数据库确定所述目标对象的第一轨迹信息;
根据所述身份识别信息和所述第三预设数据库确定所述目标对象的第二轨迹信息;
根据所述第一轨迹信息、所述第二轨迹信息中至少之一确定所述初始轨迹信息。
5.根据权利要求3所述的基于多源数据的轨迹确定方法,其特征在于,所述根据所述车辆轨迹信息和所述初始轨迹信息确定所述目标对象的第一最终轨迹信息,包括:
分别获取所述车辆轨迹信息、所述初始轨迹信息的时间信息;
根据时间序列将所述车辆轨迹信息和所述初始轨迹信息拟合生成所述第一最终轨迹信息。
6.根据权利要求1所述的基于多源数据的轨迹确定方法,其特征在于,所述根据所述第二最终轨迹信息和所述物联网轨迹信息确定所述目标对象的综合轨迹的方法还包括:
将所述第二最终轨迹信息和所述物联网感知数据通过时空碰撞方法确定所述物联网轨迹信息。
7.根据权利要求6所述的基于多源数据的轨迹确定方法,其特征在于,所述将所述第二最终轨迹信息和所述物联网感知数据通过时空碰撞方法确定所述物联网轨迹信息包括:获取第二最终轨迹信息中的时间信息和地点信息,根据所述物联网感知数据构建时间列表和地点列表,将所述第二最终轨迹信息中的时间信息和地点信息获与所述时间列表和地点列表进行时空碰撞,生成所述物联网轨迹信息。
8.一种基于多源数据的轨迹确定装置,其特征在于,包括:
第一获取模块,用于获取目标车辆的车辆图像信息和车辆轨迹信息;
第二获取模块,用于根据所述车辆图像信息获取目标对象的面部特征信息,并对所述目标对象进行身份识别生成所述目标对象的身份识别信息,所述目标对象位于所述目标车辆内;
第三获取模块,用于根据所述身份识别信息,获取所述目标对象的初始轨迹信息;
第一最终轨迹确定模块,用于根据所述车辆轨迹信息和所述初始轨迹信息确定所述目标对象的第一最终轨迹信息;
第四获取模块,用于根据所述身份信息获取所述目标对象的关联信息,所述关联信息包括以下至少之一;出行信息、住宿信息、消费信息;
关联轨迹信息确定模块,用于根据所述身份识别信息和所述关联信息确定所述目标对象的关联轨迹信息;
时间信息获取模块,用于分别获取所述车辆轨迹信息、所述关联轨迹信息、所述初始轨迹信息的时间信息;
第二最终轨迹信息生成模块,用于根据时间序列将所述车辆轨迹信息、所述关联轨迹信息、所述初始轨迹信息拟合生成第二最终轨迹信息;
感知数据获取模块,用于获取物联网感知数据,所述物联网感知数据包括物联网中感知设备所获取的感知数据;
物联网轨迹确定模块,用于根据所述第二最终轨迹信息和所述物联网感知数据确定所述目标对象的物联网轨迹信息;
综合轨迹确定模块,用于根据所述第二最终轨迹信息和所述物联网轨迹信息确定所述目标对象的综合轨迹;
其中,根据所述第二最终轨迹信息和所述物联网感知数据确定所述目标对象的物联网轨迹信息的方式包括以下至少之一,
获取所述第二最终轨迹信息中各轨迹点所对应的监测数据,所述监测数据包括基于各轨迹点在预设时空范围所获取的事件,获取各所述事件的发生频次,根据所述频次在所述物联网感知数据中确定第二物联网轨迹信息,所述预设时空范围包括预设时间范围和预设地点范围,所述预设时间范围包括所述轨迹点所在时间前后预设时间长度的时间范围,所述预设地点范围包括所述轨迹点所在地点周围预设距离的地点范围;
获取所述第二最终轨迹信息中各轨迹点所对应的监测数据,所述监测数据包括基于各轨迹点在预设时空范围所获取的事件,对所述事件进行聚类处理获取所述监测数据的特征向量,根据所述特征向量在所述物联网感知数据中确定所述物联网轨迹信息。
9.根据权利要求8所述的基于多源数据的轨迹确定装置,其特征在于,
所述第二获取模还用于根据所述面部特征信息与第一、二、三预设数据库中至少之一确定所述身份识别信息,其中,所述第一预设数据库、所述第二预设数据库和所述第三预设数据库存储的数据不同;
所述根据所述面部特征信息与第一预设数据库确定所述身份识别信息包括:将所述面部特征信息与第一预设数据库中的底库信息进行比对,确定所述身份识别信息,所述第一预设数据库包括人员底库数据,所述人员底库数据包括身份证信息、驾驶证信息中至少之一;
所述根据所述面部特征信息与第二预设数据库确定所述身份识别信息包括:将所述面部特征信息与第二预设数据库的第二对象进行聚类,确定所述身份识别信息,所述第二预设数据库包括轨迹确定底库数据,所述轨迹确定底库数据包括历史车辆抓拍数据;
所述根据所述面部特征信息与第三预设数据库确定所述身份识别信息包括:将所述面部特征信息与第三预设数据库的第三对象进行聚类,确定所述身份识别信息,所述第三预设数据库包括人脸抓拍数据,所述人脸抓拍数据包括人脸抓拍图像。
10.一种设备,其特征在于,所述设备包括:
一个或多个处理器;和其上存储有指令的一个或多个机器可读介质,当所述一个或多个处理器执行时,使得所述设备执行如权利要求1-7中一个或多个所述的基于多源数据的轨迹确定方法。
11.一种介质,应用于机器可读介质,其特征在于,
所述机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得设备执行如权利要求1-7中一个或多个所述的基于多源数据的轨迹确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010967963.4A CN112100305B (zh) | 2020-09-15 | 2020-09-15 | 一种基于多源数据的轨迹确定方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010967963.4A CN112100305B (zh) | 2020-09-15 | 2020-09-15 | 一种基于多源数据的轨迹确定方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112100305A CN112100305A (zh) | 2020-12-18 |
CN112100305B true CN112100305B (zh) | 2021-07-30 |
Family
ID=73760013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010967963.4A Active CN112100305B (zh) | 2020-09-15 | 2020-09-15 | 一种基于多源数据的轨迹确定方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112100305B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112632304B (zh) * | 2020-12-31 | 2024-05-03 | 广州文远知行科技有限公司 | 基于索引的数据查找方法、装置、服务器及存储介质 |
CN112734802B (zh) * | 2020-12-31 | 2024-02-09 | 杭州海康威视系统技术有限公司 | 一种轨迹获取方法及装置 |
CN113034546A (zh) * | 2021-04-07 | 2021-06-25 | 杭州海康威视数字技术股份有限公司 | 一种轨迹合并方法、装置、电子设备及存储介质 |
CN113344124B (zh) * | 2021-06-29 | 2023-11-28 | 北京市商汤科技开发有限公司 | 轨迹分析方法及装置、存储介质和系统 |
CN113468284A (zh) * | 2021-06-29 | 2021-10-01 | 北京市商汤科技开发有限公司 | 对象检测方法及装置、电子设备和存储介质 |
CN113470079A (zh) * | 2021-07-15 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种落脚区域的输出方法、装置及电子设备 |
CN114359611B (zh) * | 2022-03-18 | 2022-09-06 | 浙江大华技术股份有限公司 | 目标聚档方法、计算机设备及存储装置 |
CN114937293B (zh) * | 2022-04-06 | 2023-07-04 | 江苏商贸职业学院 | 基于gis的农业服务管理方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108734967A (zh) * | 2017-04-20 | 2018-11-02 | 杭州海康威视数字技术股份有限公司 | 违章车辆监控方法、装置及系统 |
CN110017838A (zh) * | 2019-02-13 | 2019-07-16 | 浩亚信息科技有限公司 | 航班飞行轨迹预测方法、设备、介质及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6724920B1 (en) * | 2000-07-21 | 2004-04-20 | Trw Inc. | Application of human facial features recognition to automobile safety |
US10671076B1 (en) * | 2017-03-01 | 2020-06-02 | Zoox, Inc. | Trajectory prediction of third-party objects using temporal logic and tree search |
CN110008298B (zh) * | 2019-03-28 | 2022-03-15 | 武汉星视源科技有限公司 | 驻车多维信息感知应用系统及方法 |
-
2020
- 2020-09-15 CN CN202010967963.4A patent/CN112100305B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108734967A (zh) * | 2017-04-20 | 2018-11-02 | 杭州海康威视数字技术股份有限公司 | 违章车辆监控方法、装置及系统 |
CN110017838A (zh) * | 2019-02-13 | 2019-07-16 | 浩亚信息科技有限公司 | 航班飞行轨迹预测方法、设备、介质及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112100305A (zh) | 2020-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112100305B (zh) | 一种基于多源数据的轨迹确定方法、装置、设备及介质 | |
US11562020B2 (en) | Short-term and long-term memory on an edge device | |
CN111047621B (zh) | 一种目标对象追踪方法、系统、设备及可读介质 | |
EP3253042B1 (en) | Intelligent processing method and system for video data | |
US20220092881A1 (en) | Method and apparatus for behavior analysis, electronic apparatus, storage medium, and computer program | |
CN110929770A (zh) | 一种基于图像处理的智能追踪方法、系统、设备及可读介质 | |
US10606824B1 (en) | Update service in a distributed environment | |
WO2015117528A1 (zh) | 行车记录处理方法及系统 | |
US20210357678A1 (en) | Information processing method and apparatus, and storage medium | |
CN113052079B (zh) | 一种基于人脸聚类的区域客流统计方法、系统、设备和介质 | |
WO2021135138A1 (zh) | 一种目标运动轨迹构建方法、设备以及计算机存储介质 | |
CN110929619A (zh) | 一种基于图像处理的目标对象追踪方法、系统、设备及可读介质 | |
CN114078277A (zh) | 一人一档的人脸聚类方法、装置、计算机设备及存储介质 | |
CN106156207A (zh) | 提醒时间修改方法及装置 | |
CN103745223A (zh) | 一种人脸检测方法及装置 | |
US20200097735A1 (en) | System and Method for Display of Object Movement Scheme | |
CN110796014A (zh) | 垃圾投放习惯分析方法、系统、装置及存储介质 | |
CN113962326A (zh) | 聚类方法、装置、设备及计算机存储介质 | |
CN110889346B (zh) | 一种智能追踪方法、系统、设备及可读介质 | |
US20230156159A1 (en) | Non-transitory computer-readable recording medium and display method | |
CN111382281A (zh) | 基于媒体对象的内容的推荐方法、装置、设备和存储介质 | |
WO2022089020A1 (zh) | 事件展示方法及装置、存储介质及电子设备 | |
CN114677627A (zh) | 目标线索寻找方法、装置、设备及介质 | |
CN114187775A (zh) | 基于大数据的停车位推荐的方法、装置、设备及存储介质 | |
WO2021102760A1 (zh) | 一种人员行为分析方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |