CN112712013B - 一种移动轨迹构建方法及装置 - Google Patents

一种移动轨迹构建方法及装置 Download PDF

Info

Publication number
CN112712013B
CN112712013B CN202011589254.3A CN202011589254A CN112712013B CN 112712013 B CN112712013 B CN 112712013B CN 202011589254 A CN202011589254 A CN 202011589254A CN 112712013 B CN112712013 B CN 112712013B
Authority
CN
China
Prior art keywords
track
identity information
track segment
preset period
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011589254.3A
Other languages
English (en)
Other versions
CN112712013A (zh
Inventor
周剑刚
曾挥毫
周佳奇
朱皓
罗杰
吴振
温菲
庄千烜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202011589254.3A priority Critical patent/CN112712013B/zh
Publication of CN112712013A publication Critical patent/CN112712013A/zh
Application granted granted Critical
Publication of CN112712013B publication Critical patent/CN112712013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种移动轨迹构建方法及装置,涉及计算机技术领域。该方法包括:获取图像采集设备上报的视频流;针对每个预设周期,将该预设周期内的各个指定视频帧中,关于同一对象的轨迹点进行合并,生成各个指定视频帧中存在的各个对象在该预设周期内的轨迹片段;基于每个轨迹片段所对应对象的第一类特征,确定该轨迹片段的身份信息;针对每个预设周期,基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作;针对所选取的各个指定视频帧中存在的每个对象,得到该对象的移动轨迹,并确定该对象的身份信息。相比与现有技术,应用本发明实施例提供的方案,能够提高所构建的对象的移动轨迹的精度。

Description

一种移动轨迹构建方法及装置
技术领域
本发明涉及计算机技术领域,特别是涉及一种移动轨迹构建方法及装置。
背景技术
随着智能技术的不断发展,各类信息的获取和利用在用户的工作和生活中发挥着越来越重要的作用。其中,为了提高对目标对象的行为分析的准确性,对于目标对象的移动轨迹的构建逐渐趋向精细化。
在相关技术中,在构建目标对象的移动轨迹时,是在各个预设的标定点位设置图像采集设备,从而,通过各个图像采集设备采集到图像,确定目标对象出现在各个标定点位的时间,从而,按照目标对象出现在各个标定点位的时间先后,构建目标对象在各个标定点位之间的移动轨迹。
然而,在上述相关技术中,由于只能够构建出目标对象在各个标定点位之间的移动轨迹,而无法构建目标对象从一个标定点位移动到另一个标定点位的过程中的移动轨迹,从而,所构建的移动轨迹不能精准地反应目标对象的实际移动过程,进而,无法进一步准确地对目标对象进行行为分析。
例如,在某一场景中的各个房间中设置图像采集设备,从而,根据各个房间的图像采集设备采集到的关于目标人员的图像,确定该目标人员出现在各个房间的时间,从而,构建目标人员在各个房间之间的移动轨迹。
假设,所构建的移动轨迹为:房间A-房间B-房间C-房间A。那么,当目标对象可以通过两条不同的路径从房间A移动到房间B时,利用上述相关技术,将无法精准地反应目标人员从房间A移动到房间B的过程中的移动轨迹。
发明内容
本发明实施例的目的在于提供一种移动轨迹构建方法及装置,以提高所构建的对象的移动轨迹的精度。具体技术方案如下:
第一方面,本发明实施例提供了一种移动轨迹构建方法,所述方法包括:
获取图像采集设备上报的视频流;
针对每个预设周期,将该预设周期内的各个指定视频帧中,关于同一对象的轨迹点进行合并,生成所述各个指定视频帧中存在的各个对象在该预设周期内的轨迹片段;其中,每个预设周期内的各个指定视频帧为:按照预设的选取规则,从所述视频流中选取的采集时间位于每个预设周期内的各个视频帧;
基于每个轨迹片段所对应对象的第一类特征,确定该轨迹片段所对应对象的身份信息,作为该轨迹片段的身份信息;
针对每个预设周期,基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作;
针对所选取的各个指定视频帧中存在的每个对象,在该对象的全部轨迹片段的合并操作执行完成后,得到该对象的移动轨迹,并确定该对象的身份信息。
可选的,一种具体实现方式中,在所述基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作的步骤之前,所述方法还包括:
针对该预设周期内的每个轨迹片段,判断该轨迹片段对应的视频流时长是否小于预设时长且该轨迹片段的结束时刻是否为该预设周期的结束时刻;
若判断结果均为是,则缓存该轨迹片段,并在该预设周期的下一周期内,将该轨迹片段与所对应的所述下一周期内的目标轨迹片段进行合并,得到所述下一周期内的轨迹片段;其中,该轨迹片段所对应的所述下一周期内的所述目标轨迹片段为:所述下一周期内的标定标识与该轨迹片段的标定标识相同的轨迹片段;每个轨迹片段的标定标识为:所述图像采集设备为该轨迹片段所对应对象设置的标定标识;
否则,执行所述基于该预设周期内的每个轨迹片段对应的身份信息,对该轨迹片段执行合并操作的步骤。
可选的,一种具体实现方式中,所述基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作的步骤,包括:
将该预设周期内,身份信息与已生成的任一历史轨迹的身份信息相同的轨迹片段,以及所述任一历史轨迹进行合并;
对该预设周期内的剩余轨迹片段中,属于同一对象的各个轨迹片段执行合并操作;其中,所述剩余轨迹片段为:该预设周期内未与任一历史轨迹片段进行合并的各个轨迹片段。
可选的,一种具体实现方式中,所述对该预设周期内的剩余轨迹片段中,属于所述同一对象的各个轨迹片段执行合并操作的步骤,包括:
对该预设周期内的剩余轨迹片段中,身份信息相同的各个轨迹片段执行合并操作;
针对所述剩余轨迹片段中的每个未合并轨迹片段,确定与该轨迹片段的相似度大于预设相似度的每个其他轨迹片段,对该轨迹片段以及所确定的每个其他轨迹片段执行合并操作;
其中,所述其他轨迹片段为:该预设周期内除该轨迹片段之外的轨迹片段。
可选的,一种具体实现方式中,所述确定所述同一对象的身份信息的步骤,包括:
确定该对象的移动轨迹所包括的各个轨迹片段中,是否存在身份信息为第一类身份信息的轨迹片段;其中,所述第一类身份信息为:预设的第一类特征与身份信息的第一对应关系中记录的身份信息;
若存在,则将该身份信息为所述第一类身份信息的轨迹片段的身份信息,确定为该对象的身份信息;
若不存在,则在预设的第二类特征与身份信息的第二对应关系中,查找与该对象的第二类特征对应的身份信息;其中,该对象的第二类特征是基于该对象的移动轨迹所包括的各个轨迹片段所对应对象的第二类特征确定的;
当查找到时,将所查到的身份信息确定为该对象的身份信息;
当未查找到时,为该对象添加第二指定身份信息,作为该对象的身份信息。
第二方面,本发明实施例提供了一种移动轨迹构建装置,所述装置包括:
视频流获取模块,用于获取图像采集设备上报的视频流;
片段生成模块,用于针对每个预设周期,将该预设周期内的各个指定视频帧中,关于同一对象的轨迹点进行合并,生成所述各个指定视频帧中存在的各个对象在该预设周期内的轨迹片段;其中,每个预设周期内的各个指定视频帧为:按照预设的选取规则,从所述视频流中选取的采集时间位于每个预设周期内的各个视频帧;
信息确定模块,用于基于每个轨迹片段所对应对象的第一类特征,确定该轨迹片段所对应对象的身份信息,作为该轨迹片段的身份信息;
片段合并模块,用于针对每个预设周期,基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作;
轨迹构建模块,用于针对所选取的各个指定视频帧中存在的每个对象,在该对象的全部轨迹片段的合并操作执行完成后,得到该对象的移动轨迹,并确定该对象的身份信息。
可选的,一种具体实现方式中,所述装置还包括:
时长判断模块,用于在所述基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作之前,针对该预设周期内的每个轨迹片段,判断该轨迹片段对应的视频流时长是否小于预设时长且该轨迹片段的结束时刻是否为该预设周期的结束时刻;若判断结果均为是,执行轨迹缓存模块,否则,执行所述片段合并模块;
所述轨迹缓存模块,用于缓存该轨迹片段,并在该预设周期的下一周期内,将该轨迹片段与所对应的所述下一周期内的目标轨迹片段进行合并,得到所述下一周期内的轨迹片段;其中,该轨迹片段所对应的所述下一周期内的所述目标轨迹片段为:所述下一周期内的标定标识与该轨迹片段的标定标识相同的轨迹片段;每个轨迹片段的标定标识为:所述图像采集设备为该轨迹片段所对应对象设置的标定标识。
可选的,一种具体实现方式中,所述片段合并模块包括:
第一合并子模块,用于将该预设周期内,身份信息与已生成的任一历史轨迹的身份信息相同的轨迹片段,以及所述任一历史轨迹进行合并;
第二合并子模块,用于对该预设周期内的剩余轨迹片段中,属于同一对象的各个轨迹片段执行合并操作;其中,所述剩余轨迹片段为:该预设周期内未与任一历史轨迹片段进行合并的各个轨迹片段。
可选的,一种具体实现方式中,所述第二合并子模块具体用于:
对该预设周期内的剩余轨迹片段中,身份信息相同的各个轨迹片段执行合并操作;
针对所述剩余轨迹片段中的每个未合并轨迹片段,确定与该轨迹片段的相似度大于预设相似度的每个其他轨迹片段,对该轨迹片段以及所确定的每个其他轨迹片段执行合并操作;
其中,所述其他轨迹片段为:该预设周期内除该轨迹片段之外的轨迹片段。
可选的,一种具体实现方式中,所述轨迹构建模块具体用于:
确定该对象的移动轨迹所包括的各个轨迹片段中,是否存在身份信息为第一类身份信息的轨迹片段;其中,所述第一类身份信息为:预设的第一类特征与身份信息的第一对应关系中记录的身份信息;
若存在,则将该身份信息为所述第一类身份信息的轨迹片段的身份信息,确定为该对象的身份信息;
若不存在,则在预设的第二类特征与身份信息的第二对应关系中,查找与该对象的第二类特征对应的身份信息;其中,该对象的第二类特征是基于该对象的移动轨迹所包括的各个轨迹片段所对应对象的第二类特征确定的;
当查找到时,将所查到的身份信息确定为该对象的身份信息;
当未查找到时,为该对象添加第二指定身份信息,作为该对象的身份信息。
第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面提供的任一移动轨迹构建方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面提供的任一移动轨迹构建方法的步骤。
第五方面,本发明实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面提供的任一移动轨迹构建方法的步骤。
本发明实施例有益效果:
应用本发明实施例提供的方案,在获取到图像采集设备上报的视频流后,可以按照预设的选取规则,从该视频流中选取采集时间位于每个预设周期内的视频帧,得到每个预设周期内的各个指定视频帧。从而,可以针对每个预设周期,将该预设周期内的各个指定视频帧中,关于同一对象的轨迹点进行合并,生成各个指定视频帧中存在的各个对象在该预设周期内的轨迹片段。进而,便可以首先根据每个轨迹片段所对应对象的第一类特征,确定该轨迹片段所对应对象的身份信息,从而,得到该轨迹片段的身份信息。进一步的,针对每个预设周期,便可以基于该预设周期内的各个轨迹片段的身份信息,对该轨迹片段执行合并操作。这样,针对所选取的各个指定视频帧中存在的每个对象,在该对象的全部轨迹片段的合并操作执行完成后,得到该对象的移动轨迹,并确定该对象的身份信息。
其中,各个轨迹片段是基于所选取的各个指定视频帧生成的。这样,由于连续的两个指定视频帧之间的采集时间间隔较小,从而,连续的两个指定视频帧中同一对象的轨迹点的距离较近,因此,所得到的轨迹片段中轨迹点的密度较高。进而,根据上述轨迹片段所构建的移动轨迹中轨迹点的密度较高,可以更精准地反应目标对象的实际移动过程。
基于此,应用本发明实施例提供的方案,能够提高所构建的对象的移动轨迹的精度,从而,可以更准确地对目标对象进行行为分析。
此外,应用本发明实施例提供的方案,可以不依赖于具体场景中的各个标定点位,从而,本发明实施例提供的方案可以更广泛地应用于各类场景中。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种移动轨迹构建方法的流程示意图;
图2为本发明实施例提供的一种移动轨迹构建装置的结构示意图;
图3为本发明实施例提供的一种电子设备的结果示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在相关技术中,在构建目标对象的移动轨迹时,是在各个预设的标定点位设置图像采集设备,从而,通过各个图像采集设备采集到图像,确定目标对象出现在各个标定点位的时间,从而,按照目标对象出现在各个标定点位的时间先后,构建目标对象在各个标定点位之间的移动轨迹。然而,在上述相关技术中,由于只能够构建出目标对象在各个标定点位之间的移动轨迹,而无法构建目标对象从一个标定点位移动到另一个标定点位的过程中的移动轨迹,从而,所构建的移动轨迹不能精准地反应目标对象的实际移动过程,进而,无法进一步准确地对目标对象进行行为分析。
为了解决上述技术问题,本发明实施例提供了一种移动轨迹构建方法。
其中,该移动轨迹构建方法可以适用于任一需要构建某一对象或者某些对象的移动轨迹的应用场景。例如,对各类营业厅中出现的各类人员的移动轨迹进行构建等。进而,该方法可以应用于任一类型的电子设备中,例如,笔记本电脑、台式电脑等,为了行文清晰,以下简称电子设备。
并且,上述电子设备可以是监控系统中的设备,例如,该电子设备是监控系统中的管理设备等,也可以是能够与监控系统进行通信的,且位于监控系统之外的独立电子设备。这都是合理的。
基于此,本发明实施例不对上述移动轨迹构建方法的应用场景、执行主体以及执行主体是否独立进行限定。
其中,本发明实施例提供的一种移动轨迹构建方法,可以包括如下步骤:
获取图像采集设备上报的视频流;
针对每个预设周期,将该预设周期内的各个指定视频帧中,关于同一对象的轨迹点进行合并,生成所述各个指定视频帧中存在的各个对象在该预设周期内的轨迹片段;其中,每个预设周期内的各个指定视频帧为:按照预设的选取规则,从所述视频流中选取的采集时间位于每个预设周期内的各个视频帧;
基于每个轨迹片段所对应对象的第一类特征,确定该轨迹片段所对应对象的身份信息,作为该轨迹片段的身份信息;
针对每个预设周期,基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作;
针对所选取的各个指定视频帧中存在的每个对象,在该对象的全部轨迹片段的合并操作执行完成后,得到该对象的移动轨迹,并确定该对象的身份信息。
以上可见,应用本发明实施例提供的方案,在获取到图像采集设备上报的视频流后,可以按照预设的选取规则,从该视频流中选取采集时间位于每个预设周期内的视频帧,得到每个预设周期内的各个指定视频帧。从而,可以针对每个预设周期,将该预设周期内的各个指定视频帧中,关于同一对象的轨迹点进行合并,生成各个指定视频帧中存在的各个对象在该预设周期内的轨迹片段。进而,便可以首先根据每个轨迹片段所对应对象的第一类特征,确定该轨迹片段所对应对象的身份信息,从而,得到该轨迹片段的身份信息。进一步的,针对每个预设周期,便可以基于该预设周期内的各个轨迹片段的身份信息,对该轨迹片段执行合并操作。这样,针对所选取的各个指定视频帧中存在的每个对象,在该对象的全部轨迹片段的合并操作执行完成后,得到该对象的移动轨迹,并确定该对象的身份信息。
其中,各个轨迹片段是基于所选取的各个指定视频帧生成的。这样,由于连续的两个指定视频帧之间的采集时间间隔较小,从而,连续的两个指定视频帧中同一对象的轨迹点的距离较近,因此,所得到的轨迹片段中轨迹点的密度较高。进而,根据上述轨迹片段所构建的移动轨迹中轨迹点的密度较高,可以更精准地反应目标对象的实际移动过程。
基于此,应用本发明实施例提供的方案,能够提高所构建的对象的移动轨迹的精度,从而,可以更准确地对目标对象进行行为分析。
此外,应用本发明实施例提供的方案,可以不依赖于具体场景中的各个标定点位,从而,本发明实施例提供的方案可以更广泛地应用于各类场景中。
下面结合附图对本发明实施例提供的一种移动轨迹构建方法进行介绍。
图1为本发明实施例提供的一种移动轨迹构建方法的流程示意图。如图1所示,该移动轨迹构建方法可以包括如下步骤:
S101:获取图像采集设备上报的视频流;
图像采集设备可以对自身的采集区域进行图像采集,以得到关于该采集区域的视频流,进而,图像采集设备便可以所得到的视频流进行上报。
基于此,在对某一场景中所出现的对象的移动轨迹进行构建时,电子设备可以首先获取该场景内的图像采集设备上报的视频流。
需要强调的是,当该场景内存在多个图像采集设备时,电子设备可以获取该多个图像采集设备中的每个图像采集设备上报的视频流。
其中,图像采集设备可以实时上报所得到的视频流,也可以按照预设时间间隔,每隔预设时长上报在该预设时长内采集到的视频流。
并且,图像采集设备可以将视频流直接上报至执行本发明实施例提供的移动轨迹构建方法的电子设备,以使得该电子设备可以直接获取到图像采集设备上报的视频流;图像采集设备也可以将视频流上报至其他电子设备,从而,执行本发明实施例提供的移动轨迹构建方法的电子设备可以从上述其他电子设备处,间接获取到图像采集设备上报的视频流。
此外,执行本发明实施例提供的移动轨迹构建方法的电子设备可以实时获取图像采集设备上报的视频流,也可以按照预设时间间隔,每隔预设时长获取图像采集设备在该预设时长内所采集到的视频流,还可以获取图像采集设备上报的当前时刻之前的某个预设时间段内所采集到的视频流。这都是合理的。
其中,当电子设备实时获取图像采集设备上报的视频流时,电子设备可以实时地构建上述图像采集设备所在场景中出现的对象的移动轨迹,从而,提高所构建的对象的移动轨迹的实时性。当电子设备按照预设时间间隔,每隔预设时长获取图像采集设备在该预设时长内所采集到的视频流时,电子设备可以近实时地构建上述图像采集设备所在场景中出现的对象的移动轨迹,从而,提高所构建的对象的移动轨迹的实时性。
S102:针对每个预设周期,将该预设周期内的各个指定视频帧中,关于同一对象的轨迹点进行合并,生成各个指定视频帧中出现的各个对象在该预设周期内的轨迹片段;
其中,每个预设周期内的各个指定视频帧为:按照预设的选取规则,从视频流中选取的采集时间位于每个预设周期内的各个视频帧;
图像采集设备在对自身的采集区域进行图像采集时,可以对出现在自身采集区域内的各个对象进行跟踪,并为每个对象设置唯一的标定标识。也就是说,同一图像采集设备可以为出现在自身采集区域内的不同对象设置不同的标定标识;并且,不同的图像采集设备也可以为同一对象设置不同的标定标识。
例如,人员A同时出现在图像采集设备1和图像采集设备2的采集区域内,则图像采集设备1可以为人员A设置标定标识1,图像采集设备2可以为人员A设置标定标识2;
又例如,人员B和人员C同时出现在图像采集设备3的采集区域内,则图像采集设备3可以为人员B设置标定标识3,并为人员C设置标定标识4。
需要说明的是,当某个对象一直位于一图像采集设备的采集区域内时,该图像采集设备为该对象所设置的标定标识保持不变;而当该对象离开该采集区域时,该图像采集设备则可以确定完成对具有该标定标识的对象的跟踪。进而,当该对象再次进入该采集区域时,该图像采集设备可以再次为该对象设置新的唯一的标定标识。也就是说,针对每个对象,当该对象两次进入同一图像采集设备的采集区域时,该同一图像采集设备可以为每次进入的该对象分别设置唯一的标定标识,且两次所设置的两个标定标识为不同的标定标识。
进而,针对所跟踪的每个对象,利用为该对象所设置的标定标识,图像采集设备可以在该视频帧中标注该对象在场景中的轨迹点,其中,该轨迹点表征在图像采集设备采集该视频帧的时刻,该对象在场景中的位置。
基于此,针对每个预设周期,电子设备可以按照预设的选取规则,在所获取到的视频流中属于该预设周期的各个视频帧中选取该预设周期内的各个指定视频帧。
进而,由于各个视频帧中可以标注有该视频帧中所出现的各个对象的轨迹点,并且,不同的视频帧中可以存在相同的对象,因此,针对每个预设周期,电子设备便可以将该预设周期内的各个指定视频帧中,关于同一对象的轨迹点进行合并,从而,便可以生成各个指定视频帧中存在的各个对象在该预设周期内的轨迹片段。
其中,需要说明的是,在对各个指定视频帧中,关于同一对象的轨迹点进行合并时,是按照各个指定视频帧的采集时间由早到晚的顺序进行的。
例如,存在图像采集设备1和图像采集设备2,其中,在某个预设周期内,图像采集设备1所采集到的该预设周期的各个指定视频帧中,均标注有对象1和对象2的轨迹点,图像采集设备2所采集到的该预设周期的全部指定视频帧中,标注有对象3的轨迹点,部分指定视频帧中标注有对象4的轨迹点。
从而,针对对象1,可以按照图像采集设备1所采集到的各个指定视频帧的采集时间由早到晚的顺序,对对象1的各个轨迹点进行合并,得到对象1在该预设周期内的轨迹片段;针对对象2,可以按照图像采集设备1所采集到的各个指定视频帧的采集时间由早到晚的顺序,对对象2的各个轨迹点进行合并,得到对象2在该预设周期内的轨迹片段;针对对象3,可以按照图像采集设备2所采集到的各个指定视频帧的采集时间由早到晚的顺序,对对象3的各个轨迹点进行合并,得到对象3在该预设周期内的轨迹片段;针对对象4,可以按照存在对象4的轨迹点的各个指定视频帧的采集时间由早到晚的顺序,对对象4的各个轨迹点进行合并,得到对象4在该预设周期内的轨迹片段.
其中,需要说明的是,如果图像采集设备1和图像采集设备2具有重合的采集区域,则上述对象1、对象2、对象3和对象4可以为完全不同的对象,上述对象1、对象2、对象3和对象4中也可以存在相同的对象,例如,对象1和对象3为相同的对象,对象2和对象4为相同的对象等。这都是合理的。
可选的,一种具体实现方式中,上述预设的选取规则可以为:逐帧选取,即电子设备可以将所获取到的视频流中属于每个预设周期的全部视频帧确定为该预设周期内的指定视频帧;
基于此,可选的,当图像采集设备实时向电子设备上报视频流,且上述选取规则为逐帧选取时,在获取到第1帧视频帧时,电子设备便可以确定该视频帧中标注的各个对象的轨迹点,进而,在获取到第2帧视频帧时,电子设备便可以确定该视频帧中标注的各个对象的轨迹点,并且,当某个对象同时出现在第1帧视频帧和第2帧视频帧时,电子设备可以将第1帧视频帧和第2帧视频帧中标注的该对象的轨迹点进行合并。之后,在获取到第3帧视频帧时,电子设备便可以确定该视频帧中标注的各个对象的轨迹点,并且,当某个对象同时出现在第1帧视频帧、第2帧视频帧和第3帧视频帧中的多个视频帧中时,电子设备便可以将该多帧视频帧中标注的该对象的轨迹点进行合并。
此外,当对象a在第M(M>1)帧中首次出现时,电子设备便可以确定第M帧视频帧中标注的该对象a的轨迹点,进而,在获取到第M+1帧时,电子设备便可以确定该视频帧中标注的各个对象的轨迹点,并且,当对象a在第M+1帧中也出现时,电子设备可以将第M帧视频帧和第M+1帧视频帧中标注的该对象a的轨迹点进行合并。
依次类推,电子设备可以所获取到的视频帧逐帧进行上述操作。
进而,由于各个视频帧可以具有时间戳,从而,假设在接收到第N(N>1)帧视频帧时,电子设备确定第1帧视频帧至第N帧视频帧构成的视频流的采集时长达到预设周期的周期时长时,电子设备便可以确定当前所生成的各个轨迹片段,从而,得到一个预设周期内各个视频帧中存在的各个对象的轨迹片段。其中,每个对象的轨迹片段是由上述第1帧视频帧至第N帧视频帧中包括该对象的连续多帧视频帧构成的。
需要强调的是,在上述第1帧视频帧至第N帧视频帧中标注的各个对象中,可以存在一些对象在上述第1帧视频帧至第N帧视频帧中均存在,从而,所得到的这些对象的轨迹片段的时长为预设周期的周期时长;而也可以存在另一些对象仅仅存在上述第1帧视频帧至第N帧视频帧中的部分视频帧中,从而,所得到的这些对象的轨迹片段的时长小于预设周期的周期时长;也就是说,针对每个预设周期,所生成的各个对象的轨迹片段的时长可以等于预设周期的周期时长,也可以小于预设周期的周期时长。
这样,在获取到第N+1帧视频帧时,便可以进入下一预设周期,从而,电子设备可以重复上述过程,得到第一个预设周期之后的各个预设周期内,各个视频帧中存在的各个对象的轨迹片段。
当然,考虑到电子设备的计算能力的限制,可选的,另一种具体实现方式中,上述预设的选取规则可以为:按照预设数量间隔选取。
也就是说,电子设备可以在所获取到的视频流中每隔预设数量帧视频帧选取一视频帧,作为该视频帧所属预设周期内的指定视频帧。
例如,当预设数量为1时,电子设备可以在所获取到的视频流中属于每隔1帧视频帧选取一视频帧,作为该视频帧所所属预设周期内的指定视频帧。示例性的,则所抽取到的视频帧可以为视频流中的第1帧视频帧、第3帧视频帧、第5帧视频帧、第7帧视频帧等排序为奇数的各个视频帧。假设,第1帧视频帧至第5帧视频帧构成的视频流的采集时长达到预设周期的周期时长,则第1帧视频帧、第3帧视频帧和第5帧视频帧为第一个预设周期内的指定视频帧;第6帧视频帧至第10帧视频帧构成的视频流的采集时长达到预设周期的周期时长,则第7帧视频帧和第9帧视频帧为第二个预设周期内的指定视频帧。
当然,电子设备还可以按照其他选取规则,从所获取到的视频流选取的采集时间位于每个预设周期内的各个视频帧,以得到每个预设周期内的各个指定视频帧。对此,本发明实施例不对上述选取规则进行具体限定。
其中,可选的,上述预设周期的周期时长可以为60s。
S103:基于每个轨迹片段所对应对象的第一类特征,确定该轨迹片段所对应对象的身份信息,作为该轨迹片段的身份信息;
在得到上述每个预设周期内的各个指定视频帧中存在的各个对象在该预设周期内的轨迹片段后,针对每个轨迹片段,电子设备便可以确定该轨迹片段所对应的对象的第一类特征,从而,基于该轨迹片段所对应对象的第一类特征,电子设备便可以确定该轨迹片段所对应对象的身份信息;其中,所确定的该轨迹片段所对应对象的身份信息可以作为该轨迹片段的身份信息。
其中,针对每个轨迹片段,电子设备可以从用于生成该轨迹片段的各个指定视频帧中提取该轨迹片段所对应对象的第一类特征。
可选的,当上述各个对象为人员时,上述所确定的对象的第一类特征便可以为人员的人脸模型;进而,针对每个轨迹片段,电子设备便可以从用于生成该轨迹片段的各个指定视频帧中提取该轨迹片段所对应人员的人脸模型;
可选的,当上述各个对象为人员时,上述所确定的对象的第一类特征便可以为人员的人体模型;进而,针对每个轨迹片段,电子设备便可以从用于生成该轨迹片段的各个指定视频帧中提取该轨迹片段所对应人员的人体模型。
为了行文清晰,后续将会对上述步骤S103的具体实现方式进行举例说明。
S104:针对每个预设周期,基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作;
针对每个预设周期,在确定该预设周期内的各个指定视频帧中出现的各个对象在该预设周期内的轨迹片段后,电子设备便可以根据所确定的该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作。
为了行文清晰,后续将会对上述步骤S104的具体实现方式进行举例说明。
其中,可选的,一种具体实现方式中,在上述步骤S104之前,本发明实施例通过的另一种移动轨迹构建方法中,还可以包括如下步骤1040:
步骤1040:针对每个预设周期,对该预设周期内的每个轨迹片段进行优化操作;其中,所述优化操作至少包括:定位优化和差值优化中的至少一种操作;
基于此,在本具体实现方式中,上述步骤S104,即可以包括如下步骤104a:
步骤104a:针对每个预设周期,基于该预设周期内的每个轨迹片段的身份信息,对优化后的该轨迹片段进行合并操作。
其中,在本具体实现方式中,所谓定位优化是指:针对由于图像采集设备的采集角度导致的视频帧中标注的轨迹点存在偏差的情况,对轨迹片段中各个轨迹点的坐标进行纠正,以使定位优化后的轨迹片段与对象的实际移动路径更加匹配。
所述插值优化是指:针对由于出现丢帧现象所导致的轨迹点的采集时间间隔不均衡的情况,对轨迹片段进行固频,以使插值优化后的轨迹片段中各个轨迹点的采集时间间隔达到均衡。例如,使得插值优化后的轨迹片段中各个轨迹点的采集时间间隔均未50ms等。
当然,还可以通过其他优化方式,对每个预设周期内的每个轨迹片段进行优化操作,对此,本发明实施例不做具体限定。
相应的,在本具体实现方式中,在对每个预设周期内的每个轨迹片段进行优化操作,便可以基于该预设周期内的每个轨迹片段的身份信息,对优化后的该轨迹片段进行合并操作。
基于此,在本具体实现方式中,可以提高每个预设周期内的每个轨迹片段的准确性,从而,提高最终所确定的各个对象的移动轨迹的准确性。
可选的,另一种具体实现方式中,在执行上述步骤S104中“基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作”的步骤之前,本发明实施例提供的一种移动轨迹构建方法还可以包括如下步骤1041-1043:
步骤1041:针对该预设周期内的每个轨迹片段,判断该轨迹片段对应的视频流时长是否小于预设时长且该轨迹片段的结束时刻是否为该预设周期的结束时刻;若判断结果均为是,则执行步骤1042;否则,则执行步骤1043。
步骤1042,则缓存该轨迹片段,并在该预设周期的下一周期内,将该轨迹片段与所对应的下一周期内目标轨迹片段进行合并,得到下一周期内的轨迹片段;
其中,该轨迹片段所对应的下一周期内的目标轨迹片段为:下一周期内的标定标识与该轨迹片段的标定标识相同的轨迹片段;每个轨迹片段的标定标识为:图像采集设备为该轨迹片段所对应对象设置的标定标识;
步骤1043,执行基于该预设周期内的每个轨迹片段对应的身份信息,对该轨迹片段执行合并操作的步骤。
针对每个预设周期,在对该预设周期内的各个轨迹片段执行合并操作之前,针对该预设周期内的每个轨迹片段,电子设备可以判断该轨迹片段对应的视频流时长是否小于预设时长,且该轨迹片段的结束时刻是否为该预设周期的结束时刻。
这样,当判断出该轨迹片段对应的视频流时长小于预设时长,且该轨迹片段的结束时刻为该预设周期的结束时刻时,在针对该预设周期,电子设备可以缓存该轨迹片段,而不对该轨迹片段执行合并操作。
其中,由于该轨迹片段对应的视频流时长小于预设时长,则该轨迹片段所包括的轨迹点的数量较少,从而,该轨迹片段较短,进而,由于该轨迹片段的结束时刻为该预设周期的结束时刻,因此,该轨迹片段可以为对象移动形成的采集时间跨预设周期的轨迹中的片段。也就是说,该轨迹片段较短是由于按照预设周期的周期时长确定轨迹片段时,对完整的移动轨迹进行切割得到的,因此,在该预设周期的下一周期内,可以存在标定标识与该轨迹片段的标定标识相同的轨迹片段,即在该预设周期的下一周期内,可以存在该轨迹片段所对应的目标轨迹片段。
这样,便可以在该预设周期的下一周期内,将该轨迹片段与所对应的下一周期内目标轨迹片段进行合并,从而,合并后的轨迹片段即可以作为该预设周期的下一周期内的轨迹片段。进而,在对该预设周期的下一周期内的各个轨迹片段执行合并操作时,便可以对上述合并后的轨迹片段执行合并操作。
其中,可选的,针对对应的视频流时长小于预设时长且结束时刻为该预设周期的结束时刻的轨迹片段,当在该预设周期的下一周期内,不存在该轨迹片段所对应的目标轨迹片段时,则可以直接将该轨迹片段,作为该预设周期的下一周期内的轨迹片段。
相应的,当该轨迹片段对应的视频流时长不小于预设时长和/或结束时刻不为该预设周期的结束时刻时,则电子设备便可以直接基于该预设周期内的每个轨迹片段对应的身份信息,对该轨迹片段执行合并操作,即当该轨迹片段对应的视频流时长不小于预设时长时则电子设备便可以直接执行上述步骤S104中“基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作”的步骤。
也就是说,上述步骤1043即为上述步骤S104中“基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作”的步骤。
需要说明的是,图像采集设备可以为出现在自身采集区域内的每个对象设置唯一的标定标识,从而,出现在自身采集区域内的每个对象,图像采集设备便可以利用为该对象所设置的标定标识,在该视频帧中标注该对象在场景中的轨迹点,则当该对象未离开图像采集设备的采集区域时,在各个视频帧中用于标注的该对象在场景中的轨迹点的标记是相同的,且该标记可以为图像采集设备为该对象所设置的标定标识。这样,针对每个预设周期,所得到的该预设周期内的各个指定视频帧中存在的各个对象在该预设周期内的轨迹片段时,该轨迹片段便可以具有所对应对象的标定标识,作为该轨迹片段的标定标识。
S105:针对所选取的各个指定视频帧中存在的每个对象,在该对象的全部轨迹片段的合并操作执行完成后,得到该对象的移动轨迹,并确定该对象的身份信息。
在对每个预设周期内的每个轨迹片段进行合并操作后,则可以说明,针对在所获取到的视频流的各个指定视频帧中出现的每个对象,对该对象的全部轨迹片段的合并操作执行完成,从而,便可以得到该对象的移动轨迹,并可以进一步确定该对象的身份信息。
为了行文清晰,后续将会对上述步骤S105中,确定该对象的身份信息的步骤的具体实现方式进行举例说明。
需要说明的是,所得到的该对象的移动轨迹即为在所获取到的视频流的采集时间范围内,该对象的移动轨迹。
其中,当在所获取到的视频流的采集时间范围内的某个时间点之后,再也没有采集到存在某一对象的视频帧时,则说明该对象离开图像采集设备所在的场景,从而,所确定的该对象的移动轨迹即为该对象在该场景中的移动轨迹。
其中,可选的,电子设备可以按照指定周期执行上述本发明实施例提供的一种移动轨迹构建方法,则应用上述本发明实施例提供的一种移动轨迹构建方法所确定的各个对象的移动轨迹即为:在每个指定周期内出现在场景中的对象的移动轨迹。
例如,该指定周期为24小时,场景为某个营业厅,则应用上述本发明实施例提供的一种移动轨迹构建方法所确定的即为:每天在该营业厅中出现的人员,以及该人员的移动轨迹。其中,该人员可以为:工作人员,也可以为客户。
以上可见,应用本发明实施例提供的方案,用于构建各个对象的移动轨迹的各个轨迹片段是基于所选取的各个指定视频帧生成的。这样,由于连续的两个指定视频帧之间的采集时间间隔较小,从而,连续的两个指定视频帧中同一对象的轨迹点的距离较近,因此,所得到的轨迹片段中轨迹点的密度较高。进而,根据上述轨迹片段所构建的移动轨迹中轨迹点的密度较高,可以更精准地反应目标对象的实际移动过程。基于此,能够提高所构建的对象的移动轨迹的精度,从而,可以更准确地对目标对象进行行为分析。
并且,应用本发明实施例提供的方案,可以不依赖于具体场景中的各个标定点位,从而,本发明实施例提供的方案可以更广泛地应用于各类场景中。
进一步的,可选的,一种具体实现方式中,本发明实施例提供的一种移动轨迹构建方法还可以包括如下步骤1:
步骤1:基于所确定的各个对象的移动轨迹和身份信息,确定关于各个对象的行为分析结果。
在得到所选取的各个指定视频帧中存在的每个对象的移动轨迹和身份信息后,电子设备便可以基于所确定的各个对象的移动轨迹和身份信息,利用数据挖掘等大数据分析方法,确定关于各个对象的行为分析结果。
例如,可以根据每个对象的移动轨迹的分布情况,确定场景下中的热点区域,以及对场景的流量进行统计。
又例如,当对象为人员时,假设所确定的某个对象的身份信息为陌生人,则可以根据该人员的移动轨迹确定是否需要报警。
再例如,当对象为人员时,假设所确定的某个对象的身份信息为工作人员,则可以根据该人员的移动轨迹确定该人员是否很好的履行工作职责等。
再例如,当对象为人员时,假设所确定的某个对象的身份信息为客户,则可以根据该人员的移动轨迹确定该人员的偏好,从而,有针对性地对该人员进行广告推荐。
当然,电子设备还可以基于所确定的各个对象的移动轨迹和身份信息,确定其他的关于各个对象的行为分析结果,对此,本发明实施例不做具体限定。
下面,对上述步骤S103,基于每个轨迹片段所对应对象的第一类特征,确定该轨迹片段所对应对象的身份信息,作为该轨迹片段的身份信息的具体实现方式进行举例说明。
可选的,一种具体实现方式中,上述步骤S103可以包括如下步骤1031-1033:
步骤1031:在预设的第一类特征与身份信息的第一对应关系中,查找与所确定的第一类特征对应的身份信息;若查找到,则执行步骤1032;否则,则执行步骤1033;
步骤1032:将所查找到的身份信息确定为该轨迹片段所对应对象的身份信息;
步骤1033:为该轨迹片段添加第一指定身份信息,作为该轨迹片段所对应对象的身份信息。
在本具体实现方式中,可以预先设置各个第一类特征与各个身份信息的第一对应关系,从而,针对每个轨迹片段,在确定出该轨迹片段所对应对象的第一类特征后,便可以在上述预先设置的第一对应关系中,查找与该轨迹片段所对应对象的第一类特征相对应的身份信息。
其中,电子设备可以通过多种方式在上述预先设置的第一对应关系中,查找与该轨迹片段所对应对象的第一类特征相对应的身份信息,对此,本发明实施例不做具体限定。
例如,电子设备可以计算该轨迹片段所对应对象的第一类特征与上述第一对应关系中所记录的各个第一类特征的相似度,当上述第一对应关系中存在与该轨迹片段所对应对象的第一类特征的相似度大于预设相似度的第一类特征时,则上述第一对应关系中所记录的该第一类特征对应的身份信息即为该轨迹片段所对应对象的第一类特征相对应的身份信息。
其中,针对每个轨迹片段,当在上述第一对应关系中,查找到与所确定的该轨迹片段所对应对象的第一类特征相对应的身份信息时,那么,便可以将所查找到的身份信息确定为该轨迹片段所对应对象的身份信息;
相应的,当在上述第一对应关系中,未查找到与所确定的该轨迹片段所对应对象的第一类特征相对应的身份信息时,电子设备可以为该轨迹片段添加第一指定身份信息,从而,该所添加的第一指定身份信息即可以作为该轨迹片段所对应对象的身份信息。
需要说明的是,上述第一对应关系可以存储在执行本发明实施例提供的一种移动轨迹构建方法的电子设备中,也可以存储在能够与执行本发明实施例提供的一种移动轨迹构建方法的电子设备进行信息交互的其他电子设备。这都是合理的。
可选的,当上述各个对象为人员时,则上述所确定的对象的第一类特征便可以为人员的人脸模型。进而,可以预先设置各个人脸模型与各个人员身份信息的第一对应关系。
其中,该人员身份信息可以包括:姓名、籍贯、年龄、履历、身份证号等各类信息中的一种或多种。当然,还可以包括其他类型的信息。
从而,针对每个轨迹片段,便可以在上述第一对应关系中查找与该轨迹片段所对应人员的人脸模型相对应的人员身份信息,从而,当查找到时,所查找到的人员身份信息即为该轨迹片段所对应人员的身份信息;当未查找到时,则说明该轨迹片段所对应人员可能是第一次出现在当前场景下,从而,电子设备可以为该轨迹片段添加“陌生人标记”,从而,所添加的“陌生人标记”即为该轨迹片段所对应人员的身份信息。
进一步的,考虑到图像采集设备的采集角度、曝光参数,以及场景的光照强度等因素的影响,在一些情况下,图像采集设备所采集到的视频帧的清晰度可能较差,或者,所采集到的各个对象的图像内容不能清晰地体现各个对象的第一类特征,例如,当对象为人员,第一类特征为人脸模型时,那么,在采集到的人员图像为侧面图像时,则无法得到质量较高的人脸模型。
基于此,在一些情况下,针对每个轨迹片段,电子设备所确定的该轨迹片段所对应对象的第一类特征的评分可能较低,从而,所确定的第一类特征的准确性较差。这样,将导致最终确定的各个对象的移动轨迹的准确性较差,并且所确定的各个对象的身份信息的准确性较差。这样,当该轨迹片段所对应对象的第一类特征的评分较低时,该第一类特征可能无法用于确定该轨迹片段所对应人员的身份信息。
基于此,可选的,另一种具体实现方式中,上述步骤S103还可以包括如下步骤:
步骤1030:判断每个轨迹片段所对应对象的第一类特征是否大于预设阈值;若大于,执行步骤1031;否则,执行步骤1034;
步骤1031:在预设的第一类特征与身份信息的第一对应关系中,查找与所确定的第一类特征对应的身份信息;若查找到,则执行步骤1032;否则,则执行步骤1033;
步骤1032:将所查找到的身份信息确定为该轨迹片段所对应对象的身份信息;
步骤1033:为该轨迹片段添加第一指定身份信息,作为该轨迹片段所对应对象的身份信息。
步骤1034:为该轨迹片段添加第三指定身份信息,作为该轨迹片段所对应对象的身份信息。
在本具体实现方式中,在确定出每个轨迹片段所对应对象的第一类特征后,可以随之确定该第一类特征的评分;进而,便可以判断该第一类特征的评分是否大于预设阈值。
其中,针对每个轨迹片段,当该轨迹片段所对应对象的第一类特征的评分大于上述预设阈值时,则说明该第一类特征的质量较高,从而,该第一类特征的准确性较高。这样,在这种情况下,电子设备可以确定可以利用该第一类特征,在上述第一对应关系中,查找与该第一类特征对应的身份信息。
相应的,针对每个轨迹片段,当该轨迹片段所对应对象的第一类特征的评分不大于上述预设阈值时,则说明该第一类特征的质量较差,从而,该第一类特征的准确性较低。这样,在这种情况下,电子设备可以确定无法利用该第一类特征,在上述第一对应关系中,查找与该第一类特征对应的身份信息。
基于此,当该轨迹片段所对应对象的第一类特征的评分不大于上述预设阈值时,电子设备便可以为该轨迹片段添加第三指定身份信息,从而,该所添加的第三指定身份信息即可以作为该轨迹片段所对应对象的身份信息。
需要说明的是,电子设备可以采用任意对所提取的第一类特征进行评分的方法,为该第一类特征进行评分。例如,当所提取的第一类特征为人脸模型时,便可以对人脸模型的各个维度进行加权计算,得到第一类特征的评分,示例性的,对人脸模型的瞳距、清晰度等进行加权计算;当所提取到的第一类特征为人脸模型时,便可以对人体模型的各个维度进行加权计算,得到第一类特征的评分,示例性的,对人脸模型的完整性、朝向、遮挡程度等进行加权计算。
并且,可选的,上述预设阈值可以是在考虑到所构建的移动轨迹的准确性要求的前提下,技术人员根据工作经验确定的,例如,可以为70分、80分或85分等,这都是合理的。
可选的,当上述各个对象为人员时,则上述所确定的对象的第一类特征便可以为人员的人脸模型。进而,可以为所确定的各个人脸模型进行评分。从而,针对所确定的每个人脸模型,当该人脸模型的评分大于预设阈值时,便可以执行上述步骤步骤1031-步骤1033;否则,便可以执行上述步骤步骤1034。
其中,针对所确定的每个人脸模型,当该人脸模型的评分不大于预设阈值时,从而,电子设备可以为该轨迹片段添加“身份不明标记”,从而,所添加的“身份不明标记”即为该轨迹片段所对应人员的身份信息。
需要说明的是,可选的,当上述各个对象为人员时,上述第一指定身份信息和第三指定身份信息可以相同,例如,均可以为“陌生人标记”。其中,当存在多个无法利用上述第一对应关系确定人员身份信息的轨迹片段时,可以根据每个无法利用上述第一对应关系确定人员身份信息的轨迹片段的确定顺序,对为该无法确定身份信息的轨迹片段添加的“陌生人标记”进行编号,以便于对各个无法确定人员身份信息的轨迹片段进行区分。
例如,“陌生人标记1”、“陌生人标记2”、“陌生人标记3”等。
进一步的,可选的,一种具体实现方式中,本发明实施例提供的一种移动轨迹构建方法还可以包括如下步骤2:
步骤2:针对每个轨迹片段,当第一对应关系中记录的该轨迹片段的身份信息对应的第一类特征的评分小于所确定的该轨迹片段所对应对象的第一类特征的评分时,将第一对应关系中记录的该轨迹片段的身份信息对应的第一类特征替换为所确定的该轨迹片段所对应对象的第一类特征。
在本具体实现方式中,由于第一对应关系所记录的是各个第一类特征和各个身份信息的对应关系,因此,针对每个轨迹片段,当在第一对应关系中查找到与该轨迹片段所对应对象的第一类特征相对应的身份信息时,第一对应关系中同样记录了所查找到的身份信息对应的第一类特征。
进而,当第一对应关系中记录的所查找到的身份信息对应的第一类特征的评分,小于该轨迹片段所对应对象的第一类特征的评分时,电子设备可以利用该轨迹片段所对应对象的第一类特征对第一对应关系进行更新,即电子设备可以将第一对应关系中记录的该轨迹片段的身份信息对应的第一类特征替换为所确定的该轨迹片段所对应对象的第一类特征,从而,更新后的第一对应关系中记录的所查找到的身份信息对应的第一类特征为所确定的该轨迹片段所对应对象的第一类特征。这样,相对于更新前,更新后的第一对应关系中记录的所查找到的身份信息对应的第一类特征的评分提高了,从而,可以使得使得更新后的第一对应关系更加全面且更加准确。
例如,针对轨迹片段1,该轨迹片段1所对应对象的第一类特征为第一类特征1,在第一对应关系中记录了第一类特征3与身份信息3的对应关系。从而,当第一类特征1和第一类特征3的相似度大于预设相似度时,便可以确定轨迹片段1所对应对象的身份信息为身份信息3。进一步的,当第一类特征1的评分大于第一类特征3的评分时,电子设备便可以将第一对应关系中的第一类特征3替换为第一类特征1,则更新后的第一对应关系中记录了第一类特征1与身份信息3的对应关系。
下面,对上述步骤S104中“基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作”的步骤的具体实现方式进行举例说明。
可选的,一种具体实现方式中,上述步骤S104中“基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作”的步骤,可以包括如下步骤1044-1045:
步骤1044:将该预设周期内,身份信息与已生成的任一历史轨迹的身份信息相同的轨迹片段,以及任一历史轨迹进行合并;
步骤1045:对该预设周期内的剩余轨迹片段中,属于同一对象的各个轨迹片段执行合并操作;
其中,剩余轨迹片段为:该预设周期内未与任一历史轨迹片段进行合并的各个轨迹片段。
针对每个预设周期,由于该预设周期可能不是第一个预设周期,因此,在对该预设周期内的各个轨迹片段执行合并操作时,存在基于该预设周期之前的各个预设周期内的各个轨迹片段生成的历史轨迹,并且,确定了各个历史轨迹所对应的身份信息,即确定了各个历史轨迹的身份信息。
基于此,由于针对每个预设周期,已经确定了该预设周期内的每个轨迹片段的身份信息,因此,针对该预设周期内的每个轨迹片段,可以首先确定已生成的历史轨迹中,是否存在身份信息与该轨迹片段的身份信息相同的历史轨迹。进而,如果存在,便可以将该轨迹片段以及上述身份信息与该轨迹片段的身份信息相同的历史轨迹进行合并。
也就是说,针对每个预设周期,可以首先将该预设周期内,身份信息与已生成的任一历史轨迹的身份信息相同的轨迹片段,以及上述与该轨迹片段的身份信息相同的历史轨迹进行合并。
其中,所谓将该预设周期内,身份信息与已生成的任一历史轨迹的身份信息相同的轨迹片段,以及上述与该轨迹片段的身份信息相同的历史轨迹进行合并是指:将该预设周期内的轨迹片段的第一个轨迹点与历史轨迹中的最后一个轨迹点进行连接,从而,得到一个所包括的轨迹点数量增加的新的历史轨迹。进而,该新的历史轨迹的最后一个轨迹点为该预设周期内的轨迹片段的最后一个轨迹点,该新的历史轨迹包括的轨迹点的数量为:将该预设周期内的轨迹片段中的轨迹点与合并前的历史轨迹中的轨迹点的数量和。
例如,某个预设周期内的轨迹片段1的身份信息为a,存在历史轨迹X的身份信息为a,则可以将该轨迹片段1中的第一个轨迹点与该历史轨迹X中的最后一个轨迹点进行连接,得到包括历史轨迹X和轨迹片段1中的全部轨迹点的新的历史轨迹,该新的历史轨迹的最后一个轨迹点为轨迹片段1的最后一个轨迹点。
进而,针对该预设周期内身份信息与已生成的全部历史轨迹的身份信息均不相同的各个剩余轨迹片段,由于各个剩余轨迹片段均不能与已生成的历史轨迹进行合并,则可以确定该预设周期内的剩余轨迹片段中,属于同一对象的各个轨迹片段,进而,对所确定的属于同一对象的各个轨迹片段执行合并操作。
其中,可选的,在上述步骤1045中,对该预设周期内的剩余轨迹片段中,属于同一对象的各个轨迹片段执行合并操作中,对于各个剩余轨迹片段,可以优先将身份信息相同的各个剩余轨迹片段进行合并;则此时,可以存在三类轨迹片段:不存在身份信息的各个剩余轨迹片段、身份信息且与其他存在身份信息的轨迹片段的身份信息均不相同的各个剩余轨迹片段,以及对身份信息相同的各个剩余轨迹片段进行合并得到的各个轨迹片段。
这样,便可以将上述三类轨迹片段中的每个轨迹片段与各个历史轨迹进行对比,以得到该轨迹片段与每个历史轨迹的相似度。这样,当该轨迹片段与某个历史轨迹的相似度大于指定阈值时,便可以将该轨迹片段与该历史轨迹进行合并;否则,则可以将该轨迹片段确定为单独的新的轨迹中的片段。
其中,上述轨迹片段与历史轨迹的相似度可以为:该轨迹片段与历史轨迹的特征相似度、时空相似度和拓扑关系按权重进行加和所得到的和值。
其中,可选的,一种具体实现方式中,上述步骤1045可以包括如下步骤1045a-1045b:
步骤1045a:对该预设周期内的剩余轨迹片段中,身份信息相同的各个轨迹片段执行合并操作;
步骤1045b:针对剩余轨迹片段中的每个未合并轨迹片段,确定与该轨迹片段的相似度大于预设相似度的每个其他轨迹片段,对该轨迹片段以及所确定的每个其他轨迹片段执行合并操作;
其中,其他轨迹片段为:该预设周期内除该轨迹片段之外的轨迹片段。
针对每个预设周期内的各个剩余轨迹片段,由于已经确定了每个剩余轨迹片段是否存在身份信息,以及存在身份信息的各个剩余轨迹片段的身份信息,则身份信息相同的剩余轨迹片段所对应的对象即为同一对象,从而,可以首先对各个剩余轨迹片段中,身份信息相同的各个轨迹片段执行合并操作。
其中,所谓对该预设周期内的剩余轨迹片段中,身份信息相同的各个轨迹片段执行合并操作,即按照身份信息相同的各个轨迹片段中的轨迹点的采集时间,对各个轨迹片段进行拟合,从而,得到一条轨迹片段,该轨迹片段表征的是具有上述相同的身份信息的对象在该预设周期内的移动轨迹。
可选的,对该预设周期内的剩余轨迹片段中,身份信息相同的各个轨迹片段执行合并操作可以为:对各个轨迹片段中采集时间相同的轨迹点进行拟合,从而,将多个采集时间相同的轨迹点拟合成一个轨迹点,将上述拟合得到的各个轨迹点以及各个轨迹片段中剩余的不能与其他轨迹点拟合的各个轨迹点进行曲线拟合,从而,生成一条新的轨迹片段,该新的轨迹片段中所包括的轨迹点的数量为:上述拟合得到的各个轨迹点以及各个轨迹片段中剩余的不能与其他轨迹点拟合的各个轨迹点的数量和。
进而,在对该预设周期内的剩余轨迹片段中,身份信息相同的各个轨迹片段执行合并操作后,则剩余轨迹片段中仍然未进行合并操作的各个未合并轨迹片段的身份信息互不相同。
基于此,针对剩余轨迹片段中的每个未合并轨迹片段,可以进步一确定与该轨迹片段的相似度大于预设相似度的每个其他轨迹片段,对该轨迹片段以及所确定的每个其他轨迹片段执行合并操作;
其中,其他轨迹片段为:该预设周期内除该轨迹片段之外的轨迹片段。
需要说明的是,所谓对该轨迹片段以及所确定的每个其他轨迹片段执行合并操作的方式,与上述对该预设周期内的剩余轨迹片段中,身份信息相同的各个轨迹片段执行合并操作的方式相同,在此不再赘述。
其中,可选的,一种具体实现方式中,上述步骤1045b中,每个未合并轨迹片段与每个其他轨迹片段的相似度的计算方式,可以包括如下步骤3:
步骤3:基于该预设周期内的各个轨迹片段所对应对象的第二类特征、各个轨迹片段的时空特征和/或各个轨迹片段对应的图像采集设备的拓扑关系,计算每个未合并轨迹片段与每个其他轨迹片段的相似度;
其中,每个轨迹片段对应的图像采集设备为:用于采集生成该轨迹片段的视频帧的图像采集设备。
在本具体实现方式中,针对每个轨迹片段,电子设备可以从用于生成该轨迹片段的各个指定视频帧中提取该轨迹片段所对应对象的第二类特征。
可选的,当上述各个对象为人员时,上述所确定的对象的第二类特征便可以为人员的人体模型;进而,针对每个轨迹片段,电子设备便可以从用于生成该轨迹片段的各个指定视频帧中提取该轨迹片段所对应人员的人体模型。
此外,电子设备还可以确定各个轨迹片段的时空特征和/或各个轨迹片段对应的图像采集设备的拓扑关系。
这样,电子设备便可以基于该预设周期内的各个轨迹片段所对应对象的第二类特征、各个轨迹片段的时空特征和/或各个轨迹片段对应的图像采集设备的拓扑关系,计算每个未合并轨迹片段与每个其他轨迹片段的相似度。
其中,所谓拓扑关系是指设备之间的相邻关系。进而,如果某个对象在经过某个图像采集设备的采集区域后,可能会立即进入的下一个图像采集设备的采集区域,则这些图像采集设备之间存在拓扑关系。例如,某个对象经过图像采集设备A的采集区域后,可能会进入图像采集设备B的采集区域,也可能会进入图像采集设备C的采集区域,则图像采集设备A、B和C之间存在拓扑关系。
这样,针对每两个轨迹片段,该两个轨迹片段中,每个轨迹片段对应的图像采集设备的拓扑关系可以用来判断该两个轨迹片段是否是相邻相机采集的。
其中,若该两个轨迹片段对应的图像采集设备之间不存在拓扑关系,则该两个轨迹片段可以不进行合并;并进一步根据该两个轨迹片段对应的图像采集设备的拓扑关系,以及该两个轨迹片段对应的图像采集设备的空间位置,判断该两个轨迹片段对应的图像采集设备之间的距离,并确定该两个轨迹片段的采集时间的时间间隔;进而,当上述时间间隔在指定的时间间隔内,则采集时间在前的轨迹片段对应的对象存在移动形成采集时间在后的轨迹片段的可能,从而,便可以进一步计算该两个轨迹片段的相似度;
相应的,若该两个轨迹片段对应的图像采集设备之间存在拓扑关系,则可以直接继续计算该两个轨迹片段的时空特征,以得到该两个轨迹片段的相似度。
其中,轨迹片段的时空特征主要包含轨迹片段的时间、距离、形状、运动方向和速度等各个方面。
具体的:针对每两条轨迹片段,可以计算该两条轨迹片段的重叠时间;并且,若该两条轨迹片段重叠时,则可以计算该两条轨迹片段之间的平均距离、若该两条轨迹片段不重叠时,则可以计算该两条轨迹片段的最近距离;此外,还可以计算该两条轨迹片段的曲率、运动方向的向量余弦值,以及真实速度。
这样,可以在上述多个方面中,确定用于计算轨迹片段的相似度的方面,从而,通过对所确定的各个方面的权重计算,便可以计算每两条轨迹片段的相似度。其中,每个方面可以具有不同的权重。
下面,对上述步骤S105中“确定该对象的身份信息”的步骤的具体实现方式进行举例说明。
可选的,一种具体实现方式中,上述步骤S105中“确定该对象的身份信息”的步骤可以包括如下步骤1051-1055:
步骤1051:确定该对象的移动轨迹所包括的各个轨迹片段中,是否存在身份信息为第一类身份信息的轨迹片段;若存在,则执行步骤1052,否则,执行步骤1053;
其中,第一类身份信息为:预设的第一类特征与身份信息的第一对应关系中记录的身份信息;
步骤1052:将该身份信息为第一类身份信息的轨迹片段的身份信息,确定为该对象的身份信息;
步骤1053:在预设的第二类特征与身份信息的第二对应关系中,查找与该对象的第二类特征对应的身份信息;当查找到时,执行步骤1054,当未查找到时,执行步骤1055;
其中,该对象的第二类特征是基于该对象的移动轨迹所包括的各个轨迹片段所对应对象的第二类特征确定的;
步骤1054:将所查到的身份信息确定为该对象的身份信息;
步骤1055:为该对象添加第二指定身份信息,作为该对象的身份信息。
在本具体实现方式中,所确定的每个对象的移动轨迹是由至少一个轨迹片段构成的,而每个轨迹片段具有身份信息,从而,当该对象的移动轨迹所包括的各个轨迹片段中,存在身份信息为第一类身份信息的轨迹片段时,则电子设备便可以将该身份信息为第一类身份信息的轨迹片段的身份信息,确定为该对象的身份信息。
相应的,当该对象的移动轨迹所包括的各个轨迹片段中,不存在身份信息为第一类身份信息的轨迹片段时,电子设备便可以根据该移动轨迹所包括的各个轨迹片段所对应对象的第二类特征,确定该对象的第二类特征。
这样,,可以预先设置各个第二类特征与各个身份信息的第二对应关系,从而,当该对象的移动轨迹所包括的各个轨迹片段中,不存在身份信息为第一类身份信息的轨迹片段时,电子设备便可以在上述第二对应关系中,查找与该对象的第二类特征对应的身份信息。
其中,其中,电子设备可以通过多种方式在上述预先设置的第一对应关系中,查找与该轨迹片段所对应对象的第一类特征相对应的身份信息,对此,本发明实施例不做具体限定。
例如,电子设备可以计算该轨迹片段所对应对象的第一类特征与上述第一对应关系中所记录的各个第一类特征的相似度,当上述第一对应关系中存在与该轨迹片段所对应对象的第一类特征的相似度大于预设相似度的第一类特征时,则上述第一对应关系中所记录的该第一类特征对应的身份信息即为该轨迹片段所对应对象的第一类特征相对应的身份信息。
其中,针对每个轨迹片段,当在上述第一对应关系中,查找到与所确定的该轨迹片段所对应对象的第一类特征相对应的身份信息时,那么,便可以将所查找到的身份信息确定为该轨迹片段所对应对象的身份信息;
相应的,当在上述第一对应关系中,未查找到与所确定的该轨迹片段所对应对象的第一类特征相对应的身份信息时,电子设备可以为该轨迹片段添加第一指定身份信息,从而,该所添加的第一指定身份信息即可以作为该轨迹片段所对应对象的身份信息。
需要说明的是,上述第一对应关系可以存储在执行本发明实施例提供的一种移动轨迹构建方法的电子设备中,也可以存储在能够与执行本发明实施例提供的一种移动轨迹构建方法的电子设备进行信息交互的其他电子设备。这都是合理的。
其中,电子设备可以通过多种方式在上述预先设置的第二对应关系中,查找与该轨迹片段所对应对象的第二类特征相对应的身份信息,对此,本发明实施例不做具体限定。
例如,电子设备可以计算该对象的第二类特征与上述第二对应关系中所记录的各个第二类特征的相似度,当上述第二对应关系中存在与该对象的第二类特征的相似度大于预设相似度的第二类特征时,则上述第二对应关系中所记录的该第二类特征对应的身份信息即为该对象的第二类特征相对应的身份信息。
其中,针对每个对象,当在上述第二对应关系中,查找到与所确定的该对象的第二类特征相对应的身份信息时,那么,便可以将所查找到的身份信息确定为该对象的身份信息;
相应的,当在上述第二对应关系中,未查找到与所确定的该轨迹片段所对应对象的第一类特征相对应的身份信息时,电子设备可以为该轨迹片段添加第二指定身份信息,从而,该所添加的第二指定身份信息即可以作为该对象的身份信息。
需要说明的是,上述第二对应关系可以存储在执行本发明实施例提供的一种移动轨迹构建方法的电子设备中,也可以存储在能够与执行本发明实施例提供的一种移动轨迹构建方法的电子设备进行信息交互的其他电子设备。这都是合理的。
可选的,当上述各个对象为人员时,则上述所确定的对象的第二类特征便可以为人员的人体模型。进而,可以预先设置各个人体模型与各个人员身份信息的第二对应关系。
其中,该人员身份信息可以包括:姓名、籍贯、年龄、履历、身份证号等各类信息中的一种或多种。当然,还可以包括其他类型的信息。
从而,针对每个人员,便可以在上述第二对应关系中查找与该人员的人体模型相对应的人员身份信息,从而,当查找到时,所查找到的人员身份信息即为该人员的身份信息;当未查找到时,则说明该人员可能是第一次出现在当前场景下,从而,电子设备可以为该人员添加“陌生人标记”,从而,所添加的“陌生人标记”即为该人员的身份信息。
需要说明的是,可选的,当上述各个对象为人员时,上述第二指定身份信息与上述其他具体实现方式中的第一指定身份信息和第三指定身份信息可以相同,例如,均可以为“陌生人标记”。其中,当存在多个无法利用上述第二对应关系确定人员身份信息的对象时,可以根据每个无法利用上述第二对应关系确定人员身份信息的对象的确定顺序,对为该无法确定身份信息的对象添加的“陌生人标记”进行编号,以便于对各个无法确定人员身份信息的对象进行区分。
例如,“陌生人标记1”、“陌生人标记2”、“陌生人标记3”等。
进一步的,可选的,一种具体实现方式中,本发明实施例提供的一种移动轨迹构建方法还可以包括如下步骤4:
步骤4:针对每个对象,当第二对应关系中记录的该对象的身份信息对应的第二类特征的评分小于所确定的该对象的第二类特征的评分时,将第二对应关系中记录的该对象的身份信息对应的第二类特征替换为所确定的该对应对象的第二类特征。
在本具体实现方式中,由于第二对应关系所记录的是各个第二类特征和各个身份信息的对应关系,因此,针对每个对象,当在第二对应关系中查找到与该对象的第二类特征相对应的身份信息时,第二对应关系中同样记录了所查找到的身份信息对应的第二类特征。
进而,当第二对应关系中记录的所查找到的身份信息对应的第二类特征的评分,小于该对象的第二类特征的评分时,电子设备可以利用该对象的第二类特征对第二对应关系进行更新,即电子设备可以将第二对应关系中记录的该对象的身份信息对应的第二类特征替换为所确定的该对象的第二类特征,从而,更新后的第二对应关系中记录的所查找到的身份信息对应的第二类特征为所确定的该对象的第二类特征。这样,相对于更新前,更新后的第二对应关系中记录的所查找到的身份信息对应的第二类特征的评分提高了,从而,可以使得使得更新后的第二对应关系更加全面且更加准确。
例如,针对对象2,该对象2的第二类特征为第二类特征2,在第二对应关系中记录了第二类特征4与身份信息4的对应关系。从而,当第二类特征2和第二类特征4的相似度大于预设相似度时,便可以确定对象2的身份信息为身份信息4。进一步的,当第二类特征2的评分大于第二类特征4的评分时,电子设备便可以将第二对应关系中的第二类特征4替换为第二类特征2,则更新后的第二对应关系中记录了第二类特征2与身份信息4的对应关系。
此外,当上述步骤S1053的查找结果为找到时,则可以确定上述第二对应关系中,记录了该对象的第二类特征与身份信息的对应关系,而上述第一对应关系中,未记录构成该对象的各个轨迹片段所对应对象的第一类特征与身份信息的对应关系。并且,可以确定在上述第二对应关系中所确定的该对象的身份信息即为:构成该对象的各个轨迹片段所对应对象的第一类特征所对应的身份信息。
基于此,可选的,一种具体实现方式中,本发明实施例提供的一种移动轨迹构建方法还可以包括如下步骤5:
步骤5:当在第二对应关系中,查找到与该对象的第二类特征对应的身份信息时,在第一对应关系中添加所查找到的身份信息与构成该对象的各个轨迹片段所对应对象的第一类信息的对应关系。
在本具体实现方式中,当在第二对应关系中,查找到与该对象的第二类特征对应的身份信息时,电子设备便可以在第一对应关系中添加所查找到的身份信息与构成该对象的各个轨迹片段所对应对象的第一类信息的对应关系,从而,可以实现对第一对应关系的更新,使得第一对象关系更加的全面。
进一步的,可选的,一种具体实现方式中,在本发明实施例提供的一种移动轨迹构建方法中,对于身份信息为所添加的第二指定身份信息的对象,电子设备可以存储该对象的移动轨迹和身份信息,从而,在后续对第一对应关系和/或第二对应关系进行更新后,可以重新利用更新后的第一对应关系和/或第二对应关系,确定该对象的身份信息。
其中,可选的,本发明实施例中的第一对应关系和/或第二对应关系可以按照预设更新周期进行定时更新。
例如,在第一对应关系和/或第二对应关系中定时添加新的第一类特征与身份信息的对应关系和/或新的第二类特征与身份信息的对应关系等。
相应于上述本发明实施例提供的一种移动轨迹构建方法,本发明实施例提供了一种移动轨迹构建装置。
图2为本发明实施例提供的一种移动轨迹构建装置的结构示意图。如图2所示,该装置可以包括如下模块:
视频流获取模块210,用于获取图像采集设备上报的视频流;
片段生成模块220,用于针对每个预设周期,将该预设周期内的各个指定视频帧中,关于同一对象的轨迹点进行合并,生成所述各个指定视频帧中存在的各个对象在该预设周期内的轨迹片段;其中,每个预设周期内的各个指定视频帧为:按照预设的选取规则,从所述视频流中选取的采集时间位于每个预设周期内的各个视频帧;
信息确定模块230,用于基于每个轨迹片段所对应对象的第一类特征,确定该轨迹片段所对应对象的身份信息,作为该轨迹片段的身份信息;
片段合并模块240,用于针对每个预设周期,基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作;
轨迹构建模块250,用于针对所选取的各个指定视频帧中存在的每个对象,在该对象的全部轨迹片段的合并操作执行完成后,得到该对象的移动轨迹,并确定该对象的身份信息。
以上可见,应用本发明实施例提供的方案,在获取到图像采集设备上报的视频流后,可以按照预设的选取规则,从该视频流中选取采集时间位于每个预设周期内的视频帧,得到每个预设周期内的各个指定视频帧。从而,可以针对每个预设周期,将该预设周期内的各个指定视频帧中,关于同一对象的轨迹点进行合并,生成各个指定视频帧中存在的各个对象在该预设周期内的轨迹片段。进而,便可以首先根据每个轨迹片段所对应对象的第一类特征,确定该轨迹片段所对应对象的身份信息,从而,得到该轨迹片段的身份信息。进一步的,针对每个预设周期,便可以基于该预设周期内的各个轨迹片段的身份信息,对该轨迹片段执行合并操作。这样,针对所选取的各个指定视频帧中存在的每个对象,在该对象的全部轨迹片段的合并操作执行完成后,得到该对象的移动轨迹,并确定该对象的身份信息。
其中,各个轨迹片段是基于所选取的各个指定视频帧生成的。这样,由于连续的两个指定视频帧之间的采集时间间隔较小,从而,连续的两个指定视频帧中同一对象的轨迹点的距离较近,因此,所得到的轨迹片段中轨迹点的密度较高。进而,根据上述轨迹片段所构建的移动轨迹中轨迹点的密度较高,可以更精准地反应目标对象的实际移动过程。
基于此,应用本发明实施例提供的方案,能够提高所构建的对象的移动轨迹的精度,从而,可以更准确地对目标对象进行行为分析。
此外,应用本发明实施例提供的方案,可以不依赖于具体场景中的各个标定点位,从而,本发明实施例提供的方案可以更广泛地应用于各类场景中。
可选的,一种具体实现方式中,所述装置还包括:
时长判断模块,用于在所述基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作之前,针对该预设周期内的每个轨迹片段,判断该轨迹片段对应的视频流时长是否小于预设时长且该轨迹片段的结束时刻是否为该预设周期的结束时刻;若判断结果均为是,执行轨迹缓存模块,否则,执行所述片段合并模块;
所述轨迹缓存模块,用于缓存该轨迹片段,并在该预设周期的下一周期内,将该轨迹片段与所对应的所述下一周期内的目标轨迹片段进行合并,得到所述下一周期内的轨迹片段;其中,该轨迹片段所对应的所述下一周期内的所述目标轨迹片段为:所述下一周期内的标定标识与该轨迹片段的标定标识相同的轨迹片段;每个轨迹片段的标定标识为:所述图像采集设备为该轨迹片段所对应对象设置的标定标识。
可选的,一种具体实现方式中,所述片段合并模块240包括:
第一合并子模块,用于将该预设周期内,身份信息与已生成的任一历史轨迹的身份信息相同的轨迹片段,以及所述任一历史轨迹进行合并;
第二合并子模块,用于对该预设周期内的剩余轨迹片段中,属于同一对象的各个轨迹片段执行合并操作;其中,所述剩余轨迹片段为:该预设周期内未与任一历史轨迹片段进行合并的各个轨迹片段。
可选的,一种具体实现方式中,所述第二合并子模块具体用于:
对该预设周期内的剩余轨迹片段中,身份信息相同的各个轨迹片段执行合并操作;
针对所述剩余轨迹片段中的每个未合并轨迹片段,确定与该轨迹片段的相似度大于预设相似度的每个其他轨迹片段,对该轨迹片段以及所确定的每个其他轨迹片段执行合并操作;
其中,所述其他轨迹片段为:该预设周期内除该轨迹片段之外的轨迹片段。
可选的,一种具体实现方式中,所述轨迹构建模块具体用于:
确定该对象的移动轨迹所包括的各个轨迹片段中,是否存在身份信息为第一类身份信息的轨迹片段;其中,所述第一类身份信息为:预设的第一类特征与身份信息的第一对应关系中记录的身份信息;
若存在,则将该身份信息为所述第一类身份信息的轨迹片段的身份信息,确定为该对象的身份信息;
若不存在,则在预设的第二类特征与身份信息的第二对应关系中,查找与该对象的第二类特征对应的身份信息;其中,该对象的第二类特征是基于该对象的移动轨迹所包括的各个轨迹片段所对应对象的第二类特征确定的;
当查找到时,将所查到的身份信息确定为该对象的身份信息;
当未查找到时,为该对象添加第二指定身份信息,作为该对象的身份信息。
相应于上述本发明实施例提供的一种移动轨迹构建方法,本发明实施例还提供了一种电子设备,如图3所示,包括处理器301、通信接口302、存储器303和通信总线304,其中,处理器301,通信接口302,存储器303通过通信总线304完成相互间的通信,
存储器303,用于存放计算机程序;
处理器301,用于执行存储器303上所存放的程序时,实现上述本发明实施例提供的任一移动轨迹构建方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述本发明实施例提供的任一移动轨迹构建方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述本发明实施例提供的任一移动轨迹构建方法的步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例、电子设备实施例、计算机可读存储介质实施例,以及计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种移动轨迹构建方法,其特征在于,所述方法包括:
获取图像采集设备上报的视频流;
针对每个预设周期,将该预设周期内的各个指定视频帧中,关于同一对象的轨迹点进行合并,生成所述各个指定视频帧中存在的各个对象在该预设周期内的轨迹片段;其中,每个预设周期内的各个指定视频帧为:按照预设的选取规则,从所述视频流中选取的采集时间位于每个预设周期内的各个视频帧;
基于每个轨迹片段所对应对象的第一类特征,确定该轨迹片段所对应对象的身份信息,作为该轨迹片段的身份信息;
针对每个预设周期,基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作;
针对所选取的各个指定视频帧中存在的每个对象,在该对象的全部轨迹片段的合并操作执行完成后,得到该对象的移动轨迹,并确定该对象的身份信息;
其中,若所述对象为人员,则所述第一类特征包括所述人员的人脸模型,或者,所述人员的人体模型;
其中,在所述基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作的步骤之前,所述方法还包括:
针对该预设周期内的每个轨迹片段,判断该轨迹片段对应的视频流时长是否小于预设时长且该轨迹片段的结束时刻是否为该预设周期的结束时刻;
若判断结果均为是,则缓存该轨迹片段,并在该预设周期的下一周期内,将该轨迹片段与所对应的所述下一周期内的目标轨迹片段进行合并,得到所述下一周期内的轨迹片段;其中,该轨迹片段所对应的所述下一周期内的所述目标轨迹片段为:所述下一周期内与该轨迹片段的标定标识相同的轨迹片段;每个轨迹片段的标定标识为:所述图像采集设备为该轨迹片段所对应对象设置的标定标识;
否则,执行所述基于该预设周期内的每个轨迹片段对应的身份信息,对该轨迹片段执行合并操作的步骤。
2.根据权利要求1所述的方法,其特征在于,所述基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作的步骤,包括:
将该预设周期内,身份信息与已生成的任一历史轨迹的身份信息相同的轨迹片段,以及所述任一历史轨迹进行合并;
对该预设周期内的剩余轨迹片段中,属于同一对象的各个轨迹片段执行合并操作;其中,所述剩余轨迹片段为:该预设周期内未与任一历史轨迹片段进行合并的各个轨迹片段。
3.根据权利要求2所述的方法,其特征在于,所述对该预设周期内的剩余轨迹片段中,属于所述同一对象的各个轨迹片段执行合并操作的步骤,包括:
对该预设周期内的剩余轨迹片段中,身份信息相同的各个轨迹片段执行合并操作;
针对所述剩余轨迹片段中的每个未合并轨迹片段,确定与该轨迹片段的相似度大于预设相似度的每个其他轨迹片段,对该轨迹片段以及所确定的每个其他轨迹片段执行合并操作;
其中,所述其他轨迹片段为:该预设周期内除该轨迹片段之外的轨迹片段。
4.根据权利要求1所述的方法,其特征在于,所述确定所述同一对象的身份信息的步骤,包括:
确定该对象的移动轨迹所包括的各个轨迹片段中,是否存在身份信息为第一类身份信息的轨迹片段;其中,所述第一类身份信息为:预设的第一类特征与身份信息的第一对应关系中记录的身份信息;
若存在,则将该身份信息为所述第一类身份信息的轨迹片段的身份信息,确定为该对象的身份信息;
若不存在,则在预设的第二类特征与身份信息的第二对应关系中,查找与该对象的第二类特征对应的身份信息;其中,该对象的第二类特征是基于该对象的移动轨迹所包括的各个轨迹片段所对应对象的第二类特征确定的;
当查找到时,将所查到的身份信息确定为该对象的身份信息;
当未查找到时,为该对象添加第二指定身份信息,作为该对象的身份信息;
其中,若所述对象为人员,则所述第二类特征包括所述人员的人体模型。
5.一种移动轨迹构建装置,其特征在于,所述装置包括:
视频流获取模块,用于获取图像采集设备上报的视频流;
片段生成模块,用于针对每个预设周期,将该预设周期内的各个指定视频帧中,关于同一对象的轨迹点进行合并,生成所述各个指定视频帧中存在的各个对象在该预设周期内的轨迹片段;其中,每个预设周期内的各个指定视频帧为:按照预设的选取规则,从所述视频流中选取的采集时间位于每个预设周期内的各个视频帧;
信息确定模块,用于基于每个轨迹片段所对应对象的第一类特征,确定该轨迹片段所对应对象的身份信息,作为该轨迹片段的身份信息;
片段合并模块,用于针对每个预设周期,基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作;
轨迹构建模块,用于针对所选取的各个指定视频帧中存在的每个对象,在该对象的全部轨迹片段的合并操作执行完成后,得到该对象的移动轨迹,并确定该对象的身份信息;
其中,若所述对象为人员,则所述第一类特征包括所述人员的人脸模型,或者,所述人员的人体模型;
其中,所述装置还包括:
时长判断模块,用于在所述基于该预设周期内的每个轨迹片段的身份信息,对该轨迹片段执行合并操作之前,针对该预设周期内的每个轨迹片段,判断该轨迹片段对应的视频流时长是否小于预设时长且该轨迹片段的结束时刻是否为该预设周期的结束时刻;若判断结果均为是,执行轨迹缓存模块,否则,执行所述片段合并模块;
所述轨迹缓存模块,用于缓存该轨迹片段,并在该预设周期的下一周期内,将该轨迹片段与所对应的所述下一周期内的目标轨迹片段进行合并,得到所述下一周期内的轨迹片段;其中,该轨迹片段所对应的所述下一周期内的所述目标轨迹片段为:所述下一周期内与该轨迹片段的标定标识相同的轨迹片段;每个轨迹片段的标定标识为:所述图像采集设备为该轨迹片段所对应对象设置的标定标识。
6.根据权利要求5所述的装置,其特征在于,所述片段合并模块包括:
第一合并子模块,用于将该预设周期内,身份信息与已生成的任一历史轨迹的身份信息相同的轨迹片段,以及所述任一历史轨迹进行合并;
第二合并子模块,用于对该预设周期内的剩余轨迹片段中,属于同一对象的各个轨迹片段执行合并操作;其中,所述剩余轨迹片段为:该预设周期内未与任一历史轨迹片段进行合并的各个轨迹片段。
7.根据权利要求6所述的装置,其特征在于,所述第二合并子模块具体用于:
对该预设周期内的剩余轨迹片段中,身份信息相同的各个轨迹片段执行合并操作;
针对所述剩余轨迹片段中的每个未合并轨迹片段,确定与该轨迹片段的相似度大于预设相似度的每个其他轨迹片段,对该轨迹片段以及所确定的每个其他轨迹片段执行合并操作;
其中,所述其他轨迹片段为:该预设周期内除该轨迹片段之外的轨迹片段。
8.根据权利要求5所述的装置,其特征在于,所述轨迹构建模块具体用于:
确定该对象的移动轨迹所包括的各个轨迹片段中,是否存在身份信息为第一类身份信息的轨迹片段;其中,所述第一类身份信息为:预设的第一类特征与身份信息的第一对应关系中记录的身份信息;
若存在,则将该身份信息为所述第一类身份信息的轨迹片段的身份信息,确定为该对象的身份信息;
若不存在,则在预设的第二类特征与身份信息的第二对应关系中,查找与该对象的第二类特征对应的身份信息;其中,该对象的第二类特征是基于该对象的移动轨迹所包括的各个轨迹片段所对应对象的第二类特征确定的;
当查找到时,将所查到的身份信息确定为该对象的身份信息;
当未查找到时,为该对象添加第二指定身份信息,作为该对象的身份信息;
其中,若所述对象为人员,则所述第二类特征包括所述人员的人体模型。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-4任一所述方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-4任一所述方法。
CN202011589254.3A 2020-12-29 2020-12-29 一种移动轨迹构建方法及装置 Active CN112712013B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011589254.3A CN112712013B (zh) 2020-12-29 2020-12-29 一种移动轨迹构建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011589254.3A CN112712013B (zh) 2020-12-29 2020-12-29 一种移动轨迹构建方法及装置

Publications (2)

Publication Number Publication Date
CN112712013A CN112712013A (zh) 2021-04-27
CN112712013B true CN112712013B (zh) 2024-01-05

Family

ID=75546062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011589254.3A Active CN112712013B (zh) 2020-12-29 2020-12-29 一种移动轨迹构建方法及装置

Country Status (1)

Country Link
CN (1) CN112712013B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016042306A (ja) * 2014-08-18 2016-03-31 株式会社リコー 軌跡描画装置、軌跡描画方法、軌跡描画システム、及びプログラム
GB201620736D0 (en) * 2016-12-06 2017-01-18 Canon Kk Methods, devices and computer programs for distance metric generation, error detection and correction in trajectories for mono-camera tracking
CN108470353A (zh) * 2018-03-01 2018-08-31 腾讯科技(深圳)有限公司 一种目标跟踪方法、装置和存储介质
CN108875666A (zh) * 2018-06-27 2018-11-23 腾讯科技(深圳)有限公司 运动轨迹的获取方法、装置、计算机设备及存储介质
CN111159582A (zh) * 2019-12-20 2020-05-15 北京邮电大学 一种移动对象轨迹数据的处理方法及装置
CN111222404A (zh) * 2019-11-15 2020-06-02 北京市商汤科技开发有限公司 检测同行人的方法及装置、系统、电子设备和存储介质
WO2020114102A1 (zh) * 2018-12-06 2020-06-11 深圳光启超材料技术有限公司 视频追踪方法和系统、存储介质
WO2020191642A1 (zh) * 2019-03-27 2020-10-01 深圳市大疆创新科技有限公司 轨迹预测方法及装置、存储介质、驾驶系统与车辆
CN111784729A (zh) * 2020-07-01 2020-10-16 杭州海康威视数字技术股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN112070071A (zh) * 2020-11-11 2020-12-11 腾讯科技(深圳)有限公司 视频中的对象标注方法、装置、计算机设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7148912B2 (en) * 2003-11-17 2006-12-12 Vidient Systems, Inc. Video surveillance system in which trajectory hypothesis spawning allows for trajectory splitting and/or merging
US8280153B2 (en) * 2009-08-18 2012-10-02 Behavioral Recognition Systems Visualizing and updating learned trajectories in video surveillance systems
US8472669B2 (en) * 2010-03-10 2013-06-25 Texas Instruments Incorporated Object localization using tracked object trajectories
US10366277B2 (en) * 2015-09-22 2019-07-30 ImageSleuth, Inc. Automated methods and systems for identifying and characterizing face tracks in video
US9959468B2 (en) * 2015-11-06 2018-05-01 The Boeing Company Systems and methods for object tracking and classification
US10593049B2 (en) * 2018-05-30 2020-03-17 Chiral Software, Inc. System and method for real-time detection of objects in motion

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016042306A (ja) * 2014-08-18 2016-03-31 株式会社リコー 軌跡描画装置、軌跡描画方法、軌跡描画システム、及びプログラム
GB201620736D0 (en) * 2016-12-06 2017-01-18 Canon Kk Methods, devices and computer programs for distance metric generation, error detection and correction in trajectories for mono-camera tracking
CN108470353A (zh) * 2018-03-01 2018-08-31 腾讯科技(深圳)有限公司 一种目标跟踪方法、装置和存储介质
CN108875666A (zh) * 2018-06-27 2018-11-23 腾讯科技(深圳)有限公司 运动轨迹的获取方法、装置、计算机设备及存储介质
WO2020114102A1 (zh) * 2018-12-06 2020-06-11 深圳光启超材料技术有限公司 视频追踪方法和系统、存储介质
WO2020191642A1 (zh) * 2019-03-27 2020-10-01 深圳市大疆创新科技有限公司 轨迹预测方法及装置、存储介质、驾驶系统与车辆
CN111222404A (zh) * 2019-11-15 2020-06-02 北京市商汤科技开发有限公司 检测同行人的方法及装置、系统、电子设备和存储介质
CN111159582A (zh) * 2019-12-20 2020-05-15 北京邮电大学 一种移动对象轨迹数据的处理方法及装置
CN111784729A (zh) * 2020-07-01 2020-10-16 杭州海康威视数字技术股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN112070071A (zh) * 2020-11-11 2020-12-11 腾讯科技(深圳)有限公司 视频中的对象标注方法、装置、计算机设备及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A real-time trajectory-based ball detection-and-tracking framework for basketball video;Bodhisattwa Chakraborty,et al;Journal of Optics;156-170 *
Trajectory-based vehicle tracking at low frame rates;Giyoung Lee,et al;Expert Systems with Applications;46-57 *
一种利用时空约束轨迹片段关联的目标跟踪方法;王江峰,等;计算机应用研究(第03期);371-373+381 *
基于状态依赖检测的视频运动目标轨迹跟踪算法;龚畅,等;现代电子技术(第07期);59-64 *
对象空间踪迹的自动跟踪与管理;曾承,等;计算机工程(第15期);164-167 *

Also Published As

Publication number Publication date
CN112712013A (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
Chen et al. An edge traffic flow detection scheme based on deep learning in an intelligent transportation system
CN110400332A (zh) 一种目标检测跟踪方法、装置及计算机设备
CN113963445B (zh) 一种基于姿态估计的行人摔倒动作识别方法及设备
CN109961106B (zh) 轨迹分类模型的训练方法和装置、电子设备
CN110533700B (zh) 对象跟踪方法和装置、存储介质及电子装置
CN110533685B (zh) 对象跟踪方法和装置、存储介质及电子装置
CN109902681B (zh) 用户群体关系确定方法、装置、设备及存储介质
Mei et al. Hdinet: Hierarchical dual-sensor interaction network for rgbt tracking
US11972578B2 (en) Method and system for object tracking using online training
CN105744223A (zh) 视频数据处理方法和装置
JP2020149546A (ja) 施工支援システムおよび施工支援装置
CN115393681A (zh) 一种目标融合方法、装置、电子设备及存储介质
CN110175519A (zh) 一种变电站的分合标识仪表识别方法、装置与存储介质
CN112770265A (zh) 一种行人身份信息获取方法、系统、服务器和存储介质
CN111739056A (zh) 一种轨迹追踪系统
CN114937293A (zh) 基于gis的农业服务管理方法及系统
Gao et al. Multi-object tracking with Siamese-RPN and adaptive matching strategy
CN111950507B (zh) 数据处理和模型训练方法、装置、设备及介质
CN116958267B (zh) 位姿处理方法、装置、电子设备及存储介质
CN112712013B (zh) 一种移动轨迹构建方法及装置
CN113706574B (zh) 一种移动轨迹确定方法、装置、电子设备及存储介质
CN115482425A (zh) 关键点识别方法、模型训练方法、装置及存储介质
Wang et al. Automatic detection and tracking of precast walls from surveillance construction site videos
CN111784742A (zh) 一种行人跨镜头追踪方法及装置
CN113850837B (zh) 视频处理方法、装置、电子设备、存储介质及计算机产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant