CN110287855A - 一种行人轨迹获取方法以及系统 - Google Patents

一种行人轨迹获取方法以及系统 Download PDF

Info

Publication number
CN110287855A
CN110287855A CN201910539625.8A CN201910539625A CN110287855A CN 110287855 A CN110287855 A CN 110287855A CN 201910539625 A CN201910539625 A CN 201910539625A CN 110287855 A CN110287855 A CN 110287855A
Authority
CN
China
Prior art keywords
pedestrian
target
frame
tracking result
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910539625.8A
Other languages
English (en)
Inventor
鲁超
林亦宁
彭垚
赵之健
朱亮
徐僖僖
陈冠先
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Supremind Intelligent Technology Co Ltd
Original Assignee
Shanghai Supremind Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Supremind Intelligent Technology Co Ltd filed Critical Shanghai Supremind Intelligent Technology Co Ltd
Priority to CN201910539625.8A priority Critical patent/CN110287855A/zh
Publication of CN110287855A publication Critical patent/CN110287855A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种行人轨迹获取方法以及系统,所述方法包括:获取预设地点的行人视频信息;采用预设的目标检测算法对所述行人视频信息的目标帧进行目标检测,获取所述目标帧中的行人位置信息;根据所述目标帧中的行人位置信息以及所述目标帧上一帧的多目标跟踪结果,获取所述目标帧对应的多目标跟踪结果;根据所述多目标跟踪结果生成行人运行轨迹。本发明实施例能够准确识别视频中的行人运动轨迹,识别效率高,提升视频监控中行人运行轨迹识别的精度,便于进行行人行为分析,提高监控效率。

Description

一种行人轨迹获取方法以及系统
技术领域
本发明涉及机器视觉领域,尤其涉及一种行人轨迹获取方法以及系统。
背景技术
计算机技术的飞速发展为视频监控的应用提供了更大的展示舞台,智能化在数字安全防范领域也得到越来越多的应用。通过视频进行行人行为分析也日益重要,例如在车站、旅游景点、展区、商业街等地点,通过分析行人的行为特征,可以有效的进行人员调动,资源配置以及提供更好的安全保障。
当前技术中,通常通过获取行人的运动轨迹来作为判断行人行为的依据,由于人体识别以及实际场景的复杂性,当前技术中的运动轨迹获取技术准确性较低,均达不到较好的效果。
发明内容
本发明实施例提供一种运动轨迹获取方法以及系统,能够准确识别视频中的行人运动轨迹,识别效率高。
为实现上述目的,本发明实施例第一方面提供了一种行人轨迹获取方法,包括:
获取预设地点的行人视频信息;
采用预设的目标检测算法对所述行人视频信息的目标帧进行目标检测,获取所述目标帧中的行人位置信息;
根据所述目标帧中的行人位置信息以及所述目标帧上一帧的多目标跟踪结果,获取所述目标帧对应的多目标跟踪结果;
根据所述多目标跟踪结果生成行人运行轨迹。
可选的,所述采用预设的目标检测算法对所述行人视频信息的目标帧进行目标检测,包括:
获取预设的行人检测模型;
输入目标帧的图像数据,采用预设的目标检测算法调用所述行人检测模型,对所述图像数据进行检测。
可选的,所述获取预设的行人检测模型之前,还包括:
根据行人视频信息获取预设数量的图像样本信息;
根据行人特征标定所述图像样本信息;
采用预设的训练框架对所述图像样本信息进行训练,生成行人检测模型。
可选的,所述根据所述目标帧中的行人位置信息以及目标帧上一帧中的多目标跟踪结果,获取所述目标帧对应的多目标跟踪结果,包括:
获取所述目标帧中的行人位置信息对应的第一跟踪结果;
获取所述目标帧上一帧中的多目标跟踪结果对应的第二跟踪结果;
将所述第一跟踪结果以及第二跟踪结果进行阈值匹配,获取所述目标帧对应的多目标跟踪结果。
可选的,所述将所述第一跟踪结果以及第二跟踪结果进行阈值匹配,获取所述目标帧对应的多目标跟踪结果,包括:
根据行人检测情形对所述第一跟踪结果以及第二跟踪结果分别进行分类;
根据不同类别进行不同处理,根据处理结果获取所述目标帧对应的多目标跟踪结果。
可选的,所述根据行人检测情形对所述第一跟踪结果以及第二跟踪结果分别进行分类,包括:
根据当前帧中的行人是否为首次检测到进行分类,具体的,
所述第一跟踪结果包括:第一类,首次被检测到的行人;以及
第二类,在当前帧再次被检测到的行人;
所述第二跟踪结果包括:第一类,在当前帧再次被检测到的行人;
第二类:在当前帧未检测到,未检测次数低于预设丢弃阈值的行人;
第三类:在当前帧未检测到,未检测次数达到预设丢弃阈值的行人。
可选的,所述根据不同类别进行不同处理,根据处理结果获取所述目标帧对应的多目标跟踪结果,包括:
将所述第一跟踪结果中的第一类行人创建为新的跟踪目标;
根据所述第一跟踪结果中的第二类行人以及所述第二跟踪结果中的第一类行人,更新目标帧的的跟踪目标信息。
可选的,所述根据所述多目标跟踪结果生成行人运行轨迹,包括:
解析所述多目标跟踪结果,获取同一行人在不同帧中的的位置信息;
按照时间顺序连接所述位置信息,生成运行轨迹。
可选的,所述行人轨迹获取方法还包括:
在所述行人视频信息上以第一预设图形标示识别出的行人;
获取所述第一预设图形在不同帧中的中心点;
根据所述运行轨迹连接所述中心点。
本发明实施例第二方面提供了一种行人轨迹获取系统,所述行人轨迹获取系统包括处理器以及存储器,
所述存储器用于存储可执行程序;
所述处理器用于执行所述可执行程序以实现上述所述的行人轨迹获取方法。
实施本发明实施例,具有如下有益效果:
本发明实施例中的行人轨迹获取方法以及系统,通过采用一定的目标检测算法识别出行人,根据多个帧的检测结果进行多目标跟踪,并根据多目标跟踪结果生成行人运行轨迹,能够准确识别视频中的行人运动轨迹,识别效率高,从而提升视频监控中行人运行轨迹识别的精度,便于进行行人行为分析,提高监控效率,应用范围广。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1至7分别对应为本发明实施例的第一至第七实施例的方法流程示意图;
图8为本发明的一种实施例对应的实施效果示意图;
图9为本发明实施例的一种行人轨迹获取系统的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本公开,而非对本公开的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本公开相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图中将各步骤描述成顺序的处理,但是其中的许多步骤可以并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排,当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图内的其它步骤。处理可以对应于方法、函数、规程、子例程、子程序等。
图1为本发明实施例提供的行人轨迹获取方法第一实施例的方法流程图。本实施例中,所述行人轨迹获取方法应用于视频监控领域,通过分析摄像头获取的视频流,对视频流进行图像分析,采用该行人轨迹获取方法,得出该视频中的行人运行轨迹,从而便于根据运行轨迹进行行为分析,比如闯红灯、礼让行人等。一般的,该指定位置可以是限定区域的路口、场馆、商场等区域。该行人轨迹获取方法包括以下步骤S101-S104。
在步骤S101中,获取预设地点的行人视频信息。
具体的,本实施例中,通过摄像头等设备进行视频监控,获取指定地点的视频信息,后续针对该获取到的视频信息进行行人的运行轨迹识别。
在步骤S102中,采用预设的目标检测算法对所述行人视频信息的目标帧进行目标检测,获取所述目标帧中的行人位置信息。
具体的,行人视频信息由多个图像帧组成,在实际处理过程中,实际上是针对每一帧图像进行了快速处理,本实施例中,通过介绍针对单一帧的处理过程来描述整个行人轨迹获取过程,本领域技术人员可以理解的是,实际处理过程可以以此类推。本实施例中,针对目标帧进行行人目标检测,目标检测算法可以采用预设的,比如YOLOv3算法,以获取当前目标帧中的行人位置信息。本领域技术人员可以理解的是,所述目标检测算法也可以采取其他算法,比如 RefineDet、SSD或者SNNIPER等,本发明实施例并不以此为限。
在步骤S103中,根据所述目标帧中的行人位置信息以及所述目标帧上一帧的多目标跟踪结果,获取所述目标帧对应的多目标跟踪结果。
具体的,本实施例中,在获取了当前目标帧的检测结果之后,会结合当前帧的上一帧的检测结果,综合得到多目标跟踪结果。比如,若行人在上一帧和当前帧均被检测到,或者若行人在当前帧第一次被检测到,或者若行人在上一帧被检测到,当前帧未检测到等。针对不同的情形,可以得到不同的多目标跟踪结果。
在步骤S104中,根据所述多目标跟踪结果生成行人运行轨迹。
具体的,根据目标帧中不同的跟踪结果进行运行轨迹的获取,针对目标帧中的每一个行人进行分别的判断,获取目标帧中每一个行人的位置,根据多个帧中的位置信息,即可生成行人的运行轨迹。可以理解的是,在目标帧判断完成之后,继续进行目标帧下一帧的检测,即再次循环进行S101-S104的步骤。
上述可知,本发明实施例中的行人轨迹获取方法,通过采用一定的目标检测算法识别出行人,根据多个帧的检测结果进行多目标跟踪,并根据多目标跟踪结果生成行人运行轨迹,能够准确识别视频中的行人运动轨迹,识别效率高,从而提升视频监控中行人运行轨迹识别的精度,便于进行行人行为分析,提高监控效率,应用范围广。
图2为本发明实施例提供的行人轨迹获取方法第二实施例的方法流程图。本实施例中,进一步包括了如何进行目标检测的步骤。该行人轨迹获取方法包括以下步骤S201-S206。
在步骤S201中,获取预设地点的行人视频信息。
在步骤S202中,获取预设的行人检测模型。
具体的,本实施例中,首先获取行人检测模型。可选的,所述行人检测模型可以采用现有的模型,也可以通过离线训练处理生成。
在步骤S203中,输入目标帧的图像数据,采用预设的目标检测算法调用所述行人检测模型,对所述图像数据进行检测。
具体的,所述目标检测算法与行人检测模型相匹配。可选的,比如,所述行人检测模型采用YOLOv3训练的模型,所述目标检测算法则采用YOLOv3算法。在其他实施方式中,所述目标检测算法,也可以使用RefineDet、SNNIPER 等目标检测算法进行替换。
在步骤S204中,获取所述目标帧中的行人位置信息。
在步骤S205中,根据所述目标帧中的行人位置信息以及所述目标帧上一帧的多目标跟踪结果,获取所述目标帧对应的多目标跟踪结果。
在步骤S206中,根据所述目标帧的多目标跟踪结果生成行人运行轨迹。
上述可知,本发明实施例中的行人轨迹获取方法,通过采用一定的目标检测算法识别出行人,根据多个帧的检测结果进行多目标跟踪,并根据多目标跟踪结果生成行人运行轨迹,能够准确识别视频中的行人运动轨迹,识别效率高,从而提升视频监控中行人运行轨迹识别的精度,便于进行行人行为分析,提高监控效率,应用范围广。
图3为本发明实施例提供的行人轨迹获取方法第三实施例的方法流程图。本实施例中,进一步包括了如何获取行人检测模型的步骤,该方法包括以下步骤S301-S309。
在步骤S301中,获取预设地点的行人视频信息。
在步骤S302中,根据行人视频信息获取预设数量的图像样本信息。
具体的,先获取一定数量的图像样本,所述图像是指根据所述视频信息截取的图像,所述预设数量可以为30000张。优选地,为了保证检测的准确度,所述行人视频信息也是来自于该预设地点。
在步骤S303中,根据行人特征标定所述图像样本信息。
具体的,根据指定的行人标定规则对图像样本进行标定,优选地,所述行人标定规则可以根据行人特征进行标定,比如根据高度、宽度等特征。在对图像样本进行标定之后,将标定后的数据转换为一定的数据格式。本实施例中,所述转换的数据格式取决于实际采用的目标检测算法,当采用的目标检测算法为YOLOv3时,所述转换的数据格式即为darknet训练框架对应的数据格式。
在步骤S304中,采用预设的训练框架对所述图像样本信息进行训练,生成行人检测模型。
具体的,在进行格式转换之后,使用训练框架,读入样本数据进行训练。本实施例中,可采用循环迭代的训练方式,即每一张样本可以采取多次训练。优选地,本发明实施例中,采用的目标检测算法为YOLOv3,每张样本的迭代训练次数为30次。
在步骤S305中,获取预设的行人检测模型。
在步骤S306中,输入目标帧的图像数据,采用预设的目标检测算法调用所述行人检测模型,对所述图像数据进行检测。
在步骤S307中,获取所述目标帧中的行人位置信息。
在步骤S308中,根据所述目标帧中的行人位置信息以及所述目标帧上一帧的多目标跟踪结果,获取所述目标帧对应的多目标跟踪结果。
在步骤S309中,根据所述目标帧的多目标跟踪结果生成行人运行轨迹。
上述可知,本发明实施例中的行人轨迹获取方法,通过采用一定的目标检测算法识别出行人,根据多个帧的检测结果进行多目标跟踪,并根据多目标跟踪结果生成行人运行轨迹,能够准确识别视频中的行人运动轨迹,识别效率高,从而提升视频监控中行人运行轨迹识别的精度,便于进行行人行为分析,提高监控效率,应用范围广。
图4为本发明实施例提供的一种行人轨迹获取第四实施例的方法流程图。本实施例中,对比图1所示的第一实施例,进一步的包括了多目标跟踪的步骤。可以理解的是,本实施例中的多目标跟踪的步骤也可以应用于图2或图3所示的实施例中,本发明实施例并不以此为限。该方法包括以下步骤S401-S406。
在步骤S401中,获取预设地点的行人视频信息。
在步骤S402中,采用预设的目标检测算法对所述行人视频信息的目标帧进行目标检测,获取所述目标帧中的行人位置信息。
在步骤S403中,获取所述目标帧中的行人位置信息对应的第一跟踪结果。
具体的,根据目标帧中检测到的行人位置信息生成第一跟踪结果,第一跟踪结果表示对当前目标帧中的行人的检测情况。
在步骤S404中,获取所述目标帧上一帧中的多目标跟踪结果对应的第二跟踪结果。
具体的,获取目标帧的上一帧的多目标跟踪结果,所述多目标跟踪结果是指对上一帧之前的所有帧的行人位置信息进行了持续跟踪后一直到上一帧的检测跟踪情况,根据该跟踪情况生成第二跟踪结果。
在步骤S405中,将所述第一跟踪结果以及第二跟踪结果进行阈值匹配,获取所述目标帧对应的多目标跟踪结果。
具体的,根据第一跟踪结果和第二跟踪结果,进行对比分析,通过交叉比较,获取目标帧的多目标跟踪结果。本实施例中,通过交叉比较,将不同帧的检测结果进行对比,对目标帧中的行人目标跟踪情况进行更新,得到当前目标帧的多目标跟踪结果。
可选的,本实施例中,在进行多目标跟踪时,以相关滤波体系中的STAPLE 单目标跟踪算法为基础,配合IOU(Intersection over union,交叉对比)匹配策略实现多目标跟踪。STAPLE单目标跟踪算法是基于相关滤波器进行改进的算法,通过使用HOG-KCF+color-KCF结合算法对目标进行跟踪。其中,HOG特征对形变和运动模糊比较敏感,但是对颜色变化能够达到很好的跟踪效果;color特征对颜色比较敏感,但是对形变和运动模糊能够有很好的跟踪效果。通过同时使用HOG特征以及color特征,能够解决大部分跟踪过程当中遇到的问题。
在步骤S406中,根据所述目标帧的多目标跟踪结果生成行人运行轨迹。
上述可知,本发明实施例中的行人轨迹获取方法,通过采用一定的目标检测算法识别出行人,根据多个帧的检测结果进行多目标跟踪,并根据多目标跟踪结果生成行人运行轨迹,能够准确识别视频中的行人运动轨迹,识别效率高,从而提升视频监控中行人运行轨迹识别的精度,便于进行行人行为分析,提高监控效率,应用范围广。
图5为本发明实施例提供的一种行人轨迹获取方法第五实施例的方法流程图。本实施例中,进一步包括了如何对跟踪结果进行阈值匹配实现多目标跟踪的步骤,该行人轨迹获取方法包括以下步骤S501-S507。
在步骤S501中,获取预设地点的行人视频信息。
在步骤S502中,采用预设的目标检测算法对所述行人视频信息的目标帧进行目标检测,获取所述目标帧中的行人位置信息。
在步骤S503中,获取所述目标帧中的行人位置信息对应的第一跟踪结果。
在步骤S504中,获取所述目标帧上一帧中的多目标跟踪结果对应的第二跟踪结果。
在步骤S505中,根据行人检测情形对所述第一跟踪结果以及第二跟踪结果分别进行分类。
具体的,本实施例中,根据每一帧的行人检测结果,判断在当前帧中的行人是否为首次检测,根据是否为首次检测以及是否检测到对跟踪结果进行分类。通过将第一跟踪结果与第二跟踪结果进行交叉对比(IOU,Intersection over union),可以将跟踪结果进行分类。
针对第一跟踪结果,在目标帧中,存在两类,第一类为首次被检测到的行人;第二类为在之前帧中已经被检测到,而在当前的目标帧中再次被检测到的行人。
针对第二跟踪结果,由于第二跟踪结果是针对截止到目标帧上一帧的总的多目标跟踪结果,因此存在三类,其中,第一类为在当前帧(目标帧上一帧) 再次被检测到的行人;第二类为在当前帧未检测到,未检测次数低于预设丢弃阈值的行人;第三类为在当前帧未检测到,未检测次数达到预设丢弃阈值的行人。
在步骤S506中,根据不同类别进行不同处理,根据处理结果获取所述目标帧对应的多目标跟踪结果。
具体的,针对不同的类别进行不同的处理。本实施例中,针对第一跟踪结果中的第一类行人,将第一类行人创建为新的跟踪目标以便于后续的持续跟踪,比如,在目标帧的下一帧即会首先跟踪该新的跟踪目标的位置;针对第一跟踪结果中的第二类行人,可以认为与第二跟踪结果中的第一类行人属于同一类目标,针对这一类别,根据目标帧的跟踪情况对截止到目标帧上一帧的多目标跟踪结果进行更新和纠正。针对第二跟踪结果中的第二类行人,由于还未到达丢弃阈值,此时认为该行人依旧位于监控区域内只是未被检测到,可选的,可以采用单目标跟踪算法的跟踪结果作为目标帧的目标信息进行更新;针对第二跟踪结果中的第三类行人,可以认为该行人已经离开了监控区域,此时将该类行人删除,停止进一步跟踪。通过对不同的类别进行处理,得到截止到目标帧对应的多目标跟踪结果。
在步骤S507中,根据所述目标帧的多目标跟踪结果生成行人运行轨迹。
上述可知,本发明实施例中的行人轨迹获取方法,通过采用一定的目标检测算法识别出行人,根据多个帧的检测结果进行多目标跟踪,并根据多目标跟踪结果生成行人运行轨迹,能够准确识别视频中的行人运动轨迹,识别效率高,从而提升视频监控中行人运行轨迹识别的精度,便于进行行人行为分析,提高监控效率,应用范围广。
图6为本发明实施例提供的一种行人轨迹获取方法第六实施例的方法流程图。本实施例中,对比图1所示的第一实施例,进一步包括了如何进行行人轨迹获取的步骤,可以理解的是,本实施例中进行行人轨迹获取的步骤也可以应用于图2-图5所示的实施例中,本发明实施例并不以此为限,该行人轨迹获取方法包括以下步骤S601-S605。
在步骤S601中,获取预设地点的行人视频信息。
在步骤S602中,采用预设的目标检测算法对所述行人视频信息的目标帧进行目标检测,获取所述目标帧中的行人位置信息。
在步骤S603中,根据所述目标帧中的行人位置信息以及所述目标帧上一帧的多目标跟踪结果,获取所述目标帧对应的多目标跟踪结果。
在步骤S604中,解析所述多目标跟踪结果,获取同一行人在不同帧中的的位置信息。
具体的,在获取到多目标跟踪结果之后,对结果进行解析,分析同一行人在不同帧中的位置信息。可以理解的是,在每一个目标帧中,行人的数量可以由多个,因此,此时可以获取到多个行人的位置信息。本实施例中,可以采取相应的格式对位置信息进行存储,形成相应的列表。
在步骤S605中,按照时间顺序连接所述位置信息,生成运行轨迹。
具体的,由于视频信息中的帧是有时间顺序的,因此,根据时间顺序连接获取到的位置信息,就得到了每个行人的运行轨迹。运行轨迹也是按照时间先后顺序排列的,是时间上有方向的矢量。
上述可知,本发明实施例中的行人轨迹获取方法,通过采用一定的目标检测算法识别出行人,根据多个帧的检测结果进行多目标跟踪,并根据多目标跟踪结果生成行人运行轨迹,能够准确识别视频中的行人运动轨迹,识别效率高,从而提升视频监控中行人运行轨迹识别的精度,便于进行行人行为分析,提高监控效率,应用范围广。
图7为本发明实施例提供的一种行人轨迹获取方法第七实施例的方法流程图。对比图1所示的第一实施例,本实施例中,进一步包括了显示运行轨迹的步骤。可以理解的是,本实施例中显示运行轨迹的步骤也可以应用于图2-图6 所示的实施例中,本发明实施例并不以此为限,该方法包括以下步骤S701-S707。
在步骤S701中,获取预设地点的行人视频信息。
在步骤S702中,采用预设的目标检测算法对所述行人视频信息的目标帧进行目标检测,获取所述目标帧中的行人位置信息。
在步骤S703中,根据所述目标帧中的行人位置信息以及所述目标帧上一帧的多目标跟踪结果,获取所述目标帧对应的多目标跟踪结果。
在步骤S704中,根据所述目标帧的多目标跟踪结果生成行人运行轨迹。
在步骤S705中,在所述行人视频信息上以第一预设图形标示识别出的行人。
具体的,所述第一预设图形为矩形,根据行人识别结果中的行人的像素点大小,确定所述矩形的大小。当行人被识别到时,即在行人视频信息上显示对应的矩形,以标示该行人被识别。
在步骤S706中,获取所述第一预设图形在不同帧中的中心点。
具体的,由于行人处于移动中,在不同帧位于不同的位置,这样第一预设图像在不同帧的位置也不相同,根据行人的位置信息,可以获取到第一预设图像在不同帧中的中心点。
在步骤S707中,根据所述运行轨迹连接所述中心点。
具体的,根据获取到的运行轨迹连接第一预设图像在每个帧中的中心点,这样,在行人视频信息上即显示为相应的运行轨迹。
请参阅图8,为本发明实施例一种行人轨迹获取方法一种实施例对应的实施效果图。如图所示,在监控视频获取到的行人视频信息中,对视频信息内的行人进行目标检测,在识别出为行人了之后,采用预设的矩形框进行标示,行人的运行轨迹以线条标示。图8以截取的一帧为例,可以看出,连接标示行人的矩形框中心点在不同帧的位置,即形成了该行人的运动轨迹。
上述可知,本发明实施例中的行人轨迹获取方法,通过采用一定的目标检测算法识别出行人,根据多个帧的检测结果进行多目标跟踪,并根据多目标跟踪结果生成行人运行轨迹,能够准确识别视频中的行人运动轨迹,识别效率高,从而提升视频监控中行人运行轨迹识别的精度,便于进行行人行为分析,提高监控效率,应用范围广。
图9所示为本发明实施例提供的一种行人轨迹获取系统的结构示意图。如图9所示,行人轨迹获取系统包括处理器901(行人轨迹获取系统中的处理器 901的数量可以一个或多个,图9以一个处理器为例)以及存储器902。在本发明的实施例中,处理器901、存储器902可通过总线或其它方式连接,其中,图 9中以通过总线连接为例。可选的,所述行人轨迹获取系统通过与现有的视频监控系统连接,实现对视频流中的行人轨迹获取。在其他实施方式中,所述行人轨迹获取系统也可以进一步包括视频获取模块、视频处理模块等设备,本发明实施例并不以此为限。
其中,存储器902中存储有可执行程序,处理器901执行所述可执行程序以实现如下步骤:
获取预设地点的行人视频信息;
采用预设的目标检测算法对所述行人视频信息的目标帧进行目标检测,获取所述目标帧中的行人位置信息;
根据所述目标帧中的行人位置信息以及所述目标帧上一帧的多目标跟踪结果,获取所述目标帧对应的多目标跟踪结果;
根据所述多目标跟踪结果生成行人运行轨迹。
可选的,所述处理器901采用预设的目标检测算法对所述行人视频信息的目标帧进行目标检测,包括:
获取预设的行人检测模型;
输入目标帧的图像数据,采用预设的目标检测算法调用所述行人检测模型,对所述图像数据进行检测。
可选的,所述处理器901获取预设的行人检测模型之前,还包括:
根据行人视频信息获取预设数量的图像样本信息;
根据行人特征标定所述图像样本信息;
采用预设的训练框架对所述图像样本信息进行训练,生成行人检测模型。
可选的,所述处理器901根据所述目标帧中的行人位置信息以及目标帧上一帧中的多目标跟踪结果,获取所述目标帧对应的多目标跟踪结果,包括:
获取所述目标帧中的行人位置信息对应的第一跟踪结果;
获取所述目标帧上一帧中的多目标跟踪结果对应的第二跟踪结果;
将所述第一跟踪结果以及第二跟踪结果进行阈值匹配,获取所述目标帧对应的多目标跟踪结果。
可选的,所述处理器901将所述第一跟踪结果以及第二跟踪结果进行阈值匹配,获取所述目标帧对应的多目标跟踪结果,包括:
根据行人检测情形对所述第一跟踪结果以及第二跟踪结果分别进行分类;
根据不同类别进行不同处理,根据处理结果获取所述目标帧对应的多目标跟踪结果。
可选的,所述处理器901根据行人检测情形对所述第一跟踪结果以及第二跟踪结果分别进行分类,包括:
根据当前帧中的行人是否为首次检测到进行分类,具体的,
所述第一跟踪结果包括:第一类,首次被检测到的行人;以及
第二类,在当前帧再次被检测到的行人;
所述第二跟踪结果包括:第一类,在当前帧再次被检测到的行人;
第二类:在当前帧未检测到,未检测次数低于预设丢弃阈值的行人;
第三类:在当前帧未检测到,未检测次数达到预设丢弃阈值的行人。
可选的,所述处理器901根据不同类别进行不同处理,根据处理结果获取所述目标帧对应的多目标跟踪结果,包括:
将所述第一跟踪结果中的第一类行人创建为新的跟踪目标;
根据所述第一跟踪结果中的第二类行人以及所述第二跟踪结果中的第一类行人,更新目标帧的的跟踪目标信息。
可选的,所述处理器901根据所述多目标跟踪结果生成行人运行轨迹,包括:
解析所述多目标跟踪结果,获取同一行人在不同帧中的的位置信息;
按照时间顺序连接所述位置信息,生成运行轨迹。
可选的,所述处理器901还用于:
在所述行人视频信息上以第一预设图形标示识别出的行人;
获取所述第一预设图形在不同帧中的中心点;
根据所述运行轨迹连接所述中心点。
上述可知,本发明实施例中的行人轨迹获取系统,通过采用一定的目标检测算法识别出行人,根据多个帧的检测结果进行多目标跟踪,并根据多目标跟踪结果生成行人运行轨迹,能够准确识别视频中的行人运动轨迹,识别效率高,从而提升视频监控中行人运行轨迹识别的精度,便于进行行人行为分析,提高监控效率,应用范围广。
上述实施例中提供各模块两两之间均可实现通讯连接,且各模块均可与平台的中心控制装置通讯连接,上述实施例中提供的通过指纹识别快速录音装置可执行本公开中任意实施例中所提供的通过指纹识别快速录音的方法,具备执行该方法相应的功能模块和有益效果,未在上述实施例中详细描述的技术细节,可参见本公开任意实施例中所提供的快速录音的方法。
将意识到的是,本公开也扩展到适合于将本公开付诸实践的计算机程序,特别是载体上或者载体中的计算机程序。程序可以以源代码、目标代码、代码中间源和诸如部分编译的形式的目标代码的形式,或者以任何其它适合在按照本公开的方法的实现中使用的形式。也将注意的是,这样的程序可能具有许多不同的构架设计。例如,实现按照本公开的方法或者系统的功能性的程序代码可能被再分为一个或者多个子例程。
用于在这些子例程中间分布功能性的许多不同方式将对技术人员而言是明显的。子例程可以一起存储在一个可执行文件中,从而形成自含式的程序。这样的可执行文件可以包括计算机可执行指令,例如处理器指令和/或解释器指令 (例如,Java解释器指令)。可替换地,子例程的一个或者多个或者所有子例程都可以存储在至少一个外部库文件中,并且与主程序静态地或者动态地(例如在运行时间)链接。主程序含有对子例程中的至少一个的至少一个调用。子例程也可以包括对彼此的函数调用。涉及计算机程序产品的实施例包括对应于所阐明方法中至少一种方法的处理步骤的每一步骤的计算机可执行指令。这些指令可以被再分成子例程和/或被存储在一个或者多个可能静态或者动态链接的文件中。
另一个涉及计算机程序产品的实施例包括对应于所阐明的系统和/或产品中至少一个的装置中每个装置的计算机可执行指令。这些指令可以被再分成子例程和/或被存储在一个或者多个可能静态或者动态链接的文件中。
计算机程序的载体可以是能够运载程序的任何实体或者装置。例如,载体可以包含存储介质,诸如(ROM例如CDROM或者半导体ROM)或者磁记录介质(例如软盘或者硬盘)。进一步地,载体可以是可传输的载体,诸如电学或者光学信号,其可以经由电缆或者光缆,或者通过无线电或者其它手段传递。当程序具体化为这样的信号时,载体可以由这样的线缆或者装置组成。可替换地,载体可以是其中嵌入有程序的集成电路,所述集成电路适合于执行相关方法,或者供相关方法的执行所用。
应该留意的是,上文提到的实施例是举例说明本公开,而不是限制本公开,并且本领域的技术人员将能够设计许多可替换的实施例,而不会偏离所附权利要求的范围。在权利要求中,任何放置在圆括号之间的参考符号不应被解读为是对权利要求的限制。动词“包括”和其词形变化的使用不排除除了在权利要求中记载的那些之外的元素或者步骤的存在。在元素之前的冠词“一”或者“一个”不排除复数个这样的元素的存在。本公开可以通过包括几个明显不同的组件的硬件,以及通过适当编程的计算机而实现。在列举几种装置的装置权利要求中,这些装置中的几种可以通过硬件的同一项来体现。在相互不同的从属权利要求中陈述某些措施的单纯事实并不表明这些措施的组合不能被用来获益。
如果期望的话,这里所讨论的不同功能可以以不同顺序执行和/或彼此同时执行。此外,如果期望的话,以上所描述的一个或多个功能可以是可选的或者可以进行组合。
如果期望的话,上文所讨论的各步骤并不限于各实施例中的执行顺序,不同步骤可以以不同顺序执行和/或彼此同时执行。此外,在其他实施例中,以上所描述的一个或多个步骤可以是可选的或者可以进行组合。
虽然本公开的各个方面在独立权利要求中给出,但是本公开的其它方面包括来自所描述实施方式的特征和/或具有独立权利要求的特征的从属权利要求的组合,而并非仅是权利要求中所明确给出的组合。
这里所要注意的是,虽然以上描述了本公开的示例实施方式,但是这些描述并不应当以限制的含义进行理解。相反,可以进行若干种变化和修改而并不背离如所附权利要求中所限定的本公开的范围。
本领域普通技术人员应该明白,本公开实施例的装置中的各模块可以用通用的计算装置来实现,各模块可以集中在单个计算装置或者计算装置组成的网络组中,本公开实施例中的装置对应于前述实施例中的方法,其可以通过可执行的程序代码实现,也可以通过集成电路组合的方式来实现,因此本公开并不局限于特定的硬件或者软件及其结合。
本领域普通技术人员应该明白,本公开实施例的装置中的各模块可以用通用的移动终端来实现,各模块可以集中在单个移动终端或者移动终端组成的装置组合中,本公开实施例中的装置对应于前述实施例中的方法,其可以通过编辑可执行的程序代码实现,也可以通过集成电路组合的方式来实现,因此本公开并不局限于特定的硬件或者软件及其结合。

Claims (10)

1.一种行人轨迹获取方法,其特征在于,包括:
获取预设地点的行人视频信息;
采用预设的目标检测算法对所述行人视频信息的目标帧进行目标检测,获取所述目标帧中的行人位置信息;
根据所述目标帧中的行人位置信息以及所述目标帧上一帧的多目标跟踪结果,获取所述目标帧对应的多目标跟踪结果;
根据所述多目标跟踪结果生成行人运行轨迹。
2.如权利要求1所述的行人轨迹获取方法,其特征在于,所述采用预设的目标检测算法对所述行人视频信息的目标帧进行目标检测,包括:
获取预设的行人检测模型;
输入目标帧的图像数据,采用预设的目标检测算法调用所述行人检测模型,对所述图像数据进行检测。
3.如权利要求2所述的行人轨迹获取方法,其特征在于,所述获取预设的行人检测模型之前,还包括:
根据行人视频信息获取预设数量的图像样本信息;
根据行人特征标定所述图像样本信息;
采用预设的训练框架对所述图像样本信息进行训练,生成行人检测模型。
4.如权利要求1所述的行人轨迹获取方法,其特征在于,所述根据所述目标帧中的行人位置信息以及目标帧上一帧中的多目标跟踪结果,获取所述目标帧对应的多目标跟踪结果,包括:
获取所述目标帧中的行人位置信息对应的第一跟踪结果;
获取所述目标帧上一帧中的多目标跟踪结果对应的第二跟踪结果;
将所述第一跟踪结果以及第二跟踪结果进行阈值匹配,获取所述目标帧对应的多目标跟踪结果。
5.如权利要求4所述的行人轨迹获取方法,其特征在于,所述将所述第一跟踪结果以及第二跟踪结果进行阈值匹配,获取所述目标帧对应的多目标跟踪结果,包括:
根据行人检测情形对所述第一跟踪结果以及第二跟踪结果分别进行分类;
根据不同类别进行不同处理,根据处理结果获取所述目标帧对应的多目标跟踪结果。
6.如权利要求5所述的行人轨迹获取方法,其特征在于,所述根据行人检测情形对所述第一跟踪结果以及第二跟踪结果分别进行分类,包括:
根据当前帧中的行人是否为首次检测到进行分类,具体的,
所述第一跟踪结果包括:第一类,首次被检测到的行人;以及
第二类,在当前帧再次被检测到的行人;
所述第二跟踪结果包括:第一类,在当前帧再次被检测到的行人;
第二类:在当前帧未检测到,未检测次数低于预设丢弃阈值的行人;
第三类:在当前帧未检测到,未检测次数达到预设丢弃阈值的行人。
7.如权利要求6所述的行人轨迹获取方法,其特征在于,所述根据不同类别进行不同处理,根据处理结果获取所述目标帧对应的多目标跟踪结果,包括:
将所述第一跟踪结果中的第一类行人创建为新的跟踪目标;
根据所述第一跟踪结果中的第二类行人以及所述第二跟踪结果中的第一类行人,更新目标帧的的跟踪目标信息。
8.如权利要求1所述的行人轨迹获取方法,其特征在于,所述根据所述多目标跟踪结果生成行人运行轨迹,包括:
解析所述多目标跟踪结果,获取同一行人在不同帧中的的位置信息;
按照时间顺序连接所述位置信息,生成运行轨迹。
9.如权利要求8所述的行人轨迹获取方法,其特征在于,还包括:
在所述行人视频信息上以第一预设图形标示识别出的行人;
获取所述第一预设图形在不同帧中的中心点;
根据所述运行轨迹连接所述中心点。
10.一种行人轨迹获取系统,其特征在于,所述行人轨迹获取系统包括处理器以及存储器,
所述存储器用于存储可执行程序;
所述处理器用于执行所述可执行程序以实现如权利要求1-9任一项所述的行人轨迹获取方法。
CN201910539625.8A 2019-06-21 2019-06-21 一种行人轨迹获取方法以及系统 Pending CN110287855A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910539625.8A CN110287855A (zh) 2019-06-21 2019-06-21 一种行人轨迹获取方法以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910539625.8A CN110287855A (zh) 2019-06-21 2019-06-21 一种行人轨迹获取方法以及系统

Publications (1)

Publication Number Publication Date
CN110287855A true CN110287855A (zh) 2019-09-27

Family

ID=68004362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910539625.8A Pending CN110287855A (zh) 2019-06-21 2019-06-21 一种行人轨迹获取方法以及系统

Country Status (1)

Country Link
CN (1) CN110287855A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675637A (zh) * 2019-10-15 2020-01-10 上海眼控科技股份有限公司 车辆违法视频的处理方法、装置、计算机设备及存储介质
CN110781844A (zh) * 2019-10-29 2020-02-11 贵州省烟草公司六盘水市公司 保安巡察监测方法及装置
CN110991224A (zh) * 2019-10-18 2020-04-10 平安科技(深圳)有限公司 基于图像识别的行人闯红灯检测方法、装置及相关设备
CN111652106A (zh) * 2020-05-28 2020-09-11 韶关学院 一种目标监控方法、装置、电子设备及其储存介质
CN112037259A (zh) * 2020-08-27 2020-12-04 北京极智嘉科技有限公司 动态目标的跟踪系统及方法
CN112070802A (zh) * 2020-09-02 2020-12-11 合肥英睿系统技术有限公司 一种目标跟踪方法、装置、设备及计算机可读存储介质
CN112232176A (zh) * 2020-10-13 2021-01-15 济南轨道交通集团有限公司 一种城市轨道交通车站行人跟踪与轨迹重建方法及系统
CN112989938A (zh) * 2021-02-07 2021-06-18 平安科技(深圳)有限公司 一种行人实时跟踪识别方法、装置、介质及设备
CN114066944A (zh) * 2022-01-17 2022-02-18 天津聚芯光禾科技有限公司 基于行人跟踪的光模块生产车间工人岗位行为分析方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271942A (zh) * 2018-09-26 2019-01-25 上海七牛信息技术有限公司 一种人流统计方法以及系统
CN109711249A (zh) * 2018-11-12 2019-05-03 平安科技(深圳)有限公司 人物运动轨迹绘制方法、装置、计算机设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271942A (zh) * 2018-09-26 2019-01-25 上海七牛信息技术有限公司 一种人流统计方法以及系统
CN109711249A (zh) * 2018-11-12 2019-05-03 平安科技(深圳)有限公司 人物运动轨迹绘制方法、装置、计算机设备及存储介质

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675637A (zh) * 2019-10-15 2020-01-10 上海眼控科技股份有限公司 车辆违法视频的处理方法、装置、计算机设备及存储介质
CN110991224A (zh) * 2019-10-18 2020-04-10 平安科技(深圳)有限公司 基于图像识别的行人闯红灯检测方法、装置及相关设备
WO2021073267A1 (zh) * 2019-10-18 2021-04-22 平安科技(深圳)有限公司 基于图像识别的行人闯红灯检测方法、装置及相关设备
CN110991224B (zh) * 2019-10-18 2024-05-28 平安科技(深圳)有限公司 基于图像识别的行人闯红灯检测方法、装置及相关设备
CN110781844A (zh) * 2019-10-29 2020-02-11 贵州省烟草公司六盘水市公司 保安巡察监测方法及装置
CN111652106A (zh) * 2020-05-28 2020-09-11 韶关学院 一种目标监控方法、装置、电子设备及其储存介质
CN111652106B (zh) * 2020-05-28 2024-02-02 韶关学院 一种目标监控方法、装置、电子设备及其储存介质
CN112037259A (zh) * 2020-08-27 2020-12-04 北京极智嘉科技有限公司 动态目标的跟踪系统及方法
CN112070802B (zh) * 2020-09-02 2024-01-26 合肥英睿系统技术有限公司 一种目标跟踪方法、装置、设备及计算机可读存储介质
CN112070802A (zh) * 2020-09-02 2020-12-11 合肥英睿系统技术有限公司 一种目标跟踪方法、装置、设备及计算机可读存储介质
WO2022048053A1 (zh) * 2020-09-02 2022-03-10 合肥英睿系统技术有限公司 一种目标跟踪方法、装置、设备及计算机可读存储介质
CN112232176A (zh) * 2020-10-13 2021-01-15 济南轨道交通集团有限公司 一种城市轨道交通车站行人跟踪与轨迹重建方法及系统
CN112989938A (zh) * 2021-02-07 2021-06-18 平安科技(深圳)有限公司 一种行人实时跟踪识别方法、装置、介质及设备
CN114066944B (zh) * 2022-01-17 2022-04-12 天津聚芯光禾科技有限公司 基于行人跟踪的光模块生产车间工人岗位行为分析方法
CN114066944A (zh) * 2022-01-17 2022-02-18 天津聚芯光禾科技有限公司 基于行人跟踪的光模块生产车间工人岗位行为分析方法

Similar Documents

Publication Publication Date Title
CN110287855A (zh) 一种行人轨迹获取方法以及系统
CN109271942A (zh) 一种人流统计方法以及系统
CN109697435B (zh) 人流量监测方法、装置、存储介质及设备
CN108520229A (zh) 图像检测方法、装置、电子设备和计算机可读介质
CN109840504A (zh) 物品取放行为识别方法、装置、存储介质及设备
CN109508681A (zh) 生成人体关键点检测模型的方法和装置
CN110163889A (zh) 目标跟踪方法、目标跟踪装置、目标跟踪设备
CN109389068A (zh) 用于识别驾驶行为的方法和装置
CN109389589A (zh) 用于统计人数的方法和装置
CN108230357A (zh) 关键点检测方法、装置、存储介质、计算机程序和电子设备
CN108280455A (zh) 人体关键点检测方法和装置、电子设备、程序和介质
CN109308490A (zh) 用于生成信息的方法和装置
CN108229418A (zh) 人体关键点检测方法和装置、电子设备、存储介质和程序
CN110443824A (zh) 用于生成信息的方法和装置
CN110175609A (zh) 界面元素检测方法、装置及设备
CN108509921A (zh) 用于生成信息的方法和装置
CN109086725A (zh) 手部跟踪方法及机器可读存储介质
CN113011280A (zh) 人员接触距离的检测方法、装置、计算机设备和存储介质
CN108171208A (zh) 信息获取方法和装置
CN110298850A (zh) 眼底图像的分割方法和装置
JPWO2008035411A1 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
KR20220098312A (ko) 이미지 내 관련 대상 검출 방법, 장치, 디바이스 및 기록 매체
KR101991307B1 (ko) 다중 객체 추적을 위한 트랙렛의 특징 벡터 할당이 가능한 전자 장치 및 그 동작 방법
US20220300774A1 (en) Methods, apparatuses, devices and storage media for detecting correlated objects involved in image
CN114565976A (zh) 一种训练智能测试方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190927

RJ01 Rejection of invention patent application after publication