CN107491715A - 一种基于视频分析的地铁车厢客流统计方法、装置及系统 - Google Patents

一种基于视频分析的地铁车厢客流统计方法、装置及系统 Download PDF

Info

Publication number
CN107491715A
CN107491715A CN201610413000.3A CN201610413000A CN107491715A CN 107491715 A CN107491715 A CN 107491715A CN 201610413000 A CN201610413000 A CN 201610413000A CN 107491715 A CN107491715 A CN 107491715A
Authority
CN
China
Prior art keywords
target
frame group
picture
frame
detection information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610413000.3A
Other languages
English (en)
Inventor
陶海
柯佳琪
杨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wen'an Beijing Intelligent Technology Ltd By Share Ltd
Original Assignee
Wen'an Beijing Intelligent Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wen'an Beijing Intelligent Technology Ltd By Share Ltd filed Critical Wen'an Beijing Intelligent Technology Ltd By Share Ltd
Priority to CN201610413000.3A priority Critical patent/CN107491715A/zh
Publication of CN107491715A publication Critical patent/CN107491715A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域,公开了一种基于视频分析的地铁车厢客流统计方法、装置及系统。其中,基于视频分析的地铁车厢客流统计方法包括:预置图像采集区域块及其对应的检测模型;获取待检测图像帧组;所述待检测图像帧组包括至少一帧图像;根据所述图像采集区域块及其对应的检测模型,对所述待检测图像帧组中帧图像进行检测跟踪,获取目标的轨迹集合。本发明通过对待检测图像帧组内图像帧进行分区域,并使用对应区域的检测模型进行目标检测及跟踪,使得目标检测速度较快且客流统计精度高。

Description

一种基于视频分析的地铁车厢客流统计方法、装置及系统
技术领域
本发明涉及图像处理技术领域,特别涉及一种基于视频分析的地铁车厢客流统计方法、装置及系统。
背景技术
目前,传统的地铁人流量,通过地铁站台闸机刷卡进出计数、红外传感器扫描计数等方法统计人流量。但是无法实时统计特定地铁车厢内部的乘客数量。与普通的客流统计系统一样,地铁车厢人员密度统计系统由摄像机采集和视频处理模块、网络传输模块、数据分析模块、交互和显示模块构成。涉及的技术包括背景建模,运动检测,目标识别和分类、目标跟踪、轨迹行为分析等。
然而,地铁车厢内的场景由于其特殊性,传统的人流量统计方法难以得到很高的精度。其特点是在地铁车厢场景内,摄像机的安装高度无法超过车厢顶部,和站立的乘客高度接近,成像的景深范围变化大,拍摄视频中目标乘客的尺寸差别很大。此外车厢内人流量可能会非常密集,目标乘客之间的遮挡严重。现有基于视频分析的客流量统计方法主要是基于人头或者头肩的目标检测和跟踪的方法,通过提取区域特征训练相应的分类器,从而对目标进行基于滑窗的目标检测方法,然后利用单帧的检测结果对目标进行跟踪和分析,实现目标的计数。
因此,发明人在地铁客流统计的过程中发现,现有技术中至少存在以下问题:
现有技术中采用的基于滑窗的目标检测方法对于地铁场景下多尺度的目标检测适应性差,往往需要多个尺度的分类器共同进行检测,并且其检测速度慢且客流统计精度不高。
发明内容
本发明的目的在于提供一种基于视频分析的地铁车厢客流统计方法、装置及系统,使得检测速度快且客流统计精度较高。
为解决上述技术问题,本发明的实施方式提供了一种基于视频分析的地铁车厢客流统计方法,包括以下步骤:
预置图像采集区域块及其对应的检测模型;
获取待检测图像帧组;所述待检测图像帧组包括至少一帧图像;
根据所述图像采集区域块及其对应的检测模型,对所述待检测图像帧组中帧图像进行检测跟踪,获取目标的轨迹集合。
其中,所述根据所述图像采集区域块及其对应的检测模型,对所述待检测图像帧组中帧图像进行检测跟踪,获取目标的轨迹集合的步骤,具体包括:
根据所述图像采集区域块及其对应的检测模型,对所述待检测图像帧组中的图像帧进行检测,获取各个检测图像帧中目标的检测信息及其对应置信度;
获取初始帧组中各个图像帧中目标的检测信息及其对应置信度;
跟踪所述初始帧组中各个图像帧中目标,获取所述目标的轨迹集合。
其中,所述跟踪所述初始帧组中各个图像帧中目标,获取所述目标的轨迹集合步骤,具体包括:
获取匹配阈值;
通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息;
获取初始帧组的下一帧组中各个图像帧中目标的检测信息及其置信度;所述初始帧组的下一帧组中各个图像帧中目标包括:所述初始帧组中各个图像帧中目标在其下一帧图像目标和所述初始帧组的下一帧组中各个图像帧中新增目标;
判断所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息是否在所述匹配阈值范围内;
如果所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息不在所述匹配阈值范围内,则所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息采用所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息;
如果所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息都不在所述匹配阈值范围内,则所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息通过在先轨迹帧的检测信息采用线性预测的方法进行线性预测获取;
获取所述目标的轨迹集合;所述目标的轨迹集合包括:至少一个目标的轨迹;所述目标的轨迹包括:同一目标在至少一个图像帧内的检测信息及其对应置信度的集合。
其中,该方法还包括:
预置所述置信度的衰减系数;
当采用所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息时,所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息对应的置信度为初始帧组中各个图像帧中目标的检测信息对应的置信度与所述置信度的衰减系数的乘积。
其中,该方法还包括:
预置所述置信度阈值;
判断所述目标的检测信息对应的置信度是否低于所述置信度阈值;
如果低于所述置信度阈值,则停止所述目标的轨迹跟踪。
其中,获取所述初始帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度;
将所述初始帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度添加到所述目标的轨迹集合。
其中,该方法还包括:
获取所述目标的轨迹集合的筛选规则;
根据所述目标的轨迹集合的筛选规则,进行客流统计。
本发明的实施方式还提供了一种基于视频分析的地铁车厢客流统计装置,包括:预置单元,用于预置图像采集区域块及其对应的检测模型;
获取单元,用于获取待检测图像帧组;所述待检测图像帧组包括至少一帧图像;
检测跟踪单元,用于根据所述图像采集区域块及其对应的检测模型,对所述待检测图像帧组中帧图像进行检测跟踪,获取目标的轨迹集合。
本发明的实施方式还提供了一种基于视频分析的地铁车厢客流统计系统,包括:包括:壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为上述电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述所述的基于视频分析的地铁车厢客流统计方法。
本发明实施方式相对于现有技术而言,通过对待检测图像帧组内图像帧进行分区域,并使用对应区域的检测模型进行目标检测及跟踪,使得目标检测速度较快且客流统计精度高。
附图说明
图1是本发明实施例提供的一种基于视频分析的地铁车厢客流统计方法流程图;
图2是本发明实施例提供的另一种基于视频分析的地铁车厢客流统计方法流程图;
图3是本发明实施例提供的一种基于视频分析的地铁车厢客流统计装置结构示意图;
图4是本发明实施例提供的一种基于视频分析的地铁车厢客流统计系统结构示意图;
图5是本发明实施例提供的再一种基于视频分析的地铁车厢客流统计方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请各权利要求所要求保护的技术方案。
本发明的第一实施方式涉及一种基于视频分析的地铁车厢客流统计方法。具体流程如图1所示。该方法包括:
101:预置图像采集区域块及其对应的检测模型;该步骤中的图像采集区域是指视频采集装置采集的实际地铁车厢的图像帧。所谓设置图像采集区域块是指将所述图像采集区域划分为不同的区域块;同一区域块在相同位置处出现多个不同模型获得的检测结果时,优先选择预设的图像采集区域块对应的检测模型的检测结果。例如:将图像采集区域划分为N块:图像采集区域块块1,图像采集区域块块2,……,图像采集区域块块N;所述图像采集区域块块1对应正面人头模型,所述图像采集区域块块2对应垂直人头模型,……,所述图像采集区域块块N对应背面人头模型。系统会根据图像帧中的目标所在的图像采集区域块进行人头模型检测,当同一区域内同一检测信息处出现两个检测结果时,系统优先选用该区域对应的检测模型的检测结果。例如:当图像采集区域块块1中目标1在进行人头模型检测的过程中,所述正面人头模型与所述背面人头模型同时都给出了检测结果,则图像采集区域块块1中目标1选择使用其对应的正面人头模型给出的检测结果。
102:获取待检测图像帧组;所述待检测图像帧组包括至少一帧图像;该步骤中的待检测图像帧组中包含的待检测图像帧数是根据地铁客流统计精度和速度的要求以及采集视频的帧率进行预设置的。根据预先设置的帧组中图像帧数,获取待检测图像帧。
103:根据所述图像采集区域块及其对应的检测模型,对所述待检测图像帧组中帧图像进行检测跟踪,获取目标的轨迹集合。该步骤具体可以包括:根据所述图像采集区域块及其对应的检测模型,对所述待检测图像帧组中的图像帧进行检测,获取各个检测图像帧中目标的检测信息及其对应置信度;获取初始帧组中各个图像帧中目标的检测信息及其对应置信度;跟踪所述初始帧组中各个图像帧中目标,获取所述目标的轨迹集合。
基于以上实施例,本发明的第二实施方式涉及一种基于视频分析的地铁车厢客流统计方法;如图2所示,具体实现步骤如下:
201:预置图像采集区域块及其对应的检测模型;该步骤中的图像采集区域是指视频采集装置采集的实际地铁车厢的图像帧。所谓设置图像采集区域块是指将所述图像采集区域划分为不同的区域块,不同的区域块对应不同的检测模型。例如:将图像采集区域划分为N块:图像采集区域块块1,图像采集区域块块2,……,图像采集区域块块N;所述图像采集区域块块1对应正面人头模型,所述图像采集区域块块2对应垂直人头模型,……,所述图像采集区域块块N对应背面人头模型。系统会根据图像帧中的目标所在的图像采集区域块进行人头模型检测,当同一区域内同一位置处出现多个检测结果时,系统优先选用该区域对应的检测模型的检测结果。例如:当图像采集区域块块1中目标1在进行人头模型检测的过程中,所述正面人头模型与所述背面人头模型同时都给出了检测结果,则图像采集区域块块1中目标1选择使用其对应的正面人头模型给出的检测结果。
202:获取待检测图像帧组;所述待检测图像帧组包括至少一帧图像;该步骤中的待检测图像帧组中包含的待检测图像帧数是根据地铁客流统计精度和速度的要求以及采集视频的帧率进行预设置的。根据预先设置的帧组中图像帧数,获取待检测图像帧。
203:根据所述图像采集区域块及其对应的检测模型,对所述待检测图像帧组中的图像帧进行检测,获取各个检测图像帧中目标的检测信息及其对应置信度;所述目标的检测信息是指目标的中心点坐标及目标图像的长度及宽度;所述置信度是指系统在图像帧检测过程中确定其中目标为真正目标的概率。
204:获取初始帧组中各个图像帧中目标的检测信息及其对应置信度;例如:该步骤中设初始帧组K,所述初始帧组的下一帧组K+1;所述初始帧组K中各个图像中目标的检测信息及对应置信度形成初始轨迹的起始点集合;所述初始帧组的下一帧组K+1中各个图像中目标的检测信息及对应置信度形成下一帧组K+1中的目标点集合。
205:获取匹配阈值;所述匹配阈值是用于判断初始帧组中各个图像帧中目标检测信息与其在下一帧图像中对应的检测信息是否匹配,如果匹配,则认为下一帧图像中对应的检测信息为初始帧组中图像帧中目标的真实轨迹;如果不匹配,则通过图像预测算法获取初始帧组的图像帧中目标在下一帧图像中的检测信息。
206:通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息;该步骤中,所述图像预测算法可以使用光流法等。
207:获取初始帧组的下一帧组中各个图像帧中目标的检测信息及其置信度;所述初始帧组的下一帧组中各个图像帧中目标包括:所述初始帧组中各个图像帧中目标在其下一帧图像目标和所述初始帧组的下一帧组中各个图像帧中新增目标。
需要说明的是,所述的初始帧组的下一帧组中可以包括初始帧组中各个图像帧中的部分目标或者全部目标,也存在新增的目标。所谓初始帧组中各个图像帧中的部分目标是指:在下一帧中,初始帧组中图像帧中的部分目标离开,或者,未识别到。
208:判断所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息是否在所述匹配阈值范围内;
209:如果所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息不在所述匹配阈值范围内,则所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息采用所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息;
如果所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息都不在所述匹配阈值范围内,则所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息通过在先轨迹帧的检测信息采用线性预测的方法进行线性预测获取;
需要说明的是,该方法还包括:预置所述置信度的衰减系数;当采用所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息时,所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息对应的置信度为初始帧组中各个图像帧中目标的检测信息对应的置信度与所述置信度的衰减系数的乘积。
还需要说明的是,该方法还包括:预置所述置信度阈值;判断所述目标的检测信息对应的置信度是否低于所述置信度阈值;如果低于所述置信度阈值,则停止所述目标的轨迹跟踪。具体的讲,就是所述判断目标的置信度是否低于预设的置信度阈值;如果低于,则停止所述目标的轨迹跟踪。
210:获取所述目标的轨迹集合;所述目标的轨迹集合包括:至少一个目标的轨迹;所述目标的轨迹包括:同一目标在至少一个图像帧内的检测信息及其对应置信度的集合。
需要说明的是,该方法还包括:获取所述初始帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度;将所述初始帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度添加到所述目标的轨迹集合。
还需要说明的是,该方法还包括:获取所述目标的轨迹集合的筛选规则;根据所述目标的轨迹集合的筛选规则,进行客流统计。
本发明实施方式相对于现有技术而言,通过对待检测图像帧组内图像帧进行分区域,并使用对应区域的优先检测模型进行目标检测及跟踪,使得目标检测速度较快且客流统计精度高。
基于以上实施例,以下通过如图5所示实施例提供的一种基于视频分析的地铁车厢客流统计方法对本发明进行详细说明;
本发明目的在于对地铁车厢内的客流密度进行统计,对地铁车厢安装的摄像机采集的车厢内部场景视频进行分析,自动识别场景中的乘客,分析出精确的乘客数量。如图5所示,为本发明实施例的实现流程,具体如下:
1.首先,采用基于区域提取的深度学习方法离线训练地铁车厢内的多个方向的人头模型,包括垂直人头模型、正面人头模型、背面人头模型。该模型对目标的尺寸没有严苛的要求,能够检测在合理尺度范围内的任何尺度的目标。
2.利用训练好的多个人头模型分类器对图像区域块进行人头检测,针对车厢不同区域块,优先选择对应种类的人头模型。例如对于车厢中部区域,优先使用垂直人头模型,对于车厢两侧区域,根据实际拍摄方向优先选择正面人头模型或背面人头模型。与现有技术中采用基于卷积神经网络的深度学习方法进行检测相比,现有技术中需要在整个检测区域内,使用滑窗,穷举所有可能的检测框,各自使用分类器进行判断是否是一个需要检测的目标。而本发明使用的基于区域提取的卷积神经网络深度学习方法检测,则不需要穷举可能的检测框,由深度学习网络自动学习出可能的检测目标区域然后进行分类判断,该检测算法的速度比传统方法快很多。
3.利用视频连续多帧的检测结果进行目标跟踪分析,形成一系列人头目标的运动轨迹,去除单帧检测结果的误检,避免实际目标的重复计数和个别视频帧漏检。与现有技术相比,本发明里所指的跟踪是预知后帧检测结果而进行的轨迹分析,比现有技术的预测跟踪方法具有更高的精度。
对于前帧图像中的每一条已生成的轨迹,利用光流预测其在后帧图像中的检测信息,如果所述光流预测结果与直接获取的当前检测信息都超过匹配阈值,则可以使用轨迹前几帧的检测信息进行线性预测,得到在后帧图像中的合理位置。例如:在后帧图像中的相应位置附近搜索与前帧目标大小接近的最近的人头目标,如果满足匹配阈值,则认为该轨迹在后帧图像中跟踪到了对应目标,将该人头目标添加到目标轨迹中,记录相应的检测到目标的置信度;本发明实施例中还可以通过光流法对后一帧图像的目标检测信息进行预测,并采用前帧目标的置信度乘以衰减系数作为该预测目标的置信度。当所述置信度低于设定的置信度阈值时,则结束该轨迹跟踪,认为其对应的人头目标已经消失;如果后帧图像中有人头目标没有被任何一条轨迹匹配到,则用该目标检测信息添加一条新的轨迹。
需要说明的是,对于待检测视频帧中的通过检测模型获取到的目标检测信息,都可以通过光流法预测该目标在下一帧中的检测信息。将所述获取到的目标检测信息和下一帧使用检测模型获取得到的检测信息分别与所述匹配阈值进行匹配,如果在所述匹配阈值范围内,匹配不到对应的目标检测信息,但在光流法预测的检测信息附近能匹配到对应的目标检测信息,则采用光流法预测的检测信息。
4.基于以上步骤获取到的目标轨迹进行分析:由于目标的轨迹跟踪过程中,每一个目标的检测信息都记录了对应的置信度,如果该检测信息是由检测模型检测所确定的,其置信度则为检测模型输出的检测信息对应的置信度;如果所述检测信息是由光流法预测检测信息所得到的,则其置信度设定为其轨迹的上一个检测信息的置信度乘以衰减系数。本发明实施例还可以进行如下处理:
方法一:获取同一个目标轨迹在不同帧图像中所有检测信息对应的平均置信度C以及最长连续检测帧的长度L,如果C小于设定的轨迹置信度阈值或者L小于设定的连续帧长阈值,则认为不是实际的目标轨迹,可以将其剔除。
方法二:基于实际的人头目标的运动轨迹通常是比较平滑的曲线,误检的噪声目标的运动轨迹通常为比较杂乱的曲线,本发明实施例还可以通过计算目标轨迹的杂乱度,剔除那些杂乱度很高的轨迹,从而降低误检率。例如:通过计算完整的目标轨迹中每一步运动的方向,按照目标的运动方向投影到几个设定的方向区间内,统计出直方图后计算目标的运动方向分布的熵,将大于固定阈值的轨迹剔除。
需要说明的是,对于本发明实施例中设定的地铁车厢检测区域,即本发明实施例中所述图像采集区域块,通过判断检测得到的目标轨迹是否进入区域、离开区域还是滞留区域,统计出检测区域内的在此时刻的人头目标数量。具体判断方法为:根据划定的多边形检测区域,以及目标轨迹每个坐标是否位于多边形内部的位置关系,如果目标轨迹在某个时刻由检测区域外运动到检测区域内,则增加一个进入区域的目标数目;相反,轨迹某个时候由检测区域内部运动到检测区域外,则增加一个离开区域的目标数量。在任意时候,检测区域内所检测到的总目标数量就是该时刻检测区域内的滞留目标数量。本发明实施例通过连续多帧视频分析最终确定一个人头目标数量结果,从而保证了地铁车厢内客流统计的精确度。本发明实施例通过统计地铁车厢内的客流数量,能够及时将所述获取到的地铁车厢内的实时客流信息进行发布,从而实现地铁车厢内的乘客密度引导和地铁站台的排队引导。
本发明基于地铁车厢这个客流密集的特殊场景,采用了分区域选择对应的人头目标识别和运动轨迹分析方法,从而可以获得高精度的客流量统计。所述分区域选择对应的人头目标识别方法采用的是基于区域提取的深度学习方法训练的人头模型对检测目标的尺度大小没有要求,能够适应于地铁场景中尺度变化很大的人头检测。所述运动轨迹分析方法是利用连续多帧的视频检测结果进行轨迹分析,使得目标轨迹统计更加准确。与此同时,本发明还充分考虑地铁乘客的可能的实际行为,采用了剔除噪声和误检,从而提高了检测识别率高、降低了误检率。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种基于视频分析的地铁车厢客流统计装置,如图3所示,包括:预置单元301,用于预置图像采集区域块及其对应的检测模型;获取单元302,用于获取待检测图像帧组;所述待检测图像帧组包括至少一帧图像;检测跟踪单元303,用于根据所述图像采集区域块及其对应的检测模型,对所述待检测图像帧组中帧图像进行检测跟踪,获取目标的轨迹集合。
其中,所述检测跟踪单元303,具体包括:检测子单元,用于根据所述图像采集区域块及其对应的检测模型,对所述待检测图像帧组中的图像帧进行检测,获取各个检测图像帧中目标的检测信息及其对应置信度;信息获取子单元,用于获取初始帧组中各个图像帧中目标的检测信息及其对应置信度;跟踪子单元,用于跟踪所述初始帧组中各个图像帧中目标,获取所述目标的轨迹集合。
需要说明的是,所述跟踪子单元,具体用于获取匹配阈值;通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息;获取初始帧组的下一帧组中各个图像帧中目标的检测信息及其置信度;所述初始帧组的下一帧组中各个图像帧中目标包括:所述初始帧组中各个图像帧中目标在其下一帧图像目标和所述初始帧组的下一帧组中各个图像帧中新增目标;判断所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息是否在所述匹配阈值范围内;如果所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息不在所述匹配阈值范围内,则所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息采用所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息;如果所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息都不在所述匹配阈值范围内,则所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息通过在先轨迹帧的检测信息采用线性预测的方法进行线性预测获取;获取所述目标的轨迹集合;所述目标的轨迹集合包括:至少一个目标的轨迹;所述目标的轨迹包括:同一目标在至少一个图像帧内的检测信息及其对应置信度的集合。
还需要说明的是,该装置还包括:系数设置单元,用于预置所述置信度的衰减系数;置信度信息获取单元,用于当采用所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息时,所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息对应的置信度为初始帧组中各个图像帧中目标的检测信息对应的置信度与所述置信度的衰减系数的乘积。
还需要说明的是,该装置还包括:置信度阈值设置单元,用于预置所述置信度阈值;判断单元,用于判断所述目标的检测信息对应的置信度是否低于所述置信度阈值;如果低于所述置信度阈值,则停止所述目标的轨迹跟踪。
还需要说明的是,该装置还包括:信息添加单元,用于获取所述初始帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度;将所述初始帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度添加到所述目标的轨迹集合。
还需要说明的是,该装置还包括:信息统计单元,用于获取所述目标的轨迹集合的筛选规则;根据所述目标的轨迹集合的筛选规则,进行客流统计。
本发明实施方式相对于现有技术而言,通过对待检测图像帧组内图像帧进行分区域,并使用对应区域的检测模型进行目标检测及跟踪,使得目标检测速度较快且客流统计精度高。
不难发现,本实施方式为与第一实施方式相对应的装置实施例,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是,本实施方式中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。
图4为本发明基于视频分析的地铁车厢客流统计系统一个实施例的结构示意图,可以实现本发明图1-2所示实施例的流程,如图4所示,上述基于视频分析的地铁车厢客流统计系统可以包括:壳体41、处理器42、存储器43、电路板44和电源电路45,其中,所述电路板44安置在所述壳体41围成的空间内部,所述处理器42和所述存储器43设置在所述电路板44上;所述电源电路45,用于为上述电子设备的各个电路或器件供电;所述存储器43用于存储可执行程序代码;所述处理器42通过读取所述存储器43中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述任一实施例所述的基于视频分析的地铁车厢客流统计方法。
所述处理器42对上述步骤的具体执行过程以及所述处理器42通过运行可执行程序代码来进一步执行的步骤,可以参见本发明图1-2所示实施例的描述,在此不再赘述。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
为了描述的方便,描述以上装置是以功能分为各种单元/模块分别描述。当然,在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种基于视频分析的地铁车厢客流统计方法,其特征在于,包括:
预置图像采集区域块及其对应的检测模型;
获取待检测图像帧组;所述待检测图像帧组包括至少一帧图像;
根据所述图像采集区域块及其对应的检测模型,对所述待检测图像帧组中帧图像进行检测跟踪,获取目标的轨迹集合。
2.根据权利要求1所述的基于视频分析的地铁车厢客流统计方法,其特征在于,所述根据所述图像采集区域块及其对应的检测模型,对所述待检测图像帧组中帧图像进行检测跟踪,获取目标的轨迹集合的步骤,具体包括:
根据所述图像采集区域块及其对应的检测模型,对所述待检测图像帧组中的图像帧进行检测,获取各个检测图像帧中目标的检测信息及其对应置信度;
获取初始帧组中各个图像帧中目标的检测信息及其对应置信度;
跟踪所述初始帧组中各个图像帧中目标,获取所述目标的轨迹集合。
3.根据权利要求2所述的基于视频分析的地铁车厢客流统计方法,其特征在于,所述跟踪所述初始帧组中各个图像帧中目标,获取所述目标的轨迹集合步骤,具体包括:
获取匹配阈值;
通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息;
获取初始帧组的下一帧组中各个图像帧中目标的检测信息及其置信度;所述初始帧组的下一帧组中各个图像帧中目标包括:所述初始帧组中各个图像帧中目标在其下一帧图像目标和所述初始帧组的下一帧组中各个图像帧中新增目标;
判断所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息是否在所述匹配阈值范围内;
如果所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息不在所述匹配阈值范围内,则所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息采用所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息;
如果所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息都不在所述匹配阈值范围内,则所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息通过在先轨迹帧的检测信息采用线性预测的方法进行线性预测获取;
获取所述目标的轨迹集合;所述目标的轨迹集合包括:至少一个目标的轨迹;所述目标的轨迹包括:同一目标在至少一个图像帧内的检测信息及其对应置信度的集合。
4.根据权利要求3所述的基于视频分析的地铁车厢客流统计方法,其特征在于,该方法还包括:
预置所述置信度的衰减系数;
当采用所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息时,所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息对应的置信度为初始帧组中各个图像帧中目标的检测信息对应的置信度与所述置信度的衰减系数的乘积。
5.根据权利要求2-4中任意一项所述的基于视频分析的地铁车厢客流统计方法,其特征在于,该方法还包括:
预置所述置信度阈值;
判断所述目标的检测信息对应的置信度是否低于所述置信度阈值;
如果低于所述置信度阈值,则停止所述目标的轨迹跟踪。
6.根据权利要求5所述的基于视频分析的地铁车厢客流统计方法,其特征在于,该方法还包括:
获取所述初始帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度;
将所述初始帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度添加到所述目标的轨迹集合。
7.根据权利要求6所述的基于视频分析的地铁车厢客流统计方法,其特征在于,该方法还包括:
获取所述目标的轨迹集合的筛选规则;
根据所述目标的轨迹集合的筛选规则,进行客流统计。
8.一种基于视频分析的地铁车厢客流统计装置,其特征在于,包括:
预置单元,用于预置图像采集区域块及其对应的检测模型;
获取单元,用于获取待检测图像帧组;所述待检测图像帧组包括至少一帧图像;
检测跟踪单元,用于根据所述图像采集区域块及其对应的检测模型,对所述待检测图像帧组中帧图像进行检测跟踪,获取目标的轨迹集合。
9.根据权利要求8所述的基于视频分析的地铁车厢客流统计装置,其特征在于,所述检测跟踪单元,具体包括:
检测子单元,用于根据所述图像采集区域块及其对应的检测模型,对所述待检测图像帧组中的图像帧进行检测,获取各个检测图像帧中目标的检测信息及其对应置信度;
信息获取子单元,用于获取初始帧组中各个图像帧中目标的检测信息及其对应置信度;
跟踪子单元,用于跟踪所述初始帧组中各个图像帧中目标,获取所述目标的轨迹集合。
10.根据权利要求9所述的基于视频分析的地铁车厢客流统计装置,其特征在于,所述跟踪子单元,具体用于获取匹配阈值;通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息;获取初始帧组的下一帧组中各个图像帧中目标的检测信息及其置信度;所述初始帧组的下一帧组中各个图像帧中目标包括:所述初始帧组中各个图像帧中目标在其下一帧图像目标和所述初始帧组的下一帧组中各个图像帧中新增目标;判断所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息是否在所述匹配阈值范围内;如果所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息不在所述匹配阈值范围内,则所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息采用所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息;如果所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息与所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息都不在所述匹配阈值范围内,则所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息通过在先轨迹帧的检测信息采用线性预测的方法进行线性预测获取;获取所述目标的轨迹集合;所述目标的轨迹集合包括:至少一个目标的轨迹;所述目标的轨迹包括:同一目标在至少一个图像帧内的检测信息及其对应置信度的集合。
11.根据权利要求10所述的基于视频分析的地铁车厢客流统计装置,其特征在于,该装置还包括:
系数设置单元,用于预置所述置信度的衰减系数;
置信度信息获取单元,用于当采用所述通过图像预测算法获取所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息时,所述初始帧组中各个图像帧中目标在其下一帧图像的检测信息对应的置信度为初始帧组中各个图像帧中目标的检测信息对应的置信度与所述置信度的衰减系数的乘积。
12.根据权利要求9-11中任意一项所述的基于视频分析的地铁车厢客流统计装置,其特征在于,该装置还包括:
置信度系数设置单元,用于预置所述置信度阈值;
判断单元,用于判断所述目标的检测信息对应的置信度是否低于所述置信度阈值;如果低于所述置信度阈值,则停止所述目标的轨迹跟踪。
13.根据权利要求12所述的基于视频分析的地铁车厢客流统计装置,其特征在于,该装置还包括:
信息添加单元,用于获取所述初始帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度;将所述初始帧组的下一帧组中各个图像帧中新增目标的检测信息及其置信度添加到所述目标的轨迹集合。
14.根据权利要求13所述的基于视频分析的地铁车厢客流统计装置,其特征在于,该装置还包括:
信息统计单元,用于获取所述目标的轨迹集合的筛选规则;根据所述目标的轨迹集合的筛选规则,进行客流统计。
15.一种基于视频分析的地铁车厢客流统计系统,其特征在于,所述基于视频分析的地铁车厢客流统计系统包括:壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为上述电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述任一权利要求1-7所述的基于视频分析的地铁车厢客流统计方法。
CN201610413000.3A 2016-06-13 2016-06-13 一种基于视频分析的地铁车厢客流统计方法、装置及系统 Pending CN107491715A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610413000.3A CN107491715A (zh) 2016-06-13 2016-06-13 一种基于视频分析的地铁车厢客流统计方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610413000.3A CN107491715A (zh) 2016-06-13 2016-06-13 一种基于视频分析的地铁车厢客流统计方法、装置及系统

Publications (1)

Publication Number Publication Date
CN107491715A true CN107491715A (zh) 2017-12-19

Family

ID=60642623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610413000.3A Pending CN107491715A (zh) 2016-06-13 2016-06-13 一种基于视频分析的地铁车厢客流统计方法、装置及系统

Country Status (1)

Country Link
CN (1) CN107491715A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271942A (zh) * 2018-09-26 2019-01-25 上海七牛信息技术有限公司 一种人流统计方法以及系统
CN109325467A (zh) * 2018-10-18 2019-02-12 广州云从人工智能技术有限公司 一种基于视频检测结果的车辆跟踪方法
CN109766780A (zh) * 2018-12-20 2019-05-17 武汉理工大学 一种基于深度学习的船舶烟雾排放在线检测和追踪方法
CN109815936A (zh) * 2019-02-21 2019-05-28 深圳市商汤科技有限公司 一种目标对象分析方法及装置、计算机设备和存储介质
CN111046788A (zh) * 2019-12-10 2020-04-21 北京文安智能技术股份有限公司 一种停留人员的检测方法、装置及系统
CN111597863A (zh) * 2019-02-21 2020-08-28 顺丰科技有限公司 一种装卸率确定方法、系统、设备及存储介质
CN111680569A (zh) * 2020-05-13 2020-09-18 北京中广上洋科技股份有限公司 基于图像分析的出勤率检测方法、装置、设备及存储介质
CN111986229A (zh) * 2019-05-22 2020-11-24 阿里巴巴集团控股有限公司 视频目标检测方法、装置及计算机系统
CN112133087A (zh) * 2020-08-12 2020-12-25 苏州思扬智慧科技有限公司 一种轨道交通智慧客流分析与导引系统及其客流分析与导引的方法
CN113159004A (zh) * 2021-05-27 2021-07-23 苏州大学 轨道交通车厢客流估计方法
CN113570755A (zh) * 2021-07-20 2021-10-29 菲特(天津)检测技术有限公司 生产线体车间的人员进出监控及报警系统、方法、介质及应用

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872431A (zh) * 2010-02-10 2010-10-27 杭州海康威视软件有限公司 可适用多角度应用场景的人流量统计的方法及系统
CN103646257A (zh) * 2013-12-30 2014-03-19 中国科学院自动化研究所 一种基于视频监控图像的行人检测和计数方法
CN104134078A (zh) * 2014-07-22 2014-11-05 华中科技大学 一种人流量统计系统中分类器的自动选择方法
CN104361327A (zh) * 2014-11-20 2015-02-18 苏州科达科技股份有限公司 一种行人检测方法和系统
CN105184258A (zh) * 2015-09-09 2015-12-23 苏州科达科技股份有限公司 目标跟踪方法及系统、人员行为分析方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872431A (zh) * 2010-02-10 2010-10-27 杭州海康威视软件有限公司 可适用多角度应用场景的人流量统计的方法及系统
CN103646257A (zh) * 2013-12-30 2014-03-19 中国科学院自动化研究所 一种基于视频监控图像的行人检测和计数方法
CN104134078A (zh) * 2014-07-22 2014-11-05 华中科技大学 一种人流量统计系统中分类器的自动选择方法
CN104361327A (zh) * 2014-11-20 2015-02-18 苏州科达科技股份有限公司 一种行人检测方法和系统
CN105184258A (zh) * 2015-09-09 2015-12-23 苏州科达科技股份有限公司 目标跟踪方法及系统、人员行为分析方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
佟璐: "基于图像的地铁列车客流统计方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
刘敬禹: "基于视频的客流检测与分析算法研究及其在交通枢纽站中的应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271942A (zh) * 2018-09-26 2019-01-25 上海七牛信息技术有限公司 一种人流统计方法以及系统
CN109325467A (zh) * 2018-10-18 2019-02-12 广州云从人工智能技术有限公司 一种基于视频检测结果的车辆跟踪方法
CN109766780A (zh) * 2018-12-20 2019-05-17 武汉理工大学 一种基于深度学习的船舶烟雾排放在线检测和追踪方法
CN109815936B (zh) * 2019-02-21 2023-08-22 深圳市商汤科技有限公司 一种目标对象分析方法及装置、计算机设备和存储介质
CN109815936A (zh) * 2019-02-21 2019-05-28 深圳市商汤科技有限公司 一种目标对象分析方法及装置、计算机设备和存储介质
CN111597863A (zh) * 2019-02-21 2020-08-28 顺丰科技有限公司 一种装卸率确定方法、系统、设备及存储介质
CN111597863B (zh) * 2019-02-21 2023-11-28 顺丰科技有限公司 一种装卸率确定方法、系统、设备及存储介质
CN111986229A (zh) * 2019-05-22 2020-11-24 阿里巴巴集团控股有限公司 视频目标检测方法、装置及计算机系统
CN111046788A (zh) * 2019-12-10 2020-04-21 北京文安智能技术股份有限公司 一种停留人员的检测方法、装置及系统
CN111680569A (zh) * 2020-05-13 2020-09-18 北京中广上洋科技股份有限公司 基于图像分析的出勤率检测方法、装置、设备及存储介质
CN111680569B (zh) * 2020-05-13 2024-04-19 北京中广上洋科技股份有限公司 基于图像分析的出勤率检测方法、装置、设备及存储介质
CN112133087A (zh) * 2020-08-12 2020-12-25 苏州思扬智慧科技有限公司 一种轨道交通智慧客流分析与导引系统及其客流分析与导引的方法
CN113159004B (zh) * 2021-05-27 2023-03-10 苏州大学 轨道交通车厢客流估计方法
CN113159004A (zh) * 2021-05-27 2021-07-23 苏州大学 轨道交通车厢客流估计方法
CN113570755A (zh) * 2021-07-20 2021-10-29 菲特(天津)检测技术有限公司 生产线体车间的人员进出监控及报警系统、方法、介质及应用

Similar Documents

Publication Publication Date Title
CN107491715A (zh) 一种基于视频分析的地铁车厢客流统计方法、装置及系统
CN110425005B (zh) 矿井下皮带运输人员人机交互行为安全监控与预警方法
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
CN108810620A (zh) 识别视频中的关键时间点的方法、计算机设备及存储介质
US20230206720A1 (en) System for counting quantity of game tokens
CN104637058B (zh) 一种基于图像信息的客流量识别统计方法
CN104615986B (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN104573659B (zh) 一种基于svm的驾驶员接打电话监控方法
CN107229894A (zh) 基于计算机视觉分析技术的智能视频监控方法及系统
CN108241844A (zh) 一种公交客流统计方法、装置及电子设备
CN110533654A (zh) 零部件的异常检测方法及装置
CN109829382A (zh) 基于行为特征智能分析的异常目标预警追踪系统及方法
CN103632247A (zh) 一种基于智能仓储系统的表计信息识别系统及方法
CN103413149B (zh) 复杂背景中实现静态目标检测和识别的方法
CN104346802A (zh) 一种人员离岗监控方法及设备
CN113947731A (zh) 一种基于接触网安全巡检的异物识别方法及系统
CN110991397B (zh) 一种行进方向确定方法及相关设备
CN109740609A (zh) 一种轨距检测方法及装置
CN107590486A (zh) 运动目标识别方法和系统、自行车流量统计方法和设备
CN108765405A (zh) 一种影像鉴真方法和系统
CN113744316A (zh) 一种基于深度神经网络的多目标跟踪方法
CN114612860A (zh) 基于计算机视觉的轨道交通站内客流识别与预测方法
CN109840905A (zh) 电力设备锈迹检测方法及系统
CN106204549A (zh) 一种基于视频分析的广告牌监测方法、装置及电子设备
CN109344829A (zh) 一种高速铁路列车的车号识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Unit 801, Unit 5, No. 2 Building, 9 Yuan, Fenghao East Road, Haidian District, Beijing 100094

Applicant after: Wen'an Beijing intelligent technology Limited by Share Ltd

Address before: 100085 Fourth Floor of Huanyang Building, 7th Building, No. 1 Courtyard, Shangdi East Road, Haidian District, Beijing

Applicant before: Wen'an Beijing intelligent technology Limited by Share Ltd

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171219