CN111652900A - 基于场景流的客流量的计数方法、系统及设备、存储装置 - Google Patents

基于场景流的客流量的计数方法、系统及设备、存储装置 Download PDF

Info

Publication number
CN111652900A
CN111652900A CN202010475393.7A CN202010475393A CN111652900A CN 111652900 A CN111652900 A CN 111652900A CN 202010475393 A CN202010475393 A CN 202010475393A CN 111652900 A CN111652900 A CN 111652900A
Authority
CN
China
Prior art keywords
target
current frame
previous frame
disparity map
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010475393.7A
Other languages
English (en)
Other versions
CN111652900B (zh
Inventor
伊进延
王晓鲁
卢维
任宇鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010475393.7A priority Critical patent/CN111652900B/zh
Publication of CN111652900A publication Critical patent/CN111652900A/zh
Application granted granted Critical
Publication of CN111652900B publication Critical patent/CN111652900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于场景流的客流量的计数方法、系统及设备、存储装置。其中，基于场景流的客流量的计数方法包括：获取检测通道的前一帧的双目立体图像和当前帧的双目立体图像；对所述前一帧的双目立体图像和所述当前帧的双目立体图像进行计算，得到光流图、前一帧的视差图、当前帧的视差图和场景流图；根据所述场景流图、所述前一帧的视差图和所述当前帧的视差图检测出前一帧的运动目标和当前帧的运动目标；根据所述前一帧的运动目标和所述当前帧的运动目标计算目标关联代价，进行目标跟踪；根据所述目标跟踪的结果对客流量进行计数。上述方案，能够准确地对客流量进行计数。

Description

基于场景流的客流量的计数方法、系统及设备、存储装置
技术领域
本申请涉及双目立体视觉技术领域，特别是涉及一种基于场景流的客流量的计数方法、系统及设备、存储装置。
背景技术
由于计算机视觉的发展，目前使用较多的客流统计方法是基于视觉所实现的。基于视觉的客流统计方法实现方法一般有两种：一种是基于单目摄像机的，一种是基于双目摄像机的。
基于单目摄像机的客流统计方法通过训练识别头肩的深度学习模型检测行人，然后对行人跟踪计数；但是，对于戴帽子或头巾等行人，容易出现检测不出来的情况，另外尽管可以统计行人数目，但是由于无法获取目标深度信息，不利于系统分析行人属性，并且识别准确率不高。而基于双目摄像机的客流统计方法会计算目标的深度信息和运动信息，通过目标的深度信息和运动信息进行目标位置预测和目标跟踪；但是，现有的方式一般使用立体匹配算法中的BM算法计算深度图，虽然可以达到实时性的要求，但是匹配精度不高，得到的深度图不够稠密，直接影响计数精度，而基于深度图的跟踪算法过度依赖于深度图的质量。
发明内容
本申请主要解决的技术问题是提供一种基于场景流的客流量的计数方法、系统及设备、存储装置，能够准确地对客流量进行计数。
为了解决上述问题，本申请第一方面提供了一种基于场景流的客流量的计数方法，所述计数方法包括：获取检测通道的前一帧的双目立体图像和当前帧的双目立体图像；对所述前一帧的双目立体图像和所述当前帧的双目立体图像进行计算，得到光流图、前一帧的视差图、当前帧的视差图和场景流图；根据所述场景流图、所述前一帧的视差图和所述当前帧的视差图检测出前一帧的运动目标和当前帧的运动目标；根据所述前一帧的运动目标和所述当前帧的运动目标计算目标关联代价，进行目标跟踪；根据所述目标跟踪的结果对客流量进行计数。
为解决上述问题，本申请第二方面提供了一种基于场景流的客流量的计数系统，所述计数系统包括：检测通道，用于供行人进入或者走出；双目摄像机，所述双目摄像机设置于所述检测通道的顶部，所述双目摄像机用于获取所述检测通道的前一帧的双目立体图像和当前帧的双目立体图像；图像处理装置，所述图像处理装置与所述双目摄像机耦接，所述图像处理装置用于：对所述前一帧的双目立体图像和所述当前帧的双目立体图像进行计算，得到光流图、前一帧的视差图、当前帧的视差图和场景流图；根据所述场景流图、所述前一帧的视差图和所述当前帧的视差图检测出前一帧的运动目标和当前帧的运动目标；根据所述前一帧的运动目标和所述当前帧的运动目标计算目标关联代价，进行目标跟踪；以及，根据所述目标跟踪的结果对客流量进行计数。
为解决上述问题，本申请第三方面提供了一种基于场景流的客流量的计数设备，所述计数设备包括相互耦接的通信电路、存储器和处理器；所述通信电路用于接收图像获取装置获取的检测通道的前一帧的双目立体图像和当前帧的双目立体图像；所述处理器用于执行所述存储器存储的程序数据，以实现上述第一方面的基于场景流的客流量的计数方法。
为解决上述问题，本申请第四方面提供了一种存储装置，存储有能够被处理器运行的程序数据，所述程序数据用于实现上述第一方面的基于场景流的客流量的计数方法。
本发明的有益效果是：区别于现有技术的情况，本申请在获取到检测通道的前一帧的双目立体图像和当前帧的双目立体图像后，对前一帧的双目立体图像和当前帧的双目立体图像进行计算，得到光流图、前一帧的视差图、当前帧的视差图和场景流图，然后根据场景流图、前一帧的视差图和当前帧的视差图检测出前一帧的运动目标和当前帧的运动目标，再根据前一帧的运动目标和当前帧的运动目标计算目标关联代价，进行目标跟踪，从而可以根据目标跟踪的结果对客流量进行计数。通过利用视差图和场景流进行行人目标的检测，能够准确的检测到场景中的运动目标，并且可以获取行人的身高、运动速度和方向等信息，可以为目标跟踪提供更多的特征信息，提高目标跟踪精度；并且场景中目标只要存在运动，就可以根据场景流检测到运动目标，使用场景流检测运动目标可以减小非运动目标对于目标检测的影响，从而能够实现准确地对客流量进行计数。
附图说明
图1a是本申请基于场景流的客流量的计数方法一实施例的流程示意图；
图1b是一应用场景中双目摄像机的使用和安装示意图；
图2a是图1a中步骤S102一实施例的流程示意图；
图2b是一应用场景中SFNet网络模型的结构示意图；
图2c是图2b的SFNet网络模型中CNN卷积神经网络的结构示意图；
图2d是采用图2b的SFNet网络模型计算得到的左视图、视差图和场景流图；
图3是图1a中步骤S103一实施例的流程示意图；
图4是图3中步骤S304一实施例的流程示意图；
图5是图3中步骤S305一实施例的流程示意图；
图6a是图1a中步骤S104一实施例的流程示意图；
图6b是一应用场景中对客流量进行计数的监控画面显示示意图；
图7是本申请基于场景流的客流量的计数设备一实施例的结构示意图；
图8是本申请基于场景流的客流量的计数设备另一实施例的结构示意图；
图9是本申请存储装置一实施例的结构示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1a，图1a是本申请基于场景流的客流量的计数方法一实施例的流程示意图。本实施例中的基于场景流的客流量的计数方法，包括以下步骤：
S101：获取检测通道的前一帧的双目立体图像和当前帧的双目立体图像。
其中，双目立体图像包括第一图像和第二图像，第一图像和第二图像分别为左图像和右图像。具体地，在检测通道的顶部可以设置有第一图像获取装置和第二图像获取装置，前一帧的双目立体图像包括前一帧的第一图像和前一帧的第二图像，当前帧的双目立体图像包括当前帧的第一图像和当前帧的第二图像，于是上述步骤S101可以包括：通过第一图像获取装置获取检测通道的前一帧的第一图像和当前帧的第一图像，通过第二图像获取装置获取检测通道的前一帧的第二图像和当前帧的第二图像。
请参阅图1b，图1b是一应用场景中双目摄像机的使用和安装示意图，作为一种可实施方式，第一图像获取装置和第二图像获取装置为双目摄像机的两个镜头，双目摄像机的镜头的光轴与检测通道的地面的夹角为直角或锐角；双目摄像机设置在检测通道的顶部，镜头的光轴可以垂直于地面向下拍摄，光轴也可以和地面垂直方向存在一定角度，只要双目摄像机可以拍摄到检测通道中行人的头部和肩部即可。另外，双目摄像机距离检测通道的地面的高度为3至5米；而双目摄像机的检测高度范围为高于检测通道的地面0.8至2.5米。
S102：对前一帧的双目立体图像和当前帧的双目立体图像进行计算，得到光流图、前一帧的视差图、当前帧的视差图和场景流图。
可以理解的是，场景流表示动态场景或者三维物体的每一个点在场景中的密集三维运动场。场景流可以根据连续帧的双目立体图像计算得到。一般通过视差估计和光流估计恢复三维运动场。场景流代表了三维场景的瞬时运动矢量。计算得到的场景流有三个通道，分别代表了摄像机坐标系下的不同含义。u通道代表监控画面中横向坐标上的运动矢量，u为正值，目标向监控画面右侧移动，反之向左侧移动。v通道代表监控画面纵向坐标方向上的运动矢量，v为正值，目标向画面的下方移动，反之，向上方移动。z通道代表了摄像机光轴方向上的运动矢量。场景中目标的运动速度和方向存在差异性，可以直接体现在场景流每一个像素点对应的[u，v，z]数值大小上。
作为一种可实施方式，可以通过SFNet网络模型实现对前一帧的双目立体图像和当前帧的双目立体图像进行计算，从而得到光流图、前一帧的视差图、当前帧的视差图和场景流图。具体地，请参阅图2a，图2a是图1a中步骤S102的流程示意图，在一实施例中，SFNet网络模型可以包括DispNet网络、FlowNet网络和CNN卷积神经网络；上述步骤S102包括：
S201：通过FlowNet网络根据前一帧的第一图像和当前帧的第一图像得到光流图。
S202：通过DispNet网络根据前一帧的第一图像和前一帧的第二图像得到前一帧的视差图，根据当前帧的第一图像和当前帧的第二图像得到当前帧的视差图。
场景流可以解释为光流和深度变化，由经过校准的双目摄像机捕获的多帧双目图像，可以计算得到光流图，通过立体匹配可以计算视差图。视差图代表了场景的深度信息，由于行人头部和肩部高度差异，不同行人的身高差异，视差图对应区域的视差值也是不同的。
S203：通过SFNet网络根据光流图对当前帧的视差图进行warp操作，以将当前帧的视差图中的每个像素点根据各像素位置上的光流值偏移至前一帧的视差图中的对应像素位置上，得到前一帧的warp后的视差图。
S204：通过CNN卷积神经网络将前一帧的warp后的视差图与前一帧的视差图相减得到前一帧的视差变化图，并根据前一帧的视差变化图和光流图得到场景流图。
使用光流图将第二帧图像的视差图warp(warp操作：根据每一像素位置上的光流值偏移视差图对应的像素点)至第一帧对应像素位置上，warp后的视差图结果和第一帧计算的视差值结果相减得到视差变化图。此时，视差变化图和光流图可以构成最终需要的场景流。
具体地，可以结合用于视差估计的DispNet网络和用于光流估计的FlowNet网络来构建组合网络以估计场景流，该组合网络为SFNet网络。请参阅图2b至图2d，其中，图2b是一应用场景中SFNet网络模型的结构示意图，图2c是图2b的SFNet网络模型中CNN卷积神经网络的结构示意图，图2d是采用图2b的SFNet网络模型计算得到的左视图、视差图和场景流图。将双目摄像机获取到的t和t-1时刻的左右图像(四副图像)作为SFNet网络的输入；通过DispNet网络计算t和t-1时刻的左右图像的视差图Dt和Dt-1；通过FlowNet网络计算左图像在t、t-1时刻的光流Fl；CNN卷积神经网络是一个基于编码器-解码器构造的卷积模块，其输入是FlowNet网络计算的光流图、第t-1帧视差图和第t-1帧经过光流图warp操作后的视差图，其输出是最终的场景流Sf(x)＝(u,v,z)T。将光流的两个通道(u,v)和深度变化维度z组合为场景流Sf(x)＝(u,v,z)T，Sf(x)＝(u,v,z)T是一个三维度的输出，分别是光流估计值和第t帧与第t-1帧时的视差变化值。然后SFNet网络可以输出Sf:π→R3，其中Sf是SFNet的输出，π是输入图像的维度(四幅图像拥有同样的维度)。
在实际应用时，可以使用数据集FlyingThings3D来训练SFNet网络模型，在输入前后两帧的左右视图RGB图像后，经过训练好的SFNet网络模型可以计算出视差图和场景流；例如，SFNet网络模型通过先使用FlyingThings3D数据集中的视差图数据和光流图数据分别对DispNet网络和FlowNet网络进行预训练，然后使用训练好的DispNet网络和FlowNet网络构造形成的。可以理解的是，为了得到精度较好的SFNet网络模型，首先使用FlyingThings3D数据集中的视差图数据和光流图数据分别对DispNet网络和FlowNet网络进行预训练，然后使用训练好的DispNet网络和FlowNet网络构造SFNet网络，并使用FlyingThings3D数据集中的光流图和视差变化图对SFNet网络进行训练。训练时，固化DispNet网络和FlowNet网络参数，即训练SFNet网络时，不更新DispNet网络和FlowNet网络的参数。
S103：根据场景流图、前一帧的视差图和当前帧的视差图检测出前一帧的运动目标和当前帧的运动目标。
根据视差图和场景流的物理意义，视差图和场景流分别携带了目标的深度信息和运动信息，这为行人目标的检测提供了准确的特征信息。本申请通过场景流提取运动目标区域，场景中存在若干运动目标，并且其位置关系复杂，比如存在并排行人，此时使用场景流提取运动目标，该运动目标可能包含多个行人目标；而使用视差图将包含了多个行人的运动目标区分开，并提取行人目标的头部区域，由于行人头部和肩部的高度不同，计算得到的相应区域的视差值不同，据此，可以用视差图将行人头部区域检测出来，即可以根据场景流图、前一帧的视差图和当前帧的视差图检测出前一帧的运动目标和当前帧的运动目标。
具体地，请参阅图3，图3是图1a中步骤S103的流程示意图。上述步骤S103包括：
S301：对场景流图进行平滑处理，并通过结合了无参数概率密度估计和K-NearestNeighbor分类算法的前景提取方法提取出前景运动目标掩膜fgmask。
可以理解的是，场景中存在运动目标，此时计算出的场景流在运动目标对应区域的场景流值与其它非运动区域差异较大。场景流包含了u，v，z三个通道，u表示目标在横坐标方向上的运动，v表示运动目标在纵坐标方向上的运动，z表示运动目标在摄像机光轴方向上的运动。为了将运动目标提取出来，首先对场景流图进行高斯平滑，以减少场景流图噪点。然后使用结合了无参数概率密度估计和K-Nearest Neighbor分类算法的前景提取方法提取前景运动目标掩膜fgmask。
S302：对前景运动目标掩膜fgmask进行形态学运算，得到处理后的前景运动目标掩膜mask。
对前景运动目标掩膜fgmask进行形态学运算得到较好的前景运动目标掩膜mask。在一实施方式中，步骤S302具体可以包括：对前景运动目标掩膜fgmask先进行一次开运算，以去除前景运动目标掩膜fgmask中孤立的噪点，然后进行两次闭运算，以消除开运算造成的运动目标掩膜边界损失，得到处理后的前景运动目标掩膜mask。此时得到的运动目标掩膜mask包含了若干运动目标区域，每个区域可能包含多个行人目标。
S303：将处理后的前景运动目标掩膜mask中与当前帧的视差图对应的运动区域分割出来，得到运动目标视差图disp_seg。
S304：根据双目平行光轴模型计算双目摄像机的检测高度范围对应的视差值范围。
具体地，双目摄像机包括基线距离bline、安装高度Height、摄像机焦距focus和检测高度范围，根据双目摄像机的基线距离bline、安装高度Height、摄像机焦距focus和检测高度范围可以计算视差值的有效检测范围。请参阅图4，图4是图3中步骤S304的流程示意图。上述步骤S304具体包括：
S401：根据双目平行光轴模型和三角测量原理得到视差值与检测距离、基线距离bline和摄像机焦距focus之间的第一关联关系。其中，视差值为d，检测距离为H，于是第一关联关系为：
Figure BDA0002515670650000081
S402：根据第一关联关系、检测高度范围、双目摄像机与运动目标之间的检测距离与检测高度和安装高度Height之间的第二关联关系，计算得到检测高度范围对应的视差值范围。
记视差值范围为[low,top]，因此，可以依据双目平行光轴模型计算检测高度范围所对应的视差值范围[low,top]。在一应用场景中，检测高度范围为[80cm,250cm]，则目标与双目摄像机的距离范围为[(Height-250)cm,(Height-80)cm]，其中Height为双目摄像机距离地面高度，Height的取值范围为[300cm，500cm]，而使用的双目摄像机的焦距focus＝419.28107，基线距离bline＝11.98110，所以视差值范围[low,top]可以由下式计算得到：
Figure BDA0002515670650000091
S305：根据运动目标视差图disp_seg和视差值范围得到当前帧的运动目标。
进一步地，请参阅图5，图5是图3中步骤S305的流程示意图。上述步骤S305具体包括：
S501：根据视差值从大到小的顺序将运动目标视差图disp_seg分割成若干个分段，包括视差值最大的分段的N个连续分段组成一个分段区间，N大于等于1。
S502：计算运动目标视差图disp_seg中视差值在一个分段区间的连通区域的面积。
S503：判断连通区域的面积是否满足预设像素个数区间。若满足，则执行步骤S504。
S504：判断该连通区域为当前帧的运动目标的头部区域，并得到当前帧的运动目标的头部掩膜mask_heads和头部轮廓contours。
具体地，根据视差值从上往下(top->low)分段分割步骤S303得到的运动目标视差图disp_seg，分段间隔step＝0.25，每个分段范围为[top-n*step,top]，n为分段步数；然后计算运动目标视差图disp_seg中视差值在[top-n*step,top]区间的连通区域面积，面积满足[800,1600]像素个数之间则认为是头部区域，区域面积以像素个数为单位。可以理解的是，受行人身高不同和摄像机成像角度的影响，监控视频中头部区域面积处于[800,1600]像素个数之间，至此可以得到当前帧所有行人目标头部区域的掩膜mask_heads和头部轮廓contours。
S104：根据前一帧的运动目标和当前帧的运动目标计算目标关联代价，进行目标跟踪。
请参阅图6a，图6a是图1a中步骤S104的流程示意图。上述步骤S104包括：
S601：根据当前帧的运动目标的头部掩膜mask_heads和头部轮廓contours得到当前帧的运动目标信息。
其中，运动目标信息包括运动目标的头部的中心位置坐标、外界边界框的宽高、场景流的[u，v]通道均值、视差均值和目标面积；首先通过当前帧检测到的目标头部掩膜mask_heads和轮廓contours计算运动目标头部的中心位置坐标、外接边框宽高、场景流[u，v]通道均值、视差均值、目标面积等信息，记为[c_x,c_y,w,h,u,v,mean_disp,area]。
S602：根据当前帧的运动目标信息和前一帧的运动目标信息计算前一帧的m个目标和当前帧的n个目标的之间的任意两个目标之间的关联代价，形成两两目标关联代价矩阵cost_mat。
计算第k-1帧的m个目标和第k帧的n个目标的两两目标关联代价矩阵cost_mat。任意两个目标之间的关联代价由目标间的头部外接边界框中心的欧氏距离、边界框交并比IOU、场景流[u，v]通道均值和视差均值的绝对误差构成。
S603：判断前一帧的m个目标中的第i个目标和当前帧的n个目标中的第j个目标之间的关联代价S(i,j)是否满足预设关联条件，得到前一帧的第i个目标和当前帧的第j个目标之间的关联结果。
本申请中，两两目标关联代价矩阵如下：
1 2 j n
1 S(1,1) S(1,2) S(1,j) S(1,n)
2 S(2,1) S(2,2) S(2,j) S(2,n)
i S(i,1) S(i,2) S(i,j) S(i,n)
m S(m,1) S(m,2) S(m,j) S(m,n)
上述表格展示了第k-1帧的m个目标和第k帧的n个目标的m x n的关联代价矩阵cost_mat。两个目标的关联代价越小，二者越相似。只有S(i,j)同时是第i行和第j列所有关联代价中的最小值时，并且S(i,j)满足设定的阈值，则认为第k-1帧中的目标i和第k帧的目标j是同一个目标，即二者关联成功。
具体地，关联结果包括关联成功、目标丢失和新目标出现；预设关联条件为前一帧的第i个目标和当前帧的第j个目标之间的关联代价S(i,j)均为两两目标关联代价矩阵cost_mat中第i行和第j列的所有关联代价中的最小值，且关联代价S(i,j)满足设定的阈值。上述步骤S603包括：当前一帧的第i个目标和当前帧的第j个目标之间的关联代价S(i,j)满足预设关联条件时，则前一帧的第i个目标和当前帧的第j个目标之间关联成功；当前一帧的第i个目标与当前帧的n个目标中的任意一个目标的关联代价均不满足预设关联条件时，则判断前一帧的第i个目标为目标丢失；当当前帧的第j个目标未与前一帧的任意一个目标关联成功时，则判断当前帧的第j个目标为新目标出现。
S604：根据关联结果完成目标跟踪。
当前一帧的第i个目标和当前帧的第j个目标之间关联成功时，将当前帧的第j个目标的位置信息加入到前一帧的第i个目标的跟踪轨迹列表trajectory_list中；当判断出前一帧的第i个目标为目标丢失时，将前一帧的第i个目标的轨迹从跟踪轨迹列表trajectory_list中删除，并将其运动轨迹加入丢失目标的轨迹列表lost_objects_list中；当判断出当前帧的第j个目标为新目标出现时，使用当前帧的第j个目标的位置信息生成一个新的目标运动轨迹，并将该新的目标运动轨迹加入跟踪轨迹列表trajectory_list中。
S105：根据目标跟踪的结果对客流量进行计数。
根据跟踪轨迹列表trajectory_list和丢失目标的轨迹列表lost_objects_list判断目标进入或者走出行为，并记录行人数量。
请结合图6b，图6b是一应用场景中对客流量进行计数的监控画面显示示意图，检测通道的双目立体图像显示于监控画面中，监控画面中设置有识别区域，行人进入识别区开始目标检测和跟踪，识别区域设置有横向中心线L0，横向中心线L0，作为行人进入和走出的检测基准。当一目标的运动轨迹显示其初始位置center_start的行坐标h小于横向中心线L0的行坐标y_line_center、且其终点位置或者消失位置的行坐标h大于横向中心线L0的行坐标y_line_center时，则判断该目标进入成功，in_number计数加1；当一目标的运动轨迹显示其初始位置center_start的行坐标h大于横向中心线L0的行坐标y_line_center、且其终点位置或者消失位置的行坐标h小于横向中心线L0的行坐标y_line_center时，则判断该目标走出成功，out_number计数加1；当一目标的运动轨迹显示其初始位置center_start的行坐标和且其终点位置或者消失位置的行坐标h同时大于或者小于横向中心线L0的行坐标y_line_center时，则判断该目标未进入或者走出，不进行计数。
具体地，如图6b所示，边框K为行人检测识别区，识别区顶部边界和监控画面顶部的距离为监控画面高度的六分之一，同理，识别区底部边界和监控画面底部的距离也为监控画面高度的六分之一，中心线L0设置在识别区中心部位，进入和走出的行人数目分别在监控画面的左上角实时显示。进出标准以场景横向中心线L0为基准，目标从监控画面上部(即图像height＝0)运动到画面下部，并且越过中心线L0，即目标进入，in_number计数加1；目标从监控画面下部(即图像height＝Height)运动到画面上部，并且越过中心线L0，即目标走出，out_number计数加1。如果检测到目标丢失，则需要根据丢失目标轨迹列表lost_objects_list判断目标的进入或者走出行为，并记录行人数量。而对于每一个丢失目标的运动轨迹，判断轨迹初始位置center_start和最后的消失位置center_end的行坐标h与中心线L0行坐标y_line_center的位置关系；如果初始位置行坐标小于L0行坐标，同时消失位置行坐标大于L0行坐标，则认为该目标进入成功，in_number加1；相反，如果初始位置行坐标大于L0行坐标，同时消失位置行坐标小于L0行坐标，则认为该目标走出成功，out_number加1；初始位置和消失位置行坐标同时大于或者同时小于L0行坐标，则不进行计数。
本申请的实施例中，在获取到检测通道的前一帧的双目立体图像和当前帧的双目立体图像后，通过SFNet网络模型对前一帧的双目立体图像和当前帧的双目立体图像进行计算，得到光流图、前一帧的视差图、当前帧的视差图和场景流图，然后根据场景流图、前一帧的视差图和当前帧的视差图检测出前一帧的运动目标和当前帧的运动目标，再根据前一帧的运动目标和当前帧的运动目标计算目标关联代价，进行目标跟踪，从而可以根据目标跟踪的结果对客流量进行计数。通过利用视差图和场景流进行行人目标的检测，能够准确的检测到场景中的运动目标，并且可以获取行人的身高、运动速度和方向等信息，可以为目标跟踪提供更多的特征信息，提高目标跟踪精度；并且场景中目标只要存在运动，就可以根据场景流检测到运动目标，使用场景流检测运动目标可以减小非运动目标对于目标检测的影响，从而能够实现准确地对客流量进行计数。
本申请还提供一种基于场景流的客流量的计数系统。计数系统包括：检测通道，用于供行人进入或者走出；双目摄像机，双目摄像机设置于检测通道的顶部，双目摄像机用于获取检测通道的前一帧的双目立体图像和当前帧的双目立体图像；图像处理装置，图像处理装置与双目摄像机耦接，图像处理装置用于：对前一帧的双目立体图像和当前帧的双目立体图像进行计算，得到光流图、前一帧的视差图、当前帧的视差图和场景流图；根据场景流图、前一帧的视差图和当前帧的视差图检测出前一帧的运动目标和当前帧的运动目标；根据前一帧的运动目标和当前帧的运动目标计算目标关联代价，进行目标跟踪；以及，根据目标跟踪的结果对客流量进行计数。
本申请的基于场景流的客流量的计数系统可以用于实现上述任一实施例中的基于场景流的客流量的计数方法的步骤，具体内容请参阅上述基于场景流的客流量的计数方法实施例中的内容，此处不再赘述。
请参阅图7，图7是本申请基于场景流的客流量的计数设备一实施例的结构示意图。本实施例中的计数设备70包括相互耦接的通信电路700、存储器702和处理器704；通信电路700用于接收图像获取装置获取的检测通道的前一帧的双目立体图像和当前帧的双目立体图像；处理器704用于执行存储器702存储的程序数据，以实现上述任一实施例中的基于场景流的客流量的计数方法的步骤。
请参阅图8，图8是本申请基于场景流的客流量的计数设备另一实施例的结构示意图。本实施例中的计数设备80包括相互耦接的视频采集模块800、场景流计算模块802、行人目标检测模块804、行人目标跟踪与数据关联模块806和行人计数模块808。视频采集模块800基于双目立体视觉系统设计实现，用于获取检测通道的前一帧的双目立体图像和当前帧的双目立体图像；场景流计算模块802用于对前一帧的双目立体图像和当前帧的双目立体图像进行计算，得到光流图、前一帧的视差图、当前帧的视差图和场景流图；行人目标检测模块804用于根据场景流图、前一帧的视差图和当前帧的视差图检测出前一帧的运动目标和当前帧的运动目标；行人目标跟踪与数据关联模块806用于根据前一帧的运动目标和当前帧的运动目标计算目标关联代价，进行目标跟踪；行人计数模块808用于根据目标跟踪的结果对客流量进行计数。
另外，基于场景流的客流量的计数设备80中的各功能模块还可以用于实现上述任一实施例中的基于场景流的客流量的计数方法的步骤。
关于本申请计数设备实现基于场景流的客流量的计数方法的具体内容请参阅上述基于场景流的客流量的计数方法实施例中的内容，此处不再赘述。
请参阅图9，图9是本申请存储装置一实施例的结构示意图。本申请存储装置90存储有能够被处理器运行的程序数据900，程序数据900用于实现上述任一基于场景流的客流量的计数方法的实施例中的步骤。
该存储装置90具体可以为U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储程序数据900的介质，或者也可以为存储有该程序数据900的服务器，该服务器可将存储的程序数据900发送给其他设备运行，或者也可以自运行该存储的程序数据900。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、系统、设备和装置，可以通过其它的方式实现。例如，以上所描述的系统、设备和装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。

Claims (19)

1.一种基于场景流的客流量的计数方法，其特征在于，所述计数方法包括：
获取检测通道的前一帧的双目立体图像和当前帧的双目立体图像；
对所述前一帧的双目立体图像和所述当前帧的双目立体图像进行计算，得到光流图、前一帧的视差图、当前帧的视差图和场景流图；
根据所述场景流图、所述前一帧的视差图和所述当前帧的视差图检测出前一帧的运动目标和当前帧的运动目标；
根据所述前一帧的运动目标和所述当前帧的运动目标计算目标关联代价，进行目标跟踪；
根据所述目标跟踪的结果对客流量进行计数。
2.根据权利要求1所述的计数方法，其特征在于，所述检测通道的顶部设置有第一图像获取装置和第二图像获取装置，所述前一帧的双目立体图像包括前一帧的第一图像和前一帧的第二图像，所述当前帧的双目立体图像包括当前帧的第一图像和当前帧的第二图像；
所述获取检测通道的前一帧的双目立体图像和当前帧的双目立体图像的步骤，包括：
通过所述第一图像获取装置获取所述检测通道的所述前一帧的第一图像和所述当前帧的第一图像，通过所述第二图像获取装置获取所述检测通道的所述前一帧的第二图像和所述当前帧的第二图像。
3.根据权利要求2所述的计数方法，其特征在于，所述第一图像获取装置和所述第二图像获取装置为双目摄像机的两个镜头；
所述双目摄像机的镜头的光轴与所述检测通道的地面的夹角为直角或锐角；和/或，
所述双目摄像机距离所述检测通道的地面的高度为3至5米；和/或，
所述双目摄像机的检测高度范围为高于所述检测通道的地面0.8至2.5米。
4.根据权利要求2所述的计数方法，其特征在于，所述对所述前一帧的双目立体图像和所述当前帧的双目立体图像进行计算，得到光流图、前一帧的视差图、当前帧的视差图和场景流图的步骤，包括：
通过SFNet网络模型对所述前一帧的双目立体图像和所述当前帧的双目立体图像进行计算，得到所述光流图、所述前一帧的视差图、所述当前帧的视差图和所述场景流图。
5.根据权利要求4所述的计数方法，其特征在于，所述SFNet网络模型包括DispNet网络、FlowNet网络和CNN卷积神经网络；
所述通过SFNet网络模型对所述前一帧的双目立体图像和所述当前帧的双目立体图像进行计算，得到所述光流图、所述前一帧的视差图、所述当前帧的视差图和所述场景流图的步骤，包括：
通过所述FlowNet网络根据所述前一帧的第一图像和所述当前帧的第一图像得到所述光流图；
通过所述DispNet网络根据所述前一帧的第一图像和所述前一帧的第二图像得到所述前一帧的视差图，根据所述当前帧的第一图像和所述当前帧的第二图像得到所述当前帧的视差图；
通过所述SFNet网络根据所述光流图对所述当前帧的视差图进行warp操作，以将所述当前帧的视差图中的每个像素点根据各像素位置上的光流值偏移至所述前一帧的视差图中的对应像素位置上，得到前一帧的warp后的视差图；
通过所述CNN卷积神经网络将所述前一帧的warp后的视差图与所述前一帧的视差图相减得到前一帧的视差变化图，并根据所述前一帧的视差变化图和所述光流图得到所述场景流图。
6.根据权利要求5所述的计数方法，其特征在于，所述SFNet网络模型通过先使用FlyingThings3D数据集中的视差图数据和光流图数据分别对DispNet网络和FlowNet网络进行预训练，然后使用训练好的DispNet网络和FlowNet网络构造形成的。
7.根据权利要求2所述的计数方法，其特征在于，所述根据所述场景流图、所述前一帧的视差图和所述当前帧的视差图检测出前一帧的运动目标和当前帧的运动目标的步骤，包括：
对所述场景流图进行平滑处理，并通过结合了无参数概率密度估计和K-NearestNeighbor分类算法的前景提取方法提取出前景运动目标掩膜；
对所述前景运动目标掩膜进行形态学运算，得到处理后的前景运动目标掩膜；
将所述处理后的前景运动目标掩膜中与所述当前帧的视差图对应的运动区域分割出来，得到运动目标视差图；
根据双目平行光轴模型计算所述双目摄像机的检测高度范围对应的视差值范围；
根据所述运动目标视差图和所述视差值范围得到所述当前帧的运动目标。
8.根据权利要求7所述的计数方法，其特征在于，所述对所述前景运动目标掩膜进行形态学运算，得到处理后的前景运动目标掩膜的步骤，包括：
对所述前景运动目标掩膜先进行一次开运算，以去除所述前景运动目标掩膜中孤立的噪点，然后进行两次闭运算，以消除开运算造成的运动目标掩膜边界损失，得到所述处理后的前景运动目标掩膜。
9.根据权利要求7所述的计数方法，其特征在于，所述双目摄像机包括基线距离、安装高度、摄像机焦距和检测高度范围；
所述根据双目平行光轴模型计算所述双目摄像机的检测高度范围对应的视差值范围的步骤，包括：
根据所述双目平行光轴模型和三角测量原理得到视差值与检测距离、基线距离和摄像机焦距之间的第一关联关系；
根据所述第一关联关系、所述检测高度范围、所述双目摄像机与运动目标之间的检测距离与检测高度和所述安装高度之间的第二关联关系，计算得到所述检测高度范围对应的所述视差值范围。
10.根据权利要求7所述的计数方法，其特征在于，所述根据所述运动目标视差图和所述视差值范围得到所述当前帧的运动目标的步骤，包括：
根据视差值从大到小的顺序将所述运动目标视差图分割成若干个分段，包括视差值最大的分段的N个连续分段组成一个分段区间，N大于等于1；
计算所述运动目标视差图中视差值在一个分段区间的连通区域的面积；
判断所述连通区域的面积是否满足预设像素个数区间；
若满足，则判断该连通区域为所述当前帧的运动目标的头部区域，并得到所述当前帧的运动目标的头部掩膜和头部轮廓。
11.根据权利要求10所述的计数方法，其特征在于，所述根据所述前一帧的运动目标和所述当前帧的运动目标计算目标关联代价，进行目标跟踪的步骤，包括：
根据所述当前帧的运动目标的头部掩膜和头部轮廓得到当前帧的运动目标信息；
根据所述当前帧的运动目标信息和前一帧的运动目标信息计算前一帧的m个目标和当前帧的n个目标的之间的任意两个目标之间的关联代价，形成两两目标关联代价矩阵；
判断所述前一帧的m个目标中的第i个目标和所述当前帧的n个目标中的第j个目标之间的关联代价S(i,j)是否满足预设关联条件，得到所述前一帧的第i个目标和所述当前帧的第j个目标之间的关联结果；
根据所述关联结果完成目标跟踪。
12.根据权利要求11所述的计数方法，其特征在于，所述运动目标信息包括运动目标的头部的中心位置坐标、外界边界框的宽高、场景流的[u，v]通道均值、视差均值和目标面积；
所述任意两个目标之间的关联代价由目标间的头部外接边界框中心的欧氏距离、边界框交并比IOU、场景流[u，v]通道均值和视差均值的绝对误差构成。
13.根据权利要求11所述的计数方法，其特征在于，所述关联结果包括关联成功、目标丢失和新目标出现；
所述预设关联条件为所述前一帧的第i个目标和所述当前帧的第j个目标之间的关联代价S(i,j)均为所述两两目标关联代价矩阵中第i行和第j列的所有关联代价中的最小值，且所述关联代价S(i,j)满足设定的阈值；
所述判断所述前一帧的m个目标中的第i个目标和所述当前帧的n个目标中的第j个目标之间的关联代价S(i,j)是否满足预设关联条件，得到所述前一帧的第i个目标和所述当前帧的第j个目标之间的关联结果的步骤，包括：
当所述前一帧的第i个目标和所述当前帧的第j个目标之间的所述关联代价S(i,j)满足所述预设关联条件时，则所述前一帧的第i个目标和所述当前帧的第j个目标之间关联成功；
当所述前一帧的第i个目标与所述当前帧的n个目标中的任意一个目标的关联代价均不满足所述预设关联条件时，则判断所述前一帧的第i个目标为目标丢失；
当所述当前帧的第j个目标未与所述前一帧的任意一个目标关联成功时，则判断所述当前帧的第j个目标为新目标出现。
14.根据权利要求13所述的计数方法，其特征在于，所述根据所述关联结果完成目标跟踪的步骤，包括：
当所述前一帧的第i个目标和所述当前帧的第j个目标之间关联成功时，将所述当前帧的第j个目标的位置信息加入到所述前一帧的第i个目标的跟踪轨迹列表中；
当判断出所述前一帧的第i个目标为目标丢失时，将所述前一帧的第i个目标的轨迹从跟踪轨迹列表中删除，并将其运动轨迹加入丢失目标的轨迹列表中；
当判断出所述当前帧的第j个目标为新目标出现时，使用所述当前帧的第j个目标的位置信息生成一个新的目标运动轨迹，并将该新的目标运动轨迹加入跟踪轨迹列表中。
15.根据权利要求14所述的计数方法，其特征在于，所述根据所述目标跟踪的结果对客流量进行计数的步骤，包括：
根据所述跟踪轨迹列表和所述丢失目标的轨迹列表判断目标进入或者走出行为，并记录行人数量。
16.根据权利要求15所述的计数方法，其特征在于，所述检测通道的双目立体图像显示于监控画面中，所述监控画面中设置有识别区域，所述识别区域设置有横向中心线L0；
所述根据所述跟踪轨迹列表和所述丢失目标的轨迹列表判断目标进入或者走出行为，并记录行人数量的步骤，包括：
当一目标的运动轨迹显示其初始位置的行坐标h小于横向中心线L0的行坐标、且其终点位置或者消失位置的行坐标h大于横向中心线L0的行坐标时，则判断该目标进入成功，进入数量的计数加1；
当一目标的运动轨迹显示其初始位置的行坐标h大于横向中心线L0的行坐标、且其终点位置或者消失位置的行坐标h小于横向中心线L0的行坐标时，则判断该目标走出成功，走出数量的计数加1；
当一目标的运动轨迹显示其初始位置的行坐标和且其终点位置或者消失位置的行坐标h同时大于或者小于横向中心线L0的行坐标时，则判断该目标未进入或者走出，不进行计数。
17.一种基于场景流的客流量的计数系统，其特征在于，所述计数系统包括：
检测通道，用于供行人进入或者走出；
双目摄像机，所述双目摄像机设置于所述检测通道的顶部，所述双目摄像机用于获取所述检测通道的前一帧的双目立体图像和当前帧的双目立体图像；
图像处理装置，所述图像处理装置与所述双目摄像机耦接，所述图像处理装置用于：对所述前一帧的双目立体图像和所述当前帧的双目立体图像进行计算，得到光流图、前一帧的视差图、当前帧的视差图和场景流图；根据所述场景流图、所述前一帧的视差图和所述当前帧的视差图检测出前一帧的运动目标和当前帧的运动目标；根据所述前一帧的运动目标和所述当前帧的运动目标计算目标关联代价，进行目标跟踪；以及，根据所述目标跟踪的结果对客流量进行计数。
18.一种基于场景流的客流量的计数设备，其特征在于，所述计数设备包括相互耦接的通信电路、存储器和处理器；
所述通信电路用于接收图像获取装置获取的检测通道的前一帧的双目立体图像和当前帧的双目立体图像；所述处理器用于执行所述存储器存储的程序数据，以实现权利要求1至16任一项所述的方法。
19.一种存储装置，其特征在于，存储有能够被处理器运行的程序数据，所述程序数据用于实现权利要求1至16任一项所述的方法。
CN202010475393.7A 2020-05-29 2020-05-29 基于场景流的客流量的计数方法、系统及设备、存储介质 Active CN111652900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010475393.7A CN111652900B (zh) 2020-05-29 2020-05-29 基于场景流的客流量的计数方法、系统及设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010475393.7A CN111652900B (zh) 2020-05-29 2020-05-29 基于场景流的客流量的计数方法、系统及设备、存储介质

Publications (2)

Publication Number Publication Date
CN111652900A true CN111652900A (zh) 2020-09-11
CN111652900B CN111652900B (zh) 2023-09-29

Family

ID=72346923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010475393.7A Active CN111652900B (zh) 2020-05-29 2020-05-29 基于场景流的客流量的计数方法、系统及设备、存储介质

Country Status (1)

Country Link
CN (1) CN111652900B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184757A (zh) * 2020-09-28 2021-01-05 浙江大华技术股份有限公司 运动轨迹的确定方法及装置、存储介质、电子装置
CN112686173A (zh) * 2020-12-31 2021-04-20 深圳云天励飞技术股份有限公司 一种客流计数方法、装置、电子设备及存储介质
CN113052058A (zh) * 2021-03-19 2021-06-29 深圳市点创科技有限公司 一种车载客流统计方法、装置及存储介质
CN113420726A (zh) * 2021-08-20 2021-09-21 北京文安智能技术股份有限公司 基于俯视图像的区域去重客流统计方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060204040A1 (en) * 2005-03-07 2006-09-14 Freeman William T Occluding contour detection and storage for digital photography
KR20130068520A (ko) * 2011-12-15 2013-06-26 한국전자통신연구원 영상 워핑 처리 방법 및 장치
WO2013189464A2 (zh) * 2012-11-28 2013-12-27 中兴通讯股份有限公司 一种近正向俯视监控视频行人跟踪计数方法和装置
CN103761734A (zh) * 2014-01-08 2014-04-30 北京航空航天大学 一种时域一致性保持的双目立体视频场景融合方法
WO2015131734A1 (zh) * 2014-07-25 2015-09-11 中兴通讯股份有限公司 一种前视监视场景下的行人计数方法、装置和存储介质
EP3065107A1 (en) * 2015-03-04 2016-09-07 Dolby Laboratories Licensing Corporation Coherent motion estimation for stereoscopic video
CN107657644A (zh) * 2017-09-28 2018-02-02 浙江大华技术股份有限公司 一种移动环境下稀疏场景流检测方法和装置
CN108021848A (zh) * 2016-11-03 2018-05-11 浙江宇视科技有限公司 客流量统计方法及装置
KR101961687B1 (ko) * 2017-10-20 2019-03-25 한국항공대학교산학협력단 장면 흐름 추정을 위한 장면 흐름 학습 방법 및 장면 흐름 추정 방법
CN109919974A (zh) * 2019-02-21 2019-06-21 上海理工大学 基于r-fcn框架多候选关联的在线多目标跟踪方法
US20200084427A1 (en) * 2018-09-12 2020-03-12 Nvidia Corporation Scene flow estimation using shared features
CN110969131A (zh) * 2019-12-04 2020-04-07 大连理工大学 一种基于场景流的地铁人流计数方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060204040A1 (en) * 2005-03-07 2006-09-14 Freeman William T Occluding contour detection and storage for digital photography
KR20130068520A (ko) * 2011-12-15 2013-06-26 한국전자통신연구원 영상 워핑 처리 방법 및 장치
WO2013189464A2 (zh) * 2012-11-28 2013-12-27 中兴通讯股份有限公司 一种近正向俯视监控视频行人跟踪计数方法和装置
CN103761734A (zh) * 2014-01-08 2014-04-30 北京航空航天大学 一种时域一致性保持的双目立体视频场景融合方法
WO2015131734A1 (zh) * 2014-07-25 2015-09-11 中兴通讯股份有限公司 一种前视监视场景下的行人计数方法、装置和存储介质
EP3065107A1 (en) * 2015-03-04 2016-09-07 Dolby Laboratories Licensing Corporation Coherent motion estimation for stereoscopic video
CN108021848A (zh) * 2016-11-03 2018-05-11 浙江宇视科技有限公司 客流量统计方法及装置
CN107657644A (zh) * 2017-09-28 2018-02-02 浙江大华技术股份有限公司 一种移动环境下稀疏场景流检测方法和装置
KR101961687B1 (ko) * 2017-10-20 2019-03-25 한국항공대학교산학협력단 장면 흐름 추정을 위한 장면 흐름 학습 방법 및 장면 흐름 추정 방법
US20200084427A1 (en) * 2018-09-12 2020-03-12 Nvidia Corporation Scene flow estimation using shared features
CN109919974A (zh) * 2019-02-21 2019-06-21 上海理工大学 基于r-fcn框架多候选关联的在线多目标跟踪方法
CN110969131A (zh) * 2019-12-04 2020-04-07 大连理工大学 一种基于场景流的地铁人流计数方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LONG CHEN 等: "Moving-Object Detection From Consecutive Stereo Pairs Using Slanted Plane Smoothing", vol. 18, no. 11 *
NIKOLAUS MAYER 等: "A Large Dataset to Train Convolutional Networks for Disparity, Optical Flow, and Scene Flow Estimation", pages 1 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184757A (zh) * 2020-09-28 2021-01-05 浙江大华技术股份有限公司 运动轨迹的确定方法及装置、存储介质、电子装置
CN112686173A (zh) * 2020-12-31 2021-04-20 深圳云天励飞技术股份有限公司 一种客流计数方法、装置、电子设备及存储介质
CN112686173B (zh) * 2020-12-31 2024-05-03 深圳云天励飞技术股份有限公司 一种客流计数方法、装置、电子设备及存储介质
CN113052058A (zh) * 2021-03-19 2021-06-29 深圳市点创科技有限公司 一种车载客流统计方法、装置及存储介质
CN113052058B (zh) * 2021-03-19 2022-04-19 深圳市点创科技有限公司 一种车载客流统计方法、装置及存储介质
CN113420726A (zh) * 2021-08-20 2021-09-21 北京文安智能技术股份有限公司 基于俯视图像的区域去重客流统计方法
CN113420726B (zh) * 2021-08-20 2021-11-19 北京文安智能技术股份有限公司 基于俯视图像的区域去重客流统计方法

Also Published As

Publication number Publication date
CN111652900B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN111652900B (zh) 基于场景流的客流量的计数方法、系统及设备、存储介质
US8565512B2 (en) Method, medium, and system generating depth map of video image
US8599252B2 (en) Moving object detection apparatus and moving object detection method
US9672634B2 (en) System and a method for tracking objects
EP2426642B1 (en) Method, device and system for motion detection
EP2858008B1 (en) Target detecting method and system
US20090309966A1 (en) Method of detecting moving objects
KR100799990B1 (ko) 2차원 영상의 3차원 영상 변환 장치 및 방법
WO2008020598A1 (fr) Dispositif et procédé de détection d'un nombre d'objets
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
KR20200060194A (ko) 차선들의 깊이값을 예측하는 방법, 3차원 차선들을 출력하는 방법 및 그 장치
Lee et al. An intelligent depth-based obstacle detection system for visually-impaired aid applications
CN112825192B (zh) 基于机器学习的对象辨识系统及其方法
Yang et al. 3D multiview basketball players detection and localization based on probabilistic occupancy
KR20140074201A (ko) 추적 장치
CN108230351A (zh) 基于双目立体视觉行人检测的柜台评价方法与系统
CN105138979A (zh) 基于立体视觉的运动人体头部检测方法
CN111368883A (zh) 基于单目摄像头的避障方法、计算装置及存储装置
CN112446355B (zh) 一种公共场所行人识别方法及人流统计系统
Ma et al. Depth assisted occlusion handling in video object tracking
Yu et al. Accurate motion detection in dynamic scenes based on ego-motion estimation and optical flow segmentation combined method
Ratajczak et al. Vehicle size estimation from stereoscopic video
Ramirez et al. Go with the flow: Improving Multi-View vehicle detection with motion cues
CN117949942B (zh) 基于雷达数据和视频数据融合的目标跟踪方法及系统
Mudjirahardjo A Study on Human Motion Detection-Toward Abnormal Motion Identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant