CN111091057A - 一种信息处理方法、装置及计算机可读存储介质 - Google Patents
一种信息处理方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111091057A CN111091057A CN201911120993.5A CN201911120993A CN111091057A CN 111091057 A CN111091057 A CN 111091057A CN 201911120993 A CN201911120993 A CN 201911120993A CN 111091057 A CN111091057 A CN 111091057A
- Authority
- CN
- China
- Prior art keywords
- information
- human body
- movement
- body detection
- detection area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 69
- 238000003672 processing method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 286
- 238000012545 processing Methods 0.000 claims abstract description 46
- 238000012795 verification Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000013459 approach Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 20
- 238000009825 accumulation Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 description 170
- 230000006399 behavior Effects 0.000 description 119
- 238000005516 engineering process Methods 0.000 description 22
- 238000012549 training Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 239000000284 extract Substances 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 8
- 206010000117 Abnormal behaviour Diseases 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000005206 flow analysis Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 101000958041 Homo sapiens Musculin Proteins 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 102000046949 human MSC Human genes 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种信息处理方法、装置及计算机可读存储介质,本申请实施例通过获取视频中的待处理图像,并提取待处理图像中的人体检测区域;对人体检测区域进行轨迹追踪,生成相应的人体轨迹信息;对人体轨迹信息中的轨迹点位置信息进行回归处理,得到相应的移动拟合线,根据移动拟合线确定相应的移动角度信息,并统计轨迹点位置信息之间的坐标累计信息;根据移动角度信息确定移动行为信息和相应的验证条件,在确定坐标累计信息满足验证条件时,保存移动行为信息。以此,可以提取图像中的人体检测区域进行人体追踪,生成人体轨迹信息,并确定移动角度信息和坐标累计信息,根据两者确定出准确的移动行为信息,极大的提升了信息处理的准确性。
Description
技术领域
本申请涉及图像分析技术领域,具体涉及一种信息处理方法、装置及计算机可读存储介质。
背景技术
随着现代信息社会的发展,城市生活逐渐加快,功能齐全,货源完备的大型商场或超市逐渐取代了传统的百货商场,走入都市人民的生活,成为城市人们消费的重要场所,而为了加强大型商场或超市的运营能力,通常需要进行客流分析,发现其中变化规律,为运营决策提供强有力的支撑。
相关技术中,客流分析的常规手段包括红外线客流计数技术和顾客行为检测技术的等等,例如红外线客流计数技术为在顾客经过红外线信息覆盖的特定区域时,红外线信号被遮挡,当顾客离开该区域后,红外线信号能够进行反射接收,基于红外线信号的变化,进而分析出顾客的行为。
在对相关技术的研究和实践过程中,本申请的发明人发现,现有技术中,虽然提供了简单的客流分析技术,但是只能得到简单的客流信息,而且不适用于空旷、开放的大型商场或者超市场景,容易造成客流信息遗漏。
发明内容
本申请实施例提供一种信息处理方法、装置及计算机可读存储介质,可以提升信息处理的准确性。
为解决上述技术问题,本申请实施例提供以下技术方案:
一种信息处理方法,包括:
获取视频中的待处理图像,并提取所述待处理图像中的人体检测区域;
对所述人体检测区域进行轨迹追踪,生成相应的人体轨迹信息;
对所述人体轨迹信息中的轨迹点位置信息进行回归处理,得到相应的移动拟合线,根据所述移动拟合线确定相应的移动角度信息,并统计所述轨迹点位置信息之间的坐标累计信息;
根据所述移动角度信息确定移动行为信息和相应的验证条件,在确定所述坐标累计信息满足验证条件时,保存所述移动行为信息。
相应的,本申请实施例还提供一种信息处理装置,包括:
人体提取单元,用于获取视频中的待处理图像,并提取所述待处理图像中的人体检测区域;
追踪单元,用于对所述人体检测区域进行轨迹追踪,生成相应的人体轨迹信息;
回归单元,用于对所述人体轨迹信息中的轨迹点位置信息进行回归处理,得到相应的移动拟合线,根据所述移动拟合线确定相应的移动角度信息,并统计所述轨迹点位置信息之间的坐标累计信息;
确定单元,用于根据所述移动角度信息确定移动行为信息和相应的验证条件,在确定所述坐标累计信息满足验证条件时,保存所述移动行为信息。
在一些实施例中,所述确定单元,包括:
确定子单元,用于根据所述移动角度信息处于的角度范围确定出相应的移动行为信息;
匹配子单元,用于根据所述移动行为信息匹配相应的预设坐标信息范围;
保存子单元,用于当检测到所述坐标累计信息处于所述预设坐标范围时,保存所述移动行为信息。
在一些实施例中,所述保存子单元,用于:
当检测到所述坐标累计信息处于所述预设坐标范围时,确定所述移动行为信息的移动类别数据,所述移动类别数据包括进场类别数据、过场类别数据以及出场类别数据;
在检测到所述移动类别数据为进场类别数据时,提取所述待处理图像中的人脸检测区域;
将所述人脸检测区域对应与人体轨迹信息中每一帧的人体检测区域进行关联,并记录关联成功数;
在检测到所述关联成功数大于预设阈值时,保存所述移动行为信息;
在检测到所述移动类别数据不为进场类别数据时,保存所述移动行为信息。
在一些实施例中,所述人体提取单元,用于:
通过图像物体检测算法提取所述待处理图像中的人体检测区域和相应的朝向信息;
所述信息处理装置还包括:
过滤单元,用于对所述人体轨迹信息进行区域过滤,得到区域过滤后的人体轨迹信息;
第一获取单元,用于获取区域过滤后的人体轨迹信息中每一帧的人体检测区域的朝向信息,并统计在目标朝向信息上的人体检测区域相应的第一数量;
第二获取单元,用于获取过滤后的人体轨迹信息中的人体检测区域的第二数量;
所述回归单元,还用于当所述第一数量和第二数量满足预设条件时,执行对所述人体轨迹信息中的轨迹点位置信息进行回归处理,得到相应的移动拟合线,根据所述移动拟合线确定相应的移动角度信息,并统计所述轨迹点位置信息之间的坐标累计信息。
在一些实施例中,所述第一获取单元,用于:
获取区域过滤后的人体轨迹信息中每一帧的人体检测区域的朝向信息,统计在每一朝向信息上的人体检测区域的数量;
对比每一朝向信息上人体检测区域的数量,将同一朝向信息上人体检测区域的数量最大的朝向信息确定为目标朝向信息;
将目标朝向信息上的人体检测区域的数量确定为第一数量。
相应的,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行上述所述的信息处理方法中的步骤。
本申请实施例通过获取视频中的待处理图像,并提取待处理图像中的人体检测区域;对人体检测区域进行轨迹追踪,生成相应的人体轨迹信息;对人体轨迹信息中的轨迹点位置信息进行回归处理,得到相应的移动拟合线,根据移动拟合线确定相应的移动角度信息,并统计轨迹点位置信息之间的坐标累计信息;根据移动角度信息确定移动行为信息和相应的验证条件,在确定坐标累计信息满足验证条件时,保存移动行为信息。以此,可以提取图像中的人体检测区域进行人体追踪,生成人体轨迹信息,并确定移动角度信息和坐标累计信息,根据两者确定出准确的移动行为信息,极大的提升了信息处理的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的信息处理系统的场景示意图;
图2是本申请实施例提供的信息处理方法的流程示意图;
图3为本申请实施例提供的目标检测网络的结构示意图;
图4a是本申请实施例提供的信息处理方法的另一流程示意图;
图4b为本申请实施例提供的信息处理方法的应用场景示意图;
图4c为本申请实施例提供的信息处理方法的另一应用场景示意图;
图4d为本申请实施例提供的信息处理方法的另一应用场景示意图;
图4e为本申请实施例提供的信息处理方法的另一应用场景示意图;
图4f为本申请实施例提供的信息处理方法的另一应用场景示意图;
图4g为本申请实施例提供的信息处理方法的另一应用场景示意图;
图4h为本申请实施例提供的信息处理方法的模块流程图;
图5a是本申请实施例提供的信息处理装置的结构示意图;
图5b是本申请实施例提供的信息处理装置的一结构示意图;
图5c是本申请实施例提供的信息处理装置的一结构示意图;
图5d是本申请实施例提供的信息处理装置的一结构示意图;
图6是本申请实施例提供的服务器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种信息处理方法、装置、及计算机可读存储介质。
请参阅图1,图1为本申请实施例所提供的信息处理系统的场景示意图,包括:摄像头设备、和网络设备(该信息处理系统还可以包括多个摄像头设备,摄像头设备具体个数在此处不作限定),摄像头设备与网络设备之间可以通过通信网络连接,该通信网络,可以包括无线网络以及有线网络,其中无线网络包括无线广域网、无线局域网、无线城域网、以及无线个人网中的一种或多种的组合。网络中包括路由器、网关等等网络实体,图中并未示意出。摄像头设备可以通过通信网络与网络设备进行信息交互,比如摄像头设备可以实时拍摄视频流,将该视频流通过通信网络发送至网络设备中。
该信息处理系统可以包括信息处理装置,该信息处理装置具体可以集成在网络设备如终端或服务器等设备中,如图1所示,该网络设备接收终端A发送的视频流,会相应的对该视频流进行解码抽帧,得到多张待处理图像,并提取该待处理图像中的人体检测区域,对该人体检测区域进行轨迹追踪,生成相应的人体轨迹信息,该人体轨迹信息可以反映出顾客的行为规律,进一步的,根据该人体轨迹信息进行回归处理,得到相应的移动角度信息和坐标累计信息,基于该移动角度信息和坐标累计信息确定顾客相应的移动行为信息为进场、过场还是出场,进而达到自动识别顾客移动行为信息,比如客流分析的目的。
需要说明的是,图1所示的信息处理系统的场景示意图仅仅是一个示例,本申请实施例描述的信息处理系统以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着信息处理系统的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
以下分别进行详细说明。
在本实施例中,将从信息处理装置的角度进行描述,该信息处理装置具体可以集成在具备储存单元并安装有微处理器而具有运算能力的网络设备中,该网络设备可以是服务器或者终端,在本实施例中以网络设备是服务器为例进行说明。
一种信息处理方法,包括:获取视频中的待处理图像,并提取待处理图像中的人体检测区域;对人体检测区域进行轨迹追踪,生成相应的人体轨迹信息;根据人体轨迹信息进行回归处理,得到相应的移动角度信息和坐标累计信息;基于移动角度信息和坐标累计信息确定相应的移动行为信息。
请参阅图2,图2是本申请实施例提供的信息处理方法的流程示意图。该信息处理方法包括:
在步骤101中,获取视频中的待处理图像,并提取待处理图像中的人体检测区域。
其中,本申请实施例的场景可以应用在大型商场或超市中,可以在该大型商场或超市的主要位置设置监控摄像头,用于实时拍摄顾客的行为信息,生成视频,可以通过该监控摄像头拍摄顾客的视频,并对该视频进行解码抽帧,将该视频分解为多帧组成的待处理图像,每一帧的待处理图像中包含了顾客的静态行为信息,该待处理图像的格式可以为标准图像文件格式(Bitmap,BMP)或者联合图片专家组(Joint Photographic ExpertsGroup,JPEG)等等。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition,OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案涉及人工智能的计算机视觉技术等技术,具体通过如下实施例进行说明:
在获取多帧待处理图像后,可以通过图像物体检测算法(Object detection)对每一帧的待处理图像的顾客进行扫描,识别出顾客相应的人体检测区域,该图像物体检测算法可以为专门对图像中人体进行检测的算法,即该图像物体检测算法可以提取出待处理图像中的特征信息,根据特征信息进行图像中物体的识别,将符合条件的人体检测区域相应的框选出来,并预测该人体检测区域所属的类别信息、不同类别对应的置信度、区域位置及区域大小信息等等。
在一些实施方式中,该图像物体检测算法可以为YOLO算法或者目标检测网络(Faster RCNN)算法,该YOLO算法的核心思想就是利用整张待处理图像作为网络输入,直接在输出层回归出bounding box(边界框)的位置及其所属的类别,该边界框可以为人体检测区域,类别也可以为顾客。
该Faster RCNN为可以实现目标检测(object detection),完成对包含人体的人体检测区域进行框选,为了更好的描述本实施例,请结合图3一并进行参考,
基本卷积网络12(Conv layers)部分,该部分为一种卷积神经网络,如13个卷积(conv)层+13个线性整流函数(relu)层+4个池化层(pooling)层构成,主要用于提取待处理图像11中的特征图13(feature maps)。
区域生成网络14(Region Proposal Networks,RPN),该区域生成网络14用于生成人体候选区域(region proposals),具体为通过归一化函数(softmax)分类特征图13中的锚定框(anchors box)获取正实例框(positive)信息和负实例框(negative)信息,将正实例框确定为人体候选区域,并计算锚定框的边框回归(bounding box regression)偏移量,根据该边框回归偏移量对该人体候选区域进行调整,得到最后的目标人体候选区域15(proposal),同时剔除太小和超过边界的目标人体候选区域15,实现了人体检测区域的定位框选。在一实施方式中,可以将该目标人体候选区域15直接确定为人体检测区域。
兴趣池化层16(ROI pooling),该层负责收集目标人体候选区域15和特征地图信息13,并计算出大小符合条件区域特征地图信息(proposal feature maps)送入后续层进行处理。
分类器17(Classifier),该层可以包括全连接层(full connection)和归一化处理层,该分类器17通过全连接层和归一化处理层将区域特征地图信息进行组合,计算出该区域特征地图相应的人体分类结果,同时可以根据该人体分类结果对该目标人体候选区域15进行微调,将微调后的目标人体候选区域15确定为人体检测区域。
在一些实施方式中,该提取该待处理图像中的人体检测区域的步骤,可以包括:通过图像物体检测算法提取该待处理图像中的人体检测区域和相应的朝向信息,该朝向信息包括人体对应不同朝向的置信度。
其中,不仅可以通过该图像物体检测算法将符合条件的人体检测区域相应的框选出来,还可以根据框选出来的人体检测区域获取人体相应的朝向信息,该朝向信息可以包括四个方向向量,即上、下、左和右,通过该朝向信息可以获知在当前静态状态下,人体朝哪个方向。
在一些实施方式中,在通过图像物体检测算法提取该待处理图像中的人体检测区域和相应的朝向信息的步骤之前,还可以包括:
(1)采集训练图像,该训练图像中包括人体和相应的朝向信息;
(2)截取包括人体的目标人体区域,并将该目标人体区域确定为目标训练图像,该目标训练图像关联该朝向信息;
(3)将该目标训练图像输入该图像物体检测算法中进行训练,得到训练后的图像物体检测算法。
其中,采集该训练图像,该训练图像中包括人体和相应的朝向信息,该人体即为后期需要进行检测的顾客的身体部分,该朝向信息即为顾客的身体在当前图像中朝向的方向信息。
进一步的,为了增加训练的效率,截取训练图像中包括人体的目标人体区域,并将该目标人体区域确定为目标训练图像,该目标训练图像关联该朝向信息,该目标训练图像即为正样本,将该目标训练图像输入该图像物体检测算法进行训练,使得训练后的图像物体检测算法具有识别出图像中的人体检测区域和相应的朝向信息的功能。
在步骤102中,对人体检测区域进行轨迹追踪,生成相应的人体轨迹信息。
其中,在图像序列的每一帧的待处理图像中的人体检测区域被相应的标定之后,需要分别对每一帧相应的人体检测区域中的人体进行识别,获取每一帧相应的人体检测区域之间的相关度,在一实施方式中,获取该每一帧相应的人体检测区域之间的相关度的过程可以为在每一帧的人体检测区域上提取表征特征,该表征特征可以为行人重识别(Person Re-identification,ReID)特征,该行人重识别特征可以表现为一个向量,然后每一帧的人体检测区域都包含有一个行人重识别特征,计算行人重识别特征之间的距离,该距离为欧式距离或者余弦距离,该距离作为每一帧的人体检测区域之间的相关度,距离越小,相关度越高,距离越大,相关度越低,以此,得到每一帧的人体检测区域之间的相关度,当该相关度大于预设阈值,如相关度大于百分之七十,将相关度大于预设阈值的人体检测区域进行关联,依次类推,将同一顾客每一帧的人体检测区域依次进行关联,并按照图像序列的先后顺序将人体检测区域进行轨迹连接,生成相应的人体轨迹信息,该人体轨迹信息可以表示视频中每一顾客的移动轨迹信息。
在一些实施方式中,对人体检测区域进行轨迹追踪,生成相应的人体轨迹信息的步骤,可以包括:
(1)通过多目标跟踪算法确定每一帧的人体检测区域之间的物体的相关度;
(2)对相关度大于预设阈值的人体检测区域进行轨迹追踪,得到相应的人体轨迹信息。
其中,图像物体检测算法可以实现给定一个图像序列,找到图像序列中运动的物体,并将不同帧的运动物体进行识别,该多目标跟踪算法可以实现给定相同一个物体唯一的标识信息(ID),这些物体可以是任意的,如行人、车辆和各种动物等等,在一实施方式中,该多目标跟踪算法可以为Deep SORT算法。
基于此,本申请实施例可以通过多目标跟踪算法对每一帧中的人体检测区域中的人体进行确定,并基于人体检测区域提取的视觉特征通过多目标跟踪算法进行相邻帧间的区域匹配,计算出帧间人体检测区域之间的相关度,该相关度越高,说明人体检测区域中的人体越相似,该相关度越低,说明人体检测区域中的人体越不相似,该预设阈值即为界定人体检测区域中的人体是否为同一用户的阈值,如百分之七十或者百分之八十等等,具体数值不作具体限定,以此,可以将彼此之间的相关度大于预设阈值的人体检测区域进行关联,按照图像序列对关联的人体检测区域进行轨迹追踪,得到每一用户在视频中的人体轨迹信息。
在一些实施方式中,该对相关度大于预设阈值的人体检测区域进行轨迹追踪,得到相应的人体轨迹信息的步骤,可以包括:
(1.1)将相关度大于预设阈值的人体检测区域赋值相同的标识信息;
(1.2)将该标识信息相同的人体检测区域确定为目标人体检测区域;
(1.3)依次获取每一目标人体检测区域的位置信息,将该位置信息进行轨迹连接,得到相应的人体轨迹信息。
其中,可以将彼此之间的相关度大于预设阈值的人体检测区域赋值相同的标识信息(ID),赋值相同的标识信息即代表为同一用户的人体检测区域,该标识信息为唯一的,以得到同一用户按照图像序列顺序的多个人体检测区域,将标识信息相同的人体检测区域确定为目标人体检测区域。
进一步的,可以依次获取每一目标人体检测区域的位置信息,在一实施方式中,可以选取每一目标人体检测区域的中心点信息,将该中心点信息作为位置信息,或者选取每一目标人体检测区域的底边中心点信息作为位置信息,以此,按照图像序列顺序将每一位置信息进行轨迹连接,得到用户相应的人体轨迹信息,即得到视频中用户的移动行为,使得后期可以分析出用户的具体活动类型。
在步骤103中,对人体轨迹信息中的轨迹点位置信息进行回归处理,得到相应的移动拟合线,根据移动拟合线确定相应的移动角度信息,并统计轨迹点位置信息之间的坐标累计信息。
需要说明的是,相关技术中,只可以获得粗略的顾客行为,如进入商场(简称进场)和离开商场(简称出场)等粗略信息,无法获取用户走过商场(简称过场)的精确信息,即无法进行精确的客流分析,提高商场的运营效率。
其中,由于在商场中的顾客可能为不定向移动,因此该人体轨迹信息很可能是无规律的曲线信息,该人体轨迹信息中的轨迹点位置信息为无规律分布,所以很难通过无规律的曲线信息得到用户移动的行为信息,为了解决这个问题,本申请实施例通过回归算法对人体轨迹信息中的轨迹点位置信息进行回归处理,该轨迹点位置信息可以为人体检测区域的目标坐标点信息,如人体检测区域的底边中点等等进行回归,拟合出可以代表人体行进规律的移动拟合线,通过该移动拟合线可以确定出相应的的移动角度信息。
进一步的,在摄像头拍摄的角度不变的情况下,该人体轨迹信息始终落在待处理图像中,以此,可以相应的建立直角坐标系,顾客在该直角坐标系中向上走为纵坐标值递增,往下走为纵坐标值的递减,向左走为横坐标值的递减,向右走为横坐标值的递增,可以看出的是在顾客以进场、出场和过场作为主要分析行为的情况下,主要是纵坐标值方向上的改变,如顾客进场时,纵坐标不断的递增,顾客出场时,纵坐标不断的递减,以及顾客过场时,纵坐标在一定范围内改变,以此,本申请实施例中可以以纵坐标作为主要分析维度。需要说明的是,根据摄像头拍摄角度的不同,还可以以横坐标作为主要分析维度,此处不为限定。
基于此,本申请实施例可以统计在该人体轨迹信息中每一帧的人体检测区域中的目标坐标点信息的纵坐标信息与第一帧的人体检测区域中的目标坐标点信息的纵坐标信息的坐标差值,得到坐标累计信息。
在一些实施方式中,该根据人体轨迹信息进行回归处理,得到相应的移动角度信息和坐标累计信息的步骤,包括:
(1)依次获取该人体轨迹信息中每一帧的人体检测区域相应的目标坐标点信息;
(2)对该目标坐标点信息进行回归处理,得到相应的移动拟合线,根据该移动拟合线确定相应的移动角度信息;
(3)计算该人体轨迹信息中每一帧的人体检测区域相应的目标坐标点与第一帧的人体检测区域相应的目标坐标点的坐标差信息;
(4)统计该坐标差信息,得到相应的坐标累计信息。
其中,该目标坐标点信息可以为人体检测区域的底边中心点,可以依次获取该人体轨迹信息中每一帧的人体检测区域相应的底边中心点,通过回归算法对多个底边中心进行回归处理,拟合出相应的回归线(即移动拟合线),并通过该回归线与直角坐标系得到相应的移动角度信息。
进一步的,可以依次计算该人体轨迹信息中每一帧的人体检测区域的底边中心点的纵坐标信息与第一帧的人体检测区域的底边中心点的纵坐标信息的坐标差信息并进行统计,得到最后的坐标累计信息。
例如,通过以下公式进行计算:
其中,该Cnt为坐标累计信息,该轨迹信息的帧数为N,Ai代表为第i帧的人体检测区域中的底边中心点的纵坐标信息,该A0代表第一帧的人体检测区域中的底边中心点的纵坐标信息。
在一些实施方式中,该对该目标坐标点信息进行回归处理,得到相应的移动角度信息的步骤,包括:
(1.1)通过最小二乘法算法对该目标坐标点信息进行拟合,得到相应的移动拟合线;
(1.2)根据该移动拟合线在预设坐标系形成的角度得出相应的移动角度信息。
其中,该最小二乘法算法为一种数学优化技术,它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小,在本申请实施例中主要用于曲线拟合,可以实现通过该最小二乘法算法对人体轨迹信息中的每一目标坐标点信息进行直线拟合,得到相应的移动拟合线,该移动拟合线为直线。
进一步的,根据该移动拟合线与预设坐标系形成的角度得到相应的移动角度信息,该移动角度信息可以反映出用户移动的大概方向,进而后期可以通过该移动角度信息得到移动行为。
在步骤104中,根据移动角度信息确定移动行为信息和相应的验证条件,在确定坐标累计信息满足验证条件时,保存移动行为信息。
其中,顾客的行为主要为进场、出场或者过场,无论进场、出场或者过场都有相应的角度范围,以此,可以根据移动角度信息处于的角度范围初步的确定出相应的移动行为信息,该移动行为信息的类别包括进场类别数据、过场类别数据以及出场类别数据。
进一步的,为了确保该移动行为信息的准确性,可以结合坐标累计信息和相应的验证条件综合确定出最后的移动行为信息,比如,当初步判断该移动行为信息为进场类别信息时,由于纵坐标值为不断的递增,因此该坐标累计信息的大小也势必大于一定的正数值,该验证条件为大于预设正数值,满足该验证条件时,确定相应的移动行为信息为进场类别信息,否则,标记为异常行为信息。当初步判断该移动行为信息为出场类别信息时,由于纵坐标为不断的递减,因此该坐标累计信息的大小也势必小于一定的负数值,该验证条件为小于预设负数值,满足该验证条件时,确定相应的移动行为信息为出场类别信息,否则,标记为异常行为信息。当初步判断该移动行为信息为过场类别信息时,由于纵坐标在一定范围内上下浮动,因此该坐标累计信息的大小也势必处于一个由负数值和正数值形成的范围内,该验证条件为预设负数值至预设正数值之间的值,满足该验证条件时,确定相应的移动行为信息为过场类别信息,否则,标记为异常行为信息。以此,根据移动角度信息和坐标累计信息可以获取更为精确的移动行为信息,进而使得客流统计业务分析更为精确。
在一些实施方式中,该基于移动角度信息和坐标累计信息确定相应的移动行为信息的步骤,包括:
(1)根据该移动角度信息处于的角度范围确定出相应的移动行为信息;
(2)根据该移动行为信息匹配相应的预设坐标信息范围;
(3)当检测到该坐标累计信息处于该预设坐标范围时,保存该移动行为信息。
其中,根据移动角度信息处于的角度范围可以确定出相应的移动行为信息,该移动行为信息包括多种移动类别数据,分别为进场类别数据、过场类别数据以及出场类别数据,每一种移动类别数据对应不同的预设坐标信息范围,例如,进场类别数据对应的预设坐标范围为大于预设正数坐标值的范围,如大于30坐标值的范围,出场类别数据对应的预设坐标范围为小于预设负数坐标值的范围,如小于负30坐标值的范围,该过场类别数据对应的预设坐标范围为处于预设负数坐标值与预设正数坐标值之间的范围,如负30坐标值至30坐标值之间的范围。
进一步的,通过根据初步确定的移动行为信息的移动类别数据匹配出相应的预设坐标信息范围,当检测到坐标累计信息处于该预设坐标范围时,说明该移动行为信息符合实际场景,保存并确定该移动行为信息。
在一些实施方式中,该保存该移动行为信息的步骤,包括:
(1.1)确定该移动行为信息的移动类别数据,该移动类别数据包括进场类别数据、过场类别数据以及出场类别数据;
(1.2)在检测到该移动类别数据为进场类别数据时,提取该待处理图像中的人脸检测区域;
(1.3)将该人脸检测区域对应与人体轨迹信息中每一帧的人体检测区域进行关联,并记录关联成功数;
(1.4)在检测到该关联成功数大于预设阈值时,保存该移动行为信息;
(1.5)在检测到该移动类别数据不为进场类别数据时,保存该移动行为信息。
其中,首先确定该移动行为信息的移动类别数据,该移动类别数据包括进场类别数据、过场类别数据以及出场类别数据,在本申请实施例中,由于摄像头的朝向为正对进场方向,可以拍摄到顾客的人脸信息,因此,在检测到该移动类别数据为进场类别数据时,可以提取待处理图像中的人脸检测区域,将该人脸检测区域对应与人体轨迹信息中每一帧的人体检测区域进行关联,在关联成功时,记录关联成功数加一,以此得到关联成功数。
进一步的,由于摄像头的朝向为正对进场方向,因此,当移动数据类别为进场类别数据时,人脸检测区域与人体检测区域容易进行关联,所以在检测到关联成功数大于预设阈值时,保存该移动行为信息为进场类别数据,在检测到关联成功数不大于预设阈值时,说明该移动行为信息为异常信息。
最后,在检测到该移动类别数据不为进场类别数据时,说明该移动类别数据为过场类别数据或出场类别数据,由于顾客在过场和出场行为中,摄像头很可能无法拍摄到人脸信息,因此,无需再进行人脸检测区域的验证,直接保存该过场类别数据或出场类别数据。
由上述可知,本申请实施例通过获取视频中的待处理图像,并提取待处理图像中的人体检测区域;对人体检测区域进行轨迹追踪,生成相应的人体轨迹信息;对人体轨迹信息中的轨迹点位置信息进行回归处理,得到相应的移动拟合线,根据移动拟合线确定相应的移动角度信息,并统计轨迹点位置信息之间的坐标累计信息;根据移动角度信息确定移动行为信息和相应的验证条件,在确定坐标累计信息满足验证条件时,保存移动行为信息。以此,可以提取图像中的人体检测区域进行人体追踪,生成人体轨迹信息,并确定移动角度信息和坐标累计信息,根据两者确定出准确的移动行为信息,极大的提升了信息处理的准确性。
在本实施例中,将以该信息处理装置具体集成在服务器中为例进行说明,具体参照以下说明。
请参阅图4a,图4a为本申请实施例提供的信息处理方法的另一流程示意图。该方法流程可以包括:
在步骤201中,服务器获取视频中的待处理图像,通过图像物体检测算法提取待处理图像中的人体检测区域和相应的朝向信息。
其中,服务器实时获取监控摄像头拍摄的视频信息,并对该视频信息进行解帧,得到多帧待处理图像,如图4b所示,服务器实时获取视频中的第一帧待处理图像1、第二帧待处理图像2、第三帧待处理图像3和第四帧待处理图像4,可以通过图像物体检测算法,如YOLO算法分别提取待处理图像1中的人体检测区域11和相应的朝向信息、待处理图像2中的人体检测区域21和相应的朝向信息待处理图像3中的人体检测区域31和相应的朝向信息、以及待处理图像4中的人体检测区域41和相应的朝向信息,该朝向信息包括四个方向上的朝向向量数据,即上、下、左和右,通过该朝向信息可以获知在当前静态状态下,人体朝向方向,如该人体检测区域11、人体检测区域21、人体检测区域31和人体检测区域41均朝向相同的向上进场方向。
在步骤202中,服务器通过多目标跟踪算法确定每一帧的人体检测区域之间的物体的相关度,将相关度大于预设阈值的人体检测区域赋值相同的标识信息。
其中,服务器通过多目标跟踪算法,如Deep SORT算法确定第一帧待处理图像1的人体检测区域11、第二帧待处理图像2的人体检测区域21、第三帧待处理图像3的人体检测区域31和第四帧待处理图像4的人体检测区域41之间的人体的相关度,如彼此之间的相关度均为90,该相关度越大,说明彼此之间的相似度越大,该相关度越低,说明彼此之间的相似度越低,而该预设阈值即为界定人体检测区域中的人体是否为同一用户的阈值,如百分之七十,因此,第一帧待处理图像1的人体检测区域11、第二帧待处理图像2的人体检测区域21、第三帧待处理图像3的人体检测区域31和第四帧待处理图像4的人体检测区域41之间的人体的相关度均大于预设阈值,如图4c所示,服务器将相关度大于预设阈值的人体检测区域赋值相同的标识信息“人类-1”。
在步骤203中,服务器将标识信息相同的人体检测区域确定为目标人体检测区域,依次获取每一目标人体检测区域的位置信息,将位置信息进行轨迹连接,得到相应的人体轨迹信息。
其中,如图4c所示,将标识信息相同均为“人类-1”的人体检测框确定为目标人体检测区域,并获取目标人体检测区域11的底边中心点位置信息、目标人体检测区域21的底边中心点位置信息、人体检测区域31的底边中心点位置信息以及人体检测区域41的底边中心点位置,请一并参阅图4d,服务器将4个底边中心点位置信息依次进行连接,得到相应的人体轨迹信息51。
在步骤204中,服务器对人体轨迹信息进行区域过滤,得到区域过滤后的人体轨迹信息,获取区域过滤后的人体轨迹信息中每一帧的人体检测区域的朝向信息。
其中,服务器对人体轨迹信息进行区域过滤,将处于监控摄像头拍摄可能有误差的区域进行过滤,保留更为准确的区域过滤后的人体轨迹信息,如图4e所示,服务器将监控摄像头拍摄可能有误差的区域过滤,得到区域过滤后的人体轨迹信息61,获取区域过滤后的人体轨迹信息61中第一帧的人体检测区域11的朝向信息、第二帧的人体检测区域21的朝向信息以及第三帧的人体检测区域31的朝向信息,该朝向信息虽然包括有四个方向上的向量信息,在本申请实施例中以向量值最大的向量信息作为相应方向上的朝向信息。
在步骤205中,服务器统计在每一朝向信息上的人体检测区域的数量,对比每一朝向信息上人体检测区域的数量,将同一朝向信息上人体检测区域的数量最大的朝向信息确定为目标朝向信息,将目标朝向信息上的人体检测区域的数量确定为第一数量。
其中,如图4e所示,服务器统计在每一朝向信息上的人体检测区域的数量时,结果为人体检测区域11、人体检测区域21和人体检测区域31均属于朝向向上进场方向,因此,朝向向上进场方向的人体检测区域的数量为3,其他三个朝向方向的人体检测区域的数量均为0,所以,该朝向向上进场方向上的人体检测区域的数量最大,将该朝向信息为向上进场方向确定为目标朝向信息,并将该朝向向上进场方向上的人体检测区域的数量确定为第一数量,该第一数量为3个。
在步骤206中,服务器获取过滤后的人体轨迹信息中的人体检测区域的第二数量。
其中,如图4e所示,服务器获取过滤后的人体轨迹信息中的人体检测区域11、人体检测区域21和人体检测区域31的第二数量,该第二数量为3个。
在步骤207中,当服务器检测到第一数量和第二数量满足预设条件时,依次获取人体轨迹信息中每一帧的人体检测区域相应的目标坐标点信息,通过最小二乘法算法对目标坐标点信息进行拟合,得到相应的移动拟合线,根据移动拟合线在预设坐标系形成的角度得出相应的移动角度信息。
其中,该预设条件可以为第一权重和第二权重,如0.4和0.6,将该0.4乘以总帧数4和将该0.6乘以总帧数4,得到第一阈值1.6和第二阈值2.4,如图4e所示,服务器为了判断获取的区域过滤后的人体轨迹信息61是否符合条件,需要将第一数量与第一阈值进行比较,将第二数量与第二阈值进行比较,只有在第一数量大于第一阈值和第二数量大于第二阈值同时满足时,才判定为该区域过滤后的人体轨迹信息61为可信的人体轨迹信息,否则判定为该区域过滤后的人体轨迹信息61为不可信的人体轨迹信息,进行丢弃。
进一步的,由于第一数量3大于1.6以及第二数量3大于2.4,因此第一数量和第二数量满足预设条件,如图4e所示,该待处理图像5处于二维直角坐标系(即预设坐标系)中,而该目标坐标点信息即为人体检测区域的底边中心点信息,所以可以依次获取区域过滤后的人体轨迹信息61中第一帧的人体检测区域11的底边中心点信息,第二帧的人体检测区域21的底边中心点信息,第三帧的人体检测区域31的底边中心点信息,并通过最小二乘法对第一帧的人体检测区域11的底边中心点信息,第二帧的人体检测区域21的底边中心点信息,第三帧的人体检测区域31的底边中心点信息进行曲线拟合,得到相应的移动拟合线71,根据拟合线和二维直角坐标系得出相应的移动角度信息为88度。
在步骤208中,服务器计算人体轨迹信息中每一帧的人体检测区域相应的目标坐标点与第一帧的人体检测区域相应的目标坐标点的坐标差信息,统计坐标差信息,得到相应的坐标累计信息。
其中,如图4f所示,服务器计算人体轨迹信息61中第二帧的人体检测区域21相应的底边中心点与第一帧的人体轨迹区域11相应的底边中心点的坐标差信息,计算第三帧的人体检测区域31相应的底边中心点与第一帧的人体轨迹区域11相应的底边中心点的坐标差信息,统计两个坐标差信息,得到相应的坐标累计信息,比如该坐标累计信息为(5,40)。
在步骤209中,服务器根据移动角度信息处于的角度范围确定出相应的移动行为信息,根据移动行为信息匹配相应的预设坐标信息范围。
其中,顾客的行为主要为进场、过场或者出场,即该移动行为信息包括3种移动类别数据,分别为进场类别数据、过场类别数据以及出场类别数据,每一种移动类别数据包含有相应的角度范围,如图4g所示,无论是进场、过场以及出场都有相应的角度范围,服务器可以根据移动角度信息处于的角度范围确定出相应的移动行为信息,该移动角度信息为88度处于进场的角度范围内,因此确定出相应的进场类别数据的移动行为信息。
进一步的,移动行为信息的每一种移动类别数据对应不同的预设坐标信息范围,例如,进场类别数据对应的预设坐标范围为大于30坐标值的范围,出场类别数据对应的预设坐标范围为小于30坐标值的范围,该过场类别数据对应的预设坐标范围为负30坐标值至30坐标值之间的范围。
在步骤210中,当服务器检测到坐标累计信息处于预设坐标范围时,确定移动行为信息的移动类别数据。
其中,在本申请实施例中主要以纵坐标为判断依据,如图4f所示,取坐标累计信息(5,40)的纵轴坐标40,同时,由于该人体轨迹信息61的移动行为信息为进场类别数据,对应的预设坐标范围为大于30坐标值的范围,因此该坐标累计信息40处于大于30坐标值的范围,因此,确定该移动行为信息的移动类别数据为进场类别数据。
在步骤211中,服务器检测移动类别数据是否为进场类别数据。
其中,由于监控摄像头的朝向为正对进场方向,可以拍摄到顾客的人脸信息,因此,当服务器检测到移动类别数据为进场类别数据时,执行步骤212。当服务器检测到移动类别数据不为进场类别数据时,执行步骤214。
在步骤212中,服务器提取待处理图像中的人脸检测区域,将人脸检测区域对应与人体轨迹信息中每一帧的人体检测区域进行关联,并记录关联成功数。
其中,在检测到该移动类别数据为进场类别数据时,可以提取待处理图像中的人脸检测区域,将该人脸检测区域对应与人体轨迹信息中每一帧的人体检测区域进行关联,以此得到关联成功数。
在步骤213中,在服务器检测到关联成功数大于预设阈值时,保存移动行为信息。
其中,在真实场景下,用户为进场时,人脸检测区域与人体检测区域容易进行关联,所以在检测到关联成功数大于预设阈值时,保存该移动行为信息为进场类别数据,在检测到关联成功数不大于预设阈值时,说明该移动行为信息为异常信息,可以丢弃该移动行为信息。以此,在移动类别数据为进场类别数据时,可以增加人脸检测区域的过滤,得到更为准确的进场类别数据的移动行为信息。
在步骤214中,服务器保存移动行为信息。
其中,在检测到移动类别数据不为进场类别数据时,说明该移动类别数据为过场类别数据或出场类别数据,由于顾客在过场和出场行为中,摄像头很可能无法拍摄到人脸信息,因此,无需再进行人脸检测区域的验证,直接保存该过场类别数据或出场类别数据。
在一些实施方式中,如图4h所示,可以通过监控摄像头获取视频,对视频进行解帧,得到多帧待处理图像,对多帧待处理图像进行人脸人体检测,获取朝向信息以得到人体朝向预测,实现人体人脸绑定,并通过人体检测区域进行人体追踪得到人体轨迹,并通过人体朝向预设和人体人脸绑定对人体轨迹进行轨迹筛选,最后将行进方向回归得到的移动角度和坐标累计器累计的坐标累计信息输入顾客行为判断模块确定移动类别数据的移动行为信息,实现客流统计,具体描述参考上述实施例,此处不作赘述。
由上述可知,本申请实施例通过获取视频中的待处理图像,并提取待处理图像中的人体检测区域;对人体检测区域进行轨迹追踪,生成相应的人体轨迹信息;对人体轨迹信息中的轨迹点位置信息进行回归处理,得到相应的移动拟合线,根据移动拟合线确定相应的移动角度信息,并统计轨迹点位置信息之间的坐标累计信息;根据移动角度信息确定移动行为信息和相应的验证条件,在确定坐标累计信息满足验证条件时,保存移动行为信息。以此,可以提取图像中的人体检测区域进行人体追踪,生成人体轨迹信息,并确定移动角度信息和坐标累计信息,根据两者确定出准确的移动行为信息,极大的提升了信息处理的准确性。
为便于更好的实施本申请实施例提供的信息处理方法,本申请实施例还提供一种基于上述信息处理方法的装置。其中名词的含义与上述信息处理方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图5a,图5a为本申请实施例提供的信息处理装置的结构示意图,其中该信息处理装置可以包括人体提取单元301、追踪单元302、回归单元303、及确定单元304等。
人体提取单元301,用于获取视频中的待处理图像,并提取该待处理图像中的人体检测区域。
其中,本申请实施例的场景可以应用在大型商场或超市中,可以在该大型商场或超市的主要位置设置监控摄像头,用于实时拍摄顾客的行为信息,生成视频,人体提取单元301可以通过该监控摄像头拍摄顾客的视频,并对该视频进行解码抽帧,将该视频分解为多帧组成的待处理图像,每一帧的待处理图像中包含了顾客的静态行为信息,该待处理图像的格式可以为BMP或者JPEG等等。
人体提取单元301在获取多帧待处理图像后,可以通过图像物体检测算法对每一帧的待处理图像的顾客进行扫描,识别出顾客相应的人体检测区域,该图像物体检测算法可以为专门对图像中人体进行检测的算法,即该图像物体检测算法可以提取出待处理图像中的特征信息,根据特征信息进行图像中物体的识别,将符合条件的人体检测区域相应的框选出来,并预测该人体检测区域所属的类别信息、不同类别对应的置信度、区域位置及区域大小信息等等。
在一些实施方式中,该人体提取单元301可以用于通过图像物体检测算法提取该待处理图像中的人体检测区域和相应的朝向信息。
追踪单元302,用于对该人体检测区域进行轨迹追踪,生成相应的人体轨迹信息。
其中,在图像序列的每一帧的待处理图像中的人体检测区域被相应的标定之后,追踪单元302需要分别对每一帧相应的人体检测区域中的人体进行识别,获取每一帧相应的人体检测区域之间的相关度,当该相关度大于预设阈值,如相关度大于百分之七十,将相关度大于预设阈值的人体检测区域进行关联,依次类推,将同一顾客每一帧的人体检测区域依次进行关联,并按照图像序列的先后顺序将人体检测区域进行轨迹连接,生成相应的人体轨迹信息,该人体轨迹信息可以表示视频中每一顾客的移动轨迹信息。
在一些实施方式中,如图5b所示,该追踪单元302,包括:
提取子单元3021,用于通过多目标跟踪算法确定每一帧的人体检测区域之间的物体的相关度;
追踪子单元3022,用于对相关度大于预设阈值的人体检测区域进行轨迹追踪,得到相应的人体轨迹信息。
在一些实施方式中,该追踪子单元3022,用于:将相关度大于预设阈值的人体检测区域赋值相同的标识信息;将该标识信息相同的人体检测区域确定为目标人体检测区域;依次获取每一目标人体检测区域的位置信息,将该位置信息进行轨迹连接,得到相应的人体轨迹信息。
回归单元303,用于对该人体轨迹信息中的轨迹点位置信息进行回归处理,得到相应的移动拟合线,根据该移动拟合线确定相应的移动角度信息,并统计该轨迹点位置信息之间的坐标累计信息。
其中,由于在商场中的顾客可能为不定向移动,因此该人体轨迹信息很可能是无规律的曲线信息,该人体轨迹信息中的轨迹点位置信息为无规律分布,所以很难通过无规律的曲线信息得到用户移动的行为信息,为了解决这个问题,回归单元303通过回归算法对人体轨迹信息中的轨迹点位置信息进行回归处理,该轨迹点位置信息可以为人体检测区域的目标坐标点信息,如人体检测区域的底边中点等等进行回归,拟合出可以代表人体行进规律的移动拟合线,通过该移动拟合线可以确定出相应的的移动角度信息。
进一步的,在摄像头拍摄的角度不变的情况下,该人体轨迹信息始终落在待处理图像中,以此,回归单元303可以相应的建立直角坐标系,顾客在该直角坐标系中向上走为纵坐标值递增,往下走为纵坐标值的递减,向左走为横坐标值的递减,向右走为横坐标值的递增,可以看出的是在顾客以进场、出场和过场作为主要分析行为的情况下,主要是纵坐标值方向上的改变,如顾客进场时,纵坐标不断的递增,顾客出场时,纵坐标不断的递减,以及顾客过场时,纵坐标在一定范围内改变,以此,回归单元303中可以以纵坐标作为主要分析维度。需要说明的是,根据摄像头拍摄角度的不同,回归单元303还可以以横坐标作为主要分析维度,此处不为限定。
基于此,回归单元303可以统计在该人体轨迹信息中每一帧的人体检测区域中的目标坐标点信息的纵坐标信息与第一帧的人体检测区域中的目标坐标点信息的纵坐标信息的坐标差值,得到坐标累计信息。
在一些实施方式中,如图5c所示,该回归单元303,包括:
获取子单元3031,用于依次获取该人体轨迹信息中每一帧的人体检测区域相应的目标坐标点信息;
回归子单元3032,用于对该目标坐标点信息进行回归处理,得到相应的移动拟合线,根据该移动拟合线确定相应的移动角度信息;
计算子单元3033,用于计算该人体轨迹信息中每一帧的人体检测区域相应的目标坐标点与第一帧的人体检测区域相应的目标坐标点的坐标差信息;
统计子单元3034,用于统计该坐标差信息,得到相应的坐标累计信息。
在一些实施方式中,该回归子单元3032,用于:通过最小二乘法算法对该目标坐标点信息进行拟合,得到相应的移动拟合线;根据该移动拟合线在预设坐标系形成的角度得出相应的移动角度信息。
确定单元304,用于根据该移动角度信息确定移动行为信息和相应的验证条件,在确定该坐标累计信息满足验证条件时,保存该移动行为信息。
其中,顾客的行为主要为进场、出场或者过场,无论进场、出场或者过场都有相应的角度范围,以此,确定单元304可以根据移动角度信息处于的角度范围初步的确定出相应的移动行为信息,该移动行为信息的类别包括进场类别数据、过场类别数据以及出场类别数据。
进一步的,为了确保该移动行为信息的准确性,确定单元304可以结合坐标累计信息和相应的验证条件综合确定出最后的移动行为信息,比如,当初步判断该移动行为信息为进场类别信息时,由于纵坐标值为不断的递增,因此该坐标累计信息的大小也势必大于一定的正数值,该验证条件为大于预设正数值,满足该验证条件时,确定相应的移动行为信息为进场类别信息,否则,标记为异常行为信息。当初步判断该移动行为信息为出场类别信息时,由于纵坐标为不断的递减,因此该坐标累计信息的大小也势必小于一定的负数值,该验证条件为小于预设负数值,满足该验证条件时,确定相应的移动行为信息为出场类别信息,否则,标记为异常行为信息。当初步判断该移动行为信息为过场类别信息时,由于纵坐标在一定范围内上下浮动,因此该坐标累计信息的大小也势必处于一个由负数值和正数值形成的范围内,该验证条件为预设负数值至预设正数值之间的值,满足该验证条件时,确定相应的移动行为信息为过场类别信息,否则,标记为异常行为信息。以此,确定单元304根据移动角度信息和坐标累计信息可以获取更为精确的移动行为信息,进而使得客流统计业务分析更为精确。
在一些实施方式中,如图5d所示,该确定单元304,包括:
确定子单元3041,用于根据该移动角度信息处于的角度范围确定出相应的移动行为信息;
匹配子单元3042,用于根据该移动行为信息匹配相应的预设坐标信息范围;
保存子单元3043,用于当检测到该坐标累计信息处于该预设坐标范围时,保存该移动行为信息。
在一些实施方式中,该保存子单元3043,用于:当检测到该坐标累计信息处于该预设坐标范围时,确定该移动行为信息的移动类别数据,该移动类别数据包括进场类别数据、过场类别数据以及出场类别数据;在检测到该移动类别数据为进场类别数据时,提取该待处理图像中的人脸检测区域;将该人脸检测区域对应与人体轨迹信息中每一帧的人体检测区域进行关联,并记录关联成功数;在检测到该关联成功数大于预设阈值时,保存该移动行为信息;在检测到该移动类别数据不为进场类别数据时,保存该移动行为信息。
在一些实施方式中,如图5d所示,该信息处理装置还包括:
过滤单元305,用于对该人体轨迹信息进行区域过滤,得到区域过滤后的人体轨迹信息。
第一获取单元306,用于获取区域过滤后的人体轨迹信息中每一帧的人体检测区域的朝向信息,并统计在目标朝向信息上的人体检测区域相应的第一数量。
在一些实施方式中,该第一获取单元306,用于:获取区域过滤后的人体轨迹信息中每一帧的人体检测区域的朝向信息,统计在每一朝向信息上的人体检测区域的数量;对比每一朝向信息上人体检测区域的数量,将同一朝向信息上人体检测区域的数量最大的朝向信息确定为目标朝向信息;将目标朝向信息上的人体检测区域的数量确定为第一数量。
第二获取单元307,用于获取过滤后的人体轨迹信息中的人体检测区域的第二数量。
该回归单元303,还用于当该第一数量和第二数量满足预设条件时,执行对该人体轨迹信息中的轨迹点位置信息进行回归处理,得到相应的移动拟合线,根据该移动拟合线确定相应的移动角度信息,并统计该轨迹点位置信息之间的坐标累计信息。
以上各个单元的具体实施可参见前面的实施例,在此不再赘述。
由上述可知,本申请实施例通过人体提取单元301获取视频中的待处理图像,并提取待处理图像中的人体检测区域;追踪单元302对人体检测区域进行轨迹追踪,生成相应的人体轨迹信息;回归单元303对人体轨迹信息中的轨迹点位置信息进行回归处理,得到相应的移动拟合线,根据移动拟合线确定相应的移动角度信息,并统计轨迹点位置信息之间的坐标累计信息;确定单元304根据移动角度信息确定移动行为信息和相应的验证条件,在确定坐标累计信息满足验证条件时,保存移动行为信息。以此,可以提取图像中的人体检测区域进行人体追踪,生成人体轨迹信息,并确定移动角度信息和坐标累计信息,根据两者确定出准确的移动行为信息,极大的提升了信息处理的准确性。
本申请实施例还提供一种网络设备,如图6所示,其示出了本申请实施例所涉及的服务器的结构示意图,具体来讲:
该服务器可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图6中示出的服务器结构并不构成对服务器的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
其中:
处理器401是该服务器的控制中心,利用各种接口和线路连接整个服务器的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行服务器的各种功能和处理数据,从而对服务器进行整体监控。可选的,处理器401可包括一个或多个处理核心;可选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据服务器的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
服务器还包括给各个部件供电的电源403,可选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
服务器还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,服务器还可以包括显示单元等,在此不再赘述。具体在本实施例中,服务器中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现前述实施例提供的各种方法步骤,如下:
获取视频中的待处理图像,并提取该待处理图像中的人体检测区域;对该人体检测区域进行轨迹追踪,生成相应的人体轨迹信息;对该人体轨迹信息中的轨迹点位置信息进行回归处理,得到相应的移动拟合线,根据该移动拟合线确定相应的移动角度信息,并统计该轨迹点位置信息之间的坐标累计信息;根据该移动角度信息确定移动行为信息和相应的验证条件,在确定该坐标累计信息满足验证条件时,保存该移动行为信息。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对信息处理方法的详细描述,此处不再赘述。
由上述可知,本申请实施例的服务器可以通过获取视频中的待处理图像,并提取待处理图像中的人体检测区域;对人体检测区域进行轨迹追踪,生成相应的人体轨迹信息;对人体轨迹信息中的轨迹点位置信息进行回归处理,得到相应的移动拟合线,根据移动拟合线确定相应的移动角度信息,并统计轨迹点位置信息之间的坐标累计信息;根据移动角度信息确定移动行为信息和相应的验证条件,在确定坐标累计信息满足验证条件时,保存移动行为信息。以此,可以提取图像中的人体检测区域进行人体追踪,生成人体轨迹信息,并确定移动角度信息和坐标累计信息,根据两者确定出准确的移动行为信息,极大的提升了信息处理的准确性。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种信息处理方法中的步骤。例如,该指令可以执行如下步骤:
获取视频中的待处理图像,并提取该待处理图像中的人体检测区域;对该人体检测区域进行轨迹追踪,生成相应的人体轨迹信息;对该人体轨迹信息中的轨迹点位置信息进行回归处理,得到相应的移动拟合线,根据该移动拟合线确定相应的移动角度信息,并统计该轨迹点位置信息之间的坐标累计信息;根据该移动角度信息确定移动行为信息和相应的验证条件,在确定该坐标累计信息满足验证条件时,保存该移动行为信息。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请实施例所提供的任一种信息处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种信息处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种信息处理方法、装置及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (15)
1.一种信息处理方法,其特征在于,包括:
获取视频中的待处理图像,并提取所述待处理图像中的人体检测区域;
对所述人体检测区域进行轨迹追踪,生成相应的人体轨迹信息;
对所述人体轨迹信息中的轨迹点位置信息进行回归处理,得到相应的移动拟合线,根据所述移动拟合线确定相应的移动角度信息,并统计所述轨迹点位置信息之间的坐标累计信息;
根据所述移动角度信息确定移动行为信息和相应的验证条件,在确定所述坐标累计信息满足验证条件时,保存所述移动行为信息。
2.根据权利要求1所述的信息处理方法,其特征在于,所述对所述人体检测区域进行轨迹追踪,生成相应的人体轨迹信息的步骤,包括:
通过多目标跟踪算法确定每一帧的人体检测区域之间的物体的相关度;
对相关度大于预设阈值的人体检测区域进行轨迹追踪,得到相应的人体轨迹信息。
3.根据权利要求2所述的信息处理方法,其特征在于,所述对相关度大于预设阈值的人体检测区域进行轨迹追踪,得到相应的人体轨迹信息的步骤,包括:
将相关度大于预设阈值的人体检测区域赋值相同的标识信息;
将所述标识信息相同的人体检测区域确定为目标人体检测区域;
依次获取每一目标人体检测区域的位置信息,将所述位置信息进行轨迹连接,得到相应的人体轨迹信息。
4.根据权利要求1所述的信息处理方法,其特征在于,所述对所述人体轨迹信息中的轨迹点位置信息进行回归处理,得到相应的移动拟合线,根据所述移动拟合线确定相应的移动角度信息,并统计所述轨迹点位置信息之间的坐标累计信息的步骤,包括:
依次获取所述人体轨迹信息中每一帧的人体检测区域相应的目标坐标点信息;
对所述目标坐标点信息进行回归处理,得到相应的移动拟合线,根据所述移动拟合线确定相应的移动角度信息;
计算所述人体轨迹信息中每一帧的人体检测区域相应的目标坐标点信息与第一帧的人体检测区域相应的目标坐标点信息的坐标差信息;
统计所述坐标差信息,得到相应的坐标累计信息。
5.根据权利要求4所述的信息处理方法,其特征在于,所述对所述目标坐标点信息进行回归处理,得到相应的移动拟合线,根据所述移动拟合线确定相应的移动角度信息的步骤,包括:
通过最小二乘法算法对所述目标坐标点信息进行拟合,得到相应的移动拟合线;
根据所述移动拟合线在预设坐标系形成的角度得出相应的移动角度信息。
6.根据权利要求1至5任一项所述的信息处理方法,其特征在于,所述根据所述移动角度信息确定移动行为信息和相应的验证条件,在确定所述坐标累计信息满足验证条件时,保存所述移动行为信息的步骤,包括:
根据所述移动角度信息处于的角度范围确定出相应的移动行为信息;
根据所述移动行为信息匹配相应的预设坐标信息范围;
当检测到所述坐标累计信息处于所述预设坐标范围时,保存所述移动行为信息。
7.根据权利要求6所述的信息处理方法,其特征在于,所述保存所述移动行为信息的步骤,包括:
确定所述移动行为信息的移动类别数据,所述移动类别数据包括进场类别数据、过场类别数据以及出场类别数据;
在检测到所述移动类别数据为进场类别数据时,提取所述待处理图像中的人脸检测区域;
将所述人脸检测区域对应与人体轨迹信息中每一帧的人体检测区域进行关联,并记录关联成功数;
在检测到所述关联成功数大于预设阈值时,保存所述移动行为信息;
在检测到所述移动类别数据不为进场类别数据时,保存所述移动行为信息。
8.根据权利要求1至5任一项所述的信息处理方法,其特征在于,所述提取所述待处理图像中的人体检测区域的步骤,包括:
通过图像物体检测算法提取所述待处理图像中的人体检测区域和相应的朝向信息;
所述对所述人体轨迹信息中的轨迹点位置信息进行回归处理,得到相应的移动拟合线,根据所述移动拟合线确定相应的移动角度信息,并统计所述轨迹点位置信息之间的坐标累计信息的步骤之前,还包括:
对所述人体轨迹信息进行区域过滤,得到区域过滤后的人体轨迹信息;
获取区域过滤后的人体轨迹信息中每一帧的人体检测区域的朝向信息,并统计在目标朝向信息上的人体检测区域相应的第一数量;
获取过滤后的人体轨迹信息中的人体检测区域的第二数量;
当所述第一数量和第二数量满足预设条件时,执行对所述人体轨迹信息中的轨迹点位置信息进行回归处理,得到相应的移动拟合线,根据所述移动拟合线确定相应的移动角度信息,并统计所述轨迹点位置信息之间的坐标累计信息的步骤。
9.根据权利要求8所述的信息处理方法,其特征在于,统计在目标朝向信息上的人体检测区域相应的第一数量的步骤,包括:
统计在每一朝向信息上的人体检测区域的数量;
对比每一朝向信息上人体检测区域的数量,将同一朝向信息上人体检测区域的数量最大的朝向信息确定为目标朝向信息;
将目标朝向信息上的人体检测区域的数量确定为第一数量。
10.一种信息处理装置,其特征在于,包括:
人体提取单元,用于获取视频中的待处理图像,并提取所述待处理图像中的人体检测区域;
追踪单元,用于对所述人体检测区域进行轨迹追踪,生成相应的人体轨迹信息;
回归单元,用于对所述人体轨迹信息中的轨迹点位置信息进行回归处理,得到相应的移动拟合线,根据所述移动拟合线确定相应的移动角度信息,并统计所述轨迹点位置信息之间的坐标累计信息;
确定单元,用于根据所述移动角度信息确定移动行为信息和相应的验证条件,在确定所述坐标累计信息满足验证条件时,保存所述移动行为信息。
11.根据权利要求10所述的处理装置,其特征在于,所述追踪单元,包括:
提取子单元,用于通过多目标跟踪算法确定每一帧的人体检测区域之间的物体的相关度;
追踪子单元,用于对相关度大于预设阈值的人体检测区域进行轨迹追踪,得到相应的人体轨迹信息。
12.根据权利要求11所述的处理装置,其特征在于,所述追踪子单元,用于:
将相关度大于预设阈值的人体检测区域赋值相同的标识信息;
将所述标识信息相同的人体检测区域确定为目标人体检测区域;
依次获取每一目标人体检测区域的位置信息,将所述位置信息进行轨迹连接,得到相应的人体轨迹信息。
13.根据权利要求10所述的处理装置,其特征在于,所述回归单元,包括:
获取子单元,用于依次获取所述人体轨迹信息中每一帧的人体检测区域相应的目标坐标点信息;
回归子单元,用于对所述目标坐标点信息进行回归处理,得到相应的移动拟合线,根据所述移动拟合线确定相应的移动角度信息;
计算子单元,用于计算所述人体轨迹信息中每一帧的人体检测区域相应的目标坐标点与第一帧的人体检测区域相应的目标坐标点的坐标差信息;
统计子单元,用于统计所述坐标差信息,得到相应的坐标累计信息。
14.根据权利要求13所述的处理装置,其特征在于,所述回归子单元,用于:
通过最小二乘法算法对所述目标坐标点信息进行拟合,得到相应的移动拟合线;
根据所述移动拟合线在预设坐标系形成的角度得出相应的移动角度信息。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至9任一项所述的信息处理方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911120993.5A CN111091057A (zh) | 2019-11-15 | 2019-11-15 | 一种信息处理方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911120993.5A CN111091057A (zh) | 2019-11-15 | 2019-11-15 | 一种信息处理方法、装置及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111091057A true CN111091057A (zh) | 2020-05-01 |
Family
ID=70393285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911120993.5A Pending CN111091057A (zh) | 2019-11-15 | 2019-11-15 | 一种信息处理方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111091057A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111611901A (zh) * | 2020-05-15 | 2020-09-01 | 北京百度网讯科技有限公司 | 车辆逆行检测方法、装置、设备以及存储介质 |
CN111639968A (zh) * | 2020-05-25 | 2020-09-08 | 腾讯科技(深圳)有限公司 | 轨迹数据处理方法、装置、计算机设备以及存储介质 |
CN111709382A (zh) * | 2020-06-19 | 2020-09-25 | 腾讯科技(深圳)有限公司 | 人体轨迹处理方法、装置、计算机存储介质以及电子设备 |
CN112560819A (zh) * | 2021-02-22 | 2021-03-26 | 北京远鉴信息技术有限公司 | 一种用户身份的验证方法、装置、电子设备及存储介质 |
CN114312793A (zh) * | 2021-12-31 | 2022-04-12 | 上汽大众汽车有限公司 | 一种轨迹模式的匹配方法、匹配系统及计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103021059A (zh) * | 2012-12-12 | 2013-04-03 | 天津大学 | 一种基于视频监控的公交客流计数方法 |
CN110197134A (zh) * | 2019-05-13 | 2019-09-03 | 睿视智觉(厦门)科技有限公司 | 一种人体动作检测方法及装置 |
CN110276298A (zh) * | 2019-06-21 | 2019-09-24 | 腾讯科技(深圳)有限公司 | 用户行为的判定方法、装置、存储介质和计算机设备 |
CN110334569A (zh) * | 2019-03-30 | 2019-10-15 | 深圳市晓舟科技有限公司 | 客流量进出识别方法、装置、设备及存储介质 |
-
2019
- 2019-11-15 CN CN201911120993.5A patent/CN111091057A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103021059A (zh) * | 2012-12-12 | 2013-04-03 | 天津大学 | 一种基于视频监控的公交客流计数方法 |
CN110334569A (zh) * | 2019-03-30 | 2019-10-15 | 深圳市晓舟科技有限公司 | 客流量进出识别方法、装置、设备及存储介质 |
CN110197134A (zh) * | 2019-05-13 | 2019-09-03 | 睿视智觉(厦门)科技有限公司 | 一种人体动作检测方法及装置 |
CN110276298A (zh) * | 2019-06-21 | 2019-09-24 | 腾讯科技(深圳)有限公司 | 用户行为的判定方法、装置、存储介质和计算机设备 |
Non-Patent Citations (3)
Title |
---|
YI WU等: "Online Object Tracking: A Benchmark", 《 PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
张天琦: "基于深度学习的行人流量统计算法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
胡巧玲: "基于彩色车牌定位的车辆跳动检测研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111611901A (zh) * | 2020-05-15 | 2020-09-01 | 北京百度网讯科技有限公司 | 车辆逆行检测方法、装置、设备以及存储介质 |
CN111611901B (zh) * | 2020-05-15 | 2023-10-03 | 北京百度网讯科技有限公司 | 车辆逆行检测方法、装置、设备以及存储介质 |
CN111639968A (zh) * | 2020-05-25 | 2020-09-08 | 腾讯科技(深圳)有限公司 | 轨迹数据处理方法、装置、计算机设备以及存储介质 |
CN111639968B (zh) * | 2020-05-25 | 2023-11-03 | 腾讯科技(深圳)有限公司 | 轨迹数据处理方法、装置、计算机设备以及存储介质 |
CN111709382A (zh) * | 2020-06-19 | 2020-09-25 | 腾讯科技(深圳)有限公司 | 人体轨迹处理方法、装置、计算机存储介质以及电子设备 |
CN112560819A (zh) * | 2021-02-22 | 2021-03-26 | 北京远鉴信息技术有限公司 | 一种用户身份的验证方法、装置、电子设备及存储介质 |
CN114312793A (zh) * | 2021-12-31 | 2022-04-12 | 上汽大众汽车有限公司 | 一种轨迹模式的匹配方法、匹配系统及计算机可读存储介质 |
CN114312793B (zh) * | 2021-12-31 | 2023-07-21 | 上汽大众汽车有限公司 | 一种轨迹模式的匹配方法、匹配系统及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111091057A (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
CN107153817B (zh) | 行人重识别数据标注方法和装置 | |
CN106886216B (zh) | 基于rgbd人脸检测的机器人自动跟踪方法和系统 | |
CN109145708B (zh) | 一种基于rgb和d信息融合的人流量统计方法 | |
US8855363B2 (en) | Efficient method for tracking people | |
D'Angelo et al. | People re-identification in camera networks based on probabilistic color histograms | |
KR102373753B1 (ko) | 딥러닝 기반의 차량식별추적 방법, 및 시스템 | |
Liu et al. | Real-time human detection and tracking in complex environments using single RGBD camera | |
CN103246896A (zh) | 一种鲁棒性车辆实时检测与跟踪方法 | |
CN110991397B (zh) | 一种行进方向确定方法及相关设备 | |
CN111325137A (zh) | 暴力分拣检测方法、装置、设备及存储介质 | |
CN109902576B (zh) | 一种头肩图像分类器的训练方法及应用 | |
CN108073940B (zh) | 一种非结构化环境中的3d目标实例物体检测的方法 | |
CN111401308A (zh) | 一种基于光流效应的鱼类行为视频识别方法 | |
Dousai et al. | Detecting humans in search and rescue operations based on ensemble learning | |
CN113920585A (zh) | 行为识别方法及装置、设备和存储介质 | |
Kroneman et al. | Accurate pedestrian localization in overhead depth images via Height-Augmented HOG | |
CN111444875B (zh) | 一种人脸跟踪方法、装置、设备和计算机可读存储介质 | |
Piérard et al. | A probabilistic pixel-based approach to detect humans in video streams | |
CN112699842A (zh) | 宠物识别方法、装置、设备及计算机可读存储介质 | |
CN111027482A (zh) | 基于运动向量分段分析的行为分析方法及装置 | |
CN113627383A (zh) | 一种用于全景智能安防的行人徘徊重识别方法 | |
Hung et al. | Real-time counting people in crowded areas by using local empirical templates and density ratios | |
CN110738692A (zh) | 一种基于spark集群的智能视频识别方法 | |
Wiboonsiriruk et al. | Efficient Passenger Counting in Public Transport Based on Machine Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200501 |
|
WD01 | Invention patent application deemed withdrawn after publication |