CN110334568B - 轨迹生成与监控方法、装置、设备及存储介质 - Google Patents

轨迹生成与监控方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110334568B
CN110334568B CN201910253941.9A CN201910253941A CN110334568B CN 110334568 B CN110334568 B CN 110334568B CN 201910253941 A CN201910253941 A CN 201910253941A CN 110334568 B CN110334568 B CN 110334568B
Authority
CN
China
Prior art keywords
frame
image
head
images
head image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910253941.9A
Other languages
English (en)
Other versions
CN110334568A (zh
Inventor
丁晓刚
陈潘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xiaozhou Technology Co ltd
Original Assignee
Shenzhen Xiaozhou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xiaozhou Technology Co ltd filed Critical Shenzhen Xiaozhou Technology Co ltd
Priority to CN201910253941.9A priority Critical patent/CN110334568B/zh
Publication of CN110334568A publication Critical patent/CN110334568A/zh
Application granted granted Critical
Publication of CN110334568B publication Critical patent/CN110334568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition

Abstract

本发明涉及图像识别的技术领域,尤其是一种轨迹生成与监控方法、装置、设备及存储介质,轨迹生成与监控方法包括:实时获取店内识别录像;对获取得到的识别录像进行分帧处理,得到按照时间顺序的分帧图像;采用人头检测模型在分帧图像检测出人头特征的方式,得到头部图像;若在第i帧的分帧图像中识别出第一头部图像,且在第i+1帧中的分帧图像中识别不出第一头部图像,则从第i+2帧的分帧图像开始识别第一头部图像;若在第i+n帧中的分帧图像中识别出第一头部图像,则采用自动联想的方式,将第i帧的分帧图像的第一头部图像作为起点,第i+n帧的分帧图像的第一头部图像作为终点,组成客户运动轨迹。本发明具有提升对客人运动轨迹识别成功率的效果。

Description

轨迹生成与监控方法、装置、设备及存储介质
技术领域
本发明涉及图像识别的技术领域,尤其是涉及一种轨迹生成与监控方法、装置、设备及存储介质。
背景技术
目前,客流量是超市、商场等地方进行管理以及决策重要的数据。其中客流量统计多采用是图像识别的数据统计方法。现有的技术中,会在店内门口上方设置有摄像装置,通过拍摄并识别出顾客的头部区域,进而根据识别头部区域的运动轨迹,进而得到顾客在店内的运动轨迹。
现有的技术中,由于顾客的头部的轻微运动,例如扭头、低头等动作,会影响识别的结果,因此存在改进空间。
发明内容
本发明的目的是提供一种提升对客人运动轨迹识别效果的轨迹生成与监控方法、装置、设备及存储介质。
本发明的上述发明目的一是通过以下技术方案得以实现的:
一种轨迹生成与监控方法,所述轨迹生成与监控方法包括:
S10:实时获取店内识别录像;
S20:对获取得到的所述识别录像进行分帧处理,得到按照时间顺序的分帧图像;
S30:采用人头检测模型在所述分帧图像检测出人头特征的方式,得到头部图像;
S40:若在第i帧的所述分帧图像中识别出第一头部图像,且在第i+1帧中的所述分帧图像中识别不出所述第一头部图像,则从第i+2帧的所述分帧图像开始识别所述第一头部图像;
S50:若在第i+n帧中的所述分帧图像中识别出所述第一头部图像,则采用自动联想的方式,将第i帧的所述分帧图像的所述第一头部图像作为起点,第i+n帧的所述分帧图像的所述第一头部图像作为终点,组成客户运动轨迹。
通过采用上述技术方案,在对客流量进行分析时,通过在店门口上方设置有摄像装置,并使用摄像装置对进店的客人进行拍摄,从而统计客流量;在统计客流量时,从识别出头部图像开始,记录客户运动轨迹,而在记录客户运动轨迹,遇到第i帧和第i+n帧的分帧图像识别出头部图像,而在中间的几帧中识别不出对应的头部图像,则通过自动联想补帧的方式,将头部图像进行补充,得到完整的客户运动轨迹,从而不会导致因为顾客头部轻微运动或者被遮挡导致无法识别出头部图像导致的客流量分析不够精确的问题。
本发明进一步设置为:在所述步骤S30之前,所述轨迹生成与监控方法还包括:
S301:获取所述店内识别录像的背景图片,并将所述背景图片作为比对图片;
S302:获取若干张人体头部区域图片,并分别提取所述人体头部区域图片中头部部位的特征值,构建特征向量;
S303:采用深度学习对所述比对图片和所述特征向量进行训练,得到所述人头检测模型。
通过采用上述技术方案,在对进店的顾客进行识别, 得到客户的头部图像之前,先采用深度学习的方式,训练出人头检测模型,便于服务器识别并统计客流量。
本发明进一步设置为:述步骤S30包括:
S31:按照时间顺序依次计算所述分帧图像与所述比对图像之间的相似度,并选取相似度小于预设的阈值的所述分帧图像,作为识别图像;
S32:采用所述人头检测模型对所述识别图像进行检测,若在所述识别图像中检测出所述人头特征,则将所述识别图像作为所述头部图像。
通过采用上述技术方案,在识别头部图像时,通过计算相邻两张分帧图像之间的相似度,选取相似度小于预设的阈值的分帧图像作为识别图像,能够将没有运动变化的分帧图像进行排除,能够减少服务器识别头部图像时的基数,提高了识别的效率,同时也减少存储照片的数量,减轻了服务器的存储空间。
本发明进一步设置为:所述第一头部图像为同一人的所述头部图像,所述步骤S40包括:
S41:若通过所述人头检测模型在第i帧的所述分帧图像识别出所述第一头部图像,则将所述第i帧的所述分帧图像作为基准图像;
S42:继续采用上述人头检测模型对第i+1帧的所述分帧图像进行识别,若检测不出所述第一头部图像,则发出补帧联想消息,从第i+2帧的所述分帧图像开始识别所述第一头部图像。
通过采用上述技术方案,在识别同一个人的第一头部图像时,若出现第i帧识别出第一头部图像,而第i+1帧识别不出第一头部图像时,发出补帧联想消息,从第i+2帧的所述分帧图像开始识别所述第一头部图像,便于补充客户运动轨迹。
本发明进一步设置为:所述步骤S50包括:
S51:将所述终点与所述起点客户运动线路;
S52:在所述客户运动线路中加入n-1个运动点,作为第i+1帧到第i+n-1帧的所述分帧图像对应的所述运动点,从而得到所述客户运动轨迹。
通过采用上述技术方案,若在第i+n帧再次识别出该第一头部图像,则对中间n-1帧缺失的第一头部图像进行补充,使能够得到完整的客户运动轨迹,便于对客流量进行统计。
本发明的上述发明目的二是通过以下技术方案得以实现的:
一种轨迹生成与监控装置,所述轨迹生成与监控装置包括:
录像获取模块,用于实时获取店内识别录像;
分帧模块,用于对获取得到的所述识别录像进行分帧处理,得到按照时间顺序的分帧图像;
特征识别模块,用于采用人头检测模型在所述分帧图像检测出人头特征的方式,得到头部图像;
消息发送模块,用于若在第i帧的所述分帧图像中识别出第一头部图像,且在第i+1帧中的所述分帧图像中识别不出所述第一头部图像,则从第i+2帧的所述分帧图像开始识别所述第一头部图像;
补帧联想模块,用于若在第i+n帧中的所述分帧图像中识别出所述第一头部图像,则采用自动联想的方式,将第i帧的所述分帧图像的所述第一头部图像作为起点,第i+n帧的所述分帧图像的所述第一头部图像作为终点,组成客户运动轨迹。
通过采用上述技术方案,在对客流量进行分析时,通过在店门口上方设置有摄像装置,并使用摄像装置对进店的客人进行拍摄,从而统计客流量;在统计客流量时,从识别出头部图像开始,记录客户运动轨迹,而在记录客户运动轨迹,遇到第i帧和第i+n帧的分帧图像识别出头部图像,而在中间的几帧中识别不出对应的头部图像,则通过自动联想补帧的方式,将头部图像进行补充,得到完整的客户运动轨迹,从而不会导致因为顾客头部轻微运动或者被遮挡导致无法识别出头部图像导致的客流量分析不够精确的问题。
本发明的上述发明目的三是通过以下技术方案得以实现的:
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述轨迹生成与监控方法的步骤。
本发明的上述发明目的四是通过以下技术方案得以实现的:
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述轨迹生成与监控方法的步骤。
综上所述,本发明的有益技术效果为:
在对客流量进行分析时,通过在店门口上方设置有摄像装置,并使用摄像装置对进店的客人进行拍摄,从而统计客流量;在统计客流量时,从识别出头部图像开始,记录客户运动轨迹,而在记录客户运动轨迹,遇到第i帧和第i+n帧的分帧图像识别出头部图像,而在中间的几帧中识别不出对应的头部图像,则通过自动联想补帧的方式,将头部图像进行补充,得到完整的客户运动轨迹,从而不会导致因为顾客头部轻微运动或者被遮挡导致无法识别出头部图像导致的客流量分析不够精确的问题。
附图说明
图1是本发明一实施例中轨迹生成与监控方法的一流程图;
图2是本发明一实施例中轨迹生成与监控方法的另一实现流程图;
图3是本发明一实施例中轨迹生成与监控方法中步骤S30的实现流程图;
图4是本发明一实施例中轨迹生成与监控方法中步骤S40的实现流程图;
图5是本发明一实施例中轨迹生成与监控方法中步骤S50的实现流程图;
图6是本发明一实施例中轨迹生成与监控装置的一原理框图;
图7是本发明一实施例中计算机设备的一示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
实施例一:
在一实施例中,如图1所示,本发明公开了一种轨迹生成与监控方法,具体包括如下步骤:
S10:实时获取店内识别录像。
在本实施例中,识别录像是指拍摄到商店或超市等场所内部的情况,并需要从该内部的情况中识别出顾客的录像。
具体地,在店内的门口上方设置有录像装置,例如摄像头,对经过店内的门口的顾客进行录像,从而得到识别录像。
S20:对获取得到的识别录像进行分帧处理,得到按照时间顺序的分帧图像。
在本实施例中,分帧图像是指识别录像中的每一帧图像。
具体地,按照识别录像播放的时间顺序,采用现有的分帧处理方法,获取识别录像中每一帧的图像,作为分帧图像。
S30:采用人头检测模型在分帧图像检测出人头特征的方式,得到头部图像。
在本实施例中,人头检测模型是指预先训练好,能够在识别录像中的分帧图像中识别出客户头部区域,进而根据该头部区域确定顾客个体的模型。
具体地,预先训练好人头检测模型,在分帧图像中进行人头特征的识别,若在分帧图像中识别出人头特征 ,将在识别出人头特征的区域作为该头部图像。
S40:若在第i帧的分帧图像中识别出第一头部图像,且在第i+1帧中的分帧图像中识别不出第一头部图像,则从第i+2帧的分帧图像开始识别第一头部图像。
在本实施例中,第一头部图像是指在分帧图像中,其中一个头部图像。
具体地,在对识别录像中的分帧图像进行识别时,若在第i帧的分帧图像中识别出了第一头部图像,而在下一帧,即第i+1帧的分帧图像中识别不出该第一头部图像,则对给第一头部图像进行记录,并从第i+2帧的分帧图像开始识别该第一头部图像。
S50:若在第i+n帧中的分帧图像中识别出第一头部图像,则采用自动联想的方式,将第i帧的分帧图像的第一头部图像作为起点,第i+n帧的分帧图像的第一头部图像作为终点,组成客户运动轨迹。
具体地,若在第i+n帧中的分帧图像里,又识别出了该第一头部图像,则判定该第一头部图像在第i+1帧到第i+n+1帧的分帧图像中为丢失的头部图像,则通过将第i帧的第一头部图像与第i+n帧的头部图像连成客户运动轨迹。
在本实施例中,在对客流量进行分析时,通过在店门口上方设置有摄像装置,并使用摄像装置对进店的客人进行拍摄,从而统计客流量;在统计客流量时,从识别出头部图像开始,记录客户运动轨迹,而在记录客户运动轨迹,遇到第i帧和第i+n帧的分帧图像识别出头部图像,而在中间的几帧中识别不出对应的头部图像,则通过自动联想补帧的方式,将头部图像进行补充,得到完整的客户运动轨迹,从而不会导致因为顾客头部轻微运动或者被遮挡导致无法识别出头部图像导致的客流量分析不够精确的问题。
在一实施例中,如图2所示,在步骤步骤S30之前,轨迹生成与监控方法还包括:
S301:获取店内识别录像的背景图片,并将背景图片作为比对图片。
具体地,在店内的摄像装置安装好之后,获取在没人的状态下拍摄到的店内的背景图片,将该背景图片作为比对图片。
S302:获取若干张人体头部区域图片,并分别提取人体头部区域图片中头部部位的特征值,构建特征向量。
具体地,可以从不同的渠道获取有人体头部区域的图片,并可以通过现有的边缘检测技术来进行识别出人体头部区域。边缘检测技术是数字图像处理、模式识别、计算机视觉的重要基础之一,可以满足此实施例的实施。
进一步地,在将人体头部区域的图片识别出后,可通过现有的卷积神经网络(Convolutional Neural Networks,以下简称CNN)。提取头部部位的特征值,构建特征向量。
S303:采用深度学习对比对图片和特征向量进行训练,得到人头检测模型。
具体地,将所有获取到的头部部位对应的特征向量放入比对图片中,并通过CNN-LSTM模型进行深度学习,得到人头检测模型,使该人头检测模型能够在比对图片中识别出头部图像。
在一实施例中,如图3所示,在步骤S30中,即采用人头检测模型在分帧图像检测出人头特征的方式,得到头部图像,具体包括如下步骤:
S31:按照时间顺序依次计算分帧图像与比对图像之间的相似度,并选取相似度小于预设的阈值的分帧图像,作为识别图像。
具体地,若相邻的两帧的分帧图像之间没有运动变化,则说明在该识别图像中没有顾客通过,或者顾客处于静止不动的状态。
进一步地,通过对相邻两帧的分帧图像进行灰度处理,并根据灰度处理的结果取差分值,并将该差分值作为该相似度。若该相似度小于预设的阈值,例如0.05,则说明相邻的两帧的分帧图像之间存在运动变化,则将这两帧存在运动变化的分帧图像作为识别图像。
S32:采用人头检测模型对识别图像进行检测,若在识别图像中检测出人头特征,则将识别图像作为头部图像。
具体地,通过步骤S30的方式,采用人头检测模型对识别图像进行检测,若在识别图像中检测出人头特征,则将识别图像作为头部图像。
在一实施例中,如图4所示,在步骤S40中,即若在第i帧的分帧图像中识别出第一头部图像,且在第i+1帧中的分帧图像中识别不出第一头部图像,则从第i+2帧的分帧图像开始识别第一头部图像,具体包括如下步骤:
S41:若通过人头检测模型在第i帧的分帧图像识别出第一头部图像,则将第i帧的分帧图像作为基准图像。
具体地,在进行头部图像的识别中,通过步骤S301-S303得到的人头检测模型对分帧图像进行识别,若在第i帧,例如第1帧的分帧图像中,识别出了头部图像,则将该头像作为第一头部图像,且将该第1帧的分帧图像作为基准图像,用于往后的分帧图像中识别出该第一头部图像,并通过该第一头部图像的位置,去获得该第一头部图像对应的客户运动轨迹。
S42:继续采用上述人头检测模型对第i+1帧的分帧图像进行识别,若检测不出第一头部图像,则发出补帧联想消息,从第i+2帧的分帧图像开始识别第一头部图像。
具体地,若在第i+1帧的分帧图像中,识别不出该第一头部图像,则说明该第一头部图像可能在识别中误识,或者该第一头部图像对应的顾客的头部发生了轻微的移动或者被遮挡,则发出补帧联想消息,需要对丢失的第一头部图像进行补帧。
进一步地,从第i+2帧的分帧图像开始识别第一头部图像。
在一实施例中,如图5所示,在步骤S50中,即若在第i+n帧中的分帧图像中识别出第一头部图像,则采用自动联想的方式,将第i帧的分帧图像的第一头部图像作为起点,第i+n帧的分帧图像的第一头部图像作为终点,组成客户运动轨迹,具体包括如下步骤:
S51:将终点与起点连接成客户运动线路。
在本实施例中,客户运动录像是指顾客在识别录像中运动的路线。
具体地,将终点与起点连接成客户运动线路。
S52:在客户运动线路中加入n-1个运动点,作为第i+1帧到第i+n-1帧的分帧图像对应的运动点,从而得到客户运动轨迹。
具体地,若在第5帧中又识别出了该第一头部图像,则在该客户运动图像中加入n-1个运动点,即加入3个运动点,并将该折3个运动点平均的写入该客户运动线路,得到该客户运动轨迹。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
实施例二:
在一实施例中,提供一种轨迹生成与监控装置,该轨迹生成与监控装置与上述实施例中轨迹生成与监控方法一一对应。如图6所示,该轨迹生成与监控装置包括录像获取模块10、分帧模块20、特征识别模块30、消息发送模块40和补帧联想模块50。各功能模块详细说明如下:
录像获取模块10,用于实时获取店内识别录像;
分帧模块20,用于对获取得到的识别录像进行分帧处理,得到按照时间顺序的分帧图像;
特征识别模块30,用于采用人头检测模型在分帧图像检测出人头特征的方式,得到头部图像;
消息发送模块40,用于若在第i帧的分帧图像中识别出第一头部图像,且在第i+1帧中的分帧图像中识别不出第一头部图像,则从第i+2帧的分帧图像开始识别第一头部图像;
补帧联想模块50,用于若在第i+n帧中的分帧图像中识别出第一头部图像,则采用自动联想的方式,将第i帧的分帧图像的第一头部图像作为起点,第i+n帧的分帧图像的第一头部图像作为终点,组成客户运动轨迹。
优选地,轨迹生成与监控装置还包括:
比对图片获取模块301,用于获取店内识别录像的背景图片,并将背景图片作为比对图片;
特征向量构建模块302,用于获取若干张人体头部区域图片,并分别提取人体头部区域图片中头部部位的特征值,构建特征向量;
深度学习模块303,用于采用深度学习对比对图片和特征向量进行训练,得到人头检测模型。
优选地,特征识别模块30包括:
相似度计算子模块31,用于按照时间顺序依次计算分帧图像与比对图像之间的相似度,并选取相似度小于预设的阈值的分帧图像,作为识别图像;
检测子模块32,用于采用人头检测模型对识别图像进行检测,若在识别图像中检测出人头特征,则将识别图像作为头部图像。
优选地,消息发送模块40包括:
基准图像获取子模块41,用于若通过人头检测模型在第i帧的分帧图像识别出第一头部图像,则将第i帧的分帧图像作为基准图像;
补帧消息发送子模块42,用于继续采用上述人头检测模型对第i+1帧的分帧图像进行识别,若检测不出第一头部图像,则发出补帧联想消息,从第i+2帧的分帧图像开始识别第一头部图像。
优选地,补帧联想模块50包括:
运动线路连接子模块51,用于将终点与起点连接成客户运动线路;
补帧联想子模块52,用于在客户运动线路中加入n-1个运动点,作为第i+1帧到第i+n-1帧的分帧图像对应的运动点,从而得到客户运动轨迹。
关于轨迹生成与监控装置的具体限定可以参见上文中对于轨迹生成与监控方法的限定,在此不再赘述。上述轨迹生成与监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
实施例三:
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储客户运动轨迹。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种轨迹生成与监控方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
S10:实时获取店内识别录像;
S20:对获取得到的识别录像进行分帧处理,得到按照时间顺序的分帧图像;
S30:采用人头检测模型在分帧图像检测出人头特征的方式,得到头部图像;
S40:若在第i帧的分帧图像中识别出第一头部图像,且在第i+1帧中的分帧图像中识别不出第一头部图像,则从第i+2帧的分帧图像开始识别第一头部图像;
S50:若在第i+n帧中的分帧图像中识别出第一头部图像,则采用自动联想的方式,将第i帧的分帧图像的第一头部图像作为起点,第i+n帧的分帧图像的第一头部图像作为终点,组成客户运动轨迹。
实施例四:
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
S10:实时获取店内识别录像;
S20:对获取得到的识别录像进行分帧处理,得到按照时间顺序的分帧图像;
S30:采用人头检测模型在分帧图像检测出人头特征的方式,得到头部图像;
S40:若在第i帧的分帧图像中识别出第一头部图像,且在第i+1帧中的分帧图像中识别不出第一头部图像,则从第i+2帧的分帧图像开始识别第一头部图像;
S50:若在第i+n帧中的分帧图像中识别出第一头部图像,则采用自动联想的方式,将第i帧的分帧图像的第一头部图像作为起点,第i+n帧的分帧图像的第一头部图像作为终点,组成客户运动轨迹。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (8)

1.一种轨迹生成与监控方法,其特征在于,所述轨迹生成与监控方法包括:
S10:实时获取店内识别录像;
S20:对获取得到的所述识别录像进行分帧处理,得到按照时间顺序的分帧图像;
S30:采用人头检测模型在所述分帧图像检测出人头特征的方式,得到头部图像;
S40:若在第i帧的所述分帧图像中识别出第一头部图像,且在第i+1帧中的所述分帧图像中识别不出所述第一头部图像,则从第i+2帧的所述分帧图像开始识别所述第一头部图像,所述第一头部图像为同一人的所述头部图像,步骤S40包括:
S41:若通过所述人头检测模型在第i帧的所述分帧图像识别出所述第一头部图像,则将所述第i帧的所述分帧图像作为基准图像;
S42:继续采用上述人头检测模型对第i+1帧的所述分帧图像进行识别,若检测不出所述第一头部图像,则发出补帧联想消息,从第i+2帧的所述分帧图像开始识别所述第一头部图像;
S50:若在第i+n帧中的所述分帧图像中识别出所述第一头部图像,则采用自动联想的方式,将第i帧的所述分帧图像的所述第一头部图像作为起点,第i+n帧的所述分帧图像的所述第一头部图像作为终点,组成客户运动轨迹,步骤S50包括:
S51:将所述终点与所述起点连接成客户运动线路;
S52:在所述客户运动线路中加入n-1个运动点,作为第i+1帧到第i+n-1帧的所述分帧图像对应的所述运动点,从而得到所述客户运动轨迹。
2.如权利要求1所述的轨迹生成与监控方法,其特征在于,在步骤S30之前,所述轨迹生成与监控方法还包括:
S301:获取所述店内识别录像的背景图片,并将所述背景图片作为比对图片;
S302:获取若干张人体头部区域图片,并分别提取所述人体头部区域图片中头部部位的特征值,构建特征向量;
S303:采用深度学习对所述比对图片和所述特征向量进行训练,得到所述人头检测模型。
3.如权利要求2所述的轨迹生成与监控方法,其特征在于,所述步骤S30包括:
S31:按照时间顺序依次计算所述分帧图像与所述比对图片之间的相似度,并选取相似度小于预设的阈值的所述分帧图像,作为识别图像;
S32:采用所述人头检测模型对所述识别图像进行检测,若在所述识别图像中检测出所述人头特征,则将所述识别图像作为所述头部图像。
4.一种轨迹生成与监控装置,其特征在于,所述轨迹生成与监控装置包括:
录像获取模块,用于实时获取店内识别录像;
分帧模块,用于对获取得到的所述识别录像进行分帧处理,得到按照时间顺序的分帧图像;
特征识别模块,用于采用人头检测模型在所述分帧图像检测出人头特征的方式,得到头部图像;
消息发送模块,用于若在第i帧的所述分帧图像中识别出第一头部图像,且在第i+1帧中的所述分帧图像中识别不出所述第一头部图像,则从第i+2帧的所述分帧图像开始识别所述第一头部图像,所述第一头部图像为同一人的所述头部图像,消息发送模块包括:
基准图像获取子模块,用于若通过人头检测模型在第i帧的分帧图像识别出第一头部图像,则将第i帧的分帧图像作为基准图像;
补帧消息发送子模块,用于继续采用上述人头检测模型对第i+1帧的分帧图像进行识别,若检测不出第一头部图像,则发出补帧联想消息,从第i+2帧的分帧图像开始识别第一头部图像;
补帧联想模块,用于若在第i+n帧中的所述分帧图像中识别出所述第一头部图像,则采用自动联想的方式,将第i帧的所述分帧图像的所述第一头部图像作为起点,第i+n帧的所述分帧图像的所述第一头部图像作为终点,组成客户运动轨迹,补帧联想模块包括:
运动线路连接子模块,用于将终点与起点连接成客户运动线路;
补帧联想子模块,用于在客户运动线路中加入n-1个运动点,作为第i+1帧到第i+n-1帧的分帧图像对应的运动点,从而得到客户运动轨迹。
5.如权利要求4所述的轨迹生成与监控装置,其特征在于,所述轨迹生成与监控装置还包括:
比对图片获取模块,用于获取所述店内识别录像的背景图片,并将所述背景图片作为比对图片;
特征向量构建模块,用于获取若干张人体头部区域图片,并分别提取所述人体头部区域图片中头部部位的特征值,构建特征向量;
深度学习模块,用于采用深度学习对所述比对图片和所述特征向量进行训练,得到所述人头检测模型。
6.如权利要求5所述的轨迹生成与监控装置,其特征在于,所述特征识别模块包括:
相似度计算子模块,用于按照时间顺序依次计算所述分帧图像与所述比对图片之间的相似度,并选取相似度小于预设的阈值的所述分帧图像,作为识别图像;
检测子模块,用于采用所述人头检测模型对所述识别图像进行检测,若在所述识别图像中检测出所述人头特征,则将所述识别图像作为所述头部图像。
7.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述轨迹生成与监控方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述轨迹生成与监控方法的步骤。
CN201910253941.9A 2019-03-30 2019-03-30 轨迹生成与监控方法、装置、设备及存储介质 Active CN110334568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910253941.9A CN110334568B (zh) 2019-03-30 2019-03-30 轨迹生成与监控方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910253941.9A CN110334568B (zh) 2019-03-30 2019-03-30 轨迹生成与监控方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110334568A CN110334568A (zh) 2019-10-15
CN110334568B true CN110334568B (zh) 2022-09-16

Family

ID=68139244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910253941.9A Active CN110334568B (zh) 2019-03-30 2019-03-30 轨迹生成与监控方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110334568B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160243A (zh) * 2019-12-27 2020-05-15 深圳云天励飞技术有限公司 客流量统计方法及相关产品
WO2021142787A1 (zh) * 2020-01-17 2021-07-22 上海亦我信息技术有限公司 行进路线及空间模型生成方法、装置、系统
CN112905433B (zh) * 2021-03-16 2022-08-19 广州虎牙科技有限公司 轨迹追踪方法、装置、电子设备和可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106603928A (zh) * 2017-01-20 2017-04-26 维沃移动通信有限公司 一种拍摄方法及移动终端
CN107347140A (zh) * 2017-08-24 2017-11-14 维沃移动通信有限公司 一种拍摄方法、移动终端及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201041392A (en) * 2009-05-05 2010-11-16 Unique Instr Co Ltd Multi-view 3D video conference device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106603928A (zh) * 2017-01-20 2017-04-26 维沃移动通信有限公司 一种拍摄方法及移动终端
CN107347140A (zh) * 2017-08-24 2017-11-14 维沃移动通信有限公司 一种拍摄方法、移动终端及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于轮廓线的三维人脸特征提取与识别;宋晓冰等;《中国优秀硕士学位论文全文数据库信息科技辑》;20091215;第I138-875页 *

Also Published As

Publication number Publication date
CN110334568A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
CN110334569B (zh) 客流量进出识别方法、装置、设备及存储介质
CN109644255B (zh) 标注包括一组帧的视频流的方法和装置
CN110334568B (zh) 轨迹生成与监控方法、装置、设备及存储介质
US20170213091A1 (en) Video processing
CN108269333A (zh) 人脸识别方法、应用服务器及计算机可读存储介质
CN109727275B (zh) 目标检测方法、装置、系统和计算机可读存储介质
US20130342636A1 (en) Image-Based Real-Time Gesture Recognition
US10970823B2 (en) System and method for detecting motion anomalies in video
CN110675426B (zh) 人体跟踪方法、装置、设备及存储介质
CN110458198B (zh) 多分辨率目标识别方法及装置
EP3311334A1 (en) Cloud platform with multi camera synchronization
US10410059B2 (en) Cloud platform with multi camera synchronization
CN111191506A (zh) 人员流量统计方法、装置、计算机设备和存储介质
CN114241016A (zh) 一种跨相机轨迹关联方法、装置及电子设备
CN110458971B (zh) 课堂考勤记录方法、装置、计算机设备和存储介质
CN114613006A (zh) 一种远距离手势识别方法及装置
CN109308704B (zh) 背景剔除方法、装置、计算机设备及存储介质
CN113837006A (zh) 一种人脸识别方法、装置、存储介质及电子设备
CN111967529B (zh) 识别方法、装置、设备及系统
KR100348357B1 (ko) 하이퍼링크 비디오를 위한 임의 객체의 효과적인 추적 장치 및 방법
CN116612498A (zh) 一种鸟类识别模型训练方法、鸟类识别方法、装置及设备
CN115239551A (zh) 视频增强方法和装置
CN111860261B (zh) 一种客流值的统计方法、装置、设备及介质
CN113111847A (zh) 一种工序循环的自动监测方法、装置和系统
CN111062294B (zh) 一种客流排队时间的检测方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant