CN113808158A - 视频中群体对象运动的分析方法、装置、设备及存储介质 - Google Patents

视频中群体对象运动的分析方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113808158A
CN113808158A CN202010544550.5A CN202010544550A CN113808158A CN 113808158 A CN113808158 A CN 113808158A CN 202010544550 A CN202010544550 A CN 202010544550A CN 113808158 A CN113808158 A CN 113808158A
Authority
CN
China
Prior art keywords
image
video
similarity
determining
analyzed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010544550.5A
Other languages
English (en)
Inventor
掌静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Suzhou Software Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010544550.5A priority Critical patent/CN113808158A/zh
Publication of CN113808158A publication Critical patent/CN113808158A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种视频中群体对象运动的分析方法、装置、设备及存储介质,其中,该方法包括:获取视频中一帧待分析图像;在所述视频中为所述待分析图像确定一帧被关联图像;对所述待分析图像的第一对象进行分析,得到群体密度;根据所述群体密度与特定密度阈值之间的大小关系,确定关联方式;采用所述关联方式将所述待分析图像中的第一对象与所述被关联图像中的第二对象进行关联,以分析所述视频中群体对象运动。通过上述方式,能够准确地确定出视频中群体对象的运动情况。

Description

视频中群体对象运动的分析方法、装置、设备及存储介质
技术领域
本申请涉及但不限于视频处理技术,尤其涉及一种视频中群体对象运动的分析方法、装置、设备及存储介质。
背景技术
随着社会生活的丰富,公共区域的人群呈现出数量多、密集程度大的特点,传统的安全方式已经不能满足公共安防的要求,自动化群体人物运动轨迹跟踪技术成为智能安防的发展趋势。所谓群体人物运动是指多个个体人物间进行的具有集体特征的交互运动,这种群体交互运动通常表现出多元性。由于视频中包含人、物丰富的位置关系信息,有助于理解群体人物运动轨迹,因此基于视频的群体人物运动轨迹跟踪的研究逐渐成为热点。
相关技术中,对于群体中的所有人物,为了方便处理,采用固定的帧间关联原则的位置跟踪方法确定人物的运动情况,如此会导致位置跟踪方法在某些群体场景中准确率高,在某些群体场景中准确率不足,即相关技术中的位置跟踪方法确定的人物的运动情况不准确。
发明内容
本申请提供一种视频中群体对象运动的分析方法、装置、设备及存储介质,能够解决相关技术中的位置跟踪方法确定的人物的运动情况不准确的问题。
第一方面,提供一种视频中群体对象运动的分析方法,包括:
获取视频中一帧待分析图像;
在所述视频中为所述待分析图像确定一帧被关联图像;
对所述待分析图像的第一对象进行分析,得到群体密度;
根据所述群体密度与特定密度阈值之间的大小关系,确定关联方式;
采用所述关联方式将所述待分析图像中的第一对象与所述被关联图像中的第二对象进行关联,以分析所述视频中群体对象运动。
本申请实施例中,分析设备能够从视频中确定的群体密度,选择合适的关联方式将待分析图像中的第一对象与被关联图像中的第二对象进行关联,以分析视频中群体对象运动,从而能够使不同的群体场景对应不同的关联方式,进而能够准确地确定出视频中群体对象的运动情况。
结合第一方面,在第一方面的某些实现方式中,所述根据所述群体密度与特定密度阈值之间的大小关系,确定关联方式,包括:
如果所述群体密度大于所述特定密度阈值,确定所述关联方式为第一关联方式;
如果所述群体密度小于或等于所述特定密度阈值,确定所述关联方式为第二关联方式;
其中,所述第一关联方式为:基于所述待分析图像中第一对象的特征参数和所述被关联图像中第二对象的特征参数确定的关联方式,所述特征参数包括位置参数和状态参数;第二关联方式为:基于所述待分析图像中第一对象的位置参数和所述被关联图像中第二对象的位置参数确定的关联方式。
本申请实施例中,如果群体密度大于特定密度阈值,利用位置参数和状态参数确定的关联方式,进行分析视频中群体对象运动,如果群体密度小于或等于特定密度阈值,利用位置参数确定的关联方式,进行分析视频中群体对象运动,从而能够根据不同的群体密度选择不同的关联方式,进而分析得到的视频中群体对象运动时,能够同时达到准确性高和计算量低的技术效果。
结合第一方面,在第一方面的某些实现方式中,采用所述第一关联方式将所述待分析图像中的第一对象与所述被关联图像中的第二对象进行关联,以分析所述视频中群体对象运动,包括:
基于获得的所述待分析图像中第一目标对象的特征参数,和所述被关联图像中N个第二对象中每一第二对象的特征参数,确定所述第一目标对象与所述每一第二对象之间的每一特征相似度;N为大于或等于1的整数;
基于所述每一特征相似度确定每一关联相似度;
如果与所述N个第二对象一一对应的N个关联相似度中的最大关联相似度大于第一阈值,关联所述第一目标对象和与所述最大关联相似度对应的所述N个第二对象中的第二目标对象,以分析所述视频中群体对象运动。
本申请实施例中,提供了一种通过特征相似度确定关联相似度,并基于关联相似度确定与第一目标对象关联的第二目标对象,从而确定的第二目标对象准确,进而得到的视频中群体对象运动的准确度高。
结合第一方面,在第一方面的某些实现方式中,所述方法还包括:基于获得的所述第一目标对象的位置参数和所述每一第二对象的位置参数,确定所述第一目标对象与所述每一第二对象之间的每一位置相似度;
所述基于所述每一特征相似度确定每一关联相似度,包括:基于所述每一位置相似度和所述每一特征相似度,确定所述每一关联相似度。
本申请实施例中,关联相似度是基于每一位置相似度和每一特征相似度,从而确定的关联相似度准确。
结合第一方面,在第一方面的某些实现方式中,所述基于所述每一位置相似度和所述每一特征相似度,确定所述每一关联相似度,包括:
用所述每一位置相似度,除以与所述N个第二对象一一对应的N个位置相似度之和,确定每一位置权值参数;
基于所述每一位置权值参数和所述每一特征相似度,确定所述每一关联相似度。
结合第一方面,在第一方面的某些实现方式中,所述方法还包括:利用以下公式确定所述每一关联相似度:
bmask=-We-f
其中,bmask为所述每一关联相似度;Wnow-j为所述每一位置权值参数;f为所述每一特征相似度。
结合第一方面,在第一方面的某些实现方式中,采用所述第二关联方式将所述待分析图像中的第一对象与所述被关联图像中的第二对象进行关联,以分析所述视频中群体对象运动,包括:
基于获得的所述待分析图像中第一目标对象的位置参数,和所述被关联图像中N个第二对象中每一第二对象的位置参数,确定所述第一目标对象与所述每一第二对象之间的每一位置相似度;N为大于或等于1的整数;
如果与所述N个第二对象一一对应的N个位置相似度中的最大位置相似度大于第二阈值,关联所述第一目标对象和与所述最大位置相似度对应的所述N个第二对象中的第三目标对象,以分析所述视频中群体对象运动。
本申请实施例中,提供了一种通过位置相似度确定与第一目标对象关联的第三目标对象,从而确定的第三目标对象准确,进而得到的视频中群体对象运动的准确度高。
结合第一方面,在第一方面的某些实现方式中,所述对所述待分析图像的第一对象进行分析,得到群体密度,包括:
确定所述待分析图像的第一目标对象与其它M-1个第一对象之间的重叠面积和,得到第一总重叠面积;所述待分析图像包括M个第一对象,所述M个第一对象包括所述第一目标对象,M为大于或等于1的整数;
基于第一总重叠面积,确定所述群体密度。
本申请实施例中,待分析图像的第一目标对象与其它M-1个第一对象之间的重叠面积和,得到第一总重叠面积,通过第一总重叠面积,确定群体密度,第一总重叠面积越大,群体密度越大,从而通过第一总重叠面积确定的群体密度准确。
结合第一方面,在第一方面的某些实现方式中,所述获取视频中一帧待分析图像,包括:
获得待检视频,确定所述待检视频的尺寸;
如果所述待检视频的尺寸与目标尺寸不同,采用图像处理算法将所述待检视频的尺寸确定为所述目标尺寸,得到尺寸为所述目标尺寸的视频。
本申请实施例中,通过将待检视频的尺寸确定为目标尺寸,从而在进行视频中群体对象运动的确定时,能够对不同的视频尺寸采用相同的方法进行和处理,从而提高了视频中群体对象运动的分析方法的适用性。
第二方面,提供一种视频中群体对象运动的分析装置,包括:
获取单元,用于获取视频中一帧待分析图像;
图像确定单元,用于在所述视频中为所述待分析图像确定一帧被关联图像;
分析单元,用于对所述待分析图像的第一对象进行分析,得到群体密度;
关联方式确定单元,用于根据所述群体密度与特定密度阈值之间的大小关系,确定关联方式;
关联单元,用于采用所述关联方式将所述待分析图像中的第一对象与所述被关联图像中的第二对象进行关联,以分析所述视频中群体对象运动。
第三方面,提供一种视频中群体对象运动的分析设备,包括:存储器和处理器,
所述存储器存储有可在处理器上运行的计算机程序,
所述处理器执行所述程序时实现上述方法的步骤。
第四方面,提供一种计算机存储介质,所述计算机存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述方法的步骤。
附图说明
图1为本申请实施例提供的一种视频中群体对象运动的分析方法的实现流程示意图;
图2为本申请实施例提供的另一种视频中群体对象运动的分析方法的实现流程示意图;
图3为本申请实施例提供的又一种视频中群体对象运动的分析方法的实现流程示意图;
图4为本申请实施例提供的一种视频中群体对象运动的分析装置的组成结构示意图;
图5为本申请实施例提供的一种视频中群体对象运动的分析设备的硬件实体示意图。
具体实施方式
下面结合附图和实施例对本申请的技术方案进一步详细阐述。
相关技术中对视频群体人物运动轨迹跟踪的研究,从算法核心的出发点和侧重点出发,可以将其分为基于模型和基于特征两类。基于模型的任务跟踪算法通过先验的群体人物运动模型,模拟群体人物运动轨迹的变化,再使用训练数据对模型参数进行训练,利用调整好的群体人物运动轨迹模型对场景中人物的轨迹动态做出判断。基于特征的人物跟踪算法从视频序列中得到视频帧的兴趣区域,对该视频帧的兴趣区域进行特征描述,使用训练后的特征描述得到群体人物运动轨迹的跟踪结果。
然而,相关技术中的群体人物跟踪方法主要根据单个人物跟踪方法演变而来,但是不同于单个人物,群体人物间通常存在交互行为、具有集体特征,因此在群体人物场景中跟踪准确率不足。
本申请实施例至少可以提高视频中群体人物运动情况的准确度,人物运动情况可以理解为人物运动轨迹。在介绍本申请实施方式之前,先对本申请实施例中分析设备作出解释,本申请实施例中的分析设备可以是服务器、手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理、便捷式媒体播放器、智能音箱、导航装置、显示设备、智能手环等可穿戴设备、虚拟现实(Virtual Reality,VR)设备、增强现实(Augmented Reality,AR)设备、计步器、数字TV或台式计算机等。应理解,本申请实施例中的分析设备可以理解为视频中群体对象运动的分析设备。
下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
需要说明的是:在本申请实例中,“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
另外,本申请实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
图1为本申请实施例提供的一种视频中群体对象运动的分析方法的实现流程示意图,如图1所示,该方法应用于分析设备,该方法包括:
S101、获取视频中一帧待分析图像。
视频可以为待分析视频,待分析图像可以是视频中任一没有分析过的图像。
S102、在视频中为待分析图像确定一帧被关联图像。
在一种实施方式中,为了提高分析准确率,避免漏掉关键对象,分析设备可以对视频中的帧图像依次进行分析,被关联图像可以是待分析图像的下一帧图像。
在另一种实施方式中,为了提高分析效率,可以从视频中的所有帧图像中,进行帧提取从而得到提取的帧图像,待分析图像可以是提取的帧图像中的某一图像,被关联图像可以是提取的帧图像中待分析图像的下一帧图像,进行帧提取的方式有多种,例如,可以每隔预设时长进行一次帧提取,预设时长可以是0.5秒~1分钟,比如,预设时长可以是0.5秒、1秒、5秒或1分钟等,此处不作限制,预设时长可以基于分析精确度和/或分析设备的处理性能确定,分析精确度越高,预设时长越短,分析设备的处理性能越高,预设时长越短;再例如,可以对视频中的每一帧进行分析,依次确定后面的帧图像与待分析图像的相似度,如果相似度小于某一阈值时,确定该帧图像为被关联的帧图像。
S103、对待分析图像的第一对象进行分析,得到群体密度。
在另一种实施方式中,S103可以替换为:对被关联图像的第二对象进行分析,得到群体密度。
在有一种实施方式中,S103可以包括:对待分析图像的第一对象和被关联图像中的第二对象进行分析,得到群体密度。如此,群体密度不仅需要通过对待分析图像的第一对象进行分析得到,还需要通过对被关联图像的第二对象进行分析得到,从而确定的群体密度准确,更符合实际的群体密度。
本申请实施例中的第一对象/第二对象是指人物。在其它实施例中,第一对象/第二对象可以是动物或车辆等能够运动的物体,或者,第一对象/第二对象还可以是人物、动物以及车辆等中的至少两者的结合。
在一种实施方式中,通过对待分析图像中的第一对象进行分析,得到此次关联时的群体密度。例如,通过获取到待分析图像中的所有第一对象的个数,得到群体密度;再例如,通过获取到待分析图像中的所有第一对象所占的面积,得到此次关联时的群体密度;又例如,通过获取到的待分析图像中的一个第一对象与其它对象的总重叠面积,得到此次关联时的群体密度。
在另一种实施方式中,通过对被关联图像的第二对象进行分析,得到此次关联时的群体密度。例如,通过获取到被关联图像中的所有第二对象的个数,得到群体密度;再例如,通过获取到被关联图像中的所有第二对象所占的面积,得到群体密度;又例如,通过获取到的被关联图像中的一个第二对象与其它对象的总重叠面积,得到群体密度。
在又一种实施方式中,通过对待分析图像第一对象和被关联图像中的第二对象进行分析,得到此次关联时的群体密度。例如,通过获取到待分析图像中的所有第一对象的个数,得到第一群体密度,通过获取到被关联图像中的所有第二对象的个数,得到第二群体密度,确定第一群体密度和第二群体密度中的较大一者、较小一者或平均密度为群体密度;再例如,通过获取到待分析图像中的所有第一对象所占的面积,得到第一群体密度,通过获取到被关联图像中的所有第二对象所占的面积,得到第二群体密度,确定第一群体密度和第二群体密度中的较大一者、较小一者或平均密度为群体密度;又例如,通过获取到的待分析图像中的一个第一对象与其它对象的总重叠面积,得到第一群体密度,通过获取到的被关联图像中的一个第二对象与其它对象的总重叠面积,得到第二群体密度,确定第一群体密度和第二群体密度中的较大一者、较小一者或平均密度为群体密度。
能够理解的,群体密度的确定方式不限于以上列举的情况,其它能够通过待分析图像中的第一对象,得到本轮/此次关联时的群体密度的方法都应该在本申请的保护范围之内。
S104、根据群体密度与特定密度阈值之间的大小关系,确定关联方式。
在本申请实施方式中,如果群体密度大于特定密度阈值,确定关联方式为第一关联方式,如果群体密度小于或等于特定密度阈值,确定关联方式为第二关联方式,在其他实施方式中,特定密度阈值可以包括至少两个,例如,特定密度阈值可以包括第一特定密度阈值和第二特定密度阈值,如果群体密度小于或等于第一特定密度阈值,确定关联方式为第三关联方式,如果群体密度大于第一特定密度阈值且小于或等于第二特定密度阈值,确定关联方式为第四关联方式,如果群体密度大于第二特定密度阈值,确定关联方式为第五关联方式。
群体密度越小,所采用的关联方式越简单,对应关联方式所需要的第一对象/第二对象的信息就越少,例如,如果群体密度较小,可以利用待分析图像中一个第一对象的位置参数和被关联图像中一个第二对象的位置参数,通过计算两个对象的位置参数的相似度来确定这两个对象是否关联,再例如,如果群体密度较大,可以利用待分析图像中一个第一对象的特征参数和被关联图像中一个第二对象的特征参数,通过计算两个对象的特征参数的相似度来确定这两个对象是否关联,特征参数可以包括位置参数和状态参数,在一种实施方式中,状态参数可以包括运动参数、动作参数、服饰参数以及面部参数等中的至少一者。在一种实施方式中,所需的关联信息越准确和/或群体密度越大,特征参数包括的信息越多。本申请实施例中,状态参数为动作参数。
其中,在通过位置参数确定关联情况时,可以基于得到的位置相似度是否大于某一阈值来确定是否有关联,如果大于,则表明有关联,反之则没有关联;在通过特征参数确定关联关系时,可以基于得到的特征相似度是否大于某一阈值来确定是否有关联,如果大于,则表明有关联,反之则没有关联。
S105、采用关联方式将待分析图像中的第一对象与被关联图像中的第二对象进行关联,以分析视频中群体对象运动。
采用关联方式在确定待分析图像中的一个第一对象与被关联图像中的某一个第二对象是否关联后,可以继续采用该关联方式确定待分析图像中的其它第一对象能否和被关联图像中的第二对象是否关联后,直到确定完待分析图像中所有的第一对象与被关联图像中的第二对象是否有关联,并记录待分析图像中每一个第一对象的关联情况。
接着进入下一轮的帧间关联确定,在这一轮中,将被关联图像作为新的待分析图像,并为新的待分析图像确定一帧被关联图像,从而确定新的待分析图像中的每一第一对象与重新确定的被关联图像中的第二对象是否有关联,并记录新的待分析图像中每一个第一对象的关联情况。
如此,分析设备可以得到每一轮中待分析图像中每一个对象的关联情况,从而得到了视频中全部的对象的关联情况,因此可以基于全部的视频中群体对象运动的分析情况分析群体对象运动,群体对象运动可以理解为群体对象的位置变化和/或动作变化,进而实现了对群体中每一个对象的追踪。
在本申请实施例中,分析设备能够从视频中确定的群体密度,选择合适的关联方式将待分析图像中的第一对象与被关联图像中的第二对象进行关联,以分析视频中群体对象运动,从而能够使不同的群体场景对应不同的关联方式,进而能够准确地确定出视频中群体对象的运动情况。
为了说明如何根据群体密度确定关联方式,图2为本申请实施例提供的另一种视频中群体对象运动的分析方法的实现流程示意图,如图2所示,该方法应用于分析设备,该方法包括:
S201、获取视频中一帧待分析图像。
在一种实施方式中,S201可以通过以下步骤A1~A2的方式实现:
步骤A1、获得待检视频,确定待检视频的尺寸。
步骤A2、如果待检视频的尺寸与目标尺寸不同,采用图像处理算法将待检视频的尺寸确定为目标尺寸,得到尺寸为目标尺寸的视频。
例如,分析设备可以预先设置标准视频帧尺寸大小为视频帧高度H和视频帧宽度W,如果待检视频的尺寸与标准视频尺寸不一致,采用双线性内插值算法等方法将待检视频的尺寸统一至标准视频帧尺寸大小。目标尺寸可以为标准视频帧尺寸。
分析设备在确定到待检视频的尺寸与目标尺寸相同的情况下,直接将待检视频作本申请实施例中描述的视频。通过上述步骤A1~A2,分析设备可以得到尺寸为目标尺寸的视频。
S202、在视频中为待分析图像确定一帧被关联图像。
S203、对待分析图像的第一对象进行分析,得到群体密度。
应理解,群体密度为当前的待分待析图像和被关联图像在关联时所对应的群体密度,群体密度可以与待分析图像中的第一对象的密度对应,或者可以与被关联图像中的第二对象的密度对应,或者可以与待分析图像中第一对象的密度和与被关联图像中的第二对象的密度,这两者之间的较大密度、较小密度或平均密度等对应。群体密度可以是待分待析图像或被关联图像中一个对象的密度,或者可以是待分待析图像或被关联图像中至少两个对象或全部对象的密度。
在一种实施方式中,群体密度可以通过以下方式得到:
确定待分析图像的第一目标对象与其它M-1个第一对象之间的重叠面积和,得到第一总重叠面积;待分析图像包括M个第一对象,M个第一对象包括第一目标对象,M为大于或等于1的整数;基于第一总重叠面积确定群体密度。
在一种可行实施方式中,分析设备可以直接将第一总重叠面积直接确定为群体密度。在另一种可行的实施方式中,分析设备可以将第一总重叠面积通过某种数学计算来得到群体密度,此处不作限制。
在另一种实施方式中,群体密度还可以通过以下方式得到:
确定被关联图像的第四目标对象与其它N-1个第二对象之间的重叠面积和,得到第二总重叠面积;被关联图像包括N个第二对象,N个第二对象包括第二目标对象,N为大于或等于1的整数;基于第二总重叠面积,确定群体密度。
在一种可行实施方式中,分析设备可以直接将第二总重叠面积直接确定为群体密度。在另一种可行的实施方式中,分析设备可以将第二总重叠面积通过某种数学计算来得到群体密度,此处不作限制。
在一种实施方式中,群体密度又可以通过以下步骤B1~B3的方式得到:
步骤B1、确定待分析图像的第一目标对象与其它M-1个第一对象之间的重叠面积和,得到第一总重叠面积;待分析图像包括M个第一对象,M个第一对象包括第一目标对象,M为大于或等于1的整数。
步骤B2、确定被关联图像的第四目标对象与其它N-1个第二对象之间的重叠面积和,得到第二总重叠面积;被关联图像包括N个第二对象,N个第二对象包括第二目标对象,N为大于或等于1的整数。
步骤B3、基于第一总重叠面积和第二总重叠面积,确定群体密度。
在一种实施方式中,分析设备可以基于第一总重叠面积和第二总重叠面积中的较大一者、较小一者或者平均总重叠面积,确定群体密度。
在一种可行实施方式中,分析设备可以直接将较大一者、较小一者或者平均总重叠面积,直接确定为群体密度。在另一种可行的实施方式中,分析设备可以将较大一者、较小一者或者平均总重叠面积,通过某种数学计算来得到群体密度,此处不作限制。
S204、如果群体密度大于特定密度阈值,确定关联方式为第一关联方式。
其中,第一关联方式为:基于待分析图像中第一对象的特征参数和被关联图像中第二对象的特征参数确定的关联方式,特征参数包括位置参数和状态参数。在一种实施方式中,分析设备可以基于两个特征参数的特征相似度来确定两个对象是否关联的第一关联方式。
S205、采用第一关联方式将待分析图像中的第一对象与被关联图像中的第二对象进行关联,以分析视频中群体对象运动。
在一种实施方式中,S205可以通过以下步骤C1~C3的方式来实现:
步骤C1、基于获得的待分析图像中第一目标对象的特征参数,和被关联图像中N个第二对象中每一第二对象的特征参数,确定第一目标对象与每一第二对象之间的每一特征相似度;N为大于或等于1的整数。
步骤C2、基于每一特征相似度确定每一关联相似度。
在步骤C2中,可以将每一特征相似度确定为第一关联相似度。
步骤C3、如果与N个第二对象一一对应的N个关联相似度中的最大关联相似度大于第一阈值,关联第一目标对象和与最大关联相似度对应的N个第二对象中的第二目标对象,以分析视频中群体对象运动。
通过步骤C1~C3,在确定关联相似度时,能够基于第一对象和第二对象的包括位置参数和状态参数的特征参数来确定,使得关联相似度能够基于对象较多的特征来体现,提高了确定的关联的准确度。
在另一种实施方式中,S205可以通过以下步骤D1~D4的方式来实现:
步骤D1、基于获得的待分析图像中第一目标对象的特征参数,和被关联图像中N个第二对象中每一第二对象的特征参数,确定第一目标对象与每一第二对象之间的每一特征相似度;N为大于或等于1的整数。
步骤D2、基于获得的第一目标对象的位置参数和每一第二对象的位置参数,确定第一目标对象与每一第二对象之间的每一位置相似度。
本申请实施例不限定步骤D1和D2的先后顺序。
步骤D3、基于每一位置相似度和每一特征相似度,确定每一关联相似度。
分析设备可以对每一位置相似度和每一特征相似度采用数学计算方法得到每一关联相似度,其中,数学计算方法可以包括相加和/或相乘等。
在一种实施方式中,步骤D3可以通过以下步骤D31~D32的方式实现:
步骤D31、用每一位置相似度,除以与N个第二对象一一对应的N个位置相似度之和,确定每一位置权值参数。
步骤D32、基于每一位置权值参数和每一特征相似度,确定每一关联相似度。
在步骤D32中,分析设备可以利用公式(1)确定每一关联相似度:
bmask=-We-f (1);
其中,bmask为每一关联相似度;W为每一位置权值参数;f为每一特征相似度。
步骤D4、如果与N个第二对象一一对应的N个关联相似度中的最大关联相似度大于第一阈值,关联第一目标对象和与最大关联相似度对应的N个第二对象中的第二目标对象,以分析视频中群体对象运动。
通过步骤D1~D4,能够基于第一对象和第二对象的包括位置参数确定位置权值参数,根据位置权值参数和状态参数来确定关联相似度,使得关联相似度能够基于位置权值参数和状态参数来体现,提高了确定的关联的准确度。
S206、如果群体密度小于或等于特定密度阈值,确定关联方式为第二关联方式。
其中,第二关联方式为:基于待分析图像中第一对象的位置参数和被关联图像中第二对象的位置参数确定的关联方式。在一种实施方式中,分析设备可以基于两个位置参数的位置相似度来确定两个对象是否关联的第二关联方式。
S207、采用第二关联方式将待分析图像中的第一对象与被关联图像中的第二对象进行关联,以分析视频中群体对象运动。
在一种实施方式中,S207可以通过以下步骤E1~E2的方式来实现:
步骤E1、基于获得的待分析图像中第一目标对象的位置参数,和被关联图像中N个第二对象中每一第二对象的位置参数,确定第一目标对象与每一第二对象之间的每一位置相似度;N为大于或等于1的整数。
步骤E2、如果与N个第二对象一一对应的N个位置相似度中的最大位置相似度大于第二阈值,关联第一目标对象和与最大位置相似度对应的N个第二对象中的第三目标对象,以分析视频中群体对象运动。
本申请实施例中,可以通过计算两个对象的位置参数之间的欧氏距离来确定两个对象之间的位置相似度,可以通过计算两个对象的特征参数之间的欧氏距离来确定两个对象之间的特征相似度。在其它实施例中,可以通过计算其它距离来确定位置相似度或特征相似度,例如曼哈顿距离、切比雪夫距离、闵可夫斯基距离、标准化欧氏距离、马氏距离、夹角余弦、汉明距离或杰卡德距离&杰卡德相似系数等确定。
在本申请实施例中,分析设备将待检视频的尺寸统一为尺寸是目标尺寸的视频,使待检视频容易被分析设备所分析;如果群体密度大于特定密度阈值,确定关联方式为第一关联方式;如果群体密度小于或等于特定密度阈值,确定关联方式为第二关联方式,从而不同的群体密度采用不同的关联方式,从而分析设备能够兼顾到帧图像在关联时的关联复杂度和关联准确度;通过基于第一总重叠面积和/或第二总重叠面积,确定群体密度的方式,确定群体密度的方法准确。
为了说明本申请实施例中视频中群体对象运动的分析方法的使用场景,图3为本申请实施例提供的又一种视频中群体对象运动的分析方法的实现流程示意图,如图3所示,该方法应用于分析设备,该方法包括:
S301、获得待检视频,将待检视频的尺寸统一至目标尺寸。
S302、逐帧检测群体人物的位置信息和状态信息。
分析设备可以使用Mask-RCNN网络对每一帧视频帧进行人物检测,获得第t帧视频帧检测到的人物集合
Figure BDA0002540110750000151
第t帧视频帧第i个人物
Figure BDA0002540110750000152
的位置信息为
Figure BDA0002540110750000153
特征掩码为
Figure BDA0002540110750000154
为包括特征参数的向量。设置第t帧视频帧第i个人物的关联状态参数match=0、标记状态参数mark=0、子群状态参数group=0,Mask-RCNN网络是一种有效的人物检测算法,i是第t帧视频帧的人物编号,按照位置信息递增排序,nt是第t帧视频帧检测到的人物数量,关联状态参数match∈{0,1},子群状态参数group∈{0,1}。值得注意的是,本申请实施例中的特征掩码可以理解为特征参数或包括特征参数的特征向量。
其中,match=0表征第i个人物与下一帧图像中的人物无关联,match=1表征第i个人物与下一帧图像中的人物有关联。group=0表征当前帧的群体密度为低密度子群,group=1表征当前帧的群体密度为高密度子群。
S303、确定每一个对象对应的子群密度。
在本申请实施例中,对象包括人物,或者,对象为人物。
对每一帧视频帧进行群体密度评估,设置第t帧视频帧第i个人物
Figure BDA0002540110750000155
与某一相邻人物
Figure BDA0002540110750000156
的重叠面积
Figure BDA0002540110750000157
计算
Figure BDA0002540110750000158
与所有相邻人物的总重叠面积
Figure BDA0002540110750000159
如果areai≤areamax,认定
Figure BDA00025401107500001510
属于低密度子群,如果areai>areamax,认定
Figure BDA00025401107500001511
属于高密度子群,设置
Figure BDA00025401107500001512
对应的子群状态参数group=1,areamax是群体密度阈值,群体密度阈值可以是上述的特定密度阈值。
S304、初始化群体人物运动线索,使逐帧进行人物匹配。
设置视频中出现的群体人物数量为N,初始化N=n1,赋值第一帧视频帧所有人物的标记状态参数,mark为对应的人物编号,其中n1为第一帧视频帧检测到的人物数量,从第一帧视频帧开始逐帧进行人物关联,直到遍历整个视频完成群体人物运动轨迹跟踪。
S305、是否存在新增人物,若是,跳至步骤S306;若否,跳至步骤S307。
S306、添加视频群体人物信息,跳至S307。
依次检测第t帧视频帧所有人物的标记状态参数mark,如果存在人物对应的标记状态参数mark=0,认定该人物为新增人物,修改N=N+1,该人物的标记状态参数mark=N。
S307、选定当前追踪人物。
设置第t帧视频帧中匹配状态参数match=0的人物集合为Pnon-match,设置第t+1帧视频帧mark=0的人物集合为Pnon-mark,选取Pnon-match中人物编号最小的人物作为当前追踪人物,记为
Figure BDA0002540110750000161
的位置信息、特征掩码、子群状态分别为
Figure BDA0002540110750000162
Figure BDA0002540110750000163
group,遍历Pnon-match完成人物关联。
S308、是否属于高密度子群。
是否属于高密度子群可以包括:确定当前追踪人物对应的子群密度是否为高密度子群。如果是,跳至S309,如果否,跳至S310。
如果
Figure BDA0002540110750000164
的子群状态group=0转入流程S310,如果
Figure BDA0002540110750000165
的子群状态group=1转入流程S309;
S309、采用第一关联方式确定当前追踪人物的关联关系。
当group=1时,认定当前追踪人物
Figure BDA0002540110750000166
属于高密度子群,采用第一关联方式确定当前追踪人物的关联关系。S309的一种实现方式为:获取当前追踪人物
Figure BDA0002540110750000167
Figure BDA0002540110750000168
的位置相似度diffnow-j,计算当前追踪人物
Figure BDA0002540110750000169
Figure BDA00025401107500001610
的位置权值参数
Figure BDA00025401107500001611
计算当前追踪人物
Figure BDA00025401107500001612
Figure BDA00025401107500001613
的位置掩码相似度bmasknow-j,计算公式为:
Figure BDA00025401107500001614
其中
Figure BDA00025401107500001615
是当前追踪人物
Figure BDA0002540110750000171
与Pnon-mark中所有人物位置差异度之和,
Figure BDA0002540110750000172
Figure BDA0002540110750000173
的特征掩码。
S310、采用第二关联方式确定当前追踪人物的关联关系。
当group=0时,认定当前追踪人物
Figure BDA0002540110750000174
属于低密度子群,采用第二关联方式确定当前追踪人物的关联关系。S3010的一种实现方式为:设置
Figure BDA0002540110750000175
为Pnon-mark中的人物,计算当前追踪人物
Figure BDA0002540110750000176
Figure BDA0002540110750000177
的位置相似度
Figure BDA0002540110750000178
其中
Figure BDA0002540110750000179
Figure BDA00025401107500001710
的位置信息。
其中,计算当前追踪人物
Figure BDA00025401107500001711
与Pnon-mark中所有人物的关联相似度linknow-j,计算公式如公式(2)所示:
Figure BDA00025401107500001712
S311、根据当前追踪人物的关联关系更新当前人物运动轨迹。
判断当前追踪人物
Figure BDA00025401107500001713
与Pnon-mark中所有人物的关联关系,如果Linknow中存在当前追踪人物
Figure BDA00025401107500001714
Figure BDA00025401107500001715
的关联相似度linknow-track≥linkmin,且linknow-track在Linknow中最大,则认定当前追踪人物
Figure BDA00025401107500001716
Figure BDA00025401107500001717
关联成功,更新
Figure BDA00025401107500001718
的关联状态参数match=1,更新
Figure BDA00025401107500001719
的标记状态参数mark为当前追踪人物
Figure BDA00025401107500001720
的标记状态参数取值,更新
Figure BDA00025401107500001721
在第t帧视频帧至第t+1帧视频帧的运动轨迹为
Figure BDA00025401107500001722
如果Linknow中的取值均小于linkmin,则认定当前追踪人物Pnow在第t+1帧视频帧追踪失败,更新
Figure BDA00025401107500001723
的关联状态参数match=1,更新
Figure BDA00025401107500001724
第t帧视频帧至第t+1帧视频帧的运动轨迹为
Figure BDA00025401107500001725
其中Linknow
Figure BDA00025401107500001726
与Pnon-mark的关联相似度集合,linkmin是最小关联相似度阈值。
S312是否遍历当前视频帧;如果是,跳至S313,如果否,跳至S307。
S313、是否遍历视频序列;如果是,跳至S314,如果否,跳至S305。
S314、更新视频中群体人物运动轨迹。
确定视频序列内标记状态参数mark取值相同的人物为同一人物,更新整理视频群体人物运动轨迹,视频群体人物运动轨迹跟踪结束。
本申请实施例针对视频群体人物场景,通过对运动轨迹跟踪流程的梳理,将视频群体人物运动轨迹跟踪分解为群体检测、人物关联和人物追踪三个阶段。在群体检测阶段,首先检测出视频中出现的所有人物,获取包含每个人物的位置信息和状态信息的高维特征图,将高维特征图转化为便于计算的特征掩码,计算人物间的重叠面积评估群体密度,根据群体密度阈值将群体分为低密度子群和高密度子群。在人物关联阶段,低密度子群干扰因素少,采用位置特征关联原则获取高效的群体关联结果;高密度子群由于人群运动杂乱,采用位置掩码特征关联原则提高关联的准确率。在人物追踪阶段,逐帧计算当前追踪人物与相邻视频帧中人物的关联相似度,确定当前追踪人物的帧间动态,更新当前追踪人物的运动线索,并遍历视频序列完成视频群体中所有人物的运动轨迹跟踪。
每个特征掩码可以是包括每个人物的位置信息和状态信息特征向量,特征向量的维度可以根据实际情况作出选择。其中,人物的位置信息可以是检测到的人物的中心位置在帧图像中的位置信息,或者,可以是检测到的人物的特征位置在帧图像中的位置信息,特征位置包括至少一个位置,例如,头部位置、眼部位置或者手部位置等。获取位置信息和状态信息的方式此处不作赘述。位置信息可以对应上述的位置参数,状态信息可以对应上述的状态参数。
在申请实施例中,由于人物位置相近、动作相似,单纯使用位置特征或者动作特征进行帧间人物关联极易造成错误,因此针对高密度群体,为高密度子群构建特征关联权值参数,减少错误的人物关联给追踪结果造成的影响;考虑到群体人物运动多元化和随机性的特点,对人物群体进行子群划分,构建一种自适应的帧间人物关联原则,根据子群密度选择适合的关联特征进行人物跟踪,提高群体人物跟踪的鲁棒性;构建特征掩码人物描述体系,为了能够更好的区分不同的人物,通常采用高维的特征图描述人物的位置、动作等信息,将繁复的特征图转化为便于处理的特征掩码进行人物检测,保留语义描述能力的同时大大降低了计算成本。
基于前述的实施例,本申请实施例提供一种视频中群体对象运动的分析装置,该装置包括所包括的各单元、以及各单元所包括的各模块,可以通过分析设备(例如计算机设备)中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图4为本申请实施例提供的一种视频中群体对象运动的分析装置的组成结构示意图,如图4所示,视频中群体对象运动的分析装置400包括:
获取单元401,用于获取视频中一帧待分析图像;
图像确定单元402,用于在视频中为待分析图像确定一帧被关联图像;
分析单元403,用于对待分析图像的第一对象进行分析,得到群体密度;
关联方式确定单元404,用于根据群体密度与特定密度阈值之间的大小关系,确定关联方式;
关联单元405,用于采用关联方式将待分析图像中的第一对象与被关联图像中的第二对象进行关联,以分析视频中群体对象运动。
在本申请的其它实施例中,关联方式确定单元404,还用于如果群体密度大于特定密度阈值,确定关联方式为第一关联方式;
如果群体密度小于或等于特定密度阈值,确定关联方式为第二关联方式;
其中,第一关联方式为:基于待分析图像中第一对象的特征参数和被关联图像中第二对象的特征参数确定的关联方式,特征参数包括位置参数和状态参数;第二关联方式为:基于待分析图像中第一对象的位置参数和被关联图像中第二对象的位置参数确定的关联方式。
在本申请的其它实施例中,关联单元405,还用于基于获得的待分析图像中第一目标对象的特征参数,和被关联图像中N个第二对象中每一第二对象的特征参数,确定第一目标对象与每一第二对象之间的每一特征相似度;N为大于或等于1的整数;基于每一特征相似度确定每一关联相似度;如果与N个第二对象一一对应的N个关联相似度中的最大关联相似度大于第一阈值,关联第一目标对象和与最大关联相似度对应的N个第二对象中的第二目标对象,以分析视频中群体对象运动。
在本申请的其它实施例中,关联单元405,还用于基于获得的第一目标对象的位置参数和每一第二对象的位置参数,确定第一目标对象与每一第二对象之间的每一位置相似度;基于每一位置相似度和每一特征相似度,确定每一关联相似度。
在本申请的其它实施例中,关联单元405,还用于用每一位置相似度,除以与N个第二对象一一对应的N个位置相似度之和,确定每一位置权值参数;基于每一位置权值参数和每一特征相似度,确定每一关联相似度。
在本申请的其它实施例中,关联单元405,还用于利用以下公式确定每一关联相似度:
bmask=-We-f
其中,bmask为每一关联相似度;Wnow-j为每一位置权值参数;f为每一特征相似度。
在本申请的其它实施例中,关联单元405,还用于基于获得的待分析图像中第一目标对象的位置参数,和被关联图像中N个第二对象中每一第二对象的位置参数,确定第一目标对象与每一第二对象之间的每一位置相似度;N为大于或等于1的整数;如果与N个第二对象一一对应的N个位置相似度中的最大位置相似度大于第二阈值,关联第一目标对象和与最大位置相似度对应的N个第二对象中的第三目标对象,以分析视频中群体对象运动。
在本申请的其它实施例中,分析单元403,还用于确定待分析图像的第一目标对象与其它M-1个第一对象之间的重叠面积和,得到第一总重叠面积;待分析图像包括M个第一对象,M个第一对象包括第一目标对象,M为大于或等于1的整数;基于第一总重叠面积,确定群体密度。
在本申请的其它实施例中,获取单元401,还用于获得待检视频,确定待检视频的尺寸;
如果待检视频的尺寸与目标尺寸不同,采用图像处理算法将待检视频的尺寸确定为目标尺寸,得到尺寸为目标尺寸的视频。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的视频中群体对象运动的分析方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台分析设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现如上任一实施例的视频中群体对象运动的分析方法的步骤。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,图5为本申请实施例提供的一种视频中群体对象运动的分析设备的硬件实体示意图,如图5所示,该分析设备500的硬件实体包括:处理器501和存储器502,其中,存储器502存储有可在处理器501上运行的计算机程序,处理器501执行程序时实现上述任一实施例的方法中的步骤。
存储器502存储有可在处理器上运行的计算机程序,存储器502配置为存储由处理器501可执行的指令和应用,还可以缓存待处理器501以及分析设备500中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random Access Memory,RAM)实现。
处理器501执行程序时实现上述任一项的视频中群体对象运动的分析方法的步骤。处理器501通常控制分析设备500的总体操作。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
应理解,说明书通篇中提到的“本申请实施例”或“前述实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“本申请实施例中”或“在前述实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中应。在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在未做特殊说明的情况下,分析设备执行本申请实施例中的任一步骤,可以是分析设备的处理器执行该步骤。除非特殊说明,本申请实施例并不限定分析设备执行下述步骤的先后顺序。另外,不同实施例中对数据进行处理所采用的方式可以是相同的方法或不同的方法。还需说明的是,本申请实施例中的任一步骤是分析设备可以独立执行的,即分析设备执行下述实施例中的任一步骤时,可以不依赖于其它步骤的执行。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请中,不同实施例中相同步骤和相同内容的说明,可以互相参照。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种视频中群体对象运动的分析方法,其特征在于,包括:
获取视频中一帧待分析图像;
在所述视频中为所述待分析图像确定一帧被关联图像;
对所述待分析图像的第一对象进行分析,得到群体密度;
根据所述群体密度与特定密度阈值之间的大小关系,确定关联方式;
采用所述关联方式将所述待分析图像中的第一对象与所述被关联图像中的第二对象进行关联,以分析所述视频中群体对象运动。
2.根据权利要求1所述的方法,其特征在于,所述根据所述群体密度与特定密度阈值之间的大小关系,确定关联方式,包括:
如果所述群体密度大于所述特定密度阈值,确定所述关联方式为第一关联方式;
如果所述群体密度小于或等于所述特定密度阈值,确定所述关联方式为第二关联方式;
其中,所述第一关联方式为:基于所述待分析图像中第一对象的特征参数和所述被关联图像中第二对象的特征参数确定的关联方式,所述特征参数包括位置参数和状态参数;第二关联方式为:基于所述待分析图像中第一对象的位置参数和所述被关联图像中第二对象的位置参数确定的关联方式。
3.根据权利要求2所述的方法,其特征在于,采用所述第一关联方式将所述待分析图像中的第一对象与所述被关联图像中的第二对象进行关联,以分析所述视频中群体对象运动,包括:
基于获得的所述待分析图像中第一目标对象的特征参数,和所述被关联图像中N个第二对象中每一第二对象的特征参数,确定所述第一目标对象与所述每一第二对象之间的每一特征相似度;N为大于或等于1的整数;
基于所述每一特征相似度确定每一关联相似度;
如果与所述N个第二对象一一对应的N个关联相似度中的最大关联相似度大于第一阈值,关联所述第一目标对象和与所述最大关联相似度对应的所述N个第二对象中的第二目标对象,以分析所述视频中群体对象运动。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:基于获得的所述第一目标对象的位置参数和所述每一第二对象的位置参数,确定所述第一目标对象与所述每一第二对象之间的每一位置相似度;
所述基于所述每一特征相似度确定每一关联相似度,包括:基于所述每一位置相似度和所述每一特征相似度,确定所述每一关联相似度。
5.根据权利要求4所述的方法,其特征在于,所述基于所述每一位置相似度和所述每一特征相似度,确定所述每一关联相似度,包括:
用所述每一位置相似度,除以与所述N个第二对象一一对应的N个位置相似度之和,确定每一位置权值参数;
基于所述每一位置权值参数和所述每一特征相似度,确定所述每一关联相似度。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:利用以下公式确定所述每一关联相似度:
bmask=-We-f
其中,bmask为所述每一关联相似度;W为所述每一位置权值参数;f为所述每一特征相似度。
7.根据权利要求2所述的方法,其特征在于,采用所述第二关联方式将所述待分析图像中的第一对象与所述被关联图像中的第二对象进行关联,以分析所述视频中群体对象运动,包括:
基于获得的所述待分析图像中第一目标对象的位置参数,和所述被关联图像中N个第二对象中每一第二对象的位置参数,确定所述第一目标对象与所述每一第二对象之间的每一位置相似度;N为大于或等于1的整数;
如果与所述N个第二对象一一对应的N个位置相似度中的最大位置相似度大于第二阈值,关联所述第一目标对象和与所述最大位置相似度对应的所述N个第二对象中的第三目标对象,以分析所述视频中群体对象运动。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述对所述待分析图像的第一对象进行分析,得到群体密度,包括:
确定所述待分析图像的第一目标对象与其它M-1个第一对象之间的重叠面积和,得到第一总重叠面积;所述待分析图像包括M个第一对象,所述M个第一对象包括所述第一目标对象,M为大于或等于1的整数;
基于第一总重叠面积,确定所述群体密度。
9.根据权利要求1至7任一项所述的方法,其特征在于,所述获取视频中一帧待分析图像,包括:
获得待检视频,确定所述待检视频的尺寸;
如果所述待检视频的尺寸与目标尺寸不同,采用图像处理算法将所述待检视频的尺寸确定为所述目标尺寸,得到尺寸为所述目标尺寸的视频。
10.一种视频中群体对象运动的分析装置,其特征在于,包括:
获取单元,用于获取视频中一帧待分析图像;
图像确定单元,用于在所述视频中为所述待分析图像确定一帧被关联图像;
分析单元,用于对所述待分析图像的第一对象进行分析,得到群体密度;
关联方式确定单元,用于根据所述群体密度与特定密度阈值之间的大小关系,确定关联方式;
关联单元,用于采用所述关联方式将所述待分析图像中的第一对象与所述被关联图像中的第二对象进行关联,以分析所述视频中群体对象运动。
11.一种视频中群体对象运动的分析设备,其特征在于,包括:存储器和处理器,
所述存储器存储有可在处理器上运行的计算机程序,
所述处理器执行所述程序时实现权利要求1至9任一项所述方法中的步骤。
12.一种计算机存储介质,其特征在于,所述计算机存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1至9任一项所述方法中的步骤。
CN202010544550.5A 2020-06-15 2020-06-15 视频中群体对象运动的分析方法、装置、设备及存储介质 Pending CN113808158A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010544550.5A CN113808158A (zh) 2020-06-15 2020-06-15 视频中群体对象运动的分析方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010544550.5A CN113808158A (zh) 2020-06-15 2020-06-15 视频中群体对象运动的分析方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113808158A true CN113808158A (zh) 2021-12-17

Family

ID=78944385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010544550.5A Pending CN113808158A (zh) 2020-06-15 2020-06-15 视频中群体对象运动的分析方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113808158A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130016877A1 (en) * 2011-07-15 2013-01-17 International Business Machines Corporation Multi-view object detection using appearance model transfer from similar scenes
US20170061229A1 (en) * 2015-09-01 2017-03-02 Sony Corporation Method and system for object tracking
CN109035299A (zh) * 2018-06-11 2018-12-18 平安科技(深圳)有限公司 目标跟踪方法、装置、计算机设备及存储介质
WO2018227491A1 (zh) * 2017-06-15 2018-12-20 深圳大学 视频多目标模糊数据关联方法及装置
CN111105443A (zh) * 2019-12-26 2020-05-05 南京邮电大学 一种基于特征关联的视频群体人物运动轨迹跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130016877A1 (en) * 2011-07-15 2013-01-17 International Business Machines Corporation Multi-view object detection using appearance model transfer from similar scenes
US20170061229A1 (en) * 2015-09-01 2017-03-02 Sony Corporation Method and system for object tracking
WO2018227491A1 (zh) * 2017-06-15 2018-12-20 深圳大学 视频多目标模糊数据关联方法及装置
CN109035299A (zh) * 2018-06-11 2018-12-18 平安科技(深圳)有限公司 目标跟踪方法、装置、计算机设备及存储介质
CN111105443A (zh) * 2019-12-26 2020-05-05 南京邮电大学 一种基于特征关联的视频群体人物运动轨迹跟踪方法

Similar Documents

Publication Publication Date Title
CN109522843B (zh) 一种多目标跟踪方法及装置、设备和存储介质
US6944315B1 (en) Method and apparatus for performing scale-invariant gesture recognition
CN111444828A (zh) 一种模型训练的方法、目标检测的方法、装置及存储介质
CN110705478A (zh) 人脸跟踪方法、装置、设备及存储介质
CN114651284A (zh) 轻量级多分支和多尺度人员重识别
CN111209897B (zh) 视频处理的方法、装置和存储介质
WO2010005251A9 (ko) 복수 객체 추적 방법과 장치 및 저장매체
CN107545256B (zh) 一种结合时空和网络一致性的摄像机网络行人重识别方法
CN111488773A (zh) 一种动作识别方法、装置、设备及存储介质
CN111104930B (zh) 视频处理方法、装置、电子设备及存储介质
CN113822254B (zh) 一种模型训练方法及相关装置
CN112107866A (zh) 用户行为数据处理方法、装置、设备及存储介质
CN113515998B (zh) 一种视频数据处理方法、设备以及可读存储介质
WO2021242445A1 (en) Tracking multiple objects in a video stream using occlusion-aware single-object tracking
CN112818995B (zh) 图像分类方法、装置、电子设备及存储介质
CN112991555B (zh) 数据展示方法、装置、设备以及存储介质
CN111105443A (zh) 一种基于特征关联的视频群体人物运动轨迹跟踪方法
CN108961314B (zh) 运动图像生成方法、装置、电子设备及计算机可读存储介质
CN111401192A (zh) 基于人工智能的模型训练方法和相关装置
CN115061577B (zh) 手部投影交互方法、系统及存储介质
CN111553838A (zh) 模型参数的更新方法、装置、设备及存储介质
CN112132030A (zh) 视频处理方法及装置、存储介质及电子设备
CN114937285B (zh) 动态手势识别方法、装置、设备及存储介质
CN111126515A (zh) 基于人工智能的模型训练方法和相关装置
CN111444928A (zh) 关键点检测的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211217