CN114037923A - 一种目标活动热点图绘制方法、系统、设备及存储介质 - Google Patents

一种目标活动热点图绘制方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN114037923A
CN114037923A CN202111204518.3A CN202111204518A CN114037923A CN 114037923 A CN114037923 A CN 114037923A CN 202111204518 A CN202111204518 A CN 202111204518A CN 114037923 A CN114037923 A CN 114037923A
Authority
CN
China
Prior art keywords
target
monitoring
activity
tracking result
target tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111204518.3A
Other languages
English (en)
Inventor
杨勰
马贤忠
姚成祥
项伟
孙太一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Lota Information Technology Co ltd
Original Assignee
Shanghai Lota Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Lota Information Technology Co ltd filed Critical Shanghai Lota Information Technology Co ltd
Priority to CN202111204518.3A priority Critical patent/CN114037923A/zh
Publication of CN114037923A publication Critical patent/CN114037923A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Fuzzy Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种目标活动热点图绘制方法、系统、设备及存储介质。本申请实施例提供的技术方案，通过获取各个摄像头拍摄监控区域的视频图像，摄像头对应监控区域的不同拍摄视角进行拍摄；基于各个视频图像进行监控目标检测及跟踪，生成对应各个摄像头的第一目标跟踪结果；将各个第一目标跟踪结果融合为监控目标的第二目标跟踪结果；基于第二目标跟踪结果确定监控目标在监控区域各个预设子区域的活动频率，并根据活动频率绘制监控目标在监控区域的活动热力图。采用上述技术手段，可以适应不同场景下的目标活动监控，提升目标活动监控的灵活性和普适性，避免传感器监控导致高额投入成本的技术问题，提升目标检测跟踪的准确性和可靠性。

Description

一种目标活动热点图绘制方法、系统、设备及存储介质
技术领域
本申请实施例涉及计算机视觉技术领域，尤其涉及一种目标活动热点图绘制方法、系统、设备及存储介质。
背景技术
目前，在体育赛事、室内运营监控等领域都涉及到目标活动监控技术的运用。例如，在足球比赛中，通过监控足球运动员在足球场上的活动热点分布，可以作为球员体能状况、技术特点、在球场上的活跃程度以及对战术的执行程度等方面的技术分析依据，以此可以得到客观、准确的分析结果。在进行目标活动热点监控时，一般采用传感器收集目标各项运动数据的方式，进而基于各项运动数据绘制目标的活动热点图，以便于通过活动热点图直观地反映目标的活动情况。
但是，传统的采用传感器收集运动数据的目标活动监控方法，其投入成本相对较高，且容易受监控场景的限制，难以达到理想的普适效果，目标活动监控缺乏灵活性。
发明内容
本申请实施例提供一种目标活动热点图绘制方法、系统、设备及存储介质，能够适应多种场景的目标活动监控，降低目标活动监控的投入成本，解决现有目标活动监控方法容易受监控场景限制，缺乏灵活性的技术问题。
在第一方面，本申请实施例提供了一种目标活动热点图绘制方法，包括：
获取各个摄像头拍摄监控区域的视频图像，所述摄像头对应所述监控区域的不同拍摄视角进行拍摄；
基于各个所述视频图像进行监控目标检测及跟踪，生成对应各个所述摄像头的第一目标跟踪结果；
将各个所述第一目标跟踪结果融合为所述监控目标的第二目标跟踪结果；
基于所述第二目标跟踪结果确定所述监控目标在所述监控区域各个预设子区域的活动频率，并根据所述活动频率绘制所述监控目标在所述监控区域的活动热力图
在第二方面，本申请实施例提供了一种目标活动热点图绘制系统，包括：
获取模块，用于获取各个摄像头拍摄监控区域的视频图像，所述摄像头对应所述监控区域的不同拍摄视角进行拍摄；
跟踪模块，用于基于各个所述视频图像进行监控目标检测及跟踪，生成对应各个所述摄像头的第一目标跟踪结果；
融合模块，用于将各个所述第一目标跟踪结果融合为所述监控目标的第二目标跟踪结果；
绘制模块，用于基于所述第二目标跟踪结果确定所述监控目标在所述监控区域各个预设子区域的活动频率，并根据所述活动频率绘制所述监控目标在所述监控区域的活动热力图。
在第三方面，本申请实施例提供了一种电子设备，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的目标活动热点图绘制方法。
在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的目标活动热点图绘制方法。
本申请实施例通过获取各个摄像头拍摄监控区域的视频图像，摄像头对应监控区域的不同拍摄视角进行拍摄；基于各个视频图像进行监控目标检测及跟踪，生成对应各个摄像头的第一目标跟踪结果；将各个第一目标跟踪结果融合为监控目标的第二目标跟踪结果；基于第二目标跟踪结果确定监控目标在监控区域各个预设子区域的活动频率，并根据活动频率绘制监控目标在监控区域的活动热力图。采用上述技术手段，通过融合多摄像头目标跟踪结果，并通过目标跟踪结果绘制目标活动热点图，以此可以适应不同场景下的目标活动监控，提升目标活动监控的灵活性和普适性，避免传感器监控导致高额投入成本的技术问题。并且，通过融合多摄像头目标跟踪结果，可以提升目标检测跟踪的准确性和可靠性。
附图说明
图1是本申请实施例提供的一种目标活动热点图绘制方法的流程图；
图2是本申请实施例中目标跟踪结果的一种融合流程图；
图3是本申请实施例中目标跟踪结果的另一种融合流程图；
图4是本申请实施例中活动频率的测算示意图；
图5是本申请实施例的目标活动热点图；
图6是本申请实施例提供的一种目标活动热点图绘制系统的结构示意图；
图7是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的一种目标活动热点图绘制方法，旨在通过融合多个摄像头的目标跟踪结果，并根据目标跟踪结果进行目标活动热点图绘制，以此通过摄像头监控视频即可实现目标热活动热点图的绘制，使目标活动监控适应不同监控场景，降低目标活动监控的投入成本，并提升目标活动监控的灵活性和普适性能。对于传统的目标活动热点图绘制方法，其一般需要目标配备传感器或者使用热成像相机进行拍摄。例如，在职业足球赛场上，使用具有热成像功能的特殊摄像机采集赛场视频信息，经过专门的分析软件，最终把数据呈现出来。但这些设备成本昂贵，很难应用在业余比赛或娱乐比赛场景中。基于此，提供本申请实施例的一种目标活动热点图绘制方法，以解决现有目标活动监控方法容易受监控场景限制，缺乏灵活性的技术问题
实施例：
图1给出了本申请实施例提供的一种目标活动热点图绘制方法的流程图，本实施例中提供的目标活动热点图绘制方法可以由目标活动热点图绘制设备执行，该目标活动热点图绘制设备可以通过软件和/或硬件的方式实现，该目标活动热点图绘制设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该目标活动热点图绘制设备可以是服务器主机、电脑等计算设备。
下述以目标活动热点图绘制设备为执行目标活动热点图绘制方法的主体为例，进行描述。参照图1，该目标活动热点图绘制方法具体包括：
S110、获取各个摄像头拍摄监控区域的视频图像，摄像头对应监控区域的不同拍摄视角进行拍摄。
本申请实施例在进行目标活动热点图绘制时，采用多个摄像头拍摄监控区域，以采集包含对应监控目标的视频图像。摄像头根据实际拍摄需求，设置在监控区域的不同位置，以通过不同拍摄视角拍摄监控区域。根据实际需要，各个摄像头可以负责监控区域的某一部分子区域的视频图像采集，也可以直接对应不同的拍摄视角采集整个监控区域的视频图像。以足球赛事为例，通过设置在足球场四个角的摄像头采集监控区域全景的视频图像，进而通过视频图像进行目标活动监控。可选的，根据实际需要，可以适应性选择摄像头的设置数量及位置。例如，在足球场四个角设置摄像头的基础上，进一步在足球场的四边对应设置摄像头，以此可以增加监控区域更多视角的视频图像，进一步优化目标活动监控效果。
通过获取各个摄像头采集的视频图像，本申请实施例对视频图像中的监控目标进行识别跟踪，以确定在不同时间点，监控目标在监控区域中的坐标位置，依此即可进行目标活动热点图的绘制，确定监控目标在监控区域的不同位置的活动频率。以足球赛事为例，通过采集整场足球比赛的视频图像，基于视频图像对指定足球运动员进行检测跟踪，确定比赛过程中，不同时间点足球运动员在足球场上的坐标位置，进而确定足球运动员在足球场上不同子区域的活动频率，绘制该足球运动员在足球场上的活动热点图。基于该活动热点图，即可作为该足球运动员的体能状况、技术特点、在球场上的活跃程度以及对战术的执行程度等方面的技术分析依据，实现更科学、准确的足球技术分析效果。
S120、基于各个视频图像进行监控目标检测及跟踪，生成对应各个摄像头的第一目标跟踪结果。
基于已获取到的各个视频图像，本申请实施例首先分别基于视频图像进行监控目标的检测及跟踪。在此之前，预先构建一个目标检测模型。以足球运动员的目标检测为例，为了训练球员目标检测模型，需要收集足球运动员的图像信息(如人脸，或者人脸与全身图像的集合)作为训练数据集，然后从图像信息中逐一人工标注出球员矩形框，作为标注数据。进一步设计球员目标检测模型的神经网络结构和损失函数，使用标注数据训练球员目标检测模型的网络参数。在模型训练完成之后，保存模型结构和参数。目标检测模型可以选用YOLOv5等目标检测模型，本申请实施例对具体的检测模型不做固定限制，在此不多赘述。
对于训练好的目标检测模型，将其部署在本申请实施例的目标活动热点图绘制设备上。通过将各个摄像头采集的视频图像输入该目标检测模型，经过模型计算和处理，即可输出视频图像中球员的检测框。
进一步的，对于球员的跟踪，可以使用卡尔曼滤波跟踪器，以每一帧视频图像的球员检测框作为输入，将每一个检测框和已有的卡尔曼滤波跟踪器进行相似度(如检测框中心点的欧氏距离)关联，根据匹配结果将检测框和跟踪框分为三种情况：成功配对、未匹配的检测框、未匹配的跟踪框，在各种情形下分别确定跟踪状态，然后依据匈牙利算法计算最小开销指派，输出最终跟踪结果。此外，根据实际检测需求，还可以使用诸如DeepSORT算法等深度学习算法，在计算检测框和跟踪框欧式距离的基础上，还进一步提取两者的视觉特征作为相似度依据进行比较，以得到更精准的目标跟踪结果。本申请实施例对具体的目标跟踪模型不做固定限制，在此不多赘述。
可选的，在进行监控目标的检测跟踪过程中，本申请实施例还进一步基于身份重识别算法对监控目标的检测跟踪结果进行身份重识别校正。身份重识别校正主要是为了解决长时间目标跟踪存在的不稳定性问题，通过身份重识别方式，以对可能存在的检测跟踪错误结果进行校正。可以理解的是，在足球比赛过程中，对于一个球员的检测跟踪过程中，可能存在遮挡等原因导致无法检测跟踪目标的情况，因此需要结合身份重识别模型对目标检测跟踪结果进行身份重识别校正。在此之前，预先构建一个身份重识别模型，在模型训练阶段需要收集大量带有目标身份信息的各种姿态人体图片数据集，并设计神经网络结构和损失函数，训练特征提取网络。与目标检测和跟踪的深度学习算法一样，身份重识别模型在训练完成后保存网络结构和参数，供后续部署多次使用，无需再次训练。
进一步的，在进行球员身份的重识别时，首先需要确定本场比赛的所有参赛人员的身份特征库。将参赛球员提供的个人图片，或者由比赛中抽帧图片经过检测、裁剪和标注得到的个人图片，通过神经网络提取每名球员的身份特征向量(每张图片可得到一个特征向量，每名球员可以包含多个特征向量)。之后，基于该身份重识别模型，以球员目标检测模型输出的球员检测框作为输入，通过身份重识别模型提取特征向量，与参赛人员身份库中的特征向量进行相似度比对，确定当前球员身份，对球员跟踪结果进行校对。一般而言，为提高整个流程效率，无需逐帧进行身份重识别，可根据实际效果选择间隔若干帧经过一次身份重识别校正。以此通过身份重识别校正，进一步优化目标检测跟踪结果，使目标活动监控更为精确、稳定。
本申请实施例对应不用摄像头采集的视频图像，分别采用上述目标检测模型及目标跟踪模型进行目标检测及跟踪，进而得到相应的目标检测结果，定义该目标跟踪结果为第一目标跟踪结果。该第一目标跟踪结果包含监控目标在监控区域不同时间点的坐标数据。依此即可实现监控目标在监控区域的活动监控，进而进行监控目标的活动热点图绘制。
S130、将各个第一目标跟踪结果融合为监控目标的第二目标跟踪结果。
基于各个视频图像的第一目标跟踪结果，本申请采用目标跟踪结果融合的方式，将各个第一目标跟踪结果融合在一起，生成第二目标跟踪结果，以使用第二目标跟踪结果进行目标活动热点图的绘制。
具体的，将各个第一目标跟踪结果包含的坐标数据融合映射至监控区域的俯视图，生成监控目标的第二目标跟踪结果。为了将多个摄像头的第一目标跟踪结果融合在一起，需要将各个第一目标跟踪结果包含的坐标数据映射到统一的监控区域俯视图上。以足球比赛的球员目标跟踪结果为例，第一目标跟踪结果和第二目标跟踪结果两者之间的映射关系可以表示为一个单映射矩阵P3×3矩阵，其求解可由实际球场图片和二维俯视图对应的四个坐标点计算得到。其中，选择视频图像二维跟踪框的底边中点坐标(x，y)代表球员在球场上的位置，其中x和y表示像素坐标系下的坐标。将该坐标改写成齐次坐标形式“Q＝(x，y，1)T”，则该球员映射到俯视图的位置按如下方式计算：
Figure BDA0003306311360000061
其中，(x′，y′)表示第一目标跟踪结果坐标数据(x，y)的转置，(x″，y″)表示球员映射到俯视图的位置，即第二目标跟踪结果。
可选的，在将第一目标跟踪结果融合为第二目标跟踪结果时，本申请实施例还基于相机模型和畸变模型对各个第一目标跟踪结果包含的坐标数据进行去畸变处理，将去畸变处理后的坐标数据融合生成监控目标的第二目标跟踪结果。可以理解的是，一般视频图像都会存在相应的畸变，为了保障目标跟踪结果的准确度，则需要先根据照相机模型和畸变模型进行去畸变处理，公式表示为Q′＝f(Q),将去畸变处理的坐标Q′代替原有齐次坐标Q，然后映射到俯视图上。通过去畸变处理，进一步优化了目标跟踪结果的精准度，确保最终绘制的目标活动热点图准确反映目标的活动情况。
需要说明的是，由于不同拍摄视角下获取的视频图像包含重叠的部分，则各个视频图像得到的第一目标跟踪结果也会包含相互重叠的部分。基于此，本申请通过设置各个摄像头的有效拍摄区域，以对第一目标跟踪结果进行融合。
如图2所示，基于有效拍摄区域的目标跟踪结果融合流程包括：
S1301、根据各个摄像头预设定的有效拍摄区域，从第一目标跟踪结果的坐标数据中选取有效坐标数据，有效拍摄区域按照监控区域的俯视图预先划分至各个摄像头；
S1302、分别将有效坐标数据映射至俯视图上的各个有效拍摄区域，生成监控目标的第二目标跟踪结果。
通过预先将监控区域俯视图划分为若干个部分，每一个部分由一个单独的摄像头负责视频图像采集，其负责拍摄的区域即为有效拍摄区域。对应每个摄像头采集的视频图像，只针对有效拍摄区域进行目标检测及跟踪，确定监控目标在有效拍摄区域的坐标数据，定义这部分坐标数据为有效坐标数据。对于每个摄像头的视频图像，均按照上述方式确定有效坐标数据，最终将各个有效坐标数据合并，即可完成目标跟踪结果融合，得到对应的第二目标跟踪结果。
可选的，在一个实施例中，第一目标跟踪结果的融合还可以采用重复坐标数据筛选的方式。参照图3，基于重复坐标数据筛选的目标跟踪结果融合流程包括：
S1303、将各个第一目标跟踪结果包含的坐标数据映射至监控区域的俯视图；
S1304、对俯视图上重复的坐标数据按照坐标与摄像头的距离和/或坐标置信度分数进行筛选，生成监控目标的第二目标跟踪结果。
可以理解的是，由于各个摄像头之间拍摄的监控区域存在相互重叠的部分，甚至每个摄像头可以拍摄全景的监控区域。则对于各个视频图像得到的多个第一目标跟踪结果，其在同一个时间点势必存在多个监控目标的坐标数据。受不同拍摄视角的影响，基于不同视频图像进行检测跟踪得到的监控目标同一时间点的坐标数据可能不同。在将多个第一目标跟踪结果的坐标数据映射到俯视图上后，对于同一时间点下属于同一个监控目标的坐标数据，需要进行合并。合并方式可以按照坐标与摄像头的距离和/或坐标置信度分数进行筛选。其中，若同一时间点下，某一个坐标数据与其对应拍摄的摄像头之间的距离最近，其余坐标与其所属摄像头的距离相对较远，则选择该坐标数据作为有效坐标数据，同一时间点下其余坐标数据筛除，以此类推，即可完成所有重复坐标数据的合并，得到监控目标的第二目标跟踪结果。对于坐标置信度分数，则表示该坐标对应的目标检测框的可靠程度。可以理解的是，若目标检测框与预存目标图像的相似度越高，则其置信度分数越高。依此通过确定各个相互重复的坐标数据的置信度分数，选择置信度分数最高的坐标数据为有效坐标数据，同一时间点下其余坐标数据筛除，以此类推，即可完成所有重复坐标数据的合并，得到监控目标的第二目标跟踪结果。可选的，根据实际需求，还可以综合坐标与摄像头的距离和坐标置信度分数等多个结果进行加权计算，根据加权计算结果确定有效坐标数据。本申请实施例重复坐标数据的筛选合并方式不做固定限制，在此不多赘述。
可选的，在一个实施例中，目标活动热点图绘制设备还以设定数量的视频帧作为滑动窗口，采用加权滑动平均方法对第二目标跟踪结果中监控目标的坐标移动轨迹进行帧间平滑处理。为了优化检测结果的抖动和多摄像头融合的轻微跳变，需要对每个球员的移动轨迹进行帧间平滑处理。通过选择固定数目的若干视频帧图像作为滑动窗口，采用加权滑动平均方法平滑轨迹。可以理解的是，由于目标检测框会随着人形姿态而变化，所以直接使用检测框下边中点坐标作为目标坐标数据跟踪轨迹会导致位置抖动的现象，因此本申请实施例加入目标活动轨迹平滑处理以获得更为有效的目标跟踪结果。在进行轨迹平滑处理过程中，首先顺序输入第二目标跟踪结果，以采样滑动窗口长度设置成20帧为例，视频的前10帧和最后10帧的数据需要跳过；然后循环目标跟踪结果中的所有监控目标，依次获得监控目标在近20帧内的坐标数据，取20帧内下边中点坐标在图像中横轴、纵轴的中位数作为目标帧平滑结果。之后依次循环每一帧中的每一个监控目标所对应的轨迹，重复上述步骤最终完成监控目标的轨迹平滑处理。
S140、基于第二目标跟踪结果确定监控目标在监控区域各个预设子区域的活动频率，并根据活动频率绘制监控目标在监控区域的活动热力图。
最终，基于该第二目标跟踪结果，通过确定监控目标在监控区域各个预设子区域的活动频率，即可基于监控区域的俯视图绘制出监控目标在监控区域的活动热力图。其中，对应监控区域的俯视图预先划分好若干个子区域，在监控区域的俯视图上统计各个预设子区域包含的坐标数量，基于坐标数量计算监控目标在预设子区域的活动频率。参照图4，以足球赛事为例，将球场俯视图划分成若干小方格，统计整场比赛某球员的坐标数据落在每一个小方格的次数，按照次数计算出落在每个小方格的频率。通过确定球员在各个预设子区域的坐标数量，计算坐标数量与坐标总数量的比值，即可确定球员在该预设子区域的活动频率。最终，基于球员在各个预设子区域的活动频率，将球场俯视图转换成球场热力图，以此即可直观地确定当场足球赛事中，球员的活动情况。
在一个实施例中，根据各个预设子区域的活动频率，对活动频率最高的设定数量个预设子区域进行高亮显示，以此即可确定监控目标的主要活动区域。例如，在足球赛事中，通过确定足球远动员高活动频率的预设子区域，可以进一步优化运动员的数据分析效果，更准确直观地进行球员技术特点分析等分析工作。
上述，通过获取各个摄像头拍摄监控区域的视频图像，摄像头对应监控区域的不同拍摄视角进行拍摄；基于各个视频图像进行监控目标检测及跟踪，生成对应各个摄像头的第一目标跟踪结果；将各个第一目标跟踪结果融合为监控目标的第二目标跟踪结果；基于第二目标跟踪结果确定监控目标在监控区域各个预设子区域的活动频率，并根据活动频率绘制监控目标在监控区域的活动热力图。采用上述技术手段，通过融合多摄像头目标跟踪结果，并通过目标跟踪结果绘制目标活动热点图，以此可以适应不同场景下的目标活动监控，提升目标活动监控的灵活性和普适性，避免传感器监控导致高额投入成本的技术问题。并且，通过融合多摄像头目标跟踪结果，可以提升目标检测跟踪的准确性和可靠性。
在上述实施例的基础上，图6为本申请提供的一种目标活动热点图绘制系统的结构示意图。参考图6，本实施例提供的目标活动热点图绘制系统具体包括：获取模块21、跟踪模块22、融合模块23和绘制模块24。
其中，获取模块21用于获取各个摄像头拍摄监控区域的视频图像，摄像头对应监控区域的不同拍摄视角进行拍摄；
跟踪模块22用于基于各个视频图像进行监控目标检测及跟踪，生成对应各个摄像头的第一目标跟踪结果；
融合模块23用于将各个第一目标跟踪结果融合为监控目标的第二目标跟踪结果；
绘制模块24用于基于第二目标跟踪结果确定监控目标在监控区域各个预设子区域的活动频率，并根据活动频率绘制监控目标在监控区域的活动热力图。
具体地，跟踪模块22包括：
身份重识别单元，用于基于身份重识别算法对监控目标的检测跟踪结果进行身份重识别校正。
具体地，融合模块23包括：
映射单元，用于将各个第一目标跟踪结果包含的坐标数据融合映射至监控区域的俯视图，生成监控目标的第二目标跟踪结果。
其中，根据各个摄像头预设定的有效拍摄区域，从第一目标跟踪结果的坐标数据中选取有效坐标数据，有效拍摄区域按照监控区域的俯视图预先划分至各个摄像头；分别将有效坐标数据映射至俯视图上的各个有效拍摄区域，生成监控目标的第二目标跟踪结果。
或者，将各个第一目标跟踪结果包含的坐标数据映射至监控区域的俯视图；对俯视图上重复的坐标数据按照坐标与摄像头的距离和/或坐标置信度分数进行筛选，生成监控目标的第二目标跟踪结果。
具体地，融合模块23还包括：
畸变处理单元，用于基于相机模型和畸变模型对各个第一目标跟踪结果包含的坐标数据进行去畸变处理，将去畸变处理后的坐标数据融合生成监控目标的第二目标跟踪结果。
平滑处理单元，用于以设定数量的视频帧作为滑动窗口，采用加权滑动平均方法对第二目标跟踪结果中监控目标的坐标移动轨迹进行帧间平滑处理。
绘制模块24包括：
计算单元，用于在监控区域的俯视图上统计各个预设子区域包含的坐标数量，基于坐标数量计算监控目标在预设子区域的活动频率。
上述，通过获取各个摄像头拍摄监控区域的视频图像，摄像头对应监控区域的不同拍摄视角进行拍摄；基于各个视频图像进行监控目标检测及跟踪，生成对应各个摄像头的第一目标跟踪结果；将各个第一目标跟踪结果融合为监控目标的第二目标跟踪结果；基于第二目标跟踪结果确定监控目标在监控区域各个预设子区域的活动频率，并根据活动频率绘制监控目标在监控区域的活动热力图。采用上述技术手段，通过融合多摄像头目标跟踪结果，并通过目标跟踪结果绘制目标活动热点图，以此可以适应不同场景下的目标活动监控，提升目标活动监控的灵活性和普适性，避免传感器监控导致高额投入成本的技术问题。并且，通过融合多摄像头目标跟踪结果，可以提升目标检测跟踪的准确性和可靠性。
本申请实施例提供的目标活动热点图绘制系统可以用于执行上述实施例提供的目标活动热点图绘制方法，具备相应的功能和有益效果。
在上述实际上例的基础上，本申请实施例还提供了一种电子设备，参照图7，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的目标活动热点图绘制方法对应的程序指令/模块(例如，目标活动热点图绘制系统中的获取模块、跟踪模块、融合模块和绘制模块)。通信模块33用于进行数据传输。处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的目标活动热点图绘制方法。输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。上述提供的电子设备可用于执行上述实施例提供的目标活动热点图绘制方法，具备相应的功能和有益效果。
在上述实施例的基础上，本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种目标活动热点图绘制方法，存储介质可以是任何的各种类型的存储器设备或存储设备。当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的目标活动热点图绘制方法，还可以执行本申请任意实施例所提供的目标活动热点图绘制方法中的相关操作。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种目标活动热点图绘制方法，其特征在于，包括：
获取各个摄像头拍摄监控区域的视频图像，所述摄像头对应所述监控区域的不同拍摄视角进行拍摄；
基于各个所述视频图像进行监控目标检测及跟踪，生成对应各个所述摄像头的第一目标跟踪结果；
将各个所述第一目标跟踪结果融合为所述监控目标的第二目标跟踪结果；
基于所述第二目标跟踪结果确定所述监控目标在所述监控区域各个预设子区域的活动频率，并根据所述活动频率绘制所述监控目标在所述监控区域的活动热力图。
2.根据权利要求1所述的目标活动热点图绘制方法，其特征在于，所述将各个所述第一目标跟踪结果融合为所述监控目标的第二目标跟踪结果，包括：
将各个所述第一目标跟踪结果包含的坐标数据融合映射至所述监控区域的俯视图，生成所述监控目标的第二目标跟踪结果。
3.根据权利要求2所述的目标活动热点图绘制方法，其特征在于，所述将各个所述第一目标跟踪结果包含的坐标数据融合映射至所述监控区域的俯视图，生成所述监控目标的第二目标跟踪结果，包括：
根据各个所述摄像头预设定的有效拍摄区域，从所述第一目标跟踪结果的坐标数据中选取有效坐标数据，所述有效拍摄区域按照所述监控区域的俯视图预先划分至各个所述摄像头；
分别将所述有效坐标数据映射至所述俯视图上的各个所述有效拍摄区域，生成所述监控目标的第二目标跟踪结果。
4.根据权利要求2所述的目标活动热点图绘制方法，其特征在于，所述将各个所述第一目标跟踪结果包含的坐标数据融合映射至所述监控区域的俯视图，生成所述监控目标的第二目标跟踪结果，包括：
将各个第一目标跟踪结果包含的坐标数据映射至所述监控区域的俯视图；
对所述俯视图上重复的坐标数据按照坐标与所述摄像头的距离和/或坐标置信度分数进行筛选，生成所述监控目标的第二目标跟踪结果。
5.根据权利要求2所述的目标活动热点图绘制方法，其特征在于，所述基于所述第二目标跟踪结果确定所述监控目标在所述监控区域各个预设子区域的活动频率，包括：
在所述监控区域的俯视图上统计各个所述预设子区域包含的坐标数量，基于所述坐标数量计算所述监控目标在所述预设子区域的活动频率。
6.根据权利要求1所述的目标活动热点图绘制方法，其特征在于，所述将各个所述第一目标跟踪结果融合为所述监控目标的第二目标跟踪结果，还包括：
基于相机模型和畸变模型对各个所述第一目标跟踪结果包含的坐标数据进行去畸变处理，将去畸变处理后的坐标数据融合生成所述监控目标的第二目标跟踪结果。
7.根据权利要求1所述的目标活动热点图绘制方法，其特征在于，在所述将各个所述第一目标跟踪结果融合为所述监控目标的第二目标跟踪结果之后，还包括：
以设定数量的视频帧作为滑动窗口，采用加权滑动平均方法对所述第二目标跟踪结果中所述监控目标的坐标移动轨迹进行帧间平滑处理。
8.一种目标活动热点图绘制系统，其特征在于，包括：
获取模块，用于获取各个摄像头拍摄监控区域的视频图像，所述摄像头对应所述监控区域的不同拍摄视角进行拍摄；
跟踪模块，用于基于各个所述视频图像进行监控目标检测及跟踪，生成对应各个所述摄像头的第一目标跟踪结果；
融合模块，用于将各个所述第一目标跟踪结果融合为所述监控目标的第二目标跟踪结果；
绘制模块，用于基于所述第二目标跟踪结果确定所述监控目标在所述监控区域各个预设子区域的活动频率，并根据所述活动频率绘制所述监控目标在所述监控区域的活动热力图。
9.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的目标活动热点图绘制方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的目标活动热点图绘制方法。
CN202111204518.3A 2021-10-15 2021-10-15 一种目标活动热点图绘制方法、系统、设备及存储介质 Pending CN114037923A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111204518.3A CN114037923A (zh) 2021-10-15 2021-10-15 一种目标活动热点图绘制方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111204518.3A CN114037923A (zh) 2021-10-15 2021-10-15 一种目标活动热点图绘制方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114037923A true CN114037923A (zh) 2022-02-11

Family

ID=80135061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111204518.3A Pending CN114037923A (zh) 2021-10-15 2021-10-15 一种目标活动热点图绘制方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114037923A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677500A (zh) * 2022-05-25 2022-06-28 松立控股集团股份有限公司 一种基于眼动仪点标注信息的弱监督视频车牌识别方法
CN115209053A (zh) * 2022-07-14 2022-10-18 天津大学四川创新研究院 一种网络摄像头调度方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677500A (zh) * 2022-05-25 2022-06-28 松立控股集团股份有限公司 一种基于眼动仪点标注信息的弱监督视频车牌识别方法
CN114677500B (zh) * 2022-05-25 2022-08-23 松立控股集团股份有限公司 一种基于眼动仪点标注信息的弱监督视频车牌识别方法
CN115209053A (zh) * 2022-07-14 2022-10-18 天津大学四川创新研究院 一种网络摄像头调度方法

Similar Documents

Publication Publication Date Title
US20220301309A1 (en) Methods and systems for determining ball shot attempt location on ball court
US11310418B2 (en) Computer-implemented method for automated detection of a moving area of interest in a video stream of field sports with a common object of interest
JP6609327B2 (ja) 仮想環境構築装置、仮想環境構築方法、プログラム、および記録媒体
US8805007B2 (en) Integrated background and foreground tracking
JP6448223B2 (ja) 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
US9437012B2 (en) Multiple-object tracking and team identification for game strategy analysis
Kim et al. Motion fields to predict play evolution in dynamic sport scenes
CN110264493B (zh) 一种针对运动状态下的多目标对象追踪方法和装置
US9600760B2 (en) System and method for utilizing motion fields to predict evolution in dynamic scenes
CN114120168A (zh) 一种目标跑动距离测算方法、系统、设备及存储介质
CN113850248B (zh) 运动姿态评估方法、装置、边缘计算服务器及存储介质
CN109345568A (zh) 基于计算机视觉算法的运动场智能化实现方法及系统
CN107438173A (zh) 视频处理装置、视频处理方法和存储介质
CN111382613B (zh) 图像处理方法、装置、设备和介质
CN107240120B (zh) 视频中运动目标的跟踪方法及装置
CN114037923A (zh) 一种目标活动热点图绘制方法、系统、设备及存储介质
US20170201723A1 (en) Method of providing object image based on object tracking
CN110544302A (zh) 基于多目视觉的人体动作重建系统、方法和动作训练系统
Sokolova et al. Human identification by gait from event-based camera
CN115100744A (zh) 一种羽毛球比赛人体姿态估计和球路追踪方法
CN116523962B (zh) 针对目标对象的视觉跟踪方法、装置、系统、设备和介质
Karungaru et al. Ground sports strategy formulation and assistance technology develpoment: player data acquisition from drone videos
CN108854031A (zh) 通过无人摄影技术分析运动数据的方法及相关装置
CN113971693A (zh) 直播画面生成方法、系统、装置及电子设备
Garau et al. Unsupervised continuous camera network pose estimation through human mesh recovery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination