CN113012194A - 目标追踪方法、装置、介质和设备 - Google Patents

目标追踪方法、装置、介质和设备 Download PDF

Info

Publication number
CN113012194A
CN113012194A CN202011562357.0A CN202011562357A CN113012194A CN 113012194 A CN113012194 A CN 113012194A CN 202011562357 A CN202011562357 A CN 202011562357A CN 113012194 A CN113012194 A CN 113012194A
Authority
CN
China
Prior art keywords
tracking
camera
point
long
tele
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011562357.0A
Other languages
English (en)
Other versions
CN113012194B (zh
Inventor
韩宇星
温江涛
李吉生
胡钰彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Boyan Technology Ltd
Original Assignee
Shenzhen Boyan Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Boyan Technology Ltd filed Critical Shenzhen Boyan Technology Ltd
Priority to CN202011562357.0A priority Critical patent/CN113012194B/zh
Priority to US17/235,237 priority patent/US11734840B2/en
Publication of CN113012194A publication Critical patent/CN113012194A/zh
Application granted granted Critical
Publication of CN113012194B publication Critical patent/CN113012194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种目标追踪方法、装置、介质和设备，属于计算机技术领域，能够保证追踪的完整性。一种目标追踪方法，包括：对多相机系统中的长焦相机拍摄的所有长焦图像帧进行对象检测，并针对每一帧长焦图像，基于对象检测结果构建检测点集合；基于起始追踪点，从每个所述检测点集合中选取对应于所述起始追踪点的目标追踪点；将所选取的目标追踪点连接起来，作为针对所述起始追踪点的追踪序列。

Description

目标追踪方法、装置、介质和设备
技术领域
本公开涉及计算机技术领域，具体地，涉及一种目标追踪方法、装置、 介质和设备。
背景技术
由于视野有限，单相机的物体或人员追踪只能在有限空间内进行，这使 得很难获得物体或人员运动的完整轨迹，只能通过一小段一小段的轨迹来认 知其运动过程。在对这些轨迹进行整合时，物体或人员的再识别成为一个巨 大的挑战，很难保证追踪的完整性。
发明内容
本公开的目的是提供一种目标追踪方法、装置、介质和设备，能够保证 追踪的完整性。
根据本公开的第一实施例，提供一种目标追踪方法，包括：对多相机系 统中的长焦相机拍摄的所有长焦图像帧进行对象检测，并针对每一帧长焦图 像，基于对象检测结果构建检测点集合；基于起始追踪点，从每个所述检测 点集合中选取对应于所述起始追踪点的目标追踪点；将所选取的目标追踪点 连接起来，作为针对所述起始追踪点的追踪序列。
根据本公开的第二实施例，提供一种目标追踪装置，包括：检测模块， 用于对多相机系统中的长焦相机拍摄的所有长焦图像帧进行对象检测，并针 对每一帧长焦图像，基于对象检测结果构建检测点集合；追踪模块，用于基 于起始追踪点，从每个所述检测点集合中选取对应于所述起始追踪点的目标 追踪点；追踪序列确定模块，用于将所选取的目标追踪点连接起来，作为针 对所述起始追踪点的追踪序列。
根据本公开的第三实施例，提供一种计算机可读存储介质，其上存储有 计算机程序，该程序被处理器执行时实现根据本公开第一实施例所述方法的 步骤。
根据本公开的第四实施例，提供一种电子设备，包括：存储器，其上存 储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实 现根据本公开第一实施例所述方法的步骤。
通过采用上述技术方案，能够在多相机系统下实现较好的追踪效果，而 且既能输出追踪视频，也可以将追踪画面作为小窗结合到广角视频中，以兼 顾细节和大场面。这种全程追踪的能力为多相机系统在更多领域中的应用打 下了基础。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与 下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在 附图中：
图1是根据本公开一种实施例的目标追踪方法的流程图。
图2示出了以每一个
Figure BDA0002860777870000021
为中心，在几组不同焦距、不同距离下的检 测结果对比图。
图3示出了几段追踪效果。
图4展示了几组相机间追踪的示意图。
图5示出了其中一个相机的候选框参数示意图。
图6示出了以候选框中心点的横坐标为例，多项式拟合效果随多项式阶 数的变化的示意图。
图7示出了选用多阶次n＝6来对各变量进行多项式拟合平滑的结果示 意图。
图8示出了相机间平滑效果示意图。
图9示出了候选框直接拼接的效果示意图。
图10示出了完成坐标对齐之后的拼接效果示意图。
图11示出了经过泊松图像编辑后的拼接效果示意图。
图12是候选框过度平滑的后果示意图。
图13示出了，对于拍摄的25fps视频素材而言，应用了不同窗长的高斯 滤波器进行滤波操作之后得到的实验结果示意图。
图14示出了动作对比追踪效果示意图。
图15是根据本公开一种实施例的目标追踪装置的示意框图。
图16是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是， 此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
图1是根据本公开一种实施例的目标追踪方法的流程图。如图1所示， 该方法包括以下步骤S11至S13。
在步骤S11中，对多相机系统中的长焦相机拍摄的所有长焦图像帧进行 对象检测，并针对每一帧长焦图像，基于对象检测结果构建检测点集合。
多相机系统是将广角镜头和长焦镜头相互配合的相机系统，其既能覆盖 很大的场景，又能获取足够的精度以进行追踪。
对象指的是诸如人员、物体等。
由于在同一帧长焦图像中通常会存在着多个同一类型的对象，因此，这 里的检测点集合是包括了被追踪对象(也即下文中的目标追踪点)在内的所 有同一类型的对象。举例而言，假设是用多相机系统对运动员A进行追踪， 由于同时参与比赛的还有运动员B、运动员C，所以检测点集合里包括了关 于运动员A、B和C的检测点，而下文中提及的起始追踪点和目标追踪点均 是指的是运动员A。
为了进行对象检测，可以采用诸如神经网络(例如OpenPose检测框架)、 利用HOG算子的特征提取算法等来实现。
以OpenPose检测框架为例，为了追求检测结果的准确性，在实际检测 过程中可以采用滑动窗的方法将长焦图像送入OpenPose检测框架的例如25 点人体模型中进行检测，其中，滑动窗的高度Hb可以根据人体高度Hh，底 片高度Hs，图像整体高度Hi，镜头焦距f以及相机到被摄人员的距离D，依照 如下经验公式1-1算出：
Figure BDA0002860777870000041
完成25个关键点检测之后，对每一个关键点都会得到{x,y,P}三元组数 据，其中{x,y}为关键点坐标，P为置信度。对于一些置信度较低的点，检测 结果会将其舍去，导致并非每一个人都有完整的25个关键点检测数据。为 了便于后续处理，可以对每一个人身上检出的有效点坐标求平均得到平均坐 标
Figure BDA0002860777870000042
用这一
Figure BDA0002860777870000043
坐标来标记检测到的人的位置，以供后续做追踪处理。 图2示出了以每一个
Figure BDA0002860777870000044
为中心，在几组不同焦距、不同距离下的检测结果 对比图。
在步骤S12中，基于起始追踪点，从每个检测点集合中选取对应于起始 追踪点的目标追踪点。
经过步骤S11的对象检测过程，对视频的每一帧t都构建了一个检测点 集合St，则，在步骤S12中，会从检测点集合St中选取目标检测点Pt，将其 连接起来作为追踪序列。这一过程需要给定起始追踪点P0，来标出整个视频 序列中待追踪的目标，而整个过程可以分为单相机的追踪和相机间的追踪。
对于单相机视频序列的追踪，可以采用如下的算法以生成追踪序列，具 体算法流程如下：
Figure BDA0002860777870000051
其中
Figure BDA0002860777870000052
表示最终生成的追踪点序列，包括对应于每一帧的追踪点Pt；P0表 示一段视频序列中的起始追踪点；Pf表示追踪算法中上一帧的追踪点；St表 示每一帧的检测点集合；
Figure BDA0002860777870000053
表示上一次检测点的移动矢量；D(P1,P2)表示计 算P1和P2两点之间的欧氏距离。
根据本公开实施例的追踪算法的基本思想是：对于每一帧图像It，通过 诸如OpenPose的对象检测算法检测出该帧图像的检测点集合St，然后计算St中每一个点St[i]同上一个追踪点Pf之间的欧式距离，找到距离最小的点 P′＝St[it]，计算出最小距离d′＝D(P′,Pf)。若这一最小距离小于阈值d0， 则表明当前点P′到上一追踪点Pf的距离足够小，可以被
Figure BDA0002860777870000067
纳入，在计入的同 时计算本次追踪点的移动矢量
Figure BDA0002860777870000061
若这一最小距离大于阈值d0，则表明当前 点P′可能是一个错误检测点，此时利用运动轨迹的延续性，在Pf的基础上沿用上一次的移动矢量，计算
Figure BDA0002860777870000062
计入追踪序列
Figure BDA0002860777870000063
遍历同一个相机的所有帧，直到追踪点离开画面边界，即完成了单相机 的目标追踪。图3示出了几段追踪效果，可以看出对于遮挡等情况的鲁棒性 比较高。
对于相机间的追踪而言，由于在多相机系统中，相机覆盖区域基本互相 连通，因此可以通过利用相机之间的相对位置关系，对离开上一相机视野的 目标做持续追踪。
假设将目标即将离开的相机记作CF，在其中的最后一个追踪点记作Pt， 所在的图像帧为第t帧。把目标即将进入的相机记作CN，用St+1表示在相机CN的第t+1帧画面中所有的检测点。只需要利用相机之间的位置关系，将Pt的 位置和St+1中各点的位置转移到同一坐标系下，就可以沿用前面描述的单相 机追踪过程进行追踪了。把相机CF到广角相机CO重映射的单应性矩阵记作 HFO，广角相机CO到相机CN重映射的单应性矩阵记作HON，由公式1-2将Pt转 换至CN坐标系下的表示P′t：
Figure BDA0002860777870000064
Figure BDA0002860777870000065
Figure BDA0002860777870000066
Figure BDA0002860777870000071
Figure BDA0002860777870000072
P′t＝[PNx,PNy] (1-2)
其中，HFO是上一所述长焦相机到所述多相机系统中的广角相机重映射 的单应性矩阵；HON是所述多相机系统中的广角相机到下一所述长焦相机重 映射的单应性矩阵；
Figure BDA0002860777870000073
是上一所述长焦相机中二维追踪点的齐次坐标、Ptx是 上一所述长焦相机中二维追踪点的横坐标；Pty是上一所述长焦相机中二维 追踪点的纵坐标；
Figure BDA0002860777870000074
所述广角相机中二维追踪点的齐次坐标；
Figure BDA0002860777870000075
是
Figure BDA0002860777870000076
向量 的转置；POz是齐次坐标
Figure BDA0002860777870000077
的z分量；
Figure BDA0002860777870000078
是下一所述长焦相机中二维追踪点 的齐次坐标；
Figure BDA0002860777870000079
是
Figure BDA00028607778700000710
向量的转置；PNz是齐次坐标
Figure BDA00028607778700000711
的z分量；P′t是下一所述长焦相机中二维追踪点的坐标；PNx、PNy分别是下一所述长焦相机中二维 追踪点的横坐标和纵坐标。
在得到P′t之后，将其作为CN单相机追踪里的初始追踪点P0，沿用前面描 述的单相机追踪算法，即可在相机CN中继续追踪目标。图4展示了几组相机 间追踪的示意图。其中，图4中的上图为CF追踪结果，下图为CN追踪结果。 可以看出，利用多相机系统中相机间的相对位置，能够非常简便地完成相机 间的追踪，减小了整个追踪算法的不必要的开销。
在步骤S13中，将所选取的目标追踪点连接起来，作为针对起始追踪点 的追踪序列。
在完成对象追踪之后，还需要以各个追踪点为中心绘制候选框，将候选 框中的内容逐帧输出作为一镜到底视频流。但此时的候选框位置仅仅取决于 目标检测点的位置，抖动非常大，观看体验极差，因此需要对候选框位置做 时域平滑，让输出的视频更加稳定。
下面描述单相机候选框平滑。
用{Cx,Cy,W,H}四元组表示一个候选框，其中(Cx,Cy)代表候选框中心点 的位置，(W,H)代表候选框的宽度和高度。在单相机的画面中，候选框的大 小(W0,H0)都是固定的，因此只需要考虑(Cx,Cy)这两个变量的平滑即可。将 其中一个相机的候选框参数绘制如图5所示。
采用多项式拟合来消除过多的抖动，对(Cx,Cy)这两个变量分别做平滑。 为了保证候选框的初始和最终位置相同，在多项式平滑的过程中需要将首尾 两点固定住，以保证平滑后轨迹的正确性。以候选框中心点的横坐标为例， 多项式拟合效果随多项式阶数的变化如图6所示。
可以观察到，对于这一组数据而言，在多项式阶次达到6之后，拟合效 果并不会随着阶次升高而继续变好，反而在阶次n＝7,8时，在曲线末端容 易出现较为明显的凸起。因此本文选用多阶次n＝6来对各变量进行多项式 拟合平滑，其平滑结果如图7所示。可见，经过这一平滑操作，同一相机内 部截取的视频画面将不会有剧烈的抖动。
接下来描述相机间候选框平滑。
当追踪目标由相机CF视野移动到相机CN视野中时，如果两相机的焦距相 同，则无需其他操作，直接播放候选框内容即可。如果两相机的焦距不同， 则切换时会产生瞬间的缩放，让观众感觉卡顿，为了解决这一现象，需要在 相机焦距切换时做平滑，将瞬间的焦距切换更改为连续的焦距变化。
分别用fF和fN表示两台相机的焦距，假设在t帧处切换至CN的视频画面， 希望在N帧之内完成焦段的过渡，则相机CN在t至t+N之间帧的候选框大小 需要做下式1-3中的调整：
Figure BDA0002860777870000081
Figure BDA0002860777870000082
Figure BDA0002860777870000091
其中，t是追踪切换时刻下一所述长焦相机的视频帧序号；N是追踪切 换时过渡视频帧的数目；i是从t到N的遍历序号；Wi是第i帧中候选框的宽 度；W0是追踪切换前上一所述长焦相机画面中的候选框宽度；fF是上一所述 长焦相机的焦距；fN是下一所述长焦相机的焦距；Hi是第i帧中候选框的高 度；H0是追踪切换前上一所述长焦相机画面中的候选框高度。
当i＝t时，
Figure BDA0002860777870000092
为了匹配焦段而改变候选框大小，当i＝t+N 时，Wi＝W0，恢复到正常的候选框大小，在i取中间值时，候选框大小以指 数变化率缓缓过渡。N＝10的过渡效果(过渡顺序为从左至右、从上至下) 如图8所示，其中第一帧取自CF，后七帧取自CN，可以看到运动员的大小在 逐渐变化，不再有突变。因此，对于焦距不同的相机间切换，使用上述方法 可以对候选框实现较好的平滑效果。
通过采用上述技术方案，能够在多相机系统下实现较好的追踪效果，而 且既能输出追踪视频，也可以将追踪画面作为小窗结合到广角视频中，以兼 顾细节和大场面。这种全程追踪的能力为多相机系统在更多领域中的应用打 下了基础。
对于高山滑雪这样的运动项目，出于安全考虑，选手们只能单人依次完 成比赛，而无法同台竞技。这使得运动员在训练过程中无法方便地对比自己 同冠军选手在路径选择、动作规范等方面的差别。而根据本公开的实施例则 可以解决这一问题，也即结合协同追踪算法，可以将两位运动员的比赛过程 合成到同一幅画面中，完整地追踪他们“同台竞技”的过程，可以为运动员 的训练提供重要参考。
为了实现同框对比，需要利用前面描述的追踪算法得到的候选框序列：
Figure RE-GDA0003052930690000093
Figure RE-GDA0003052930690000101
其中下标A和B用于区分两位运动员，XA1(t)用来代指运动员A的广角画 面1中的候选框序列，依此类推。每一个候选框X都由{Cx,Cy,W,H}四元组表 示。为了调节运动员的先后位置，序列
Figure BDA0002860777870000103
和
Figure BDA0002860777870000104
之间应当有一定的延迟， 可以用T0来表示这一延迟。则为了合成同框对比效果，需要将任意长焦画面 i的每一组候选框XAi(t),XBi(t+T0)中的内容进行处理，得到合成候选框Xi(t)。
整体而言，根据本公开实施例的同框合成思路如下：将XBi(t+T0)候选 框中的内容PBi(t+T0)拼接到XAi(t)对应的整幅画面IAi(t)中，得到拼接后的画 面Ii(t)。再根据两个候选框的位置给出最终候选框Xi(t)，并根据这一候选框 从Ii(t)中选取对应内容，作为输出。
首先是图像拼接，为了将PBi(t+T0)很好地拼接到IAi(t)中，做到同框对 比的效果，可以分两步完成。
第一步是坐标对齐。
由于处在同一相机的视野中，XAi(t)和XBi(t+T0)两个候选框的坐标本身 处于同一坐标系，无需进行坐标变换。但拍摄过程中相机位置不够稳定，如 果直接将PBi(t+T0)这一图像块拼接到图像IAi(t)中，会出现如图9所示细微 的错位现象。这一现象的存在将为后续的拼接效果优化提出挑战。
为了解决这一问题，将IBi(t+T0)这一帧向IAi(t)对齐。用SIFT算子对两 张图提取特征并进行匹配，利用这些匹配点对拟合单应性重映射矩阵HBA。 利用HBA将IBi(t+T0)做重映射，得到图像I′Bi(t+T0)。再利用XBi(t+T0)这 一候选框从I′Bi(t+T0)中框选出图像块P′Bi(t+T0)，拼接到图像IAi(t)中即可。 完成坐标对齐之后的拼接效果如图10所示。
第二步是平滑拼接。
如果仅仅是将P′Bi(t+T0)拼接到图像IAi(t)的相应位置，会存在两个问题： 由于颜色不同产生的拼接缝；图像块会对运动员产生遮挡。为了解决这两个 问题，可以采用泊松图像编辑(Poisson Image Editing)进行处理，能对绝大 多数的图像拼接做到较好的平滑效果。图11示出了经过泊松图像编辑后的 拼接效果示意图。
经过上述两步拼接过程，可以将两位运动员很好地拼接到了一起，最后 完成候选框的计算即可。对于候选框XAi(t)和XBi(t+T0)，只需要取其最小的 包围框，并对包围框的大小做宽高比16:9补全即可。得到的候选框内容如图 11所示。
经过前面描述的平滑拼接之后，得到了最终的候选框序列
Figure BDA0002860777870000111
但如果 对这一序列直接执行如步骤S13中所述的平滑操作，则容易出现图12中所 示的问题，由于平滑过度导致候选框大小偏离实际需要，无法准确地将运动 员框起来，导致一镜到底的效果变差。这一现象的问题主要出在候选框大小 的平滑上。对于多项式拟合这一平滑方法而言，无论将多项式阶数调整至多 高，都无法应对候选框大小较为急剧的变化(如图12)。从而导致需要较大 候选框时，平滑结果给出的候选框偏小，无法把运动员框起来。
这一问题之所以不会在单人追踪中出现，是因为单人追踪时的候选框全 部是以运动员为中心的，候选框大小的轻微改变并不会影响追踪效果。而在 多人动作对比过程中，候选框经过合并，已经不再以运动员为中心了，很可 能出现运动员位于画面边缘的情况。此时如果候选框大小发生改变，就很容 易导致追踪失败。
为了避免上述情况的发生，可以采用高斯滤波来进行平滑，也即，可以 提取平滑拼接后追踪序列的中心点，作为追踪点序列；通过对所述追踪点序 列进行高斯滤波，对平滑拼接后的追踪序列做平滑处理。这样，在保证曲线 整体变化趋势的同时，除去了输出画面里不必要的抖动。图13示出了，对 于拍摄的25fps视频素材而言，应用了不同窗长的高斯滤波器进行滤波操作 之后得到的实验结果示意图。实验结果证明了高斯滤波的效果，选用窗长为 13的高斯核进行滤波，取得了不错的效果。图14示出了动作对比追踪效果 示意图。
图15是根据本公开一种实施例的目标追踪装置的示意框图。如图15所 示，该装置包括：检测模块151，用于对多相机系统中的长焦相机拍摄的所 有长焦图像帧进行对象检测，并针对每一帧长焦图像，基于对象检测结果构 建检测点集合；追踪模块152，用于基于起始追踪点，从每个检测点集合中 选取对应于起始追踪点的目标追踪点；追踪序列确定模块153，用于将所选 取的目标追踪点连接起来，作为针对起始追踪点的追踪序列。
通过采用上述技术方案，能够在多相机系统下实现较好的追踪效果，而 且既能输出追踪视频，也可以将追踪画面作为小窗结合到广角视频中，以兼 顾细节和大场面。这种全程追踪的能力为多相机系统在更多领域中的应用打 下了基础。
可选地，对于所述多相机系统中的各个所述长焦相机的单相机追踪而言， 所述基于起始追踪点，从每个所述检测点集合中选取对应于所述起始追踪点 的目标追踪点，包括：
基于该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像 中的目标追踪点之间的欧式距离，确定所述下一帧长焦图像中的目标追踪点。
可选地，所述基于该长焦相机的下一帧长焦图像中的各个检测点与上一 帧长焦图像中的目标追踪点之间的欧式距离，确定所述下一帧长焦图像中的 目标追踪点，包括：
若该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中 的目标追踪点之间的欧式距离中的最小欧式距离小于预设阈值，则将最小欧 式距离所对应的检测点作为所述下一帧长焦图像中的目标追踪点，并计算最 小欧式距离所对应的检测点与上一帧长焦图像中的目标追踪点之间的移动 矢量；
若该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中 的目标追踪点之间的欧式距离中的最小欧式距离大于所述预设阈值，则基于 上一帧长焦图像中的目标追踪点及其移动矢量来确定下一帧长焦图像中的 目标追踪点。
可选地，对于所述多相机系统中的长焦相机间的追踪而言，所述追踪模 块152还用于：
利用各个所述长焦相机之间的相对位置关系，将上一所述长焦相机的目 标追踪点的位置转换到下一所述长焦相机的坐标系下，得到下一所述长焦相 机的单相机追踪的起始追踪点。
可选地，所述利用各个所述长焦相机之间的相对位置关系，将上一所述 长焦相机的目标追踪点的位置转换到下一所述长焦相机的坐标系下，得到下 一所述长焦相机的单相机追踪的起始追踪点，是利用下述公式来实现的：
Figure BDA0002860777870000131
Figure BDA0002860777870000132
Figure BDA0002860777870000133
Figure BDA0002860777870000134
Figure BDA0002860777870000135
P′t＝[PNx,PNy]
其中，HFO是上一所述长焦相机到所述多相机系统中的广角相机重映射 的单应性矩阵；HON是所述多相机系统中的广角相机到下一所述长焦相机重 映射的单应性矩阵；
Figure BDA0002860777870000141
是上一所述长焦相机中二维追踪点的齐次坐标、Ptx是 上一所述长焦相机中二维追踪点的横坐标；Pty是上一所述长焦相机中二维 追踪点的纵坐标；
Figure BDA0002860777870000142
所述广角相机中二维追踪点的齐次坐标；
Figure BDA0002860777870000143
是
Figure BDA0002860777870000144
向量 的转置；POz是齐次坐标
Figure BDA0002860777870000145
的z分量；
Figure BDA0002860777870000146
是下一所述长焦相机中二维追踪点 的齐次坐标；
Figure BDA0002860777870000147
是
Figure BDA0002860777870000148
向量的转置；PNz是齐次坐标
Figure BDA0002860777870000149
的z分量；P′t是下一所述长焦相机中二维追踪点的坐标；PNx、PNy分别是下一所述长焦相机中二维 追踪点的横坐标和纵坐标。
可选地，所述将所选取的目标追踪点连接起来，作为针对所述起始追踪 点的追踪序列，包括：以各个所述目标追踪点为中心绘制候选框；对所述候 选框进行平滑处理，得到针对所述起始追踪点的追踪序列。
可选地，对于所述多相机系统中的各个所述长焦相机的单相机追踪而言， 所述对所述候选框进行平滑处理，包括：通过多项式拟合，对所述候选框进 行平滑处理。
可选地，对于所述多相机系统中的长焦相机间的追踪而言，所述对所述 候选框进行平滑处理，包括：基于上一长焦相机与下一长焦相机的焦距，对 下一长焦相机的候选框大小进行调整。
可选地，利用下式对下一长焦相机的候选框大小进行调整：
Figure BDA00028607778700001410
Figure BDA00028607778700001411
Figure BDA00028607778700001412
其中，t是追踪切换时刻下一所述长焦相机的视频帧序号；N是追踪切 换时过渡视频帧的数目；i是从t到N的遍历序号；Wi是第i帧中候选框的宽 度；W0是追踪切换前上一所述长焦相机画面中的候选框宽度；fF是上一所述 长焦相机的焦距；fN是下一所述长焦相机的焦距；Hi是第i帧中候选框的高 度；H0是追踪切换前上一所述长焦相机画面中的候选框高度。
可选地，所述装置还包括合成模块，用于：将不同对象的所述追踪序列 合成到同一画面中。
可选地，所述将不同对象的所述追踪序列合成到同一画面中，包括：将 不同对象的所述追踪序列进行坐标对齐；将坐标对齐后的所述追踪序列平滑 拼接到同一画面中。
可选地，所述合成模块还用于：提取平滑拼接后追踪序列的中心点，作 为追踪点序列；通过对所述追踪点序列进行高斯滤波，对所述平滑拼接后的 追踪序列做平滑处理。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有 关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图16是根据一示例性实施例示出的一种电子设备700的框图。如图16 所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700 还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705 中的一者或多者。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的 目标追踪方法中的全部或部分步骤。存储器702用于存储各种类型的数据以 支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备 700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如 联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任 何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存 取存储器(StaticRandomAccessMemory，简称SRAM)，电可擦除可编程只 读存储器(ElectricallyErasableProgrammableRead-OnlyMemory，简称EEPROM)，可擦除可编程只读存储器 (ErasableProgrammableRead-OnlyMemory，简称EPROM)，可编程只读存 储器(ProgrammableRead-OnlyMemory，简称PROM)，只读存储器 (Read-OnlyMemory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。 多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音 频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风， 麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储 器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输 出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上 述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者 实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无 线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(NearFieldCommunication， 简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该 通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电 路(ApplicationSpecificIntegratedCircuit，简称ASIC)、数字信号处理器(DigitalSignalProcessor，简称DSP)、数字信号处理设备(DigitalSignalProcessingDevice，简称DSPD)、可编程逻辑器件(ProgrammableLogicDevice，简称PLD)、现场可编程门阵列(FieldProgrammableGateArray，简称FPGA)、控制器、微控制器、微处理 器或其他电子元件实现，用于执行上述的目标追踪方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储 介质，该程序指令被处理器执行时实现上述的目标追踪方法的步骤。例如， 该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指 令可由电子设备700的处理器701执行以完成上述的目标追踪方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限 于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开 的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征， 在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的 重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其 不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (15)

1.一种目标追踪方法，其特征在于，包括：
对多相机系统中的长焦相机拍摄的所有长焦图像帧进行对象检测，并针对每一帧长焦图像，基于对象检测结果构建检测点集合；
基于起始追踪点，从每个所述检测点集合中选取对应于所述起始追踪点的目标追踪点；
将所选取的目标追踪点连接起来，作为针对所述起始追踪点的追踪序列。
2.根据权利要求1所述的方法，其特征在于，对于所述多相机系统中的各个所述长焦相机的单相机追踪而言，所述基于起始追踪点，从每个所述检测点集合中选取对应于所述起始追踪点的目标追踪点，包括：
基于该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中的目标追踪点之间的欧式距离，确定所述下一帧长焦图像中的目标追踪点。
3.根据权利要求2所述的方法，其特征在于，所述基于该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中的目标追踪点之间的欧式距离，确定所述下一帧长焦图像中的目标追踪点，包括：
若该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中的目标追踪点之间的欧式距离中的最小欧式距离小于预设阈值，则将最小欧式距离所对应的检测点作为所述下一帧长焦图像中的目标追踪点，并计算最小欧式距离所对应的检测点与上一帧长焦图像中的目标追踪点之间的移动矢量；
若该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中的目标追踪点之间的欧式距离中的最小欧式距离大于所述预设阈值，则基于上一帧长焦图像中的目标追踪点及其移动矢量来确定下一帧长焦图像中的目标追踪点。
4.根据权利要求3所述的方法，其特征在于，对于所述多相机系统中的长焦相机间的追踪而言，所述方法还包括：
利用各个所述长焦相机之间的相对位置关系，将上一所述长焦相机的目标追踪点的位置转换到下一所述长焦相机的坐标系下，得到下一所述长焦相机的单相机追踪的起始追踪点。
5.根据权利要求4所述的方法，其特征在于，所述利用各个所述长焦相机之间的相对位置关系，将上一所述长焦相机的目标追踪点的位置转换到下一所述长焦相机的坐标系下，得到下一所述长焦相机的单相机追踪的起始追踪点，是利用下述公式来实现的：
Figure FDA0002860777860000021
Figure FDA0002860777860000022
Figure FDA0002860777860000023
Figure FDA0002860777860000024
Figure FDA0002860777860000025
P′t＝[PNx，PNy]
其中，HFO是上一所述长焦相机到所述多相机系统中的广角相机重映射的单应性矩阵；HON是所述多相机系统中的广角相机到下一所述长焦相机重映射的单应性矩阵；
Figure FDA0002860777860000026
是上一所述长焦相机中二维追踪点的齐次坐标、Ptx是上一所述长焦相机中二维追踪点的横坐标；Pty是上一所述长焦相机中二维追踪点的纵坐标；
Figure FDA0002860777860000027
所述广角相机中二维追踪点的齐次坐标；
Figure FDA0002860777860000028
是
Figure FDA0002860777860000029
向量的转置；POz是齐次坐标
Figure FDA0002860777860000031
的z分量；
Figure FDA0002860777860000032
是下一所述长焦相机中二维追踪点的齐次坐标；
Figure FDA0002860777860000033
是
Figure FDA0002860777860000034
向量的转置；PNz是齐次坐标
Figure FDA0002860777860000035
的z分量；P′t是下一所述长焦相机中二维追踪点的坐标；PNx、PNy分别是下一所述长焦相机中二维追踪点的横坐标和纵坐标。
6.根据权利要求1所述的方法，其特征在于，所述将所选取的目标追踪点连接起来，作为针对所述起始追踪点的追踪序列，包括：
以各个所述目标追踪点为中心绘制候选框；
对所述候选框进行平滑处理，得到针对所述起始追踪点的追踪序列。
7.根据权利要求6所述的方法，其特征在于，对于所述多相机系统中的各个所述长焦相机的单相机追踪而言，所述对所述候选框进行平滑处理，包括：
通过多项式拟合，对所述候选框进行平滑处理。
8.根据权利要求6所述的方法，其特征在于，对于所述多相机系统中的长焦相机间的追踪而言，所述对所述候选框进行平滑处理，包括：
基于上一长焦相机与下一长焦相机的焦距，对下一长焦相机的候选框大小进行调整。
9.根据权利要求8所述的方法，其特征在于，利用下式对下一长焦相机的候选框大小进行调整：
Figure FDA0002860777860000036
Figure FDA0002860777860000037
Figure FDA0002860777860000041
其中，t是追踪切换时刻下一所述长焦相机的视频帧序号；N是追踪切换时过渡视频帧的数目；i是从t到N的遍历序号；Wi是第i帧中候选框的宽度；W0是追踪切换前上一所述长焦相机画面中的候选框宽度；fF是上一所述长焦相机的焦距；fN是下一所述长焦相机的焦距；Hi是第i帧中候选框的高度；H0是追踪切换前上一所述长焦相机画面中的候选框高度。
10.根据权利要求1至9中任一权利要求所述的方法，其特征在于，所述方法还包括：
将不同对象的所述追踪序列合成到同一画面中。
11.根据权利要求10所述的方法，其特征在于，所述将不同对象的所述追踪序列合成到同一画面中，包括：
将不同对象的所述追踪序列进行坐标对齐；
将坐标对齐后的所述追踪序列平滑拼接到同一画面中。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
提取平滑拼接后追踪序列的中心点，作为追踪点序列；
通过对所述追踪点序列进行高斯滤波，对所述平滑拼接后的追踪序列做平滑处理。
13.一种目标追踪装置，其特征在于，包括：
检测模块，用于对多相机系统中的长焦相机拍摄的所有长焦图像帧进行对象检测，并针对每一帧长焦图像，基于对象检测结果构建检测点集合；
追踪模块，用于基于起始追踪点，从每个所述检测点集合中选取对应于所述起始追踪点的目标追踪点；
追踪序列确定模块，用于将所选取的目标追踪点连接起来，作为针对所述起始追踪点的追踪序列。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-12中任一项所述方法的步骤。
15.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-12中任一项所述方法的步骤。
CN202011562357.0A 2020-12-25 2020-12-25 目标追踪方法、装置、介质和设备 Active CN113012194B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011562357.0A CN113012194B (zh) 2020-12-25 2020-12-25 目标追踪方法、装置、介质和设备
US17/235,237 US11734840B2 (en) 2020-12-25 2021-04-20 Target tracking method, device, medium and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011562357.0A CN113012194B (zh) 2020-12-25 2020-12-25 目标追踪方法、装置、介质和设备

Publications (2)

Publication Number Publication Date
CN113012194A true CN113012194A (zh) 2021-06-22
CN113012194B CN113012194B (zh) 2024-04-09

Family

ID=76383741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011562357.0A Active CN113012194B (zh) 2020-12-25 2020-12-25 目标追踪方法、装置、介质和设备

Country Status (2)

Country Link
US (1) US11734840B2 (zh)
CN (1) CN113012194B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100208941A1 (en) * 2009-02-13 2010-08-19 Broaddus Christopher P Active coordinated tracking for multi-camera systems
CN104751136A (zh) * 2015-03-11 2015-07-01 西安理工大学 一种基于人脸识别的多相机视频事件回溯追踪方法
CN106127802A (zh) * 2016-06-16 2016-11-16 南京邮电大学盐城大数据研究院有限公司 一种运动目标轨迹追踪方法
CN106709938A (zh) * 2016-11-18 2017-05-24 电子科技大学 基于改进tld的多目标追踪方法
CN107194954A (zh) * 2017-03-31 2017-09-22 上海体育学院 多视角视频的球员追踪方法和装置
WO2018135922A1 (ko) * 2017-01-23 2018-07-26 광주과학기술원 다중 카메라 환경에서의 관심 객체를 실시간으로 추적하기 위한 방법 및 시스템
CN108615248A (zh) * 2018-04-27 2018-10-02 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN109191497A (zh) * 2018-08-15 2019-01-11 南京理工大学 一种基于多种信息融合的实时在线多目标跟踪方法
US20190197707A1 (en) * 2017-12-26 2019-06-27 Bull Sas Adaptive system and method for automatic tracking of at least one target in at least one video stream
CN111161313A (zh) * 2019-12-16 2020-05-15 华中科技大学鄂州工业技术研究院 一种视频流中的多目标追踪方法及装置
CN111383252A (zh) * 2018-12-29 2020-07-07 曜科智能科技（上海）有限公司 多相机目标追踪方法、系统、装置及存储介质
CN111954886A (zh) * 2019-06-14 2020-11-17 北京嘀嘀无限科技发展有限公司 对象追踪的系统和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU5573698A (en) * 1997-01-30 1998-08-25 Yissum Research Development Company Of The Hebrew University Of Jerusalem Generalized panoramic mosaic
JP6755713B2 (ja) * 2016-05-25 2020-09-16 キヤノン株式会社 追尾装置、追尾方法及びプログラム
CN109033972A (zh) * 2018-06-27 2018-12-18 上海数迹智能科技有限公司 一种目标检测方法、装置、设备及存储介质
US11809998B2 (en) * 2020-05-20 2023-11-07 Qualcomm Incorporated Maintaining fixed sizes for target objects in frames
CN111833383B (zh) * 2020-07-27 2021-02-09 西南石油大学 二维联合局部位移拟合的区域增长贝叶斯运动追踪方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100208941A1 (en) * 2009-02-13 2010-08-19 Broaddus Christopher P Active coordinated tracking for multi-camera systems
CN104751136A (zh) * 2015-03-11 2015-07-01 西安理工大学 一种基于人脸识别的多相机视频事件回溯追踪方法
CN106127802A (zh) * 2016-06-16 2016-11-16 南京邮电大学盐城大数据研究院有限公司 一种运动目标轨迹追踪方法
CN106709938A (zh) * 2016-11-18 2017-05-24 电子科技大学 基于改进tld的多目标追踪方法
WO2018135922A1 (ko) * 2017-01-23 2018-07-26 광주과학기술원 다중 카메라 환경에서의 관심 객체를 실시간으로 추적하기 위한 방법 및 시스템
CN107194954A (zh) * 2017-03-31 2017-09-22 上海体育学院 多视角视频的球员追踪方法和装置
US20190197707A1 (en) * 2017-12-26 2019-06-27 Bull Sas Adaptive system and method for automatic tracking of at least one target in at least one video stream
CN108615248A (zh) * 2018-04-27 2018-10-02 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN109191497A (zh) * 2018-08-15 2019-01-11 南京理工大学 一种基于多种信息融合的实时在线多目标跟踪方法
CN111383252A (zh) * 2018-12-29 2020-07-07 曜科智能科技（上海）有限公司 多相机目标追踪方法、系统、装置及存储介质
CN111954886A (zh) * 2019-06-14 2020-11-17 北京嘀嘀无限科技发展有限公司 对象追踪的系统和方法
CN111161313A (zh) * 2019-12-16 2020-05-15 华中科技大学鄂州工业技术研究院 一种视频流中的多目标追踪方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XINDI ZHANG; EBROUL IZQUIERDO: "Real-Time Multi-Target Multi-Camera Tracking with Spatial-Temporal Information", 《2019 IEEE VISUAL COMMUNICATIONS AND IMAGE PROCESSING (VCIP)》 *
刘修林: "基于视觉技术的蛋鸡信息监测方法与应用研究", 《CNKI》 *

Also Published As

Publication number Publication date
CN113012194B (zh) 2024-04-09
US20220207754A1 (en) 2022-06-30
US11734840B2 (en) 2023-08-22

Similar Documents

Publication Publication Date Title
US20240069412A1 (en) Image pickup device and method of tracking subject thereof
KR102101438B1 (ko) 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법
JP6918455B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN103988227B (zh) 用于图像捕获目标锁定的方法和装置
CN111888762A (zh) 游戏中镜头视角的调整方法及电子设备
US9747870B2 (en) Method, apparatus, and computer-readable medium for superimposing a graphic on a first image generated from cut-out of a second image
CN105718887A (zh) 基于移动终端摄像头实现动态捕捉人脸摄像的方法及系统
US20060120712A1 (en) Method and apparatus for processing image
US20150201124A1 (en) Camera system and method for remotely controlling compositions of self-portrait pictures using hand gestures
KR20150050172A (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
CN113973190A (zh) 视频虚拟背景图像处理方法、装置及计算机设备
KR20140009489A (ko) 파노라마 포토그래피에 대한 위치 센서-보조 이미지 등록
JP2007129480A (ja) 撮像装置
KR101804199B1 (ko) 입체 파노라마 영상을 생성하는 장치 및 방법
CN110225256B (zh) 设备成像方法、装置、存储介质及电子设备
TW201105122A (en) Guiding method for photographing panorama image
JP2007251429A (ja) 動画撮影装置及びズーム調整方法
JP2020053774A (ja) 撮像装置および画像記録方法
JP2022045887A (ja) 撮影方法及び撮影装置、電子機器、記憶媒体
CN108647633A (zh) 识别跟踪方法、识别跟踪装置和机器人
CN114037923A (zh) 一种目标活动热点图绘制方法、系统、设备及存储介质
JP6959459B2 (ja) 学習装置、前景領域推定装置、学習方法、前景領域推定方法、及び、プログラム
CN113012194A (zh) 目标追踪方法、装置、介质和设备
JP2018116421A (ja) 画像処理装置および画像処理方法
CN115589532A (zh) 防抖处理方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant