CN108848304A - 一种全景视频的目标跟踪方法、装置和全景相机 - Google Patents
一种全景视频的目标跟踪方法、装置和全景相机 Download PDFInfo
- Publication number
- CN108848304A CN108848304A CN201810541553.6A CN201810541553A CN108848304A CN 108848304 A CN108848304 A CN 108848304A CN 201810541553 A CN201810541553 A CN 201810541553A CN 108848304 A CN108848304 A CN 108848304A
- Authority
- CN
- China
- Prior art keywords
- tracking target
- target
- tracking
- scale
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004590 computer program Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000006467 substitution reaction Methods 0.000 claims 1
- 239000011800 void material Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明适用于全景相机领域，提供了一种全景视频的目标跟踪方法、装置和全景相机。所述方法基于多尺度相关滤波器对全景视频的目标进行跟踪，并采用自动电子云台技术。本发明跟踪的鲁棒性更高，可以应对更多的跟踪场景，而且处理速度更快，且可以使跟踪目标始终处于画面中心。
Description
技术领域
本发明属于全景相机领域，尤其涉及一种全景视频的目标跟踪方法、装置和全景相机。
背景技术
目标跟踪是计算机视觉研究中的经典问题，是指计算机、摄像机等根据某种算法对目标进行跟踪和定位，并根据目标的位置和动向采取相应的策略。近些年来，目标跟踪被广泛应用于视频监控、视频编码以及军事工程等各种领域。现有技术的全景相机可以捕获到周围360°视频信息，也有一些技术方案能实现在全景视频中进行目标跟踪，例如申请公布号为CN107315992A公开的“一种基于电子云台的跟踪方法及装置”。然而，该方法是基于特征点的跟踪，无法对一些纹理区域色彩单一，特征点不丰富的场景进行跟踪。
发明内容
本发明的目的在于提供一种全景视频的目标跟踪方法、装置、计算机可读存储介质和全景相机，旨在解决现有技术的全景相机无法对一些纹理区域色彩单一，特征点不丰富的场景进行跟踪的问题。
第一方面，本发明提供了一种全景视频的目标跟踪方法，所述方法包括：
S201、初始化跟踪目标在球面坐标系的位置及尺度，计算电子云台参数，将全景图像映射到当前电子云台视角图像；
S202、在当前电子云台视角图像上基于多尺度相关滤波器进行目标跟踪，并得到新的跟踪目标的位置以及尺度；
S203、将新的跟踪目标的位置映射回全景球面方位坐标；
S204、根据全景球面方位坐标和尺度计算电子云台的参数，映射到当前的电子云台视角图像，得到新的视频帧，然后返回S201，直至全景视频结束。
第二方面，本发明提供了一种全景视频的目标跟踪装置，所述装置包括：
第一映射模块，用于初始化跟踪目标在球面坐标系的位置及尺度，计算电子云台参数，将全景图像映射到当前电子云台视角图像；
跟踪模块，用于在当前电子云台视角图像上基于多尺度相关滤波器进行目标跟踪，并得到新的跟踪目标的位置以及尺度；
第二映射模块，用于将新的跟踪目标的位置映射回全景球面方位坐标；
第三映射模块，用于根据全景球面方位坐标和尺度计算电子云台的参数，映射到当前的电子云台视角图像，得到新的视频帧，然后返回第一映射模块执行步骤，直至全景视频结束。
第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的全景视频的目标跟踪方法的步骤。
第四方面，本发明提供了一种全景相机，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如上述的全景视频的目标跟踪方法的步骤。
在本发明中，由于是基于多尺度相关滤波器对全景视频的目标进行跟踪，跟踪的鲁棒性更高，可以应对更多的跟踪场景，而且处理速度更快；另外，由于通过自动电子云台技术，因此可以使跟踪目标始终处于画面中心。
附图说明
图1是本发明实施例一提供的全景视频的目标跟踪方法的流程图。
图2是本发明实施例二提供的全景视频的目标跟踪装置的功能模块框图。
图3是本发明实施例四提供的全景相机的具体结构框图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1，本发明实施例一提供的全景视频的目标跟踪方法包括以下步骤：需注意的是，若有实质上相同的结果，本发明的全景视频的目标跟踪方法并不以图1所示的流程顺序为限。
S201、初始化跟踪目标在球面坐标系的位置及尺度，计算电子云台参数，将全景图像映射到当前电子云台视角图像，即当前局部的透视视图；
S202、在当前电子云台视角图像上基于多尺度相关滤波器进行目标跟踪，并得到新的跟踪目标的位置以及尺度；
S203、将新的跟踪目标的位置映射回全景球面方位坐标；
S204、根据全景球面方位坐标和尺度计算电子云台的参数，映射到当前的电子云台视角图像，得到新的视频帧，然后返回S201，直至全景视频结束。
在本发明实施例一中，得到新的视频帧之后，所述方法还可以包括以下步骤：
S205、用卡尔曼滤波器对视频帧的中心的坐标点进行平滑，使得输出的全景视频更平稳。
在本发明实施例一中，S201具体可以包括以下步骤：
S2011、初始化跟踪目标在球面坐标系的位置及尺度。
S2012、通过电子云台(ePTZ)旋转虚拟相机到跟踪目标所在视角，调整虚拟相机的焦距，得到初始的电子云台参数初始的电子云台参数使虚拟相机中心对准初始化的跟踪目标的位置，其中，用于控制虚拟相机上下倾斜，用于控制虚拟相机左右移动，用于控制虚拟相机缩放。
电子云台技术是指通过程序设置，在摄像机内部控制镜头的视角和变焦的技术。电子云台技术可以模拟PTZ相机，实现相机的左右移动、上下倾斜以及缩放。电子云台技术包括对跟踪位置的相机运动的平滑和预测。
S2013、根据初始的电子云台参数对全景图像进行重投影变换到当前电子云台视角图像。
在本发明实施例一中，S2013具体可以为：
由对全景图像进行重投影变换到当前电子云台视角图像，其中，是映射到电子云台视角图像中的坐标位置，是全景图像坐标转化为单位圆上三维坐标，Kk是虚拟相机透视矩阵，Rk是世界坐标系到虚拟相机的坐标系， θ＝||q||，为世界坐标系归一化球面坐标，为Pu,v在虚拟相机成像面坐标，用于控制虚拟相机缩放，cx，cy为虚拟相机投影中心，u和v是全景图像的二维坐标，分别归一化到[0,2π],[0,π]，Pu,v代表这个二维坐标映射到三维坐标上的点，qx、qy和qz是q的三个分量；这里只是为了简化公式Rk，用和替代q，可以推导其公式。θ只是参数表示，此处，θ＝||q||，没有具体含义，用替代Φ(q)中的q可以得到此处相机旋转量Rk计算推导方法。
S2014、在当前电子云台视角图像中，接收用户手动选择的跟踪目标的位置。
在本发明实施例一中，所述跟踪目标的位置具体可以是跟踪目标的矩形框其中，表示初始化的跟踪目标的矩形框中心，w0,h0分别表示跟踪目标的矩形框的宽和高，x0和y0是跟踪目标的矩形框的中心坐标；
S2015、根据在当前电子云台视角图像中的跟踪目标的位置计算跟踪目标在球面坐标系的位置及尺度。
在本发明实施例一中，S2015具体可以为：
由计算跟踪目标在球面坐标系的位置及尺度其中，其中，s0是当前检测的跟踪目标的尺度，可以用跟踪目标的宽度表示，f0是虚拟相机的焦距，h0是矩形框的高，用于控制虚拟相机上下倾斜，用于控制虚拟相机左右移动，用于控制虚拟相机缩放。和分别是初始计算的虚拟相机上下倾角和左右移动量。θk、是计算的跟踪目标所在的球面坐标位置，是卡尔曼滤波器平滑的视点坐标位置。θ0、为初始位置，即初始时虚拟相机以跟踪目标为中心。
在本发明实施例一中，S202具体可以包括以下步骤：
S2021、选取跟踪目标邻域范围内平移跟踪目标的矩形框得到预定数量训练样本来训练位置跟踪模型。
在本发明实施例一中，S2021具体包括以下步骤：
将位置跟踪模型的代价函数(代价函数是指用于衡量预测值和真实值之前的差异的函数)转换到傅里叶域：采用梯度下降法可以求解公式(4)的解为
其中，分别表示k时刻跟踪目标第l个训练样本的Hog(Histogram ofOriented Gradient)特征和相应的傅里叶域的特征，gk、Gk分别表示高斯回归矩阵特征和相应的傅里叶域的特征，d表示样本的个数，表示卷积，分别表示k时刻的相关滤波系数和相应的傅里叶域的特征，λ(λ≥0)表示正则项系数，表示Gk的复数共轭，表示的复数共轭。
S2022、根据位置跟踪模型的解来迭代更新位置跟踪模型的参数。
在本发明实施例一中，S2022具体包括以下步骤：
根据位置跟踪模型的解来更新位置跟踪模型的参数如下：
其中，表示第0帧位置跟踪模型的参数，表示k-1时刻的位置跟踪模型的参数，Bk表示k时刻的位置跟踪模型的参数，η表示学习率，表示模型更新快慢，
S2023、根据当前电子云台输出位置和尺寸以及位置跟踪模型的参数预测跟踪目标的平移位置。
在本发明实施例一中，S2023具体包括以下步骤：
由k-1的跟踪目标的位置预测后一帧的电子云台参数，并由S2014计算跟踪目标在当前电子云台参数下的跟踪目标的平面位置以及尺寸
其中，λ表示正则化参数(一般取值0.01)，Bk、都表示跟踪模型在k时刻的模型参数(在S2022计算)，d表示样本数量，F-1表示逆傅里叶变换，表示在k时刻电子云台输出位置和尺寸所确定的跟踪目标区域Hog特征的傅里叶变换，responsek表示K时刻跟踪目标的响应图，即该响应图中每个点的值等于样本与跟踪目标的相似度，找到响应图中像素值最大位置就是找到跟跟踪目标最相似的位置。即：跟踪目标的平移位置pk＝findMax(responsek)。
S2024、根据由尺度变化增大或缩小跟踪目标的矩形框大小获得尺度跟踪模型的训练样本，重复S2021至S2023得到相关滤波的尺度sk。
在本发明实施例一中，S2024具体包括以下步骤：
通过公式中获得方式，即由尺度变化增大或缩小跟踪目标的矩形框大小获得尺度跟踪模型的训练样本，重复S2021至S2023得到相关滤波的尺度sk。
尺度变化是指在保持跟踪目标的平移位置pk不变，跟踪目标的矩形框的宽和高都乘以一个系数，得到一个新的矩形区域，作为新的样本。尺度变化由下面公式给出：
其中，w是指跟踪目标的矩形框的宽，h指跟踪目标的矩形框的高，S表示尺度的个数，这里取33。a＝1.01表示尺度因子。在每个尺度上都可以计算出一个最大相似度，比较找到最大相似度的尺度作为当前跟踪目标的尺度sk。
S2025、根据由跟踪目标的平移位置pk和尺度sk，得到新的跟踪目标的矩形框。
新的跟踪目标的矩形框表示为其中wk-1,hk-1表示第k-1帧的跟踪目标的矩形框的宽和高。
S2026、计算新的跟踪目标的矩形框rectk在球面坐标系的位置及尺度。
实施例二：
请参阅图2，本发明实施例二提供的全景视频的目标跟踪装置包括：
第一映射模块11，用于初始化跟踪目标在球面坐标系的位置及尺度，计算电子云台参数，将全景图像映射到当前电子云台视角图像；
跟踪模块12，用于在当前电子云台视角图像上基于多尺度相关滤波器进行目标跟踪，并得到新的跟踪目标的位置以及尺度；
第二映射模块13，用于将新的跟踪目标的位置映射回全景球面方位坐标；
第三映射模块14，用于根据全景球面方位坐标和尺度计算电子云台的参数，映射到当前的电子云台视角图像，得到新的视频帧，然后返回第一映射模块执行步骤，直至全景视频结束。
本发明实施例二提供的全景视频的目标跟踪装置及本发明实施例一提供的全景视频的目标跟踪方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。
实施例三：
本发明实施例三提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一提供的全景视频的目标跟踪方法的步骤。
实施例四：
图3示出了本发明实施例四提供的全景相机的具体结构框图，一种全景相机100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的全景视频的目标跟踪方法的步骤。
在本发明中，由于是基于多尺度相关滤波器对全景视频的目标进行跟踪，跟踪的鲁棒性更高，可以应对更多的跟踪场景，而且处理速度更快；另外，由于通过自动电子云台技术，因此可以使跟踪目标始终处于画面中心。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种全景视频的目标跟踪方法，其特征在于，所述方法包括：
S201、初始化跟踪目标在球面坐标系的位置及尺度，计算电子云台参数，将全景图像映射到当前电子云台视角图像；
S202、在当前电子云台视角图像上基于多尺度相关滤波器进行目标跟踪，并得到新的跟踪目标的位置以及尺度；
S203、将新的跟踪目标的位置映射回全景球面方位坐标；
S204、根据全景球面方位坐标和尺度计算电子云台的参数，映射到当前的电子云台视角图像，得到新的视频帧，然后返回S201，直至全景视频结束。
2.如权利要求1所述的方法，其特征在于，所述得到新的视频帧之后，所述方法还包括以下步骤：
S205、用卡尔曼滤波器对视频帧的中心的坐标点进行平滑，使得输出的全景视频更平稳。
3.如权利要求1或2所述的方法，其特征在于，S201具体包括：
S2011、初始化跟踪目标在球面坐标系的位置及尺度；
S2012、通过电子云台旋转虚拟相机到跟踪目标所在视角，调整虚拟相机的焦距，得到初始的电子云台参数初始的电子云台参数使虚拟相机中心对准初始化的跟踪目标的位置，其中，用于控制虚拟相机上下倾斜，用于控制虚拟相机左右移动，用于控制虚拟相机缩放；
S2013、根据初始的电子云台参数对全景图像进行重投影变换到当前电子云台视角图像；
S2014、在当前电子云台视角图像中，接收用户手动选择的跟踪目标的位置；
S2015、根据在当前电子云台视角图像中的跟踪目标的位置计算跟踪目标在球面坐标系的位置及尺度。
4.如权利要求3所述的方法，其特征在于，S202具体包括：
S2021、选取跟踪目标邻域范围内平移跟踪目标的矩形框得到预定数量训练样本来训练位置跟踪模型；
S2022、根据位置跟踪模型的解来迭代更新位置跟踪模型的参数；
S2023、根据当前电子云台输出位置和尺寸以及位置跟踪模型的参数预测跟踪目标的平移位置；
S2024、根据由尺度变化增大或缩小跟踪目标的矩形框大小获得尺度跟踪模型的训练样本，重复S2021至S2023得到相关滤波的尺度；
S2025、根据由跟踪目标的平移位置和尺度，得到新的跟踪目标的矩形框；
S2026、计算新的跟踪目标的矩形框在球面坐标系的位置及尺度。
5.如权利要求4所述的方法，其特征在于，所述S2013具体为：
由对全景图像进行重投影变换到当前电子云台视角图像，其中，是映射到电子云台视角图像中的坐标位置，是全景图像坐标转化为单位圆上三维坐标，Kk是虚拟相机透视矩阵，Rk是世界坐标系到虚拟相机的坐标系， θ＝||q||， 为世界坐标系归一化球面坐标，为Pu,v在虚拟相机成像面坐标，用于控制虚拟相机缩放，cx，cy为虚拟相机投影中心，u和v是全景图像的二维坐标，分别归一化到[0,2π],[0,π]，Pu,v代表这个二维坐标映射到三维坐标上的点，qx、qy和qz是q的三个分量；为了简化公式Rk，用和替代q，θ是参数表示，θ＝||q||，没有具体含义，用替代Φ(q)中的q得到相机旋转量Rk计算推导方法；
所述跟踪目标的位置具体是跟踪目标的矩形框其中，表示初始化的跟踪目标的矩形框中心，w0,h0分别表示跟踪目标的矩形框的宽和高，x0和y0是跟踪目标的矩形框的中心坐标；
所述S2015具体为：
由计算跟踪目标在球面坐标系的位置及尺度其中，其中，s0是当前检测的跟踪目标的尺度，用跟踪目标的宽度表示，f0是虚拟相机的焦距，h0是矩形框的高，用于控制虚拟相机上下倾斜，用于控制虚拟相机左右移动，用于控制虚拟相机缩放，和分别是初始计算的虚拟相机上下倾角和左右移动量，θk、是计算的跟踪目标所在的球面坐标位置，是卡尔曼滤波器平滑的视点坐标位置，θ0、为初始位置，即初始时虚拟相机以跟踪目标为中心。
6.如权利要求5所述的方法，其特征在于，所述S2021具体包括：
将位置跟踪模型的代价函数转换到傅里叶域：采用梯度下降法求解公式(4)的解为其中，分别表示k时刻跟踪目标第l个训练样本的Hog特征和相应的傅里叶域的特征，gk、Gk分别表示高斯回归矩阵特征和相应的傅里叶域的特征，d表示样本的个数，表示卷积，分别表示k时刻的相关滤波系数和相应的傅里叶域的特征，λ(λ≥0)表示正则项系数，表示Gk的复数共轭，表示的复数共轭。
7.如权利要求6所述的方法，其特征在于，所述S2022具体包括：
根据位置跟踪模型的解来更新位置跟踪模型的参数如下：
其中，表示第0帧位置跟踪模型的参数，表示k-1时刻的位置跟踪模型的参数，Bk表示k时刻的位置跟踪模型的参数，η表示学习率，表示模型更新快慢。
8.如权利要求7所述的方法，其特征在于，所述S2023具体包括：
由k-1的跟踪目标的位置预测后一帧的电子云台参数，并由S1013计算跟踪目标在当前电子云台参数下的跟踪目标的平面位置以及尺寸
其中，λ表示正则化参数，Bk、都表示跟踪模型在k时刻的模型参数，d表示样本数量，F-1表示逆傅里叶变换，表示在k时刻电子云台输出位置和尺寸所确定的跟踪目标区域Hog特征的傅里叶变换，responsek表示K时刻跟踪目标的响应图，即该响应图中每个点的值等于样本与跟踪目标的相似度，找到响应图中像素值最大位置就是找到跟跟踪目标最相似的位置，即：跟踪目标的平移位置pk＝findMax(responsek)。
9.如权利要求8所述的方法，其特征在于，所述S2024具体包括：
通过公式中获得方式，即由尺度变化增大或缩小跟踪目标的矩形框大小获得尺度跟踪模型的训练样本，重复S2021至S2023得到相关滤波的尺度sk；
尺度变化是指在保持跟踪目标的平移位置pk不变，跟踪目标的矩形框的宽和高都乘以一个系数，得到一个新的矩形区域，作为新的样本；尺度变化由下面公式给出：si＝aiw+aih其中，w是指跟踪目标的矩形框的宽，h指跟踪目标的矩形框的高，S表示尺度的个数，a＝1.01表示尺度因子，在每个尺度上都可以计算出一个最大相似度，比较找到最大相似度的尺度作为当前跟踪目标的尺度sk。
10.一种全景视频的目标跟踪装置，其特征在于，所述装置包括：
第一映射模块，用于初始化跟踪目标在球面坐标系的位置及尺度，计算电子云台参数，将全景图像映射到当前电子云台视角图像；
跟踪模块，用于在当前电子云台视角图像上基于多尺度相关滤波器进行目标跟踪，并得到新的跟踪目标的位置以及尺度；
第二映射模块，用于将新的跟踪目标的位置映射回全景球面方位坐标；
第三映射模块，用于根据全景球面方位坐标和尺度计算电子云台的参数，映射到当前的电子云台视角图像，得到新的视频帧，然后返回第一映射模块执行步骤，直至全景视频结束。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的全景视频的目标跟踪方法的步骤。
12.一种全景相机，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述的全景视频的目标跟踪方法的步骤。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810541553.6A CN108848304B (zh) | 2018-05-30 | 2018-05-30 | 一种全景视频的目标跟踪方法、装置和全景相机 |
| US15/733,866 US11509824B2 (en) | 2018-05-30 | 2019-05-16 | Method for tracking target in panoramic video, and panoramic camera |
| JP2020565936A JP7048764B6 (ja) | 2018-05-30 | 2019-05-16 | パノラマビデオのターゲット追跡方法及びパノラマカメラ |
| PCT/CN2019/087274 WO2019228196A1 (zh) | 2018-05-30 | 2019-05-16 | 一种全景视频的目标跟踪方法和全景相机 |
| EP19810200.6A EP3817360A4 (en) | 2018-05-30 | 2019-05-16 | METHOD OF TRACKING A TARGET IN A PANORAMIC VIDEO AND PANORAMIC CAMERA |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810541553.6A CN108848304B (zh) | 2018-05-30 | 2018-05-30 | 一种全景视频的目标跟踪方法、装置和全景相机 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108848304A true CN108848304A (zh) | 2018-11-20 |
| CN108848304B CN108848304B (zh) | 2020-08-11 |
Family
ID=64211035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810541553.6A Active CN108848304B (zh) | 2018-05-30 | 2018-05-30 | 一种全景视频的目标跟踪方法、装置和全景相机 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11509824B2 (zh) |
| EP (1) | EP3817360A4 (zh) |
| JP (1) | JP7048764B6 (zh) |
| CN (1) | CN108848304B (zh) |
| WO (1) | WO2019228196A1 (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197126A (zh) * | 2019-05-06 | 2019-09-03 | 深圳岚锋创视网络科技有限公司 | 一种目标追踪方法、装置及便携式终端 |
| WO2019228196A1 (zh) * | 2018-05-30 | 2019-12-05 | 深圳岚锋创视网络科技有限公司 | 一种全景视频的目标跟踪方法和全景相机 |
| CN110570448A (zh) * | 2019-09-07 | 2019-12-13 | 深圳岚锋创视网络科技有限公司 | 一种全景视频的目标追踪方法、装置及便携式终端 |
| CN111091117A (zh) * | 2019-12-31 | 2020-05-01 | 北京城市网邻信息技术有限公司 | 用于二维全景图像的目标检测方法、装置、设备、介质 |
| CN111182218A (zh) * | 2020-01-07 | 2020-05-19 | 影石创新科技股份有限公司 | 全景视频处理方法、装置、设备及存储介质 |
| CN111325077A (zh) * | 2018-12-17 | 2020-06-23 | 同方威视技术股份有限公司 | 一种图像显示方法、装置、设备及计算机存储介质 |
| CN111355887A (zh) * | 2020-02-26 | 2020-06-30 | 深圳英飞拓科技股份有限公司 | 一种高速球型摄像机目标跟踪聚焦的优化方法 |
| CN111369684A (zh) * | 2019-12-10 | 2020-07-03 | 杭州海康威视系统技术有限公司 | 目标跟踪方法、装置、设备及存储介质 |
| CN113743380A (zh) * | 2021-11-03 | 2021-12-03 | 江苏博子岛智能产业技术研究院有限公司 | 一种基于视频图像动态监测的主动跟踪方法 |
| CN115082516A (zh) * | 2021-03-15 | 2022-09-20 | 北京字跳网络技术有限公司 | 一种目标跟踪方法、装置、设备及介质 |
| CN116055898A (zh) * | 2023-01-04 | 2023-05-02 | 深圳闪新软件技术服务有限公司 | 一种回收终端摄像头控制系统 |
| JP7492012B2 (ja) | 2020-01-07 | 2024-05-28 | 影石創新科技股▲ふん▼有限公司 | パノラマビデオ編集方法、装置、機器及び記憶媒体 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112073748B (zh) * | 2019-06-10 | 2022-03-18 | 北京字节跳动网络技术有限公司 | 全景视频的处理方法、装置及存储介质 |
| CN111612809B (zh) * | 2020-05-28 | 2023-04-07 | 华侨大学 | 一种结合时空正则化约束的视觉跟踪定位方法 |
| CN112468828B (zh) * | 2020-11-25 | 2022-06-17 | 深圳大学 | 全景视频的码率分配方法、装置、移动终端及存储介质 |
| JP2022175287A (ja) * | 2021-05-13 | 2022-11-25 | キヤノン株式会社 | 撮像装置、その制御方法及びプログラム |
| CN116630412A (zh) * | 2022-02-10 | 2023-08-22 | 腾讯科技（深圳）有限公司 | 位姿处理方法、装置、电子设备、存储介质及程序产品 |
| CN114882078A (zh) * | 2022-05-11 | 2022-08-09 | 合肥中科深谷科技发展有限公司 | 一种基于位置预测的视觉跟踪方法 |
| CN116228817B (zh) * | 2023-03-10 | 2023-10-03 | 东南大学 | 一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法 |
| CN116596958B (zh) * | 2023-07-18 | 2023-10-10 | 四川迪晟新达类脑智能技术有限公司 | 一种基于在线样本增广的目标跟踪方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130002866A1 (en) * | 2010-12-20 | 2013-01-03 | International Business Machines Corporation | Detection and Tracking of Moving Objects |
| CN107025659A (zh) * | 2017-04-11 | 2017-08-08 | 西安理工大学 | 基于单位球面坐标映射的全景目标跟踪方法 |
| CN107093188A (zh) * | 2017-04-12 | 2017-08-25 | 湖南源信光电科技股份有限公司 | 一种基于全景摄像机和高速球机的智能联动与跟踪方法 |
| CN107315992A (zh) * | 2017-05-05 | 2017-11-03 | 深圳电航空技术有限公司 | 一种基于电子云台的跟踪方法及装置 |
| CN107452022A (zh) * | 2017-07-20 | 2017-12-08 | 西安电子科技大学 | 一种视频目标跟踪方法 |
| CN107507230A (zh) * | 2017-08-31 | 2017-12-22 | 成都观界创宇科技有限公司 | 应用于全景图像的目标跟踪方法及全景相机 |
| CN107862704A (zh) * | 2017-11-06 | 2018-03-30 | 广东工业大学 | 一种目标跟踪方法、系统及其使用的云台相机 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4332580B2 (ja) | 1997-04-21 | 2009-09-16 | ソニー株式会社 | 制御装置および制御方法、並びに監視システム |
| US8335345B2 (en) * | 2007-03-05 | 2012-12-18 | Sportvision, Inc. | Tracking an object with multiple asynchronous cameras |
| KR102084253B1 (ko) | 2013-11-20 | 2020-03-03 | 한국전자통신연구원 | 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치 및 방법 |
| MY168810A (en) * | 2014-05-05 | 2018-12-04 | Mimos Berhad | Method for providing multiple perspective views and multiple pan-tilt-zoom tracking using a single camera |
| CN104301669A (zh) * | 2014-09-12 | 2015-01-21 | 重庆大学 | 基于双摄像头协同的可疑目标检测跟踪与识别方法 |
| CN104751486B (zh) * | 2015-03-20 | 2017-07-11 | 安徽大学 | 一种多ptz相机的运动目标接力跟踪算法 |
| US10839601B2 (en) | 2016-03-31 | 2020-11-17 | Sony Corporation | Information processing device, information processing method, and program |
| CN106991704A (zh) | 2017-03-24 | 2017-07-28 | 深圳市圆周率软件科技有限责任公司 | 一种全景相机的多场景标定方法及系统 |
| CN108848304B (zh) | 2018-05-30 | 2020-08-11 | 影石创新科技股份有限公司 | 一种全景视频的目标跟踪方法、装置和全景相机 |
-
2018
- 2018-05-30 CN CN201810541553.6A patent/CN108848304B/zh active Active
-
2019
- 2019-05-16 JP JP2020565936A patent/JP7048764B6/ja active Active
- 2019-05-16 US US15/733,866 patent/US11509824B2/en active Active
- 2019-05-16 WO PCT/CN2019/087274 patent/WO2019228196A1/zh unknown
- 2019-05-16 EP EP19810200.6A patent/EP3817360A4/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130002866A1 (en) * | 2010-12-20 | 2013-01-03 | International Business Machines Corporation | Detection and Tracking of Moving Objects |
| CN107025659A (zh) * | 2017-04-11 | 2017-08-08 | 西安理工大学 | 基于单位球面坐标映射的全景目标跟踪方法 |
| CN107093188A (zh) * | 2017-04-12 | 2017-08-25 | 湖南源信光电科技股份有限公司 | 一种基于全景摄像机和高速球机的智能联动与跟踪方法 |
| CN107315992A (zh) * | 2017-05-05 | 2017-11-03 | 深圳电航空技术有限公司 | 一种基于电子云台的跟踪方法及装置 |
| CN107452022A (zh) * | 2017-07-20 | 2017-12-08 | 西安电子科技大学 | 一种视频目标跟踪方法 |
| CN107507230A (zh) * | 2017-08-31 | 2017-12-22 | 成都观界创宇科技有限公司 | 应用于全景图像的目标跟踪方法及全景相机 |
| CN107862704A (zh) * | 2017-11-06 | 2018-03-30 | 广东工业大学 | 一种目标跟踪方法、系统及其使用的云台相机 |
Non-Patent Citations (1)
| Title |
|---|
| 张桃明: "《视频监控领域基于自适应学习因子与积分通道特征的核相关目标跟踪算法》", 《计算机测量与控制》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019228196A1 (zh) * | 2018-05-30 | 2019-12-05 | 深圳岚锋创视网络科技有限公司 | 一种全景视频的目标跟踪方法和全景相机 |
| US11509824B2 (en) | 2018-05-30 | 2022-11-22 | Arashi Vision Inc. | Method for tracking target in panoramic video, and panoramic camera |
| CN111325077A (zh) * | 2018-12-17 | 2020-06-23 | 同方威视技术股份有限公司 | 一种图像显示方法、装置、设备及计算机存储介质 |
| CN111325077B (zh) * | 2018-12-17 | 2024-04-12 | 同方威视技术股份有限公司 | 一种图像显示方法、装置、设备及计算机存储介质 |
| CN110197126A (zh) * | 2019-05-06 | 2019-09-03 | 深圳岚锋创视网络科技有限公司 | 一种目标追踪方法、装置及便携式终端 |
| WO2021043295A1 (zh) * | 2019-09-07 | 2021-03-11 | 影石创新科技股份有限公司 | 一种全景视频的目标追踪方法、装置及便携式终端 |
| CN110570448A (zh) * | 2019-09-07 | 2019-12-13 | 深圳岚锋创视网络科技有限公司 | 一种全景视频的目标追踪方法、装置及便携式终端 |
| CN111369684A (zh) * | 2019-12-10 | 2020-07-03 | 杭州海康威视系统技术有限公司 | 目标跟踪方法、装置、设备及存储介质 |
| CN111369684B (zh) * | 2019-12-10 | 2023-09-01 | 杭州海康威视系统技术有限公司 | 目标跟踪方法、装置、设备及存储介质 |
| CN111091117A (zh) * | 2019-12-31 | 2020-05-01 | 北京城市网邻信息技术有限公司 | 用于二维全景图像的目标检测方法、装置、设备、介质 |
| CN111182218A (zh) * | 2020-01-07 | 2020-05-19 | 影石创新科技股份有限公司 | 全景视频处理方法、装置、设备及存储介质 |
| JP7492012B2 (ja) | 2020-01-07 | 2024-05-28 | 影石創新科技股▲ふん▼有限公司 | パノラマビデオ編集方法、装置、機器及び記憶媒体 |
| CN111355887A (zh) * | 2020-02-26 | 2020-06-30 | 深圳英飞拓科技股份有限公司 | 一种高速球型摄像机目标跟踪聚焦的优化方法 |
| CN115082516A (zh) * | 2021-03-15 | 2022-09-20 | 北京字跳网络技术有限公司 | 一种目标跟踪方法、装置、设备及介质 |
| CN113743380A (zh) * | 2021-11-03 | 2021-12-03 | 江苏博子岛智能产业技术研究院有限公司 | 一种基于视频图像动态监测的主动跟踪方法 |
| CN113743380B (zh) * | 2021-11-03 | 2022-02-15 | 江苏博子岛智能产业技术研究院有限公司 | 一种基于视频图像动态监测的主动跟踪方法 |
| CN116055898A (zh) * | 2023-01-04 | 2023-05-02 | 深圳闪新软件技术服务有限公司 | 一种回收终端摄像头控制系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021527865A (ja) | 2021-10-14 |
| US20210227132A1 (en) | 2021-07-22 |
| WO2019228196A1 (zh) | 2019-12-05 |
| US11509824B2 (en) | 2022-11-22 |
| JP7048764B2 (ja) | 2022-04-05 |
| EP3817360A1 (en) | 2021-05-05 |
| JP7048764B6 (ja) | 2022-05-16 |
| EP3817360A4 (en) | 2022-03-16 |
| CN108848304B (zh) | 2020-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108848304A (zh) | 一种全景视频的目标跟踪方法、装置和全景相机 | |
| Christiansen et al. | Unsuperpoint: End-to-end unsupervised interest point detector and descriptor | |
| Aberman et al. | Deep video‐based performance cloning | |
| Wang et al. | 360sd-net: 360 stereo depth estimation with learnable cost volume | |
| Kolsch et al. | Fast 2d hand tracking with flocks of features and multi-cue integration | |
| Georghiades et al. | From few to many: Generative models for recognition under variable pose and illumination | |
| CN108596827A (zh) | 三维人脸模型生成方法、装置及电子设备 | |
| CN106875431A (zh) | 具有移动预测的图像追踪方法及扩增实境实现方法 | |
| CN103632126A (zh) | 人脸跟踪方法及装置 | |
| Yue | Human motion tracking and positioning for augmented reality | |
| Xi et al. | Learning temporal-correlated and channel-decorrelated Siamese networks for visual tracking | |
| Shan et al. | Discrete spherical image representation for cnn-based inclination estimation | |
| Zhang et al. | NDF: Neural deformable fields for dynamic human modelling | |
| Liu et al. | Animatable 3D Gaussian: Fast and High-Quality Reconstruction of Multiple Human Avatars | |
| CN107240149A (zh) | 基于图像处理的物体三维模型构建方法 | |
| Rothlübbers et al. | MICCAI CLUST 2014-Bayesian Real-Time Liver Feature Ultrasound Tracking | |
| Sheng et al. | High-quality video generation from static structural annotations | |
| Meng et al. | Motion capture and retargeting of fish by monocular camera | |
| CN112766120B (zh) | 基于深度点云的三维人体姿态估计方法与系统 | |
| Woodfill | Motion vision and tracking for robots in dynamic, unstructured environments | |
| Sabbi et al. | Particle filter based object tracking in a stereo vision system | |
| Meng et al. | Real-time fish animation generation by monocular camera | |
| Yang | Multi-feature target tracking algorithm of bionic 3D image in virtual reality | |
| Hui et al. | Determining shape and motion from non-overlapping multi-camera rig: A direct approach using normal flows | |
| CN108596950A (zh) | 一种基于主动漂移矫正的刚体目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 518000 Guangdong, Shenzhen, Baoan District Xin'an street, Hai Xiu Road 23, 6 A 601603605, long Kong Century Towers, 601603605 Applicant after: Yingshi Innovation Technology Co., Ltd Address before: 518000 Guangdong, Shenzhen, Baoan District Xin'an street, Hai Xiu Road 23, 6 A 601603605, long Kong Century Towers, 601603605 Applicant before: SHENZHEN ARASHI VISION Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |