CN111199179B - 目标对象的跟踪方法、终端设备及介质 - Google Patents
目标对象的跟踪方法、终端设备及介质 Download PDFInfo
- Publication number
- CN111199179B CN111199179B CN201811386659.XA CN201811386659A CN111199179B CN 111199179 B CN111199179 B CN 111199179B CN 201811386659 A CN201811386659 A CN 201811386659A CN 111199179 B CN111199179 B CN 111199179B
- Authority
- CN
- China
- Prior art keywords
- model
- reliability
- target tracking
- target
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000008569 process Effects 0.000 claims abstract description 29
- 238000004590 computer program Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 102400000832 Antiplasmin-cleaving enzyme FAP, soluble form Human genes 0.000 description 3
- 101800000492 Antiplasmin-cleaving enzyme FAP, soluble form Proteins 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于计算机视觉技术领域，提供了一种目标对象的跟踪方法、终端设备及介质，该方法包括：分别获取目标对象在多个视角下的视角图像；为每一视角图像初始化对应的一个目标跟踪模型；加载待跟踪的视频图像序列；在加载每一图像帧的过程中，从各个目标跟踪模型中选取出可靠性模型；可靠性模型为可靠性得分满足预设条件的目标跟踪模型；基于可靠性模型，定位当前图像帧中的目标对象。本发明能够基于多视角的目标跟踪模型来实现对目标对象的跟踪监测，保证了在相对长的时间段内能够达到较好的跟踪效果；通过在加载每一图像帧的过程中，从各个目标跟踪模型中选取出可靠性模型，并基于该可靠性模型来定位目标对象，提高了对目标对象的跟踪准确率。
Description
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种目标对象的跟踪方法、终端设备及计算机可读存储介质。
背景技术
目标跟踪是计算机视觉中的一个重要研究方向，有着广泛的应用，如视频监控、人机交互以及无人驾驶等。目前常用的目标跟踪方法包括相关滤波类的方法和深度学习类的方法，其基本能实现对目标对象的可靠跟踪。
当出现平面外旋转等情况时，目标对象的外形以及视角均会发生改变，这种情况下极易跟丢目标对象。因此，现有目标跟踪方法只能保证一个短时的跟踪效果，例如，保证在200帧图像或10s内能够准确地跟踪目标对象。然而，在机器人跟拍或者视频监控等多类应用场景中，都需要对目标对象进行更长时间的跟踪，如跟踪一分钟以上。因此，若采用现有的目标对象跟踪方法，则容易产生跟踪错误，降低了对目标对象的跟踪准确率，难以满足日益增长的用户需求。
发明内容
有鉴于此，本发明实施例提供了一种目标对象的跟踪方法、终端设备及计算机可读存储介质，以解决现有技术中难以在长时间内实现对目标对象的可靠跟踪的问题。
本发明实施例的第一方面提供了一种目标对象的跟踪方法，包括：
分别获取目标对象在多个视角下的视角图像；
为每一所述视角图像初始化对应的一个目标跟踪模型；
加载待跟踪的视频图像序列，所述视频图像序列包含依序排列的多个图像帧；
在加载每一所述图像帧的过程中，从各个所述目标跟踪模型中选取出可靠性模型；所述可靠性模型为可靠性得分满足预设条件的所述目标跟踪模型；
基于所述可靠性模型，定位当前所述图像帧中的所述目标对象。
本发明实施例的第二方面提供了一种目标对象的跟踪装置，包括：
获取单元，用于分别获取目标对象在多个视角下的视角图像；
初始化单元，用于为每一所述视角图像初始化对应的一个目标跟踪模型；
加载单元，用于加载待跟踪的视频图像序列，所述视频图像序列包含依序排列的多个图像帧；
选取单元，用于在加载每一所述图像帧的过程中，从各个所述目标跟踪模型中选取出可靠性模型；所述可靠性模型为可靠性得分满足预设条件的所述目标跟踪模型；
定位单元，用于基于所述可靠性模型，定位当前所述图像帧中的所述目标对象。
本发明实施例的第三方面提供了一种终端设备，包括存储器以及处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
分别获取目标对象在多个视角下的视角图像；
为每一所述视角图像初始化对应的一个目标跟踪模型；
加载待跟踪的视频图像序列，所述视频图像序列包含依序排列的多个图像帧；
在加载每一所述图像帧的过程中，从各个所述目标跟踪模型中选取出可靠性模型；所述可靠性模型为可靠性得分满足预设条件的所述目标跟踪模型；
基于所述可靠性模型，定位当前所述图像帧中的所述目标对象。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
分别获取目标对象在多个视角下的视角图像；
为每一所述视角图像初始化对应的一个目标跟踪模型；
加载待跟踪的视频图像序列，所述视频图像序列包含依序排列的多个图像帧；
在加载每一所述图像帧的过程中，从各个所述目标跟踪模型中选取出可靠性模型；所述可靠性模型为可靠性得分满足预设条件的所述目标跟踪模型；
基于所述可靠性模型，定位当前所述图像帧中的所述目标对象。
本发明实施例中，通过预先获取目标对象在多个视角下的视角图像，为每一视角图像初始化一个目标跟踪模型，保证了在目标对象的跟踪过程中，即使是在目标对象的外形以及视角发生了改变的情况下，也能基于多视角的目标跟踪模型来实现对目标对象的跟踪监测，保证了在相对长的时间段内也能够达到较好的跟踪效果；通过在加载每一图像帧的过程中，从各个目标跟踪模型中选取出可靠性模型，并基于该可靠性模型来定位目标对象，提高了对目标对象的跟踪准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的目标对象的跟踪方法的实现流程图；
图2是本发明实施例提供的目标对象的跟踪方法S104的具体实现流程图；
图3是本发明实施例提供的目标对象的跟踪方法S104的另一具体实现流程图；
图4是本发明实施例提供的目标对象的跟踪方法S104的又一具体实现流程图；
图5是本发明实施例提供的目标对象的跟踪方法的实现流程图；
图6是本发明实施例提供的目标对象的跟踪装置的结构框图；
图7是本发明实施例提供的终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
图1示出了本发明实施例提供的目标对象的跟踪方法的实现流程，该方法流程包括步骤S101至S105。各步骤的具体实现原理如下：
S101：分别获取目标对象在多个视角下的视角图像。
本发明实施例中，目标对象为视频流数据中需要执行目标跟踪操作的物体。目标跟踪是指，在视频初始帧中，选定待跟踪物体的初始化矩形框，并在后续的图像帧中，持续在上一图像帧物体的位置附近预测新的物体矩形框的过程，从而保证了在整个视频流数据的加载过程中，都可以实时确定目标对象在图像帧中的定位。
对于任意的视频流数据，若需要对其包含的一目标对象进行跟踪，则在加载该视频流数据之前，获取用户预先录入的关于该目标对象的视角图像。其中，视角图像为目标对象的不同视角下所拍摄得到的图像。
优选地，对于一个目标对象来说，其在不同的视角下会存在不同的视角表观差异，因此，确定出目标对象表观差异较大的多个视角，并根据接收到的拍摄指令，获取其中各个视角所对应的视角图像。
S102：为每一所述视角图像初始化对应的一个目标跟踪模型。
本发明实施例中，通过预设的图像检测算法，分别在每一张视角图像中框选出包含目标对象的矩形框，并根据每一张视角图像及其包含的矩形框，初始化生成对应的一个目标跟踪模型。初始化目标跟踪模型的方法可以采用单目标跟踪方法，如相关滤波类的方法，或者颜色直方图统计的方法等。
S103：加载待跟踪的视频图像序列，所述视频图像序列包含依序排列的多个图像帧。
视频图像序列包含依序排列的多个图像帧，其具体为对任一物体的运动过程进行录制后所得到的视频流数据。
本发明实施例中，加载预先存储的视频图像序列，以依序展示其所包含的每一图像帧，并对视频图像序列中的目标对象进行跟踪检测。
S104：在加载每一所述图像帧的过程中，从各个所述目标跟踪模型中选取出可靠性模型；所述可靠性模型为可靠性得分满足预设条件的所述目标跟踪模型。
在加载每一图像帧的过程中，若检测到当前图像帧为视频图像序列的初始帧，则接收用户发出的目标对象选取指令，以从初始帧中确定出目标对象及其所处的图像位置。
对于上述初始化完成的各个目标跟踪模型，调用关于每一目标跟踪模型的更新模块，使得目标跟踪模型根据当前图像帧中的图像信息，更新其预测的矩形框以及计算对应的可靠性得分。其中，矩形框用于定位并框选图像帧中的目标对象。
本发明实施例中，目标跟踪模型所采用的更新策略为相关滤波与颜色直方图统计融合的方法，具体包括：
f(x)＝γtmplftmpl(x)+γhistfhist(x)
其中，ftmpl(x)为相关滤波的响应图，fhist(x)为颜色直方图的概率响应图，γtmpl和γhist为预设的融合系数。优选地，取γtmpl为0.7，γhist为0.3。
每个目标跟踪模型的可靠性得分为：
scorei＝αapceAPCEi+αmaxFi,max
其中，上述Fi,min、Fi,max以及Fi,w,h分别表示第i个目标跟踪模型的响应图在坐标最低点、坐标最高点和在坐标位置(w,h)的值。APCEi反应相应图的震荡程度，当APCE突然减小时，就是目标被遮挡，或者目标丢失的情况。
根据各个目标跟踪模型的可靠性得分，选取出其中可靠性得分满足预设条件的一个目标跟踪模型。
具体地，作为本发明的一个实施例，图2示出了本发明实施例提供的目标对象的跟踪方法S104的具体实现流程，详述如下：
S1041：在加载每一所述图像帧的过程中，获取各个所述目标跟踪模型的可靠性得分。
在依序加载每一张图像帧时，调用多个目标跟踪模型。分别获取每一目标跟踪模型在当前图像帧中所预测的矩形框，并基于该矩形框计算目标跟踪模型的可靠性得分。
本发明实施例中，判断每一目标跟踪模型的可靠性得分是否大于预设阈值，并筛选出可靠性得分大于预设阈值的目标跟踪模型。优选地，上述预设阈值为0.6。
S1042：若存在所述可靠性得分大于预设阈值的多个所述目标跟踪模型，则将所述可靠性得分最高的所述目标跟踪模型选取为可靠性模型。
若筛选得到的目标跟踪模型的数目为一个，则将该目标跟踪模型确定为可靠性模型。
若筛选得到的目标跟踪模型的数目为两个以上，则进一步获取其中可靠性得分最高的目标跟踪模型，并将该目标跟踪模型确定为可靠性模型。
作为本发明的一个实施例，图3示出了本发明实施例提供的目标对象的跟踪方法S104的另一具体实现流程。如图3所述，在上述S1041之后，还包括：
S1043：若不存在所述可靠性得分大于预设阈值的所述目标跟踪模型，则触发关于当前图像帧的目标对象跟踪失败事件。
如果各个目标跟踪模型中，可靠性得分的最大值均不超过预设阈值，则判断目标对象不存在于当前图像帧中，目标对象跟踪失败，此时，触发关于当前图像帧的目标对象跟踪失败事件，包括：隐藏显示当前图像帧中用于框选目标对象的矩形框，或者，发出目标对象跟踪失败提示信息。上述目标对象跟踪失败提示信息包括但不限于语音提示信息、图形提示信息以及文本提示信息等。
本发明实施例中，通过计算各个目标跟踪模型的可靠性得分，并在每一可靠性得分均小于预设阈值的情况下，触发关于当前图像帧的目标对象跟踪失败事件，保证了用户能够根据事件所关联的提示信息，确定当前图像帧是否存在目标对象；由于该过程不会利用可靠性得分较低的目标跟踪模型来预测目标对象的矩形框，避免了因可靠性较低的目标跟踪模型的使用而定位出图像帧中错误的目标对象，故提高了对目标对象的跟踪准确率，
作为本发明的一个实施例，图4示出了本发明实施例提供的目标对象的跟踪方法S104的又一具体实现流程。如图4所述，上述S104包括：
S1044：若当前加载的图像帧并非初始帧，则获取与上一图像帧对应的所述可靠性模型。
本发明实施例中，在加载视频图像序列的过程中，判断当前加载的图像帧是否为初始帧。若当前加载的图像帧为初始帧，则确定预先初始化完成的各个目标跟踪模型。预测每一目标跟踪模型关于目标对象的矩形框，并计算此时的可靠性得分。选取出可靠性得分大于预设阈值且可靠性得分最大的一个目标跟踪模型作为可靠性模型。
若当前加载的图像帧为非初始帧，则判断当前时刻是否已经存在有可靠性模型，即，判断在加载上一图像帧时，是否存在已确定出的可靠性模型。若判断结果为是，执行步骤S1045；若判断结果为否，则返回执行上述当当前加载的图像帧为初始帧时所需执行的步骤，直至确定得出靠性得分最大的目标跟踪模型。
S1045：获取所述可靠性模型在当前图像帧中所更新的矩形框；所述矩形框用于定位所述图像帧中的所述目标对象。
S1046：计算所述矩形框的可靠性得分。
对于当前时刻已经存在的可靠性模型，通过预设算法，获取其在当前图像帧中所更新的矩形框，以对图像帧中的目标对象进行定位，并通过预设的与可靠性得分相关的计算方法，获取与该矩形框以及与该可靠性模型对应的可靠性得分。与可靠性得分相关的计算方法例如可以是上述相关滤波与颜色直方图统计融合的方法等。
本发明实施例中，判断计算得到的可靠性得分是否大于预设阈值，若是，则执行S1047；若否，则返回执行上述当当前加载的图像帧为初始帧时所需执行的步骤，直至确定得出靠性得分最大的目标跟踪模型。
S1047：若所述可靠性得分大于预设阈值，则将该可靠性模型继承为当前图像帧对应的可靠性模型。
若上一图像帧所对应的可靠性模型在当前图像帧中的可靠性得分大于预设阈值，则表示其满足预设条件，符合目标对象的检测准确度，因此，将该可靠性模型确定为当前图像帧对象的可靠性模型，并停止对其余各个目标跟踪模型进行更新及运算。
本发明实施例中，在跟踪各个视频图像帧中的目标对象时，可能需要更新多个目标跟踪模型的矩形框预测位置，但在大部分情况之下，相邻出现的两个图像帧所对应的可靠性模型通常都具有较高的关联度，因此，若当前图像帧并非初始帧，则通过监测上一次所确定出的可靠性模型的实时可靠性得分，并在可靠性得分大于预设阈值时，将该可靠性模型继承为当前图像帧对应的可靠性模型，能够保证了绝大部分图像帧只需要更新一个目标跟踪模型的预测矩形框，便能快速确定可靠性模型，而无需遍历各个目标跟踪模型，因此，在提高跟踪效果的情况下，也保证了目标对象的跟踪实时性。
S105：基于所述可靠性模型，定位当前所述图像帧中的所述目标对象。
本发明实施例中未提到的步骤实现原理与上述各个实施例中的步骤实现原理相同，因此不再一一赘述。
本发明实施例中，通过预先获取目标对象在多个视角下的视角图像，为每一视角图像初始化一个目标跟踪模型，保证了在目标对象的跟踪过程中，即使是在目标对象的外形以及视角发生了改变的情况下，也能基于多视角的目标跟踪模型来实现对目标对象的跟踪监测，保证了在相对长的时间段内也能够达到较好的跟踪效果；通过在加载每一图像帧的过程中，从各个目标跟踪模型中选取出可靠性模型，并基于该可靠性模型来定位目标对象，提高了对目标对象的跟踪准确率。
作为本发明的另一个实施例，如图5所示，在上述S105之后，还包括：
S106：根据当前加载的所述图像帧，对选取出的所述目标跟踪模型进行更新训练。
本发明实施例中，在获取可靠性模型所定位得到的矩形框后，以该矩形框的更新结果来作为当前图像帧的最终预测矩形框，并于当前图像帧来再次更新该可靠性模型。
示例性地，上述可靠性模型的模型更新策略包括：
其中，为当前时刻t的相关滤波的模型，/>为当前时刻t的颜色直方图的模型，为当前帧的相关滤波模型，/>为当前帧的颜色概率模型。ηtmp1为预设的更新速率。优选地，本发明实施例中的更新速率为0.01。
本发明实施例中，在实时定位可靠性模型的图像帧后，再基于该图像帧来更新当前时刻所调用的目标跟踪模型，使得该目标跟踪模型能够基于数量更多的样本数据进行模型的不断调整及更新，保证了下一次再起调用该目标跟踪模型时，能够得到更好的目标对象跟踪效果。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
对应于本发明实施例所提供的目标对象的跟踪方法，图6示出了本发明实施例提供的目标对象的跟踪装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分。
参照图6，该装置包括：
获取单元61，用于分别获取目标对象在多个视角下的视角图像。
初始化单元62，用于为每一所述视角图像初始化对应的一个目标跟踪模型。
加载单元63，用于加载待跟踪的视频图像序列，所述视频图像序列包含依序排列的多个图像帧。
选取单元64，用于在加载每一所述图像帧的过程中，从各个所述目标跟踪模型中选取出可靠性模型；所述可靠性模型为可靠性得分满足预设条件的所述目标跟踪模型。
定位单元65，用于基于所述可靠性模型，定位当前所述图像帧中的所述目标对象。
可选地，所述目标对象的跟踪装置还包括：
训练单元，用于根据当前加载的所述图像帧，对选取出的所述目标跟踪模型进行更新训练。
可选地，所述选取单元64包括：
第一获取子单元，用于在加载每一所述图像帧的过程中，获取各个所述目标跟踪模型的可靠性得分。
选取子单元，用于若存在所述可靠性得分大于预设阈值的多个所述目标跟踪模型，则将所述可靠性得分最高的所述目标跟踪模型选取为可靠性模型。
可选地，所述选取单元64还包括：
触发子单元，用于若不存在所述可靠性得分大于预设阈值的所述目标跟踪模型，则触发关于当前图像帧的目标对象跟踪失败事件。
可选地，所述选取单元64包括：
第二获取子单元，用于若当前加载的图像帧并非初始帧，则获取与上一图像帧对应的所述可靠性模型。
第三获取子单元，用于获取所述可靠性模型在当前图像帧中所更新的矩形框；所述矩形框用于定位所述图像帧中的所述目标对象。
计算子单元，用于计算所述矩形框的可靠性得分。
继承子单元，用于若所述可靠性得分大于预设阈值，则将该可靠性模型继承为当前图像帧对应的可靠性模型。
本发明实施例中，通过预先获取目标对象在多个视角下的视角图像，为每一视角图像初始化一个目标跟踪模型，保证了在目标对象的跟踪过程中，即使是在目标对象的外形以及视角发生了改变的情况下，也能基于多视角的目标跟踪模型来实现对目标对象的跟踪监测，保证了在相对长的时间段内也能够达到较好的跟踪效果；通过在加载每一图像帧的过程中，从各个目标跟踪模型中选取出可靠性模型，并基于该可靠性模型来定位目标对象，提高了对目标对象的跟踪准确率。
图7是本发明一实施例提供的终端设备的示意图。如图7所示，该实施例的终端设备7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72，例如目标对象的跟踪程序。所述处理器70执行所述计算机程序72时实现上述各个目标对象的跟踪方法实施例中的步骤，例如图1所示的步骤101至105。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能，例如图6所示单元61至65的功能。
示例性的，所述计算机程序72可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由所述处理器70执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序72在所述终端设备7中的执行过程。
所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的示例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (7)
1.一种目标对象的跟踪方法，其特征在于，包括：
分别获取目标对象在多个视角下的视角图像；
通过预设的图像检测算法，为每一所述视角图像初始化对应的一个目标跟踪模型；
加载待跟踪的视频图像序列，所述视频图像序列包含依序排列的多个图像帧；
在加载每一所述图像帧的过程中，从各个所述目标跟踪模型中选取出可靠性模型；所述可靠性模型为可靠性得分满足预设条件的所述目标跟踪模型；其中，在依序加载每一张图像帧时，调用多个目标跟踪模型，调用关于每一目标跟踪模型的更新模块，使得目标跟踪模型根据当前图像帧中的图像信息，更新其预测的矩形框以及计算对应的可靠性得分；
基于所述可靠性模型，定位当前所述图像帧中的所述目标对象；
所述在加载每一所述图像帧的过程中，从各个所述目标跟踪模型中选取出可靠性模型，包括：在加载每一所述图像帧的过程中，获取各个所述目标跟踪模型的可靠性得分；若存在所述可靠性得分大于预设阈值的多个所述目标跟踪模型，则将所述可靠性得分最高的所述目标跟踪模型选取为可靠性模型；若不存在所述可靠性得分大于预设阈值的所述目标跟踪模型，则触发关于当前图像帧的目标对象跟踪失败事件；
所述目标跟踪模型所采用的更新策略为相关滤波与颜色直方图统计融合的方法，具体包括：
其中，为相关滤波的响应图，/>为颜色直方图的概率响应图，/>和为预设的融合系数；
每个目标跟踪模型的可靠性得分为：
其中，上述、/>以及/>分别表示第i个目标跟踪模型的响应图在坐标最低点、坐标最高点和在坐标位置（w,h）的值。
2.如权利要求1所述的目标对象的跟踪方法，其特征在于，在所述基于所述可靠性模型，定位当前所述图像帧中的所述目标对象之后，还包括：
根据当前加载的所述图像帧，对选取出的所述目标跟踪模型进行更新训练。
3.如权利要求2所述的目标对象的跟踪方法，其特征在于，所述在加载每一所述图像帧的过程中，从各个所述目标跟踪模型中选取出可靠性模型，包括：
若当前加载的图像帧并非初始帧，则获取与上一图像帧对应的所述可靠性模型；
获取所述可靠性模型在当前图像帧中所更新的矩形框；所述矩形框用于定位所述图像帧中的所述目标对象；
计算所述矩形框的可靠性得分；
若所述可靠性得分大于预设阈值，则将该可靠性模型继承为当前图像帧对应的可靠性模型。
4.一种目标对象的跟踪装置，其特征在于，包括：
获取单元，用于分别获取目标对象在多个视角下的视角图像；
初始化单元，用于通过预设的图像检测算法，为每一所述视角图像初始化对应的一个目标跟踪模型；
加载单元，用于加载待跟踪的视频图像序列，所述视频图像序列包含依序排列的多个图像帧；
选取单元，用于在加载每一所述图像帧的过程中，从各个所述目标跟踪模型中选取出可靠性模型；所述可靠性模型为可靠性得分满足预设条件的所述目标跟踪模型；其中，在依序加载每一张图像帧时，调用多个目标跟踪模型 ，调用关于每一目标跟踪模型的更新模块，使得目标跟踪模型根据当前图像帧中的图像信息，更新其预测的矩形框以及计算对应的可靠性得分；
定位单元，用于基于所述可靠性模型，定位当前所述图像帧中的所述目标对象；
所述选取单元包括：
第一获取子单元，用于在加载每一所述图像帧的过程中，获取各个所述目标跟踪模型的可靠性得分；
选取子单元，用于若存在所述可靠性得分大于预设阈值的多个所述目标跟踪模型，则将所述可靠性得分最高的所述目标跟踪模型选取为可靠性模型；
触发子单元，用于若不存在所述可靠性得分大于预设阈值的所述目标跟踪模型，则触发关于当前图像帧的目标对象跟踪失败事件；
所述目标跟踪模型所采用的更新策略为相关滤波与颜色直方图统计融合的方法，具体包括：
其中，为相关滤波的响应图，/>为颜色直方图的概率响应图，/>和为预设的融合系数；
每个目标跟踪模型的可靠性得分为：
其中，上述、/>以及/>分别表示第i个目标跟踪模型的响应图在坐标最低点、坐标最高点和在坐标位置（w,h）的值。
5.如权利要求4所述的跟踪装置，其特征在于，还包括：
训练单元，用于根据当前加载的所述图像帧，对选取出的所述目标跟踪模型进行更新训练。
6.一种终端设备，包括存储器以及处理器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述方法的步骤。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811386659.XA CN111199179B (zh) | 2018-11-20 | 2018-11-20 | 目标对象的跟踪方法、终端设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811386659.XA CN111199179B (zh) | 2018-11-20 | 2018-11-20 | 目标对象的跟踪方法、终端设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111199179A CN111199179A (zh) | 2020-05-26 |
| CN111199179B true CN111199179B (zh) | 2023-12-29 |
Family
ID=70746975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811386659.XA Active CN111199179B (zh) | 2018-11-20 | 2018-11-20 | 目标对象的跟踪方法、终端设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111199179B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112651996A (zh) * | 2020-12-22 | 2021-04-13 | 南京市城市与交通规划设计研究院股份有限公司 | 目标检测跟踪方法、装置、电子设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0942395A2 (en) * | 1998-03-13 | 1999-09-15 | Siemens Corporate Research, Inc. | Method for digital video processing |
| CN102456127A (zh) * | 2010-10-21 | 2012-05-16 | 三星电子株式会社 | 头部姿态估计设备和方法 |
| CN103413295A (zh) * | 2013-07-12 | 2013-11-27 | 长沙理工大学 | 一种视频多目标长程跟踪方法 |
| CN107633241A (zh) * | 2017-10-23 | 2018-01-26 | 三星电子（中国）研发中心 | 一种全景视频自动标注和追踪物体的方法和装置 |
| CN108694724A (zh) * | 2018-05-11 | 2018-10-23 | 西安天和防务技术股份有限公司 | 一种长时间目标跟踪方法 |
| CN108765452A (zh) * | 2018-05-11 | 2018-11-06 | 西安天和防务技术股份有限公司 | 一种复杂背景下运动目标检测与跟踪方法 |
| CN109003290A (zh) * | 2017-12-11 | 2018-12-14 | 罗普特（厦门）科技集团有限公司 | 一种监控系统的视频跟踪方法 |
-
2018
- 2018-11-20 CN CN201811386659.XA patent/CN111199179B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0942395A2 (en) * | 1998-03-13 | 1999-09-15 | Siemens Corporate Research, Inc. | Method for digital video processing |
| CN102456127A (zh) * | 2010-10-21 | 2012-05-16 | 三星电子株式会社 | 头部姿态估计设备和方法 |
| CN103413295A (zh) * | 2013-07-12 | 2013-11-27 | 长沙理工大学 | 一种视频多目标长程跟踪方法 |
| CN107633241A (zh) * | 2017-10-23 | 2018-01-26 | 三星电子（中国）研发中心 | 一种全景视频自动标注和追踪物体的方法和装置 |
| CN109003290A (zh) * | 2017-12-11 | 2018-12-14 | 罗普特（厦门）科技集团有限公司 | 一种监控系统的视频跟踪方法 |
| CN108694724A (zh) * | 2018-05-11 | 2018-10-23 | 西安天和防务技术股份有限公司 | 一种长时间目标跟踪方法 |
| CN108765452A (zh) * | 2018-05-11 | 2018-11-06 | 西安天和防务技术股份有限公司 | 一种复杂背景下运动目标检测与跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111199179A (zh) | 2020-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10984556B2 (en) | Method and apparatus for calibrating relative parameters of collector, device and storage medium | |
| US9767570B2 (en) | Systems and methods for computer vision background estimation using foreground-aware statistical models | |
| JP2020517027A (ja) | 顔画像品質を決定する方法および装置、電子機器ならびにコンピュータ記憶媒体 | |
| WO2019020103A1 (zh) | 目标识别方法、装置、存储介质和电子设备 | |
| CN109086734B (zh) | 一种对人眼图像中瞳孔图像进行定位的方法及装置 | |
| US20210019542A1 (en) | Multi-Angle Object Recognition | |
| CN107920257B (zh) | 视频关键点实时处理方法、装置及计算设备 | |
| CN108875526B (zh) | 视线检测的方法、装置、系统及计算机存储介质 | |
| US20150104067A1 (en) | Method and apparatus for tracking object, and method for selecting tracking feature | |
| CN109583391B (zh) | 关键点检测方法、装置、设备及可读介质 | |
| CN111209774B (zh) | 目标行为识别及显示方法、装置、设备、可读介质 | |
| WO2017114168A1 (en) | Method and device for target detection | |
| CN110686676A (zh) | 机器人重定位方法、装置及机器人 | |
| CN110427849B (zh) | 人脸姿态确定方法、装置、存储介质和电子设备 | |
| US20200065663A1 (en) | Classifying Time Series Image Data | |
| CN110991385A (zh) | 一种识别船只行驶轨迹的方法、装置及电子设备 | |
| WO2018133101A1 (zh) | 图像前景检测装置及方法、电子设备 | |
| CN113112542A (zh) | 一种视觉定位方法、装置、电子设备及存储介质 | |
| CN108875506B (zh) | 人脸形状点跟踪方法、装置和系统及存储介质 | |
| CN111882578A (zh) | 前景图像获取方法、前景图像获取装置和电子设备 | |
| CN110490058B (zh) | 行人检测模型的训练方法、装置、系统和计算机可读介质 | |
| CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| CN111199179B (zh) | 目标对象的跟踪方法、终端设备及介质 | |
| CN107452019B (zh) | 一种基于模型切换的目标检测方法、装置、系统及存储介质 | |
| CN108734712B (zh) | 背景分割的方法、装置及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |