CN106570478A - 视觉跟踪中的目标丢失判断方法和装置 - Google Patents
视觉跟踪中的目标丢失判断方法和装置 Download PDFInfo
- Publication number
- CN106570478A CN106570478A CN201610969904.4A CN201610969904A CN106570478A CN 106570478 A CN106570478 A CN 106570478A CN 201610969904 A CN201610969904 A CN 201610969904A CN 106570478 A CN106570478 A CN 106570478A
- Authority
- CN
- China
- Prior art keywords
- target
- target area
- psr
- checked
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Abstract
一种视觉跟踪中的目标丢失判断方法和装置，用于在跟踪应用场景中进行目标丢失判断，该方法包括：选取目标检测模型，目标检测模型用于对跟踪应用场景进行分析检测；根据关于跟踪应用场景的视频数据和目标检测模型进行分析，确定视频数据对应的截断阈值，截断阈值用于判断是否存在目标丢失；通过目标检测模型对待检测图像进行实时检测，得到待检测图像的目标区域，根据截断阈值，确定在目标区域中是否存在目标丢失，其中，目标区域是待检测图像中包含目标的区域。本发明实施例克服了现有技术需要其他辅助设备和辅助信息的缺陷，能够快速、简便、准确地确定目标是否丢失。
Description
技术领域
本公开涉及计算机视觉领域，特别涉及一种视觉跟踪中的目标丢失判断方法和装置。
背景技术
机器人通过视觉的方式实现对诸如人体等目标的跟踪能够极大地提高机器人的智能化，因此基于计算机视觉的目标跟踪技术在智能机器人中得到了越来越广泛的应用。但是在目标跟踪过程中，不可避免的会出现目标被完全遮挡或者离开视野范围的情况，这种情况被称作为失跟现象。如果机器人已经处在失跟状态却不能自主判断目标已经丢失而持续原来的运动状态，那么必然会影响跟踪的准确性，使机器人不能及时跟上目标，从而极大地降低机器人的智能性和行走效率。
因此，需要一种有效的失跟判断方法，使得机器人在目标被完全遮挡或者离开视野范围的情况下，能够自主的判断已经丢失目标，从而做出相应的应对方法。
发明内容
本发明的目的是提供一种视觉跟踪中的目标丢失判断方法，该方法能够克服了现有技术需要较多辅助设备和辅助信息才能实现失跟检测的缺陷。
相应的，本发明实施例还提供一种视觉跟踪中的目标丢失判断装置，用以保证上述方法的实现及应用。
为了解决上述问题，本发明实施例公开了一种视觉跟踪中的目标丢失判断方法，用于在跟踪应用场景中进行目标丢失判断，包括：
选取目标检测模型，所述目标检测模型用于对所述跟踪应用场景进行分析检测；
根据关于所述跟踪应用场景的视频数据和所述目标检测模型进行分析，确定所述视频数据对应的截断阈值，所述截断阈值用于判断是否存在目标丢失；
通过所述目标检测模型对待检测图像进行实时检测，得到所述待检测图像的目标区域，根据所述截断阈值，确定在所述目标区域中是否存在目标丢失，其中，所述目标区域是指所述待检测图像中包含所述目标的区域。
优选地，所述视觉跟踪中的目标丢失判断方法还包括：
针对跟踪应用场景，逐帧输入所述跟踪应用场景中包含所述目标区域的一帧图像；
在所述一帧图像中提取所述目标区域，将所述目标区域作为训练样本；
逐帧应用所述训练样本进行训练，得到所述目标检测模型。
优选地，所述根据关于所述跟踪应用场景的视频数据和所述目标检测模型进行分析，确定所述视频数据对应的截断阈值包括：
针对所述跟踪应用场景采集视频数据，所述视频数据中包括对应于目标丢失场景的图像；
通过所述目标检测模型，分别获取所述视频数据中的每一帧图像的目标区域；
针对每个目标区域，输出滤波响应图Res；
分别计算每个滤波响应图Res的主副峰比PSR，并分别将每个主副峰比PSR进行归一化；
根据所述目标丢失时对应图像的目标区域的归一化的主副峰比PSR_NORMD，确定所述目标失跟判断模型对应的截断阈值THRED。
优选地，根据以下公式计算所述主副峰比PSR：
PSR＝(max-μ)/δ
其中，max表示最大滤波响应，μ表示滤波响应均值，δ表示滤波响应的标准差。
优选地，所述将每个主副峰比PSR进行归一化包括：
选取跟踪开始之前的K帧图像，通过所述目标检测模型，分别获取所述K帧图像中的每一帧图像的目标区域；
计算所述K帧图像的目标区域的滤波响应图的主副峰比的平均值，作为标准值STD，其中K为大于或等于1的整数；
分别用所述每个主副峰比PSR除以所述标准值STD。
优选地，K＝0.1*V，其中，V表示所述视频数据对应的视频帧率。
优选地，所述根据所述截断阈值，确定在所述目标区域中是否存在目标丢失包括：
针对连续的至少一帧待检测图像，通过所述目标检测模型实时获得每一帧待检测图像的目标区域，如果所述每一帧待检测图像的目标区域的滤波响应图的归一化的主副峰比均小于所述截断阈值，则确定在所述目标区域中所述目标丢失。
优选地，所述根据所述截断阈值，确定在所述目标区域中是否存在目标丢失包括：
子步骤S301：将所述待检测图像的失跟帧数计数设置为零；
子步骤S302：通过所述目标检测模型，实时获取所述待检测图像的目标区域；
子步骤S303：针对所述待检测图像的目标区域，输出滤波响应图ResT；
子步骤S304：计算所述滤波响应图ResT的主副峰比PSR_T，并对所述主副峰比PSR_T进行归一化；
子步骤S305：比较归一化的主副峰比PSR_NORM_T与所述截断阈值THRED，如果PSR_NORM_T≥THRED，转向子步骤S306，如果PSR_NORM_T<THRED，转向子步骤S307；
子步骤S306：将所述失跟帧数计数设置为零，将所述待检测图像的目标区域作为训练样本对所述目标检测模型进行训练，提取下一帧待检测图像，并返回子步骤S302；
子步骤S307：对所述失跟帧数计数进行累计，如果所述失跟帧数计数小于预定帧数M，则将所述待检测图像的目标区域作为训练样本对所述目标检测模型进行训练，提取下一帧待检测图像，并返回子步骤S302；否则确定在所述目标区域中所述目标丢失。
优选地，M＝0.2*V，其中，V表示所述视频数据对应的视频帧率。
本发明实施例还提供一种视觉跟踪中的目标丢失判断装置，用于在跟踪应用场景中进行目标丢失判断，包括：
目标检测模型选取模块，用于选取目标检测模型，所述目标检测模型用于对所述跟踪应用场景进行分析检测；
截断阈值确定模块，用于根据关于所述跟踪应用场景的视频数据和所述目标检测模型进行分析，确定所述视频数据对应的截断阈值，所述截断阈值用于判断是否存在目标丢失；
目标丢失判断模块，用于通过所述目标检测模型对待检测图像进行实时检测，得到所述待检测图像的目标区域，根据所述截断阈值，确定在所述目标区域中是否存在目标丢失，其中，所述目标区域是所述待检测图像中包含所述目标的区域。
优选地，所述视觉跟踪中的目标丢失判断装置还包括：
输入模块，用于针对跟踪应用场景，逐帧输入所述跟踪应用场景中包含所述目标区域的一帧图像；
训练样本提取模块，用于在所述一帧图像中提取所述目标区域，将所述目标区域作为训练样本；
训练模块，用于逐帧应用所述训练样本进行训练，得到所述目标检测模型。
优选地，所述根据关于所述跟踪应用场景的视频数据和所述目标检测模型进行分析，确定所述视频数据对应的截断阈值包括：
针对所述跟踪应用场景采集视频数据，所述视频数据中包括对应于目标丢失场景的图像；
通过所述目标检测模型，分别获取所述视频数据中的每一帧图像的目标区域；
针对每个目标区域，输出滤波响应图Res；
分别计算每个滤波响应图Res的主副峰比PSR，并分别将每个主副峰比PSR进行归一化；
根据所述目标丢失时对应图像的目标区域的归一化的主副峰比PSR_NORMD，确定所述目标失跟判断模型对应的截断阈值THRED。
优选地，根据以下公式计算所述主副峰比PSR：
PSR＝(max-μ)/δ
其中，max表示最大滤波响应，μ表示滤波响应均值，δ表示滤波响应的标准差。
优选地，所述将每个主副峰比PSR进行归一化包括：
选取跟踪开始之前的K帧图像，通过所述目标检测模型，分别获取所述K帧图像中的每一帧图像的目标区域；
计算所述K帧图像的目标区域的滤波响应图的主副峰比的平均值，作为标准值STD，其中K为大于或等于1的整数；
分别用所述每个主副峰比PSR除以所述标准值STD。
优选地，K＝0.1*V，其中，V表示所述视频数据对应的视频帧率。
优选地，所述根据所述截断阈值，确定在所述目标区域中是否存在目标丢失包括：
针对连续的至少一帧待检测图像，通过所述目标检测模型实时获得每一帧待检测图像的目标区域，如果所述每一帧待检测图像的目标区域的滤波响应图的归一化的主副峰比均小于所述截断阈值，则确定在所述目标区域中所述目标丢失。
优选地，所述根据所述截断阈值，确定在所述目标区域中是否存在目标丢失包括：
子步骤S301：将所述待检测图像的失跟帧数计数设置为零；
子步骤S302：通过所述目标检测模型，实时获取所述待检测图像的目标区域；
子步骤S303：针对所述待检测图像的目标区域，输出滤波响应图ResT；
子步骤S304：计算所述滤波响应图ResT的主副峰比PSR_T，并对所述主副峰比PSR_T进行归一化；
子步骤S305：比较归一化的主副峰比PSR_NORM_T与所述截断阈值THRED，如果PSR_NORM_T≥THRED，转向子步骤S306，如果PSR_NORM_T<THRED，转向子步骤S307；
子步骤S306：将所述失跟帧数计数设置为零，将所述待检测图像的目标区域作为训练样本对所述目标检测模型进行训练，提取下一帧待检测图像，并返回子步骤S302；
子步骤S307：对所述失跟帧数计数进行累计，如果所述失跟帧数计数小于预定帧数M，则将所述待检测图像的目标区域作为训练样本对所述目标检测模型进行训练，提取下一帧待检测图像，并返回子步骤S302；否则确定在所述目标区域中所述目标丢失。
优选地，M＝0.2*V，其中，V表示所述视频数据对应的视频帧率。
与现有技术相比，本发明实施例包括以下优点：
在视觉跟踪过程中，当出现目标丢失时，目标区域的图像信息会发生剧烈变化，通过检测目标区域图像信息的响应，与先验的目标失跟判断模型进行比对，即可快速、简便、准确地确定目标是否丢失，提高了机器人的智能性和行走效率；
针对所采集视频数据中的连续图像帧进行目标丢失判断，从而提高方法的鲁棒性，相应地大大提高判断精度。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
图1显示根据示例性实施例的视觉跟踪中的目标丢失判断方法的流程图；
图2a显示根据示例性实施例的视觉跟踪中的目标丢失判断方法中，通过成像器件采集的视频数据中的一帧图像，其中目标没有丢失，图2b显示图2a所示图像的目标区域候选样本的滤波响应图；
图3a显示根据示例性实施例的视觉跟踪中的目标丢失判断方法中，通过成像器件采集的视频数据中的一帧图像，其中目标丢失，图3b显示图3a所示图像的目标区域候选样本的滤波响应图；
图4显示根据示例性实施例的视觉跟踪中的目标丢失判断方法中的视频数据的滤波响应图所对应的归一化主副峰比的统计图；
图5显示根据示例性实施例的视觉跟踪中的目标丢失判断装置的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
图1显示根据示例性实施例的视觉跟踪中的目标丢失判断方法的流程图，该方法用于在跟踪应用场景中进行目标丢失判断，如图1所示，根据示例性实施例的视觉跟踪中的目标丢失判断方法包括以下步骤：
步骤1：选取目标检测模型。
目标检测模型用于对跟踪应用场景进行分析检测，更具体而言，其用于检测一帧图像中的目标区域，即包含目标的区域，以获得运动目标对应的位置。在后续的目标失跟判断模型建模过程中以及目标跟踪过程中，可以通过目标检测模型对图像进行检测，获取图像中的目标区域。
目前已有多种运动目标的检测跟踪算法，例如较早的光流法、帧间差分法等。在实施例中，采用核相关(KCF)滤波算法作为目标检测模型，其优点在于在目标检测过程中，以当前帧的目标检测结果作为训练样本，对目标检测模型进行训练，然后再对下一帧图像进行检测，从而能够提高检测精度。
在应用本实施例的目标检测模型进行目标检测之前，首先针对跟踪应用场景，逐帧输入包含目标区域的一帧图像，例如可以利用成像器件在跟踪应用场景采集图像，或者可以利用事先准备好的包含目标区域的图像；然后通过自动检测或者人工标注等方法提取图像的目标区域，将该目标区域作为训练样本；最后逐帧应用该训练样本进行训练，得到目标检测模型。
步骤2：根据关于跟踪应用场景的视频数据和目标检测模型进行分析，确定视频数据对应的截断阈值。
在示例性实施例中，基于核相关滤波(KCF)算法进行目标失跟判断，该算法的关键在于确定作为目标丢失判断条件的截断阈值。根据跟踪应用场景的需求，也可以选择其他算法，例如双相关滤波(DCF)算法等，进行目标失跟判断。
在示例性实施例中，步骤2的具体步骤包括：
子步骤201：针对跟踪应用场景采集视频数据，视频数据中包括对应于目标丢失场景的图像。
利用成像器件在跟踪应用场景采集视频数据，采集到的视频数据中应当包括对应于目标丢失场景的图像，例如目标出现遮挡和出视角等场景。
图2a和图3a分别显示了在根据示例性实施例的视觉跟踪中的目标丢失判断方法中，通过成像器件采集的视频数据中的两帧图像，其中在图2a所示的图像中，目标没有丢失，在图3a所示的图像中，目标丢失(被遮挡)。在本步骤中，采集的视频数据包括这两种图像。
子步骤202：通过目标检测模型，分别获取视频数据中的每一帧图像的目标区域。
通过目标检测模型可以分别获取视频数据中的每一帧图像的目标区域。如前所述，在示例性实施例中，通过核相关滤波算法进行检测。在检测之前，通过提取自一帧图像的训练样本对目标检测模型进行训练，然后开始执行目标区域的检测。
对于第一帧图像，首先在训练样本附近提取目标区域候选样本；然后通过目标检测模型对目标区域候选样本进行检测，输出滤波响应图；以具有最大响应的区域作为当前帧的目标区域，并应用该目标区域对目标检测模型进行训练。
在后续的检测过程中，首先在前一帧的目标区域附近提取目标区域候选样本；然后通过目标检测模型对目标区域候选样本进行检测，输出滤波响应图；以具有最大响应的区域作为当前帧的目标区域，并应用该目标区域对目标检测模型进行训练。
通过这样的过程，可以分别获取视频数据中的每一帧图像的目标区域。应用核相关滤波算法实现运动目标的检测跟踪对于本领域技术人员属于现有技术，是本领域技术人员容易理解的。
在图2a和图3a中，通过目标检测模型获取的目标区域由方框标示出来。
子步骤203：针对每个目标区域，输出滤波响应图Res。
提取每一帧图像的目标区域后，针对每个目标区域，输出其滤波响应图(responsemap)Res，该滤波响应图Res显示目标检测模型与目标区域的滤波响应。
图2b和图3b分别显示图2a和图3a所示图像的目标区域的滤波响应图。
子步骤204：分别计算每个滤波响应图Res的主副峰比PSR，并分别将每个主副峰比PSR进行归一化。
首先，根据以下公式(1)计算一个目标区域的滤波响应图的主副峰比(peak-sidelobe ratio,PSR)：
PSR＝(max-μ)/δ(1)
其中，max表示最大滤波响应，μ表示滤波响应均值，δ表示滤波响应的标准差。
然后，可以选取目标跟踪开始之前的K帧图像，计算这K帧图像的目标区域的滤波响应图的PSR值，并取其平均值作为目标跟踪过程中的PSR的标准值STD。其中，K的取值与目标跟踪过程中的视频帧率有关，在本实施例中，取K＝0.1*V，V表示视频数据对应的视频帧率。由于在0.1秒这样极短的时间内，运动目标一般不会出现显著的动作变化，因此基于目标跟踪开始之前0.1秒内的图像信息来计算目标跟踪过程中的PSR的标准值STD。
最后，将每一帧图像的目标区域的滤波响应图的主副峰比除以STD进行归一化，得到每个目标区域的归一化的主副峰比PSR_NORM。
子步骤205：根据目标丢失时对应图像的目标区域的归一化的主副峰比PSR_NORMD，确定目标失跟判断模型的截断阈值THRED。
统计视频数据中所有图像的目标区域的滤波响应图的归一化的主副峰比，根据目标丢失(例如目标被完全遮挡或者出视角)时对应图像的目标区域的归一化的主副峰比PSR_NORMD，确定目标失跟判断模型的截断阈值THRED。在实际应用时，可以使截断阈值THRED等于目标丢失时对应图像的目标区域的归一化的主副峰比PSR_NORMD，或者可以根据实际需要，选择适当大于或者小于PSR_NORMD的截断阈值THRED。
一旦确定了目标失跟判断模型的截断阈值THRED，当一帧图像的目标区域的滤波响应图的归一化的主副峰比PSR_NORM大于THRED时，表示在该帧图像中，目标跟踪稳定，没有出现目标丢失。否则，表示在该帧图像中目标丢失。
图4显示根据示例性实施例的视觉跟踪中的目标丢失判断方法中的视频数据的滤波响应图所对应的归一化主副峰比的统计图。从图4中可以看出，在第450帧图像附近，归一化的主副峰比PSR_NORM出现断崖式下降，这表示在该帧图像中目标丢失，那么就以该帧图像所对应的归一化的主副峰比PSR_NORMD作为目标失跟判断模型的截断阈值THRED。
步骤3：通过目标检测模型对待检测图像进行实时检测，得到待检测图像的目标区域，根据截断阈值，确定在目标区域中是否存在目标丢失。
根据以上所述的原理，在目标跟踪过程中，当一帧待检测图像的目标区域的滤波响应图的归一化的主副峰比PSR_NORM大于截断阈值THRED时，表示目标跟踪稳定，没有出现目标丢失，否则，表示目标丢失。具体地，可以按照以下步骤确定在目标区域中目标是否丢失：
子步骤301：通过目标检测模型，实时获取待检测图像的目标区域。
这一过程与前述子步骤202相似，在此不再赘述。特别地，对于第一帧待检测图像，用于训练目标检测模型的训练样本就是在步骤1中获得的训练样本，对于后续的待检测图像，将其在本步骤中获取的目标区域作为用于检测后一帧图像的目标检测模型的训练样本。
子步骤302：针对待检测图像的目标区域，输出滤波响应图ResT。
这一过程与前述子步骤203相似，在此不再赘述。
子步骤303：计算滤波响应图ResT的主副峰比PSR_T，并对主副峰比PSR_T进行归一化。
在本步骤中，也采用以上公式(1)计算滤波响应图的主副峰比，并根据子步骤204中确定的标准值STD对主副峰比进行归一化。
子步骤304：比较归一化的主副峰比PSR_NORM_T与截断阈值THRED。
比较归一化的主副峰比PSR_NORM_T与在步骤2中确定的截断阈值THRED的大小关系。
子步骤305：根据比较结果确定在目标区域中目标是否丢失。
根据子步骤304中的比较结果，如果PSR_NORM_T≥THRED，则确定目标跟踪稳定，没有出现目标丢失；如果PSR_NORM_T<THRED，则确定目标丢失。
为了提高检测算法的鲁棒性，可以针对连续的多帧待检测图像，循环执行上述子步骤301-304，只有连续的多帧待检测图像的目标区域的滤波响应图的归一化的主副峰比均小于截断阈值THRED时，才确定目标丢失。
特别地，可以选择预定值M＝0.2*V，针对连续的M帧待检测图像，循环执行上述子步骤301-304，只有连续的多帧待检测图像的归一化的主副峰比均小于截断阈值THRED时，才确定目标丢失，否则，确定目标没有丢失。预定值M＝0.2*V，即基于0.2秒内的图像信息来判断是否存在目标丢失。
在这种优选方案中，步骤3可以具体包括以下步骤：
子步骤S301：将待检测图像的失跟帧数计数设置为零；
待检测图像的失跟帧数计数用于在连续多帧图像的目标失跟判断过程中进行计数，其值是由以下步骤确定的；
子步骤S302：通过目标检测模型，实时获取待检测图像的目标区域；
子步骤S303：针对待检测图像的目标区域，输出滤波响应图ResT；
子步骤S304：计算滤波响应图ResT的主副峰比PSR_T，并对主副峰比PSR_T进行归一化；
子步骤S305：比较归一化的主副峰比PSR_NORM_T与截断阈值THRED，如果PSR_NORM_T≥THRED，转向子步骤S306，如果PSR_NORM_T<THRED，转向子步骤S307；
子步骤S306：将失跟帧数计数设置为零，将待检测图像的目标区域作为训练样本对目标检测模型进行训练，提取下一帧待检测图像，并返回子步骤S302；
子步骤S307：对失跟帧数计数进行累计，如果失跟帧数计数小于预定帧数M，则将待检测图像的目标区域作为训练样本对目标检测模型进行训练，提取下一帧待检测图像，并返回子步骤S302；否则确定在目标区域中所述目标丢失。
本方法利用当出现目标丢失时，目标区域的图像信息会发生剧烈变化，通过检测目标区域图像信息的响应，与先验的目标失跟判断模型进行比对，即可快速、简便、准确地确定目标是否丢失，进而控制机器人是否继续行走，提高了机器人的智能性和行走效率。
参考图5，示出了根据示例性实施例的视觉跟踪中的目标丢失判断装置的结构框图，具体包括以下模块：
目标检测模型选取模块501，用于选取目标检测模型，目标检测模型用于对跟踪应用场景进行分析检测；
截断阈值确定模块502，用于根据关于跟踪应用场景的视频数据和目标检测模型进行分析，确定视频数据对应的截断阈值，截断阈值用于判断是否存在目标丢失；
目标丢失判断模块503，用于通过目标检测模型对待检测图像进行实时检测，得到待检测图像的目标区域，根据截断阈值，确定在目标区域中是否存在目标丢失，其中，所述目标区域是所述待检测图像中包含所述目标的区域。
在本发明的一种优选实施例中，视觉跟踪中的目标丢失判断装置还包括：
输入模块，用于针对跟踪应用场景，逐帧输入所述跟踪应用场景中包含目标区域的一帧图像；
训练样本提取模块，用于在一帧图像中提取目标区域，将目标区域作为训练样本；
训练模块，用于逐帧应用训练样本进行训练，得到目标检测模型。
在本发明的一种优选实施例中，根据关于跟踪应用场景的视频数据和目标检测模型进行分析，确定视频数据对应的截断阈值包括：
针对跟踪应用场景采集视频数据，视频数据中包括对应于目标丢失场景的图像；
通过目标检测模型，分别获取视频数据中的每一帧图像的目标区域；
针对每个目标区域，输出滤波响应图Res；
分别计算每个滤波响应图Res的主副峰比PSR，并分别将每个主副峰比PSR进行归一化；
根据目标丢失时对应图像的目标区域的归一化的主副峰比PSR_NORMD，确定目标失跟判断模型对应的截断阈值THRED。
在本发明的一种优选实施例中，根据以下公式计算主副峰比PSR：
PSR＝(max-μ)/δ
其中，max表示最大滤波响应，μ表示滤波响应均值，δ表示滤波响应的标准差。
在本发明的一种优选实施例中，将每个主副峰比PSR进行归一化包括：
选取跟踪开始之前的K帧图像，通过目标检测模型，分别获取K帧图像中的每一帧图像的目标区域；
计算K帧图像的目标区域的滤波响应图的主副峰比的平均值，作为标准值STD，其中K为大于或等于1的整数；
分别用每个主副峰比PSR除以标准值STD。
在本发明的一种优选实施例中，
K＝0.1*V
其中，V表示视频数据对应的视频帧率。
在本发明的一种优选实施例中，根据截断阈值，确定在目标区域中是否存在目标丢失包括：
针对连续的至少一帧待检测图像，通过所述目标检测模型实时获得每一帧待检测图像的目标区域，如果所述每一帧待检测图像的目标区域的滤波响应图的归一化的主副峰比均小于所述截断阈值，则确定在所述目标区域中所述目标丢失。
在本发明的一种优选实施例中，根据截断阈值，确定在目标区域中是否存在目标丢失包括：
子步骤S301：将待检测图像的失跟帧数计数设置为零；
子步骤S302：通过目标检测模型，实时获取待检测图像的目标区域；
子步骤S303：针对待检测图像的目标区域，输出滤波响应图ResT；
子步骤S304：计算滤波响应图ResT的主副峰比PSR_T，并对主副峰比PSR_T进行归一化；
子步骤S305：比较归一化的主副峰比PSR_NORM_T与截断阈值THRED，如果PSR_NORM_T≥THRED，转向子步骤S306，如果PSR_NORM_T<THRED，转向子步骤S307；
子步骤S306：将失跟帧数计数设置为零，将待检测图像的目标区域作为训练样本对目标检测模型进行训练，提取下一帧待检测图像，并返回子步骤S302；
子步骤S307：对失跟帧数计数进行累计，如果失跟帧数计数小于预定帧数M，则将待检测图像的目标区域作为训练样本对目标检测模型进行训练，提取下一帧待检测图像，并返回子步骤S302；否则确定在目标区域中目标丢失。
在本发明的一种优选实施例中，
M＝0.2*V
其中，V表示视频数据对应的视频帧率。
本发明实施例的视觉跟踪中的目标丢失判断方法和装置特别适用于智能机器人，使智能机器人可以通过其采集的视频数据的图像信息自主判断目标是否丢失，提高跟踪精度。此外，该方法和装置也可以应用于各种场景下的视频监控，例如设置于公共场所的固定摄像头，提高其监控精度。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (18)
1.一种视觉跟踪中的目标丢失判断方法，用于在跟踪应用场景中进行目标丢失判断，其特征在于，包括：
选取目标检测模型，所述目标检测模型用于对所述跟踪应用场景进行分析检测；
根据关于所述跟踪应用场景的视频数据和所述目标检测模型进行分析，确定所述视频数据对应的截断阈值，所述截断阈值用于判断是否存在目标丢失；
通过所述目标检测模型对待检测图像进行实时检测，得到所述待检测图像的目标区域，根据所述截断阈值，确定在所述目标区域中是否存在目标丢失，其中，所述目标区域是所述待检测图像中包含所述目标的区域。
2.根据权利要求1所述的视觉跟踪中的目标丢失判断方法，其特征在于，还包括：
针对所述跟踪应用场景，逐帧输入所述跟踪应用场景中包含所述目标区域的一帧图像；
在所述一帧图像中提取所述目标区域，将所述目标区域作为训练样本；
逐帧应用所述训练样本进行训练，得到所述目标检测模型。
3.根据权利要求1所述的视觉跟踪中的目标丢失判断方法，其特征在于，所述根据关于所述跟踪应用场景的视频数据和所述目标检测模型进行分析，确定所述视频数据对应的截断阈值包括：
针对所述跟踪应用场景采集视频数据，所述视频数据中包括对应于目标丢失场景的图像；
通过所述目标检测模型，分别获取所述视频数据中的每一帧图像的目标区域；
针对每个目标区域，输出滤波响应图Res；
分别计算每个滤波响应图Res的主副峰比PSR，并分别将每个主副峰比PSR进行归一化；
根据所述目标丢失时对应图像的目标区域的归一化的主副峰比PSR_NORMD，确定所述截断阈值THRED。
4.根据权利要求3所述的视觉跟踪中的目标丢失判断方法，其特征在于，根据以下公式计算所述主副峰比PSR：
PSR＝(max-μ)/δ
其中，max表示最大滤波响应，μ表示滤波响应均值，δ表示滤波响应的标准差。
5.根据权利要求3所述的视觉跟踪中的目标丢失判断方法，其特征在于，所述将每个主副峰比PSR进行归一化包括：
选取跟踪开始之前的K帧图像，通过所述目标检测模型，分别获取所述K帧图像中的每一帧图像的目标区域；
计算所述K帧图像的目标区域的滤波响应图的主副峰比的平均值，作为标准值STD，其中K为大于或等于1的整数；
分别用所述每个主副峰比PSR除以所述标准值STD。
6.根据权利要求5所述的视觉跟踪中的目标丢失判断方法，其特征在于，
K＝0.1*V
其中，V表示所述视频数据对应的视频帧率。
7.根据权利要求1所述的视觉跟踪中的目标丢失判断方法，其特征在于，所述根据所述截断阈值，确定在所述目标区域中是否存在目标丢失包括：
针对连续的至少一帧待检测图像，通过所述目标检测模型实时获得每一帧待检测图像的目标区域，如果所述每一帧待检测图像的目标区域的滤波响应图的归一化的主副峰比均小于所述截断阈值，则确定在所述目标区域中所述目标丢失。
8.根据权利要求7所述的视觉跟踪中的目标丢失判断方法，其特征在于，所述根据所述截断阈值，确定在所述目标区域中是否存在目标丢失包括：
子步骤S301：将所述待检测图像的失跟帧数计数设置为零；
子步骤S302：通过所述目标检测模型，实时获取所述待检测图像的目标区域；
子步骤S303：针对所述待检测图像的目标区域，输出滤波响应图ResT；
子步骤S304：计算所述滤波响应图ResT的主副峰比PSR_T，并对所述主副峰比PSR_T进行归一化；
子步骤S305：比较归一化的主副峰比PSR_NORM_T与所述截断阈值THRED，如果PSR_NORM_T≥THRED，转向子步骤S306，如果PSR_NORM_T<THRED，转向子步骤S307；
子步骤S306：将所述失跟帧数计数设置为零，将所述待检测图像的目标区域作为训练样本对所述目标检测模型进行训练，提取下一帧待检测图像，并返回子步骤S302；
子步骤S307：对所述失跟帧数计数进行累计，如果所述失跟帧数计数小于预定帧数M，则将所述待检测图像的目标区域作为训练样本对所述目标检测模型进行训练，提取下一帧待检测图像，并返回子步骤S302；否则确定在所述目标区域中所述目标丢失。
9.根据权利要求8所述的视觉跟踪中的目标丢失判断方法，其特征在于，M＝0.2*V
其中，V表示所述视频数据对应的视频帧率。
10.一种视觉跟踪中的目标丢失判断装置，用于在跟踪应用场景中进行目标丢失判断，其特征在于，包括：
目标检测模型选取模块，用于选取目标检测模型，所述目标检测模型用于对所述跟踪应用场景进行分析检测；
截断阈值确定模块，用于根据关于所述跟踪应用场景的视频数据和所述目标检测模型进行分析，确定所述视频数据对应的截断阈值，所述截断阈值用于判断是否存在目标丢失；
目标丢失判断模块，用于通过所述目标检测模型对待检测图像进行实时检测，得到所述待检测图像的目标区域，根据所述截断阈值，确定在所述目标区域中是否存在目标丢失，其中，所述目标区域是指所述待检测图像中包含所述目标的区域。
11.根据权利要求10所述的视觉跟踪中的目标丢失判断装置，其特征在于，还包括：
输入模块，用于针对所述跟踪应用场景，逐帧输入所述跟踪应用场景中包含所述目标区域的一帧图像；
训练样本提取模块，用于在所述一帧图像中提取所述目标区域，将所述目标区域作为训练样本；
训练模块，用于逐帧应用所述训练样本进行训练，得到所述目标检测模型。
12.根据权利要求10所述的视觉跟踪中的目标丢失判断装置，其特征在于，所述根据关于所述跟踪应用场景的视频数据和所述目标检测模型进行分析，确定所述视频数据对应的截断阈值包括：
针对所述跟踪应用场景采集视频数据，所述视频数据中包括对应于目标丢失场景的图像；
通过所述目标检测模型，分别获取所述视频数据中的每一帧图像的目标区域；
针对每个目标区域，输出滤波响应图Res；
分别计算每个滤波响应图Res的主副峰比PSR，并分别将每个主副峰比PSR进行归一化；
根据所述目标丢失时对应图像的目标区域的归一化的主副峰比PSR_NORMD，确定所述目标失跟判断模型对应的截断阈值THRED。
13.根据权利要求12所述的视觉跟踪中的目标丢失判断装置，其特征在于，根据以下公式计算所述主副峰比PSR：
PSR＝(max-μ)/δ
其中，max表示最大滤波响应，μ表示滤波响应均值，δ表示滤波响应的标准差。
14.根据权利要求12所述的视觉跟踪中的目标丢失判断装置，其特征在于，所述将每个主副峰比PSR进行归一化包括：
选取跟踪开始之前的K帧图像，通过所述目标检测模型，分别获取所述K帧图像中的每一帧图像的目标区域；
计算所述K帧图像的目标区域的滤波响应图的主副峰比的平均值，作为标准值STD，其中K为大于或等于1的整数；
分别用所述每个主副峰比PSR除以所述标准值STD。
15.根据权利要求14所述的视觉跟踪中的目标丢失判断装置，其特征在于，
K＝0.1*V
其中，V表示所述视频数据对应的视频帧率。
16.根据权利要求10所述的视觉跟踪中的目标丢失判断装置，其特征在于，所述根据所述截断阈值，确定在所述目标区域中是否存在目标丢失包括：
针对连续的至少一帧待检测图像，通过所述目标检测模型实时获得每一帧待检测图像的目标区域，如果所述每一帧待检测图像的目标区域的滤波响应图的归一化的主副峰比均小于所述截断阈值，则确定在所述目标区域中所述目标丢失。
17.根据权利要求16所述的视觉跟踪中的目标丢失判断装置，其特征在于，所述根据所述截断阈值，确定在所述目标区域中是否存在目标丢失包括：
子步骤S301：将所述待检测图像的失跟帧数计数设置为零；
子步骤S302：通过所述目标检测模型，实时获取所述待检测图像的目标区域；
子步骤S303：针对所述待检测图像的目标区域，输出滤波响应图ResT；
子步骤S304：计算所述滤波响应图ResT的主副峰比PSR_T，并对所述主副峰比PSR_T进行归一化；
子步骤S305：比较归一化的主副峰比PSR_NORM_T与所述截断阈值THRED，如果PSR_NORM_T≥THRED，转向子步骤S306，如果PSR_NORM_T<THRED，转向子步骤S307；
子步骤S306：将所述失跟帧数计数设置为零，将所述待检测图像的目标区域作为训练样本对所述目标检测模型进行训练，提取下一帧待检测图像，并返回子步骤S302；
子步骤S307：对所述失跟帧数计数进行累计，如果所述失跟帧数计数小于预定帧数M，则将所述待检测图像的目标区域作为训练样本对所述目标检测模型进行训练，提取下一帧待检测图像，并返回子步骤S302；否则确定在所述目标区域中所述目标丢失。
18.根据权利要求17所述的视觉跟踪中的目标丢失判断装置，其特征在于，
M＝0.2*V
其中，V表示所述视频数据对应的视频帧率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610969904.4A CN106570478A (zh) | 2016-11-04 | 2016-11-04 | 视觉跟踪中的目标丢失判断方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610969904.4A CN106570478A (zh) | 2016-11-04 | 2016-11-04 | 视觉跟踪中的目标丢失判断方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106570478A true CN106570478A (zh) | 2017-04-19 |
Family
ID=58541516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610969904.4A Pending CN106570478A (zh) | 2016-11-04 | 2016-11-04 | 视觉跟踪中的目标丢失判断方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106570478A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108053419A (zh) * | 2017-12-27 | 2018-05-18 | 武汉蛋玩科技有限公司 | 基于背景抑制和前景抗干扰的多尺度目标跟踪方法 |
| CN108206941A (zh) * | 2017-09-27 | 2018-06-26 | 深圳市商汤科技有限公司 | 目标跟踪方法、系统、终端设备及存储介质 |
| CN108345885A (zh) * | 2018-01-18 | 2018-07-31 | 浙江大华技术股份有限公司 | 一种目标遮挡检测的方法及装置 |
| CN108724172A (zh) * | 2017-12-01 | 2018-11-02 | 北京猎户星空科技有限公司 | 引领设备控制方法及装置 |
| CN108986142A (zh) * | 2018-07-14 | 2018-12-11 | 李军 | 基于置信图峰值旁瓣比优化的遮挡目标跟踪方法 |
| CN109584269A (zh) * | 2018-10-17 | 2019-04-05 | 龙马智芯（珠海横琴）科技有限公司 | 一种目标跟踪方法 |
| CN110517296A (zh) * | 2018-05-21 | 2019-11-29 | 北京京东尚科信息技术有限公司 | 目标跟踪方法、装置、存储介质及电子设备 |
| CN110796017A (zh) * | 2019-09-30 | 2020-02-14 | 北京三快在线科技有限公司 | 物品遗落的确定方法和装置、模型训练方法和装置 |
| CN111753574A (zh) * | 2019-03-26 | 2020-10-09 | 顺丰科技有限公司 | 抛扔区域定位方法、装置、设备及存储介质 |
| WO2021015672A1 (en) * | 2019-07-24 | 2021-01-28 | Hitachi, Ltd. | Surveillance system, object tracking system and method of operating the same |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104616317A (zh) * | 2014-12-12 | 2015-05-13 | 宁波中国科学院信息技术应用研究院 | 一种视频车辆跟踪有效性验证方法 |
| CN105931269A (zh) * | 2016-04-22 | 2016-09-07 | 海信集团有限公司 | 一种视频中的目标跟踪方法及装置 |
-
2016
- 2016-11-04 CN CN201610969904.4A patent/CN106570478A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104616317A (zh) * | 2014-12-12 | 2015-05-13 | 宁波中国科学院信息技术应用研究院 | 一种视频车辆跟踪有效性验证方法 |
| CN105931269A (zh) * | 2016-04-22 | 2016-09-07 | 海信集团有限公司 | 一种视频中的目标跟踪方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| DAVID S. BOLME等: "Visual Object Tracking using Adaptive Correlation Filters", 《 2010 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| DAVID S. BOLME等: "Visual object tracking using adaptive correlation filters", 《2010 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 丁建平: "铁路跟踪和铁路信号灯识别的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 潘振福等: "使用PSR重检测改进的核相关目标跟踪方法", 《计算机工程与应用》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108206941A (zh) * | 2017-09-27 | 2018-06-26 | 深圳市商汤科技有限公司 | 目标跟踪方法、系统、终端设备及存储介质 |
| CN108724172A (zh) * | 2017-12-01 | 2018-11-02 | 北京猎户星空科技有限公司 | 引领设备控制方法及装置 |
| CN108053419A (zh) * | 2017-12-27 | 2018-05-18 | 武汉蛋玩科技有限公司 | 基于背景抑制和前景抗干扰的多尺度目标跟踪方法 |
| CN108053419B (zh) * | 2017-12-27 | 2020-04-24 | 武汉蛋玩科技有限公司 | 基于背景抑制和前景抗干扰的多尺度目标跟踪方法 |
| CN108345885A (zh) * | 2018-01-18 | 2018-07-31 | 浙江大华技术股份有限公司 | 一种目标遮挡检测的方法及装置 |
| CN110517296A (zh) * | 2018-05-21 | 2019-11-29 | 北京京东尚科信息技术有限公司 | 目标跟踪方法、装置、存储介质及电子设备 |
| CN110517296B (zh) * | 2018-05-21 | 2022-06-07 | 北京京东尚科信息技术有限公司 | 目标跟踪方法、装置、存储介质及电子设备 |
| CN108986142A (zh) * | 2018-07-14 | 2018-12-11 | 李军 | 基于置信图峰值旁瓣比优化的遮挡目标跟踪方法 |
| CN109584269A (zh) * | 2018-10-17 | 2019-04-05 | 龙马智芯（珠海横琴）科技有限公司 | 一种目标跟踪方法 |
| CN111753574A (zh) * | 2019-03-26 | 2020-10-09 | 顺丰科技有限公司 | 抛扔区域定位方法、装置、设备及存储介质 |
| WO2021015672A1 (en) * | 2019-07-24 | 2021-01-28 | Hitachi, Ltd. | Surveillance system, object tracking system and method of operating the same |
| CN110796017A (zh) * | 2019-09-30 | 2020-02-14 | 北京三快在线科技有限公司 | 物品遗落的确定方法和装置、模型训练方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106570478A (zh) | 视觉跟踪中的目标丢失判断方法和装置 | |
| CN104680555B (zh) | 基于视频监控的越界检测方法及越界监控系统 | |
| EP3667557B1 (en) | Method and device for tracking an object | |
| CN105405154B (zh) | 基于颜色-结构特征的目标对象跟踪方法 | |
| CN105745687B (zh) | 情景感知移动目标检测 | |
| CN103093212B (zh) | 基于人脸检测和跟踪截取人脸图像的方法和装置 | |
| CN110443210A (zh) | 一种行人跟踪方法、装置以及终端 | |
| CN111914665B (zh) | 一种人脸遮挡检测方法、装置、设备及存储介质 | |
| CN105608417B (zh) | 交通信号灯检测方法及装置 | |
| CN112883819A (zh) | 多目标跟踪方法、装置、系统及计算机可读存储介质 | |
| KR20170056474A (ko) | 건축물 높이 산출 방법, 장치 및 저장 매체 | |
| CN105243356B (zh) | 一种建立行人检测模型的方法及装置及行人检测方法 | |
| CN106910204B (zh) | 一种对海面船只自动跟踪识别的方法和系统 | |
| CN108038867A (zh) | 基于多特征融合和立体视觉的火焰检测和定位方法 | |
| CN104346802A (zh) | 一种人员离岗监控方法及设备 | |
| CN104281839A (zh) | 一种人体姿势识别方法和装置 | |
| CN107578021A (zh) | 基于深度学习网络的行人检测方法、装置及系统 | |
| CN109711322A (zh) | 一种基于rfcn的人车分离方法 | |
| CN110991397B (zh) | 一种行进方向确定方法及相关设备 | |
| CN110889328A (zh) | 检测道路交通状况的方法、装置、电子设备和存储介质 | |
| CN107316029A (zh) | 一种活体验证方法及设备 | |
| CN109886242A (zh) | 一种行人重识别的方法及系统 | |
| CN111598132A (zh) | 一种人像识别算法性能评测方法和装置 | |
| CN110378942A (zh) | 基于双目相机的障碍物标识方法、系统、设备和存储介质 | |
| CN115565207B (zh) | 一种融合特征模仿的遮挡场景下行人检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170419 |