CN113538504B

CN113538504B - 目标匀速移动场景中的跟踪目标显示方法和电子设备

Info

Publication number: CN113538504B
Application number: CN202010298068.8A
Authority: CN
Inventors: 吴涛
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2020-04-16
Filing date: 2020-04-16
Publication date: 2023-07-14
Anticipated expiration: 2040-04-16
Also published as: CN113538504A

Abstract

本发明实施例提出目标匀速移动场景中的跟踪目标显示方法及电子设备。方法包括：计算目标在相邻两帧算法图像上的平均移动距离，设为第一移动距离；根据第一移动距离和采集图像的分辨率，计算目标在相邻两帧采集图像上的移动距离，设为第二移动距离；对第二移动距离进行取整运算，将取整运算结果作为目标在相邻两帧显示图像上的移动距离，即第三移动距离；根据第三移动距离与第二移动距离的比值和采集图像的分辨率，得到显示图像的分辨率；在当前帧显示图像上标定出在当前帧算法图像上检测或跟踪到的目标，根据第三移动距离在后续帧显示图像上标定该目标。本发明实施例提高了目标跟踪的实时性，且优化了目标跟踪的视觉显示效果。

Description

目标匀速移动场景中的跟踪目标显示方法和电子设备

技术领域

本发明涉及视频跟踪技术领域，尤其涉及目标匀速移动场景中的跟踪目标显示方法和电子设备。

背景技术

目前，在视频流中进行目标跟踪时，一般采用如下方式实时计算目标的移动速度：

检测目标在当前帧中的位置，设为第一位置；获取之前检测到的该目标在在先帧中的位置，设为第二位置，其中，在先帧位于当前帧之前且与当前帧相隔预设帧数m；计算第一位置与第二位置的差值，计算该差值与m的比值，该比值即为目标的移动速度。

上述算法存在如下缺点：

一、由于每一帧都要进行上述计算过程，算法本身有耗时，因此，会导致目标跟踪滞后，从而导致整体画面延时增大；

二、由于在目标检测过程中或者目标跟踪过程中存在的计算偏差，会使得最终计算得到的目标的移动速度存在偏差，这样，对于目标匀速移动的场景，目标移动速度的不恒定会引起目标框的晃动，从而导致视觉效果较差。例如：要对匀速运行的传送带上的物品进行跟踪，则物品的移动速度应该也是匀速的，若计算出的物品的移动速度不恒定，则会导致画面中的物品框的晃动，视觉效果差。

图1为采用现有方案在一目标匀速移动的场景中，进行目标跟踪的示意图，如图1所示，各虚线框分别表示一帧完整的画面，画面中的实线框表示目标框。画面(1)～(4)为连续的4帧画面，其中，画面(1)即第一帧中，目标框距离画面左边界30个像素点；画面(2)即第二帧中，目标框距离画面左边界34个像素点，即从第一帧到第二帧目标框移动了4个像素点；画面(3)即第三帧中，目标框距离画面左边界39个像素点，即从第二帧到第三帧目标框移动了5个像素点；画面(4)即第四帧中，目标框距离画面左边界43个像素点，即从第三帧到第四帧目标框移动了4个像素点，可见，表现在画面上目标框的移动速度忽快忽慢，不均匀，导致看上去目标框在晃动，视觉效果差。

发明内容

本发明实施例提出目标匀速移动场景中的跟踪目标显示方法和电子设备，以提高目标跟踪的实时性，并优化目标跟踪的视觉显示效果。

本发明实施例的技术方案是这样实现的：

一种目标匀速移动场景中的跟踪目标显示方法，该方法包括：

将采集图像的分辨率转换到目标检测和跟踪算法需要的分辨率上，得到算法图像；

计算目标在相邻两帧算法图像上的平均移动距离，设为第一移动距离；

根据第一移动距离和采集图像的分辨率，计算目标在相邻两帧采集图像上的移动距离，设为第二移动距离；

对第二移动距离进行取整运算，将该取整运算结果作为目标在相邻两帧显示图像上的移动距离，即第三移动距离；

计算第三移动距离与第二移动距离的比值，根据该比值和采集图像的分辨率，得到显示图像的分辨率；

根据算法图像和显示图像的分辨率，将当前帧算法图像转换为当前帧显示图像，在当前帧显示图像上标定出在当前帧算法图像上检测或跟踪到的目标，并根据第三移动距离在后续帧显示图像上标定该目标，使得该目标在相邻两帧显示图像上的移动距离总是等于第三移动距离。

所述得到显示图像的分辨率之后进一步包括：

当在算法图像上检测出新目标时，将该新目标标定在当前帧显示图像上，并根据第三移动距离在后续帧显示图像上标定该新目标，使得该新目标在相邻两帧显示图像上的移动距离总是等于第三移动距离。

所述计算目标在相邻两帧算法图像上的平均移动距离包括：

在算法图像上连续检测及跟踪目标，对于在每一帧算法图像上跟踪到的目标，计算该目标在相邻两帧算法图像上的移动距离，当计算得到N个移动距离时，计算该N个移动距离的平均值，将该平均值作为目标在相邻两帧算法图像上的平均移动距离，N为大于1的整数。

所述计算该目标在相邻两帧算法图像上的移动距离包括：

检测该目标在相邻两帧算法图像上移动的像素数；

若该目标的移动方向与算法图像的水平方向平行，则将该像素数除以算法图像的宽度，得到的商值即为该目标在相邻两帧算法图像上的移动距离；

若该目标的移动方向与算法图像的垂直方向平行，则将该像素数除以算法图像的高度，得到的商值即为该目标在相邻两帧算法图像上的移动距离；

其中，所有目标的移动方向相同且不变。

所述计算目标在相邻两帧采集图像上的移动距离为：

若目标的移动方向与算法图像的水平方向平行，则将第一移动距离乘以采集图像的宽度，得到目标在相邻两帧采集图像上的移动距离；

若目标的移动方向与算法图像的垂直方向平行，则将第一移动距离乘以采集图像的高度，得到目标在相邻两帧采集图像上的移动距离。

所述在当前帧显示图像上标定出在当前帧算法图像上检测或跟踪到的目标包括：

根据检测或跟踪到的目标在当前帧算法图像上的位置，以及算法图像和显示图像的分辨率，计算出该目标在当前帧显示图像上的位置，根据该目标在当前帧显示图像上的位置，在当前帧显示图像上标定出该目标。

所述根据该比值和采集图像的分辨率得到显示图像的分辨率包括：

若目标的移动方向与算法图像的水平方向平行，则显示图像的宽度等于该比值乘以采集图像的宽度，显示图像的高度等于采集图像的高度；

若目标的移动方向与算法图像的垂直方向平行，则显示图像的宽度等于采集图像的宽度，显示图像的高度等于该比值乘以采集图像的高度；

其中，所有目标的移动方向相同且不变。

一种电子设备，包括：存储器以及可访问存储器的处理器，该存储器存储指令，该指令在由处理器执行时使得处理器执行如上任一所述的方法的步骤。

本发明实施例中，只需计算一次第三移动距离，提高了目标跟踪的实时性，且由于目标的移动速度恒定，因此目标的显示不会晃动，优化了目标跟踪的视觉显示效果。

附图说明

图1为采用现有方案在一目标匀速移动的场景中，进行目标跟踪的示意图；

图2为本发明一实施例提供的目标匀速移动场景中的跟踪目标显示方法流程图；

图3为本发明另一实施例提供的目标匀速移动场景中的跟踪目标显示方法流程图；

图4为本发明又一实施例提供的目标匀速移动场景中的跟踪目标显示方法流程图；

图5为本发明实施例提供的电子设备的结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

图2为本发明一实施例提供的目标匀速移动场景中的跟踪目标显示方法流程图，其具体步骤如下：

步骤201：将采集图像的分辨率转换到目标检测和跟踪算法需要的分辨率上，得到算法图像。

采集图像即输入源图像。由于采集图像的分辨率通常较大，为了降低目标检测和跟踪算法的耗时，通常在对采集图像进行目标检测及跟踪之前，会将采集图像的分辨率进行转换，将其转换到目标检测及跟踪算法需要的分辨率上。

另外，由于在进行目标检测及跟踪计算前，可能会对输入的原始采集图像进行采样，然后再对采样后得到的采集图像执行步骤201，即，此时本步骤201中的采集图像指的是采样后得到的采集图像。因此，将本步骤201中的采集图像定义为：参与目标检测及跟踪算法的采集图像，即，若在进行目标检测及跟踪计算前未对原始采集图像进行采样，则本步骤201中的采集图像指的是原始采集图像，否则，本步骤201中的采集图像指的是对原始采集图像进行采样后得到的采集图像。

步骤202：计算目标在相邻两帧算法图像上的平均移动距离，设为第一移动距离。

在一可选实施例中，为了保证第一移动距离的准确性，本步骤中，在算法图像上连续检测及跟踪目标，对于在每一帧算法图像上跟踪到的目标，计算该目标在相邻两帧算法图像上的移动距离，当计算得到N个移动距离时，计算该N个移动距离的平均值，将该平均值作为目标在相邻两帧算法图像上的平均移动距离，即第一移动距离，N为大于1的整数。

步骤203：根据第一移动距离和采集图像的分辨率，计算目标在相邻两帧采集图像上的移动距离，设为第二移动距离。

本步骤203中的相邻两帧采集图像指的是，步骤202中的相邻两帧算法图像对应的分辨率转换前的、参与目标检测及跟踪算法的两帧采集图像。

由于采集图像为输入源图像，目标在采集图像上的移动情况更能反映目标的真实移动情况，因此，本步骤中，要将第一移动距离映射到采集图像上。

步骤204：对第二移动距离进行取整运算，将该取整运算结果作为目标在相邻两帧显示图像上的移动距离，即第三移动距离。

由于目标在显示图像上移动时，移动的单位是像素，因此，取整运算的目的是，将第二移动距离转换为适合在显示图像上显示的像素数目。

步骤205：计算第三移动距离与第二移动距离的比值，根据该比值和采集图像的分辨率，得到显示图像的分辨率。

步骤206：根据算法图像和显示图像的分辨率，将当前帧算法图像转换为当前帧显示图像，在当前帧显示图像上标定出在当前帧算法图像上检测或跟踪到的目标，并根据第三移动距离在后续帧显示图像上标定该目标，使得该目标在相邻两帧显示图像上的移动距离总是等于第三移动距离。

由于取整运算会造成第三移动距离和第二移动距离之间的偏差，为了弥补该偏差，需要对采集图像的分辨率进行相应的转换，从而得到显示图像的分辨率与第三移动距离匹配。

上述实施例中，首先计算目标在相邻两帧算法图像上的平均移动距离即第一移动距离，然后将第一移动距离映射到采集图像上，得到了更能反映目标真实移动情况的第二移动距离，然后对第二移动距离进行取整运算，得到能够在显示图像上以像素数目显示的第三移动距离，为了弥补取整运算过程中产生的偏差，根据第三移动距离和第二移动距离的比值，对采集图像的分辨率进行转换，得到显示图像的分辨率，此后，将第三移动距离作为目标在相邻两帧显示图像上的移动距离来在显示图像上显示目标的移动，上述过程只需计算一次第三移动距离，提高了目标跟踪的实时性，且由于目标的移动速度恒定，因此目标的显示不会晃动，优化了目标跟踪的视觉显示效果。

图3为本发明另一实施例提供的目标匀速移动场景中的跟踪目标显示方法流程图，其具体步骤如下：

步骤301：将采集图像的分辨率转换到目标检测和跟踪算法需要的分辨率上，得到算法图像。

步骤302：在算法图像上连续检测及跟踪目标，对于在每一帧算法图像上跟踪到的目标，检测该目标在相邻两帧算法图像上移动的像素数，且，若该目标的移动方向与算法图像的水平方向平行，则将该像素数除以算法图像的宽度，得到的商值即为该目标在相邻两帧算法图像上的移动距离；若该目标的移动方向与算法图像的垂直方向平行，则将该像素数除以算法图像的高度，得到的商值即为该目标在相邻两帧算法图像上的移动距离，其中，所有目标的移动方向相同且不变。

步骤303：当计算得到N个移动距离时，计算该N个移动距离的平均值，将该平均值作为目标在相邻两帧算法图像上的平均移动距离，即第一移动距离，N为大于1的整数。

步骤304：若目标的移动方向与算法图像的水平方向平行，则将第一移动距离乘以采集图像的宽度，得到目标在相邻两帧采集图像上的移动距离，即第二移动距离；若目标的移动方向与算法图像的垂直方向平行，则将第一移动距离乘以采集图像的高度，得到目标在相邻两帧采集图像上的移动距离，即第二移动距离。

步骤305：对第二移动距离进行取整运算，将该取整运算结果作为目标在相邻两帧显示图像上的移动距离，即第三移动距离。

步骤306：计算第三移动距离与第二移动距离的比值，根据该比值和采集图像的分辨率，得到显示图像的分辨率。

一可选实施例中，若目标的移动方向与算法图像的水平方向平行，则显示图像的宽度等于该比值乘以采集图像的宽度，显示图像的高度等于采集图像的高度；若目标的移动方向与算法图像的垂直方向平行，则显示图像的宽度等于采集图像的宽度，显示图像的高度等于该比值乘以采集图像的高度；其中，所有目标的移动方向相同且不变。

步骤307：根据算法图像和显示图像的分辨率，将当前帧算法图像转换为当前帧显示图像，在当前帧显示图像上标定出在当前帧算法图像上检测或跟踪到的目标，并根据第三移动距离在后续帧显示图像上标定该目标，使得该目标在相邻两帧显示图像上的移动距离总是等于第三移动距离。

其中，根据检测或跟踪到的目标在当前帧算法图像上的位置，以及算法图像和显示图像的分辨率，计算出该目标在当前帧显示图像上的位置，根据该目标在当前帧显示图像上的位置，在当前帧显示图像上标定出该目标。

上述实施例中，在计算目标在相邻两帧算法图像上的平均移动距离即第一移动距离时，采用连续检测N次目标在相邻两帧算法图像上的移动距离，然后对该N个移动距离取均值的方式，之后根据该第一移动距离计算出第二移动距离，最终得到目标在相邻两帧显示图像上的移动距离即第三移动距离，从而不仅保证了第三移动距离的准确性，且只需进行一次计算过程就可得到第三移动距离，该第三移动距离之后可适用于所有的目标的跟踪显示，减少了算法耗时，从而提高了目标跟踪显示的实时性，进而优化了目标跟踪显示的视觉效果。

需要说明的是，当在算法图像上检测出新目标时，将该新目标标定在当前帧显示图像上，并根据第三移动距离在后续帧显示图像上标定该新目标，使得该新目标在相邻两帧显示图像上的移动距离总是等于第三移动距离。

其中，根据新目标在算法图像上的位置，以及算法图像和显示图像的分辨率，计算出新目标在显示图像上的位置，然后根据新目标在显示图像上的位置，将新目标标定在当前帧显示图像上。

图4为本发明又一实施例提供的目标匀速移动场景中的跟踪目标显示方法流程图，其具体步骤如下：

步骤401：将采集图像的分辨率转换到目标检测和跟踪算法需要的分辨率上，得到算法图像。

步骤402：在算法图像上连续检测及跟踪目标，对于在每一帧算法图像上跟踪到的目标，检测该目标在相邻两帧算法图像上移动的像素数Dc，且，

若该目标的移动方向与算法图像的水平方向平行，则该目标在相邻两帧算法图像上的移动距离Df为：Df＝Dc/Wc，Wc为算法图像的宽度；

若该目标的移动方向与算法图像的垂直方向平行，则该目标在相邻两帧算法图像上的移动距离Df为：Df＝Dc/Hc，Hc为算法图像的高度；

其中，所有目标的移动方向相同且不变。

步骤403：当计算得到N个移动距离时，计算该N个移动距离的平均值vf，将该平均值vf作为目标在相邻两帧算法图像上的平均移动距离，即第一移动距离，N为大于1的整数。

步骤404：若目标的移动方向与算法图像的水平方向平行，则计算目标在相邻两帧采集图像上的移动距离即第二移动距离Vf为：Vf＝vf*Ws，其中，Ws为采集图像的宽度；

若目标的移动方向与算法图像的垂直方向平行，则计算目标在相邻两帧采集图像上的移动距离即第二移动距离Vf为：Vf＝vf*Hs，其中，Hs为采集图像的高度。

步骤405：对第二移动距离Vf进行取整运算，将该取整运算结果Vi作为目标在相邻两帧显示图像上的移动距离，即第三移动距离。

步骤406：计算第三移动距离Vi与第二移动距离Vf的比值Sf：Sf＝Vi/Vf。

步骤407：若目标的移动方向与算法图像的水平方向平行，则显示图像的宽度Wd和高度Hd分别为：Wd＝Ws*Sf，Hd＝Hs；

若目标的移动方向与算法图像的垂直方向平行，则显示图像的宽度Wd和高度Hd分别为：Wd＝Ws，Hd＝Hs*Sf。其中，所有目标的移动方向相同且不变。

步骤408：根据算法图像和显示图像的分辨率，将当前帧算法图像转换为当前帧显示图像，在当前帧显示图像上标定出在当前帧算法图像上检测或跟踪到的目标，并根据第三移动距离在后续帧显示图像上标定该目标，使得该目标在相邻两帧显示图像上的移动距离总是等于第三移动距离。

步骤409：当在算法图像上检测出新目标时，将该新目标标定在当前帧显示图像上，并根据第三移动距离在后续帧显示图像上标定该新目标，使得该新目标在相邻两帧显示图像上的移动距离总是等于第三移动距离。

图5为本发明实施例提供的电子设备的结构示意图，该电子设备包括存储器51以及可访问存储器51的处理器52，该存储器51存储指令，该指令在由处理器52执行时使得处理器52执行如步骤201～206，或者步骤301～307，或者步骤401～409所述的方法的步骤。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种目标匀速移动场景中的跟踪目标显示方法，其特征在于，该方法包括：

计算目标在相邻两帧算法图像上的平均移动距离，设为第一移动距离；其中，所述计算目标在相邻两帧算法图像上的平均移动距离时，采用连续检测N次目标在相邻两帧算法图像上的移动距离，然后对该N个移动距离取均值的方式，N为大于1的整数；

2.根据权利要求1所述的方法，其特征在于，所述得到显示图像的分辨率之后进一步包括：

3.根据权利要求1所述的方法，其特征在于，所述计算目标在相邻两帧算法图像上的平均移动距离包括：

4.根据权利要求3所述的方法，其特征在于，所述计算该目标在相邻两帧算法图像上的移动距离包括：

检测该目标在相邻两帧算法图像上移动的像素数；

其中，所有目标的移动方向相同且不变。

5.根据权利要求4所述的方法，其特征在于，所述计算目标在相邻两帧采集图像上的移动距离为：

6.根据权利要求1所述的方法，其特征在于，所述在当前帧显示图像上标定出在当前帧算法图像上检测或跟踪到的目标包括：

7.根据权利要求1所述的方法，其特征在于，所述根据该比值和采集图像的分辨率得到显示图像的分辨率包括：

其中，所有目标的移动方向相同且不变。

8.一种电子设备，其特征在于，包括：存储器以及可访问存储器的处理器，该存储器存储指令，该指令在由处理器执行时使得处理器执行如权利要求1至7任一所述的方法的步骤。