CN115002342A - 目标对象跟踪方法、装置、摄像机及存储介质 - Google Patents

Abstract

本发明涉及监控领域，公开了一种目标对象跟踪方法、装置、摄像机及存储介质。该方法包括：获取长焦镜头采集到的长焦图像和短焦镜头采集到的广角图像，检测广角图像中是否存在预设的目标对象；若存在，则获取广角图像的第一变焦倍数和镜头切换变焦倍数，镜头切换倍数为长焦镜头与短焦镜头的焦距之比；当第一变焦倍数小于或等于镜头切换变焦倍数时，根据第一变焦倍数对广角图像进行数码变焦以输出目标对象的跟踪图像；当第一变焦倍数大于镜头切换变焦倍数时，检测长焦图像中是否存在目标对象，若存在，则对长焦图像进行数码变焦以输出目标对象的跟踪图像。本发明能够解决自动跟踪摄像机在跟踪目标对象时所存在的跟踪画面迟滞且视觉效果差的问题。

Description

目标对象跟踪方法、装置、摄像机及存储介质

技术领域

本发明涉及监控技术领域，尤其涉及目标对象跟踪方法、装置、摄像机及计算机可读存储介质。

背景技术

自动跟踪摄像机是集成并拓展了镜头、云台、普通摄像机等功能的一体化摄像机。自动跟踪摄像机能识别监控范围内的物体运动，并自动控制云台对移动物体进行追踪，使得监控更加智能化、便捷化。

目前市场上的自动跟踪摄像机一般采用电动变焦镜头和PT(Pan-平移，Tilt-倾斜)云台的组合实现，跟踪过程中首先检测目标对象，继而根据目标对象位置的变化转动PT云台调整摄像头的拍摄方向，同时根据目标对象的大小(远近)对镜头下发缩放指令，让目标对象在画面中始终占据较大比例，以此来达到跟踪和放大目标对象的目的。

然而，电动变焦镜头在变焦过程中必然会经过画面模糊和再对焦的过程，这个过程可能持续2秒或更长，使得变焦跟踪过程中跟踪画面并不是全程清晰的，需要等待对焦完成后才能看到清晰的画面，导致跟踪画面迟滞且视觉效果差。

发明内容

本发明的主要目的在于提出一种目标对象跟踪方法、装置、摄像机及计算机可读存储介质，旨在解决自动跟踪摄像机在跟踪目标对象时所存在的跟踪画面迟滞且视觉效果差的问题。

本发明第一方面提供了一种目标对象跟踪方法，所述目标对象跟踪方法包括：

获取长焦镜头采集到的长焦图像和短焦镜头采集到的广角图像，检测所述广角图像中是否存在预设的目标对象；

当所述广角图像中存在预设的目标对象时，获取所述广角图像的第一变焦倍数，并获取镜头切换变焦倍数，所述镜头切换倍数为所述长焦镜头与所述短焦镜头的焦距之比；

当所述第一变焦倍数小于或等于所述镜头切换变焦倍数时，根据所述第一变焦倍数对所述广角图像进行数码变焦以输出所述目标对象的跟踪图像；

当所述第一变焦倍数大于所述镜头切换变焦倍数时，检测所述长焦图像中是否存在所述目标对象，若存在，则对所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像。

可选的，所述获取所述广角图像的第一变焦倍数的步骤包括：

获取所述目标对象的像素宽w0、高h0，所述广角图像的像素宽w1、高h1，以及所述目标对象在第一裁剪框中的预设期望像素占比e，所述第一裁剪框用于对所述广角图像进行裁剪；

根据m＝sqrt(e/(w0*h0/w1*h1))，计算得到所述广角图像的第一变焦倍数m。

可选的，所述根据所述第一变焦倍数对所述广角图像进行数码变焦以输出所述目标对象的跟踪图像的步骤包括：

根据所述第一变焦倍数获取所述第一裁剪框的尺寸参数，根据所述第一裁剪框的中心与所述目标对象的中心重合获取所述第一裁剪框的位置参数；

根据所述尺寸参数和位置参数确定所述第一裁剪框；

根据所述第一裁剪框对所述广角图像进行裁剪，并根据预设的目标分辨率对裁剪后的所述广角图像进行等比缩放，以输出所述目标对象的跟踪图像。

可选的，所述根据所述第一裁剪框对所述广角图像进行裁剪，并根据预设的目标分辨率对裁剪后的所述广角图像进行等比缩放，以输出所述目标对象的跟踪图像的步骤包括：

判断所述第一裁剪框是否超出所述广角图像的边界范围；

若所述第一裁剪框超出所述广角图像的边界范围，则调整所述第一裁剪框的位置以使所述第一裁剪框处于所述广角图像的边界范围之内；

根据平移后的所述第一裁剪框对所述广角图像进行裁剪，并根据预设的目标分辨率对裁剪后的所述广角图像进行等比缩放，以输出所述目标对象的跟踪图像。

可选的，所述根据所述第一裁剪框对所述广角图像进行裁剪，并根据预设的目标分辨率对裁剪后的所述广角图像进行等比缩放，以输出所述目标对象的跟踪图像的步骤之后，还包括：

检测当前是否需要切换至由所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像，若是，则在所述长焦图像和裁剪后的所述广角图像之间插入预设数量的过渡帧；

在切换至由所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像之前，根据所述过渡帧输出所述目标对象的跟踪图像。

可选的，所述对所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像的步骤包括：

获取所述长焦图像的第二变焦倍数；

根据所述第二变焦倍数在所述长焦图像中确定第二裁剪框；

根据所述第二裁剪框对所述长焦图像进行裁剪，并根据所述目标分辨率对裁剪后的所述长焦图像进行等比缩放，以输出所述目标对象的跟踪图像。

可选的，所述获取所述广角图像的第一变焦倍数，并获取镜头切换变焦倍数，所述镜头切换倍数为所述长焦镜头与所述短焦镜头的焦距之比的步骤之前，还包括：

判断所述目标对象是否处于所述广角图像中的预设静止区域；

若所述目标对象不处于所述广角图像中的预设静止区域，则调整所述广角镜头的拍摄方向，以使所述目标对象处于所述广角图像的中心位置。

本发明第二方面提供了一种目标对象跟踪装置，所述目标对象跟踪装置包括：

第一获取模块，用于获取长焦镜头采集到的长焦图像和短焦镜头采集到的广角图像，检测所述广角图像中是否存在预设的目标对象；

第二获取模块，用于当所述广角图像中存在预设的目标对象时，获取所述广角图像的第一变焦倍数，并获取镜头切换变焦倍数，所述镜头切换倍数为所述长焦镜头与所述短焦镜头的焦距之比；

第一跟踪模块，当所述第一变焦倍数小于或等于所述镜头切换变焦倍数时，根据所述第一变焦倍数对所述广角图像进行数码变焦以输出所述目标对象的跟踪图像；

第二跟踪模块，当所述第一变焦倍数大于所述镜头切换变焦倍数时，检测所述长焦图像中是否存在所述目标对象，若存在，则对所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像。

可选的，所述第二获取模块还用于：

获取所述目标对象的像素宽w0、高h0，所述广角图像的像素宽w1、高h1，以及所述目标对象在第一裁剪框中的预设期望像素占比e，所述第一裁剪框用于对所述广角图像进行裁剪；

根据m＝sqrt(e/(w0*h0/w1*h1))，计算得到所述广角图像的第一变焦倍数m。

可选的，所述第一跟踪模块还用于：

根据所述第一变焦倍数获取所述第一裁剪框的尺寸参数，根据所述第一裁剪框的中心与所述目标对象的中心重合获取所述第一裁剪框的位置参数；

根据所述尺寸参数和位置参数确定所述第一裁剪框；

根据所述第一裁剪框对所述广角图像进行裁剪，并根据预设的目标分辨率对裁剪后的所述广角图像进行等比缩放，以输出所述目标对象的跟踪图像。

可选的，所述第一跟踪模块还用于：

判断所述第一裁剪框是否超出所述广角图像的边界范围；

若所述第一裁剪框超出所述广角图像的边界范围，则调整所述第一裁剪框的位置以使所述第一裁剪框处于所述广角图像的边界范围之内；

根据平移后的所述第一裁剪框对所述广角图像进行裁剪，并根据预设的目标分辨率对裁剪后的所述广角图像进行等比缩放，以输出所述目标对象的跟踪图像。

可选的，所述第一跟踪模块还用于：

检测当前是否需要切换至由所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像，若是，则在所述长焦图像和裁剪后的所述广角图像之间插入预设数量的过渡帧；

在切换至由所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像之前，根据所述过渡帧输出所述目标对象的跟踪图像。

可选的，所述第二跟踪模块还用于：

获取所述长焦图像的第二变焦倍数；

根据所述第二变焦倍数在所述长焦图像中确定第二裁剪框；

根据所述第二裁剪框对所述长焦图像进行裁剪，并根据所述目标分辨率对裁剪后的所述长焦图像进行等比缩放，以输出所述目标对象的跟踪图像。

可选的，所述第二获取模块还用于：

判断所述目标对象是否处于所述广角图像中的预设静止区域；

若所述目标对象不处于所述广角图像中的预设静止区域，则调整所述广角镜头的拍摄方向，以使所述目标对象处于所述广角图像的中心位置。

本发明第三方面提供了一种摄像机，所述摄像机包括：长焦镜头、短焦镜头、存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述摄像机执行上述的目标对象跟踪方法。

本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的目标对象跟踪方法。

本发明获取长焦镜头采集到的长焦图像和短焦镜头采集到的广角图像，检测所述广角图像中是否存在预设的目标对象；当所述广角图像中存在预设的目标对象时，获取所述广角图像的第一变焦倍数，并获取镜头切换变焦倍数，所述镜头切换倍数为所述长焦镜头与所述短焦镜头的焦距之比；当所述第一变焦倍数小于或等于所述镜头切换变焦倍数时，根据所述第一变焦倍数对所述广角图像进行数码变焦以输出所述目标对象的跟踪图像；当所述第一变焦倍数大于所述镜头切换变焦倍数时，检测所述长焦图像中是否存在所述目标对象，若存在，则对所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像。本发明通过采用在长短焦镜头之间进行切换，进而对广角图像或长焦图像进行数码变焦以输出当前目标对象的跟踪图像的方式，相比于现有的使用电动变焦镜头进行跟踪，不仅跟踪速度快，而且跟踪过程中目标对象能够全程清晰显示，从而提升了跟踪画面的视觉效果。

附图说明

图1为本发明目标对象跟踪方法的一个实施例的流程示意图；

图2为本发明目标对象跟踪方法实施例中确定第一裁剪框的示意图；

图3为本发明目标对象跟踪方法实施例中对第一裁剪框进行位置修正的示意图；

图4为本发明目标对象跟踪方法实施例中从广角跟踪切换到长焦跟踪的示意图；

图5为本发明目标对象跟踪方法实施例中PT静止区域的示意图；

图6为本发明目标对象跟踪装置的一个实施例的模块示意图；

图7为本发明实施例提供的摄像机的结构示意图。

具体实施方式

本发明实施例提供了一种目标对象跟踪方法、装置、摄像机及计算机可读存储介质，通过采用在长短焦镜头之间进行切换，进而对广角图像或长焦图像进行数码变焦以输出当前目标对象的跟踪图像的方式，相比于现有的使用电动变焦镜头进行跟踪，不仅跟踪速度快，而且跟踪过程中目标对象能够全程清晰显示，从而提升了跟踪画面的视觉效果。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明目标对象跟踪方法实施例的具体流程进行描述。

参照图1，图1为本发明目标对象跟踪方法的一个实施例的流程示意图，该方法包括：

步骤101，获取长焦镜头采集到的长焦图像和短焦镜头采集到的广角图像，检测所述广角图像中是否存在预设的目标对象；

本实施例目标对象跟踪方法的执行主体可以是双目长短焦摄像机，该双目长短焦摄像机包括一个长焦镜头和一个短焦镜头，该长焦镜头和短焦镜头均为定焦镜头，且长焦镜头的焦距大于短焦镜头的焦距。

摄像机在监控过程中，获取同一时刻由长焦镜头采集到的长焦图像和由短焦镜头采集到的广角图像，并检测广角图像中是否存在预设的目标对象，其中，目标对象可以是人、动物、汽车或其他可移动物体，检测广角图像中是否存在预设的目标对象可以采用现有的物体轮廓检测算法或其他AI(Artificial Intelligence，人工智能)算法，本实施例对此不做限定。

步骤102，当所述广角图像中存在预设的目标对象时，获取所述广角图像的第一变焦倍数，并获取镜头切换变焦倍数，所述镜头切换倍数为所述长焦镜头与所述短焦镜头的焦距之比；

当检测到广角图像中存在预设的目标对象时，获取基于广角图像的第一变焦倍数，该第一变焦倍数用于对该广角图像进行数码变焦。所谓数码变焦，指的是通过裁剪拉伸使原始图像的视场角发生改变，从而模拟出一种变焦效果，而变焦倍数与图像的裁剪尺寸具有如下关系：

裁剪后图像的像素宽＝原始图像的像素宽/变焦倍数；裁剪后图像的像素高＝原始图像的像素高/变焦倍数。

在一实施方式中，获取所述广角图像的第一变焦倍数的步骤可以包括：获取所述目标对象的像素宽w0、高h0，所述广角图像的像素宽w1、高h1，以及所述目标对象在第一裁剪框中的预设期望像素占比e，所述第一裁剪框用于对所述广角图像进行裁剪；根据m＝sqrt(e/(w0*h0/w1*h1))，计算得到所述广角图像的第一变焦倍数m。

具体地，参照图2，图2为本发明目标对象跟踪方法实施例中确定第一裁剪框的示意图。设目标对象的像素宽、高分别为w0、h0，广角图像的像素宽、高分别为w1、h1，目标对象在第一裁剪框中的期望像素占比为e，其中w0、h0可以通过AI算法检测得到，w1、h1为广角镜头的已知参数，e为预设经验值。结合上述变焦倍数与图像的裁剪尺寸关系，可以计算得到广角图像的第一变焦倍数m＝sqrt(e/(w0*h0/w1*h1))，特别地，当m<1时，取m＝1，即广角图像的最小变焦倍数为1。

上述计算广角图像的第一变焦倍数的方式，能够保证目标对象在第一裁剪框中的像素占比始终为期望像素占比，即跟踪图像中的目标对象不会过大或过小，从而有利于提升跟踪画面的视觉效果。当然，广角图像的第一变焦倍数也可以是预设经验值，具体实施时可以灵活设置。

根据数码变焦原理：将广角图像数字放大s倍时视角与长焦视角一致，其中s＝f2/f1，f1为短焦镜头的焦距，f2为长焦镜头的焦距。根据该原理，本实施例将s作为镜头切换变焦倍数，通过比较m和s的大小，进而选择采用广角图像或长焦图像进行数码变焦以输出目标对象的跟踪图像。

当所述第一变焦倍数小于或等于所述镜头切换变焦倍数时，执行步骤103，根据所述第一变焦倍数对所述广角图像进行数码变焦以输出所述目标对象的跟踪图像；

在本实施例中，当m≤s时，选择用广角图像进行数码变焦以输出目标对象的跟踪图像。

进一步地，上述步骤103可以包括：根据所述第一变焦倍数获取所述第一裁剪框的尺寸参数，根据所述第一裁剪框的中心与所述目标对象的中心重合获取所述第一裁剪框的位置参数；根据所述尺寸参数和位置参数确定所述第一裁剪框；根据所述第一裁剪框对所述广角图像进行裁剪，并根据预设的目标分辨率对裁剪后的所述广角图像进行等比缩放，以输出所述目标对象的跟踪图像。

继续参照图2，设第一裁剪框的像素宽、高分别为wc、hc，左上角坐标为(xc，yc)，结合上述变焦倍数与图像的裁剪尺寸关系，可以计算得到wc＝w1/m，hc＝h1/m；此外，已知AI检测得到的目标对象的左上角坐标为(x0，y0)，则根据第一裁剪框的中心与目标对象的中心重合，即横、纵坐标相同，有(2xc+wc)/2＝(2x0+w0)/2，(2yc+hc)/2＝(2y0+h0)/2，可以计算得到xc＝(2*x0+w0-wc)/2，yc＝(2*y0+h0-hc)/2。

根据上面计算得到的尺寸参数wc，hc和位置参数(xc，yc)就可以在广角图像中确定第一裁剪框。

进一步地，上述根据所述第一裁剪框对所述广角图像进行裁剪，并根据预设的目标分辨率对裁剪后的所述广角图像进行等比缩放，以输出所述目标对象的跟踪图像的步骤可以包括：判断所述第一裁剪框是否超出所述广角图像的边界范围；若所述第一裁剪框超出所述广角图像的边界范围，则调整所述第一裁剪框的位置以使所述第一裁剪框处于所述广角图像的边界范围之内。

在本实施例中，当目标对象靠近广角图像的边缘时，以目标对象为中心的第一裁剪框可能会超出广角图像的边界范围，此时需要对该第一裁剪框进行位置修正。

具体地，参照图3，图3为本发明目标对象跟踪方法实施例中对第一裁剪框进行位置修正的示意图。在确定第一裁剪框后，可以判断该第一裁剪框是否存在至少2个顶点落在广角图像的边界范围之外，若是，则判定该第一裁剪框超出广角图像的边界范围。可以理解的是，当第一裁剪框超出了广角图像的边界范围时，可以灵活将该第一裁剪框进行上下左右平移，从而使该第一裁剪框处于广角图像的边界范围之内，例如，当第一裁剪框超出了广角图像的左边界范围时，可以将该第一裁剪框向右平移，以使该第一裁剪框的4个顶点全部处于广角图像的边界范围之内。

上述调整第一裁剪框的位置的方式，没有改变第一裁剪框的大小，因此当目标对象靠近广角图像的边缘时，该目标对象在第一裁剪框中的像素占比仍然为期望像素占比，从而保证了目标对象在跟踪图像中的大小不会突变，进一步提升了跟踪画面的视觉效果。

在确定第一裁剪框后，根据该第一裁剪框对广角图像进行裁剪，并根据预设的目标分辨率对裁剪后的广角图像进行等比缩放，从而输出目标对象的跟踪图像，其中，目标分辨率即为跟踪视频的分辨率，其可以根据需要灵活设置。通过获取不同时刻该目标对象的跟踪图像，即可生成该目标对象的跟踪视频。

反之，当所述第一变焦倍数大于所述镜头切换变焦倍数时，执行步骤104，检测所述长焦图像中是否存在所述目标对象，若存在，则对所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像。

在本实施例中，当m＞s时，进一步检测长焦图像中是否存在目标对象，检测方式可以为：在广角图像中检测目标对象是否处于长焦视角内，若是，则判定长焦图像中存在目标对象。由于当m＞s且长焦图像中存在目标对象时，继续根据m对广角图像进行数码变焦(放大)会导致跟踪图像变模糊，为了保持清晰的跟踪图像，此时切换为长焦图像，即对长焦图像进行数码变焦以输出目标对象的跟踪图像。

特别地，当m＞s但是长焦图像中不存在目标对象时，此时不能切换为长焦图像，即仍然对广角图像进行数码变焦以输出目标对象跟踪图像。

需要说明的是，在输出目标对象的跟踪视频的同时，可以再另外提供一路广角画面，让用户在体验追踪效果的同时，也保留广角视角下的信息。

本实施例通过采用在长短焦镜头之间进行切换，进而对广角图像或长焦图像进行数码变焦以输出当前目标对象的跟踪图像的方式，相比于现有的使用电动变焦镜头进行跟踪，不仅跟踪速度快，而且跟踪过程中目标对象能够全程清晰显示，从而提升了跟踪画面的视觉效果。

进一步地，基于本发明中目标对象跟踪方法的第一实施例，提出本发明中目标对象跟踪方法的第二实施例。

在本实施例中，根据所述第一裁剪框对所述广角图像进行裁剪，并根据预设的目标分辨率对裁剪后的所述广角图像进行等比缩放，以输出所述目标对象的跟踪图像的步骤之后，还可以包括：检测当前是否需要切换至由所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像，若是，则在所述长焦图像和裁剪后的所述广角图像之间插入预设数量的过渡帧；在切换至由所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像之前，根据所述过渡帧输出所述目标对象的跟踪图像。

参照图4，图4为本发明目标对象跟踪方法实施例中从广角跟踪切换到长焦跟踪的示意图。在跟踪过程中存在这样一种情况，当目标对象在广角视角中的位置1时，此时通过对广角图像进行数码变焦得到跟踪图像A，目标对象处于图像A的中心，下一时刻目标对象移动到长焦视角中的位置2，此时切换到长焦视角进行数码变焦得到跟踪图像B，这种情形下，跟踪图像直接从画面A切换到画面B，将会导致目标对象在跟踪图像中的位置发生跳变(从中间位置跳变到边缘位置)，从而影响跟踪画面的的视觉效果。为此，需要在切换过程中对画面进行平滑处理。

具体地，在通过对广角图像进行数码变焦得到跟踪图像的过程中，可以检测当前是否满足“第一变焦倍数大于镜头切换变焦倍数，且长焦图像中存在目标对象”，如果满足该条件，则需要切换至长焦图像进行跟踪，此时可以在长焦图像和裁剪后的广角图像之间插入若干过渡帧，过渡帧的数量可以灵活设置，过渡帧的位置可以根据长焦图像的位置参数、裁剪后的广角图像的位置参数确定；在切换至由所述长焦图像进行数码变焦以输出目标对象的跟踪图像之前，根据过渡帧输出所述目标对象的跟踪图像。

本实施例通过在从广角跟踪切换到长焦跟踪的过程中，对跟踪图像进行平滑处理，进一步提升了跟踪画面的视觉效果。

进一步地，基于本发明中目标对象跟踪方法的第一实施例，提出本发明中目标对象跟踪方法的第三实施例。

在本实施例中，对所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像的步骤可以包括：获取所述长焦图像的第二变焦倍数；根据所述第二变焦倍数在所述长焦图像中确定第二裁剪框；根据所述第二裁剪框对所述长焦图像进行裁剪，并根据所述目标分辨率对裁剪后的所述长焦图像进行等比缩放，以输出所述目标对象的跟踪图像。

具体地，不妨设长焦图像的第二变焦倍数为m’，结合上述的数码变焦原理，有m’＝m/s，即，将长焦图像居中放大m’倍与将广角图像居中放大m倍后的视角一致。之后，根据m’确定基于长焦图像的第二裁剪框。

在确定第二裁剪框时，作为一种实施方式，可以直接在长焦画面中用AI检测目标对象，从而得到长焦画面中的目标对象参数(大小、位置等)，然后采用与上述广角图像类似的算法，计算第二裁剪框的尺寸参数和位置参数，从而确定第二裁剪框。

作为另一种实施方式，由于硬件性能限制(嵌入式平台普通芯片AI算力有限)，一般只能在广角图像中用AI检测目标对象，因此当切换到长焦图像计算长焦图像的第二裁剪框时，无法直接通过AI来获取目标对象的尺寸参数，此时需要进行目标对象参数转换，即将广角图像中目标对象的尺寸参数w0，h0和位置参数(x0，y0)转换到长焦图像，以便于在长焦图像中确定第二裁剪框。目标对象参数转换的方法具体如下：

已知广角图像的像素宽、高分别为w1、h1，设将广角图像居中放大s倍所对应的第三裁剪框的像素宽、高分别为wt、ht，左上角坐标为(xt，yt)，则wt＝w1/s，ht＝h1/s，xt＝(w1-w1/s)/2，yt＝(h1-h1/s)/2。已知长焦图像的像素宽、高分别为w2、h2，设转换后长焦图像中的目标对象参数为：左上角坐标(xf，yf)，宽wf，高hf，则xf＝sw*(x0-xt)，yf＝sh*(y0-yt)，wf＝sw*w0，hf＝sh*h0，其中sw＝w2/wt，sh＝h2/ht。

在完成上述目标对象参数转换后，与广角类似，根据m’及转换后长焦图像中的目标对象参数，可以计算得到第二裁剪框的宽wc’，高hc’以及左上角坐标(xc’，yc’)，其中，wc’＝w2/m’，hc’＝h2/m’，xc’＝(2*xf+wf-wc’)/2，yc’＝(2*yf+hf-hc’)/2。由此就可以在长焦图像中确定第二裁剪框。

第二裁剪框的越界修正与广角类似，此处不做赘述。之后，根据第二裁剪框对长焦图像进行裁剪，并根据预设的目标分辨率对裁剪后的长焦图像进行等比缩放，从而输出目标对象的跟踪图像。

本实施例通过在长短焦镜头之间进行切换以输出当前目标对象的跟踪图像的方式，算法简单，且跟踪过程中目标对象能够全程清晰显示，从而提升了跟踪画面的视觉效果。

进一步地，基于本发明中目标对象跟踪方法的第一实施例，提出本发明中目标对象跟踪方法的第四实施例。

在本实施例中，所述获取所述广角图像的第一变焦倍数，并获取镜头切换变焦倍数，所述镜头切换倍数为所述长焦镜头与所述短焦镜头的焦距之比的步骤之前，还可以包括：判断所述目标对象是否处于所述广角图像中的预设静止区域；若所述目标对象不处于所述广角图像中的预设静止区域，则控制所述广角镜头进行旋转，以使所述目标对象处于所述广角图像的中心位置。

参照图5，图5为本发明目标对象跟踪方法实施例中PT静止区域的示意图。在本实施例中，双目长短焦摄像机还包括一个PT云台，可以随着目标对象的移动而带动广角/长焦镜头进行左右/上下转动。为了减少跟踪过程中PT频繁转动以及跟踪迟滞，当检测到广角图像中存在预设的目标对象时，可以首先判断该目标对象是否处于广角图像中的预设静止区域(PT静止区域)，当目标对象处于该区域时不会转动PT，而是采用数码变焦跟踪，当目标对象不处于该区域时，为了避免目标对象丢失，控制PT转动让目标对象居于广角图像中心，之后再获取广角图像的第一变焦倍数以及镜头切换变焦倍数，以执行后续的跟踪方法。

本实施例通过设置PT静止区域，减少了跟踪过程中PT频繁转动，从而有利于节省电量并进一步提升跟踪视频的流畅度。

本发明实施例还提供一种目标对象跟踪装置。

参照图6，图6为本发明目标对象跟踪装置的一个实施例的模块示意图。本实施例中，所述目标对象跟踪装置包括：

第一获取模块601，用于获取长焦镜头采集到的长焦图像和短焦镜头采集到的广角图像，检测所述广角图像中是否存在预设的目标对象；

第二获取模块602，用于当所述广角图像中存在预设的目标对象时，获取所述广角图像的第一变焦倍数，并获取镜头切换变焦倍数，所述镜头切换倍数为所述长焦镜头与所述短焦镜头的焦距之比；

第一跟踪模块603，当所述第一变焦倍数小于或等于所述镜头切换变焦倍数时，根据所述第一变焦倍数对所述广角图像进行数码变焦以输出所述目标对象的跟踪图像；

第二跟踪模块604，当所述第一变焦倍数大于所述镜头切换变焦倍数时，检测所述长焦图像中是否存在所述目标对象，若存在，则对所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像。

可选的，所述第二获取模块602还用于：

获取所述目标对象的像素宽w0、高h0，所述广角图像的像素宽w1、高h1，以及所述目标对象在第一裁剪框中的预设期望像素占比e，所述第一裁剪框用于对所述广角图像进行裁剪；

根据m＝sqrt(e/(w0*h0/w1*h1))，计算得到所述广角图像的第一变焦倍数m。

可选的，所述第一跟踪模块603还用于：

根据所述第一变焦倍数获取所述第一裁剪框的尺寸参数，根据所述第一裁剪框的中心与所述目标对象的中心重合获取所述第一裁剪框的位置参数；

根据所述尺寸参数和位置参数确定所述第一裁剪框；

根据所述第一裁剪框对所述广角图像进行裁剪，并根据预设的目标分辨率对裁剪后的所述广角图像进行等比缩放，以输出所述目标对象的跟踪图像。

可选的，所述第一跟踪模块603还用于：

判断所述第一裁剪框是否超出所述广角图像的边界范围；

若所述第一裁剪框超出所述广角图像的边界范围，则调整所述第一裁剪框的位置以使所述第一裁剪框处于所述广角图像的边界范围之内；

根据平移后的所述第一裁剪框对所述广角图像进行裁剪，并根据预设的目标分辨率对裁剪后的所述广角图像进行等比缩放，以输出所述目标对象的跟踪图像。

可选的，所述第一跟踪模块603还用于：

检测当前是否需要切换至由所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像，若是，则在所述长焦图像和裁剪后的所述广角图像之间插入预设数量的过渡帧；

在切换至由所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像之前，根据所述过渡帧输出所述目标对象的跟踪图像。

可选的，所述第二跟踪模块604还用于：

获取所述长焦图像的第二变焦倍数；

根据所述第二变焦倍数在所述长焦图像中确定第二裁剪框；

根据所述第二裁剪框对所述长焦图像进行裁剪，并根据所述目标分辨率对裁剪后的所述长焦图像进行等比缩放，以输出所述目标对象的跟踪图像。

可选的，所述第二获取模块602还用于：

判断所述目标对象是否处于所述广角图像中的预设静止区域；

若所述目标对象不处于所述广角图像中的预设静止区域，则调整所述广角镜头的拍摄方向，以使所述目标对象处于所述广角图像的中心位置。

上述目标对象跟踪装置中各个模块的功能实现及有益效果与上述目标对象跟踪方法实施例中各步骤相对应，此处不再赘述。

上面从模块化功能实体的角度对本发明实施例中的目标对象跟踪装置进行了详细描述，下面从硬件处理的角度对本发明实施例中的摄像机进行详细描述。

参照图7，图7为本发明实施例提供的摄像机的结构示意图。该图像处理设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)710和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对图像处理设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在图像处理设备700上执行存储介质730中的一系列指令操作。

图像处理设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和/或，一个或一个以上操作系统731，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图7示出的摄像机结构并不构成对摄像机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种摄像机，所述摄像机包括长焦镜头、短焦镜头、存储器和处理器，存储器中存储有指令，所述指令被处理器执行时，使得处理器执行上述各实施例中的目标对象跟踪方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质或易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行上述各实施例中的目标对象跟踪方法的步骤。

所属领域技术人员可以理解，上述集成的模块或单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种目标对象跟踪方法，其特征在于，所述目标对象跟踪方法包括如下步骤：

获取长焦镜头采集到的长焦图像和短焦镜头采集到的广角图像，检测所述广角图像中是否存在预设的目标对象；

当所述广角图像中存在预设的目标对象时，获取所述广角图像的第一变焦倍数，并获取镜头切换变焦倍数，所述镜头切换倍数为所述长焦镜头与所述短焦镜头的焦距之比；

当所述第一变焦倍数小于或等于所述镜头切换变焦倍数时，根据所述第一变焦倍数对所述广角图像进行数码变焦以输出所述目标对象的跟踪图像；

当所述第一变焦倍数大于所述镜头切换变焦倍数时，检测所述长焦图像中是否存在所述目标对象，若存在，则对所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像。

2.如权利要求1所述的目标对象跟踪方法，其特征在于，所述获取所述广角图像的第一变焦倍数的步骤包括：

获取所述目标对象的像素宽w0、高h0，所述广角图像的像素宽w1、高h1，以及所述目标对象在第一裁剪框中的预设期望像素占比e，所述第一裁剪框用于对所述广角图像进行裁剪；

根据m＝sqrt(e/(w0*h0/w1*h1))，计算得到所述广角图像的第一变焦倍数m。

3.如权利要求2所述的目标对象跟踪方法，其特征在于，所述根据所述第一变焦倍数对所述广角图像进行数码变焦以输出所述目标对象的跟踪图像的步骤包括：

根据所述第一变焦倍数获取所述第一裁剪框的尺寸参数，根据所述第一裁剪框的中心与所述目标对象的中心重合获取所述第一裁剪框的位置参数；

根据所述尺寸参数和位置参数确定所述第一裁剪框；

根据所述第一裁剪框对所述广角图像进行裁剪，并根据预设的目标分辨率对裁剪后的所述广角图像进行等比缩放，以输出所述目标对象的跟踪图像。

4.如权利要求3所述的目标对象跟踪方法，其特征在于，所述根据所述第一裁剪框对所述广角图像进行裁剪，并根据预设的目标分辨率对裁剪后的所述广角图像进行等比缩放，以输出所述目标对象的跟踪图像的步骤包括：

判断所述第一裁剪框是否超出所述广角图像的边界范围；

若所述第一裁剪框超出所述广角图像的边界范围，则调整所述第一裁剪框的位置以使所述第一裁剪框处于所述广角图像的边界范围之内；

根据平移后的所述第一裁剪框对所述广角图像进行裁剪，并根据预设的目标分辨率对裁剪后的所述广角图像进行等比缩放，以输出所述目标对象的跟踪图像。

5.如权利要求3所述的目标对象跟踪方法，其特征在于，所述根据所述第一裁剪框对所述广角图像进行裁剪，并根据预设的目标分辨率对裁剪后的所述广角图像进行等比缩放，以输出所述目标对象的跟踪图像的步骤之后，还包括：

检测当前是否需要切换至由所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像，若是，则在所述长焦图像和裁剪后的所述广角图像之间插入预设数量的过渡帧；

在切换至由所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像之前，根据所述过渡帧输出所述目标对象的跟踪图像。

6.如权利要求3所述的目标对象跟踪方法，其特征在于，所述对所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像的步骤包括：

获取所述长焦图像的第二变焦倍数；

根据所述第二变焦倍数在所述长焦图像中确定第二裁剪框；

根据所述第二裁剪框对所述长焦图像进行裁剪，并根据所述目标分辨率对裁剪后的所述长焦图像进行等比缩放，以输出所述目标对象的跟踪图像。

7.如权利要求1-6中任一项所述的目标对象跟踪方法，其特征在于，所述获取所述广角图像的第一变焦倍数，并获取镜头切换变焦倍数，所述镜头切换倍数为所述长焦镜头与所述短焦镜头的焦距之比的步骤之前，还包括：

判断所述目标对象是否处于所述广角图像中的预设静止区域；

若所述目标对象不处于所述广角图像中的预设静止区域，则调整所述广角镜头的拍摄方向，以使所述目标对象处于所述广角图像的中心位置。

8.一种目标对象跟踪装置，其特征在于，所述目标对象跟踪装置包括：

第一获取模块，用于获取长焦镜头采集到的长焦图像和短焦镜头采集到的广角图像，检测所述广角图像中是否存在预设的目标对象；

第二获取模块，用于当所述广角图像中存在预设的目标对象时，获取所述广角图像的第一变焦倍数，并获取镜头切换变焦倍数，所述镜头切换倍数为所述长焦镜头与所述短焦镜头的焦距之比；

第一跟踪模块，当所述第一变焦倍数小于或等于所述镜头切换变焦倍数时，根据所述第一变焦倍数对所述广角图像进行数码变焦以输出所述目标对象的跟踪图像；

第二跟踪模块，当所述第一变焦倍数大于所述镜头切换变焦倍数时，检测所述长焦图像中是否存在所述目标对象，若存在，则对所述长焦图像进行数码变焦以输出所述目标对象的跟踪图像。

9.一种摄像机，其特征在于，所述摄像机包括：长焦镜头、短焦镜头、存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述摄像机执行如权利要求1-7中任一项所述的目标对象跟踪方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的目标对象跟踪方法。

Images