CN114866697A - 视频显示方法、装置、视频拍摄设备及存储介质 - Google Patents

Abstract

本发明涉及视频显示技术领域，提供了一种视频显示方法、装置、视频拍摄设备及存储介质，所述方法包括：获取枪机摄像头拍摄的全景视频帧和球机摄像头拍摄的球机视频帧；对全景视频帧进行目标检测，得到待跟踪目标及所述待跟踪目标的当前位置，待跟踪目标的当前位置为待跟踪目标在全景视频帧中的相对位置；将全景视频帧、当前位置及球机视频帧发送至客户端，以使客户端将球机视频帧叠加在全景视频帧的当前位置上进行显示。本发明实施例使得用户既可以获知待跟踪目标在全景视频中的动向，又可以通过球机视频帧清楚地对待跟踪目标的进行跟踪抓拍，提高了监控效率，同时实现了较好的监控效果。

Description

视频显示方法、装置、视频拍摄设备及存储介质

技术领域

本发明涉及视频显示领域，具体而言，涉及一种视频显示方法、装置、视频拍摄设备及存储介质。

背景技术

为了在全景监控的同时能够同步显示对特定目标的跟踪抓拍，更便捷地关注特定目标的动向，通常情况下，用枪机摄像头进行全景监控，得到全景监控的视频，用球机摄像头对特定目标进行跟踪抓拍，得到特定目标的视频，再将两个视频分别显示在不同的窗口中，以便监控人员进行对比观察，这种视频显示方式，需要监控人员人不断来回地对两个窗口进行观察和比对，以便监控特定目标的同时，还能监控到特定目标相对于全景的动向，监控效率低下，监控效果也不佳。

发明内容

本发明的目的在于提供了一种视频显示方法、装置、视频拍摄设备及存储介质，其能够提高监控效率，同时改善监控效果。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种视频显示方法，应用于视频拍摄设备中处理器，所述视频拍摄设备包括用于跟踪抓拍的球机摄像头和用于全景监控的枪机摄像头，所述处理器与所述球机摄像头及所述枪机摄像头均电连接，所述视频拍摄设备和客户端通信连接，所述方法包括：获取所述枪机摄像头拍摄的全景视频帧和所述球机摄像头拍摄的球机视频帧；对所述全景视频帧进行目标检测，得到待跟踪目标及所述待跟踪目标的当前位置，所述待跟踪目标的当前位置为所述待跟踪目标在所述全景视频帧中的相对位置；将所述全景视频帧、所述当前位置及所述球机视频帧发送至所述客户端，以使所述客户端将所述球机视频帧叠加在所述全景视频帧的所述当前位置上进行显示。

可选地，所述对所述全景视频帧进行目标检测，得到待跟踪目标及所述待跟踪目标的当前位置的步骤包括：

对所述全景视频帧进行目标检测，得到多个初始目标及每一所述初始目标的当前位置，每一所述初始目标的当前位置为每一所述初始目标在所述全景视频帧中的相对位置，每一所述初始目标均对应一个优先级；

将优先级最高的初始目标作为所述待跟踪目标，并将所述优先级最高的初始目标的当前位置作为所述待跟踪目标的当前位置。

可选地，每一所述初始目标对应一个目标标识，所述视频拍摄设备存储有目标列表，所述目标列表包括与所述全景视频帧相邻的前一视频帧中检测出的历史目标、所述历史目标的目标标识及历史位置，所述历史位置为所述历史目标在所述前一视频帧中的相对位置，所述方法还包括：

若所述目标列表中存在与所述初始目标的目标标识相同的历史目标，则用所述初始目标的当前位置更新与所述初始目标的目标标识相同的历史目标的历史位置；

若所述目标列表中不存在与所述初始目标的目标标识相同的历史目标，则将所述初始目标及所述初始目标的当前位置加入至所述目标列表中。

可选地，所述方法还包括：

将所述目标列表中与所有所述初始目标的目标标识均不同的历史目标作为待删除目标；

将所述待删除目标从所述目标列表中删除。

可选地，所述方法还包括：

获取最近一次所述球机摄像头跟踪的当前目标、所述当前目标的当前位置及当前跟踪时长；

若所述当前目标为所述待跟踪目标且所述当前跟踪时长小于预设时长，则根据所述当前目标的当前位置及所述待跟踪目标的当前位置调整所述球机摄像头，以使所述球机摄像头继续跟踪所述待跟踪目标；

若所述当前目标不为所述待跟踪目标，则根据所述待跟踪目标的当前位置定位并启动跟踪所述待跟踪目标。

可选地，所述待跟踪目标的当前位置用第一坐标表示，所述当前目标的当前位置用第二坐标表示，所述球机对应球机坐标系，所述根据所述当前目标的当前位置及所述待跟踪目标的当前位置调整所述球机摄像头的步骤包括：

将所述第一坐标转换为在所述球机坐标系中的第一球机坐标，其中，所述第一球机坐标包括相对于所述球机坐标系原点的水平旋转的第一角度、相对于所述球机坐标原点的垂直旋转的第二角度及所述球机的光学变倍；

将所述第二坐标转换为在所述球机坐标系中的第二球机坐标，其中，所述第二球机坐标包括相对于所述球机坐标系原点的水平旋转的第三角度、相对于所述球机坐标原点的垂直旋转的第四角度及所述球机的光学变倍；

计算所述第一角度和所述第三角度的差值，得到第一差值；

计算所述第二角度和所述第四角度的差值，得到第二差值；

根据所述第一差值对所述球机摄像头进行水平旋转调整；

根据所述第二差值对所述球机摄像头进行垂直旋转调整。

可选地，所述根据所述待跟踪目标的当前位置定位并启动跟踪所述待跟踪目标的步骤包括：

根据所述第一角度对所述球机摄像头进行水平旋转调整、并根据所述第二角度对所述球机摄像头进行垂直旋转调整，以定位所述待跟踪目标；

启动跟踪所述待跟踪目标。

第二方面，本发明实施例提供了一种视频显示装置，应用于视频拍摄设备中的处理器，所述视频拍摄设备包括用于跟踪抓拍的球机摄像头和用于全景监控的枪机摄像头，所述处理器与所述球机摄像头及所述枪机摄像头均电连接，所述视频拍摄设备和客户端通信连接，所述装置包括：获取模块，用于获取所述枪机摄像头拍摄的全景视频帧和所述球机摄像头拍摄的球机视频帧；检测模块，用于对所述全景视频帧进行目标检测，得到待跟踪目标及所述待跟踪目标的当前位置，所述待跟踪目标的当前位置为所述待跟踪目标在所述全景视频帧中的相对位置；发送模块，用于将所述全景视频帧、所述当前位置及所述球机视频帧发送至所述客户端，以使所述客户端将所述球机视频帧叠加在所述全景视频帧的所述当前位置上进行显示。

第三方面，本发明实施例提供了一种视频拍摄设备，包括处理器和存储器；所述存储器用于存储程序；所述处理器用于在执行所述程序时，实现如第一方面所述的视频显示方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的视频显示方法。

相对于现有技术，本发明实施例在获取到枪机摄像头拍摄的全景视频帧后，对全景视频帧进行目标检测，得到待跟踪目标及待跟踪目标的当前位置，待跟踪目标的当前位置为待跟踪目标在全景视频帧中的相对位置，最后，将全景视频帧、当前位置及获取的球机摄像头拍摄的球机视频帧发送至客户端，客户端将球机视频帧叠加在全景视频帧的当前位置上进行显示，由此通过全景视频帧和球机视频帧进行实时动态关联，用户既可以获知待跟踪目标在全景视频中的动向，又可以通过球机视频帧清楚地对待跟踪目标的进行跟踪抓拍，提高了监控效率，同时实现了较好的监控效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的视频显示方法的应用场景的示例图。

图2为本发明实施例提供的视频拍摄设备的方框示意图。

图3为本发明实施例提供的一种具体的视频拍摄设备的方框示例图。

图4为本发明实施例提供的视频显示方法的流程示例图一。

图5为本发明实施例提供的叠加方式的示例图。

图6为本发明实施例提供的待跟踪目标移动时叠加后的视频展示的示例图。

图7为本发明实施例提供的视频显示方法的流程示例图二。

图8为本发明实施例提供的视频显示方法的流程示例图三。

图9为本发明实施例提供的视频显示装置的方框示意图。

图标：10-视频拍摄设备；11-处理器；1101-第一DSP；1102-第二DSP；1103-SWITCH模块；12-存储器；13-枪机摄像头；14-球机摄像头；15-补光模块；16-PTZ模块；17-接口模块；1701-网口；1702-音频装置；1703-输入输出装置；1704-RS485接口；20-客户端；100-视频显示装置；110-获取模块；120-检测模块；130-发送模块；140-更新模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。

现有技术中，为了解决两个视频显示在不同的窗口导致监控分离，不便于监控人员进行对比观察，最终导致监控效率低，通常采用画中画方式，这种方式虽然解决了监控分离的问题，但是，当进行跟踪抓拍时，全景视频中的待跟踪目标是移动的，叠加在全景视频中的球机视频中的待跟踪目标是固定不动的，二者之间并无关联，导致监控效率仍然不能满足需求，且监控效果不佳。

有鉴于此，本发明实施例提供了一种视频显示方法、装置、视频拍摄设备及存储介质，其能够提高监控效率，同时改善监控效果，下面将对其进行详细描述。

请参考图1，图1为本发明实施例提供的视频显示方法的应用场景的示例图，视频拍摄设备10与客户端20通信连接，具体地，视频拍摄设备10还可以包括处理器和接口模块，处理器可以通过与接口模块电连接的网口与客户端20之间进行通信，视频拍摄设备10还包括枪机摄像头和球机摄像头，枪机摄像头用于全景监控，球机摄像头用于跟踪抓拍待跟踪目标，视频拍摄设备10的处理器对获取到的枪机摄像头拍摄的全景视频帧进行目标检测，得到待跟踪目标及待跟踪目标的当前位置，再将全景视频帧、当前位置及球机视频帧发送至客户端20，客户端20将球机视频帧叠加在全景视频帧的当前位置上进行显示，用户可以通过在客户端20上进行WEB操作观看显示出的叠加视频。

枪机摄像头，通常监控位置固定，监控方位有限，更适于实现远距离监控或广角监控等全景监控。

球机摄像头，通常比较小巧，其集摄像机系统、变焦镜头、电子云台于一体，在稳定性和操控性上比较好，可以根据现场情况和客户需求因地制宜设置预置位巡航，重要点位设置停留时间和镜头拉近放大对待跟踪目标进行重点跟踪。

在图1的基础上，本发明实施例还提供了图1中的视频拍摄设备10的方框示意图，请参照图2，图2为本发明实施例提供的视频拍摄设备的方框示意图，图2中，视频拍摄设备10包括处理器11、存储器12、枪机摄像头13、球机摄像头14。处理器11、存储器12、枪机摄像头13、及球机摄像头14电连接。

处理器11可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，视频显示方法的各步骤可以通过处理器11中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器11可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，作为一种具体实现形式，处理器11可以是一个DSP，此时，枪机摄像头13及球机摄像头14均与该DSP电连接，以实现本发明实施例中的视频显示方法，作为另一种具体实现形式，处理器11可以是两个DSP，两个DSP之间通过SWITCH模块通信，一个DSP与枪机摄像头13电连接，一个DSP与球机摄像头14电连接，两个DSP配合实现本发明实施例中的视频显示方法。

存储器12用于存储程序，例如本发明实施例中的视频显示装置。视频显示装置包括至少一个可以软件或固件(firmware)的形式存储于存储器12中的软件功能模块。处理器11在接收到执行指令后，执行所述程序以实现上述实施例揭示的视频显示方法，存储器12可以是闪存等非易失性存储器。

在图2的基础上，本发明实施例还提供了一种处理器11由两个DSP组成的视频拍摄设备的方框示例图，请参照图3，图3为本发明实施例提供的一种具体的视频拍摄设备的方框示例图，图3中，处理器11包括第一DSP1101、第二DSP1102及SWITCH模块1103，存储器为FLASH，除了图2中的处理器11、存储器12、枪机摄像头13及球机摄像头14，图3中的视频拍摄设备还包括补光模块15、PTZ模块16、接口模块17及与接口模块电连接的网口1701、音频装置1702、输入输出装置1703，RS485接口1704。

第一DSP1101，与枪机摄像头13电连接，主要完成全景定焦图像或视频的采集，并可运行全景智能算法检测，比如针对人员、非机动车、机动车进行检测，输出检测目标坐标信息，同时可运行一些智能业务，比如周界检测、结构化抓拍等。

第二DSP1102，与球机摄像头14电连接，主要完成球机图像或视频的采集，并可运行智能算法检测，比如针对人员、非机动车、机动车进行检测，同时可运行一些智能业务，比如结构化抓拍等。通过第一DSP1101和第二DSP1102的配合，可实现枪球联动功能，当第一DSP1101检测到目标时，第一DSP1101向第二DSP1102发送目标的相关数据，第二DSP1102处理后，通过PTZ(Pan/Tilt/Zoom，PTZ)模块控制球机摄像头，转向目标并持续跟踪。

SWTICH模块1103，主要用于连接第一DSP1101和第二DSP1102，使两者可以相互通讯，传输数据。

枪机摄像头13，包括全景定焦镜头和互补金属氧化物半导体CMOS(ComplementaryMetal-Oxide-Semiconductor，CMOS)图像传感器，主要完成全景定焦镜头成像，并由CMOS图像传感器完成图像采集，传输给第一DSP1101。

球机摄像头14，包括球机机芯镜头和CMOS图像传感器，主要完成球机机芯镜头成像，并由CMOS图像传感器完成图像采集，传输给第二DSP1102。

补光模块15，主要完成枪机摄像头13以及球机摄像头14拍摄时的补光，枪机摄像头13补光采用白光补光，由DSP1101控制，球机摄像头14补光采用红外补光，由第二DSP1102控制。

PTZ模块16，主要完成球机摄像头14的水平旋转和垂直旋转，PTZ模块由第二DSP1102控制，枪球联动功能运行时，需要使用到PTZ模块16，通过PTZ模块16控制球机摄像头14，使其机芯持续对准目标，持续跟踪。

接口模块17用于提供视频拍摄设备10与其他网络设备或者输入输出设备的连接，接口模块17通过网口1701实现视频拍摄设备10与客户端20之间的网络通信，通过音频装置1702实现拍摄视频中声音的输出或者报警提示音的输出，通过输入输出装置1703实现视频拍摄设备10的信息的输入输出，通过RS485接口实现视频拍摄设备10通过RS485网络与其他设备进行通信。

需要说明的是，当DSP包括第一DSP和第二DSP时，第一DSP和第二DSP可以和同一个存储器12连接，也可以分别与各自的存储器12连接，具体可以根据实际场景的需要进行设置。

在图1～图3的基础上，本发明实施例还提供了一种应用于图1～图3中视频拍摄设备的视频显示方法，请参照图4，图4为本发明实施例提供的视频显示方法的流程示例图一，该方法包括以下步骤：

步骤S100，获取枪机摄像头拍摄的全景视频帧和球机摄像头拍摄的球机视频帧。

在本实施例中，枪机摄像头13和球机摄像头14可以按照预设周期将拍摄的全景视频帧和球机视频帧发送至视频拍摄设备的处理器11，例如，通常情况下，视频每秒的视频帧为24帧，枪机摄像头13和球机摄像头14每拍摄一张视频帧，就分别将其发送至视频拍摄设备的处理器11。

步骤S101，对全景视频帧进行目标检测，得到待跟踪目标及待跟踪目标的当前位置，待跟踪目标的当前位置为待跟踪目标在全景视频帧中的相对位置。

在本实施例中，对全景视频帧进行目标检测可以是检测全景视频帧中的人、非机动车、机动车等对象。目标检测的结果至少包括检测到的目标及目标在全景视频帧中的相对位置。全景视频帧中目标可以是一个，也可以是多个，当为一个时，该目标即为待跟踪目标，当为多个时，可以从多个目标中确定一个待跟踪目标。

可以理解的是，除了在枪机摄像头的拍摄视野范围内一直进行监控这种场景之外，还存在另一些场景，即全景视频帧中不存在目标，或者待跟踪目标是预先设定的，此时，全景视频帧中虽然存在目标，但是这些目标都不是预先设定的待跟踪目标，在这些场景中，可以在步骤S101之前，首先判断全景视频帧中是否存在待跟踪目标，存在待跟踪目标时再进一步对全景视频帧进行目标检测，得到待跟踪目标的当前位置。

步骤S102，将全景视频帧、当前位置及球机视频帧发送至客户端，以使客户端将球机视频帧叠加在全景视频帧的当前位置上进行显示。

在本实施例中，客户端叠加的方式可以是用球机视频帧在当前位置覆盖全景视频帧中的待跟踪目标，也可以不覆盖全景视频帧的待跟踪目标，而是当前位置的预设范围内显示球机视频帧，预设范围可以是当前位置的右上角、左上角、右下角、左下角等位置，也可以根据需要进行设置。请参照图5，图5为本发明实施例提供的叠加方式的示例图，图5中显示了两种叠加方式的对比：叠加方式一：球机视频帧在当前位置的右上角显示球机视频帧；叠加方式二：球机视频帧在当前位置覆盖全景视频帧中的待跟踪目标。

在本实施例中，当待跟踪目标在全景视频帧中的位置发生变化时，相应地，叠加后，球机视频帧相对于全景视频帧的位置也会随之变化，请参照图6，图6为本发明实施例提供的待跟踪目标移动时叠加后的视频展示的示例图。图6中展示了按照时间先后顺序的4个不同时间点的视频帧显示情况的示例，待跟踪目标移动轨迹如图中所示，待跟踪目标在时间点1～时间点4分别处于位置1～位置4，图6中示出了不同时间点球机视频帧在全景视频帧中的位置随着待跟踪目标的移动而发生变化，随着待跟踪目标在全景视频中移动，球机视频在全景视频中也随着叠加移动，由此用户能够更好的体验枪球联动带来的便捷以及快速的关注目标情况，也更有利于监控预防事件。

需要说明的是，在时间点4，球机视频帧如果仍然按照预先设置的右上角进行显示时，可能无法完整显示，因此，本发明实施例还可以根据实际情况进行判断，当球机视频帧按照预先设置的位置无法完整显示时，可以根据实际情况进行调整，以使球机视频帧能够完整显示。

还需要说明的是，当全景视频帧中不再有任何监控目标时，此时，球机视频帧也不再跟踪任何目标，此时，球机视频帧可以叠加在全景视频帧中的预设位置，预设位置可以是全景视频帧的左上、左下、右上、右下、中心中任一位置，也可以是预先设置的全景视频帧中的任意预设位置。

本发明实施例提供的上述方法，通过全景视频帧和球机视频帧进行实时动态关联，用户既可以获知待跟踪目标在全景视频中的动向，又可以通过球机视频帧清楚地对待跟踪目标的进行跟踪抓拍，提高了监控效率，同时实现了较好的监控效果。

在图4的基础上，本实施例还提供了一种对全景视频帧进行目标检测的具体实现方式，请参照图7，图7为本发明实施例提供的视频显示方法的流程示例图二，步骤S101包括以下子步骤：

子步骤S1010，对全景视频帧进行目标检测，得到多个初始目标及每一初始目标的当前位置，每一初始目标的当前位置为每一初始目标在全景视频帧中的相对位置，每一初始目标均对应一个优先级。

在本实施例中，初始目标为全景视频帧中检测到的所有目标，每一初始目标对应一个优先级，优先级可以根据需要确定，例如，按照初始目标在全景视频帧中占据的区域大小设定优先级，占据的区域越大，意味着该初始目标的监控的必要性越高，则优先级设置越高，或者按照初始目标相对于全景视频帧中预设区域的位置确定优先级，与预设区域的位置距离越近，则优先级越高。

还需要说明的是，作为一种具体实施方式，在对全景视频帧进行目标检测时也可以设置目标检测触发条件，比如设定拌线检测、区域入侵、离开区域、徘徊检测等一些智能业务，针对不同智能业务，设置对应的触发条件，筛选出需要的初始目标。

子步骤S1011，将优先级最高的初始目标作为待跟踪目标，并将优先级最高的初始目标的当前位置作为待跟踪目标的当前位置。

本发明实施例提供的上述方法，在检测到多个初始目标时，将优先级最高的初始目标作为待跟踪目标，以实现对重要级别的待跟踪目标的动向的跟踪和展示。

在本实施例中，通常情况下，采集时间相邻的两帧全景视频帧中大部分的初始目标是重复的，既前一帧中存在的初始目标，在相邻的后一帧中仍然存在，或者其中的大部分初始目标仍然存在，只是位置发生了变化。为了方便处理，本发明实施例将检测出的目标用一个目标列表进行管理，对于当前这一帧全景视频帧而言，目标列表包括与全景视频帧相邻的前一视频帧中检测出的历史目标、历史目标的目标标识及历史位置，历史位置为历史目标在前一视频帧中的相对位置，每次对全景视频帧进行目标检测时，都需要根据检测得到的初始目标对目标列表进行更新，具体更新方式如下：

方式一：若目标列表中存在与初始目标的目标标识相同的历史目标，则用初始目标的当前位置更新与初始目标的目标标识相同的历史目标的历史位置。

在本实施例中，每一初始目标均对应一个目标标识，若目标列表中存在与初始目标的目标标识相同的历史目标，则意味着，该初始目标在全景视频帧中存在，且在与全景视频帧相邻的前一视频帧中也存在，此时，只需要更新该初始目标的位置即可。

方式二：若目标列表中不存在与初始目标的目标标识相同的历史目标，则将初始目标及初始目标的当前位置加入至目标列表中。

在本实施例中，若目标列表中不存在与初始目标的目标标识相同的历史目标，则意味着，该初始目标在全景视频帧中存在，在与全景视频帧相邻的前一视频帧中不存在，属于新检测到的，此时，需要将该新检测到的初始目标及其当前位置加入至目标列表中。

方式三：将目标列表中与所有初始目标的目标标识均不同的历史目标作为待删除目标；将待删除目标从目标列表中删除。

在本实施例中，若历史目标存在于全景视频帧相邻的前一视频帧中，但是未存在于全景视频帧中，则意味着，该历史目标已经不在检测范围内，此时，需要将其从目标列表中删除。

作为一种具体实施方式，目标列表可以采用数组的方式实现，数组中的每一个元素对应一个历史目标，除了记录历史目标的历史位置，还可以记录历史目标的长度、宽度及优先级顺序。历史目标可以采用先进先出的方式进入数组，当数组中的某个历史目标删除时，位于其后的其他历史目标依次前移。

在本实施例中，当待跟踪目标持续移动时，为了使球机摄像头能够更及时、更清楚地对待跟踪目标进行跟踪，本发明实施例还提供了一种根据待跟踪目标的移动适应性对球机摄像头进行调整的实现方式，请参照图8，图8为本发明实施例提供的视频显示方法的流程示例图三，该方法还包括以下步骤：

步骤S103，获取最近一次球机摄像头跟踪的当前目标、当前目标的当前位置及当前跟踪时长。

在本实施例中，最近一次球机摄像头跟踪的当前目标就是球机摄像头当前正在跟踪的目标。根据实际场景的不同，可以设置球机摄像头跟踪特定目标的预设时长，当跟踪特定目标的跟踪时长达到预设时长时，则球机摄像头不再对该特定目标继续进行跟踪。

需要说明的是，可以设置一个预设时长，此时，对于任一跟踪目标，其监控时长均不超过预设时长，也可以为不同的跟踪目标设置不同的预设时长，以满足不同的监控需要。

还需要说明的是，除了根据预设时长进行跟踪，也可以持续跟踪，即只要特定目标在监控区域内，就一直对其进行跟踪，直至其离开监控区域，作为一种具体实现方式，可以将预设时长设置为特定值，例如，将特定目标的预设时长设置为0，当预设时长为0时，则表示需要对特定目标进行持续跟踪。

还需要说明的是，作为一种具体实现方式，当前目标的当前跟踪时长可以按照预设周期进行累加，每个预设周期累加一次，预设周期可以是视频帧的采集周期，即每采集一次视频帧就更新一次当前跟踪时长。

步骤S104，若当前目标为待跟踪目标且当前跟踪时长小于预设时长，则根据当前目标的当前位置及待跟踪目标的当前位置调整球机摄像头，以使球机摄像头继续跟踪待跟踪目标。

在本实施例中，当前目标为待跟踪目标且当前跟踪时长小于预设时长，则意味着需要继续对待跟踪目标进行跟踪，由于待跟踪目标的当前位置与上一次的位置相比，发生了变化，为了更好地对待跟踪目标进行清楚地跟踪，需要适当地调整球机摄像头，以便球机摄像头处于最佳跟踪位置，实现最佳跟踪效果。

在本实施例中，作为一种具体实现方式，根据当前目标的当前位置及待跟踪目标的当前位置调整球机摄像头可以通过以下步骤实现：

首先，将第一坐标转换为在球机坐标系中的第一球机坐标，其中，第一球机坐标包括相对于球机坐标系原点的水平旋转的第一角度、相对于球机坐标原点的垂直旋转的第二角度及球机的光学变倍。

在本实施例中，待跟踪目标的当前位置用第一坐标表示，当前目标的当前位置用第二坐标表示。第一坐标和第二坐标均是二维的，分别包括各自的横坐标和纵坐标。球机对应球机坐标系，球机坐标为球机在球机坐标系中的位置，球机坐标包括三个维度：相对于球机坐标系原点的水平旋转的角度、相对于球机坐标原点的垂直旋转的角度及球机的光学变倍，光学变倍可以根据跟踪的目标的大小进行自适应地调整，以更清楚地跟踪目标。

其次，将第二坐标转换为在球机坐标系中的第二球机坐标，其中，第二球机坐标包括相对于球机坐标系原点的水平旋转的第三角度、相对于球机坐标原点的垂直旋转的第四角度及球机的光学变倍。

第三，计算第一角度和第三角度的差值，得到第一差值。

第四，计算第二角度和第四角度的差值，得到第二差值。

第五，根据第一差值对球机摄像头进行水平旋转调整。

第六，根据第二差值对球机摄像头进行垂直旋转调整。

本发明实施例通过根据当前目标的当前位置及待跟踪目标的当前位置调整球机摄像头，可以在最短的时间内快速地将球机摄像头调整至跟踪的最佳位置。

步骤S105，若当前目标不为待跟踪目标，则根据待跟踪目标的当前位置定位并启动跟踪待跟踪目标。

在本实施例中，当前目标不为待跟踪目标，意味着，待跟踪目标不再是当前球机摄像头正在跟踪的目标，而是新的需要跟踪的目标，此时，需要及时将球机摄像头定位至待跟踪目标，具体实现方式可以是：

首先，根据第一角度对球机摄像头进行水平旋转调整、并根据第二角度对球机摄像头进行垂直旋转调整，以定位待跟踪目标。

其次，启动跟踪待跟踪目标。

本发明实施例提供的上述方法，通过及时发现待跟踪目标是否发生变化，当待跟踪目标未变化，但其位置发生变化时，通过两次检测到的位置之间的差值，对球机摄像头进行微调，当待跟踪目标发生变化时，根据新的待跟踪目标的当前位置对球机摄像头进行重新定位后启动跟踪，可以及时对待跟踪目标进行跟踪。

为了执行上述实施例及各个可能的实施方式中的相应步骤，下面给出一种视频显示装置100的实现方式。请参照图9，图9示出了本发明实施例提供的视频显示装置100的方框示意图。需要说明的是，本实施例所提供的视频显示装置100，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及指出。

视频显示装置100包括获取模块110、检测模块120、发送模块130及更新模块140。

获取模块110，用于获取枪机摄像头拍摄的全景视频帧和球机摄像头拍摄的球机视频帧。

检测模块120，用于对全景视频帧进行目标检测，得到待跟踪目标及待跟踪目标的当前位置，待跟踪目标的当前位置为待跟踪目标在全景视频帧中的相对位置。

可选地，检测模块120具体用于：对全景视频帧进行目标检测，得到多个初始目标及每一初始目标的当前位置，每一初始目标的当前位置为每一初始目标在全景视频帧中的相对位置，每一初始目标均对应一个优先级；将优先级最高的初始目标作为待跟踪目标，并将优先级最高的初始目标的当前位置作为待跟踪目标的当前位置。

发送模块130，用于将全景视频帧、当前位置及球机视频帧发送至客户端，以使客户端将球机视频帧叠加在全景视频帧的当前位置上进行显示。

可选地，每一初始目标对应一个目标标识，视频拍摄设备存储有目标列表，目标列表包括与全景视频帧相邻的前一视频帧中检测出的历史目标、历史目标的目标标识及历史位置，历史位置为历史目标在前一视频帧中的相对位置，更新模块140用于：若目标列表中存在与初始目标的目标标识相同的历史目标，则用初始目标的当前位置更新与初始目标的目标标识相同的历史目标的历史位置；若目标列表中不存在与初始目标的目标标识相同的历史目标，则将初始目标及初始目标的当前位置加入至目标列表中。

可选地，更新模块140还用于：将目标列表中与所有初始目标的目标标识均不同的历史目标作为待删除目标；将待删除目标从目标列表中删除。

可选地，更新模块140还用于：获取最近一次球机摄像头跟踪的当前目标、当前目标的当前位置及当前跟踪时长；若当前目标为待跟踪目标且当前跟踪时长小于预设时长，则根据当前目标的当前位置及待跟踪目标的当前位置调整球机摄像头，以使球机摄像头继续跟踪待跟踪目标；若当前目标不为待跟踪目标，则根据待跟踪目标的当前位置定位并启动跟踪待跟踪目标。

可选地，待跟踪目标的当前位置用第一坐标表示，当前目标的当前位置用第二坐标表示，球机对应球机坐标系，更新模块140在用于根据当前目标的当前位置及待跟踪目标的当前位置调整球机摄像头时具体用于：将第一坐标转换为在球机坐标系中的第一球机坐标，其中，第一球机坐标包括相对于球机坐标系原点的水平旋转的第一角度、相对于球机坐标原点的垂直旋转的第二角度及球机的光学变倍；将第二坐标转换为在球机坐标系中的第二球机坐标，其中，第二球机坐标包括相对于球机坐标系原点的水平旋转的第三角度、相对于球机坐标原点的垂直旋转的第四角度及球机的光学变倍；计算第一角度和第三角度的差值，得到第一差值；计算第二角度和第四角度的差值，得到第二差值；根据第一差值对球机摄像头进行水平旋转调整；根据第二差值对球机摄像头进行垂直旋转调整。

可选地，更新模块140在用于根据待跟踪目标的当前位置定位并启动跟踪待跟踪目标时具体还用于：根据第一角度对球机摄像头进行水平旋转调整、并根据第二角度对球机摄像头进行垂直旋转调整，以定位待跟踪目标；启动跟踪待跟踪目标。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述的视频显示方法。

综上所述，本发明实施例提供了一种视频显示方法、装置、视频拍摄设备及存储介质，应用于视频拍摄设备中处理器，视频拍摄设备包括用于跟踪抓拍的球机摄像头和用于全景监控的枪机摄像头，制器与所球机摄像头及枪机摄像头均电连接，视频拍摄设备和客户端通信连接，所述方法包括：获取枪机摄像头拍摄的全景视频帧和球机摄像头拍摄的球机视频帧；对全景视频帧进行目标检测，得到待跟踪目标及所述待跟踪目标的当前位置，待跟踪目标的当前位置为待跟踪目标在全景视频帧中的相对位置；将全景视频帧、当前位置及球机视频帧发送至客户端，以使客户端将球机视频帧叠加在全景视频帧的当前位置上进行显示。与现有技术相比，本发明实施例通过全景视频帧和球机视频帧进行实时动态关联，用户既可以获知待跟踪目标在全景视频中的动向，又可以通过球机视频帧清楚地对待跟踪目标的进行跟踪抓拍，提高了监控效率，同时实现了较好的监控效果。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种视频显示方法，其特征在于，应用于视频拍摄设备中处理器，所述视频拍摄设备包括用于跟踪抓拍的球机摄像头和用于全景监控的枪机摄像头，所述处理器与所述球机摄像头及所述枪机摄像头均电连接，所述视频拍摄设备和客户端通信连接，所述方法包括：

获取所述枪机摄像头拍摄的全景视频帧和所述球机摄像头拍摄的球机视频帧；

对所述全景视频帧进行目标检测，得到待跟踪目标及所述待跟踪目标的当前位置，所述待跟踪目标的当前位置为所述待跟踪目标在所述全景视频帧中的相对位置；

将所述全景视频帧、所述当前位置及所述球机视频帧发送至所述客户端，以使所述客户端将所述球机视频帧叠加在所述全景视频帧的所述当前位置上进行显示。

2.如权利要求1所述的视频显示方法，其特征在于，所述对所述全景视频帧进行目标检测，得到待跟踪目标及所述待跟踪目标的当前位置的步骤包括：

对所述全景视频帧进行目标检测，得到多个初始目标及每一所述初始目标的当前位置，每一所述初始目标的当前位置为每一所述初始目标在所述全景视频帧中的相对位置，每一所述初始目标均对应一个优先级；

将优先级最高的初始目标作为所述待跟踪目标，并将所述优先级最高的初始目标的当前位置作为所述待跟踪目标的当前位置。

3.如权利要求2所述的视频显示方法，其特征在于，每一所述初始目标对应一个目标标识，所述视频拍摄设备存储有目标列表，所述目标列表包括与所述全景视频帧相邻的前一视频帧中检测出的历史目标、所述历史目标的目标标识及历史位置，所述历史位置为所述历史目标在所述前一视频帧中的相对位置，所述方法还包括：

若所述目标列表中存在与所述初始目标的目标标识相同的历史目标，则用所述初始目标的当前位置更新与所述初始目标的目标标识相同的历史目标的历史位置；

若所述目标列表中不存在与所述初始目标的目标标识相同的历史目标，则将所述初始目标及所述初始目标的当前位置加入至所述目标列表中。

4.如权利要求3所述的视频显示方法，其特征在于，所述方法还包括：

将所述目标列表中与所有所述初始目标的目标标识均不同的历史目标作为待删除目标；

将所述待删除目标从所述目标列表中删除。

5.如权利要求1所述的视频显示方法，其特征在于，所述方法还包括：

获取最近一次所述球机摄像头跟踪的当前目标、所述当前目标的当前位置及当前跟踪时长；

若所述当前目标为所述待跟踪目标且所述当前跟踪时长小于预设时长，则根据所述当前目标的当前位置及所述待跟踪目标的当前位置调整所述球机摄像头，以使所述球机摄像头继续跟踪所述待跟踪目标；

若所述当前目标不为所述待跟踪目标，则根据所述待跟踪目标的当前位置定位并启动跟踪所述待跟踪目标。

6.如权利要求5所述的视频显示方法，其特征在于，所述待跟踪目标的当前位置用第一坐标表示，所述当前目标的当前位置用第二坐标表示，所述球机对应球机坐标系，所述根据所述当前目标的当前位置及所述待跟踪目标的当前位置调整所述球机摄像头的步骤包括：

将所述第一坐标转换为在所述球机坐标系中的第一球机坐标，其中，所述第一球机坐标包括相对于所述球机坐标系原点的水平旋转的第一角度、相对于所述球机坐标原点的垂直旋转的第二角度及所述球机的光学变倍；

将所述第二坐标转换为在所述球机坐标系中的第二球机坐标，其中，所述第二球机坐标包括相对于所述球机坐标系原点的水平旋转的第三角度、相对于所述球机坐标原点的垂直旋转的第四角度及所述球机的光学变倍；

计算所述第一角度和所述第三角度的差值，得到第一差值；

计算所述第二角度和所述第四角度的差值，得到第二差值；

根据所述第一差值对所述球机摄像头进行水平旋转调整；

根据所述第二差值对所述球机摄像头进行垂直旋转调整。

7.如权利要求6所述的视频显示方法，其特征在于，所述根据所述待跟踪目标的当前位置定位并启动跟踪所述待跟踪目标的步骤包括：

根据所述第一角度对所述球机摄像头进行水平旋转调整、并根据所述第二角度对所述球机摄像头进行垂直旋转调整，以定位所述待跟踪目标；

启动跟踪所述待跟踪目标。

8.一种视频显示装置，其特征在于，应用于视频拍摄设备中的处理器，所述视频拍摄设备包括用于跟踪抓拍的球机摄像头和用于全景监控的枪机摄像头，所述处理器与所述球机摄像头及所述枪机摄像头均电连接，所述视频拍摄设备和客户端通信连接，所述装置包括：

获取模块，用于获取所述枪机摄像头拍摄的全景视频帧和所述球机摄像头拍摄的球机视频帧；

检测模块，用于对所述全景视频帧进行目标检测，得到待跟踪目标及所述待跟踪目标的当前位置，所述待跟踪目标的当前位置为所述待跟踪目标在所述全景视频帧中的相对位置；

发送模块，用于将所述全景视频帧、所述当前位置及所述球机视频帧发送至所述客户端，以使所述客户端将所述球机视频帧叠加在所述全景视频帧的所述当前位置上进行显示。

9.一种视频拍摄设备，其特征在于，包括处理器和存储器；所述存储器用于存储程序；所述处理器用于在执行所述程序时，实现如权利要求1-7中任一项所述的视频显示方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的视频显示方法。

Images