CN109194981B

CN109194981B - 远程视频追踪方法、装置、存储介质

Info

Publication number: CN109194981B
Application number: CN201811070615.6A
Authority: CN
Inventors: 苏俊
Original assignee: Beijing Miwen Power Technology Co ltd
Current assignee: Beijing Miwen Power Technology Co ltd
Priority date: 2018-09-13
Filing date: 2018-09-13
Publication date: 2022-03-04
Anticipated expiration: 2038-09-13
Also published as: CN109194981A

Abstract

本申请实施例公开了一种远程视频追踪方法、装置、存储介质，涉及视频追踪技术领域，解决了手动控制目标追踪较为滞后；容易追踪错目标；及如果传输过程中解码出错，造成的短时间内无法进行追踪等问题。本申请主要方案包括：获取原始视频流中各物体的物体信息，所述物体信息包括所述物体在所述原始视频流中的坐标位置、物体大小及物体类别；为每个所述物体赋予一个唯一标识信息，并将各物体的唯一标识信息和物体信息作为分离信息编码入所述原始视频流；将经过编码的所述原始视频流发送至控制端进行显示；当接收到所述控制端发送的追踪目标物体指令时，根据所述追踪目标物体指令中的唯一标识信息追踪目标物体。本申请主要用于视频追踪。

Description

远程视频追踪方法、装置、存储介质

技术领域

本申请涉及视频追踪技术领域，具体涉及一种远程视频追踪方法、装置、存储介质。

背景技术

视频跟踪主要目的是模仿生理视觉系统的运动感知功能，通过对摄像头捕捉到的图像序列进行分析，计算出运动目标在每一帧图像中的二维坐标位置；然后，根据运动目标相关的特征值，将图像序列中连续帧间的同一运动目标关联起来，得到每帧图像中目标的运动参数以及相邻帧图像间运动目标的对应关系，从而得到各个运动目标完整的运动轨迹，即在连续的视频序列中建立运动目标的对应关系。简单来说，目标跟踪技术就是在下一帧图像中找到目标的确切位置并反馈给跟踪系统进行跟踪，为视频序列分析和理解提供重要的基础运动信息和数据。

目前，通过远程遥控摄像头对目标进行追踪时，由于远距离传输带来的延时，会造成手动控制目标追踪较为滞后；同时如果图像中有多个类似物体存在时，由于延时造成的影响，容易追踪错目标；更进一步，如果传输过程中解码出错，如短时间秒级的花屏，将造成在这短时间内无法进行追踪。

发明内容

有鉴于此，本申请实施例提供一种远程视频追踪方法、装置、存储介质，以解决现有技术中由于网络带来的延时，导致手动控制目标追踪滞后，在图像中有多个物体存在时，容易追踪错目标；以及如果传输过程中解码出错，短时间无法进行追踪目标等技术问题。

为解决上述问题，本申请实施例提供的技术方案如下：

本申请实施例提供了一种远程视频追踪方法，所述方法包括：

获取原始视频流中各物体的物体信息，所述物体信息包括所述物体在所述原始视频流中的坐标位置、物体大小及物体类别；

为每个所述物体赋予一个唯一标识信息，并将各物体的唯一标识信息和物体信息作为分离信息编码入所述原始视频流；

将经过编码的所述原始视频流发送至控制端进行显示；

当接收到所述控制端发送的追踪目标物体指令时，根据所述追踪目标物体指令中的唯一标识信息追踪目标物体。

进一步的，所述根据所述追踪目标物体指令中的唯一标识信息追踪目标物体之后，所述方法还包括：

将追踪到的所述目标物体的视频流和所述目标物体的分离信息进行压缩编码；

将经过所述压缩编码的目标物体的视频流发送给所述控制端进行显示。

进一步的，在根据所述追踪目标物体指令中的唯一标识信息追踪目标物体之后，所述方法还包括：

按照预置时间间隔从追踪到的所述目标物体的视频流中，截取高清图片；

将所述高清图片发送给所述控制端进行显示。

进一步的，所述按照预置时间间隔从追踪到的所述目标物体的视频流中，截取高清图片之后，所述方法还包括：

依据所述目标物体的坐标位置及物体大小，从截取的高清图片中框选出所述目标物体所在的高清图片；

所述将所述高清图片发送给所述控制端进行显示包括：

将所述目标物体所在的高清图片发送给所述控制端进行显示。

进一步的，所述方法还包括：

依据所述目标物体的坐标位置及物体大小，从追踪到的所述目标物体的视频流中截取仅显示所述目标物体的视频流；

将仅显示所述目标物体的视频流和所述目标物体的分离信息进行压缩编码；

所述将经过所述压缩编码的目标物体的视频流发送给所述控制端进行显示，包括：

将经过所述压缩编码的仅显示所述目标物体的视频流，发送给所述控制端进行显示。

进一步的，所述方法还包括：

当接收到所述控制端发送的目标物体追踪结束指令时，停止追踪所述目标物体，并重新开始执行获取原始视频流中各物体的物体信息的步骤。

进一步的，所述方法还包括：

当经过所述压缩编码的目标物体的视频流出现中断时，从经过编码的所述原始视频流中获取所述目标物体的唯一标识信息所在的视频流；

将获取的所述目标物体的唯一标识信息所在的视频流和所述目标物体的分离信息进行压缩编码；

本发明实施例提供了一种远程视频追踪装置，所述装置包括：

获取单元，用于获取原始视频流中各物体的物体信息，所述物体信息包括所述物体在所述原始视频流中的坐标位置、物体大小及物体类别；

编码单元，用于为每个所述物体赋予一个唯一标识信息，并将各物体的唯一标识信息和物体信息作为分离信息编码入所述原始视频流；

发送单元，用于将经过编码的所述原始视频流发送至控制端进行显示；

追踪单元，用于当接收到所述控制端发送的追踪目标物体指令时，根据所述追踪目标物体指令中的唯一标识信息追踪目标物体。

进一步的，所述装置还包括：

压缩编码单元，用于将追踪到的所述目标物体的视频流和所述目标物体的分离信息进行压缩编码；

所述发送单元，还用于将经过所述压缩编码的目标物体的视频流发送给所述控制端进行显示。

进一步的，所述装置还包括：

截取单元，用于按照预置时间间隔从追踪到的所述目标物体的视频流中，截取高清图片；

所述发送单元，还用于将所述高清图片发送给所述控制端进行显示。

进一步的，所述装置还包括：

框选单元，用于依据所述目标物体的坐标位置及物体大小，从截取的高清图片中框选出所述目标物体所在的高清图片；

所述发送单元，具体用于将所述目标物体所在的高清图片发送给所述控制端进行显示。

所述截取单元，还用于依据所述目标物体的坐标位置及物体大小，从追踪到的所述目标物体的视频流中截取仅显示所述目标物体的视频流；

所述压缩编码单元，还用于将仅显示所述目标物体的视频流和所述目标物体的分离信息进行压缩编码；

所述发送单元，还用于将经过所述压缩编码的仅显示所述目标物体的视频流，发送给所述控制端进行显示。

进一步的，所述装置还包括：

停止追踪单元，用于当接收到所述控制端发送的目标物体追踪结束指令时，停止追踪所述目标物体，并重新开始执行获取原始视频流中各物体的物体信息的步骤。

所述获取单元，还用于当经过所述压缩编码的目标物体的视频流出现中断时，从经过编码的所述原始视频流中获取所述目标物体的唯一标识信息所在的视频流；

所述压缩编码单元，还用于将获取的所述目标物体的唯一标识信息所在的视频流和所述目标物体的分离信息进行压缩编码；

本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行远程视频追踪方法。

由此可见，本申请实施例具有如下有益效果：

本申请实施例提供的一种远程视频追踪方法、装置、存储介质，首先获取原始视频流中各物体的物体信息，然后为每个物体赋予一个唯一标识信息，并将各物体的唯一标识信息和物体信息作为分离信息编码入原始视频流，之后将经过编码的所述原始视频流发送至控制端进行显示，当接收到控制端发送的追踪目标物体的指令时，根据追踪目标物体指令中的唯一标识信息追踪目标物体。与目前控制端通常以每秒10条的信息发送控制命令相比，本身申请仅通过物体的唯一标识信息即可实现控制远程视频追踪，减少了控制命令所占的带宽，解决了手动控制目标追踪滞后，在图像中有多个物体存在时，容易追踪错目标；以及如果传输过程中解码出错，短时间无法进行追踪目标等技术问题。

附图说明

图1为本申请实施例提供的一种远程视频追踪方法流程图；

图2为本申请实施例提供的另一种远程视频追踪方法流程图；

图3为本申请实施例提供的一种远程视频追踪装置结构示意图；

图4为本申请实施例提供的另一种远程视频追踪装置结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。

为便于理解本申请提供的技术方案，下面先对本申请技术方案的研究背景进行简单说明。

视频追踪融合了图像处理、计算机视觉、模式识别、人工智能等学科的技术，是一种应用前景非常广泛的技术。所谓视频追踪，是指对视频图像序列中的特定目标进行检测、提取、识别和跟踪，获得目标的位置参数，如目标的位置、速度、加速度，或者目标整体所占的图像区域，抑或是目标的运动轨迹等等，从而进行后续深入的处理与分析，以实现对特定目标的行为理解，或完成更高级的任务。单来说，视频跟踪就是在下一帧图像中找到目标的确切位置并反馈给跟踪系统进行跟踪，为视频序列分析和理解提供重要的基础运动信息和数据。

基于此，本申请提出了一种远程视频追踪方法、装置、存储介质，与目前控制端通常以每秒10条的信息发送控制命令相比，本身申请将各物体的唯一标识信息和物体信息作为分离信息编码入原始视频流，当控制端用户点击目标物体所在框的时，即可获取该目标物体的唯一标识信息，然后通过该目标物体的唯一标识信息实现控制远程视频追踪，减少了控制命令所占的带宽，解决了手动控制目标追踪滞后，在图像中有多个物体存在时，容易追踪错目标；以及如果传输过程中解码出错，短时间无法进行追踪目标等技术问题。

为便于理解本申请实施例提供技术方案，下面将结合附图为本申请实施例提供的远程视频追踪方法进行介绍。

参见图1，其示出了本申请实施例提供的一种远程视频追踪方法流程图，如图1所示，该方法可以包括：

S101：获取原始视频流中各物体的物体信息。

其中，所述物体信息包括所述物体在所述原始视频流中的坐标位置(x,y)、物体大小(w,h)及物体类别等，在本发明实施例中，物体类别具体可以为人、车、动物等，本发明实施例不做具体限定。

需要说明的是，根据各个物体的物体信息中的坐标位置及物体大小可以生成一个视频框，该视频框用于圈出原始视频流中的各个物体。

S102：为每个所述物体赋予一个唯一标识信息，并将各物体的唯一标识信息和物体信息作为分离信息编码入所述原始视频流。

其中，唯一标识信息用于唯一标识原始视频流中的各物体，该唯一标识信息可以由数字、字母等生成确定。在本发明实施例中，为了解决个物体的视频框和原始视频流不同步的问题，需要在原始视频流的基础上进行编码。

具体的，为了解决视频框在原始视频流可分离的问题，本发明将各物体的唯一标识信息和物体信息作为分离信息编码入原始视频流(如CEA-708)，从而使得在控制端的用户可通过点击视频流中的视频框，即可以获取相应物体的唯一标识信息，使得点击的视频框信息与具体物体的唯一标识信息关联起来。

S103：将经过编码的所述原始视频流发送至控制端进行显示。

其中，控制端为视频流的显示端，经过编码的原始视频流发送至控制端后，控制端的用户可通过显示端显示的原始视频流，选择需要追踪的物体。

具体的，用可以直接单击原始视频流中的视频框，选择需要追踪的物体；还可以通过输入需要追踪的物体的唯一标识信息追踪物体；还可以通过输入需要追踪的物体的类别，实现追踪某类别的物体，本发明实施例不做具体限定。

S104：当接收到所述控制端发送的追踪目标物体指令时，根据所述追踪目标物体指令中的唯一标识信息追踪目标物体。

控制端传统方式传递的数据，通常以每秒10条的信息发送控制命令，本发明实施例只需要一条唯一标识信息，可以达到相同效果。传统方式由于延时，等控制摄像头转动以后，所需要追踪的物体已经发生移动，这样准确率就会降低。而这个发明中发送的是对被追中物体的唯一标识信息，不会受延时影响，准确率较高。

本申请实施例提供的一种远程视频追踪方法，首先获取原始视频流中各物体的物体信息，然后为每个物体赋予一个唯一标识信息，并将各物体的唯一标识信息和物体信息作为分离信息编码入原始视频流，之后将经过编码的所述原始视频流发送至控制端进行显示，当接收到控制端发送的追踪目标物体的指令时，根据追踪目标物体指令中的唯一标识信息追踪目标物体。与目前控制端通常以每秒10条的信息发送控制命令相比，本身申请仅通过物体的唯一标识信息即可实现控制远程视频追踪，减少了控制命令所占的带宽，解决了手动控制目标追踪滞后，在图像中有多个物体存在时，容易追踪错目标；以及如果传输过程中解码出错，短时间无法进行追踪目标等技术问题。

参见图2，其示出了本申请实施例提供的另一种远程视频追踪方法流程图，如图2所示，该方法可以包括：

S201：获取原始视频流中各物体的物体信息。

其中，所述物体信息包括所述物体在所述原始视频流中的坐标位置、物体大小及物体类别。

S202：为每个所述物体赋予一个唯一标识信息，并将各物体的唯一标识信息和物体信息作为分离信息编码入所述原始视频流。

S203：将经过编码的所述原始视频流发送至控制端进行显示。

S204：当接收到所述控制端发送的追踪目标物体指令时，根据所述追踪目标物体指令中的唯一标识信息追踪目标物体。

需要说明的是，关于步骤S201至S204的描述，可参考实施例一相关不步骤的描述，本发明实施例在此不再赘述。

S205：将追踪到的所述目标物体的视频流和所述目标物体的分离信息进行压缩编码。

在本发明实施例中，为了减少传输至控制端视频流所占用的带宽，本发明将追踪到的目标物体的视频流和目标物体的分离信息进行压缩编码，例如将目标物体的坐标位置、物体大小、唯一标识信息，同追踪到的目标物体的视频流编码成更低分辨率的视频流，如320x240，以此降低网络带宽，降低延时。

为了更进一步的减少传输视频流所占用的网络带宽，本发明实施例根据所述目标物体的坐标位置及物体大小，从追踪到的所述目标物体的视频流中截取仅显示所述目标物体的视频流；将仅显示所述目标物体的视频流和所述目标物体的分离信息进行压缩编码；所述将经过所述压缩编码的目标物体的视频流发送给所述控制端进行显示，包括：将经过所述压缩编码的仅显示所述目标物体的视频流，发送给所述控制端进行显示。

对于本发明实施例，为了满足用户清楚地观看追踪物体的画面，在根据所述追踪目标物体指令中的唯一标识信息追踪目标物体之后，所述方法还包括：按照预置时间间隔从追踪到的所述目标物体的视频流中，截取高清图片；将所述高清图片发送给所述控制端进行显示。其中，预置时间间隔可以根据实际需求进行设置，如2秒、3秒、5秒等，本发明实施例不做具体限定。需要说明的是，高清图片的传输信道不同于视频流的传输信道，比如视频一般通过rtsp传输，而图片一般会通过http或者其他通信协议来传输。

进一步地，为了减少高清图片传输所占用的带宽，本发明实施例还可以将高清图片中仅显示目标物体的视频框所对应的图片发送给控制端。具体的，所述按照预置时间间隔从追踪到的所述目标物体的视频流中，截取高清图片之后，所述方法还包括：依据所述目标物体的坐标位置及物体大小，从截取的高清图片中框选出所述目标物体所在的高清图片；所述将所述高清图片发送给所述控制端进行显示包括：将所述目标物体所在的高清图片发送给所述控制端进行显示。以此实现在控制端即可以看到实时视频，又可以清楚的观看到感兴趣的清晰图片。

S206：将经过所述压缩编码的目标物体的视频流发送给所述控制端进行显示。

在本发明提供的另一个实施例中，当接收到所述控制端发送的目标物体追踪结束指令时，停止追踪所述目标物体，并重新开始执行获取原始视频流中各物体的物体信息的步骤，便于对当前拍下的原始视频流中的各物体进行分离编码，使得新拍下的原始视频流重新发送至控制端，方便用户重新选择需要追踪的目标物体。

在本发明提供的另一个实施例中，当经过所述压缩编码的目标物体的视频流出现中断时，从经过编码的所述原始视频流中获取所述目标物体的唯一标识信息所在的视频流；将获取的所述目标物体的唯一标识信息所在的视频流和所述目标物体的分离信息进行压缩编码；将经过所述压缩编码的目标物体的视频流发送给所述控制端进行显示。

与上述方法实施例相对应的，本申请还提供了一种远程视频追踪装置，参见图3，为本申请实施例提供的一种远程视频追踪装置的结构示意图，所述装置包括：

获取单元31，用于获取原始视频流中各物体的物体信息，所述物体信息包括所述物体在所述原始视频流中的坐标位置、物体大小及物体类别；

编码单元32，用于为每个所述物体赋予一个唯一标识信息，并将各物体的唯一标识信息和物体信息作为分离信息编码入所述原始视频流；

发送单元33，用于将经过编码的所述原始视频流发送至控制端进行显示；

追踪单元34，用于当接收到所述控制端发送的追踪目标物体指令时，根据所述追踪目标物体指令中的唯一标识信息追踪目标物体。

本申请实施例还提供了一种远程视频追踪装置，参考图3，为本申请实施例提供的另一种远程视频追踪装置的结构示意图，所述装置不仅包括图1中的各个单元，还可以包括：

压缩编码单元35，用于将追踪到的所述目标物体的视频流和所述目标物体的分离信息进行压缩编码；

所述发送单元33，还用于将经过所述压缩编码的目标物体的视频流发送给所述控制端进行显示。

所述装置还包括：

截取单元36，用于按照预置时间间隔从追踪到的所述目标物体的视频流中，截取高清图片；

所述发送单元33，还用于将所述高清图片发送给所述控制端进行显示。

所述装置还包括：

框选单元37，用于依据所述目标物体的坐标位置及物体大小，从截取的高清图片中框选出所述目标物体所在的高清图片；

所述发送单元33，具体用于将所述目标物体所在的高清图片发送给所述控制端进行显示。

所述截取单元36，还用于依据所述目标物体的坐标位置及物体大小，从追踪到的所述目标物体的视频流中截取仅显示所述目标物体的视频流；

所述压缩编码单元35，还用于将仅显示所述目标物体的视频流和所述目标物体的分离信息进行压缩编码；

所述发送单元33，还用于将经过所述压缩编码的仅显示所述目标物体的视频流，发送给所述控制端进行显示。

所述装置还包括：

停止追踪单元38，用于当接收到所述控制端发送的目标物体追踪结束指令时，停止追踪所述目标物体，并重新开始执行获取原始视频流中各物体的物体信息的步骤。

所述获取单元31，还用于当经过所述压缩编码的目标物体的视频流出现中断时，从经过编码的所述原始视频流中获取所述目标物体的唯一标识信息所在的视频流；

所述压缩编码单元35，还用于将获取的所述目标物体的唯一标识信息所在的视频流和所述目标物体的分离信息进行压缩编码；

另外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述的远程视频追踪方法。

由上述实施例可以看出，本申请实施例首先获取预置范围内发生雷电的次数，然后通过预置范围内发生雷电的次数和所述前期雨量信息，预警山洪泥石流。由于雷电与降雨关系密切，积雨云的位置即雷电位置，因此判断雷电位置可以判断出积雨云的位置，即降雨位置或即将降雨位置，从而本发明通过基于发生雷电的次数及前期雨量信息两个维度可及时准确的预测山洪泥石流，解决了现有山洪泥石流预警时间仓促及预警不准确等问题。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种远程视频追踪方法，其特征在于，所述方法包括：

将经过编码的所述原始视频流发送至控制端进行显示；

当接收到所述控制端发送的追踪目标物体指令时，根据所述追踪目标物体指令中的唯一标识信息追踪目标物体；

其中，所述根据所述追踪目标物体指令中的唯一标识信息追踪目标物体之后，所述方法还包括：

2.根据权利要求1所述的方法，其特征在于，在根据所述追踪目标物体指令中的唯一标识信息追踪目标物体之后，所述方法还包括：

将所述高清图片发送给所述控制端进行显示。

3.根据权利要求2所述的方法，其特征在于，所述按照预置时间间隔从追踪到的所述目标物体的视频流中，截取高清图片之后，所述方法还包括：

所述将所述高清图片发送给所述控制端进行显示包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.一种远程视频追踪装置，其特征在于，所述装置包括：

追踪单元，用于当接收到所述控制端发送的追踪目标物体指令时，根据所述追踪目标物体指令中的唯一标识信息追踪目标物体；

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

11.根据权利要求9所述的装置，其特征在于：

12.根据权利要求7所述的装置，其特征在于，所述装置还包括：

13.根据权利要求8所述的装置，其特征在于：

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行权利要求1-6任一项所述的远程视频追踪方法。