CN111510635B - 云台故障的确定方法、装置、存储介质及电子装置 - Google Patents

云台故障的确定方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN111510635B
CN111510635B CN202010382633.9A CN202010382633A CN111510635B CN 111510635 B CN111510635 B CN 111510635B CN 202010382633 A CN202010382633 A CN 202010382633A CN 111510635 B CN111510635 B CN 111510635B
Authority
CN
China
Prior art keywords
target
corner points
determining
image
video file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010382633.9A
Other languages
English (en)
Other versions
CN111510635A (zh
Inventor
高立勋
毛礼建
张文锦
占晴
李浙伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010382633.9A priority Critical patent/CN111510635B/zh
Publication of CN111510635A publication Critical patent/CN111510635A/zh
Application granted granted Critical
Publication of CN111510635B publication Critical patent/CN111510635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种云台故障的确定方法、装置、存储介质及电子装置,包括:获取固定在目标云台上的摄像设备拍摄得到目标视频文件,以及在拍摄所述目标视频文件时指示所述目标云台执行操作的第一操作信息;确定所述目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点;根据所述至少两帧图像中所述目标角点的坐标关系确定所述目标视频文件的图像变化信息;根据所述第一操作信息和所述图像变化信息确定所述目标云台是否发生故障。通过本发明,解决了相关技术中对云台运动方向进行故障诊断的准确率低的问题。

Description

云台故障的确定方法、装置、存储介质及电子装置
技术领域
本发明涉及通信领域,具体而言,涉及一种云台故障的确定方法、装置、存储介质及电子装置。
背景技术
在视频监控系统中,摄像机的移动控制功能实现大量使用了云台。云台是安装、固定摄像机的支撑设备。云台方向具有上下转动、左右转动以及静止等状态,可以通过控制云台摄像机转动来扩大监控点监视范围。在实际应用当中,为了实现监视点的正常监控,需要定期地对云台运动方向进行故障诊断。
现有技术中,对云台运动方向进行故障诊断仅判断场景是否变化,并不涉及视频对云台是否能够正常操控进行判断。而视频中会存在运动目标,例如走动的人或动物,驶过的汽车等运动目标。这些运动目标会影响云台运动方向进行故障诊断的准确性。
因此,针对相关技术中对云台运动方向进行故障诊断的准确率低的问题,目前尚未存在有效的解决方案。
发明内容
本发明实施例提供了一种云台故障的确定方法、装置、存储介质及电子装置,以至少解决相关技术中对云台运动方向进行故障诊断的准确率低的问题。
根据本发明的一个实施例,提供了一种云台故障的确定方法,包括:获取固定在目标云台上的摄像设备拍摄得到目标视频文件,以及在拍摄所述目标视频文件时指示所述目标云台执行操作的第一操作信息;确定所述目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点;根据所述至少两帧图像中所述目标角点的坐标关系确定所述目标视频文件的图像变化信息;根据所述第一操作信息和所述图像变化信息确定所述目标云台是否发生故障。
可选地,在确定所述目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点之前,所述方法还包括:使用快速角点检测法对所述目标视频文件中任意连续的至少两帧图像中的每帧图像进行角点检测,得到所述每帧图像的角点;确定所述每帧图像的角点的角点坐标。
可选地,所述确定所述目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点,包括:使用光流特征点算法KLT计算所述每帧图像的角点的光流矢量;根据任意连续的至少两帧图像的光流矢量确定所述任意连续的至少两帧图像之间相互匹配的角点为所述目标角点。
可选地,第一帧图像和第二帧图像是所述目标视频文件中任意连续的两帧图像,所述第一帧图像和所述第二帧图像上相互匹配的目标角点分别为第一目标角点和第二目标角点,所述第一帧图像上包括至少两个所述第一目标角点,所述第二帧图像上包括至少两个所述第二目标角点,所述第一目标角点和所述第二目标角点一一对应匹配,其中,根据所述至少两帧图像中所述目标角点的坐标关系确定所述目标视频文件的图像变化信息,包括:在确定所述至少两个第二目标角点的横坐标均大于所述至少两个第一目标角点的横坐标的情况下,确定图像变化信息为向右移动;在确定所述至少两个第二目标角点的横坐标均小于所述至少两个第一目标角点的横坐标的情况下,确定图像变化信息为向左移动;在确定所述至少两个第二目标角点的纵坐标均大于所述至少两个第一目标角点的纵坐标的情况下,确定图像变化信息为向上移动;在确定所述至少两个第二目标角点的纵坐标均小于所述至少两个第一目标角点的纵坐标的情况下,确定图像变化信息为向下移动;在确定所述至少两个第二目标角点中部分第二目标角点的横坐标大于所述至少两个第一目标角点中与所述部分第二目标角点相匹配的部分第一目标节点的横坐标,且所述至少两个第二目标角点中剩余的第二目标角点的横坐标小于所述至少两个第一目标角点中剩余的第一目标节点的横坐标的情况下,和/或,所述至少两个第二目标角点中部分第二目标角点的纵坐标大于所述至少两个第一目标角点中与所述部分第二目标角点相匹配的部分第一目标节点的纵坐标,且所述至少两个第二目标角点中剩余的第二目标角点的纵坐标小于所述至少两个第一目标角点中剩余的第一目标节点的纵坐标的情况下,确定所述图像变化信息为缩放。
可选地,根据所述第一操作信息和所述图像变化信息确定所述目标云台是否发生故障,包括:在确定所述第一操作信息与所述图像变化信息一致的情况下,确定所述目标云台未发生故障,否则,确定所述目标云台发生故障;其中,所述第一操作信息中包括:指示所述目标云台向右移动、向左移动、向上移动、向下移动的信息,以及指示所述目标云台控制所述摄像设备进行缩放的信息。
根据本发明的另一个实施例,提供了一种云台故障的确定装置,包括:获取模块,用于获取固定在目标云台上的摄像设备拍摄得到目标视频文件,以及在拍摄所述目标视频文件时指示所述目标云台执行操作的第一操作信息;第一确定模块,确定所述目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点;第二确定模块,根据所述至少两帧图像中所述目标角点的坐标关系确定所述目标视频文件的图像变化信息;第三确定模块,用于根据所述第一操作信息和所述图像变化信息确定所述目标云台是否发生故障。
可选地,所述装置还包括:检测模块,用于在确定所述目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点之前,使用快速角点检测法对所述目标视频文件中任意连续的至少两帧图像中的每帧图像进行角点检测,得到所述每帧图像的角点;第四确定单元,用于确定所述每帧图像的角点的角点坐标。
可选地,所述第一确定模块包括:计算单元,用于使用光流特征点算法KLT计算所述每帧图像的角点的光流矢量;确定单元,根据任意连续的至少两帧图像的光流矢量确定所述任意连续的至少两帧图像之间相互匹配的角点为所述目标角点。
根据本发明的又一个实施例,还提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,由于通过获取固定在目标云台上的摄像设备拍摄得到目标视频文件,以及在拍摄目标视频文件时指示目标云台执行操作的第一操作信息;确定目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点;根据至少两帧图像中目标角点的坐标关系确定目标视频文件的图像变化信息;根据第一操作信息和图像变化信息确定目标云台是否发生故障。因此,可以解决对云台运动方向进行故障诊断的准确率低问题,达到提高对云台运动方向进行故障诊断的准确率的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的一种云台故障的确定方法的移动终端的硬件结构框图;
图2是根据本发明实施例的云台故障的确定的流程图;
图3是根据本发明实施例的缩放图像角点示意图;
图4是根据本发明实施例的系统流程图;
图5是根据本发明实施例检测模块主要流程图;
图6是根据本发明实施例的云台故障的确定装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种云台故障的确定方法的移动终端的硬件结构框图。如图1所示,移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的云台故障的确定方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端的云台故障的确定方法,图2是根据本发明实施例的云台故障的确定的流程图,如图2所示,该流程包括如下步骤:
步骤S202,获取固定在目标云台上的摄像设备拍摄得到目标视频文件,以及在拍摄所述目标视频文件时指示所述目标云台执行操作的第一操作信息;
其中,摄像设备安装在目标云台上,通过控制目标云台的移动方向可以控制摄像设备的拍摄方向。用户可以向目标云台发送控制指令来控制云台的移动方向。第一操作信息可以是用户发送的控制指令中指示目标云台移动方向的信息。用户可以通过云台控制模块向云台发送控制指令,云台控制模块可以是设置在目标云台上的触控按钮或触控摇杆,也可以是远程遥控设备。控制云台的执行的动作可以是左移、右移、上移、下移、左上、左下、右上、右下、缩小或放大等一系列操作。
步骤S204,确定所述目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点;
其中,角点是图像很重要的特征,对图像的理解和分析具有很重要的作用。角点在保留图像图形重要特征的同时,可以有效地减少信息的数据量,有效地提高计算的速度,有利于图像的可靠匹配。
步骤S206,根据所述至少两帧图像中所述目标角点的坐标关系确定所述目标视频文件的图像变化信息;
其中,目标视频的图像变化信息可以反映出摄像设备在拍摄目标视频为文件的移动方向的变化,目标视频文件的图像变化信息可以包括视频中的图像左移、右移、上移、下移、左上、左下、右上、右下,或者缩小放大等。
步骤S208,根据所述第一操作信息和所述图像变化信息确定所述目标云台是否发生故障。
其中,若在拍摄目标视频文件时指示云台的移动方向与拍摄得到目标视频文件中的图像变化方向一致,则确定云台未发生故障,否则确定云台发生故障。例如,在拍摄目标视频文件时,用户触控云台控制模块上的向右移动的触控按钮,以指令指示云台向右移动,在云台执行移动操作后拍摄得到的视频文件中的图像变化表示向左移动,说明在拍摄视频文件时,云台的实际移动情况与用户所指示的移动放方向并不一致,此种情况确定云台发生了故障。
通过上述步骤,由于通过获取固定在目标云台上的摄像设备拍摄得到目标视频文件,以及在拍摄目标视频文件时指示目标云台执行操作的第一操作信息;确定目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点;根据至少两帧图像中目标角点的坐标关系确定目标视频文件的图像变化信息;根据第一操作信息和图像变化信息确定目标云台是否发生故障。因此,可以解决对云台运动方向进行故障诊断的准确率低问题,达到提高对云台运动方向进行故障诊断的准确率的效果。
可选地,上述步骤的执行主体可以为终端等,但不限于此。
上述云台故障的确定方法可以应用到以下场景中:
直接连接云台设备:请求到前端云台设置的摄像设备拍摄的视频后,先设置预置点,然后依次操作云台,使视频区域放大、缩小,视频区域左移、右移、上移、下移四个方向动作持续一段时间,比如3秒,通过算法处理,实时视频的场景变换来判断云台的动作。若与云台操作一致,则说明云台在某项功能上是正常的。检测完各种操作之后,将云台调整回初始状态(设置的预置点),以恢复云台检测前的场景。批量检测云台的工作状态,是否正常。
通过平台连接:平台可以连接多个(上万乃至更多)云台。通过平台请求到通过云台拍摄的视频,并通过平台控制云台的旋转和缩放。
作为一个可选实施例,在确定所述目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点之前,所述方法还包括:使用快速角点检测法对所述目标视频文件中任意连续的至少两帧图像中的每帧图像进行角点检测,得到所述每帧图像的角点;确定所述每帧图像的角点的角点坐标。在本实施例中,在本实施例中,使用快速角点检测算法对输入视频的每一帧进行角点检测,得到每帧图像中的X、Y特征点坐标。
作为一个可选实施例,所述确定所述目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点,包括:使用光流特征点算法KLT计算所述每帧图像的角点的光流矢量;根据任意连续的至少两帧图像的光流矢量确定所述任意连续的至少两帧图像之间相互匹配的角点为所述目标角点。在本实施例中,光流特征点算法KLT如下:
(1)像素点的光强度函数可以由其泰勒展开式表示,g指强度梯度,d指像素位移:I(x-d)=I(x)-g·d;
(2)选择d使窗口内偏差能量最小,即使其导数为0。
Figure BDA0002482752370000081
Figure BDA0002482752370000082
Figure BDA0002482752370000083
故Gd=e;
(3)特征点的选择,这个特征点是根据G矩阵的两个特征值来选择的,一方面两个特征值不能太小,排除噪声影响,另一方面两个特征值不能差别太大。这里提出了下面的公式:min(λ1,λ2)>λ。
利用得到的前后两帧特征点数据,计算光流图和匹配的特征数量。在连续两帧图像中确定出互相匹配的角点。
作为一个可选实施例,第一帧图像和第二帧图像是所述目标视频文件中任意连续的两帧图像,所述第一帧图像和所述第二帧图像上相互匹配的目标角点分别为第一目标角点和第二目标角点,所述第一帧图像上包括至少两个所述第一目标角点,所述第二帧图像上包括至少两个所述第二目标角点,所述第一目标角点和所述第二目标角点一一对应匹配,其中,根据所述至少两帧图像中所述目标角点的坐标关系确定所述目标视频文件的图像变化信息,包括:在确定所述至少两个第二目标角点的横坐标均大于所述至少两个第一目标角点的横坐标的情况下,确定图像变化信息为向右移动;在确定所述至少两个第二目标角点的横坐标均小于所述至少两个第一目标角点的横坐标的情况下,确定图像变化信息为向左移动;在确定所述至少两个第二目标角点的纵坐标均大于所述至少两个第一目标角点的纵坐标的情况下,确定图像变化信息为向上移动;在确定所述至少两个第二目标角点的纵坐标均小于所述至少两个第一目标角点的纵坐标的情况下,确定图像变化信息为向下移动;在确定所述至少两个第二目标角点中部分第二目标角点的横坐标大于所述至少两个第一目标角点中与所述部分第二目标角点相匹配的部分第一目标节点的横坐标,且所述至少两个第二目标角点中剩余的第二目标角点的横坐标小于所述至少两个第一目标角点中剩余的第一目标节点的横坐标的情况下,和/或,所述至少两个第二目标角点中部分第二目标角点的纵坐标大于所述至少两个第一目标角点中与所述部分第二目标角点相匹配的部分第一目标节点的纵坐标,且所述至少两个第二目标角点中剩余的第二目标角点的纵坐标小于所述至少两个第一目标角点中剩余的第一目标节点的纵坐标的情况下,确定所述图像变化信息为缩放。在本实施例中,以第一帧图像和第二帧图像为例,第一帧图像和第二帧图像是目标视频文件中任意连续的两帧图像,第一帧图像上的第一目标角点与第二帧图像上的第二目标角点是相互匹配的角点。第一角点和第二角点的数量均为多个。若第二角点的横坐标均大于第一角点的横坐标,则确定目标视频文件中的图像向右移动。若第二角点的横坐标均小于第一角点的横坐标,则确定目标视频文件中的图像向左移动。若第二角点的纵坐标均大于第一角点的纵坐标,则确定目标视频文件中的图像向上移动。若第二角点的纵坐标均小于第一角点的纵坐标,则确定目标视频文件中的图像向下移动。若在第一帧图像和第二帧图像所有相互匹配的角点中,部分第二角点的横坐标大于部分第一角点的横坐标,剩余的第二角点的横坐标小于第一角点的横坐标;和/或部分第二角点的纵坐标大于部分第一角点的横坐标,剩余的第二角点的纵坐标小于第一角点的横坐标则确定目标视频文件中的图像进行了缩放。例如图3所示的是图像放大示意图,图3中第一帧图像和第二帧图像中的圆圈上的点为第一帧图像和第二帧图像中相互匹配的角点。
作为一个可选实施例,根据所述第一操作信息和所述图像变化信息确定所述目标云台是否发生故障,包括:在确定所述第一操作信息与所述图像变化信息一致的情况下,确定所述目标云台未发生故障,否则,确定所述目标云台发生故障;其中,所述第一操作信息中包括:指示所述目标云台向右移动、向左移动、向上移动、向下移动的信息,以及指示所述目标云台控制所述摄像设备进行缩放的信息。在本实施例中,若在拍摄目标视频文件时指示云台的移动方向与拍摄得到目标视频文件中的图像变化方向一致,则确定云台未发生故障,否则确定云台发生故障。例如,在拍摄目标视频文件时,用户触控云台控制模块上的向右移动的触控按钮,以指令指示云台向右移动,在云台执行移动操作后拍摄得到的视频文件中的图像变化表示向左移动,说明在拍摄视频文件时,云台的实际移动情况与用户所指示的移动放方向并不一致,此种情况确定云台发生了故障。
下面通过一个具体实施例说明本申请,如图4是根据本发明实施例的系统流程图,其中,主要包括如下步骤:
步骤一:接收由云台上固定的摄像机发送的视频文件,通过解码模块对视频文件解码,输出为guv或者rgb格式数据,供检测模块分析。
步骤二:通过检测模块将解码后的数据,检测视频变化的情况,左移、右移、上移、下移(可能还有左上、左下、右上、右下),还是缩小放大,也可能是视频区域根本没有变化(没有任何移动)。
步骤三:通过云台控制模块控制云台的动作,左移、右移、上移、下移(可能还有左上、左下、右上、右下),还是缩小放大,同时将动作信息传递给运行执行情况处理模块。
步骤四:由执行情况处理模块根据检测出的视频信息,以及云台当前的运动状指令,判断云台是否有按照指令进行相应动作,并保存图片。
步骤五:由数据处理模块记录云台控制的结果,以及云台在运动情况下的视频的截图。
步骤六:上报结果。
上述检测模块主要流程如图5所示,具体包括如下步骤:
步骤一:使用快速角点检测算法对输入视频的每一帧进行角点检测,得到每帧图像中的X、Y特征点坐标。如果输入的为第一帧图像,则继续执行步骤一,并记录前一帧的特征点坐标。
步骤二:根据当前帧的输入图像和步骤一得到的前一帧角点特征,利用klt光流特征点算法,得到当前帧输入图像的光流特征点X、Y坐标。
步骤三:利用步骤一和步骤二得到的前后两帧特征点数据,计算光流图和匹配的特征数量。
步骤四:使用haar特征计算前后两帧图像的相似度。
步骤五:根据步骤三得到光流图计算图像的移动方向,得到云台的移动方向,并且结合步骤三匹配特征点的数量和步骤四得到的前后两帧图像的相似度判断云台是否处于静止状态。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种云台故障的确定装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本发明实施例的云台故障的确定装置的结构框图,如图6所示,该装置包括:获取模块62,用于获取固定在目标云台上的摄像设备拍摄得到目标视频文件,以及在拍摄所述目标视频文件时指示所述目标云台执行操作的第一操作信息;第一确定模块64,确定所述目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点;第二确定模块66,根据所述至少两帧图像中所述目标角点的坐标关系确定所述目标视频文件的图像变化信息;第三确定模块68,用于根据所述第一操作信息和所述图像变化信息确定所述目标云台是否发生故障。
作为一个可选的实施例,所述装置还包括:检测模块,用于在确定所述目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点之前,使用快速角点检测法对所述目标视频文件中任意连续的至少两帧图像中的每帧图像进行角点检测,得到所述每帧图像的角点;第四确定单元,用于确定所述每帧图像的角点的角点坐标。
作为一个可选的实施例,所述第一确定模块包括:计算单元,用于使用光流特征点算法KLT计算所述每帧图像的角点的光流矢量;确定单元,根据任意连续的至少两帧图像的光流矢量确定所述任意连续的至少两帧图像之间相互匹配的角点为所述目标角点。
作为一个可选的实施例,第一帧图像和第二帧图像是所述目标视频文件中任意连续的两帧图像,所述第一帧图像和所述第二帧图像上相互匹配的目标角点分别为第一目标角点和第二目标角点,所述第一帧图像上包括至少两个所述第一目标角点,所述第二帧图像上包括至少两个所述第二目标角点,所述第一目标角点和所述第二目标角点一一对应匹配,第二确定模块还用于通过如下方式确定所述目标视频文件的图像变化信息,在确定所述至少两个第二目标角点的横坐标均大于所述至少两个第一目标角点的横坐标的情况下,确定图像变化信息为向右移动;在确定所述至少两个第二目标角点的横坐标均小于所述至少两个第一目标角点的横坐标的情况下,确定图像变化信息为向左移动;在确定所述至少两个第二目标角点的纵坐标均大于所述至少两个第一目标角点的纵坐标的情况下,确定图像变化信息为向上移动;在确定所述至少两个第二目标角点的纵坐标均小于所述至少两个第一目标角点的纵坐标的情况下,确定图像变化信息为向下移动;在确定所述至少两个第二目标角点中部分第二目标角点的横坐标大于所述至少两个第一目标角点中与所述部分第二目标角点相匹配的部分第一目标节点的横坐标,且所述至少两个第二目标角点中剩余的第二目标角点的横坐标小于所述至少两个第一目标角点中剩余的第一目标节点的横坐标的情况下,和/或,所述至少两个第二目标角点中部分第二目标角点的纵坐标大于所述至少两个第一目标角点中与所述部分第二目标角点相匹配的部分第一目标节点的纵坐标,且所述至少两个第二目标角点中剩余的第二目标角点的纵坐标小于所述至少两个第一目标角点中剩余的第一目标节点的纵坐标的情况下,确定所述图像变化信息为缩放。
作为一个可选的实施例,第三确定模块还用于通过如下方式确定所述目标云台是否发生故障,在确定所述第一操作信息与所述图像变化信息一致的情况下,确定所述目标云台未发生故障,否则,确定所述目标云台发生故障;其中,所述第一操作信息中包括:指示所述目标云台向右移动、向左移动、向上移动、向下移动的信息,以及指示所述目标云台控制所述摄像设备进行缩放的信息。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取固定在目标云台上的摄像设备拍摄得到目标视频文件,以及在拍摄所述目标视频文件时指示所述目标云台执行操作的第一操作信息;
S2,确定所述目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点;
S3,根据所述至少两帧图像中所述目标角点的坐标关系确定所述目标视频文件的图像变化信息;
S4,根据所述第一操作信息和所述图像变化信息确定所述目标云台是否发生故障。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取固定在目标云台上的摄像设备拍摄得到目标视频文件,以及在拍摄所述目标视频文件时指示所述目标云台执行操作的第一操作信息;
S2,确定所述目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点;
S3,根据所述至少两帧图像中所述目标角点的坐标关系确定所述目标视频文件的图像变化信息;
S4,根据所述第一操作信息和所述图像变化信息确定所述目标云台是否发生故障。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种云台故障的确定方法,其特征在于,包括:
获取固定在目标云台上的摄像设备拍摄得到目标视频文件,以及在拍摄所述目标视频文件时指示所述目标云台执行操作的第一操作信息,其中,所述第一操作信息包括:指示所述目标云台控制所述摄像设备进行缩放的信息;
确定所述目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点;
根据所述至少两帧图像中所述目标角点的坐标关系确定所述目标视频文件的图像变化信息,其中,所述图像变化信息包括:图像的缩放信息;
根据所述第一操作信息和所述图像变化信息确定所述目标云台是否发生故障;
所述根据所述至少两帧图像中所述目标角点的坐标关系确定所述目标视频文件的图像变化信息包括:
在确定至少两个第二目标角点中部分第二目标角点的横坐标大于至少两个第一目标角点中与所述部分第二目标角点相匹配的部分第一目标节点的横坐标,且所述至少两个第二目标角点中剩余的第二目标角点的横坐标小于所述至少两个第一目标角点中剩余的第一目标节点的横坐标的情况下,和/或,
所述至少两个第二目标角点中部分第二目标角点的纵坐标大于所述至少两个第一目标角点中与所述部分第二目标角点相匹配的部分第一目标节点的纵坐标,且所述至少两个第二目标角点中剩余的第二目标角点的纵坐标小于所述至少两个第一目标角点中剩余的第一目标节点的纵坐标的情况下,确定所述图像变化信息为缩放;
其中,第一帧图像和第二帧图像是所述目标视频文件中任意连续的两帧图像,所述第一帧图像和所述第二帧图像上相互匹配的目标角点分别为所述第一目标角点和所述第二目标角点,所述第一帧图像上包括所述至少两个所述第一目标角点,所述第二帧图像上包括所述至少两个所述第二目标角点,所述第一目标角点和所述第二目标角点一一对应匹配。
2.根据权利要求1所述的方法,其特征在于,在确定所述目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点之前,所述方法还包括:
使用快速角点检测法对所述目标视频文件中任意连续的至少两帧图像中的每帧图像进行角点检测,得到所述每帧图像的角点;
确定所述每帧图像的角点的角点坐标。
3.根据权利要求2所述的方法,其特征在于,所述确定所述目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点,包括:
使用光流特征点算法KLT计算所述每帧图像的角点的光流矢量;
根据任意连续的至少两帧图像的光流矢量确定所述任意连续的至少两帧图像之间相互匹配的角点为所述目标角点。
4.根据权利要求3所述的方法,其特征在于,根据所述至少两帧图像中所述目标角点的坐标关系确定所述目标视频文件的图像变化信息,还包括:
在确定所述至少两个第二目标角点的横坐标均大于所述至少两个第一目标角点的横坐标的情况下,确定图像变化信息为向右移动;
在确定所述至少两个第二目标角点的横坐标均小于所述至少两个第一目标角点的横坐标的情况下,确定图像变化信息为向左移动;
在确定所述至少两个第二目标角点的纵坐标均大于所述至少两个第一目标角点的纵坐标的情况下,确定图像变化信息为向上移动;
在确定所述至少两个第二目标角点的纵坐标均小于所述至少两个第一目标角点的纵坐标的情况下,确定图像变化信息为向下移动。
5.根据权利要求1至4中任一项所述的方法,其特征在于,根据所述第一操作信息和所述图像变化信息确定所述目标云台是否发生故障,包括:
在确定所述第一操作信息与所述图像变化信息一致的情况下,确定所述目标云台未发生故障,否则,确定所述目标云台发生故障;
其中,所述第一操作信息中还包括:指示所述目标云台向右移动、向左移动、向上移动、向下移动的信息。
6.一种云台故障的确定装置,其特征在于,包括:
获取模块,用于获取固定在目标云台上的摄像设备拍摄得到目标视频文件,以及在拍摄所述目标视频文件时指示所述目标云台执行操作的第一操作信息,其中,所述第一操作信息包括:指示所述目标云台控制所述摄像设备进行缩放的信息;
第一确定模块,确定所述目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点;
第二确定模块,根据所述至少两帧图像中所述目标角点的坐标关系确定所述目标视频文件的图像变化信息,其中,所述图像变化信息包括:图像的缩放信息;
第三确定模块,用于根据所述第一操作信息和所述图像变化信息确定所述目标云台是否发生故障;
所述第二确定模块还用于,在确定至少两个第二目标角点中部分第二目标角点的横坐标大于至少两个第一目标角点中与所述部分第二目标角点相匹配的部分第一目标节点的横坐标,且所述至少两个第二目标角点中剩余的第二目标角点的横坐标小于所述至少两个第一目标角点中剩余的第一目标节点的横坐标的情况下,和/或,所述至少两个第二目标角点中部分第二目标角点的纵坐标大于所述至少两个第一目标角点中与所述部分第二目标角点相匹配的部分第一目标节点的纵坐标,且所述至少两个第二目标角点中剩余的第二目标角点的纵坐标小于所述至少两个第一目标角点中剩余的第一目标节点的纵坐标的情况下,确定所述图像变化信息为缩放;
其中,第一帧图像和第二帧图像是所述目标视频文件中任意连续的两帧图像,所述第一帧图像和所述第二帧图像上相互匹配的目标角点分别为所述第一目标角点和所述第二目标角点,所述第一帧图像上包括至少两个所述第一目标角点,所述第二帧图像上包括至少两个所述第二目标角点,所述第一目标角点和所述第二目标角点一一对应匹配。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
检测模块,用于在确定所述目标视频文件中任意连续的至少两帧图像之间相互匹配的目标角点之前,使用快速角点检测法对所述目标视频文件中任意连续的至少两帧图像中的每帧图像进行角点检测,得到所述每帧图像的角点;
第四确定单元,用于确定所述每帧图像的角点的角点坐标。
8.根据权利要求7所述的装置,其特征在于,所述第一确定模块包括:
计算单元,用于使用光流特征点算法KLT计算所述每帧图像的角点的光流矢量;
确定单元,根据任意连续的至少两帧图像的光流矢量确定所述任意连续的至少两帧图像之间相互匹配的角点为所述目标角点。
9.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至5任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项中所述的方法。
CN202010382633.9A 2020-05-08 2020-05-08 云台故障的确定方法、装置、存储介质及电子装置 Active CN111510635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010382633.9A CN111510635B (zh) 2020-05-08 2020-05-08 云台故障的确定方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010382633.9A CN111510635B (zh) 2020-05-08 2020-05-08 云台故障的确定方法、装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN111510635A CN111510635A (zh) 2020-08-07
CN111510635B true CN111510635B (zh) 2022-02-08

Family

ID=71864986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010382633.9A Active CN111510635B (zh) 2020-05-08 2020-05-08 云台故障的确定方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN111510635B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917599A (zh) * 2010-07-23 2010-12-15 深圳中兴力维技术有限公司 一种云台故障检测方法及装置
CN104104902A (zh) * 2013-04-02 2014-10-15 深圳中兴力维技术有限公司 云台方向故障检测方法及装置
CN105763868A (zh) * 2014-12-15 2016-07-13 北京文安科技发展有限公司 云台故障的检测方法及装置
CN106815861A (zh) * 2017-01-17 2017-06-09 湖南优象科技有限公司 一种紧凑型的光流计算方法与设备
CN108734732A (zh) * 2017-04-13 2018-11-02 德尔福技术有限责任公司 用于生成车辆环境的占用地图的方法和装置
KR20190104844A (ko) * 2018-03-02 2019-09-11 제주한라대학교산학협력단 개인 맞춤형 서비스를 제공하기 위한 고객 인식 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917599A (zh) * 2010-07-23 2010-12-15 深圳中兴力维技术有限公司 一种云台故障检测方法及装置
CN104104902A (zh) * 2013-04-02 2014-10-15 深圳中兴力维技术有限公司 云台方向故障检测方法及装置
CN105763868A (zh) * 2014-12-15 2016-07-13 北京文安科技发展有限公司 云台故障的检测方法及装置
CN106815861A (zh) * 2017-01-17 2017-06-09 湖南优象科技有限公司 一种紧凑型的光流计算方法与设备
CN108734732A (zh) * 2017-04-13 2018-11-02 德尔福技术有限责任公司 用于生成车辆环境的占用地图的方法和装置
KR20190104844A (ko) * 2018-03-02 2019-09-11 제주한라대학교산학협력단 개인 맞춤형 서비스를 제공하기 위한 고객 인식 시스템

Also Published As

Publication number Publication date
CN111510635A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN110866480B (zh) 对象的跟踪方法及装置、存储介质、电子装置
JP6532217B2 (ja) 画像処理装置、画像処理方法、及び画像処理システム
CN112703533B (zh) 对象跟踪
CN110111388B (zh) 三维物体位姿参数估计方法及视觉设备
KR101970197B1 (ko) 복수의 카메라 제어 방법과 그를 위한 카메라 제어 장치
CN111294563B (zh) 视频监控方法及装置、存储介质、电子装置
CN112954212B (zh) 视频生成方法、装置及设备
CN112640419B (zh) 跟随方法、可移动平台、设备和存储介质
CN114640833A (zh) 投影画面调整方法、装置、电子设备和存储介质
CN112352417B (zh) 拍摄设备的对焦方法、拍摄设备、系统及存储介质
CN112437231A (zh) 图像拍摄方法和装置、电子设备及存储介质
JP2012257173A (ja) 追尾装置、追尾方法及びプログラム
US20160267356A1 (en) Image processing apparatus and image processing method of performing image segmentation
CN114125226A (zh) 图像拍摄方法、装置、电子设备和可读存储介质
CN112367465B (zh) 图像输出方法、装置及电子设备
CN111510635B (zh) 云台故障的确定方法、装置、存储介质及电子装置
CN111935389B (zh) 拍摄对象切换方法、装置、拍摄设备及可读存储介质
CN115311472A (zh) 一种动作捕捉方法及相关设备
CN107534736B (zh) 终端的图像配准方法、装置和终端
US11790483B2 (en) Method, apparatus, and device for identifying human body and computer readable storage medium
CN112887620A (zh) 视频拍摄方法、装置及电子设备
CN113727003A (zh) 云台位置自检方法及装置、存储介质、电子装置
CN114173060A (zh) 智能移动拍摄方法、装置以及控制器
CN113706553B (zh) 图像处理方法、装置及电子设备
JP2020005111A (ja) 情報処理装置、制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant