CN117412161A - 斗车的跟踪方法、装置、存储介质及终端设备 - Google Patents

斗车的跟踪方法、装置、存储介质及终端设备 Download PDF

Info

Publication number
CN117412161A
CN117412161A CN202311270003.2A CN202311270003A CN117412161A CN 117412161 A CN117412161 A CN 117412161A CN 202311270003 A CN202311270003 A CN 202311270003A CN 117412161 A CN117412161 A CN 117412161A
Authority
CN
China
Prior art keywords
target
cradle head
image
information
hopper car
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311270003.2A
Other languages
English (en)
Inventor
陈锐涛
肖顺民
张静
陈志平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongyuan Technology Guangdong Co ltd
Original Assignee
Zhongyuan Technology Guangdong Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongyuan Technology Guangdong Co ltd filed Critical Zhongyuan Technology Guangdong Co ltd
Priority to CN202311270003.2A priority Critical patent/CN117412161A/zh
Publication of CN117412161A publication Critical patent/CN117412161A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开斗车的跟踪方法、装置及终端设备，其中方法包括：获取云台拍摄得到的视频数据，对所述视频数据进行目标斗车的识别，得到所述目标斗车的位置信息；根据所述位置信息控制所述云台调整位姿，以使所述目标斗车在所述云台拍摄的画面中居中；根据所述云台拍摄的当前图像帧计算所述目标斗车在所述图像帧中的图像占比；根据所述图像占比和焦距参数计算得到满足预设图像占比的焦距调整参数；控制所述云台根据所述焦距调整参数调整焦距；对实时的视频数据进行所述目标斗车的运动检测，得到所述目标斗车的运动轨迹信息；根据全景图像信息和所述运动轨迹信息，计算得到所述云台的位姿修正参数；根据所述位姿修正参数控制所述云台调整位姿。

Description

斗车的跟踪方法、装置、存储介质及终端设备
技术领域
本发明涉及视频目标跟踪的技术领域，尤其是涉及一种斗车的跟踪方法、装置、存储介质及终端设备。
背景技术
电力作业车辆配备有斗车，以便于施工人员乘坐斗车在高空进行灵活的电力作业。由于电力施工属于高风险作业，施工人员的现场施工操作以及现场的安全保障都具有相当严格的规范要求。人为施工作业通常具有安全规范疏忽的风险，需要有监控设备实时追踪监控乘坐斗车的施工人员，以确保施工安全。
在现有技术中，通常在电力作业车辆的车顶架设能够实时监控施工现场的监控云台以对斗车上的施工人员作业进行监控录像。高空作业受天气和作业位置的影响，施工人员需要经常控制斗车在空中进行移动；并且作业斗车的旋转范围大以及高低波动频繁与视频跟踪中普通水平范围移动不同，导致斗车在监控视频画面中忽大忽小，图像占比变化频繁，最后造成监控云台丢失跟踪目标。另外，受限于云台的监控视角，监控云台在水平方向上的跟踪精准度较高，在竖直方向上的跟踪精度较差。
发明内容
本发明实施例的目的是提供一种斗车的跟踪方法、装置、存储介质及终端设备，其能够实现斗车在云台的监测图像帧中保持稳定的图像占比，修正云台在竖直方向上的跟踪精度，从而提高云台跟踪目标斗车的跟踪精准度，避免跟踪目标丢失。
为了解决上述技术问题，在第一方面，本发明实施例提供了一种斗车的跟踪方法，包括：
获取云台拍摄得到的视频数据，对所述视频数据进行目标斗车的识别，得到所述目标斗车的位置信息；
根据所述位置信息控制所述云台调整位姿，以使所述目标斗车在所述云台拍摄的画面中居中；
根据所述云台拍摄的当前图像帧计算所述目标斗车在所述图像帧中的图像占比；
获取所述云台的焦距参数，根据所述图像占比和所述焦距参数计算得到满足预设图像占比的焦距调整参数；
控制所述云台根据所述焦距调整参数调整焦距；
对实时的视频数据进行所述目标斗车的运动检测，得到所述目标斗车的运动轨迹信息；
获取述目标斗车所在的工作场景的全景图像信息，根据所述全景图像信息和所述运动轨迹信息，计算得到所述云台的位姿修正参数；
根据所述位姿修正参数控制所述云台调整位姿，以实现对所述目标斗车的自动跟踪。
作为其中一种优选方案，所述对所述视频数据进行目标斗车的识别，得到所述目标斗车的位置信息，具体包括：
通过图像检测算法对所述视频数据进行目标斗车的识别，得到所述目标斗车的位置信息。
作为其中一种优选方案，所述根据所述位置信息控制所述云台调整位姿，具体包括：
获取所述云台的当前位姿参数信息，通过互补滤波算法对所述位置信息和所述当前位姿参数信息进行计算，得到位姿调整参数；
控制所述云台根据所述位姿调整参数调整位姿，以使所述目标斗车在所述云台拍摄的画面中居中。
作为其中一种优选方案，所述对实时的视频数据进行所述目标斗车的运动检测，得到所述目标斗车的运动轨迹信息，具体包括：
对实时的视频数据的图像序列进行图像识别，得到所述目标斗车在每一帧图像的位置坐标信息；
根据所述目标斗车在每一帧图像的位置坐标信息实时计算所述目标斗车的运动轨迹和目标位置。
作为其中一种优选方案，所述根据所述全景图像信息和所述运动轨迹信息，计算得到所述云台的位姿修正参数，具体包括：
根据所述全景图像信息对所述运动轨迹和所述目标位置在竖直方向上进行修正，得到修正后的运动轨迹和修正后的目标位置；
通过四元数姿态算法对所述修正后的运动轨迹和所述修正后的目标位置进行计算，得到所述云台的位姿修正参数。
作为其中一种优选方案，所述获取述目标斗车所在的工作场景的全景图像信息，具体包括：
获取所述云台的球形摄像装置在所述目标斗车所在的工作场景中拍摄得到的全景图像信息。
作为其中一种优选方案，所述对实时的视频数据的图像序列进行图像识别，得到所述目标斗车在每一帧图像的位置坐标信息，具体包括：
通过图像检测算法对实时的视频数据的图像序列进行图像识别，得到所述目标斗车在每一帧图像的位置坐标信息。
在第二方面，本发明实施例还提供了一种斗车的跟踪装置，包括：
位置识别模块，用于获取云台拍摄得到的视频数据，对所述视频数据进行目标斗车的识别，得到所述目标斗车的位置信息；
第一位姿调整模块，用于根据所述位置信息控制所述云台调整位姿，以使所述目标斗车在所述云台拍摄的画面中居中；
图像占比计算模块，用于根据所述云台拍摄的当前图像帧计算所述目标斗车在所述图像帧中的图像占比；
焦距调整参数计算模块，用于获取所述云台的焦距参数，根据所述图像占比和所述焦距参数计算得到满足预设图像占比的焦距调整参数；
焦距调整模块，用于控制所述云台根据所述焦距调整参数调整焦距；
运动轨迹检测模块，用于对实时的视频数据进行所述目标斗车的运动检测，得到所述目标斗车的运动轨迹信息；
位姿修正参数计算模块，用于获取述目标斗车所在的工作场景的全景图像信息，根据所述全景图像信息和所述运动轨迹信息，计算得到所述云台的位姿修正参数；
第二位姿调整模块，用于根据所述位姿修正参数控制所述云台调整位姿，以实现对所述目标斗车的自动跟踪。
在第三方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述第一方面所述的斗车的跟踪方法。
在第四方面，本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的斗车的跟踪方法。
相比于现有技术，本发明实施例的有益效果在于以下中的至少一点：
本发明的斗车的跟踪方法，获取云台拍摄得到的视频数据，对所述视频数据进行目标斗车的识别，得到所述目标斗车的位置信息；根据所述位置信息控制所述云台调整位姿，以使所述目标斗车在所述云台拍摄的画面中居中；根据所述云台拍摄的当前图像帧计算所述目标斗车在所述图像帧中的图像占比；获取所述云台的焦距参数，根据所述图像占比和所述焦距参数计算得到满足预设图像占比的焦距调整参数；控制所述云台根据所述焦距调整参数调整焦距；通过实现斗车在云台的监测图像帧中保持稳定的图像占比，从而避免云台在跟踪过程中丢失目标斗车。对实时的视频数据进行所述目标斗车的运动检测，得到所述目标斗车的运动轨迹信息；获取述目标斗车所在的工作场景的全景图像信息，根据所述全景图像信息和所述运动轨迹信息，计算得到所述云台的位姿修正参数；根据所述位姿修正参数控制所述云台调整位姿，以实现对所述目标斗车的自动跟踪。通过修正云台在竖直方向上的跟踪精度，从而提高云台跟踪目标斗车的跟踪精准度。相应地，本发明还提供斗车的跟踪装置及终端设备。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明斗车的跟踪方法一实施例的流程示意图；
图2是本发明斗车的跟踪装置一实施例的结构示意图；
图3是本发明终端设备一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，除非另有定义，本发明所使用的所有的技术和科学术语与属于本的技术领域的技术人员通常理解的含义相同。本发明中说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明，对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例一
本发明实施例提供了一种斗车的跟踪方法，请参阅图1，图1是本发明斗车的跟踪方法一实施例的流程示意图。本实施例可适用于云台监控设备对电力车辆的斗车进行跟踪的应用场景，该方法可以由云台的控制装置执行，该装置可为控制设备或终端平板、PC或服务器等；在本申请实施例中以斗车的跟踪装置作为执行主体进行说明。且斗车的跟踪装置采用边缘AI技术在云台终端本地执行斗车的跟踪方法。
在本实施例中，斗车的跟踪方法可以包括步骤S110～S160，各步骤具体如下：
S110：获取云台拍摄得到的视频数据，对所述视频数据进行目标斗车的识别，得到所述目标斗车的位置信息；
云台监控设备通常架设在电力作业车辆的车顶，实时监控施工现场。监控云台以对斗车上的施工人员作业进行实时监控和录像。详细的，云台监控设备上可搭载多个不同类型的摄像装置，包括但不限于超广角摄像头，红外摄像头，球形摄像头等。通过获取云台拍摄得到的视频数据，对视频数据进行目标斗车的识别，就能得到所述目标斗车的位置信息。
作为其中一种优选方案，所述对所述视频数据进行目标斗车的识别，得到所述目标斗车的位置信息，具体包括：
通过图像检测算法对所述视频数据进行目标斗车的识别，得到所述目标斗车的位置信息。
可采用基于图像检测算法构建的神经网络图像识别模型对视频数据中的目标斗车进行识别。首先采用由目标斗车的图像组成的训练数据对图像识别模型进行训练，从而使得该图像识别模型能够对图像中的斗车进行识别并输出斗车的位置信息。详细的，将云台拍摄得到的视频数据输入上述训练好的图像识别模型进行目标斗车的识别，得到所述目标斗车的位置信息。该位置信息为三维地理位置坐标，包含位置坐标和高度信息。
S120：根据所述位置信息控制所述云台调整位姿，以使所述目标斗车在所述云台拍摄的画面中居中；
具体的，云台位姿依赖于各种传感器来检测。主要使用的传感器包括三轴陀螺仪、三轴加速度计、磁力计等。陀螺仪可以测量云台相机围绕三个轴的旋转角度和速度，加速度计可以测量相机的线性速度和加速度，磁力计可以检测相机相对于地球的磁场方向。通过这些传感器的数据，云台跟踪可以实时地获取云台相机的位姿。
作为其中一种优选方案，所述根据所述位置信息控制所述云台调整位姿，具体包括：
获取所述云台的当前位姿参数信息，通过互补滤波算法对所述位置信息和所述当前位姿参数信息进行计算，得到位姿调整参数；控制所述云台根据所述位姿调整参数调整位姿，以使所述目标斗车在所述云台拍摄的画面中居中。
详细的，通过设置在云台上的上述传感器获取所述云台的当前位姿参数信息，通过互补滤波算法对所述位置信息和所述当前位姿参数信息进行计算，得到位姿调整参数；控制所述云台根据所述位姿调整参数调整位姿，以使云台的摄像装置对准目标斗车，从而确保目标斗车在云台拍摄的画面中居中。
S130：根据所述云台拍摄的当前图像帧计算所述目标斗车在所述图像帧中的图像占比；
由于作业斗车的旋转范围大以及高低波动频繁与视频跟踪中普通水平范围移动不同，导致斗车在监控视频画面中忽大忽小。为确保目标斗车在云台拍摄的图像帧中的图像占比保持稳定。需根据所述云台拍摄的当前图像帧计算此时目标斗车在所述图像帧中的图像占比。详细的，该图像占比为目标斗车图像占据整个图像帧的比例。
S140：获取所述云台的焦距参数，根据所述图像占比和所述焦距参数计算得到满足预设图像占比的焦距调整参数；
详细的，根据监控需求设置预设图像占比，例如50％。首先根据图像占比计算满足预设图像占比时当前目标斗车图像需在云台拍摄得到的图像帧中缩放的比例。之后，获取云台上搭载的摄像装置的焦距参数，根据计算得到的缩放比例和焦距参数计算得到满足该缩放比例的焦距调整参数。
S150：控制所述云台根据所述焦距调整参数调整焦距；
控制所述云台搭载的摄像装置根据计算得到的焦距调整参数调整焦距，实现斗车在云台的监测图像帧中保持稳定的图像占比，避免云台在跟踪过程中丢失目标斗车。
S160:对实时的视频数据进行所述目标斗车的运动检测，得到所述目标斗车的运动轨迹信息；
当目标斗车因工作需要发生位置移动时，通过运动检测算法对实时的视频数据进行所述目标斗车的运动检测，得到所述目标斗车的运动轨迹信息。
作为其中一种优选方案，所述对实时的视频数据进行所述目标斗车的运动检测，得到所述目标斗车的运动轨迹信息，具体包括：
对实时的视频数据的图像序列进行图像识别，得到所述目标斗车在每一帧图像的位置坐标信息；根据所述目标斗车在每一帧图像的位置坐标信息实时计算所述目标斗车的运动轨迹和目标位置。
作为其中一种优选方案，所述对实时的视频数据的图像序列进行图像识别，得到所述目标斗车在每一帧图像的位置坐标信息，具体包括：
通过图像检测算法对实时的视频数据的图像序列进行图像识别，得到所述目标斗车在每一帧图像的位置坐标信息。
详细的，可采用基于图像检测算法构建的神经网络图像识别模型对视频数据的图像序列中的目标斗车进行识别。首先采用由目标斗车的图像组成的训练数据对图像识别模型进行训练，从而使得该图像识别模型能够对图像中的斗车进行识别并输出斗车的位置信息。详细的，将云台拍摄得到的视频数据的图像序列输入上述训练好的图像识别模型进行目标斗车的识别，得到目标斗车在每一帧图像的位置坐标信息。该位置坐标信息为三维地理位置坐标，包含位置坐标和高度信息。根据所述目标斗车在每一帧图像的位置坐标信息实时计算所述目标斗车的运动轨迹和目标位置。
S170：获取述目标斗车所在的工作场景的全景图像信息，根据所述全景图像信息和所述运动轨迹信息，计算得到所述云台的位姿修正参数；
受限于云台的监控视角，监控云台在水平方向上的跟踪精准度较高，在竖直方向上的跟踪精度较差。为修正云台在竖直方向上的跟踪精度，还需获取述目标斗车所在的工作场景的全景图像信息，根据所述全景图像信息和所述运动轨迹信息，计算得到所述云台的位姿修正参数。
作为其中一种优选方案，所述对实时的视频数据进行所述目标斗车的运动检测，得到所述目标斗车的运动轨迹信息，具体包括：
根据所述全景图像信息对所述运动轨迹和所述目标位置在竖直方向上进行修正，得到修正后的运动轨迹和修正后的目标位置；通过四元数姿态算法对所述修正后的运动轨迹和所述修正后的目标位置进行计算，得到所述云台的位姿修正参数。
详细的，根据所述全景图像信息对所述运动轨迹和所述目标位置在竖直方向上进行修正，得到修正后的运动轨迹和修正后的目标位置。通过四元数姿态算法对修正后的运动轨迹和所述修正后的目标位置以及云台当前位姿参数信息进行计算，得到位姿修正参数。
S180：根据所述位姿修正参数控制所述云台调整位姿，以实现对所述目标斗车的自动跟踪。
控制所述云台根据所述位姿修正参数调整位姿，以修正云台在竖直方向上的跟踪精度，从而提高云台跟踪目标斗车的跟踪精准度。
综上，本实施例提供的一种斗车的跟踪方法，获取云台拍摄得到的视频数据，对所述视频数据进行目标斗车的识别，得到所述目标斗车的位置信息；根据所述位置信息控制所述云台调整位姿，以使所述目标斗车在所述云台拍摄的画面中居中；根据所述云台拍摄的当前图像帧计算所述目标斗车在所述图像帧中的图像占比；获取所述云台的焦距参数，根据所述图像占比和所述焦距参数计算得到满足预设图像占比的焦距调整参数；控制所述云台根据所述焦距调整参数调整焦距；通过实现斗车在云台的监测图像帧中保持稳定的图像占比，从而避免云台在跟踪过程中丢失目标斗车。对实时的视频数据进行所述目标斗车的运动检测，得到所述目标斗车的运动轨迹信息；获取述目标斗车所在的工作场景的全景图像信息，根据所述全景图像信息和所述运动轨迹信息，计算得到所述云台的位姿修正参数；根据所述位姿修正参数控制所述云台调整位姿，以实现对所述目标斗车的自动跟踪。通过修正云台在竖直方向上的跟踪精度，从而提高云台跟踪目标斗车的跟踪精准度。
实施例二
在实施例一的基础上，如图2所示，本发明实施例还提供了一种斗车的跟踪装置2，包括：
位置识别模块201，用于获取云台拍摄得到的视频数据，对所述视频数据进行目标斗车的识别，得到所述目标斗车的位置信息；
第一位姿调整模块202，用于根据所述位置信息控制所述云台调整位姿，以使所述目标斗车在所述云台拍摄的画面中居中；
图像占比计算模块203，用于根据所述云台拍摄的当前图像帧计算所述目标斗车在所述图像帧中的图像占比；
焦距调整参数计算模块204，用于获取所述云台的焦距参数，根据所述图像占比和所述焦距参数计算得到满足预设图像占比的焦距调整参数；
焦距调整模块205，用于控制所述云台根据所述焦距调整参数调整焦距；
运动轨迹检测模块206，用于对实时的视频数据进行所述目标斗车的运动检测，得到所述目标斗车的运动轨迹信息；
位姿修正参数计算模块207，用于获取述目标斗车所在的工作场景的全景图像信息，根据所述全景图像信息和所述运动轨迹信息，计算得到所述云台的位姿修正参数；
第二位姿调整模块208，用于根据所述位姿修正参数控制所述云台调整位姿，以实现对所述目标斗车的自动跟踪。
作为其中一种优选方案，位置识别模块201还包括：
位置识别单元，用于通过图像检测算法对所述视频数据进行目标斗车的识别，得到所述目标斗车的位置信息。
作为其中一种优选方案，第一位姿调整模块202还包括：
位姿调整参数计算单元，用于获取所述云台的当前位姿参数信息，通过互补滤波算法对所述位置信息和所述当前位姿参数信息进行计算，得到位姿调整参数；
第一位姿调整单元，用于控制所述云台根据所述位姿调整参数调整位姿，以使所述目标斗车在所述云台拍摄的画面中居中。
作为其中一种优选方案，运动轨迹检测模块206还包括：
位置坐标信息识别单元，用于对实时的视频数据的图像序列进行图像识别，得到所述目标斗车在每一帧图像的位置坐标信息；
运动轨迹检测单元，用于根据所述目标斗车在每一帧图像的位置坐标信息实时计算所述目标斗车的运动轨迹和目标位置。
作为其中一种优选方案，位姿修正参数计算模块207还包括：
修正单元，用于根据所述全景图像信息对所述运动轨迹和所述目标位置在竖直方向上进行修正，得到修正后的运动轨迹和修正后的目标位置；
位姿修正参数计算单元，用于通过四元数姿态算法对所述修正后的运动轨迹和所述修正后的目标位置进行计算，得到所述云台的位姿修正参数。
作为其中一种优选方案，位姿修正参数计算模块207还包括：
全景图像信息获取单元，用于获取所述云台的球形摄像装置在所述目标斗车所在的工作场景中拍摄得到的全景图像信息。
作为其中一种优选方案，位置坐标信息识别单元还包括：通过图像检测算法对实时的视频数据的图像序列进行图像识别，得到所述目标斗车在每一帧图像的位置坐标信息。
综上，本实施例提供的一种斗车的跟踪装置，获取云台拍摄得到的视频数据，对所述视频数据进行目标斗车的识别，得到所述目标斗车的位置信息；根据所述位置信息控制所述云台调整位姿，以使所述目标斗车在所述云台拍摄的画面中居中；根据所述云台拍摄的当前图像帧计算所述目标斗车在所述图像帧中的图像占比；获取所述云台的焦距参数，根据所述图像占比和所述焦距参数计算得到满足预设图像占比的焦距调整参数；控制所述云台根据所述焦距调整参数调整焦距；通过实现斗车在云台的监测图像帧中保持稳定的图像占比，从而避免云台在跟踪过程中丢失目标斗车。对实时的视频数据进行所述目标斗车的运动检测，得到所述目标斗车的运动轨迹信息；获取述目标斗车所在的工作场景的全景图像信息，根据所述全景图像信息和所述运动轨迹信息，计算得到所述云台的位姿修正参数；根据所述位姿修正参数控制所述云台调整位姿，以实现对所述目标斗车的自动跟踪。通过修正云台在竖直方向上的跟踪精度，从而提高云台跟踪目标斗车的跟踪精准度。
实施例三
请参阅图3，本发明实施例还提供一种终端设备，包括一个或多个处理器和存储器。存储器与所述处理器耦接，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任意一个实施例所述的斗车的跟踪方法。
处理器用于控制该计算机终端设备的整体操作，以完成上述的斗车的跟踪装置2的全部或部分步骤。存储器用于存储各种类型的数据以支持在该计算机终端设备的操作，这些数据例如可以包括用于在该计算机终端设备上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
在一示例性实施例中，计算机终端设备可以被一个或多个应用专用集成电路(Application Specific 1ntegrated Circuit，简称AS1C)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的基于人脸识别的终端设备控制方法，并达到如上述方法一致的技术效果。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现如上述任意一个实施例所述的斗车的跟踪方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器，上述程序指令可由计算机终端设备的处理器执行以完成上述的斗车的跟踪方法，并达到如上述方法一致的技术效果。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种斗车的跟踪方法，其特征在于，所述方法包括：
获取云台拍摄得到的视频数据，对所述视频数据进行目标斗车的识别，得到所述目标斗车的位置信息；
根据所述位置信息控制所述云台调整位姿，以使所述目标斗车在所述云台拍摄的画面中居中；
根据所述云台拍摄的当前图像帧计算所述目标斗车在所述图像帧中的图像占比；
获取所述云台的焦距参数，根据所述图像占比和所述焦距参数计算得到满足预设图像占比的焦距调整参数；
控制所述云台根据所述焦距调整参数调整焦距；
对实时的视频数据进行所述目标斗车的运动检测，得到所述目标斗车的运动轨迹信息；
获取述目标斗车所在的工作场景的全景图像信息，根据所述全景图像信息和所述运动轨迹信息，计算得到所述云台的位姿修正参数；
根据所述位姿修正参数控制所述云台调整位姿，以实现对所述目标斗车的自动跟踪。
2.如权利要求1所述的斗车的跟踪方法，其特征在于，所述对所述视频数据进行目标斗车的识别，得到所述目标斗车的位置信息，具体包括：
通过图像检测算法对所述视频数据进行目标斗车的识别，得到所述目标斗车的位置信息。
3.如权利要求2所述的斗车的跟踪方法，其特征在于，所述根据所述位置信息控制所述云台调整位姿，具体包括：
获取所述云台的当前位姿参数信息，通过互补滤波算法对所述位置信息和所述当前位姿参数信息进行计算，得到位姿调整参数；
控制所述云台根据所述位姿调整参数调整位姿，以使所述目标斗车在所述云台拍摄的画面中居中。
4.如权利要求3所述的斗车的跟踪方法，其特征在于，所述对实时的视频数据进行所述目标斗车的运动检测，得到所述目标斗车的运动轨迹信息，具体包括：
对实时的视频数据的图像序列进行图像识别，得到所述目标斗车在每一帧图像的位置坐标信息；
根据所述目标斗车在每一帧图像的位置坐标信息实时计算所述目标斗车的运动轨迹和目标位置。
5.如权利要求4所述的斗车的跟踪方法，其特征在于，所述根据所述全景图像信息和所述运动轨迹信息，计算得到所述云台的位姿修正参数，具体包括：
根据所述全景图像信息对所述运动轨迹和所述目标位置在竖直方向上进行修正，得到修正后的运动轨迹和修正后的目标位置；
通过四元数姿态算法对所述修正后的运动轨迹和所述修正后的目标位置进行计算，得到所述云台的位姿修正参数。
6.如权利要求5所述的斗车的跟踪方法，其特征在于，所述获取述目标斗车所在的工作场景的全景图像信息，具体包括：
获取所述云台的球形摄像装置在所述目标斗车所在的工作场景中拍摄得到的全景图像信息。
7.如权利要求4所述的斗车的跟踪方法，其特征在于，所述对实时的视频数据的图像序列进行图像识别，得到所述目标斗车在每一帧图像的位置坐标信息，具体包括：
通过图像检测算法对实时的视频数据的图像序列进行图像识别，得到所述目标斗车在每一帧图像的位置坐标信息。
8.一种斗车的跟踪装置，其特征在于，包括：
位置识别模块，用于获取云台拍摄得到的视频数据，对所述视频数据进行目标斗车的识别，得到所述目标斗车的位置信息；
第一位姿调整模块，用于根据所述位置信息控制所述云台调整位姿，以使所述目标斗车在所述云台拍摄的画面中居中；
图像占比计算模块，用于根据所述云台拍摄的当前图像帧计算所述目标斗车在所述图像帧中的图像占比；
焦距调整参数计算模块，用于获取所述云台的焦距参数，根据所述图像占比和所述焦距参数计算得到满足预设图像占比的焦距调整参数；
焦距调整模块，用于控制所述云台根据所述焦距调整参数调整焦距；
运动轨迹检测模块，用于对实时的视频数据进行所述目标斗车的运动检测，得到所述目标斗车的运动轨迹信息；
位姿修正参数计算模块，用于获取述目标斗车所在的工作场景的全景图像信息，根据所述全景图像信息和所述运动轨迹信息，计算得到所述云台的位姿修正参数；
第二位姿调整模块，用于根据所述位姿修正参数控制所述云台调整位姿，以实现对所述目标斗车的自动跟踪。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的斗车的跟踪方法。
10.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的斗车的跟踪方法。
CN202311270003.2A 2023-09-27 2023-09-27 斗车的跟踪方法、装置、存储介质及终端设备 Pending CN117412161A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311270003.2A CN117412161A (zh) 2023-09-27 2023-09-27 斗车的跟踪方法、装置、存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311270003.2A CN117412161A (zh) 2023-09-27 2023-09-27 斗车的跟踪方法、装置、存储介质及终端设备

Publications (1)

Publication Number Publication Date
CN117412161A true CN117412161A (zh) 2024-01-16

Family

ID=89487994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311270003.2A Pending CN117412161A (zh) 2023-09-27 2023-09-27 斗车的跟踪方法、装置、存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN117412161A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117615255A (zh) * 2024-01-19 2024-02-27 深圳市浩瀚卓越科技有限公司 基于云台的拍摄追踪方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117615255A (zh) * 2024-01-19 2024-02-27 深圳市浩瀚卓越科技有限公司 基于云台的拍摄追踪方法、装置、设备及存储介质
CN117615255B (zh) * 2024-01-19 2024-04-19 深圳市浩瀚卓越科技有限公司 基于云台的拍摄追踪方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US11575824B2 (en) Photographing control method, apparatus, and control device
US10928838B2 (en) Method and device of determining position of target, tracking device and tracking system
CN106873627B (zh) 一种自动巡检输电线路的多旋翼无人机及方法
CN105955308B (zh) 一种飞行器的控制方法和装置
CN110633629A (zh) 基于人工智能的电网巡检方法、装置、设备及存储介质
US20200198139A1 (en) Map creation method of mobile robot and mobile robot
CN106910206B (zh) 一种目标跟踪方法及装置
CN110799921A (zh) 拍摄方法、装置和无人机
CN108416285A (zh) 枪球联动监控方法、装置及计算机可读存储介质
CN111679695B (zh) 一种基于深度学习技术的无人机巡航及追踪系统和方法
CN110910459B (zh) 一种对摄像装置的标定方法、装置及标定设备
CN117412161A (zh) 斗车的跟踪方法、装置、存储介质及终端设备
US20040190758A1 (en) Authentication object image pick-up device and method thereof
CN111611989B (zh) 一种基于自主机器人的多目标精准定位识别方法
WO2022077296A1 (zh) 三维重建方法、云台负载、可移动平台以及计算机可读存储介质
Neves et al. Acquiring high-resolution face images in outdoor environments: A master-slave calibration algorithm
CN108932732B (zh) 一种获取监测对象数据信息的方法及装置
WO2022041014A1 (zh) 云台及其控制方法、设备，拍摄装置、系统和存储介质
CN111247389B (zh) 关于拍摄设备的数据处理方法、装置及图像处理设备
CN114281100B (zh) 一种不悬停无人机巡检系统及其方法
CN110720113A (zh) 一种参数处理方法、装置及摄像设备、飞行器
CN112291478B (zh) 一种高空抛坠物的监测方法、装置、设备及存储介质
CN108122243B (zh) 用于机器人检测运动物体的方法
CN113392714A (zh) 一种聚众事件检测方法及系统
CN113068000B (zh) 视频目标的监控方法、装置、设备、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination