CN111862169B - 目标跟拍方法、装置、云台相机及存储介质 - Google Patents

目标跟拍方法、装置、云台相机及存储介质 Download PDF

Info

Publication number
CN111862169B
CN111862169B CN202010575804.XA CN202010575804A CN111862169B CN 111862169 B CN111862169 B CN 111862169B CN 202010575804 A CN202010575804 A CN 202010575804A CN 111862169 B CN111862169 B CN 111862169B
Authority
CN
China
Prior art keywords
camera
target
target object
image
image acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010575804.XA
Other languages
English (en)
Other versions
CN111862169A (zh
Inventor
梁峰
欧金超
刘煜
浦汉来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Moxiang Network Technology Co ltd
Original Assignee
Shanghai Moxiang Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Moxiang Network Technology Co ltd filed Critical Shanghai Moxiang Network Technology Co ltd
Priority to CN202010575804.XA priority Critical patent/CN111862169B/zh
Publication of CN111862169A publication Critical patent/CN111862169A/zh
Application granted granted Critical
Publication of CN111862169B publication Critical patent/CN111862169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种目标跟拍方法、装置、云台相机及存储介质，涉及计算机视觉技术领域，该方法应用于云台相机，云台相机包括主摄像头、副摄像头和云台，主摄像头的成像参数优于副摄像头的成像参数；该方法包括：利用主摄像头和副摄像头同步采集图像；对副摄像头采集的图像进行目标识别，得到副摄像头采集的图像中目标对象的位置信息；基于位置信息向云台发送控制信号，以控制云台旋转并使用主摄像头跟拍目标对象。本发明能够提升图像处理效率，进而提升目标跟拍的稳定性。

Description

目标跟拍方法、装置、云台相机及存储介质
技术领域
本发明涉及计算机视觉技术领域，尤其是涉及一种目标跟拍方法、装置、云台相机及存储介质。
背景技术
目前利用云台跟拍的技术，通常是基于相机拍摄的图像跟拍目标对象，然而，目前的手持云台相机，一般是通过一个摄像头取景，为了保证取景质量，摄像头的分辨率往往非常大，由于处理器处理能力限制，在进行目标跟踪算法处理时，需要对摄像头的拍摄图像进行压缩处理后，才发送到处理器对高清图像进行分辨率转换，图像处理效率较低，进而导致云台跟拍目标对象的稳定性降低。因此，现有的目标跟拍技术，还存在跟拍稳定性较低的问题。
发明内容
有鉴于此，本发明的目的在于提供一种目标跟拍方法、装置、云台相机及存储介质，能够提升图像处理效率，进而提升目标跟拍的稳定性。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种目标跟拍方法，应用于云台相机，所述云台相机包括主摄像头、副摄像头和云台，所述主摄像头的成像参数优于所述副摄像头的成像参数；所述方法包括：利用所述主摄像头和所述副摄像头同步采集图像；对所述副摄像头采集的图像进行目标识别，得到所述副摄像头采集的图像中目标对象的位置信息；基于所述位置信息向所述云台发送控制信号，以控制所述云台旋转并使用所述主摄像头跟拍所述目标对象。
进一步，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述云台相机还包括与所述副摄像头通信连接的控制器；所述位置信息包括所述目标对象的位置预测向量；所述对所述副摄像头采集的图像进行目标识别，得到所述副摄像头采集图像中目标对象的位置信息的步骤，包括：利用所述控制器从所述副摄像头采集的第一图像中获取所述目标对象的中心点坐标，得到第一中心点坐标；利用所述控制器从所述副摄像头采集的第二图像中获取所述目标对象的中心点坐标，得到第二中心点坐标；其中，所述第二图像为所述副摄像头当前采集的图像帧；所述第一图像为所述第二图像的前一帧图像；基于所述第一中心点坐标和第二中心点确定所述目标对象的位置预测向量。
进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述基于所述第一中心点坐标和第二中心点确定所述目标对象的位置预测向量的步骤，包括：根据所述第一中心点及所述第一图像的图像中心点确定所述目标对象的第一偏移向量；根据所述第二中心点及所述第二图像的图像中心点确定所述目标对象的第二偏移向量；基于所述第一偏移向量和所述第二偏移向量对所述目标对象的位置进行预测，得到所述目标对象的位置预测向量。
进一步，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述基于所述第一偏移向量和所述第二偏移向量对所述目标对象的位置进行预测，得到所述目标对象的位置预测向量的步骤，包括：基于所述第一偏移向量、所述第二偏移向量及位置预测算式，得到所述目标对象的位置预测向量；所述位置预测算式为：y’t+1＝axt+(1-a)yt+1；其中，y’t+1为所述位置预测向量，xt为所述第一偏移向量，yt+1为所述第二偏移向量，a为加权因子。
进一步，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述位置信息包括所述目标对象的位置预测向量；所述基于所述位置信息向所述云台发送控制信号，以控制所述云台旋转并使用所述主摄像头跟拍所述目标对象的步骤，包括：基于所述目标对象的位置预测向量及所述主摄像头与所述副摄像头的位置关系确定所述云台的目标转动量；所述目标转动量包括俯仰角、横滚角和偏航角；根据所述目标转动量向所述云台的俯仰驱动电机、横滚驱动电机和偏航驱动电机发送相对应的角度控制信号，以控制所述云台旋转并使用所述主摄像头跟拍所述目标对象。
进一步，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述基于所述目标对象的位置预测向量及所述主摄像头与所述副摄像头的位置关系确定所述云台的目标转动量的步骤，包括：基于所述主摄像头与所述副摄像头的位置关系，确定所述主摄像头拍摄图像中像素点与所述副摄像头拍摄图像中像素点的坐标转换关系；基于所述坐标转换关系及所述目标对象的位置预测向量，确定所述主摄像头采集的目标图像中所述目标对象的位置预测向量，得到目标预测向量；基于所述目标预测向量确定所述云台的目标转动量。
进一步，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述云台相机包括显示屏；所述目标对象的位置信息包括所述目标对象的目标框位置；所述方法还包括：基于所述副摄像头采集图像中所述目标对象的目标框位置及所述坐标转换关系，确定所述主摄像头采集的目标图像中所述目标对象的目标框位置；利用所述显示屏显示所述主摄像头采集的目标图像及所述目标对象的目标框位置。
第二方面，本发明实施例还提供了一种目标跟拍装置，应用于云台相机，所述云台相机包括主摄像头、副摄像头和云台，所述主摄像头的成像参数优于所述副摄像头的成像参数；所述装置包括：图像采集模块，用于利用所述主摄像头和所述副摄像头同步采集图像；目标识别模块，用于对所述副摄像头采集的图像进行目标识别，得到所述副摄像头采集图像中目标对象的位置信息；云台控制模块，用于基于所述位置信息向所述云台发送控制信号，以控制所述云台旋转并使用所述主摄像头跟拍所述目标对象。
第三方面，本发明实施例提供了一种云台相机，包括：主摄像头、副摄像头、云台、处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。
本发明实施例提供了一种目标跟拍方法、装置、云台相机及存储介质，应用于云台相机，云台相机包括主摄像头、副摄像头和云台，主摄像头的成像参数优于副摄像头的成像参数；该方法包括：利用主摄像头和副摄像头同步采集图像；对副摄像头采集的图像进行目标识别，得到副摄像头采集的图像中目标对象的位置信息；基于位置信息向云台发送控制信号，以控制云台旋转并使用主摄像头跟拍目标对象。通过对副摄像头采集的常规分辨率图像进行图像处理，可以快速确定云台相机采集图像中目标对象的位置信息，提升了图像处理效率，再基于目标对象的位置信息控制云台转动，可以提升目标对象跟拍的稳定性。
本发明实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明实施例的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种目标跟拍方法流程图；
图2示出了本发明实施例所提供的一种目标跟拍装置结构示意图；
图3示出了本发明实施例所提供的一种云台相机的结构示意图。
图标：
31-主摄像头；32-副摄像头；33-云台；34-处理器。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
目前，考虑到现有的目标跟拍技术，还存在跟拍稳定性较低的问题，为改善此问题，本发明实施例提供的一种目标跟拍方法、装置、云台相机及存储介质，该技术可应用于提升图像处理效率，进而提升目标跟拍的稳定性。以下对本发明实施例进行详细介绍。
实施例一：
本实施例提供了一种目标跟拍方法，可以应用于云台相机的处理器，其中，该云台相机包括主摄像头、副摄像头和云台，主摄像头的分辨率大于副摄像头的分辨率；参见图1所示的目标跟拍方法流程图，该方法主要包括以下步骤S102～步骤S106：
步骤S102，利用主摄像头和副摄像头同步采集图像。
利用云台相机的主摄像头和副摄像头同步采集图像，其中，上述主摄像头的成像参数优于上述副摄像头的成像参数，上述成像参数包括分辨率、光圈和视场角等等。上述主摄像头采集的图像为高清图像，副摄像头采集的图像为常规分辨率图像。上述主摄像头和副摄像头的相对位置是固定的(诸如，主摄像头和副摄像头为横向分布或纵向分布)，为了使上述主摄像头和副摄像头采集图像中的目标物体尽可能相同，上述主摄像头和副摄像头之间的距离可以尽可能地小。为了提升上述目标相机拍摄的稳定性，上述目标相机还可以包括增稳结构，上述主摄像头和副摄像头设置于增稳结构上，使主摄像头和副摄像头可以在增稳结构的驱动下同步移动。
步骤S104，对副摄像头采集的图像进行目标识别，得到副摄像头采集的图像中目标对象的位置信息。
由于副摄像头采集的图像的分辨率较小，通过对副摄像头采集的图像进行目标识别，可以减小图像处理的运算复杂度。上述目标识别可以是目标检测算法、目标识别算法或预先训练得到的神经网络模型，上述位置信息可以是以目标框的形式出现，也可以是输出目标对象的中心点坐标及目标框的各个顶点坐标。
步骤S106，基于位置信息向云台发送控制信号，以控制云台旋转并使用主摄像头跟拍目标对象。
为了使云台相机能够稳定跟拍到目标对象，即使目标对象能稳定存在于云台相机采集的图像中，可以基于目标对象在副摄像头采集的图像中的位置变化情况，向云台发送控制信号，使云台相机，从而能够旋转主摄像头的拍摄角度，使主摄像头能够稳定拍摄到目标对象。
本实施例提供的上述目标跟拍方法，通过对副摄像头采集的常规分辨率图像进行图像处理，可以快速确定云台相机采集图像中目标对象的位置信息，提升了图像处理效率，再基于目标对象的位置信息控制云台转动，可以提升目标对象跟拍的稳定性。
为了能够提升目标识别效率，上述云台相机还包括与副摄像头通信连接的控制器，位置信息包括目标对象的位置预测向量，本实施例提供了对副摄像头采集的图像进行目标识别，得到副摄像头采集图像中目标对象的位置信息的实施方式，具体可参照如下步骤(1)～步骤(3)执行：
步骤(1)：利用控制器从副摄像头采集的第一图像中获取目标对象的中心点坐标，得到第一中心点坐标。
上述控制器中设置有处理器，该处理器可以作为副摄像头独立使用的处理器，以对副摄像头采集的图像进行图像处理，确保可以稳定识别出目标对象。利用上述控制器对副摄像头在第一时间采集的第一图像进行目标识别，得到第一图像中目标对象的中心点坐标(即目标对象的目标框的中心点坐标)，该中心点坐标可以记为第一中心点坐标。
步骤(2)：利用控制器从副摄像头采集的第二图像中获取目标对象的中心点坐标，得到第二中心点坐标。
上述第二图像为副摄像头当前采集的图像帧，第一图像为第二图像的前一帧图像。利用控制器对副摄像头在第二时间采集的第二图像进行目标识别，得到第二图像中目标对象的中心点坐标，该中心点坐标可以记为第二中心点坐标。上述第二时间可以是当前时刻，上述第一时间和第二时间为两个连续时刻(连续帧)，即第一图像和第二图像为连续帧图像，第一图像位于第二图像的前一帧图像。
步骤(3)：基于第一中心点坐标和第二中心点确定目标对象的位置预测向量。
根据第一中心点及第一图像的图像中心点确定目标对象的第一偏移向量；根据第二中心点及第二图像的图像中心点确定目标对象的第二偏移向量；基于第一偏移向量和第二偏移向量对目标对象的位置进行预测，得到目标对象的位置预测向量。上述第一偏移向量为上述第一中心点的像素坐标，与第一图像的图像中心点的像素坐标构成的向量，第二偏移向量为上述第二中心点的像素坐标，与第二图像的图像中心点的像素坐标构成的向量。
在一种具体的实施方式中，可以基于第一偏移向量、第二偏移向量及位置预测算式，得到目标对象的位置预测向量。其中该位置预测算式可以是：y’t+1＝axt+(1-a)yt+1。y’t+1为位置预测向量，xt为第一偏移向量，yt+1为第二偏移向量，a为加权因子(也可以称为平滑系数)，该加权因子的取值范围可以是0≤a≤1。由于位置预测向量考虑了当前时刻的前一时刻图像帧中图像中心点到目标对象的目标中心点的偏移向量，使得位置预测向量相对平滑，进而可以根据该位置预测向量确定相对平滑的云台转动量，控制平台平滑地移动。
为了提升目标跟拍的稳定性，本实施例提供了基于位置信息向云台发送控制信号，以控制云台旋转并使用主摄像头跟拍目标对象的实施方式，具体可参照如下步骤1～步骤2执行：
步骤1：基于目标对象的位置预测向量及主摄像头与副摄像头的位置关系确定云台的目标转动量。
上述目标转动量包括俯仰角、横滚角和偏航角。基于主摄像头与副摄像头的位置关系，确定主摄像头拍摄图像中像素点与副摄像头拍摄图像中像素点的坐标转换关系；基于坐标转换关系及目标对象的位置预测向量，确定主摄像头采集的目标图像中目标对象的位置预测向量，得到目标预测向量；基于目标预测向量确定云台的目标转动量。上述坐标转换关系可以是基于主摄像头与副摄像头之间的实际距离，对主摄像头与副摄像进行双目相机标定得到的，该坐标转换关系可以是相机标定得到的坐标转换矩阵。基于该坐标转换关系，可以得到副摄像头采集的图像中任意像素点坐标转换至主摄像头采集的图像中的像素点坐标。基于副摄像头采集图像中的位置预测向量的顶点坐标及坐标转换关系，可以得到主摄像头采集的目标图像中位置预测向量的顶点坐标，记为目标预测向量。
在实际应用中，还可以获取相机拍摄图像中像素点与云台转动角度的对应关系，通过该对应关系确定云台的目标转动量，诸如，当云台的俯仰角驱动电机转动1度时，相机拍摄图像中的像素点可以对应移动两个像素坐标。通过目标对象的位置预测向量，对目标对象的下一刻位移进行预测，根据该预测向量确定云台需要转动的俯仰角、横滚角和偏航角角度，诸如，该预测向量显示目标对象预测的横向位移为2个像素点，则确定云台的目标转动量中的偏航角角度为1度，同理，可以确定云台的目标转动量中俯仰角和横滚角的角度。
步骤2：根据目标转动量向云台的俯仰驱动电机、横滚驱动电机和偏航驱动电机发送相对应的角度控制信号，以控制云台旋转并使用主摄像头跟拍目标对象。
通过向俯仰驱动电机、横滚驱动电机和偏航驱动电机发送相对应的角度控制信号，可以驱动各个电机旋转相应的角度，使主摄像头可以稳定拍摄到目标对象，为了提升用户体验，可以将主摄像头跟拍目标图像的图像或视频发送至显示屏上，以将跟拍图像或视频展示给用户。相应的，由于主摄像头与副摄像头的相对位置固定，副摄像头也可以稳定拍摄到目标对象的图像。在实际应用中，上述云台相机还包括防抖机构，俯仰驱动电机、横滚驱动电机、偏航驱动电机及控制器控制驱动防抖机构中相应的电机运转进行补偿，以控制摄像头保持平稳，从而实现拍摄稳定，从而达到防抖的目的。
为了提升用户体验，本实施例提供的方法还包括：基于副摄像头采集图像中目标对象的目标框位置及坐标转换关系，确定主摄像头采集的目标图像中目标对象的目标框位置；利用显示屏显示主摄像头采集的目标图像及目标对象的目标框位置。上述云台相机还包括显示屏，该显示屏可以显示主摄像头采集的目标图像，该目标图像为高清图像，还可以显示目标图像中目标对象的位置信息，该位置信息可以是目标框的位置，诸如可以在显示屏中用彩色矩形框标出目标对象的位置。其中，上述目标图像中的目标框位置，可以是将副摄像头采集的图像中的目标框经过坐标转换得到的。通过输出主摄像头拍摄的高清图像，可以提升用户体验。
本实施例提供的上述目标跟拍方法，通过计算目标对象的位置预测向量，可以根据该位置预测向量确定相对平滑的云台转动量，控制平台平滑地移动，副摄像头将采集的数据输送给单独的控制器进行处理，控制云台增稳结构实现相应动作，从而能够有效提高处理效率，分工明确，确保高清画质的同时提高防抖功能，提高用户拍摄体验。
实施例二：
对于实施例一中所提供的目标跟拍方法，本发明实施例提供了一种目标跟拍装置，参见图2所示的一种目标跟拍装置结构示意图，该装置包括以下模块：
图像采集模块21，用于利用主摄像头和副摄像头同步采集图像。
目标识别模块22，用于对副摄像头采集的图像进行目标识别，得到副摄像头采集图像中目标对象的位置信息。
云台控制模块23，用于基于位置信息向云台发送控制信号，以控制云台旋转并使用主摄像头跟拍目标对象。
本实施例提供的上述目标跟拍装置，通过对副摄像头采集的常规分辨率图像进行图像处理，可以快速确定云台相机采集图像中目标对象的位置信息，提升了图像处理效率，再基于目标对象的位置信息控制云台转动，可以提升目标对象跟拍的稳定性。
在一种实施方式中，上述云台相机还包括与副摄像头通信连接的控制器，位置信息包括目标对象的位置预测向量；上述目标识别模块22，进一步用于利用控制器从副摄像头采集的第一图像中获取目标对象的中心点坐标，得到第一中心点坐标；利用控制器从副摄像头采集的第二图像中获取目标对象的中心点坐标，得到第二中心点坐标；其中，第二图像为副摄像头当前采集的图像帧；第一图像为第二图像的前一帧图像；基于第一中心点坐标和第二中心点确定目标对象的位置预测向量。
在一种实施方式中，上述目标识别模块22，进一步用于根据第一中心点及第一图像的图像中心点确定目标对象的第一偏移向量；根据第二中心点及第二图像的图像中心点确定目标对象的第二偏移向量；基于第一偏移向量和第二偏移向量对目标对象的位置进行预测，得到目标对象的位置预测向量。
在一种实施方式中，上述目标识别模块22，进一步用于基于第一偏移向量、第二偏移向量及位置预测算式，得到目标对象的位置预测向量；位置预测算式为：y’t+1＝axt+(1-a)yt+1。其中，y’t+1为位置预测向量，xt为第一偏移向量，yt+1为第二偏移向量，a为加权因子。
在一种实施方式中，上述位置信息包括目标对象的位置预测向量；上述云台控制模块23，进一步用于基于目标对象的位置预测向量及主摄像头与副摄像头的位置关系确定云台的目标转动量；目标转动量包括俯仰角、横滚角和偏航角；根据目标转动量向云台的俯仰驱动电机、横滚驱动电机和偏航驱动电机发送相对应的角度控制信号，以控制云台旋转并使用主摄像头跟拍目标对象。
在一种实施方式中，上述云台控制模块23，进一步用于基于主摄像头与副摄像头的位置关系，确定主摄像头拍摄图像中像素点与副摄像头拍摄图像中像素点的坐标转换关系；基于坐标转换关系及目标对象的位置预测向量，确定主摄像头采集的目标图像中目标对象的位置预测向量，得到目标预测向量；基于目标预测向量确定云台的目标转动量。
在一种实施方式中，上述云台相机包括显示屏；目标对象的位置信息包括目标对象的目标框位置；上述装置还包括：
图像显示模块，用于基于副摄像头采集图像中目标对象的目标框位置及坐标转换关系，确定主摄像头采集的目标图像中目标对象的目标框位置；利用显示屏显示主摄像头采集的目标图像及目标对象的目标框位置。
本实施例提供的上述目标跟拍装置，通过计算目标对象的位置预测向量，可以根据该位置预测向量确定相对平滑的云台转动量，控制平台平滑地移动，副摄像头将采集的数据输送给单独的控制器进行处理，控制云台增稳结构实现相应动作，从而能够有效提高处理效率，分工明确，确保高清画质的同时提高防抖功能，提高用户拍摄体验。
本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
实施例三：
对应于前述实施例所提供的方法和装置，参见图3所示的一种云台相机的结构示意图，本发明实施例还提供了一种云台相机，该云台相机包括：主摄像头31、副摄像头32、云台33、处理器34和存储装置(图中未示出)，其中，上述副摄像头32还连接有控制器(图中未示出)，该控制器中设置有另外一个独立的处理器(图中未示出)。存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例提供的方法的步骤。
实施例四：
本发明实施例提供了一种计算机可读介质，其中，所述计算机可读介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使所述处理器实现上述实施例所述的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。
本发明实施例所提供的目标跟拍方法、装置、云台相机及存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种目标跟拍方法，其特征在于，应用于云台相机，所述云台相机包括主摄像头、副摄像头和云台，所述主摄像头的成像参数优于所述副摄像头的成像参数；所述方法包括：
利用所述主摄像头和所述副摄像头同步采集图像；
对所述副摄像头采集的图像进行目标识别，得到所述副摄像头采集的图像中目标对象的位置信息；
基于所述位置信息向所述云台发送控制信号，以控制所述云台旋转并使用所述主摄像头跟拍所述目标对象；
所述位置信息包括所述目标对象的位置预测向量；所述基于所述位置信息向所述云台发送控制信号，以控制所述云台旋转并使用所述主摄像头跟拍所述目标对象的步骤，包括：
基于所述主摄像头与所述副摄像头的位置关系，确定所述主摄像头拍摄图像中像素点与所述副摄像头拍摄图像中像素点的坐标转换关系；
基于所述坐标转换关系及所述目标对象的位置预测向量，确定所述主摄像头采集的目标图像中所述目标对象的位置预测向量，得到目标预测向量；
基于所述目标预测向量确定所述云台的目标转动量；所述目标转动量包括俯仰角、横滚角和偏航角；
根据所述目标转动量向所述云台的俯仰驱动电机、横滚驱动电机和偏航驱动电机发送相对应的角度控制信号，以控制所述云台旋转并使用所述主摄像头跟拍所述目标对象；
所述云台相机包括显示屏；所述目标对象的位置信息包括所述目标对象的目标框位置；所述方法还包括：
基于所述副摄像头采集图像中所述目标对象的目标框位置及所述坐标转换关系，确定所述主摄像头采集的目标图像中所述目标对象的目标框位置；
利用所述显示屏显示所述主摄像头采集的目标图像及所述目标对象的目标框位置。
2.根据权利要求1所述的方法，其特征在于，所述云台相机还包括与所述副摄像头通信连接的控制器；所述位置信息包括所述目标对象的位置预测向量；
所述对所述副摄像头采集的图像进行目标识别，得到所述副摄像头采集图像中目标对象的位置信息的步骤，包括：
利用所述控制器从所述副摄像头采集的第一图像中获取所述目标对象的中心点坐标，得到第一中心点坐标；
利用所述控制器从所述副摄像头采集的第二图像中获取所述目标对象的中心点坐标，得到第二中心点坐标；其中，所述第二图像为所述副摄像头当前采集的图像帧；所述第一图像为所述第二图像的前一帧图像；
基于所述第一中心点坐标和第二中心点确定所述目标对象的位置预测向量。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一中心点坐标和第二中心点确定所述目标对象的位置预测向量的步骤，包括：
根据所述第一中心点及所述第一图像的图像中心点确定所述目标对象的第一偏移向量；
根据所述第二中心点及所述第二图像的图像中心点确定所述目标对象的第二偏移向量；
基于所述第一偏移向量和所述第二偏移向量对所述目标对象的位置进行预测，得到所述目标对象的位置预测向量。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一偏移向量和所述第二偏移向量对所述目标对象的位置进行预测，得到所述目标对象的位置预测向量的步骤，包括：
基于所述第一偏移向量、所述第二偏移向量及位置预测算式，得到所述目标对象的位置预测向量；所述位置预测算式为：y’t+1＝axt+(1-a)yt+1；
其中，y’t+1为所述位置预测向量，xt为所述第一偏移向量，yt+1为所述第二偏移向量，a为加权因子。
5.一种目标跟拍装置，其特征在于，应用于云台相机，所述云台相机包括主摄像头、副摄像头和云台，所述主摄像头的成像参数优于所述副摄像头的成像参数；所述装置包括：
图像采集模块，用于利用所述主摄像头和所述副摄像头同步采集图像；
目标识别模块，用于对所述副摄像头采集的图像进行目标识别，得到所述副摄像头采集图像中目标对象的位置信息；
云台控制模块，用于基于所述位置信息向所述云台发送控制信号，以控制所述云台旋转并使用所述主摄像头跟拍所述目标对象；
所述位置信息包括所述目标对象的位置预测向量；所述云台控制模块，用于基于所述主摄像头与所述副摄像头的位置关系，确定所述主摄像头拍摄图像中像素点与所述副摄像头拍摄图像中像素点的坐标转换关系；基于所述坐标转换关系及所述目标对象的位置预测向量，确定所述主摄像头采集的目标图像中所述目标对象的位置预测向量，得到目标预测向量；基于所述目标预测向量确定所述云台的目标转动量；所述目标转动量包括俯仰角、横滚角和偏航角；根据所述目标转动量向所述云台的俯仰驱动电机、横滚驱动电机和偏航驱动电机发送相对应的角度控制信号，以控制所述云台旋转并使用所述主摄像头跟拍所述目标对象；
所述云台相机包括显示屏；所述目标对象的位置信息包括所述目标对象的目标框位置；
图像显示模块，用于基于所述副摄像头采集图像中所述目标对象的目标框位置及所述坐标转换关系，确定所述主摄像头采集的目标图像中所述目标对象的目标框位置；利用所述显示屏显示所述主摄像头采集的目标图像及所述目标对象的目标框位置。
6.一种云台相机，其特征在于，包括：主摄像头、副摄像头、云台、处理器和存储装置；
所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至4任一项所述的方法。
7.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至4任一项所述的方法的步骤。
CN202010575804.XA 2020-06-22 2020-06-22 目标跟拍方法、装置、云台相机及存储介质 Active CN111862169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010575804.XA CN111862169B (zh) 2020-06-22 2020-06-22 目标跟拍方法、装置、云台相机及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010575804.XA CN111862169B (zh) 2020-06-22 2020-06-22 目标跟拍方法、装置、云台相机及存储介质

Publications (2)

Publication Number Publication Date
CN111862169A CN111862169A (zh) 2020-10-30
CN111862169B true CN111862169B (zh) 2024-04-09

Family

ID=72988001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010575804.XA Active CN111862169B (zh) 2020-06-22 2020-06-22 目标跟拍方法、装置、云台相机及存储介质

Country Status (1)

Country Link
CN (1) CN111862169B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112492214B (zh) * 2020-12-07 2022-05-24 维沃移动通信有限公司 图像拍摄方法、装置、电子设备和可读存储介质
CN113743214B (zh) * 2021-08-02 2023-12-12 国网安徽省电力有限公司超高压分公司 一种智能云台摄像机
CN114157802B (zh) * 2021-10-22 2023-07-18 北京注色影视科技有限公司 摄像机承托装置及其运动目标跟踪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102118611A (zh) * 2011-04-15 2011-07-06 中国电信股份有限公司 运动目标的数字视频监控方法与系统、数字视频监控平台
CN108124090A (zh) * 2016-11-26 2018-06-05 沈阳新松机器人自动化股份有限公司 移动机器人双摄像头人脸识别装置及方法
CN108259703A (zh) * 2017-12-31 2018-07-06 深圳市秦墨科技有限公司 一种云台的跟拍控制方法、装置及云台
CN109462738A (zh) * 2018-10-25 2019-03-12 江苏跃鑫科技有限公司 一种自动跟踪监控方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102118611A (zh) * 2011-04-15 2011-07-06 中国电信股份有限公司 运动目标的数字视频监控方法与系统、数字视频监控平台
CN108124090A (zh) * 2016-11-26 2018-06-05 沈阳新松机器人自动化股份有限公司 移动机器人双摄像头人脸识别装置及方法
CN108259703A (zh) * 2017-12-31 2018-07-06 深圳市秦墨科技有限公司 一种云台的跟拍控制方法、装置及云台
CN109462738A (zh) * 2018-10-25 2019-03-12 江苏跃鑫科技有限公司 一种自动跟踪监控方法

Also Published As

Publication number Publication date
CN111862169A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111862169B (zh) 目标跟拍方法、装置、云台相机及存储介质
CN102385747B (zh) 用于生成全景图像的处理装置及方法
US9019387B2 (en) Imaging device and method of obtaining image
JP6090786B2 (ja) 背景差分抽出装置及び背景差分抽出方法
CN113436113B (zh) 防抖动的图像处理方法、装置、电子设备和存储介质
CN109052180B (zh) 一种基于机器视觉的集装箱自动对位方法及系统
JPWO2004077820A1 (ja) 画像撮像処理方法
JP6041651B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2014176007A (ja) 撮像装置およびその制御方法
EP4016985A1 (en) Image processing method and apparatus, electronic device, and computer-readable storage medium
JP2006287589A (ja) 画像処理方法、画像処理装置
CN112640419B (zh) 跟随方法、可移动平台、设备和存储介质
US7944475B2 (en) Image processing system using motion vectors and predetermined ratio
CN115701125A (zh) 图像防抖方法与电子设备
WO2020257999A1 (zh) 图像处理方法、装置、云台和存储介质
JP6178646B2 (ja) 撮像装置及び像振れ補正処理方法
JP6016622B2 (ja) 撮像装置及びその制御方法、並びにプログラム
US20100103274A1 (en) Image distortion compensation method and apparatus
JP2018078582A (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP5393877B2 (ja) 撮像装置および集積回路
JP2009302731A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
WO2015198478A1 (ja) 画像歪み補正装置、情報処理装置および画像歪み補正方法
EP4300940A1 (en) Electronic device including camera and control method therefor
CN115278049A (zh) 拍摄方法及其装置
CN111866377A (zh) 一种增稳控制方法、装置及相机系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant