CN107710283B - 一种拍摄控制方法、装置以及控制设备 - Google Patents

一种拍摄控制方法、装置以及控制设备 Download PDF

Info

Publication number
CN107710283B
CN107710283B CN201680030410.8A CN201680030410A CN107710283B CN 107710283 B CN107710283 B CN 107710283B CN 201680030410 A CN201680030410 A CN 201680030410A CN 107710283 B CN107710283 B CN 107710283B
Authority
CN
China
Prior art keywords
shooting
information
target object
image
estimation information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680030410.8A
Other languages
English (en)
Other versions
CN107710283A (zh
Inventor
钱杰
李昊南
赵丛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN107710283A publication Critical patent/CN107710283A/zh
Application granted granted Critical
Publication of CN107710283B publication Critical patent/CN107710283B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Abstract

一种拍摄控制方法、装置以及控制设备，其中，方法包括：获取包括至少两组拍摄信息的信息集合，拍摄信息包括：拍摄到目标对象时的拍摄位置信息和拍摄角度信息(S301)；基于从信息集合选取的至少两组拍摄信息，确定目标对象的位置估计信息，其中，选取的各组拍摄信息中的拍摄位置信息所对应位置不相同(S302)；根据位置估计信息生成拍摄调整指令以调整摄像设备；拍摄调整指令用于调整摄像设备的拍摄角度，使位置估计信息所对应的位置在摄像设备的视场内(S303)。该方法可以有效避免因为目标对象被遮挡所导致的图像识别运算出错的问题。

Description

一种拍摄控制方法、装置以及控制设备
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或该专利披露。
技术领域
本发明涉及自动化控制技术领域，尤其涉及一种拍摄控制方法、装置以及控制设备。
背景技术
随着光学以及电子技术的发展，例如照相机、录影机等各种各样的摄像设备应运而生。通过这些摄像设备，人们可以捕捉各种对象的影像。如果将这些摄像设备设置到某些移动物体上，例如无人机等智能飞行设备上，还可以实现对某些对象的监视。监视可以是指：无论搭载摄像设备的移动物体如何移动，摄像设备均能够拍摄得到的需要持续监视的目标对象。
对于上述的监视，目前的实现方案主要是通过图像识别技术来实现。具体可以基于图像识别技术，根据在摄像设备采集到的影像中所述目标对象所在的影像区域的灰度、纹理等特征，确定目标对象的位置，在搭载摄像设备的移动物体移动过程中，根据确定的目标对象的位置来调整摄像设备的拍摄角度拍摄获取新的图像并进行图像识别，从而实现对目标对象的持续监视。
但是，基于灰度、纹理等特征的图像识别技术相对比较复杂，实现所需的软硬件成本较高，而且，如果需要监视的目标对象如果出现被遮挡等情况，则图像识别技术无法识别出目标对象，从而导致运算出错。
发明内容
本发明实施例提供了一种拍摄控制方法、装置以及控制设备，可较为简捷地、准确地对已确认的目标对象的监视。
一方面，本发明实施例提供了一种拍摄控制方法，包括：
获取包括至少两组拍摄信息的信息集合，所述拍摄信息包括：拍摄到目标对象时的拍摄位置信息和拍摄角度信息；
基于从所述信息集合选取的至少两组拍摄信息，确定所述目标对象的位置估计信息，其中，选取的各组拍摄信息中的拍摄位置信息所对应位置不相同；
根据所述位置估计信息生成拍摄调整指令以调整摄像设备；
所述拍摄调整指令用于调整所述摄像设备的拍摄角度，使所述位置估计信息所对应的位置在所述摄像设备的视场内。
相应地，本发明实施例还提供了一种拍摄控制装置，包括：
获取模块，用于获取包括至少两组拍摄信息的信息集合，所述拍摄信息包括：拍摄到目标对象时的拍摄位置信息和拍摄角度信息；
确定模块，用于基于从所述信息集合选取的至少两组拍摄信息，确定所述目标对象的位置估计信息，其中，选取的各组拍摄信息中的拍摄位置信息所对应位置不相同；
控制模块，用于根据所述位置估计信息生成拍摄调整指令以调整摄像设备；所述拍摄调整指令用于调整所述摄像设备的拍摄角度，使所述位置估计信息所对应的位置在所述摄像设备的视场内。
相应地，本发明实施例还提供了一种控制设备，包括：处理器和输出接口；
所述处理器，用于获取包括至少两组拍摄信息的信息集合，所述拍摄信息包括：拍摄到目标对象时的拍摄位置信息和拍摄角度信息；基于从所述信息集合选取的至少两组拍摄信息，确定所述目标对象的位置估计信息，其中，选取的各组拍摄信息中的拍摄位置信息所对应位置不相同；根据所述位置估计信息生成拍摄调整指令以调整摄像设备；所述拍摄调整指令用于调整所述摄像设备的拍摄角度，使所述位置估计信息所对应的位置在所述摄像设备的视场内；所述输出接口，用于输出所述调整指令以调整摄像设备。
本发明实施例通过拍摄位置和拍摄角度来对需要持续拍摄的目标对象进行位置估计，再基于位置估计得到的位置估计信息来调整拍摄模块的拍摄方向，实现方式简便快捷，并且可以有效避免因为目标对象被遮挡所导致的图像识别运算出错的问题。提高了对目标对象的持续拍摄效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的位置坐标示意图；
图2a是本发明实施例的影像坐标系和视场角的示意图；
图2b是本发明实施例的视场角的示意图；
图3是本发明实施例的一种拍摄控制方法的流程示意图；
图4是本发明实施例的另一种拍摄控制方法的流程示意图；
图5是本发明实施例的一种调整摄像设备的方法的流程示意图；
图6是本发明实施例的一种移动控制方法的流程示意图；
图7是本发明实施例的一种拍摄控制装置的结构示意图；
图8是图7中的控制模块的其中一种结构示意图；
图9是本发明实施例的一种控制设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中，对某个目标对象的监视可以通过一个搭载摄像设备的可移动的移动物体来实现。该移动物体可为无人机(Unmanned Aerial Vehicle，UAV)，或无人汽车、可移动机器人等。这些移动物体可以通过设置云台来搭载摄像设备。为了实现更好的可以在多个角度的持续拍摄，该云台可以是一个三轴云台，该云台能够在偏航yaw、俯仰pitch以及横滚roll三个转动轴上转动。通过控制云台在一个或者多个转动轴上的转动角度，可以较好地保证无人机等移动物体向某些地点或者方位移动的过程中，能够持续拍摄到目标对象。摄像设备拍摄到的包括目标对象的影像可以通过无线链路传回到某个地面端设备，例如，对于无人机拍摄得到的包括目标对象的影像可以通过无线链路传输给智能手机、平板电脑等智能终端，这些智能终端在接收到包括目标对象的影像之前，已经与无人机或者直接与摄像设备建立了通信链路。
目标对象可以是用户指定的某个物体，例如某个环境物体。可以将摄像设备拍摄得到的影像在一个用户界面中显示，用户通过针对该用户界面中显示的影像的点击操作，来选择一个物体作为目标对象。例如，用户可以选择某棵树、某个动物、或者某一片区域的物体作为目标对象。当然，用户也可以仅输入某些物体的影像特征，例如输入一张人脸特征、或者某种物体的外形特征，由相应的处理模块进行影像处理，找到影像特征对应的人物或者物体，进而将找到的人物或者物体作为目标对象进行拍摄。
在本发明实施例中，目标对象可以是一个静止的物体，或者在持续拍摄的一段时间内该物体是不移动的，或者在持续拍摄的过程中移动的速度相对于无人机等移动物体的移动速度小很多，例如两者的速度差值小于预设的阈值。
本发明的一种实施例中，在确定了拍摄到的影像中的目标对象后，在搭载摄像设备的无人机等移动物体的移动拍摄过程中，可以通过图像识别技术对影像进行分析识别，具体可以基于灰度、纹理等特征对拍摄得到的每一张影像进行图片识别，以找到目标对象并对该目标对象进行持续拍摄。
在对目标对象进行持续拍摄的过程中，可能存在目标对象丢失的情况，导致丢失原因包括多种，具体的，在目标对象被某个物体遮挡后，基于灰度、纹理等特征的图像识别可能无法找到目标对象，导致丢失该目标对象；或者，移动物体移动后如果与目标对象的距离较远，使得目标对象在拍摄到的影像中的灰度、纹理等特征已经不足以从影像中识别出该目标对象，导致丢失该目标对象。当然还可能存在其他丢失目标对象的情况，例如摄像设备的镜头受到强光的照射，使得拍摄的影像中灰度、纹理等特征很弱，或者进行图像识别处理的模块出现故障等因素。需要说明的是，上述的丢失目标对象是指无法在影像中确定目标对象。
本发明实施例中，在检测到对目标对象的影像满足条件时，会记录在拍摄该满足条件的影像时的拍摄信息。具体的，对目标对象的影像满足条件是指：针对某次拍摄到的影像，若基于图像识别技术在该影像中能够准确地识别出目标对象。记录的此次拍摄时的拍摄信息包括：拍摄位置信息和拍摄角度信息，其中拍摄位置信息用于指示在摄像设备拍摄到目标对象时摄像设备的位置信息，该拍摄位置信息可以是用于搭载摄像设备的移动物体的定位信息，例如GPS坐标；本发明实施例的所述拍摄角度信息用于指示在摄像设备拍摄到目标对象时，目标对象相对摄像设备的方位，该方位可以基于云台的姿态角度(云台偏航角度yaw，俯仰角度pitch)和目标对象在拍摄到的影像中的显示位置综合进行计算确定的。
在搭载摄像设备的移动物体移动过程中，本发明实施例至少要检测出两次满足条件的影像，并记录对应的拍摄信息。记录的拍摄信息构成一个信息集合，以便于能够基于这些拍摄信息计算出目标对象的位置估计信息，方便在目标对象丢失时，或者在需要直接基于位置进行对象拍摄时，也能够在一定程度上满足用户的持续拍摄需求。在优选实施例中，所述信息集合中每组拍摄信息中包括的拍摄位置信息所对应的位置均不相同。
优选地，所述摄像设备是通过云台搭载在移动物体之上，所述拍摄位置信息包括采集到的所述移动物体的位置坐标，所述拍摄角度信息包括根据所述云台的姿态信息和所述目标对象在拍摄得到的影像中的位置信息计算得到的角度。具体的，针对其中的拍摄角度信息，如果拍摄到目标对象时目标对象是位于拍摄到的影像的中心区域，则对于拍摄角度信息中的俯仰角，可以是由云台的俯仰角pitch，而拍摄角度信息中的偏航角则为云台的偏航角yaw。如果不在中心区域，则可以根据目标对象的中心点相对于影像物理坐标系的X轴的像素距离dp1和水平视场角的大小，确定目标对象相对于影像中心的相对于影像X轴的偏移角度，并根据目标对象的中心点相对于影像物理坐标系的Y轴的像素距离dp2和垂直视场角的大小确定目标对象相对于影像Y轴的偏移角度，对于拍摄角度信息中的俯仰角，可以是由云台的俯仰角pitch加上所述的相对于影像X轴的偏移角度，而拍摄角度信息中的偏航角则为云台的偏航角yaw加上相对于影像Y轴的偏移角度。具体的，如图2a和图2b所示，示出了影像的物理坐标系，摄像设备的水平视场角和垂直视场角，基于目标对象的中心点相对于X轴和Y轴的像素距离所占的像素距离比例和对应的视场角，可以得到关于影像X轴的偏移角度和影像Y轴的偏移角度。
在得到了信息集合后，如果需要基于位置来实现对目标对象的持续拍摄时，例如图像识别无法识别出目标对象，或者满足基于位置进行持续拍摄的条件，则从信息集合中选取至少两组拍摄信息，从所述信息集合选取至少两组拍摄信息所采用的选取规则包括：基于拍摄信息中的拍摄位置信息计算得到的间隔距离来选取拍摄信息；和/或，基于拍摄信息中的拍摄角度信息计算得到的间隔角度来选取拍摄信息。其中，满足基于位置进行持续拍摄的条件可以包括：接收到用户发出的基于位置进行持续拍摄的控制指令，或者基于已经记录的信息集合中的信息能够较为准确地计算出目标对象的位置坐标。
本发明实施例以仅选取两组拍摄信息为例，来对计算目标对象的位置估计信息进行说明。具体的，如图1所示，在北东地坐标系上，目标对象的坐标为t(tx，ty)，选取的第一组拍摄信息中的拍摄位置信息d1(d1x，d1y)，拍摄角度信息中的偏航角为yaw1，第二组拍摄信息中的拍摄位置信息d2(d2x，d2y)，拍摄角度信息中的偏航角为yaw2。基于两个拍摄位置的拍摄角度信息，计算得到k1＝1/tan(yaw1)，k2＝1/tan(yaw2)，进而得到d1到目标对象所在平面的距离为L1＝d1x-k1*d1y，d2到目标对象所在平面的距离为L2＝d2x-k2*d2y。进一步可以计算得到，所述目标对象t的坐标为：tx＝k1*ty+L1，ty＝(L1-L2)/(k2-k1)。同时，第一组拍摄信息的拍摄角度信息的俯仰角为pitch1，第二组拍摄信息的拍摄角度信息的俯仰角为pitch2。估计目标对象的高度为e1z，e2z，其中，e1z＝d1z-L1*tan(pitch1)，e2z＝d1z-L2*tan(pitch2)，基于估计的高度，可以计算得到目标对象的高度tz＝(e1z+e2z)/2。因此，最终得到的目标对象的三维坐标为t(tx，ty，tz)。
在本发明实施例中，目标对象的位置估计信息包括所述计算得到的坐标t。其中，d1和d2可以是移动物体中的定位模块采集到的定位坐标，例如，无人机中的GPS定位模块得到的GPS坐标。而拍摄角度信息中的偏航角和俯仰角则是基于在拍摄到能够识别出目标对象的影像时，云台的偏航角和目标对象的影像位置相对于影像Y轴的距离、云台的俯仰角和目标对象的影像位置相对于影像X轴的距离分别计算得到，具体的计算方式可参考上述针对图2的对应描述。
在确定了目标对象的位置估计信息后，即可进一步根据移动物体的特定位置和所述位置估计信息，生成用于调整摄像设备的拍摄角度的调整指令，其中，该特定位置为移动物体在基于位置对目标对象进行持续拍摄的过程中所经过的任意一个位置。确定特定位置的方法有多种，例如，通过实时获取移动物体当前所在位置，将该当前所在位置作为特定位置，根据该特定位置和位置估计信息生成调整指令，并根据该调整指令对摄像设备的拍摄角度进行调整。或者，根据移动物体当前所在位置、当前姿态和当前速度预测移动物体即将要移动到的位置，并将该位置作为特定位置，根据该特定位置和位置估计信息生成调整指令，当移动物体移动到该特定位置时，根据该调整指令对摄像设备的拍摄就得进行调整。又或者，移动在基于位置对目标对象进行持续拍摄的航线为已经规划好的航线，那么可将该航线上的各位置点分别作为特定位置，根据每个特定位置和位置估计信息生成该特定位置对应的调整指令，但移动物体移动到该航线上的每个位置点时，采用该位置点对应的调整指令对摄像设备的拍摄角度进行调整。
具体的，基于特定位置的三维坐标和位置估计信息中的三维坐标来计算拍摄角度中的偏航角和俯仰角。具体的，特定位置d的坐标已知，为d(dx，dy，dz)，位置估计信息所对应位置t的坐标为t(tx，ty，tz)。根据两个位置坐标，可进行调整角度的计算。其中，首先计算坐标差：delx＝dx-tx，dely＝dy-ty，delz＝dz-tz，进一步计算特定位置所在平面与位置估计信息所对应位置的距离L，进而得到位置估计信息所对应位置相对于特定位置的俯仰角：t2d_pitch＝arctan(delz/L)，位置估计信息所对应位置相对于特定位置的偏航角：t2d_yaw＝arctan(dely/delx)，此时检测到的云台的偏航角为gyaw，俯仰角gpitch，则位置估计信息所对应位置相对于特定位置的的偏差角为：偏航角的偏差del_yaw＝gyaw-t2d_yaw，俯仰角的偏差del_pitch＝gyaw-t2d_pitch。其中L的计算公式如下：
Figure BDA0001482006390000071
根据计算得到的偏航角的偏差和俯仰角的偏差生成调整指令，所述调整指令用于控制云台在当前偏航角yaw和俯仰角pitch的基础上，根据所述的偏航角的偏差和俯仰角的偏差进行转动，使所述位置估计信息所对应位置处的对象在摄像设备的视场内，以便于确保摄像设备能够拍摄到所述位置估计信息所对应位置处的对象。
上述的计算相应角度并最终生成调整指令的方式为本发明实施例的优选方式，能够实现偏航角、俯仰角的精确调整。在其他一些实施方式中，可以基于特定位置和位置估计信息所对应位置之间的相对方位，生成调整指令对云台进行调整。例如，基于相对位置，确定位置估计信息所对应位置位于特定位置的右下方，则生成调整指令调整云台，使移动物体到达特定位置时调整摄像设备的镜头朝向右下方。也可以在一定程度上保证位置估计信息所对应位置处的对象处于摄像设备的视场内。
具体的，再请参见图3，是本发明实施例的一种拍摄控制方法的流程示意图，本发明实施例的所述方法可以由一个专用的控制设备实现，也可以由移动物体的移动控制器来实现，例如无人机的飞行控制器来实现，也可以由一个云台控制器来实现。本发明实施例的所述方法可以应用在由可以移动位置的移动设备、能够在多个轴向上转动的云台、以及能够进行影像拍摄的摄像设备所组成的系统中。具体的，本发明实施例的所述方法包括如下步骤。
S301：获取包括至少两组拍摄信息的信息集合，所述拍摄信息包括：拍摄到目标对象时的拍摄位置信息和拍摄角度信息。所述信息集合中可以包括两组拍摄信息，也可以包括多组拍摄信息。信息集合中的各组拍摄信息是在能够拍摄到目标对象时拍摄到的，具体的，对于拍摄设备拍摄到的影像，如果基于图像识别能够识别出目标对象，则可以记录拍摄该影像时的拍摄位置信息和拍摄角度信息。移动物体在移动拍摄目标对象的时候，可以根据需要得到至少两组拍摄信息。
优选地，拍摄信息可以是在无人机等移动物体在相对于目标对象作切向运动时，在不同的位置处获取到的。具体的，在沿目标对象作圆周运动时，每隔一定时间间隔，或者每隔一定距离间隔、或者移动后两个位置点所对应的圆心角大于或等于预设的角度阈值时，获取拍摄信息得到信息集合。
S302：基于从所述信息集合选取的至少两组拍摄信息，确定所述目标对象的位置估计信息，其中，选取的各组拍摄信息中的拍摄位置信息所对应位置不相同。
从信息集合中选取拍摄信息的基本原则是保证能够计算到较为准确的关于目标对象的位置估计信息。具体可以基于拍摄信息中的拍摄位置信息计算得到的间隔距离来选取，和/或根据拍摄角度信息计算得到的间隔角度来选取对应的拍摄信息。例如，如果两组拍摄信息中拍摄位置信息所对应位置之间的间隔距离大于预设的距离阈值(10米)、且基于该两组拍摄信息中拍摄角度信息计算得到的间隔角度大于预设的角度阈值(10度)，则选取该两组拍摄信息来计算位置估计信息。例如，如图1所示，选取的两组拍摄信息对应的d1和d2之间的距离大于预设的距离阈值，且根据yaw1和yaw2计算得到的圆心角大于预设的角度阈值。具体的，计算位置估计信息的方式可参考上述实施例中相关计算方式的描述，在此不赘述。
S303：根据所述位置估计信息生成拍摄调整指令以调整摄像设备；所述拍摄调整指令用于调整所述摄像设备的拍摄角度，使所述位置估计信息所对应的位置在所述摄像设备的视场内，具体的可以是通过控制云台的转动来调整摄像设备。所述调整指令的具体生成方式可参考上述实施例中关于调整指令的生成过程的相关描述，在此不赘述。
本发明实施例通过拍摄位置和拍摄角度来对需要持续拍摄的目标对象进行位置估计，再基于位置估计得到的位置估计信息来调整拍摄模块的拍摄方向，实现方式简便快捷，并且可以有效避免因为目标对象被遮挡所导致的图像识别运算出错的问题。提高了对目标对象的持续拍摄效率。
再请参见图4，是本发明实施例的另一种拍摄控制方法的流程示意图，本发明实施例的所述方法可以由一个专用的控制设备实现，也可以由移动物体的移动控制器来实现，例如无人机的飞行控制器来实现，也可以由一个云台控制器来实现。本发明实施例的所述方法可以应用在由可以移动位置的移动设备、能够在多个轴向上转动的云台、以及能够进行影像拍摄的摄像设备所组成的系统中。具体的，本发明实施例的所述方法包括如下步骤。
S401：获取包括至少两组拍摄信息的信息集合，所述拍摄信息包括：拍摄到目标对象时的拍摄位置信息和拍摄角度信息；
S402：对拍摄到的影像进行图像识别，以识别所述目标对象；可以基于影像的灰度、纹理等特征来从影像中找到目标对象。当识别出所述目标对象时，执行下述的S403，当未识别出所述目标对象时，执行下述的S404。
S403：对所述目标对象进行持续拍摄。具体可以继续基于图像识别技术找到影像中关于目标对象的影像，然后基于找到的目标对象的影像的位置，调整摄像设备，以便于在下一次拍摄的影像中也包括目标对象。具体的，如果本次拍摄到的影像中目标对象的影像位置相对于上一张影像的位置向下移动了一段像素距离，则本次会控制拍摄角度，是摄像设备往上方转动，以便于使得目标对象的显示位置仍然与上一张影像中的目标对象的显示位置大致相同。
S404：基于从所述信息集合选取的至少两组拍摄信息，确定所述目标对象的位置估计信息，其中，选取的各组拍摄信息中的拍摄位置信息所对应位置不相同。
其中，所述S404具体可以包括：基于至少三组拍摄信息，确定出至少两个所述目标对象的位置初始估计信息；检测已经确定的各个位置初始估计信息是否满足预设的稳定条件；若满足所述稳定条件，则从各个位置初始估计信息中确定出所述目标对象的位置估计信息。具体的，基于至少三组拍摄信息确定位置初始估计信息时，根据该至少三组拍摄信息中的任意两组拍摄信息可以确定一个位置初始估计信息，其中位置初始估计信息的计算可参考上述实施例中关于位置估计信息的计算方式。在本发明实施例中，所述S404确定的位置估计信息可以是从多个位置初始估计信息中随机选择的一个信息，或者是对多个位置初始估计信息所对应的位置坐标进行平均计算后的一个平均值。也可以是按照其他一些规则确定的位置估计信息，例如，将间隔距离最远、和/或间隔角度最大的两组拍摄信息计算得到的位置初始估计信息确定为位置估计信息。
其中可选地，当已经确定的各个位置初始估计信息中至少两个位置初始估计信息所对应位置之间的位置变化幅度满足预置变化幅度要求时，确定满足所述稳定条件。所述位置变化幅度主要是指位置之间的间隔距离，满足位置变化幅度要求主要包括：多个间隔距离均在一个预设的数值范围内。基于两个或者多个位置初始估计信息之间的位置变化幅度，可以确定计算得到的关于目标对象的位置估计是否稳定，位置变化幅度越小，说明计算得到的位置初始估计信息较为准确，反之，则表明选取的拍摄信息存在不准确的情况，得到的位置初始估计信息存在不准确的量，无法确定出准确的位置估计信息，进而不能基于该位置估计信息对拍摄角度进行调整，不能基于位置估计信息对目标对象进行持续拍摄。
进一步地，导致多个位置初始估计信息之间的位置变化幅度较大的情况包括多种，例如，目标对象处于静止状态，在获取上述的信息集合时，其中的一个或多组拍摄信息的拍摄位置信息或拍摄角度信息不准确，进而导致计算得到的位置估计信息不准确。因此，在确定所述目标对象的位置估计信息时，基于计算得到的多个位置初始估计信息进行计算，例如上述的可以对多个位置初始估计信息进行平均计算后，得到的一个平均值作为所述目标对象的位置估计信息。
可选地，若不满足所述稳定条件，则可以再采用其他对象跟踪技术找到所述目标对象进行持续拍摄，例如，进一步再基于更为复杂的图像识别技术在拍摄到的影像中识别出目标对象，以便于对所述目标对象进行持续拍摄。或者在无法找到目标对象后，自动发出目标丢失的提示消息，以通知终端用户。
进一步地，即使已经确定的各个位置初始估计信息满足预设的稳定条件，但存在特殊的情况，即：目标对象初始一段时间处于静止状态，在对该目标对象进行持续拍摄的过程中，目标对象移动了一段距离到达新的位置点。那么，最终确定的位置估计信息不是目标对象当前所在位置，如果基于计算得到的位置估计信息进行后续的摄像设备的调整操作，并不能够对目标对象进行持续拍摄。因此，在本发明实施例中，所述方法还包括：根据各个位置初始估计信息判断目标对象是否发生移动，若发生移动，则基于图像识别技术对所述目标对象进行持续拍摄处理。首先基于图像识别技术对影像进行识别，并根据识别结果对所述目标对象进行持续拍摄处理。如果判断结果为没有发生移动，则执行下述的S405。
S405：根据所述位置估计信息生成拍摄调整指令以调整摄像设备；所述拍摄调整指令用于调整所述摄像设备的拍摄角度，使所述位置估计信息所对应的位置在所述摄像设备的视场内。
其中可选地，所述拍摄调整指令具体用于调整所述摄像设备在位于特定位置时的拍摄角度；如图5所示，是本发明实施例的一种调整摄像设备的方法的流程示意图，本发明实施例的所述方法对应于上述的S305。该方法具体可以包括如下步骤。
S501：确定所述目标对象在影像中的目标显示位置。所述目标显示位置可以是用户指定的在影像中用于显示目标对象的一个固定显示位置，也可以是指在切换到基于位置估计信息对目标对象进行持续拍摄时，目标对象在影像中的显示位置。
其中，所述目标显示位置可以是指：将预置的影像指定位置确定为目标显示位置，其中，所述预置的影像指定位置为通过接收用户在交互界面上选择的位置确定的。
S502：根据所述目标显示位置、所述位置估计信息以及所述特定位置，生成拍摄调整指令；所述拍摄调整指令用于调整所述摄像设备的拍摄角度，使得所述摄像设备在特定位置时，所述位置估计信息对应的位置在摄像设备的视场角内、且所述位置估计信息对应位置处的对象能够成像到拍摄影像的所述目标显示位置处。
具体的，所述确定所述目标对象在影像中的目标显示位置包括：将在影像中的指定位置确定为目标显示位置，而所述拍摄调整指令调整所述摄像设备的拍摄角度后，所述位置估计信息对应位置处的对象能够固定成像到拍摄影像的所述目标显示位置处。本发明实施例中，所述摄像设备拍摄的影像可以在一个用户界面中显示，在该用户界面上，用户可以指定一个目标显示位置，在对摄像设备进行调整时，同时要确保为目标对象计算的位置估计信息所对应位置的对象固定成像到该目标显示位置处。指定该目标显示位置的方式可以是在显示影像的用户界面上的点击选择进行指定，或者是拖动一个预置的选择框进行指定。可以配置一个用户界面，该用户界面能够获取用户操作，还可以同时显示摄像设备采集到的影像。
进一步可选地，所述确定所述目标对象在影像中的目标显示位置包括：将在影像中绘制的轨迹上的位置点作为目标显示位置，作为目标显示位置的位置点至少包括第一位置点和第二位置点。而所述根据所述目标显示位置、所述位置估计信息以及所述特定位置生成拍摄调整指令，则对应包括：根据预置的生成策略，并根据所述位置估计信息和所述特定位置，至少生成与所第一位置点对应的第一拍摄调整指令和与所述第二位置点对应的第二拍摄调整指令，所述第一拍摄调整指令和第二拍摄调整指令用于调整所述摄像设备的拍摄角度，使得所述位置估计信息对应位置处的对象能够依次成像到拍摄影像的所述第一位置点和第二位置点。其中优选地，所述预置的生成策略是根据摄像设备的移动速度、摄像设备的移动位置、各个目标显示位置在所述目标显示轨迹上的位置中的任意一个或者多个预先设置的。其中，摄像设备的移动速度和移动位置主要是指搭载所述摄像设备的移动物体(例如无人机)的移动速度和移动位置。根据生成策略得到的多个调整指令所能够达到的目的包括：基于摄像设备的移动速度和移动位置，控制生成调整指令的生成速度，以便于位置估计信息所对应位置的对象在包括所述第一位置点和第二位置点的轨迹上以相应速度成像在拍摄到的影像中，和/或，基于各个目标显示位置在所述目标显示轨迹上的位置，生成调整指令，以便于位置估计信息所对应位置的对象按照预设的顺序成像在包括所述第一位置点和第二位置点的轨迹上，例如顺序依次成像在轨迹上的位置点上，或者间隔N个位置点成像等。可以配置一个用户界面，该用户界面能够获取用户操作，还可以同时显示摄像设备采集到的影像。
本发明实施例中，所述摄像设备拍摄的影像可以在一个用户界面中显示，用户可以在该用户界面上滑动，以得到一条滑动的轨迹，然后进一步从滑动的轨迹中确定了多个位置点，这些位置点作为目标显示位置会根据滑动的时间先后顺序进行排序，以便于后续生成调整指令调整摄像设备时，使得为目标对象生成的位置估计信息所对应位置处的对象先后成像在从轨迹上确认的多个位置点处。
为了确保位置估计信息所对应位置处的对象成像到对应的一个或者多个目标显示位置，用于生成控制指令所需的角度的计算方式如下所述。
所述特定位置是一个由用户指定的位置或者是移动物体移动后的位置，该位置坐标为已知。因此，根据上述计算方式可以得到偏航角的偏差del_yaw、俯仰角的偏差del_pitch，如果根据偏航角的偏差del_yaw、俯仰角的偏差del_pitch控制云台转动，可以使位置估计信息所对应位置成像在拍摄到的影像的中心位置。为了保证所述位置估计信息所对应位置成像在所述目标显示位置，进一步地，基于所述目标显示位置的像素坐标(中心位置为坐标原点)，得到目标显示位置相对于X轴(偏航角yaw)、Y轴(俯仰角pitch)的角度，那么，用于生成控制指令所需的角度即为：偏航角的偏差del_yaw加上目标显示位置相对于X轴的角度，俯仰角的偏差del_pitch加上目标显示位置相对于Y轴的角度。
需要说明的是，如果显示所述能够包括影像的用户界面的智能终端不是可以对摄像设备进行控制的终端，则可以通过信息交互的方式，由显示所述用户界面的智能终端将用户的指定位置或者滑动轨迹上的一个或者多个位置点发送给可以对摄像设备进行控制的终端，例如，显示包括影像的用户界面并获取指定位置的是智能手机，可以对摄像设备进行控制的终端为移动物体的移动控制器，此时，智能手机只需要将对应的目标显示位置发送给移动控制器即可，由移动控制器基于该目标显示位置进行其他相应的计算以及调整控制。
再请参见图6，是本发明实施例的一种移动控制方法的流程示意图，本发明实施例的所述方法可以在上述图3或图4所对应实施例的拍摄控制方法中，在得到关于某个目标对象的位置估计信息之后，还可以进一步地基于该位置估计信息进行移动控制。本发明实施例的所述方法可以由一个专用的控制设备实现，也可以由得到关于目标对象的位置估计信息的移动控制器，例如无人机的飞行控制器来实现。具体的，所述方法包括如下步骤。
S601：获取位置估计信息。所述位置估计信息可以所述位置估计信息的具体计算方式可参考上述各实施例中的相关描述，在此不赘述。
S602：根据获取的所述位置估计信息，生成移动控制指令以控制移动物体移动；所述移动控制指令用于控制搭载摄像设备的移动物体围绕所述位置估计信息对应的位置移动以改变移动物体的拍摄位置。
具体的，根据围绕飞行规则，移动物体可以绕所述位置估计信息所对应位置进行圆周移动，也可以做正方形、长方形等多边形移动。其中，该围绕飞行规则可以是默认设置的，也可以是用户自定义设置的。
在本发明实施例中，可以指定一个需要环绕移动的目标对象，具体可以在一个智能终端中通过用户界面来指定目标对象，在该用户界面上，可以同时显示拍摄到的影像，用户可以通过点击打点和/或拖动选择框的形式指定出目标对象。在确定了目标对象后，会获取包括至少两组拍摄信息的信息集合，各组拍摄信息的具体组成和获取方式可参考上述各实施例中的描述。并进一步地基于该信息集合得到关于所述目标对象的位置估计信息，同样，该目标对象的位置估计信息的计算方式可参考上述各实施例中的描述。
在获取到位置估计信息后，可以直接基于该位置估计信息所对应的位置，并基于各种围绕飞行航线形状来控制移动物体绕该位置估计信息所对应的位置移动。在本发明实施例中，可以较为快捷地确定某个目标对象的位置估计信息，使得绕点移动更加自动化、智能化。
另外，上述各实施例详细描述了针对处于静止状态或者移动速度相对很小的目标对象的位置估计、以及持续拍摄的方案。对于运动的目标对象的位置估算，如果当无人机等移动物体相对于目标对象做快速的切向运动的时候，可以假设目标对象并没有剧烈的加减速动作，那么通过每隔一段距离或者角度的观测，就能够观测到目标的位置变化。但是毫无疑问，因为实际上并没有真实得知目标的运动速度和运动方向。观测得到的目标位置噪音是非常大的。此时，可以使用状态估计的方法从观测噪音中恢复出真实得目标运动方程。
常用并且合理的状态估计方法可以使用卡尔曼滤波器。针对这种情况，可以设计一个假设目标加速度为高斯噪音的运动模型，在这个运动模型下，目标对象的运动是不会发生突变运动的。那么经过一段时间的迭代，目标的状态方程最终将收敛到真实的运动方程。
本发明实施例通过拍摄位置和拍摄角度来对需要持续拍摄的目标对象进行位置估计，再基于位置估计得到的位置估计信息来调整拍摄模块的拍摄方向，实现方式简便快捷，可以有效避免因为目标对象被遮挡所导致的图像识别运算出错的问题。提高了对目标对象的拍摄效率。并且，在确定了目标对象的相应位置后，还可以基于位置实现相应的环绕飞行等移动功能。
本发明实施例还提供了一种计算机存储介质，该计算机存储介质中存储中程序指令，所述程序指令被运行时，执行上述各个实施例的方法。
下面对本发明实施例的拍摄控制装置以及控制设备进行描述。
请参见图7，是本发明实施例的一种拍摄控制装置的结构示意图，本发明实施例的所述装置可以设置在一个单独的控制设备中，也可以设置在移动控制器或者是云台控制器，具体的，本发明实施例的所述装置包括如下模块。
获取模块701，用于获取包括至少两组拍摄信息的信息集合，所述拍摄信息包括：拍摄到目标对象时的拍摄位置信息和拍摄角度信息；确定模块702，基于从所述信息集合选取的至少两组拍摄信息，确定所述目标对象的位置估计信息，其中，选取的各组拍摄信息中的拍摄位置信息所对应位置不相同；控制模块703，用于根据所述位置估计信息生成拍摄调整指令以调整摄像设备；所述拍摄调整指令用于调整所述摄像设备的拍摄角度，使所述位置估计信息所对应的位置在所述摄像设备的视场内。
进一步可选地，所述确定模块702，具体用于基于至少三组拍摄信息，确定出至少两个所述目标对象的位置初始估计信息；检测已经确定的各个位置初始估计信息是否满足预设的稳定条件；若满足所述稳定条件，则根据各个位置初始估计信息确定出所述目标对象的位置估计信息。
进一步可选地，本发明实施例的所述装置还可以包括：第二识别模块704，用于若不满足所述稳定条件，则基于图像识别技术在拍摄到的影像中识别目标对象，以便于对所述目标对象进行持续拍摄。
进一步可选地，所述确定模块702，具体用于当已经确定的各个位置初始估计信息中至少两个位置初始估计信息所对应的位置之间的位置变化幅度满足预置变化幅度要求时，确定满足所述稳定条件。
进一步可选地，本发明实施例的所述装置还可以包括：第一识别模块705，用于对拍摄到的影像进行图像识别，以识别所述目标对象；当识别出所述目标对象时，对所述目标对象进行持续拍摄；当未识别出所述目标对象时，则通知所述确定模块702。
进一步可选地，所述拍摄调整指令具体用于调整所述摄像设备在位于特定位置时的拍摄角度；如图8所示，所述控制模块703包括：确定单元7031，用于确定所述目标对象在影像中的目标显示位置；控制单元7032，用于根据所述目标显示位置、所述位置估计信息以及所述特定位置生成拍摄调整指令；所述拍摄调整指令用于调整所述摄像设备的拍摄角度，使得所述摄像设备在特定位置时，所述位置估计信息对应的位置在摄像设备的视场角内、且所述位置估计信息对应位置处的对象能够成像到拍摄影像的所述目标显示位置处。
进一步可选地，所述确定单元7031，具体用于将在影像中的指定位置确定为目标显示位置；所述拍摄调整指令调整所述摄像设备的拍摄角度后，所述位置估计信息对应位置处的对象能够固定成像到拍摄影像的所述目标显示位置处。
进一步可选地，所述确定单元7031，具体用于将在影像中绘制的轨迹上的位置点作为目标显示位置，作为目标显示位置的位置点至少包括第一位置点和第二位置点。
所述控制单元7032，具体用于根据预置的生成策略，并根据所述位置估计信息和所述特定位置，至少生成与所第一位置点对应的第一拍摄调整指令和与所述第二位置点对应的第二拍摄调整指令，所述第一拍摄调整指令和第二拍摄调整指令用于调整所述摄像设备的拍摄角度，使得所述位置估计信息对应位置处的对象能够依次成像到拍摄影像的所述第一位置点和第二位置点。
进一步可选地，所述预置的生成策略是根据摄像设备的移动速度、摄像设备的移动位置、各个目标显示位置在所述目标显示轨迹上的位置中的任意一个或者多个预先设置的。
进一步可选地，本发明实施例的所述装置还可以包括：移动控制模块706，用于根据所述位置估计信息，生成移动控制指令以控制搭载所述摄像设备的移动物体移动；所述移动控制指令用于控制所述移动物体围绕所述位置估计信息对应的位置移动以改变拍摄位置。
进一步可选地，所述摄像设备是通过云台搭载在移动物体上，所述拍摄位置信息包括采集到的所述移动物体的位置坐标信息，所述拍摄角度信息包括所述云台的姿态信息和所述目标对象在拍摄得到的影像中的位置信息。
进一步可选地，所述确定模块702从所述信息集合选取至少两组拍摄信息所采用的选取规则包括：基于拍摄信息中的拍摄位置信息计算得到的间隔距离来选取拍摄信息；和/或，基于拍摄信息中的拍摄角度信息计算得到的间隔角度来选取拍摄信息。
具体的，本发明实施例中所述装置的各个模块、单元的具体实现可参考图1至图6所对应实施例中相关步骤、功能的具体描述，在此不赘述。
本发明实施例通过拍摄位置和拍摄角度来对需要持续拍摄的目标对象进行位置估计，再基于位置估计得到的位置估计信息来调整拍摄模块的拍摄方向，实现方式简便快捷，可以有效避免因为目标对象被遮挡所导致的图像识别运算出错的问题。提高了对目标对象的持续拍摄效率。并且，在确定了目标对象的相应位置后，还可以基于位置实现相应的环绕飞行等移动功能。
再请参见图9，是本发明实施例的一种控制设备的结构示意图，本发明实施例的所述控制设备可以为一个专用设备，通过与无人机等移动物体和智能的云台等设备数据相连，完成对摄像设备的拍摄角度的控制。所述控制设备还可以为移动物体的移动控制器，例如无人机的飞行控制器，移动控制器与云台等设备数据相连，完成对摄像设备的拍摄角度的控制。所述控制设备还可以为云台等设备的控制器，与移动物体数据相连，完成对摄像设备的拍摄角度的控制。
所述控制设备可以包括电源模块，各种接口模块等，在本发明实施例中，所述控制设备还包括：处理器901、输出接口902以及存储器903，所述处理器901、输出接口902以及存储器903之间可以通过总线等方式数据相连。
所述存储器903可以包括易失性存储器(volatile memory)，例如随机存取存储器903(random-access memory，RAM)；存储器903也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储器903还可以包括上述种类的存储器的组合。
所述处理器901可以是中央处理器(central processing unit，缩写：CPU)。所述处理器901还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logicdevice，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。
可选地，所述存储器903还用于存储程序指令。所述处理器901可以调用所述程序指令，实现如本申请图3、4、5以及6所对应实施例中所示相关方法。
具体的，所述处理器901，调用所述存储器903中存储的程序指令，用于获取包括至少两组拍摄信息的信息集合，所述拍摄信息包括：拍摄到目标对象时的拍摄位置信息和拍摄角度信息；基于从所述信息集合选取的至少两组拍摄信息，确定所述目标对象的位置估计信息，其中，选取的各组拍摄信息中的拍摄位置信息所对应位置不相同；根据所述位置估计信息生成拍摄调整指令以调整摄像设备；所述拍摄调整指令用于调整所述摄像设备的拍摄角度，使所述位置估计信息所对应的位置在所述摄像设备的视场内；所述输出接口902，用于输出所述调整指令以调整摄像设备。
进一步可选地，所述处理器901，具体用于基于至少三组拍摄信息，确定出至少两个所述目标对象的位置初始估计信息；检测已经确定的各个位置初始估计信息是否满足预设的稳定条件；若满足所述稳定条件，则根据各个位置初始估计信息确定出所述目标对象的位置估计信息。
进一步可选地，所述处理器901，还用于若不满足所述稳定条件，则基于图像识别技术在拍摄到的影像中识别目标对象，以便于对所述目标对象进行持续拍摄。
进一步可选地，所述处理器901，具体用于当已经确定的各个位置初始估计信息中至少两个位置初始估计信息所对应的位置之间的位置变化幅度满足预置变化幅度要求时，确定满足所述稳定条件。
进一步可选地，所述处理器901，还用于对拍摄到的影像进行图像识别，以识别所述目标对象；当识别出所述目标对象时，对所述目标对象进行持续拍摄；当未识别出所述目标对象时，执行所述确定所述目标对象的位置估计信息。
进一步可选地，所述拍摄调整指令具体用于调整所述摄像设备在位于特定位置时的拍摄角度；所述处理器901，具体用于确定所述目标对象在影像中的目标显示位置；根据所述目标显示位置、所述位置估计信息以及所述特定位置生成拍摄调整指令；所述拍摄调整指令用于调整所述摄像设备的拍摄角度，使得所述摄像设备在特定位置时，所述位置估计信息对应的位置在摄像设备的视场角内、且所述位置估计信息对应位置处的对象能够成像到拍摄影像的所述目标显示位置处。
进一步可选地，所述处理器901，具体用于将在影像中的指定位置确定为目标显示位置；所述拍摄调整指令调整所述摄像设备的拍摄角度后，所述位置估计信息对应位置处的对象能够固定成像到拍摄影像的所述目标显示位置处。
进一步可选地，所述处理器901，具体用于将在影像中绘制的轨迹上的位置点作为目标显示位置，作为目标显示位置的位置点至少包括第一位置点和第二位置点；并用于根据预置的生成策略，并根据所述位置估计信息和所述特定位置，至少生成与所第一位置点对应的第一拍摄调整指令和与所述第二位置点对应的第二拍摄调整指令，所述第一拍摄调整指令和第二拍摄调整指令用于调整所述摄像设备的拍摄角度，使得所述位置估计信息对应位置处的对象能够依次成像到拍摄影像的所述第一位置点和第二位置点。
其中可选地，所述预置的生成策略是根据摄像设备的移动速度、摄像设备的移动位置、各个目标显示位置在所述目标显示轨迹上的位置中的任意一个或者多个预先设置的。
进一步可选地，所述处理器901，还用于根据所述位置估计信息，生成移动控制指令以控制搭载所述摄像设备的移动物体移动；所述移动控制指令用于控制所述移动物体围绕所述位置估计信息对应的位置移动以改变拍摄位置。
进一步可选地，所述摄像设备是通过云台搭载在移动物体上，所述拍摄位置信息包括采集到的所述移动物体的位置坐标信息，所述拍摄角度信息包括所述云台的姿态信息和所述目标对象在拍摄得到的影像中的位置信息。
进一步可选地，所述处理器901从所述信息集合选取至少两组拍摄信息所采用的选取规则包括：基于拍摄信息中的拍摄位置信息计算得到的间隔距离来选取拍摄信息；和/或，基于拍摄信息中的拍摄角度信息计算得到的间隔角度来选取拍摄信息。
具体的，本发明实施例中所述处理器901的具体实现可参考图1至图6所对应实施例中相关步骤、功能的具体描述，在此不赘述。
本发明实施例通过拍摄位置和拍摄角度来对需要持续拍摄的目标对象进行位置估计，再基于位置估计得到的位置估计信息来调整拍摄模块的拍摄方向，实现方式简便快捷，可以有效避免因为目标对象被遮挡所导致的图像识别运算出错的问题。提高了对目标对象的持续拍摄效率。并且，在确定了目标对象的相应位置后，还可以基于位置实现相应的环绕飞行等移动功能。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (30)

1.一种拍摄控制方法，其特征在于，包括：
获取目标对象，所述目标对象是根据用户对用户界面所显示的影像的点击操作或者用户所输入的影像特征所确定的，所述影像特征包括人脸特征或者外形特征；
对拍摄到的影像进行图像识别，以识别所述目标对象；
获取包括至少两组拍摄信息的信息集合，所述拍摄信息包括：拍摄到所述目标对象时的拍摄位置信息和拍摄角度信息，其中，摄像设备是通过云台搭载在移动物体上，所述拍摄位置信息包括采集到的所述移动物体的位置坐标信息；
基于从所述信息集合选取的至少两组拍摄信息，确定所述目标对象的位置估计信息，其中，选取的各组拍摄信息中的拍摄位置信息所对应位置不相同；
获取用户在用户界面中绘制的轨迹，并将所述轨迹上的多个位置点作为目标显示位置；
根据所述目标显示位置、所述目标对象的位置估计信息以及所述移动物体的特定位置，生成拍摄调整指令，所述拍摄调整指令用于调整所述摄像设备在位于所述特定位置时的拍摄角度，使得所述位置估计信息对应位置处的所述目标对象成像在所述轨迹上。
2.如权利要求1所述的方法，其特征在于，所述基于从所述信息集合选取的至少两组拍摄信息，确定所述目标对象的位置估计信息，包括：
基于至少三组拍摄信息，确定出至少两个所述目标对象的位置初始估计信息；
检测已经确定的各个位置初始估计信息是否满足预设的稳定条件；
若满足所述稳定条件，则根据各个位置初始估计信息确定出所述目标对象的位置估计信息。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
若不满足所述稳定条件，则基于图像识别技术在拍摄到的影像中识别目标对象，以便于对所述目标对象进行持续拍摄。
4.如权利要求2所述方法，其特征在于，当已经确定的各个位置初始估计信息中至少两个位置初始估计信息所对应的位置之间的位置变化幅度满足预置变化幅度要求时，确定满足所述稳定条件。
5.如权利要求1所述的方法，其特征在于，在所述确定所述目标对象的位置估计信息之前，还包括：
对拍摄到的影像进行图像识别，以识别所述目标对象；
当识别出所述目标对象时，对所述目标对象进行持续拍摄；
当未识别出所述目标对象时，执行所述确定所述目标对象的位置估计信息。
6.如权利要求1所述的方法，其特征在于，所述目标显示位置包括第一位置点和第二位置点，所述根据所述目标显示位置、所述目标对象的位置估计信息以及所述移动物体的特定位置，生成拍摄调整指令，包括：
根据预置的生成策略，并根据所述目标对象的位置估计信息和所述移动物体的特定位置，至少生成与所述第一位置点对应的第一拍摄调整指令和与所述第二位置点对应的第二拍摄调整指令，所述第一拍摄调整指令和第二拍摄调整指令用于调整所述摄像设备的拍摄角度，使得所述位置估计信息对应位置处的对象能够依次成像到拍摄影像的所述第一位置点和第二位置点。
7.如权利要求6所述的方法，其特征在于，所述预置的生成策略是根据摄像设备的移动速度、摄像设备的移动位置、各个目标显示位置在目标显示轨迹上的位置中的任意一个或者多个预先设置的。
8.如权利要求1-7任一项所述的方法，其特征在于，还包括：
根据所述位置估计信息，生成移动控制指令以控制搭载所述摄像设备的移动物体移动；
所述移动控制指令用于控制所述移动物体围绕所述位置估计信息对应的位置移动以改变拍摄位置。
9.如权利要求1-7任一项所述的方法，其特征在于，所述拍摄角度信息包括所述云台的姿态信息和所述目标对象在拍摄得到的影像中的位置信息。
10.如权利要求1-7任一项所述的方法，其特征在于，
从所述信息集合选取至少两组拍摄信息所采用的选取规则包括：基于拍摄信息中的拍摄位置信息计算得到的间隔距离来选取拍摄信息；和/或，基于拍摄信息中的拍摄角度信息计算得到的间隔角度来选取拍摄信息。
11.一种拍摄控制装置，其特征在于，包括：
获取模块，用于获取目标对象，所述目标对象是根据用户对用户界面所显示的影像的点击操作或者用户所输入的影像特征所确定的，所述影像特征包括人脸特征或者外形特征；
第一识别模块，用于对拍摄到的影像进行图像识别，以识别所述目标对象；获取包括至少两组拍摄信息的信息集合，所述拍摄信息包括：拍摄到所述目标对象时的拍摄位置信息和拍摄角度信息，其中，摄像设备是通过云台搭载在移动物体上，所述拍摄位置信息包括采集到的所述移动物体的位置坐标信息；
确定模块，用于基于从所述信息集合选取的至少两组拍摄信息，确定所述目标对象的位置估计信息，其中，选取的各组拍摄信息中的拍摄位置信息所对应位置不相同；
控制模块，用于获取用户在用户界面中绘制的轨迹，并将所述轨迹上的多个位置点作为目标显示位置；根据所述目标显示位置、所述目标对象的位置估计信息以及所述移动物体的特定位置，生成拍摄调整指令，所述拍摄调整指令用于调整所述摄像设备在位于所述特定位置时的拍摄角度，使得所述位置估计信息对应位置处的所述目标对象成像在所述轨迹上。
12.如权利要求11所述的装置，其特征在于，
所述确定模块，具体用于基于至少三组拍摄信息，确定出至少两个所述目标对象的位置初始估计信息；检测已经确定的各个位置初始估计信息是否满足预设的稳定条件；若满足所述稳定条件，则根据各个位置初始估计信息确定出所述目标对象的位置估计信息。
13.如权利要求12所述的装置，其特征在于，还包括：
第二识别模块，用于若不满足所述稳定条件，则基于图像识别技术在拍摄到的影像中识别目标对象，以便于对所述目标对象进行持续拍摄。
14.如权利要求12所述装置，其特征在于，
所述确定模块，具体用于当已经确定的各个位置初始估计信息中至少两个位置初始估计信息所对应的位置之间的位置变化幅度满足预置变化幅度要求时，确定满足所述稳定条件。
15.如权利要求11所述的装置，其特征在于，还包括：
第一识别模块，用于当识别出所述目标对象时，对所述目标对象进行持续拍摄；当未识别出所述目标对象时，则通知所述确定模块。
16.如权利要求11所述的装置，其特征在于，所述目标显示位置包括第一位置点和第二位置点；
所述控制模块，具体用于根据预置的生成策略，并根据所述目标对象的位置估计信息和所述移动物体的特定位置，至少生成与所述第一位置点对应的第一拍摄调整指令和与所述第二位置点对应的第二拍摄调整指令，所述第一拍摄调整指令和第二拍摄调整指令用于调整所述摄像设备的拍摄角度，使得所述位置估计信息对应位置处的对象能够依次成像到拍摄影像的所述第一位置点和第二位置点。
17.如权利要求16所述的装置，其特征在于，所述预置的生成策略是根据摄像设备的移动速度、摄像设备的移动位置、各个目标显示位置在目标显示轨迹上的位置中的任意一个或者多个预先设置的。
18.如权利要求11-17任一项所述的装置，其特征在于，还包括：
移动控制模块，用于根据所述位置估计信息，生成移动控制指令以控制搭载所述摄像设备的移动物体移动；所述移动控制指令用于控制所述移动物体围绕所述位置估计信息对应的位置移动以改变拍摄位置。
19.如权利要求11-17任一项所述的装置，其特征在于，所述拍摄角度信息包括所述云台的姿态信息和所述目标对象在拍摄得到的影像中的位置信息。
20.如权利要求11-17任一项所述的装置，其特征在于，从所述信息集合选取至少两组拍摄信息所采用的选取规则包括：基于拍摄信息中的拍摄位置信息计算得到的间隔距离来选取拍摄信息；和/或，基于拍摄信息中的拍摄角度信息计算得到的间隔角度来选取拍摄信息。
21.一种控制设备，其特征在于，包括：处理器和输出接口；
所述处理器，用于获取目标对象，所述目标对象是根据用户对用户界面所显示的影像的点击操作或者用户所输入的影像特征所确定的，所述影像特征包括人脸特征或者外形特征；对拍摄到的影像进行图像识别，以识别所述目标对象；获取包括至少两组拍摄信息的信息集合，所述拍摄信息包括：拍摄到所述目标对象时的拍摄位置信息和拍摄角度信息，其中，摄像设备是通过云台搭载在移动物体上，所述拍摄位置信息包括采集到的所述移动物体的位置坐标信息；基于从所述信息集合选取的至少两组拍摄信息，确定所述目标对象的位置估计信息，其中，选取的各组拍摄信息中的拍摄位置信息所对应位置不相同；获取用户在用户界面中绘制的轨迹，并将所述轨迹上的多个位置点作为目标显示位置；根据所述目标显示位置、所述目标对象的位置估计信息以及所述移动物体的特定位置，生成拍摄调整指令；
所述输出接口，用于输出所述调整指令以调整摄像设备在位于所述特定位置时的拍摄角度，使得所述位置估计信息对应位置处的所述目标对象成像在所述轨迹上。
22.如权利要求21所述的控制设备，其特征在于，
所述处理器，具体用于基于至少三组拍摄信息，确定出至少两个所述目标对象的位置初始估计信息；检测已经确定的各个位置初始估计信息是否满足预设的稳定条件；若满足所述稳定条件，则根据各个位置初始估计信息确定出所述目标对象的位置估计信息。
23.如权利要求22所述的控制设备，其特征在于，
所述处理器，还用于若不满足所述稳定条件，则基于图像识别技术在拍摄到的影像中识别目标对象，以便于对所述目标对象进行持续拍摄。
24.如权利要求22所述的控制设备，其特征在于，
所述处理器，具体用于当已经确定的各个位置初始估计信息中至少两个位置初始估计信息所对应的位置之间的位置变化幅度满足预置变化幅度要求时，确定满足所述稳定条件。
25.如权利要求21所述的控制设备，其特征在于，
所述处理器，还用于当识别出所述目标对象时，对所述目标对象进行持续拍摄；当未识别出所述目标对象时，执行所述确定所述目标对象的位置估计信息。
26.如权利要求21所述的控制设备，其特征在于，所述目标显示位置包括第一位置点和第二位置点；
所述处理器，具体用于根据预置的生成策略，并根据所述目标对象的位置估计信息和所述移动物体的特定位置，至少生成与所述第一位置点对应的第一拍摄调整指令和与所述第二位置点对应的第二拍摄调整指令，所述第一拍摄调整指令和第二拍摄调整指令用于调整所述摄像设备的拍摄角度，使得所述位置估计信息对应位置处的对象能够依次成像到拍摄影像的所述第一位置点和第二位置点。
27.如权利要求26所述的控制设备，其特征在于，
所述预置的生成策略是根据摄像设备的移动速度、摄像设备的移动位置、各个目标显示位置在目标显示轨迹上的位置中的任意一个或者多个预先设置的。
28.如权利要求21-27任一项所述的控制设备，其特征在于，
所述处理器，还用于根据所述位置估计信息，生成移动控制指令以控制搭载所述摄像设备的移动物体移动；所述移动控制指令用于控制所述移动物体围绕所述位置估计信息对应的位置移动以改变拍摄位置。
29.如权利要求21-27任一项所述的控制设备，其特征在于，所述拍摄角度信息包括所述云台的姿态信息和所述目标对象在拍摄得到的影像中的位置信息。
30.如权利要求21-27任一项所述的控制设备，其特征在于，
所述处理器从所述信息集合选取至少两组拍摄信息所采用的选取规则包括：基于拍摄信息中的拍摄位置信息计算得到的间隔距离来选取拍摄信息；和/或，基于拍摄信息中的拍摄角度信息计算得到的间隔角度来选取拍摄信息。
CN201680030410.8A 2016-12-02 2016-12-02 一种拍摄控制方法、装置以及控制设备 Expired - Fee Related CN107710283B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/108446 WO2018098824A1 (zh) 2016-12-02 2016-12-02 一种拍摄控制方法、装置以及控制设备

Publications (2)

Publication Number Publication Date
CN107710283A CN107710283A (zh) 2018-02-16
CN107710283B true CN107710283B (zh) 2022-01-28

Family

ID=61169419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680030410.8A Expired - Fee Related CN107710283B (zh) 2016-12-02 2016-12-02 一种拍摄控制方法、装置以及控制设备

Country Status (3)

Country Link
US (4) US10897569B2 (zh)
CN (1) CN107710283B (zh)
WO (1) WO2018098824A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110873563B (zh) * 2018-08-30 2022-03-08 杭州海康机器人技术有限公司 一种云台姿态估计方法及装置
CN109062220B (zh) * 2018-08-31 2021-06-29 创新先进技术有限公司 控制终端运动的方法和装置
CN109976533B (zh) * 2019-04-15 2022-06-03 珠海天燕科技有限公司 显示控制方法及装置
CN110086988A (zh) * 2019-04-24 2019-08-02 薄涛 拍摄角度调整方法、装置、设备及其存储介质
CN110083180A (zh) * 2019-05-22 2019-08-02 深圳市道通智能航空技术有限公司 云台控制方法、装置、控制终端及飞行器系统
CN110225250A (zh) * 2019-05-31 2019-09-10 维沃移动通信（杭州）有限公司 一种拍照方法及终端设备
CN110191288B (zh) * 2019-07-17 2021-05-18 图普科技（广州）有限公司 一种摄像机位置调整方法及装置
CN112189330A (zh) * 2019-08-13 2021-01-05 深圳市大疆创新科技有限公司 拍摄控制方法、终端、云台、系统及存储介质
CN112640422A (zh) * 2020-04-24 2021-04-09 深圳市大疆创新科技有限公司 拍摄方法、可移动平台、控制设备和存储介质
WO2021258251A1 (zh) * 2020-06-22 2021-12-30 深圳市大疆创新科技有限公司 用于可移动平台的测绘方法、可移动平台和存储介质
CN112913221A (zh) * 2020-07-20 2021-06-04 深圳市大疆创新科技有限公司 图像处理方法、装置、穿越机、图像优化系统及存储介质
CN111932623A (zh) * 2020-08-11 2020-11-13 北京洛必德科技有限公司 一种基于移动机器人的人脸数据自动采集标注方法、系统及其电子设备
CN112261281B (zh) * 2020-09-03 2022-08-02 科大讯飞股份有限公司 视野调整方法及电子设备、存储装置
CN112843739B (zh) * 2020-12-31 2023-04-28 上海米哈游天命科技有限公司 拍摄方法、装置、电子设备及存储介质
CN113179371B (zh) * 2021-04-21 2023-04-07 新疆爱华盈通信息技术有限公司 一种拍摄方法、装置及抓拍系统
CN113206958B (zh) * 2021-04-30 2023-06-09 成都睿铂科技有限责任公司 一种航线拍摄方法
CN114187349B (zh) * 2021-11-03 2022-11-08 深圳市正运动技术有限公司 产品加工方法、装置、终端设备以及存储介质
CN114758208B (zh) * 2022-06-14 2022-09-06 深圳市海清视讯科技有限公司 考勤设备调整方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105353772A (zh) * 2015-11-16 2016-02-24 中国航天时代电子公司 一种无人机机动目标定位跟踪中的视觉伺服控制方法
WO2016162973A1 (ja) * 2015-04-08 2016-10-13 オリンパス株式会社 細胞追跡修正方法、細胞追跡修正装置及びコンピュータにより読み取り可能な細胞追跡修正プログラムを一時的に記憶する記録媒体

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101095090B (zh) * 2005-11-15 2010-07-21 贝尔直升机泰克斯特龙公司 用于自动绕圈飞行的控制系统
US7724188B2 (en) * 2008-05-23 2010-05-25 The Boeing Company Gimbal system angle compensation
KR20120119144A (ko) * 2011-04-20 2012-10-30 주식회사 레이스전자 카메라 기반 지능형 관리 장치 및 방법
WO2013085512A1 (en) * 2011-12-07 2013-06-13 Intel Corporation Guided image capture
JP2014241505A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 撮影装置および撮影方法、テンプレート生成装置およびテンプレート生成方法、並びにプログラム
JP6518069B2 (ja) * 2015-01-09 2019-05-22 キヤノン株式会社 表示装置、撮像システム、表示装置の制御方法、プログラム、及び記録媒体
KR20160114434A (ko) * 2015-03-24 2016-10-05 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 촬영 방법
CN104881650A (zh) * 2015-05-29 2015-09-02 成都通甲优博科技有限责任公司 一种基于无人机动平台的车辆跟踪方法
CN105979133A (zh) * 2015-10-22 2016-09-28 乐视移动智能信息技术（北京）有限公司 一种跟踪拍摄的方法、移动终端和系统
CA2929254C (en) * 2016-05-06 2018-12-11 SKyX Limited Unmanned aerial vehicle (uav) having vertical takeoff and landing (vtol) capability
US10664791B2 (en) * 2016-09-28 2020-05-26 Federal Express Corporation Systems and methods for monitoring the internal storage contents of a shipment storage using one or more internal monitor drones
US20180295335A1 (en) * 2017-04-10 2018-10-11 Red Hen Systems Llc Stereographic Imaging System Employing A Wide Field, Low Resolution Camera And A Narrow Field, High Resolution Camera
CN113163119A (zh) * 2017-05-24 2021-07-23 深圳市大疆创新科技有限公司 拍摄控制方法及装置
CN114397903A (zh) * 2017-05-24 2022-04-26 深圳市大疆创新科技有限公司 一种导航处理方法及控制设备
US10479243B2 (en) * 2017-12-05 2019-11-19 Ford Global Technologies, Llc Air channel thermocomfort foam pad
EP3739420A4 (en) * 2018-01-15 2021-03-10 Hongo Aerospace Inc. INFORMATION PROCESSING SYSTEM
US10574881B2 (en) * 2018-02-15 2020-02-25 Adobe Inc. Smart guide to capture digital images that align with a target image model
US11687869B2 (en) * 2018-02-22 2023-06-27 Flytrex Aviation Ltd. System and method for securing delivery using an autonomous vehicle
CN111492415B (zh) * 2018-11-28 2023-08-15 松下知识产权经营株式会社 无人飞行体、控制方法以及记录介质
JP2021179718A (ja) * 2020-05-12 2021-11-18 トヨタ自動車株式会社 システム、移動体、及び、情報処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016162973A1 (ja) * 2015-04-08 2016-10-13 オリンパス株式会社 細胞追跡修正方法、細胞追跡修正装置及びコンピュータにより読み取り可能な細胞追跡修正プログラムを一時的に記憶する記録媒体
CN105353772A (zh) * 2015-11-16 2016-02-24 中国航天时代电子公司 一种无人机机动目标定位跟踪中的视觉伺服控制方法

Also Published As

Publication number Publication date
US20210144296A1 (en) 2021-05-13
US11575824B2 (en) 2023-02-07
CN107710283A (zh) 2018-02-16
WO2018098824A1 (zh) 2018-06-07
US20240155219A1 (en) 2024-05-09
US10897569B2 (en) 2021-01-19
US20230188825A1 (en) 2023-06-15
US20190281209A1 (en) 2019-09-12
US11863857B2 (en) 2024-01-02

Similar Documents

Publication Publication Date Title
CN107710283B (zh) 一种拍摄控制方法、装置以及控制设备
CN108476288B (zh) 拍摄控制方法及装置
CN109922250B (zh) 一种目标对象抓拍方法、装置及视频监控设备
CN111025283B (zh) 雷达与球机联动的方法及装置
CN106780550B (zh) 一种目标跟踪方法及电子设备
CN107404615B (zh) 图像录制方法及电子设备
CN108351650B (zh) 一种对飞行器的飞行控制方法、装置及飞行器
CN110910459B (zh) 一种对摄像装置的标定方法、装置及标定设备
CN111787232B (zh) 基于云台摄像机的图像处理方法、设备及存储介质
CN102348102A (zh) 天台安全监控系统及方法
CN113473010B (zh) 抓拍方法、装置、存储介质及电子装置
JP2017072986A (ja) 自律飛行装置、自律飛行装置の制御方法及びプログラム
CN111213159A (zh) 一种图像处理方法、装置及系统
WO2022041014A1 (zh) 云台及其控制方法、设备，拍摄装置、系统和存储介质
CN111757084A (zh) 一种立体图像的采集方法、采集装置及可读存储介质
CN109543496B (zh) 一种图像采集方法、装置、电子设备及系统
CN110602376A (zh) 抓拍方法及装置、摄像机
TW201722145A (zh) 具攝影機自動調派功能之3d影像監控系統及其監控方法
CN117412161A (zh) 斗车的跟踪方法、装置、存储介质及终端设备
CN113518174A (zh) 一种拍摄方法、装置及系统
CN112514366A (zh) 图像处理方法、图像处理装置和图像处理系统
WO2022000211A1 (zh) 拍摄系统的控制方法、设备、及可移动平台、存储介质
CN112702513B (zh) 一种双光云台协同控制方法、装置、设备及存储介质
CN111684784B (zh) 图像处理方法和装置
CN106845363A (zh) 巡航拍摄跟踪的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220128