CN113841380A - 确定目标跟随策略的方法、装置、系统、设备及存储介质 - Google Patents
确定目标跟随策略的方法、装置、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN113841380A CN113841380A CN202080035340.1A CN202080035340A CN113841380A CN 113841380 A CN113841380 A CN 113841380A CN 202080035340 A CN202080035340 A CN 202080035340A CN 113841380 A CN113841380 A CN 113841380A
- Authority
- CN
- China
- Prior art keywords
- target
- determining
- followed
- following
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
一种确定目标跟随策略的方法、装置、系统、设备及存储介质,该方法包括:获取拍摄设备采集到的图像S301,通过检测所述拍摄设备采集到的图像,从所述拍摄设备采集到的图像中确定待跟随目标S303;根据所述待跟随目标的特征,确定所述待跟随目标对应的跟随策略S305;根据所述跟随策略,所述拍摄设备对所述待跟随目标进行跟随S307。本申请能够快速准确地确定待跟随目标,并对待跟随目标进行可靠地跟随,提高用户体验。
Description
技术领域
本申请涉及目标跟随技术领域,尤其涉及一种确定目标跟随策略的方法、装置、系统、设备及存储介质。
背景技术
在目标智能跟随场景下,需要确定待跟随目标,一般是通过目标检测算法对图像进行识别,并对图像中的待跟随目标进行跟随,但目标检测算法能够检测的准确度有限,无法快速准确地确定待跟随目标,在跟随待跟随目标的过程中容易丢失待跟随目标。目前,目标检测算法的识别效果不佳,对待跟随目标的跟随效果不稳定,用户体验不好。
发明内容
基于此,本申请实施例提供了一种确定目标跟随策略的方法、装置、系统、设备及存储介质,旨在快速准确地确定待跟随目标,并对待跟随目标进行可靠地跟随,提高用户体验。
第一方面,本申请实施例提供了一种确定目标跟随策略的方法,所述确定目标跟随策略的方法包括:
获取拍摄设备采集到的图像;
通过检测所述拍摄设备采集到的图像,从所述拍摄设备采集到的图像中确定待跟随目标;
根据所述待跟随目标的特征,确定所述待跟随目标对应的跟随策略;以及
根据所述跟随策略,所述拍摄设备对所述待跟随目标进行跟随。
第二方面,本申请实施例还提供了一种确定目标跟随策略的装置。所述确定目标跟随策略的装置用于与拍摄设备通信连接。所述确定目标跟随策略的装置包括存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时,实现如下步骤:
获取拍摄设备采集到的图像;
通过检测所述拍摄设备采集到的图像,从所述拍摄设备采集到的图像中确定待跟随目标;
根据所述待跟随目标的特征,确定所述待跟随目标对应的跟随策略;以及
根据所述跟随策略,所述拍摄设备对所述待跟随目标进行跟随。
第三方面,本申请实施例还提供了一种确定目标跟随策略的系统,所述确定目标跟随策略的系统包括云台、搭载于所述云台上的拍摄设备和如上所述的确定目标跟随策略的装置。
第四方面,本申请实施例还提供了一种手持云台,所述手持云台包括手柄部、连接于所述手柄部的云台和如上所述的确定目标跟随策略的装置,所述云台用于搭载拍摄设备,所述确定目标跟随策略的装置设置在所述手柄部上。
第五方面,本申请实施例还提供了一种可移动平台,所述可移动平台包括平台本体、搭载于所述平台本体的云台和如上所述的确定目标跟随策略的装置,所述云台用于搭载拍摄设备,所述确定目标跟随策略的装置设置在所述平台本体上。
第六方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上所述的确定目标跟随策略的方法的步骤。
本申请实施例提供了一种确定目标跟随策略的方法、装置、系统、设备及存储介质,通过在拍摄设备采集到的图像中识别待跟随目标,得到待跟随目标的识别结果,根据待跟随目标的识别结果,确定待跟随目标的特征以及对应该待跟随目标的跟随策略,根据待跟随目标的跟随策略对待跟随目标进行跟随,整个过程能够快速准确地确定待跟随目标,并对待跟随目标进行可靠地跟随,极大地提高了用户体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是实施本申请实施例提供的确定目标跟随策略的方法的一场景示意图;
图2是实施本申请实施例提供的确定目标跟随策略的方法的另一场景示意图;
图3是本申请实施例提供的一种确定目标跟随策略的方法的步骤示意流程图;
图4是本申请实施例提供的一种确定目标对象特征库的步骤示意流程图;
图5是本申请实施例中模型图像中显示图像的一示意图;
图6是图3中的确定目标跟随策略的方法的一子步骤示意流程图;
图7是图6的确定目标跟随策略的方法的一子步骤示意流程图;
图8是图3中的确定目标跟随策略的方法的一子步骤示意流程图;
图9是图8中从拍摄设备采集到的图像中选择待跟随目标的一示意图;
图10图8中从拍摄设备采集到的图像中选择待跟随目标的一子步骤示意流程图;
图11是图3中的确定目标跟随策略的方法的一子步骤示意流程图;
图12是图3中的确定目标跟随策略的方法的一子步骤示意流程图;
图13是图3中的确定目标跟随策略的方法的一子步骤示意流程图;
图14是本申请实施例中显示装置显示的拍摄设备采集到的图像的一示意图;
图15是图3中的确定目标跟随策略的方法的一子步骤示意流程图;
图16是本申请实施例提供的一种区别目标跟踪策略的装置的结构示意性框图;
图17是本申请实施例提供的一种确定目标跟随策略的系统的结构示意性框图;
图18是本申请实施例提供的一种手持云台的结构示意性框图;
图19是本申请实施例提供的一种可移动平台的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
在目标智能跟随场景下,需要确定待跟随目标,一般是通过目标检测算法对图像进行识别,并对图像中的待跟随目标进行跟随,但目标检测算法能够检测的准确度有限,无法快速准确地确定待跟随目标,在跟随待跟随目标的过程中容易丢失待跟随目标。目前,目标检测算法的识别效果不佳,对待跟随目标的跟随效果不稳定,用户体验不好。
为解决上述问题,本申请实施例提供了一种确定待跟随目标策略的方法、装置、系统、设备及存储介质,通过在拍摄设备采集到的图像中识别待跟随目标,得到待跟随目标的识别结果,根据待跟随目标的识别结果,确定待跟随目标的特征以及对应该待跟随目标的跟随策略,根据待跟随目标的跟随策略对待跟随目标进行跟随,整个过程能够快速准确地确定待跟随目标,并对待跟随目标进行可靠地跟随,极大地提高了用户体验。
请参阅图1,图1是实施本申请实施例提供的确定待跟随目标策略的方法的一场景示意图。如图1所示,该场景包括手持云台100和搭载于手持云台100上的拍摄设备200,手持云台100包括手柄部101和设于手柄部101上的云台102,云台102用于搭载拍摄设备200,拍摄设备200可以与云台102一体设置,也可以外接于云台102。示例性的,拍摄设备200可以为智能手机,也可以为相机,例如为单反相机,还可以为摄像头。手持云台100可以承载拍摄设备200,用于固定拍摄设备200以及改变拍摄设备200的高度、倾角和/或方向,或者用于将拍摄设备200稳定地保持在某一姿态上,并控制拍摄设备200进行拍摄。
在一实施例中,手持云台100与拍摄设备200通信连接,手持云台100可以通过控制线与拍摄设备200连接,该控制线例如为快门线。此处不限定快门线的种类,例如,该快门线可以是通用串行总线(Universal Serial Bus,USB)。手持云台100也可以通过无线的方式与拍摄设备200连接,例如,通过手持云台100内置的第一蓝牙模块与拍摄设备200内置的第二蓝牙模块,建立手持云台100与拍摄设备200之间的通信连接。
在一实施例中,云台102包括三轴电机,三轴电机分别为俯仰(pitch)轴电机1021、平移(yaw)轴电机1022和横滚(roll)轴电机(图1中未示出),所述三轴电机用于调整搭载于云台102上的拍摄设备200的平衡姿态,以便拍摄稳定流畅的画面。其中,云台102上还设置有惯性测量单元(Inertial measurement unit,IMU),可例如为加速度计或陀螺仪中的至少一种,可以用于测量云台102的姿态和加速度等,以便根据姿态调整云台102的姿态。在一实施例中,手柄部101上也设置有惯性测量单元(Inertial measurement unit,IMU),例如包括加速度计或陀螺仪中的至少一种,可以用于测量手柄部101的姿态和加速度等,以便根据手柄部101的姿态和云台102的姿态调整云台102的姿态。
在一实施例中,手持云台100包括处理器,处理器用于对输入的控制指令进行处理,或者收发信号等。处理器可以设置在手柄部101的内部。可选地,该处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(application specificintegrated circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在一实施例中,手持云台100包括多种工作模式,比如包括:跟随模式、目标跟踪模式、锁定模式、运动模式和/或休眠模式等。手持云台100处于不同的工作模式执行不同的动作。例如,若手持云台100处于跟随模式,则采用跟随模式控制拍摄设备200进行跟随拍摄,所述跟随模式可以是指云台102跟随手柄部101运动的拍摄模式;若手持云台100处于目标跟踪模式,则在确定待跟随目标后,云台102开始自动旋转使得拍摄设备200的角度始终跟随待跟随目标转动,保持待跟随目标在采集的画面中。
例如,锁定模式是指对云台102的三轴进行锁定,云台的三轴不跟随;运动模式是指云台102以预设速度跟随,比如以云台的三轴的最大速度跟随;休眠模式是指控制手持云台进入休眠状态。其中,在锁定模式或运动模式,云台的跟随对象可以是手柄部101,也可以是待跟随目标,还可以是其它,具体可以根据需要设定,此处不做具体限定。
在一实施例中,待跟随目标的确定方式可以为:手持云台100的处理器获取拍摄设备200采集到的图像,通过检测拍摄设备200采集到的图像,从拍摄设备200采集到的图像中确定待跟随目标,并识别该待跟随目标的特征以及对应该待跟随目标的跟随策略,拍摄设备200根据待跟随目标的跟随策略对待跟随目标进行跟随。可以理解的是,待跟随目标的确定方式也可以由用户在手持云台100侧进行诸如框选或点选的操作后确定,也可以是根据拍摄设备200采集到的图像中的特定姿势确定,还可以是利用根据拍摄设备200采集到的图像中的待跟随目标在画面中的位置确定。此处不做具体限定。
在一实施例中,手柄部101上还设置有控制键,以便用户操作该控制键以控制云台102或拍摄设备200。该控制键可例如为按键、扳机、旋钮或者摇杆等,当然也包括其他形式的物理按键或者虚拟按键。其中,虚拟按键可以为设置于触摸屏上的用于和用户交互的虚拟按钮。摇杆可以用于控制至少一个转轴的运动,进而控制拍摄设备200的运动。可以理解的是,遥杆也可以用于其他功能。可以理解的是,控制键的数量可以为一个或多个。当控制键的数量为一个时,可以针对该控制键采用不同的操作方式产生不同的控制指令,不同的操作方式比如为按压次数不同;当控制键的数量为多个时,比如包括第一控制键、第二控制键和第三控制键等,不同控制键用于产生不同的控制指令。
在一实施例中,该控制键包括跟随控制按键,该跟随控制按键用于控制手持云台100启动或退出目标跟踪模式,例如,手持云台100的处理器响应于用户对跟随控制按键的第一按压操作,若手持云台100不处于目标跟踪模式,则控制手持云台100处于目标跟踪模式,并获取拍摄设备200采集到的图像,通过检测拍摄设备200采集到的图像,从拍摄设备200采集到的图像中确定待跟随目标,并识别该待跟随目标的特征以及对应该待跟随目标的跟随策略,拍摄设备200根据待跟随目标的跟随策略对待跟随目标进行跟随,使得用户能够通过跟随控制按键快速地控制手持云台100进入目标跟踪模式,能够对待跟随目标进行跟踪。
在一实施例中,手持云台100还包括显示装置,该显示装置用于显示拍摄设备200采集到的图像。在手持云台100处于目标跟踪模式,且对待跟随目标进行跟踪的过程中,处理器控制显示装置显示拍摄设备200采集到的图像,并在显示装置显示的图像中标识待跟随目标;根据识别结果确定该图像中的每个候选目标的跟随优先级;响应于对该跟随控制按键的第二按压操作,根据该候选目标的跟随优先级,重新确定待跟随目标,并在该图像中标识重新确定的待跟随目标。通过跟随控制按键方便用户切换待跟随目标。
请参阅图2,图2是实施本申请实施例提供的确定目标跟随策略的方法的另一场景示意图。如图2所示,该场景包括控制终端300和可移动平台400,控制终端300与可移动平台400通信连接,控制终端300包括显示装置310,显示装置310用于显示可移动平台400发送的图像。需要说明的是,显示装置310包括设置在控制终端300上的显示屏或者独立于控制终端300的显示器,独立于控制终端300的显示器可以包括手机、平板电脑或者个人电脑等,或者也可以是带有显示屏的其他电子设备。其中,该显示屏包括LED显示屏、OLED显示屏、LCD显示屏等等。
在一实施例中,可移动平台400包括平台本体410、搭载于平台本体上的云台420和动力系统430,云台420用于搭载拍摄设备500,动力系统430包括电机431和螺旋桨432,电机431用于驱动螺旋桨432旋转,从而为可移动平台提供移动动力。其中,云台420包括三轴电机,分别为平移轴电机421、俯仰轴电机422和横滚轴电机423,用于调整搭载于云台420上的拍摄设备500的平衡姿态,以便随时随地拍摄出高精度的稳定画面。
在一实施例中,可移动平台400还包括处理器,处理器用于对输入的控制指令进行处理,或者收发信号等。处理器可以设置可移动平台400内部。可选地,该处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(application specificintegrated circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在一实施例中,控制终端300包括跟随控制按键,该跟随控制按键用于控制可移动平台400启动或退出目标跟踪模式,可移动平台400处于目标跟踪模式时,可移动平台400能够控制云台420运动,使得拍摄设备500的角度始终跟随待跟随目标转动,保持待跟随目标在采集的画面中。例如,控制终端300响应于用户对该跟随控制按键的第一按压操作,生成目标跟随启动指令,并向可移动平台400发送该目标跟随启动指令;可移动平台400接收该目标跟随启动指令,并传输给处理器,处理器根据该目标跟随启动指令,控制可移动平台400处于目标跟踪模式,并获取拍摄设备500采集到的图像,然后检测拍摄设备500采集到的图像,从拍摄设备500采集到的图像中确定待跟随目标,并识别该待跟随目标的特征以及对应该待跟随目标的跟随策略,并根据待跟随目标的跟随策略控制云台420运动,使得拍摄设备500的角度始终跟随待跟随目标转动,保持待跟随目标在采集的画面中。
其中,可移动平台包括可移动机器人、无人机和无人车等,可移动平台400为无人机,动力系统430能够使无人机垂直地从地面起飞,或者垂直地降落在地面上,而不需要无人机任何水平运动(如不需要在跑道上滑行)。可选的,动力系统430可以允许无人机在空中预设位置和/或方向盘旋。一个或者多个动力系统430在受到控制时可以独立于其它的动力系统430。可选的,一个或者多个动力系统430可以同时受到控制。例如,无人机可以有多个水平方向的动力系统430,以追踪目标的提升及/或推动。水平方向的动力系统430可以被致动以提供无人机垂直起飞、垂直降落、盘旋的能力。
在一实施例中,水平方向的动力系统430中的一个或者多个可以顺时针方向旋转,而水平方向的动力系统中的其它一个或者多个可以逆时针方向旋转。例如,顺时针旋转的动力系统430与逆时针旋转的动力系统430的数量一样。每一个水平方向的动力系统430的旋转速率可以独立变化,以实现每个动力系统430导致的提升及/或推动操作,从而调整无人机的空间方位、速度及/或加速度(如相对于多达三个自由度的旋转及平移)。
在一实施例中,无人机还可以包括传感系统,传感系统可以包括一个或者多个传感器,以感测无人机的空间方位、速度及/或加速度(如相对于多达三个自由度的旋转及平移)、角加速度、姿态、位置(绝对位置或者相对位置)等。所述一个或者多个传感器包括GPS传感器、运动传感器、惯性传感器、近程传感器或者影像传感器。可选的,传感系统还可以用于采集无人飞行器所处的环境数据,如气候条件、要接近的潜在的障碍、地理特征的位置、人造结构的位置等。另外,无人机可以包括脚架,所述脚架是无人机降落时,无人机与地面的接触件,脚架可以是无人飞行器在飞行状态(例如无人飞行器在巡航时)收起,在降落时才放下;也可以固定安装在无人机上,一直处于放下的状态。
在一实施例中,可移动平台400能够与控制终端300进行通信,可以实现控制终端300与可移动平台400之间的数据交互,例如对可移动平台400的移动控制、对负载的控制(当负载为拍摄设备500时,控制终端300可以控制该拍摄设备500),其中,控制终端300可以与可移动平台400和/或负载进行通信,可移动平台400与控制终端300之间的通信可以是无线通信,可以在可移动平台400和控制终端300之间提供直接通信。这种直接通信可以无需任何中间装置或中间网络。
在一实施例中,可以在可移动平台400与控制终端300之间提供间接通信。这种间接通信可以借助于一个或多个中间装置或网络来发生。例如,间接通信可以利用电信网络。间接通信可以借助于一个或多个路由器、通信塔、卫星、或任何其他的中间装置或网络来进行。通信类型的实例可以包括但不限于经由以下方式的通信:因特网,局域网(LAN),广域网(WAN),蓝牙,近场通信(NFC)技术,基于诸如通用分组无线电服务(GPRS)、GSM增强型数据GSM环境(EDGE)、3G、4G、或长期演进(LTE)协议的移动数据协议的网络,红外线(IR)通信技术,和/或Wi-Fi,并且可以是无线式、有线式、或其组合。
其中,控制终端300可以包括但不限于:智能电话/手机、平板电脑、个人数字助理(PDA)、台式计算机、媒体内容播放器、视频游戏站/系统、虚拟现实系统、增强现实系统、可穿戴式装置(例如,手表、眼镜、手套、头饰(例如,帽子、头盔、虚拟现实头戴耳机、增强现实头戴耳机、头装式装置(HM)、头带)、挂件、臂章、腿环、鞋子、马甲)、手势识别装置、麦克风、能够提供或渲染图像数据的任意电子装置、或者任何其他类型的装置。该控制终端300可以是手持终端,控制终端300可以是便携式的。该控制终端300可以由人类用户携带。在一些情况下,控制终端300可以远离人类用户,并且用户可以使用无线和/或有线通信来控制控制终端300。
以下,将结合图1或图2中的场景对本申请的实施例提供的确定目标跟随策略的方法进行详细介绍。需知,图1或图2中的场景仅用于解释本申请实施例提供的确定目标跟随策略的方法,但并不构成对本申请实施例提供的确定目标跟随策略的方法应用场景的限定。
请参阅图3,图3是本申请实施例提供的一种确定目标跟随策略的方法的步骤示意流程图。
如图3所示,该确定目标跟随策略的方法包括步骤S301至步骤S307。
步骤S301、获得拍摄设备采集到的图像。
步骤S303、通过检测所述拍摄设备采集到的图像,从所述拍摄设备采集到的图像中确定待跟随目标。
步骤S305、根据所述待跟随目标的特征,确定所述待跟随目标对应的跟随策略。
步骤S307、根据所述跟随策略,所述拍摄设备对所述待跟随目标进行跟随。
在需要确定待跟随目标跟随策略时,获取拍摄设备采集到的图像,并在拍摄设备采集到的图像中确定待跟随目标,并识别该待跟随目标的特征,确定对应该待跟随目标的跟随策略,并根据待跟随目标的跟随策略,对待跟随目标进行跟随,从而提高针对不同待跟随目标进行跟随的准确度和可靠性。其中,目标确定装置用于与拍摄设备通信连接,拍摄设备可以为智能手机,也可以为相机,例如为单反相机,还可以为摄像头。拍摄设备采集的图像可以为原图像,也可以为经过处理后的图像。图像的处理方式可以为对图像进行降噪,也可以为对图像添加滤镜。待跟随目标可以为婴儿,也可以为成人。跟随策略可以为婴儿跟随策略,也可以为成人跟随策略,其中婴儿跟随策略的跟随速度比成人跟随策略的跟随速度慢。待跟随目标和跟随策略可基于实际情况进行设置。
在一实施例中,通过检测该拍摄设备采集到的图像,从所述拍摄设备采集到的图像中确定待跟随目标,确定拍摄设备采集到的图像中包含有待跟随目标第一目标对象,根据该第一目标对象的特征,确定对应该第一目标对象的跟随策略,对待跟随目标进行跟随。
其中,该待跟随目标的特征可以为该待跟随目标的面部特征;和/或,该待跟随目标的形貌轮廓;和/或,该待跟随目标的运动属性。其中,该待跟随目标的特征可以基于实际情况进行设置,本申请实施例对此不做具体限定。
在一个实施例中,待跟随目标的特征是根据待跟随目标的面部特征来确定的,例如,当待跟随目标的眼间距离近时,可以确定该待跟随目标为婴儿,而当采集到的图像中的待跟随目标眼间距离远时,可以确定该待跟随目标为成人。其中,该待跟随目标的面部特征可以基于实际情况进行设置,本申请实施例对此不做具体限定。
在一实施例中,待跟随目标的特征是根据待跟随目标的形貌轮廓来确定的,例如,当待跟随目标的形貌轮廓为襁褓时,可以确定该待跟随目标为婴儿,而当采集到的图像中的待跟随目标的形貌轮廓为四肢舒展时,可以确定该待跟随目标为成人。其中,该待跟随目标的形貌轮廓可以基于实际情况进行设置,本申请实施例对此不做具体限定。
在一个实施例中,待跟随目标的特征是根据待跟随目标的运动属性来确定的,例如,当待跟随目标的运动缓慢时,可以确定该待跟随目标为婴儿的概率相对较高,而当采集到的图像中的待跟随目标运动剧烈时,可以确定该待跟随目标为成人的概率相对较高。其中,该待跟随目标的运动属性可以基于实际情况进行设置,本申请实施例对此不做具体限定。
在一个实施例中,拍摄设备采集到的图像包含有待跟随目标婴儿,通过检测该拍摄设备采集到的图像,从所述拍摄设备采集到的图像中确定待跟随目标婴儿,根据该待跟随目标婴儿的特征,确定对应该待跟随目标婴儿的跟随策略为婴儿跟随策略。
其中,婴儿跟随策略可以为根据拍摄设备当前采集到的图像、拍摄设备先前采集到的图像和拍摄设备后续采集到的图像,采用较为缓慢的跟随速度对待跟随目标婴儿进行跟随。
在一个实施例中,婴儿跟随策略可以为根据拍摄设备当前采集到的图像、拍摄设备先前采集到的图像和拍摄设备后续采集到的图像,在获得待跟随目标当前采集的图像时,将拍摄设备向待跟随目标的所在位置进行精确调整。
在一个实施例中,拍摄设备采集到的图像包含有待跟随目标成人,通过检测该拍摄设备采集到的图像,从所述拍摄设备采集到的图像中确定待跟随目标成人,根据该待跟随目标的特征,确定对应该待跟随目标婴儿的跟随策略为成人跟随策略。
其中,成人跟随策略可以为根据拍摄设备当前采集到的图像、拍摄设备先前采集到的图像和拍摄设备后续采集到的图像,采用较为迅速的跟随速度对待跟随目标成人进行跟随。
在一个实施例中,成人跟随策略可以为根据拍摄设备当前采集到的图像、拍摄设备先前采集到的图像和拍摄设备后续采集到的图像,在待跟随目标运动之前,根据拍摄设备当前采集到的图像和拍摄设备先前采集到的图像计算得出待跟随目标的运动状态,并根据该运动状态计算得出待跟随目标的后续位置,在待跟随目标运动之前,预先将拍摄设备向待跟随目标的后续位置进行微调,并在获得当前采集的图像时,将拍摄设备向待跟随目标的所在位置进行精确调整。
请参阅图4,图4是本申请实施例提供的一种确定目标对象特征库的步骤示意流程图。
如图4所示,该确定目标对象特征库包括步骤S401至S405。
步骤S401、在模型图像中,确定第一目标对象。
其中,模型图像为用于确定目标对象的图像。也就是说,含有第一目标对象的图像可以为模型图像。第一目标对象可以为婴儿,也可以为成人。
在一个实施例中,确定第一目标对象包括确定该第一目标对象的属性和/或该第一目标对象对应的图像区域。
第一目标对象的属性用于表示第一目标对象的类别。例如,该第一目标对象的属性可以为婴儿。又例如,该第一目标对象的属性也可以为成人。然而本发明并非限于此,第一目标对象的类别也可以包括其他的类别。例如,该第一目标对象的属性可以进一步包括:中年人,老人,儿童等。该第一目标对象对应的图像区域可以为该第一目标对象在图像中出现的区域。
在一个实施例中,当确定第一目标对象对应的图像区域后,可以使用位置标识在模型图像中指示第一目标对象对应的图像区域。上述在模型图像中指示第一目标对象对应的图像区域的位置标识包括在第一目标对象所处的区域显示矩形框和/或标识图标。
示例性的,如图5所示,模型图像中包括第一目标对象501、第二目标对象503和背景505。第一目标对象501所处的区域显示有矩形框507。其中,标识第一目标对象的方式可以基于实际情况进行设计,本申请实施例对此不做具体限定。
在一个实施例中,确定第一目标对象的属性为婴儿。第一目标对象的属性可基于实际情况进行设置,本申请实施例对此不做具体限定。
步骤S403、提取第一目标对象的特征。
其中,第一目标对象的特征可以为该待跟随目标的面部特征;和/或,该待跟随目标的形貌轮廓;和/或,该待跟随目标的运动属性。其中,该第一目标对象的特征可以基于实际情况进行设置,本申请实施例对此不做具体限定。
在一实施例中,当确定的第一目标对象为婴儿时,提取该第一目标对象的特征,该特征可以为婴儿的面部特征,该特征也可以为婴儿的形貌轮廓,该特征还可以为婴儿的运动属性。其中,该第一目标对象的特征可以基于实际情况进行设置,本申请实施例对此不做具体限定。
在一实施例中,当确定的第一目标对象为成人时,提取该第一目标对象的特征,该特征可以为成人的面部特征,该特征也可以为成人的形貌轮廓,该特征还可以为成人的运动属性。其中,该第一目标对象的特征可以基于实际情况进行设置,本申请实施例对此不做具体限定。
步骤S405、根据已提取的特征,建立关于所述第一目标对象的特征库。
其中,第一目标对象的特征库可以包含该第一目标对象的面部特征;和/或,该第一目标对象的形貌轮廓;和/或,该第一目标对象的运动属性。
在一实施例中,当确定的第一目标对象为婴儿时,提取该第一目标对象的特征,建立关于婴儿的第一目标对象的特征库,该特征库包括:婴儿的面部特征;和/或,婴儿的形貌轮廓;和/或,婴儿的运动属性。该特征库包含内容可基于实际情况进行设置,本申请实施例对此不做具体限定。
在一实施例中,当确定的第一目标对象为成人时,提取该第一目标对象的特征,建立关于成人的第一目标对象的特征库,该特征库包括:成人的面部特征;和/或,成人的形貌轮廓;和/或,成人的运动属性。该特征库包含内容可基于实际情况进行设置,本申请实施例对此不做具体限定。
在识别待跟随目标之前,需要确定上述目标对象特征库。
请参阅图6,图6是图3中的确定目标跟随策略的方法的一子步骤示意流程图。
如图6所示,该确定目标跟随策略的方法在确定所述目标对象特征库之后可以包括子步骤S601至子步骤S605。
子步骤S601、确定关于所述第一目标对象的特征。
在一个实施例中,当第一目标对象为婴儿时,需要确定该第一目标对象的特征。该特征可以包括婴儿的面部特征;和/或,婴儿的形貌轮廓;和/或,婴儿的运动属性。该第一目标对象可基于实际情况进行设置,本申请实施例对此不做具体限定。
子步骤S603、根据所述第一目标对象的特征,在所述模板图像中确定是否存在第一候选目标对象。
其中,从给定模型图像中,根据上述第一目标对象的特征,可以在模板图像中确定是否存在第一候选目标对象,该第一候选目标对象具有上述第一目标对象的特征。
子步骤S605、若所述模型图像中包括所述第一候选目标对象,则确定所述第一候选目标对象是所述第一目标对象的概率,以优化所述确定目标跟随策略的方法。
在一个实施例中,当第一目标对象为婴儿时,该第一目标对象的特征可以为婴儿的面部特征;和/或,婴儿的形貌轮廓;和/或,婴儿的运动属性。根据上述特征在模型图像中确定是否存在具有上述第一目标对象的特征的第一候选目标对象。当该模型图像中存在该第一候选目标对象时,判断该第一候选目标对象为婴儿的概率。
如图7所示,确定所述第一候选目标对象是所述第一目标对象的概率,以优化所述确定目标跟随的方法包括子步骤S701至子步骤S705。
子步骤S701、确定所述第一候选目标对象和所述第一目标对象是同一类别的第一概率。
子步骤S703、确定所述第一候选目标对象在第一位置的第二概率。
确定第一候选目标对象是第一目标对象的概率可以为:确定该第一候选目标对象和该第一目标对象是同一类别的第一概率,其中,该第一概率可以为该第一候选目标对象的特征与该第一目标对象的特征的一致程度;确定该第一候选目标对象和该第一目标对象在第一位置的第二概率,其中,该第一位置可以为该第一目标对象在图像中的位置,该第二概率可以为该第一候选目标对象在图像中的位置与该第一位置的距离。
其中,第一候选目标对象的第一概率可以根据第一预设映射关系和第一候选目标对象与第一目标对象是同一类别的一致程度确定,第一预设映射关系包括不同一致程度各自对应的该第一候选目标对象和该第一目标对象是同一类别的第一概率,例如,该第一候选目标对象的特征与该第一目标对象的特征的一致程度为60%、70%、90%、95%对应的第一候选目标对象和该第一目标对象是同一类别的第一概率分别为60分、70分、90分、95分,因此,当该第一候选目标对象的特征与该第一目标对象的特征的一致程度为95%,则该第一候选目标对象和该第一目标对象是同一类别的第一概率为95分。
第一候选目标对象和第一目标对象在第一位置的第二概率可以根据第二预设映射关系和第一候选目标对象在图像中的位置与该第一目标对象在图像中的位置即第一位置之间的距离确定,第二预设关系包括不同距离对应的跟随指数,例如,距离为0.5厘米、1厘米、1.5厘米对应的第二概率分别为95分、90分、85分,因此,第一候选目标对象在图像中的位置与第一位置之间的距离为0.5厘米,则该第一候选目标对象和该第一目标对象在第一位置的第二概率为95分。
子步骤S705、根据所述第一概率和所述第二概率,得出所述第一候选目标对象是否是第一目标对象的预测结果。
在一实施例中,根据第一概率和第二概率,确定第一候选目标对象是否是第一目标对象的预测结果的方式可以为:若仅考虑第一候选目标对象和所述第一目标对象是同一类别的第一概率,则将第一概率确定为第一候选目标对象是否为第一目标对象的预测结果;若仅考虑第一候选目标对象在第一位置的第二概率,则将第二概率确定为第一候选目标对象是否为第一目标对象的预测结果;若考虑第一候选目标对象和所述第一目标对象是同一类别的第一概率和第一候选目标对象在第一位置的第二概率,则将第一概率和第二概率之和确定为第一候选目标对象是否为第一目标对象的预测结果。
在一实施例中,若考虑第一候选目标对象和所述第一目标对象是同一类别的第一概率和第一候选目标对象在第一位置的第二概率,则计算第一预设权重与第一概率的乘积,并计算第二预设权重与第二概率的乘积;计算上述两个乘积的和,并将上述两个乘积的和确定为第一候选目标对象是否为第一目标对象的预测结果,其中,第一预设权重与第二预设权重之和为1。
根据第一概率和第二概率以及预测结果,可以优化确定目标跟随策略的方法。
在一个实施例中,可以根据第一概率和第二概率以及预测结果得出确定目标跟随策略的方法的目标函数,并根据该目标函数更新上述确定目标跟随策略的方法。其中,上述目标函数可以为表示确定目标跟随策略的方法的可靠性的函数,上述目标函数还可以为修正确定目标跟随策略的方法的函数,上述目标函数还可以用于优化如何确定待跟随目标的方法。上述更新上述确定目标跟随策略的方法可以为将目标函数加入确定待跟随目标策略的方法中,使得上述确定目标跟随策略的方法更加可靠。
在一实施例中,将图像中的第二目标对象确定为待跟随目标的方式可以为:若拍摄设备采集到的图像中存在多个第二目标对象,则确定每个第二目标对象的类别;根据拍摄设备的当前拍摄模式和每个第二目标对象的类别,从多个第二目标对象中确定待跟随目标。其中,拍摄设备的拍摄模式包括家庭拍摄模式、人像拍摄模式、宠物拍摄模式、植物拍摄模式、车辆拍摄模式和全景拍摄模式。通过基于拍摄设备的当前拍摄模式和每个第二目标对象的类别,确定待跟随目标,使得确定的待跟随目标更加符合用户的需求,极大地提高了用户体验。
在一实施例中,根据拍摄设备的当前拍摄模式和每个第二目标对象的类别,从多个第二目标对象中确定待跟随目标的方式可以为:从多个第二目标对象中确定是否存在符合拍摄设备的当前拍摄模式的第二目标对象,若符合拍摄设备的当前拍摄模式的第二目标对象仅有一个,则将该第二目标对象确定为待跟随目标;若类符合拍摄设备的当前拍摄模式的第二目标对象的数量至少为两个,则符合拍摄设备的当前拍摄模式的每个第二目标对象的跟随优先级,并将该跟随优先级最高对应的第二目标对象确定为待跟随目标。
如图8所示,从所述拍摄设备采集到的图像中确定待跟随目标可以为通过用户操作,选择待跟随目标,包括子步骤S801至子步骤S803。
子步骤S801、响应于用户的点击操作,在点击位置附近的图像区域内识别所述待跟随目标。
其中,响应于用户对拍摄设备采集到的图像的点击操作,能够从该图像中确定待跟随目标。其中,点击操作包括单击操作、双击操作和长按操作等。
子步骤S803、标注所述待跟随目标的类别,和/或所述待跟随目标的所在位置。
其中,待跟随目标的类别可以为婴儿,也可以为成人,还可以为植物等。当待跟随目标的类别为婴儿时,该待跟随目标的特征可以为婴儿的面部特征;和/或,婴儿的形貌轮廓;和/或,婴儿的运动属性。该待跟随目标的类别以及该待跟随目标的特征可基于实际情况进行设置,本申请实施例对此不做具体限定。
在一个实施例中,如图9所示,用户对拍摄设备采集到的图像中的位置901进行点击操作,在位置901附近的图像区域903内识别到待跟随目标905。
在一个实施例中,如图9所示,在用户点击位置附近的图像区域内识别待跟随目标905,并标注待跟随目标905的类别907,例如婴儿;和/或,标注待跟随目标905的所在位置,例如矩形框909和/或标识图标911。
如图10所示,从所述拍摄设备采集到的图像中确定待跟随目标可以为通过用户操作,选择待跟随目标,包括子步骤S1001至S1003。
子步骤S1001、响应于用户对模式选择按键的第一按压操作,在图像中央区域内识别所述待跟随目标。
其中模式选择按键用于选择不同的拍摄模式,拍摄模式包括家庭拍摄模式、人像拍摄模式、宠物拍摄模式、植物拍摄模式、车辆拍摄模式和全景拍摄模式等。
响应于用户对该跟随控制按键的第一按压操作,获取拍摄设备采集到的图像,并通过显示装置显示图像,使得目标确定装置能够从该图像中确定待跟随目标。其中,第一按压操作包括单击操作、双击操作和长按操作等。
子步骤S1003、标注所述待跟随目标的类别,和/或标示所述待跟随目标的所在位置。
在一个实施例中,响应于用户对模式选择按键的第一按压操作,当用户选择的模式为家庭拍摄模式时,在拍摄设备采集的图像的预设区域识别是否存在待跟随目标婴儿。其中,拍摄设备采集的图像的预设区域可以为该图像的中央区域。拍摄设备采集的图像的预设区域可以基于实际情况进行设置,本申请实施例对此不做具体限定。
在一个实施例中,当用户选择的模式为家庭拍摄模式时,在拍摄设备采集的图像的中央区域识别是否存在婴儿目标对象,当识别结果为存在婴儿时,标注该待跟随目标的类别为婴儿,和/或标示该待跟随目标的所在位置。
在一个实施例中,确定目标跟随策略的方法可以为,通过检测拍摄设备采集到的图像,从拍摄设备采集到的图像中确定待跟随目标,识别待跟随目标的特征。
如图11所示,从拍摄设备采集到的图像中确定待跟随目标,识别待跟随目标的特征包括子步骤S1101至S1113。
子步骤S1101、将所述待跟随目标和模型图像中的第一目标对象进行比较。
在一个实施方式中,第一目标对象可以为婴儿,也可以为成人。
子步骤S1103、若所述待跟随目标的第一特征和所述第一目标对象的第一目标特征相似,则将所述待跟随目标标记为第一类别。
其中,第一特征和第一目标特征包括面部特征、形貌轮廓、运动属性中的至少一个。
步骤S1105、所述根据所述待跟随目标的特征,确定所述待跟随目标对应的跟随策略。
步骤S1107、若所述待跟随目标被标记为第一类别,则所述待跟随目标对应的跟随策略为第一跟随策略。
步骤S1109、若所述待跟随目标的第一特征和所述第一目标对象的第一目标特征不相似;则将所述待跟随目标和模型图像中的第二目标对象进行比较。
步骤S1111、若所述待跟随目标的第一特征和所述第二目标对象的第二目标对象特征相似,则将所述待跟随目标标记为第二类别。
其中,第一目标对象和第二目标对象不同。
步骤S1113、若所述待跟随目标被标记为第二类别,则所述待跟随目标对应的跟随策略为第二跟随策略。
其中,第一跟随策略和第二跟随策略不同。例如,第一跟随策略的跟随速度比第二跟随策略的跟随速度缓慢。
在一个实施例中,检测拍摄设备采集到的图像,从拍摄设备采集到的图像中确定待跟随目标,通过识别待跟随目标的特征,例如,识别待跟随目标的面部特征;和/或,识别待跟随目标的形貌轮廓;和/或,识别待跟随目标的运动属性。示例性地,当待跟随目标的第一特征为面部特征,模型图像中的第一目标对象为婴儿,模型图像中的第一目标对象的第一目标特征为面部特征时,将待跟随目标的面部特征和模型图像中的面部特征进行比较。当待跟随目标的面部特征和模型图像中的面部特征相似时,标记该待跟随目标为婴儿。根据待跟随目标的特征,确定待跟随目标对应的跟随策略,示例性地,当待跟随目标为婴儿时,根据婴儿运动属性较为缓慢的特点,可以确定该待跟随目标对应的跟随策略为第一跟随策略。
在一个实施例中,检测拍摄设备采集到的图像,从拍摄设备采集到的图像中确定待跟随目标,通过识别待跟随目标的特征,例如,识别待跟随目标的面部特征;和/或,识别待跟随目标的形貌轮廓;和/或,识别待跟随目标的运动属性。示例性地,当待跟随目标的第一特征为面部特征,模型图像中的第一目标对象为婴儿,模型图像中的第一目标的第一目标特征为第一面部特征时,将待跟随目标的面部特征和模型图像中的面部特征进行比较。当待跟随目标的面部特征和模型图像中的第一目标特征的面部特征不相似时,将待跟随目标的面部特征与模型图像中的第二目标对象的第二目标特征进行比较。其中,第二目标对象的第二目标特征也为第二面部特征。也就是说,将待跟随目标的面部特征与第二目标对象的第二面部特征进行比较。例如,当模型图像中的第二目标对象为成人时,将待跟随目标的面部特征和模型图像中的成人的面部特征进行比较。当待跟随目标的面部特征和成人的面部特征相似时,标记该待跟随目标为成人。根据待跟随目标的特征,确定待跟随目标对应的跟随策略,示例性地,当待跟随目标为成人时,根据成人运动属性较为迅速的特点,可以确定该待跟随目标对应的跟随策略为第二跟随策略。
如图12所示,确定目标跟随策略的方法中,识别待跟随目标的特征,包括子步骤S1201至S1203。
子步骤S1201、将所述待跟随目标和模型图像中的多个目标对象进行比较,以从所述多个目标对象中确定第一目标对象。
其中,目标对象可以包括婴儿目标对象;和/或成人目标对象。第一目标对象可以为婴儿,也可以为成人。第一目标对象的特征和待跟随目标的特征可以为面部特征;和/或,形貌轮廓;和/或,运动属性,所述第一目标对象的特征与所述待跟随目标的特征相似。
子步骤S1203、根据所述第一目标对象的类别,确定所述待跟随目标对应的跟随策略。
其中,所述第一目标对象的类别位于预设类别库,该预设类别库可以包括婴儿预设类别库,也可以包括成人预设类别库。该预测类别库包括多个目标对象各自对应的类别。例如,婴儿目标对象对应婴儿预设类别库,成人目标对象对应成人预设类别库。
在一个实施例中,模型图像中的目标对象有婴儿目标对象和成人目标对象,通过将待跟随目标与上述两个目标对象进行比较,示例性地,当该待跟随目标的面部特征与婴儿目标对象的面部特征相似,和/或,该待跟随目标的形貌轮廓与婴儿目标对象的形貌轮廓相似,和/或,该待跟随目标的运动属性与婴儿目标对象的运动属性相似时,确定婴儿目标对象为第一目标对象。根据该第一目标对象的类别,即婴儿,确定该待跟随目标对应的跟随策略为婴儿跟随策略。
在一个实施例中,模型图像中的目标对象有婴儿目标对象和成人目标对象,通过将待跟随目标与上述两个目标对象进行比较,示例性地,当该待跟随目标的面部特征与成人目标对象的面部特征相似,和/或,该待跟随目标的形貌轮廓与成人目标对象的形貌轮廓相似,和/或,该待跟随目标的运动属性与成人目标对象的运动属性相似时,确定成人目标对象为第一目标对象。根据该第一目标对象的类别,即成人,确定该待跟随目标对应的跟随策略为成人跟随策略。
如图13所示,确定目标跟随策略的方法中,通过检测拍摄设备采集到的图像,从上述拍摄设备采集到的图像中确定待跟随目标,包括子步骤S1301至S1307。
子步骤S1301、从所述拍摄设备采集到的图像中确定第一目标和第二目标。
其中,所述第一目标和所述第二目标不同。
子步骤S1303、将所述第一目标与模型图像中的多个目标对象进行比较,以确定第一识别结果。
子步骤S1305、将所述第二目标与所述多个目标对象进行比较,以确定第二识别结果。
子步骤S1307、根据所述第一识别结果和所述第二识别结果,从所述第一目标和所述第二目标中确定所述待跟随目标。
其中,第一识别结果和第二识别结果可以为该第一目标和第二目标的类别;和/或,占拍摄设备采集到的图像的画幅比例;和/或在拍摄设备采集到的图像中的位置。示例性地,第一目标在拍摄设备采集到的图像中的位置可以为与预设位置之间的距离,预设位置可以为图像的中心位置,也可以为图像的构图最佳位置。
根据第一识别结果和第二识别结果,可以确定第一目标和第二目标的跟随优先级。
在一个实施例中,当第一识别结果指示第一目标属于第一类别,例如婴儿,第二识别结果指示第二目标属于第二目标类别,例如成人时。确定第一目标的跟随优先级为一级,第二目标的跟随优先级为二级,其中一级对应的优先级最高,将第一目标作为待跟随目标。其中,第一类别和第二类别可基于实际情况进行设置,本申请实施例对此不做具体限定。
在一个实施例中,当第一识别结果为第一目标对应的目标对象的类别为第一目标对象,第二识别结果为第二目标对应的目标对象的类别为第二目标对象则上述第一识别结果指示第一目标属于第一类别。
在一个实施例中,当上述第一识别结果指示第一目标占拍摄设备采集到的图像的画幅比例为30%,上述第二识别结果至少第二目标对象占拍摄设备采集的图像的画幅比例为10%,则确定第一目标的跟随优先级为一级,第二目标对象的跟随优先级为二级,其中一级对应的优先级最高,将第一目标作为待跟随目标。
在一个实施例中,当上述第一识别结果指示第一目标在拍摄设备采集到的图像的位置与中心位置之间的距离为a,上述第二识别结果至少第二目标对象在拍摄设备采集的图像的位置与中心位置之间的距离为b,其中,a<b,则确定第一目标的跟随优先级为一级,第二目标对象的跟随优先级为二级,其中一级对应的优先级最高,将第一目标作为待跟随目标。
在一实施例中,根据每个目标对应的目标对象的类别、占该图像的画幅比例和/或在该图像中的位置,确定每个目标的第一跟随优先级的方式可以为:根据每个目标对应的目标对象的类别,确定每个目标的第一跟随指数;根据每个目标占该图像的画幅比例,确定第二跟随指数;确定每个目标的位置与该图像的中心位置之间的距离,并根据每个目标的位置与该图像的中心位置之间的距离,确定每个特定目标的第三跟随指数,并根据每个目标的第一跟随指数、第二跟随指数和/或第三跟随指数,确定每个目标跟随指数。通过比较不同目标的跟随指数确定每个目标的跟随优先级。
其中,第一目标的第一跟随指数可以根据第一预设映射关系和第一目标对应的目标对象的类别确定,第一预设映射关系包括不同目标对象的类别各自对应的跟随指数,例如,目标对象的类别为婴儿、成人对应的第一跟随指数分别为80分、90分,因此,第一目标的对应的目标对象的类别为婴儿,则第一目标的第一跟随指数为90分。
第一目标的第二跟随指数可以根据第二预设映射关系和第一目标的位置与该图像的中心位置之间的距离确定,第二预设关系包括不同距离对应的跟随指数,例如,距离为0.5厘米、1厘米、1.5厘米对应的跟随指数分别为90分、80分和70分,因此,第一目标的位置与该图像的中心位置之间的距离为0.5厘米,则第一目标的第二跟随指数为90分。
第一目标的第三跟随指数可以根据第三预设映射关系和第一目标占该图像的画幅比例确定,第三预设映射关系包括不同画幅比例对应的跟随指数,例如,画幅比例为5%、10%、12%对应的跟随指数分别为60分、65分和70分,因此,第一目标占该图像的画幅比例为12%,则第一目标的第三跟随指数为70分。第一预设映射关系、第二预设映射关系和第三预设映射关系可基于实际情况进行设置,本申请实施例对此不做具体限定。
在一实施例中,根据第一跟随指数、第二跟随指数和/或第三跟随指数,确定第一目标的目标跟随指数的方式可以为:若仅考虑第一目标对应的目标对象的类别,则将第一跟随指数确定为第一目标的目标跟随指数;若仅考虑第一目标在该图像中的位置,则将第二跟随指数确定为第一目标的目标跟随指数;若仅考虑第一目标占该图像的画幅比例,则将第三跟随指数确定为第一目标的目标跟随指数;若考虑第一目标的类别和在该图像中的位置,则将第一跟随指数和第二跟随指数之和确定为第一目标的目标跟随指数;若考虑第一目标对应的目标对象的类别和占该图像的画幅比例,则将第一跟随指数和第三跟随指数之和确定为第一目标的目标跟随指数;若考虑第一目标在该图像中的位置和占该图像的画幅比例,则将第二跟随指数和第三跟随指数之和确定为第一目标的目标跟随指数;若考虑第一目标对应的目标对象的类别、在该图像中的位置和占该图像的画幅比例,则将第一跟随指数、第二跟随指数和第三跟随指数之和确定为第一目标的目标跟随指数。
在一实施例中,若考虑第一目标对应的目标对象的类别和第一目标在该图像中的位置,则计算第一预设权重与第一目标的第一跟随指数的乘积,并计算第二预设权重与第一目标的第二跟随指数的乘积;计算上述两个乘积的和,并将上述两个乘积的和确定为第一目标的目标跟随指数,其中,第一预设权重与第二预设权重之和为1。
或者,若考虑第一目标对应的目标对象的类别和占该图像的画幅比例,则计算第一预设权重与第一目标的第一跟随指数的乘积,并计算第三预设权重与第一目标的第三跟随指数的乘积;计算上述两个乘积的和,并将上述两个乘积的和确定为第一目标的目标跟随指数,其中,第一预设权重与第三预设权重之和为1。
或者,若考虑第一目标在该图像中的位置和第一目标占该图像的画幅比例,则计算第二预设权重与第一目标的第二跟随指数的乘积,并计算第三预设权重与第一目标的第三跟随指数的乘积;计算上述两个乘积的和,并将上述两个乘积的和确定为第一目标的目标跟随指数,其中,第二预设权重与第三预设权重之和为1。
或者,若考虑第一目标对应的目标对象的类别、在该图像中的位置和占该图像的画幅比例,则计算第一预设权重与第一目标的第一跟随指数的乘积、计算第二预设权重与第一目标的第二跟随指数的乘积以及计算第三预设权重与第一目标的第三跟随指数的乘积;计算上述三个乘积的和,并将上述三个乘积的和确定为第一目标的目标跟随指数,其中,第一预设权重、第二预设权重与第三预设权重之和为1。
在一个实施例中,当拍摄模式为第一模式时,第一类别的优先级高于第二类别的优先级,确定第一类别对应的第一目标为待跟随目标,示例性地,当第一模式为家庭拍摄模式时,第一类别婴儿的优先级高于第二类别成人的优先级,确定第一目标婴儿为待跟随目标。
在一个实施例中,当第一识别结果指示第一目标属于第一类别,例如婴儿,第二识别结果指示第二目标属于第二目标类别,例如成人时。当第一识别结果对应的优先级高于所述第二识别结果对应的优先级时,则将第一目标作为待跟随目标。
在一个实施例中,当第一识别结果为拍摄设备采集到的图像中不存在第一目标对象,则根据所述第二识别结果,将拍摄设备采集到的图像中的所述第二目标确定为所述待跟随目标。
确定目标跟随策略的方法可以包括从拍摄设备采集到的图像中确定待跟随目标,若拍摄设备采集到的图像中不存在第一目标,存在多个第二目标时,若所述图像中存在多个第二目标,则根据多个第二目标对象中的每一个在拍摄设备采集到的图像中的显著程度,确定每个所述第二目标的所述第二跟随优先级,根据图像中的每个第二目标的第二跟随优先级,从多个第二目标中确定一个作为待跟随目标。其中,拍摄设备采集到的图像中包含有第一目标的特征的目标对象为第二目标。
在一实施例中,上述第二目标在拍摄设备采集到的图像中的显著程度可以根据第二目标在图像中的预设位置的停留时长确定和/或可以根据第二目标在采集到的图像中所处的图像区域与相邻图像区域之间的显著性值确定。可以理解的是,第二目标在图像中的预设位置的停留时长越长,则第二目标在采集到的图像中的显著程度越高,而第二目标在图像中的预设位置的停留时长越短,则第二目标在采集到的图像中的显著程度越低。第二目标在采集到的图像中所处的图像区域与相邻图像区域之间的显著性值越大,则第二目标在采集到的图像中的显著程度越高,而第二目标在采集到的图像中所处的图像区域与相邻图像区域之间的显著性值越小,则第二目标在采集到的图像中的显著程度越低。预设位置、预设停留时长和预设显著性值可基于实际情况进行设置或由用户自行设置,例如预设位置可以图像的中心位置,预设停留时长为10秒,预设显著值为50。
如果拍摄设备采集到的图像中存在多个第二目标,则根据第二目标的识别结果,确定每个第二目标的第二跟随优先级,并将第二跟随优先级最高对应的第二目标确定为待跟随目标。例如,第二目标A、第二目标B和第二目标C的第二跟随优先级分别为一级、二级和三级,一级对应的优先级最高,因此选择第二目标A作为待跟随目标。其中,第二跟随优先级用于描述选择第二目标作为待跟随目标的概率高低。若第二目标的第二跟随优先级越高,则选择该第二目标作为待跟随目标的概率越高。若第二目标的第二跟随优先级越低,则选择该第二目标作为待跟随目标的概率越低。通过确定每个第二目标的第二跟随优先级,并将第二跟随优先级最高对应的第二目标确定为待跟随目标,使得确定的待跟随目标更加符合用户的需求,提高用户体验。
在一实施例中,根据第二目标对象的第二识别结果,确定每个第二目标的第二跟随优先级的方式可以为:从第二识别结果中获取每个第二目标的跟随概率,其中,该跟随概率为根据目标检测算法对图像中的对象进行识别时输出的对象为第二目标的概率;和/或,从第二识别结果中获取每个第二目标在该图像中的位置;和/或,从第二识别结果中获取每个第二目标在该图像中的位置信息,并根据每个第二目标在该图像中的位置信息,确定每个第二目标占该图像的画幅比例;根据每个第二目标的跟随概率、在该图像中的位置和/或占该图像的画幅比例,确定每个第二目标的第二跟随优先级。
例如,第二目标A、第二目标B和第二目标C的跟随概率分别为90%、80%和85%,由于90%>85%>80%,因此,通过90%>85%>80%的大小关系,可以确定第二目标A的第二跟随优先级为一级、第二目标B的第二跟随优先级为二级,第二目标C的第二跟随优先级为三级。又例如,第二目标A、第二目标B和第二目标C占该图像的画幅比例分别为8%、12%和15%,由于15%>12%>8%,因此,通过15%>12%>8%的大小关系,可以确定第二目标A的第二跟随优先级为三级、第二目标B的第二跟随优先级为二级,第二目标C的第二跟随优先级为一级。
在一实施例中,根据每个第二目标在该图像中的位置,确定每个第二目标的第二跟随优先级的方式可以为:获取该图像的中心位置,并根据每个第二目标在该图像中的位置和该图像的中心位置,确定每个第二目标的位置与中心位置之间的距离;根据每个第二目标的位置与中心位置之间的距离,确定每个第二目标的第二跟随优先级。例如,第二目标A、第二目标B和第二目标C在该图像中的位置与中心位置之间的距离分别为d、e和f,且d>e>f,因此,通过d>e>f的大小关系,可以确定第二目标A的第二跟随优先级为三级、第二目标B的第二跟随优先级为二级,第二目标C的第二跟随优先级为一级。
在一实施例中,根据每个第二目标的跟随概率、在该图像中的位置和/或占该图像的画幅比例,确定每个第二目标的第二跟随优先级的方式可以为:根据每个第二目标的跟随概率,确定每个第二目标的第一跟随指数;确定每个第二目标的位置与该图像的中心位置之间的距离,并根据每个第二目标的位置与该图像的中心位置之间的距离,确定每个第二目标的第二跟随指数;根据每个第二目标占该图像的画幅比例,确定第三跟随指数,并根据每个第二目标的第一跟随指数、第二跟随指数和/或第三跟随指数,确定每个第二目标的目标跟随指数;根据每个第二目标的目标跟随指数,确定每个第二目标的第二跟随优先级。
其中,第二目标的第一跟随指数可以根据第一预设映射关系和第二目标的跟随概率确定,第一预设映射关系包括不同跟随概率各自对应的跟随指数,例如,跟随概率为60%、70%、90%、95%对应的跟随指数分别为60分、70分、90分、95分,因此,第二目标的跟随概率为90%,则第二目标的第一跟随指数为90分。
第二目标的第二跟随指数可以根据第二预设映射关系和第二目标的位置与该图像的中心位置之间的距离确定,第二预设关系包括不同距离对应的跟随指数,例如,距离为0.5厘米、1厘米、1.5厘米对应的跟随指数分别为90分、80分和70分,因此,第二目标的位置与该图像的中心位置之间的距离为1厘米,则第二目标的第二跟随指数为80分。
本申请并非限于此。根据本申请的另一实施方式,根据每个第二目标在该图像中的位置,确定每个第二目标的第二跟随优先级的方式可以为:在图像中指定一预定位置,并根据每个第二目标在该图像中的位置和该图像的预定位置,确定每个第二目标的位置与预定位置之间的距离;根据每个第二目标的位置与预定位置之间的距离,确定每个第二目标的第二跟随优先级。
第二目标的第三跟随指数可以根据第三预设映射关系和第二目标占该图像的画幅比例确定,第三预设映射关系包括不同画幅比例对应的跟随指数,例如,画幅比例为5%、10%、12%对应的跟随指数分别为60分、65分和70分,因此,第二目标占该图像的画幅比例为10%,则第二目标的第三跟随指数为65分。
在一实施例中,根据第一跟随指数、第二跟随指数和/或第三跟随指数,确定第二目标的目标跟随指数的方式可以为:若仅考虑第二目标的跟随概率,则将第一跟随指数确定为第二目标的目标跟随指数;若仅考虑第二目标在该图像中的位置,则将第二跟随指数确定为第二目标的目标跟随指数;若仅考虑第二目标占该图像的画幅比例,则将第三跟随指数确定为第二目标的目标跟随指数;若考虑第二目标的跟随概率和在该图像中的位置,则将第一跟随指数和第二跟随指数之和确定为第二目标的目标跟随指数;若考虑第二目标的跟随概率和占该图像的画幅比例,则将第一跟随指数和第三跟随指数之和确定为第二目标的目标跟随指数;若考虑第二目标在该图像中的位置和占该图像的画幅比例,则将第二跟随指数和第三跟随指数之和确定为第二目标的目标跟随指数;若考虑第二目标的跟随概率、在该图像中的位置和占该图像的画幅比例,则将第一跟随指数、第二跟随指数和第三跟随指数之和确定为第二目标的目标跟随指数。
在一实施例中,若考虑第二目标的跟随概率和第二目标在该图像中的位置,则计算第一预设权重与第二目标的第一跟随指数的乘积,并计算第二预设权重与第二目标的第二跟随指数的乘积;计算上述两个乘积的和,并将上述两个乘积的和确定为第二目标的目标跟随指数,其中,第一预设权重与第二预设权重之和为1。
或者,若考虑第二目标的跟随概率和占该图像的画幅比例,则计算第一预设权重与第二目标的第一跟随指数的乘积,并计算第三预设权重与第二目标的第三跟随指数的乘积;计算上述两个乘积的和,并将上述两个乘积的和确定为第二目标的目标跟随指数,其中,第一预设权重与第三预设权重之和为1。
或者,若考虑第二目标在该图像中的位置和显著性目标占该图像的画幅比例,则计算第二预设权重与第二目标的第二跟随指数的乘积,并计算第三预设权重与第二目标的第三跟随指数的乘积;计算上述两个乘积的和,并将上述两个乘积的和确定为第二目标的目标跟随指数,其中,第二预设权重与第三预设权重之和为1。
或者,若考虑第二目标的跟随概率、在该图像中的位置和占该图像的画幅比例,则计算第一预设权重与第二目标的第一跟随指数的乘积、计算第二预设权重与第二目标的第二跟随指数的乘积以及计算第三预设权重与第二目标的第三跟随指数的乘积;计算上述三个乘积的和,并将上述三个乘积的和确定为第二目标的目标跟随指数,其中,第一预设权重、第二预设权重与第三预设权重之和为1。
在进行目标跟随时,当第一目标为待跟随目标,则采用第一跟随模式进行跟随;当第二目标对象为待跟随目标,则采用第二跟随模式进行跟随。其中,第一目标的类别和第二目标对象的类别不同,第一跟随模式和第二跟随模式不同。第一目标、第二目标对象、第一跟随模式、第二跟随模式可基于实际情况进行设置,本申请实施例对此不做具体限定。
在一个实施例中,当第一目标为婴儿,第一目标为待跟随目标时,采用第一跟随模式进行跟随。
在一个实施例中,当第二目标对象为成人,第二目标对象为待跟随目标时,采用第二跟随模式进行跟随。
示例性地,上述第一跟随模式下拍摄设备的跟随速度可以比在上述第二跟随模式下拍摄设备的跟随速度慢。
拍摄设备采集到的图像包括拍摄设备当前采集到的图像、拍摄设备先前采集到的图像和拍摄设备后续采集到的图像,在第一跟随模式下,待跟随目标在拍摄设备先前采集到的图像中位于第一位置,待跟随目标在拍摄设备当前采集到的图像中位于第二位置,根据第二位置,调整拍摄设备的姿态;以及在第二跟随模式下,根据第一位置和第二位置的关系,预测待跟随目标在拍摄设备后续采集到的图像中的第三位置;根据第三位置,调整拍摄设备的姿态。
如图14所示,在一个实施例中,在第一跟随模式下,待跟随目标1401在拍摄设备先前采集到的图像中位于第一位置1403,在拍摄设备当前采集到的图像中位于第二位置1405。根据第二位置1405,调整拍摄设备的姿态使待跟随目标1401保持在图像中的预设区域。其中,该预设区域可以为画面的中心区域。
如图14所示,在一个实施例中,在第二跟随模式下,待跟随目标1401在拍摄设备先前采集到的图像中位于第一位置1403,在拍摄设备当前采集到的图像中位于第二位置1405,根据第一位置1403和第二位置1405的关系,预测待跟随目标在拍摄设备后续采集到的图像中的第三位置1407;根据第三位置1407,调整拍摄设备的姿态使待跟随目标1401保持在图像中的预设区域。其中,该预设区域可以为画面的中心区域。
如图15所示,确定目标跟随策略的方法可以包括子步骤S1501至S1507。
子步骤S1501、所述通过检测所述拍摄设备采集到的所述图像,从所述拍摄设备采集到的图像中确定待跟随目标。
其中,拍摄设备采集到的图像包括拍摄设备当前采集到的图像和拍摄设备先前采集到的图像。
子步骤S1503、在所述拍摄设备当前采集到的图像中确定多个第三目标。
子步骤S1505、将所述多个第三目标与所述拍摄设备先前采集到的图像中的待跟随目标进行比较,以确定第三识别结果。
其中,第三识别结果为对比上述第三目标的特征与上述待跟随目标的特征的相似程度。
子步骤S1507、若所述第三识别结果指示所述多个第三目标不与所述第一待跟随目标相似,则将所述多个第三目标与模型图像中的第一目标对象进行比较,以确定所述多个第三目标中是否存在所述第一待跟随目标。
在一个实施例中,通过检测拍摄设备采集到的所述图像,识别拍摄设备当前采集到的图像中存在多个第三目标C,将多个第三目标C的特征与所述拍摄设备先前采集到的图像中的待跟随目标A的特征进行比较,当上述比较的结果为第三目标C的特征与上述待跟随目标A的特征的不相似时,需要比对多个第三目标的特征与模型图像中的第一目标对象B的特征。
在一个实施例中,确定目标跟随策略的方法包括,当通过检测拍摄设备采集到的所述图像,识别拍摄设备当前采集到的图像中存在多个第三目标C,示例性地,待跟随目标A和第一目标对象B为婴儿,需要首先将第三目标C的面部特征;和/或,形貌轮廓;和/或,运动属性与待跟随目标A的面部特征;和/或,形貌轮廓;和/或,运动属性进行比较得出第三识别结果,当第三识别结果为第三目标C与待跟随目标A的特征不相似时,需要将第三目标C的面部特征;和/或,形貌轮廓;和/或,运动属性与第一目标对象B的面部特征;和/或,形貌轮廓;和/或,运动属性进行比较,若比较的结果为相似时,可以判断第三目标C为待跟随目标B;若比较的结果为不相似时,可以判断待跟随目标B在跟随的过程中被丢失。
确定目标跟随策略的方法可以包括将所述待跟随目标作为第一目标对象;提取所述第一目标对象的特征;根据已提取的特征,更新关于所述第一目标对应的特征库。
在一个实施例中,待跟随目标为婴儿,提取该待跟随目标的特征,包括面部特征;和/或,形貌轮廓;和/或,运动属性,并将上述特征添加入第一目标对应的特征库。以达到丰富特征库的效果,从而不断提高识别的准确性。
请参阅图16,图16是本申请实施例提供的一种确定目标跟随策略的装置的结构示意性框图。
如图16所示,确定目标跟随策略的装置1601包括处理器1603和存储器1605,处理器1603和存储器1605通过总线1607连接,该总线1607比如为I2C(Inter-integratedCircuit)总线。确定目标跟随策略的装置1601用于与拍摄设备通信连接。
具体地,处理器1603可以是微控制单元(Micro-controller Unit,MCU)、中央处理单元(Central Processing Unit,CPU)或数字信号处理器(Digital Signal Processor,DSP)等。
具体地,存储器1605可以是Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中,所述处理器1603用于运行存储在存储器1605中的计算机程序,并在执行所述计算机程序时实现如下步骤:
获取拍摄设备采集到的图像。
通过检测所述拍摄设备采集到的图像,从所述拍摄设备采集到的图像中确定待跟随目标。
根据所述待跟随目标的特征,确定所述待跟随目标对应的跟随策略。
根据所述跟随策略,所述拍摄设备对所述待跟随目标进行跟随。
在一个实施例中,所述确定目标跟随策略的装置用于与拍摄设备通信连接,所述确定目标跟随策略的装置包括存储器和处理器;所述存储器用于存储计算机程序;所述处理器,用于执行所述计算机程序并在执行所述计算机程序时,实现如下步骤:获取拍摄设备采集到的图像;通过检测所述拍摄设备采集到的图像,从所述拍摄设备采集到的图像中确定待跟随目标;根据所述待跟随目标的特征,确定所述待跟随目标对应的跟随策略;以及根据所述跟随策略,所述拍摄设备对所述待跟随目标进行跟随。
在一个实施例中,在识别所述待跟随目标之前,确定目标对象特征库。
在一个实施例中,所述确定目标对象特征库,包括:在模型图像中,确定第一目标对象;提取第一目标对象的特征;根据已提取的特征,建立关于所述第一目标对象的特征库。
在一个实施例中,所述在模型图像中,确定第一目标对象,包括:在所述模型图像中,确定所述第一目标对象的属性和/或所述第一目标对象对应的图像区域。
在一个实施例中,所述确定所述第一目标对象的属性和/或所述第一目标对象对应的图像区域,包括:通过位置标识指示所述第一目标对象对应的所述图像区域。
在一个实施例中,确定所述目标对象特征库之后,进一步包括:确定关于所述第一目标对象的特征;根据所述第一目标对象的特征,在所述模型图像中确定是否存在第一候选目标对象;若所述模型图像中包括所述第一候选目标对象,则确定所述第一候选目标对象是所述第一目标对象的概率。
在一个实施例中,所述确定所述第一候选目标对象是所述第一目标对象的概率,以优化所述确定目标跟随的方法,包括:确定所述第一候选目标对象和所述第一目标对象是同一类别的第一概率,确定所述第一候选目标对象在第一位置的第二概率;根据所述第一概率和所述第二概率,得出所述第一候选目标对象是否是第一目标对象的预测结果。
在一个实施例中,所述处理器进一步用于实现如下步骤:根据所述第一概率和所述第二概率以及所述预测结果,优化所述确定目标跟随策略的装置;其中,根据所述第一概率和所述第二概率以及所述预测结果得出所述确定目标跟随策略的装置的目标函数;以及根据所述目标函数更新所述确定目标跟随策略的装置。
在一个实施例中,其特征在于,所述从所述拍摄设备采集到的图像中确定待跟随目标,包括:通过用户操作,选择所述待跟随目标。
在一个实施例中,所述通过用户操作,选择所述待跟随目标,包括:响应于用户的点击操作,在点击位置附近的图像区域内识别所述待跟随目标;以及标注所述待跟随目标的类别,和/或所述待跟随目标的所在位置。
在一个实施例中,所述通过用户操作,选择所述待跟随目标,包括:响应于用户对模式选择按键的第一按压操作,在图像中央区域内识别所述待跟随目标;以及标注所述待跟随目标的类别,和/或标示所述待跟随目标的所在位置。
在一个实施例中,所述通过检测所述拍摄设备采集到的所述图像,从所述拍摄设备采集到的图像中确定待跟随目标,包括:识别所述待跟随目标的特征。
在一个实施例中,所述识别所述待跟随目标的特征,包括:将所述待跟随目标和模型图像中的第一目标对象进行比较;若所述待跟随目标的第一特征和所述第一目标对象的第一目标特征相似,则将所述待跟随目标标记为第一类别;以及所述根据所述待跟随目标的特征,确定所述待跟随目标对应的跟随策略,包括:若所述待跟随目标被标记为第一类别,则所述待跟随目标对应的跟随策略为第一跟随策略。
在一个实施例中,若所述待跟随目标的第一特征和所述第一目标对象的第一目标特征不相似;则将所述待跟随目标和模型图像中的第二目标对象进行比较;其中,所述第一目标对象和所述第二目标对象不同。
在一个实施例中,所述第一特征和所述第一目标特征包括面部特征、形貌轮廓、运动属性中的至少一个。
在一个实施例中,所述识别所述待跟随目标的特征,包括:将所述待跟随目标和模型图像中的多个目标对象进行比较,以从所述多个目标对象中确定第一目标对象,其中,所述第一目标对象的特征与所述待跟随目标的特征相似;以及所述根据所述待跟随目标的特征,确定所述待跟随目标对应的跟随策略,包括:根据所述第一目标对象的类别,确定所述待跟随目标对应的跟随策略;其中,所述第一目标对象的类别位于预设类别库;所述预测类别库包括多个目标对象各自对应的类别。
在一个实施例中,所述通过检测所述拍摄设备采集到的所述图像,从所述拍摄设备采集到的图像中确定待跟随目标,包括:从所述拍摄设备采集到的图像中确定第一目标和第二目标,其中所述第一目标和所述第二目标不同;将所述第一目标与模型图像中的多个目标对象进行比较,以确定第一识别结果;将所述第二目标与所述多个目标对象进行比较,以确定第二识别结果;以及根据所述第一识别结果和所述第二识别结果,从所述第一目标和所述第二目标中确定所述待跟随目标。
在一个实施例中,根据所述第一识别结果和所述第二识别结果,确定所述第一目标和所述第二目标的优先级。
在一个实施例中,所述第一识别结果指示所述第一目标属于第一类别;以及所述第一识别结果指示所述第一目标占所述图像的画幅比例和/或在所述图像中的位置;以及所述第二识别结果指示所述第二目标属于第二类别;所述第二识别结果指示所述第二目标占所述图像的画幅比例和/或在所述图像中的位置。其中,所述第一类别和所述第二类别不同。
在一个实施例中,所述第一类别为婴儿,所述第二类别为成人。
在一个实施例中,当所述拍摄模式为第一模式时,所述第一类别的优先级高于所述第二类别的优先级;确定所述第一类别对应的第一目标为所述待跟随目标。
在一个实施例中,所述第一识别结果对应的优先级高于所述第二识别结果对应的优先级,则将所述第一目标作为所述待跟随目标。
在一个实施例中,若所述第一识别结果为所述拍摄设备采集到的图像中不存在所述第一目标对象,则根据所述第二识别结果,将所述拍摄设备采集到的图像中的所述第二目标确定为所述待跟随目标。
在一个实施例中,将所述图像中的所述第二目标确定为所述待跟随目标,包括:若所述图像中存在多个所述第二目标,则根据多个所述第二目标对象中的每一个在所述拍摄设备采集到的图像中的显著程度,确定每个所述第二目标的所述第二跟随优先级;根据所述图像中的每个所述第二目标的所述第二跟随优先级,从多个所述第二目标中确定所述待跟随目标。
在一个实施例中,目标跟随包括:若所述第一目标为所述待跟随目标,则采用第一跟随模式进行跟随;若所述第二目标为所述待跟随目标,则采用第二跟随模式进行跟随;所述第一目标的类别和所述第二目标的类别不同,所述第一跟随模式和所述第二跟随模式不同。
在一个实施例中,在所述第一跟随模式下所述拍摄设备的跟随速度比在所述第二跟随模式下所述拍摄设备的跟随速度慢。
在一个实施例中,所述拍摄设备采集到的所述图像包括拍摄设备当前采集到的图像、拍摄设备先前采集到的图像和拍摄设备后续采集到的图像;在所述第一跟随模式下,所述待跟随目标在所述拍摄设备先前采集到的图像中位于第一位置,所述待跟随目标在所述拍摄设备当前采集到的图像中位于第二位置,根据所述第二位置,调整所述拍摄设备的姿态;以及在所述第二跟随模式下,根据所述第一位置和所述第二位置的关系,预测所述待跟随目标在所述拍摄设备后续采集到的图像中的第三位置;根据所述第三位置,调整所述拍摄设备的姿态。
在一个实施例中,所述拍摄设备采集到的所述图像包括拍摄设备当前采集到的图像和拍摄设备先前采集到的图像;以及所述通过检测所述拍摄设备采集到的所述图像,从所述拍摄设备采集到的图像中确定待跟随目标,包括:在所述拍摄设备当前采集到的图像中确定多个第三目标;将所述多个第三目标与所述拍摄设备先前采集到的图像中的待跟随目标进行比较,以确定第三识别结果;若所述第三识别结果指示所述多个第三目标不与所述第一待跟随目标相似,则将所述多个第三目标与模型图像中的第一目标对象进行比较,以确定所述多个第三目标中是否存在所述第一待跟随目标。
在一个实施例中,进一步包括:将所述待跟随目标作为第一目标对象;提取所述第一目标对象的特征;根据已提取的特征,更新关于所述第一目标对应的特征库。
请参阅图17,图17是本申请实施例提供的一种确定目标跟随策略的系统的结构示意性框图。
如图17所示,确定目标跟随策略的系统1701包括确定目标跟随策略的装置1703、云台1705、搭载于云台1705上的拍摄设备1707,该确定目标跟随策略的装置1703与拍摄设备1707通信连接。在一实施例中,云台1705连接于手柄部,确定目标跟随策略的装置1703设置在手柄部上。在另一实施例中,云台1705搭载在可移动平台上,确定目标跟随策略的装置1703还用于控制可移动平台移动。
在一个实施例中,所述云台连接于手柄部,所述确定目标跟随策略的装置设置在所述手柄部上。
在一个实施例中,所述云台搭载在可移动平台上,所述确定目标跟随策略的装置还用于控制所述可移动平台移动。需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的目标跟随系统的具体工作过程,可以参考前述待跟随目标的确定方法实施例中的对应过程,在此不再赘述。
请参阅图18,图18是本申请实施例提供的一种手持云台的结构示意性框图。
如图18所示,手持云台1801包括确定目标跟随策略的装置1803、手柄部、连接于手柄部的云台1805,云台1805用于搭载拍摄设备,确定目标跟随策略的装置1803设置在手柄部上。确定目标跟随策略的装置1803与云台1805连接。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的手持云台的具体工作过程,可以参考前述待跟随目标的确定方法实施例中的对应过程,在此不再赘述。
请参阅图19,图19是本申请实施例提供的一种可移动平台的结构示意性框图。
如图19所示,可移动平台1901包括平台本体、搭载于平台本体的云台1903和确定目标跟随策略的装置1905,云台1903用于搭载拍摄设备,确定目标跟随策略的装置1905设置在平台本体上。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的可移动平台的具体工作过程,可以参考前述待跟随目标的确定方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,所述处理器执行所述程序指令,实现上述实施例提供的确定目标跟随策略的方法的步骤。
其中,所述计算机可读存储介质可以是前述任一实施例所述的控制终端或无人飞行器的内部存储单元,例如所述控制终端或无人飞行器的硬盘或内存。所述计算机可读存储介质也可以是所述控制终端或无人飞行器的外部存储设备,例如所述控制终端或无人飞行器上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。
应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (64)
1.一种确定目标跟随策略的方法,其特征在于,所述确定目标跟随策略的方法包括:
获取拍摄设备采集到的图像;
通过检测所述拍摄设备采集到的图像,从所述拍摄设备采集到的图像中确定待跟随目标;
根据所述待跟随目标的特征,确定所述待跟随目标对应的跟随策略;以及
根据所述跟随策略,所述拍摄设备对所述待跟随目标进行跟随。
2.根据权利要求1所述的确定目标跟随策略的方法,其特征在于,在识别所述待跟随目标之前,确定目标对象特征库。
3.根据权利要求2所述的确定目标跟随的方法,其特征在于,所述确定目标对象特征库,包括:
在模型图像中,确定第一目标对象;
提取第一目标对象的特征;
根据已提取的特征,建立关于所述第一目标对象的特征库。
4.根据权利要求3所述的确定目标跟随策略的方法,其特征在于,所述在模型图像中,确定第一目标对象,包括:
在所述模型图像中,确定所述第一目标对象的属性和/或所述第一目标对象对应的图像区域。
5.根据权利要求4所述的确定目标跟随策略的方法,其特征在于,所述确定所述第一目标对象的属性和/或所述第一目标对象对应的图像区域,包括:
通过位置标识指示所述第一目标对象对应的所述图像区域。
6.根据权利要求3所述的确定目标跟随策略的方法,其特征在于,确定所述目标对象特征库之后,进一步包括:
确定关于所述第一目标对象的特征;
根据所述第一目标对象的特征,在所述模型图像中确定是否存在第一候选目标对象;
若所述模型图像中包括所述第一候选目标对象,则确定所述第一候选目标对象是所述第一目标对象的概率,以优化所述确定目标跟随策略的方法。
7.根据权利要求6所述的确定目标跟随策略的方法,其特征在于,所述确定所述第一候选目标对象是所述第一目标对象的概率,以优化所述确定目标跟随的方法,包括:
确定所述第一候选目标对象和所述第一目标对象是同一类别的第一概率;
确定所述第一候选目标对象在第一位置的第二概率;
根据所述第一概率和所述第二概率,得出所述第一候选目标对象是否是第一目标对象的预测结果。
8.根据权利要求7所述的确定目标跟随策略的方法,其特征在于,进一步包括:
根据所述第一概率和所述第二概率以及所述预测结果,优化所述确定目标跟随策略的方法;
其中,根据所述第一概率和所述第二概率以及所述预测结果得出所述确定目标跟随策略的方法的目标函数;以及
根据所述目标函数更新所述确定目标跟随策略的方法。
9.根据权利要求1中所述的确定目标跟随策略的方法,其特征在于,所述从所述拍摄设备采集到的图像中确定待跟随目标,包括:
通过用户操作,选择所述待跟随目标。
10.根据权利要求9所述的确定目标跟随策略的方法,其特征在于,所述通过用户操作,选择所述待跟随目标,包括:
响应于用户的点击操作,在点击位置附近的图像区域内识别所述待跟随目标;以及
标注所述待跟随目标的类别,和/或所述待跟随目标的所在位置。
11.根据权利要求9所述的确定目标跟随策略的方法,其特征在于,所述通过用户操作,选择所述待跟随目标,包括:
响应于用户对模式选择按键的第一按压操作,在图像中央区域内识别所述待跟随目标;以及
标注所述待跟随目标的类别,和/或标示所述待跟随目标的所在位置。
12.根据权利要求1所述的确定目标跟随策略的方法,其特征在于,所述通过检测所述拍摄设备采集到的所述图像,从所述拍摄设备采集到的图像中确定待跟随目标,包括:
识别所述待跟随目标的特征。
13.根据权利要求12所述的确定目标跟随策略的方法,其特征在于,所述识别所述待跟随目标的特征,包括:
将所述待跟随目标和模型图像中的第一目标对象进行比较;
若所述待跟随目标的第一特征和所述第一目标对象的第一目标特征相似,则将所述待跟随目标标记为第一类别;以及
所述根据所述待跟随目标的特征,确定所述待跟随目标对应的跟随策略,包括:
若所述待跟随目标被标记为第一类别,则所述待跟随目标对应的跟随策略为第一跟随策略。
14.根据权利要求13所述的确定目标跟随策略的方法,其特征在于,若所述待跟随目标的第一特征和所述第一目标对象的第一目标特征不相似;则将所述待跟随目标和模型图像中的第二目标对象进行比较;
其中,所述第一目标对象和所述第二目标对象不同。
15.根据权利要求13所述的确定目标跟随策略的方法,其特征在于,所述第一特征和所述第一目标特征包括面部特征、形貌轮廓、运动属性中的至少一个。
16.根据权利要求1所述的确定目标跟随策略的方法,其特征在于,所述识别所述待跟随目标的特征,包括:
将所述待跟随目标和模型图像中的多个目标对象进行比较,以从所述多个目标对象中确定第一目标对象,其中,所述第一目标对象的特征与所述待跟随目标的特征相似;以及
根据所述第一目标对象的类别,确定所述待跟随目标对应的跟随策略;
其中,所述第一目标对象的类别位于预设类别库;所述预测类别库包括多个目标对象各自对应的类别。
17.根据权利要求1所述的确定目标跟随策略的方法,其特征在于,所述通过检测所述拍摄设备采集到的所述图像,从所述拍摄设备采集到的图像中确定待跟随目标,包括:
从所述拍摄设备采集到的图像中确定第一目标和第二目标,其中所述第一目标和所述第二目标不同;
将所述第一目标与模型图像中的多个目标对象进行比较,以确定第一识别结果;
将所述第二目标与所述多个目标对象进行比较,以确定第二识别结果;以及
根据所述第一识别结果和所述第二识别结果,从所述第一目标和所述第二目标中确定所述待跟随目标。
18.根据权利要求17所述的确定目标跟随策略的方法,其特征在于,根据所述第一识别结果和所述第二识别结果,确定所述第一目标和所述第二目标的优先级。
19.根据权利要求17所述的确定目标跟随策略的方法,其特征在于,所述第一识别结果指示所述第一目标属于第一类别;以及
所述第一识别结果指示所述第一目标占所述图像的画幅比例和/或在所述图像中的位置;以及
所述第二识别结果指示所述第二目标属于第二类别;
所述第二识别结果指示所述第二目标占所述图像的画幅比例和/或在所述图像中的位置,
其中,所述第一类别和所述第二类别不同。
20.根据权利要求19所述的确定目标跟随策略的方法,其特征在于,所述第一类别为婴儿,所述第二类别为成人。
21.根据权利要求19所述的确定目标跟随策略的方法,其特征在于,当所述拍摄模式为第一模式时,所述第一类别的优先级高于所述第二类别的优先级;
确定所述第一类别对应的第一目标为所述待跟随目标。
22.根据权利要求17所述的确定目标跟随策略的方法,其特征在于,所述第一识别结果对应的优先级高于所述第二识别结果对应的优先级,则将所述第一目标作为所述待跟随目标。
23.根据权利要求17所述的确定目标跟随策略的方法,其特征在于,若所述第一识别结果为所述拍摄设备采集到的图像中不存在第一目标对象,则根据所述第二识别结果,将所述拍摄设备采集到的图像中的所述第二目标确定为所述待跟随目标。
24.根据权利要求23所述的确定目标跟随策略的方法,其特征在于,将所述图像中的所述第二目标确定为所述待跟随目标,包括:
若所述图像中存在多个所述第二目标,则根据多个所述第二目标对象中的每一个在所述拍摄设备采集到的图像中的显著程度,确定每个所述第二目标的所述第二跟随优先级;
根据所述图像中的每个所述第二目标的所述第二跟随优先级,从多个所述第二目标中确定所述待跟随目标。
25.根据权利要求17所述的确定目标跟随策略的方法,其特征在于,目标跟随包括:
若所述第一目标为所述待跟随目标,则采用第一跟随模式进行跟随;
若所述第二目标为所述待跟随目标,则采用第二跟随模式进行跟随;
所述第一目标的类别和所述第二目标的类别不同,所述第一跟随模式和所述第二跟随模式不同。
26.根据权利要求25所述的确定目标跟随策略的方法,其特征在于,在所述第一跟随模式下所述拍摄设备的跟随速度比在所述第二跟随模式下所述拍摄设备的跟随速度慢。
27.根据权利要求25所述的确定目标跟随策略的方法,其特征在于,所述拍摄设备采集到的所述图像包括拍摄设备当前采集到的图像、拍摄设备先前采集到的图像和拍摄设备后续采集到的图像;
在所述第一跟随模式下,
所述待跟随目标在所述拍摄设备先前采集到的图像中位于第一位置,所述待跟随目标在所述拍摄设备当前采集到的图像中位于第二位置,根据所述第二位置,调整所述拍摄设备的姿态;以及
在所述第二跟随模式下,
根据所述第一位置和所述第二位置的关系,预测所述待跟随目标在所述拍摄设备后续采集到的图像中的第三位置;
根据所述第三位置,调整所述拍摄设备的姿态。
28.根据权利要求1所述的确定目标跟随策略的方法,其特征在于,所述拍摄设备采集到的所述图像包括拍摄设备当前采集到的图像和拍摄设备先前采集到的图像;以及
所述通过检测所述拍摄设备采集到的所述图像,从所述拍摄设备采集到的图像中确定待跟随目标,包括:
在所述拍摄设备当前采集到的图像中确定多个第三目标;
将所述多个第三目标与所述拍摄设备先前采集到的图像中的待跟随目标进行比较,以确定第三识别结果;
若所述第三识别结果指示所述多个第三目标不与所述第一待跟随目标相似,则将所述多个第三目标与模型图像中的第一目标对象进行比较,以确定所述多个第三目标中是否存在所述第一待跟随目标。
29.根据权利要求1所述的确定目标跟随策略的方法,其特征在于,进一步包括:
将所述待跟随目标作为第一目标对象;
提取所述第一目标对象的特征;
根据已提取的特征,更新关于所述第一目标对应的特征库。
30.一种确定目标跟随策略的装置,其特征在于,所述确定目标跟随策略的装置用于与拍摄设备通信连接,所述确定目标跟随策略的装置包括存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时,实现如下步骤:
获取拍摄设备采集到的图像;
通过检测所述拍摄设备采集到的图像,从所述拍摄设备采集到的图像中确定待跟随目标;
根据所述待跟随目标的特征,确定所述待跟随目标对应的跟随策略;以及
根据所述跟随策略,所述拍摄设备对所述待跟随目标进行跟随。
31.根据权利要求30所述的确定目标跟随策略的装置,其特征在于,在识别所述待跟随目标之前,确定目标对象特征库。
32.根据权利要求31所述的确定目标跟随策略的装置,其特征在于,所述确定目标对象特征库,包括:
在模型图像中,确定第一目标对象;
提取第一目标对象的特征;
根据已提取的特征,建立关于所述第一目标对象的特征库。
33.根据权利要求32所述的确定目标跟随策略的装置,其特征在于,所述在模型图像中,确定第一目标对象,包括:
在所述模型图像中,确定所述第一目标对象的属性和/或所述第一目标对象对应的图像区域。
34.根据权利要求33所述的确定目标跟随策略的装置,其特征在于,所述确定所述第一目标对象的属性和/或所述第一目标对象对应的图像区域,包括:
通过位置标识指示所述第一目标对象对应的所述图像区域。
35.根据权利要求32所述的确定目标跟随策略的装置,其特征在于,确定所述目标对象特征库之后,进一步包括:
确定关于所述第一目标对象的特征;
根据所述第一目标对象的特征,在所述模型图像中确定是否存在第一候选目标对象;
若所述模型图像中包括所述第一候选目标对象,则确定所述第一候选目标对象是所述第一目标对象的概率。
36.根据权利要求35所述的确定目标跟随策略的装置,其特征在于,所述确定所述第一候选目标对象是所述第一目标对象的概率,以优化所述确定目标跟随的方法,包括:
确定所述第一候选目标对象和所述第一目标对象是同一类别的第一概率;
确定所述第一候选目标对象在第一位置的第二概率;
根据所述第一概率和所述第二概率,得出所述第一候选目标对象是否是第一目标对象的预测结果。
37.根据权利要求36所述的确定目标跟随策略的装置,其特征在于,所述处理器进一步用于实现如下步骤:
根据所述第一概率和所述第二概率以及所述预测结果,优化所述确定目标跟随策略的装置;
其中,根据所述第一概率和所述第二概率以及所述预测结果得出所述确定目标跟随策略的装置的目标函数;以及
根据所述目标函数更新所述确定目标跟随策略的装置。
38.根据权利要求30中所述的确定目标跟随策略的装置,其特征在于,所述从所述拍摄设备采集到的图像中确定待跟随目标,包括:
通过用户操作,选择所述待跟随目标。
39.根据权利要求38所述的确定目标跟随策略的装置,其特征在于,所述通过用户操作,选择所述待跟随目标,包括:
响应于用户的点击操作,在点击位置附近的图像区域内识别所述待跟随目标;以及
标注所述待跟随目标的类别,和/或所述待跟随目标的所在位置。
40.根据权利要求38所述的确定目标跟随策略的装置,其特征在于,所述通过用户操作,选择所述待跟随目标,包括:
响应于用户对模式选择按键的第一按压操作,在图像中央区域内识别所述待跟随目标;以及
标注所述待跟随目标的类别,和/或标示所述待跟随目标的所在位置。
41.根据权利要求30所述的确定目标跟随策略的装置,其特征在于,所述通过检测所述拍摄设备采集到的所述图像,从所述拍摄设备采集到的图像中确定待跟随目标,包括:
识别所述待跟随目标的特征。
42.根据权利要求41所述的确定目标跟随策略的装置,其特征在于,所述识别所述待跟随目标的特征,包括:
将所述待跟随目标和模型图像中的第一目标对象进行比较;
若所述待跟随目标的第一特征和所述第一目标对象的第一目标特征相似,则将所述待跟随目标标记为第一类别;以及
所述根据所述待跟随目标的特征,确定所述待跟随目标对应的跟随策略,包括:
若所述待跟随目标被标记为第一类别,则所述待跟随目标对应的跟随策略为第一跟随策略。
43.根据权利要求42所述的确定目标跟随策略的装置,其特征在于,若所述待跟随目标的第一特征和所述第一目标对象的第一目标特征不相似;则将所述待跟随目标和模型图像中的第二目标对象进行比较;
其中,所述第一目标对象和所述第二目标对象不同。
44.根据权利要求42所述的确定目标跟随策略的装置,其特征在于,所述第一特征和所述第一目标特征包括面部特征、形貌轮廓、运动属性中的至少一个。
45.根据权利要求30所述的确定目标跟随策略的装置,其特征在于,所述识别所述待跟随目标的特征,包括:
将所述待跟随目标和模型图像中的多个目标对象进行比较,以从所述多个目标对象中确定第一目标对象,其中,所述第一目标对象的特征与所述待跟随目标的特征相似;以及
所述根据所述待跟随目标的特征,确定所述待跟随目标对应的跟随策略,包括:
根据所述第一目标对象的类别,确定所述待跟随目标对应的跟随策略;
其中,所述第一目标对象的类别位于预设类别库;所述预测类别库包括多个目标对象各自对应的类别。
46.根据权利要求30所述的确定目标跟随策略的装置,其特征在于,所述通过检测所述拍摄设备采集到的所述图像,从所述拍摄设备采集到的图像中确定待跟随目标,包括:
从所述拍摄设备采集到的图像中确定第一目标和第二目标,其中所述第一目标和所述第二目标不同;
将所述第一目标与模型图像中的多个目标对象进行比较,以确定第一识别结果;
将所述第二目标与所述多个目标对象进行比较,以确定第二识别结果;以及
根据所述第一识别结果和所述第二识别结果,从所述第一目标和所述第二目标中确定所述待跟随目标。
47.根据权利要求46所述的确定目标跟随策略的装置,其特征在于,根据所述第一识别结果和所述第二识别结果,确定所述第一目标和所述第二目标的优先级。
48.根据权利要求46所述的确定目标跟随策略的装置,其特征在于,
所述第一识别结果指示所述第一目标属于第一类别;以及
所述第一识别结果指示所述第一目标占所述图像的画幅比例和/或在所述图像中的位置;以及
所述第二识别结果指示所述第二目标属于第二类别;
所述第二识别结果指示所述第二目标占所述图像的画幅比例和/或在所述图像中的位置,
其中,所述第一类别和所述第二类别不同。
49.根据权利要求48所述的确定目标跟随策略的装置,其特征在于,所述第一类别为婴儿,所述第二类别为成人。
50.根据权利要求48所述的确定目标跟随策略的装置,其特征在于,当所述拍摄模式为第一模式时,所述第一类别的优先级高于所述第二类别的优先级;
确定所述第一类别对应的第一目标为所述待跟随目标。
51.根据权利要求46所述的确定目标跟随策略的装置,其特征在于,所述第一识别结果对应的优先级高于所述第二识别结果对应的优先级,则将所述第一目标作为所述待跟随目标。
52.根据权利要求46所述的确定目标跟随策略的装置,其特征在于,若所述第一识别结果为所述拍摄设备采集到的图像中不存在所述第一目标对象,则根据所述第二识别结果,将所述拍摄设备采集到的图像中的所述第二目标确定为所述待跟随目标。
53.根据权利要求52所述的确定目标跟随策略的装置,其特征在于,将所述图像中的所述第二目标确定为所述待跟随目标,包括:
若所述图像中存在多个所述第二目标,则根据多个所述第二目标对象中的每一个在所述拍摄设备采集到的图像中的显著程度,确定每个所述第二目标的所述第二跟随优先级;
根据所述图像中的每个所述第二目标的所述第二跟随优先级,从多个所述第二目标中确定所述待跟随目标。
54.根据权利要求46所述的确定目标跟随策略的装置,其特征在于,目标跟随包括:
若所述第一目标为所述待跟随目标,则采用第一跟随模式进行跟随;
若所述第二目标为所述待跟随目标,则采用第二跟随模式进行跟随;
所述第一目标的类别和所述第二目标的类别不同,所述第一跟随模式和所述第二跟随模式不同。
55.根据权利要求54所述的确定目标跟随策略的装置,其特征在于,在所述第一跟随模式下所述拍摄设备的跟随速度比在所述第二跟随模式下所述拍摄设备的跟随速度慢。
56.根据权利要求54所述的确定目标跟随策略的装置,其特征在于,所述拍摄设备采集到的所述图像包括拍摄设备当前采集到的图像、拍摄设备先前采集到的图像和拍摄设备后续采集到的图像;
在所述第一跟随模式下,
所述待跟随目标在所述拍摄设备先前采集到的图像中位于第一位置,所述待跟随目标在所述拍摄设备当前采集到的图像中位于第二位置,根据所述第二位置,调整所述拍摄设备的姿态;以及
在所述第二跟随模式下,
根据所述第一位置和所述第二位置的关系,预测所述待跟随目标在所述拍摄设备后续采集到的图像中的第三位置;
根据所述第三位置,调整所述拍摄设备的姿态。
57.根据权利要求30所述的确定目标跟随策略的装置,其特征在于,所述拍摄设备采集到的所述图像包括拍摄设备当前采集到的图像和拍摄设备先前采集到的图像;以及
所述通过检测所述拍摄设备采集到的所述图像,从所述拍摄设备采集到的图像中确定待跟随目标,包括:
在所述拍摄设备当前采集到的图像中确定多个第三目标;
将所述多个第三目标与所述拍摄设备先前采集到的图像中的待跟随目标进行比较,以确定第三识别结果;
若所述第三识别结果指示所述多个第三目标不与所述第一待跟随目标相似,则将所述多个第三目标与模型图像中的第一目标对象进行比较,以确定所述多个第三目标中是否存在所述第一待跟随目标。
58.根据权利要求30所述的确定目标跟随策略的装置,其特征在于,进一步包括:
将所述待跟随目标作为第一目标对象;
提取所述第一目标对象的特征;
根据已提取的特征,更新关于所述第一目标对应的特征库。
59.一种确定目标跟随策略的系统,其特征在于,所述确定目标跟随策略的系统包括云台、搭载于所述云台上的拍摄设备和如权利要求30-58中任一项所述的确定目标跟随策略的装置。
60.根据权利要求59所述的确定目标跟随策略的系统,其特征在于,所述云台连接于手柄部,所述确定目标跟随策略的装置设置在所述手柄部上。
61.根据权利要求59所述的确定目标跟随策略的系统,其特征在于,所述云台搭载在可移动平台上,所述确定目标跟随策略的装置还用于控制所述可移动平台移动。
62.一种手持云台,其特征在于,所述手持云台包括手柄部、连接于所述手柄部的云台和如权利要求30-58中任一项所述的确定目标跟随策略的装置,所述云台用于搭载拍摄设备,所述确定目标跟随策略的装置设置在所述手柄部上。
63.一种可移动平台,其特征在于,所述可移动平台包括平台本体、搭载于所述平台本体的云台和如权利要求30-58中任一项所述的确定目标跟随策略的装置,所述云台用于搭载拍摄设备,所述确定目标跟随策略的装置设置在所述平台本体上。
64.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1-29中任一项所述的确定目标跟随策略的方法的步骤。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/122234 WO2022082440A1 (zh) | 2020-10-20 | 2020-10-20 | 确定目标跟随策略的方法、装置、系统、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113841380A true CN113841380A (zh) | 2021-12-24 |
Family
ID=78963291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080035340.1A Pending CN113841380A (zh) | 2020-10-20 | 2020-10-20 | 确定目标跟随策略的方法、装置、系统、设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113841380A (zh) |
WO (1) | WO2022082440A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023123254A1 (zh) * | 2021-12-30 | 2023-07-06 | 深圳市大疆创新科技有限公司 | 无人机的控制方法、装置、无人机及存储介质 |
WO2024098906A1 (zh) * | 2022-11-07 | 2024-05-16 | 北京拙河科技有限公司 | 一种亿级摄像设备的图像跟踪方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180146168A1 (en) * | 2016-11-23 | 2018-05-24 | Hanwha Techwin Co., Ltd. | Following apparatus and following system |
CN108292141A (zh) * | 2016-03-01 | 2018-07-17 | 深圳市大疆创新科技有限公司 | 用于目标跟踪的方法和系统 |
CN112119627A (zh) * | 2019-08-14 | 2020-12-22 | 深圳市大疆创新科技有限公司 | 基于云台的目标跟随方法、装置、云台和计算机存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9430923B2 (en) * | 2009-11-30 | 2016-08-30 | Innovative Signal Analysis, Inc. | Moving object detection, tracking, and displaying systems |
CN114089792B (zh) * | 2018-01-05 | 2024-08-13 | 深圳市大疆创新科技有限公司 | 手持云台的控制方法和手持云台 |
US11055854B2 (en) * | 2018-08-23 | 2021-07-06 | Seoul National University R&Db Foundation | Method and system for real-time target tracking based on deep learning |
CN109740462B (zh) * | 2018-12-21 | 2020-10-27 | 北京智行者科技有限公司 | 目标的识别跟随方法 |
-
2020
- 2020-10-20 WO PCT/CN2020/122234 patent/WO2022082440A1/zh active Application Filing
- 2020-10-20 CN CN202080035340.1A patent/CN113841380A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108292141A (zh) * | 2016-03-01 | 2018-07-17 | 深圳市大疆创新科技有限公司 | 用于目标跟踪的方法和系统 |
US20180146168A1 (en) * | 2016-11-23 | 2018-05-24 | Hanwha Techwin Co., Ltd. | Following apparatus and following system |
CN112119627A (zh) * | 2019-08-14 | 2020-12-22 | 深圳市大疆创新科技有限公司 | 基于云台的目标跟随方法、装置、云台和计算机存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023123254A1 (zh) * | 2021-12-30 | 2023-07-06 | 深圳市大疆创新科技有限公司 | 无人机的控制方法、装置、无人机及存储介质 |
WO2024098906A1 (zh) * | 2022-11-07 | 2024-05-16 | 北京拙河科技有限公司 | 一种亿级摄像设备的图像跟踪方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2022082440A1 (zh) | 2022-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11914370B2 (en) | System and method for providing easy-to-use release and auto-positioning for drone applications | |
US20220091607A1 (en) | Systems and methods for target tracking | |
US11340606B2 (en) | System and method for controller-free user drone interaction | |
US11563932B2 (en) | Estimating real-time delay of a video data stream | |
CN111344644B (zh) | 用于基于运动的自动图像捕获的技术 | |
JP2021144260A (ja) | 情報処理装置、情報処理方法、プログラム、および情報処理システム | |
US20170206666A1 (en) | Information processing apparatus, information processing method, and program | |
WO2021127888A1 (zh) | 控制方法、智能眼镜、可移动平台、云台、控制系统及计算机可读存储介质 | |
CN113841380A (zh) | 确定目标跟随策略的方法、装置、系统、设备及存储介质 | |
US11448884B2 (en) | Image based finger tracking plus controller tracking | |
WO2022061615A1 (zh) | 待跟随目标的确定方法、装置、系统、设备及存储介质 | |
CN111344776B (zh) | 信息处理装置、信息处理方法和程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20211224 |