CN112956184A - 图像处理系统、可移动平台及其图像处理方法、存储介质 - Google Patents

图像处理系统、可移动平台及其图像处理方法、存储介质 Download PDF

Info

Publication number
CN112956184A
CN112956184A CN202080005667.4A CN202080005667A CN112956184A CN 112956184 A CN112956184 A CN 112956184A CN 202080005667 A CN202080005667 A CN 202080005667A CN 112956184 A CN112956184 A CN 112956184A
Authority
CN
China
Prior art keywords
image
focal length
determining
shooting
movable platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080005667.4A
Other languages
English (en)
Inventor
吴哲
周游
刘洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112956184A publication Critical patent/CN112956184A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本说明书公开了一种图像处理系统、可移动平台及其图像处理方法、存储介质,方法包括:获取拍摄装置的图像传感器感应的第一图像(S110);获取拍摄装置的拍摄焦距(S120);根据拍摄焦距从第一图像提取第二图像(S130);根据第二图像确定漂移量(S140);根据漂移量稳定拍摄装置拍摄的图像(S150);其中,第二图像的分辨率小于第一图像的分辨率。

Description

图像处理系统、可移动平台及其图像处理方法、存储介质
技术领域
本说明书涉及拍摄技术领域,尤其涉及一种图像处理系统、可移动平台及其图像处理方法、存储介质。
背景技术
在一些拍摄场景中,例如通过高倍率长焦相机进行远距离拍摄时,拍摄装置拍摄的图像容易漂移,例如10多秒月亮就会由图像中央漂移到图像的左上角,影响拍摄和用户体验。
通过视觉算法确定拍摄的图像的漂移角度,然后根据漂移角度在一定程度上可以减少图像的漂移,实现稳定所述拍摄装置拍摄的图像;但是目前的漂移角度确定方法准确度较低。
发明内容
基于此,本说明书提供了一种图像处理系统、可移动平台及其图像处理方法、存储介质,旨在解决拍摄装置在拍摄时,被拍摄物体会产生漂移等技术问题。
第一方面,本说明书提供了一种图像处理方法,用于图像处理系统,所述图像处理系统包括拍摄装置,所述方法包括:
获取所述拍摄装置的图像传感器感应的第一图像;
获取所述拍摄装置的拍摄焦距;
根据所述拍摄焦距从所述第一图像提取第二图像;
根据所述第二图像确定漂移量;
根据所述漂移量稳定所述拍摄装置拍摄的图像;
其中,所述第二图像的分辨率小于所述第一图像的分辨率。
第二方面,本说明书提供了一种图像处理方法,用于可移动平台,所述可移动平台能够搭载拍摄装置,所述方法包括:
获取所述拍摄装置的图像传感器感应的第一图像;
获取所述拍摄装置的拍摄焦距;
根据所述拍摄焦距从所述第一图像提取第二图像;
根据所述第二图像确定漂移量;
根据所述漂移量控制所述可移动平台的动作,以稳定所述拍摄装置;
其中,所述第二图像的分辨率小于所述第一图像的分辨率。
第三方面,本说明书提供了一种图像处理系统,所述图像处理系统包括拍摄装置,所述图像处理系统包括:
一个或多个处理器,单独地或共同地工作,用于执行以下步骤:
获取所述拍摄装置的图像传感器感应的第一图像;
获取所述拍摄装置的拍摄焦距;
根据所述拍摄焦距从所述第一图像提取第二图像;
根据所述第二图像确定漂移量;
根据所述漂移量稳定所述拍摄装置拍摄的图像;
其中,所述第二图像的分辨率小于所述第一图像的分辨率。
第四方面,本说明书提供了一种可移动平台,所述可移动平台能够搭载拍摄装置,所述可移动平台包括:
一个或多个处理器,单独地或共同地工作,用于执行以下步骤:
获取所述拍摄装置的图像传感器感应的第一图像;
获取所述拍摄装置的拍摄焦距;
根据所述拍摄焦距从所述第一图像提取第二图像;
根据所述第二图像确定漂移量;
根据所述漂移量控制所述可移动平台的动作,以稳定所述拍摄装置;
其中,所述第二图像的分辨率小于所述第一图像的分辨率。
第五方面,本说明书提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现上述的方法。
本说明书实施例提供了一种图像处理系统、可移动平台及其图像处理方法、存储介质,通过获取拍摄装置的图像传感器感应的第一图像,然后根据拍摄装置的拍摄焦距从第一图像中提取出第二图像,其中第二图像的分辨率小于第一图像的分辨率,得到的第二图像的质量较高,可以不进行插值处理;然后根据第二图像确定漂移量,以及根据漂移量稳定拍摄装置拍摄的图像,根据第二图像确定的漂移量准确度较高,增稳效果更好。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书的公开内容。
附图说明
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本说明书一实施例提供的一种图像处理方法的流程示意图;
图2是被拍摄物体发射或反射的光线在图像传感器上成像的示意图;
图3是通过调节镜头组件改变物理焦距时,获取第一图像的示意图;
图4是数字变焦时获得拍摄图像的示意图;
图5是一实施方式中从第一图像提取第二图像的示意图;
图6是一实施方式中图像处理系统的结构示意图;
图7是一实施方式中从第一图像提取第二图像的流程示意图;
图8是另一实施方式中从第一图像提取第二图像的示意图;
图9是根据角速度测量值和运动幅度估计值确定偏差标定值的示意图;
图10是本说明书另一实施例提供的一种图像处理方法的流程示意图;
图11是本说明书一实施例提供的一种图像处理系统的示意性框图;
图12是本说明书另一实施例提供的一种图像处理系统的示意性框图;
图13是本说明书一实施例提供的一种可移动平台的示意性框图。
具体实施方式
下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
下面结合附图,对本说明书的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参阅图1,图1是本说明书一实施例提供的一种图像处理方法的流程示意图。所述图像处理方法可以应用在图像处理系统中,用于稳定图像处理系统拍摄的图像等过程。其中图像处理系统可以包括拍摄装置,拍摄装置例如包括搭载摄像头的相机、手机、眼镜等,例如虚拟现实(VR,virtual reality)眼镜或第一人称视角(FPV,first person view)眼镜;在一些实施方式中,图像处理系统可以包括可移动平台,拍摄装置能够搭载于可移动平台。可移动平台例如可以包括云台、无人飞行器、无人驾驶车辆或无人驾驶船艇。其中,无人飞行器例如可以为旋翼型无人机,例如四旋翼无人机、六旋翼无人机、八旋翼无人机,也可以是固定翼无人机;云台例如包括手持云台,或能够搭载于无人飞行器、无人驾驶车辆或无人驾驶船艇上的云台。
在一些实施方式中,图像处理系统能够搭载显示装置,显示装置可以显示拍摄装置拍摄的图像。
在一些实施方式中,图像处理系统能够与终端设备,如遥控器、手机、平板电脑进行通信,将拍摄装置拍摄的图像发送给终端设备,由终端设备显示拍摄的图像。
具体的,拍摄装置在拍摄时,通常拍摄焦距是可调节的。通过调节拍摄焦距,使得拍摄装置可以得到相应视角的图像。例如拍摄装置的拍摄焦距越大,拍摄得到的图像的视角越窄,可以得到被拍摄物体的细节部的图像。
示例性的,拍摄装置可以根据与被拍摄物体之间的距离调节拍摄焦距;或者拍摄装置能够根据用户的控制操作调节拍摄焦距;或者拍摄装置能够与终端设备,如遥控器、手机、平板电脑进行通信,根据终端设备的控制调节拍摄焦距。
在一些拍摄场景中,例如通过高倍率长焦相机进行远距离拍摄时,拍摄装置拍摄的图像容易漂移,例如10多秒月亮就会由图像中央漂移到图像的左上角,影响拍摄和用户体验。
为了较少消除画面的漂移,可以通过视觉算法确定拍摄的图像的漂移角度,然后根据确定的漂移角度对图像进行纠正、或者调节拍摄装置和/或可移动平台的姿态,以减少图像的漂移,实现稳定所述拍摄装置拍摄的图像。
目前的一种方案是,获取拍摄装置拍摄的图像,然后确定图像中的特征点和特征点的光流向量;根据光流向量和图像的视角(Field of View,FoV)可以确定图像的漂移角度。
本申请的发明人发现,当图像分辨率固定,例如为720p时,在拍摄装置的光学变焦段,随着拍摄焦距的增加,图像的视角减小,确定的漂移角度会更精确。当进入数字变焦段时,真实的物理焦距不变,只是从原尺寸的图像中裁剪出较小的区域,然后插值成预设分辨率,例如720p的图像,此时图像的等效视角在继续变小;虽然等效的拍摄焦距在继续增加,但是根据插值得到的所述图像确定图像的漂移角度的精度不会提升,甚至有可能因为插值导致图像模糊而使漂移角度的精度下降,尤其影响在长焦拍摄时的图像稳定。
针对该发现,本申请的发明人确定了本说明书实施例的图像处理方法,以实现稳定图像处理系统拍摄的图像等过程,具体的,可以提高图像漂移量的精度,更好的稳定拍摄的图像。
如图1所示,本说明书实施例的图像处理方法包括步骤S110至步骤S150。
S110、获取所述拍摄装置的图像传感器感应的第一图像。
拍摄装置在拍摄图像时,通过图像传感器感应的图像得到拍摄的图像。
示例性的,如图2所示为被拍摄物体发射或反射的光线在图像传感器上成像的场景示意图。拍摄装置通过图像传感器感应得到图像可以称为第一图像。
可以理解的,第一图像可以是未经裁剪处理的图像。
例如,当图像传感器在横向上的像素数量为1080时,则第一图像在对应方向上的像素数量为1080,第一图像的分辨率例如可以为1080p。
具体的,拍摄装置还包括镜头组件,镜头组件包括若干透镜;镜头组件的中心点或镜头组件的等效中心点与图像传感器之间的距离可以称为物理焦距,例如表示为f。
示例性的,可以通过调节镜头组件的位置和/或结构等调节拍摄图像时的物理焦距,从而调节拍摄焦距。通过调节镜头组件调节拍摄焦距可以称为光学变焦(OpticalZoom)。
示例性的,如图3所示为通过调节镜头组件改变物理焦距时,获取第一图像的示意图。
如图3所示,在拍摄装置的物理焦距为f1时,获取的第一图像1的视野比较大,可以包括完整的三棵树。当拍摄装置的物理焦距调节为比f1大的f2时,获取的第一图像2的视野比较小;因此,当拍摄装置的物理焦距增大时,第一图像的视角减小。相应的,根据第一图像可以得到对应视角的图像作为拍摄图像进行显示或存储。
示例性的,拍摄装置通过调节镜头组件调节拍摄焦距的范围是有限的,例如,镜头组件的中心点与图像传感器之间的最小距离可以称为广角焦距f_wide,此时拍摄装置的拍摄焦距为所述拍摄装置的最小物理焦距,拍摄装置获取的图像的视角最大。
示例性的,当镜头组件的中心点与图像传感器之间的距离调节至最大,例如拍摄焦距达到物理焦距的最大值时,如果要继续增加拍摄焦距,则可以通过数字变焦(DigitalZoom)得到更小视角的图像。
示例性的,如图4所示,第一图像2是镜头组件的中心点与图像传感器之间的距离调节至最大,即拍摄焦距达到物理焦距的最大值时,拍摄装置的图像传感器感应的第一图像2。
如图4所示,当继续增加拍摄焦距时,由于物理焦距达到了最大值,图像传感器感应的第一图像2的视角保持不变;可以从第一图像2中裁剪(crop)出与该拍摄焦距对应大小的区域,然后可以通过插值等处理得到拍摄装置的拍摄图像,该拍摄图像的视角更小。
S120、获取所述拍摄装置的拍摄焦距。
示例性的,拍摄装置在拍摄图像时,可以实时获取拍摄焦距。
示例性的,拍摄装置可以根据与被拍摄物体之间的距离确定拍摄焦距;或者拍摄装置能够根据用户的控制操作确定拍摄焦距;或者拍摄装置能够与终端设备,如遥控器、手机、平板电脑进行通信,根据终端设备的控制确定拍摄焦距。
示例性的,当拍摄装置未采用数字变焦时,拍摄装置的拍摄焦距等于镜头组件的物理焦距,可以理解的,此时的拍摄焦距在光学变焦段。
示例性的,当拍摄装置同时采用光学变焦和数字变焦时,拍摄焦距等于镜头组件的物理焦距和数字变焦的等效焦距的乘积,可以理解的,此时的拍摄焦距在数字变焦段。
S130、根据所述拍摄焦距从所述第一图像提取第二图像。
其中,所述第二图像的分辨率小于所述第一图像的分辨率。
在一些实施方式中,若所述拍摄装置采用数字变焦,例如拍摄焦距在拍摄装置的数字变焦段,则可以从第一图像中裁剪出较小分辨率的第二图像。示例性的,第一图像的分辨率为1080p时,可以从图像传感器感应的第一图像中裁剪出720p的图像作为第二图像。
具体的,从第一图像的中央区域裁剪出第二图像。可以提高拍摄图像中部的待拍摄物体的位置稳定。
可以理解的,在数字变焦段,拍摄装置的物理焦距是恒定的,第一图像的视角也是恒定的,从第一图像中裁剪出的第二图像的视角也可以是恒定的;示例性的,可以从1080p的第一图像中裁剪出720p的第二图像。第二图像可以不进行插值处理,从而可以防止对图像进行插值处理导致的漂移量精度下降,从而可以提高图像的稳定。
示例性的,所述拍摄装置采用数字变焦时,从所述第一图像裁剪得到的第二图像分辨率等于所述预设分辨率,所述预设分辨率小于图像传感器的分辨率。
在一些实施方式中,若所述拍摄装置未采用数字变焦,例如拍摄焦距在拍摄装置的光学变焦段,则可以通过对第一图像进行降采样处理,得到较小分辨率的第二图像。例如将1080p的第一图像降采样得到720p的第二图像。通过根据降采样得到的第二图像确定漂移量也可以达到较高的精度,从而可以提高图像的稳定。
在一些实施方式中,在拍摄装置的光学变焦段和数字变焦段,提取的第二图像的分辨率一致,例如均为720p,从而可以使用一致的特征点提取方法和光流向量确定方法,减少计算量。
在一些实施方式中,图像处理方法还包括:确定在感应所述第一图像时,所述拍摄装置是否采用数字变焦。
示例性的,若拍摄装置采用数字变焦,则拍摄装置处于数字变焦段;若拍摄装置未采用数字变焦,则拍摄装置处于光学变焦段。
示例性的,可以根据所述拍摄焦距确定所述拍摄装置是否采用数字变焦,即确定拍摄装置处于光学变焦段或数字变焦段。
具体的,若所述拍摄焦距不大于光学变焦和数字变焦的临界焦距,确定所述拍摄装置未采用数字变焦,拍摄装置处于光学变焦段。若所述拍摄焦距大于所述临界焦距,确定所述拍摄装置采用数字变焦,拍摄装置处于数字变焦段。
示例性的,如图5所示,由上至下分别为拍摄焦距等于f11、f12、f13时,从所述第一图像提取第二图像的示意图。其中f11<f12≤f_tele<f13,f_tele表示物理焦距的最大值,即所述临界焦距。
如图5所示,拍摄焦距等于f11时,所述拍摄装置未采用数字变焦,例如拍摄焦距在拍摄装置的光学变焦段,则可以通过对第一图像11进行降采样处理,得到较小分辨率的第二图像110。拍摄焦距等于f12时,所述拍摄装置未采用数字变焦,例如拍摄焦距在拍摄装置的光学变焦段,则可以通过对第一图像12进行降采样处理,得到较小分辨率的第二图像120。
如图5所示,当f12=f_tele<f13时,图像传感器感应的第一图像12和第一图像13具有相同大小的视角。由于拍摄焦距等于f12时拍摄装置未采用数字变焦,可以对第一图像12进行降采样处理,得到较小分辨率的第二图像120;由于拍摄焦距等于f13时采用了数字变焦,可以对第一图像13进行裁剪处理,得到较小分辨率的第二图像130。
示例性的,第二图像110、第二图像120、第二图像130的分辨率相同,例如均为720p。
如图5所示,拍摄焦距在光学变焦段连续变化时,所述第二图像的视角是连续变化的。
示例性的,拍摄焦距在光学变焦段连续变化时,拍摄装置的物理焦距是连续变化的,图像传感器感应的第一图像的视角是连续变化的,通过降采样处理得到的第二图像的视角也是连续变化的。
如图5所示,所述拍摄焦距在数字变焦段连续变化时,所述第二图像的视角保持不变。
示例性的,拍摄焦距在数字变焦段连续变化时,拍摄装置的物理焦距保持不变,图像传感器感应的第一图像的视角也保持不变,从第一图像中裁剪得到的预设分辨率的第二图像的视角也保持不变。
S140、根据所述第二图像确定漂移量。
示例性的,根据所述第二图像上的特征点的光流向量确定漂移量。
具体的,根据两个不同拍摄时间提取的第二图像确定图像的漂移量。
示例性的,可以先确定第二图像中的特征点和特征点的光流向量;然后根据光流向量和该第二图像的视角确定图像的漂移量。
示例性的,可以基于特征点跟踪匹配算法,例如Kanade–Lucas–Tomasi featuretracker算法,根据前后两帧的第二图像确定第二图像中的特征点。
示例性的,漂移量可以包括至少一个方向上的漂移角度。
S150、根据所述漂移量稳定所述拍摄装置拍摄的图像。
示例性的,图像处理系统能够对图像传感器上感应的图像进行图像处理,例如根据漂移量进行平移、裁剪、旋转等处理,将处理后的图像作为拍摄的图像进行输出和/或存储,以使得被拍摄物体能够稳定在图像中的特定区域,实现增稳。
示例性的,拍摄装置包括镜头驱动组件,镜头驱动组件能够动作以调整镜头组件的姿态。例如,镜头驱动组件可以包括驱动马达。
示例性的,图像处理系统能够根据漂移量控制镜头驱动组件调整镜头组件的姿态,使得图像传感器上感应的图像更加稳定,从而稳定拍摄装置拍摄的图像。
在一些实施方式中,所述图像处理系统包括惯性传感器。例如,拍摄装置搭载惯性传感器,例如包括陀螺仪、加速度传感器、惯性测量单元(IMU)等中的至少一种,能够检测拍摄装置的运动量、姿态。
示例性的,拍摄装置能够根据惯性传感器检测的运动量、姿态稳定拍摄的图像。
示例性的,步骤S150根据所述漂移量稳定所述拍摄装置拍摄的图像,包括:根据所述漂移量修正所述惯性传感器的测量数据;根据修正后的测量数据稳定所述拍摄装置拍摄的图像。
但是,由于图像处理系统搭载的惯性传感器的精度限制,其观测量会产生偏移(bias),影响图像增稳效果。通过根据视觉算法确定的漂移量可以修正所述惯性传感器的测量数据,例如将漂移量与惯性传感器的测量数据叠加得到修正后的测量数据,根据修正后的测量数据稳定所述拍摄装置拍摄的图像,可以得到更好的增稳效果。
在一些实施方式中,所述图像处理系统还包括能够搭载所述拍摄装置的可移动平台。
如图6所示,图像处理系统包括拍摄装置101和搭载拍摄装置101的可移动平台102。示例性的,可移动平台102可以包括云台。具体的,云台能够搭载于无人飞行器、无人车等。
示例性的,云台包括至少一个转轴结构,其中转轴结构可以包括对应偏航(yaw)轴的转轴结构、对应横滚(roll)轴的转轴结构和对应俯仰(pitch)轴的转轴结构中的至少一个。通过转轴结构的动作,可以稳定拍摄装置的姿态,例如维持拍摄装置的拍摄方向保持不变。
示例性的,图像处理系统可以包括航拍飞行器,拍摄装置通过云台搭载于航拍飞行器的飞行器机体上。
示例性的,步骤S150根据所述漂移量稳定所述拍摄装置拍摄的图像,包括:根据所述漂移量控制所述可移动平台的动作,以稳定所述拍摄装置。
示例性的,拍摄装置将步骤S140确定的漂移量发送给可移动平台,可移动平台能够根据漂移量移动或者调整姿态,例如云台根据漂移量调节转轴结构动作,以稳定拍摄装置拍摄的图像。
示例性的,所述可移动平台搭载惯性传感器,例如包括陀螺仪、加速度传感器、惯性测量单元(IMU)等中的至少一种,所述根据所述漂移量控制所述可移动平台的动作,以稳定所述拍摄装置,包括:根据所述漂移量修正所述惯性传感器的测量数据;根据修正后的测量数据控制所述可移动平台的动作,以稳定所述拍摄装置。
示例性的,可移动平台能够根据惯性传感器检测图像处理系统的运动量、姿态,根据检测的数据进行动作,以稳定所述拍摄装置。但是,由于可移动平台搭载的惯性传感器的精度限制,其观测量会产生偏移(bias),影响图像增稳效果。根据视觉算法确定的漂移量可以作为可移动平台增稳作用的反馈信号,用于修正所述惯性传感器的测量数据;例如将漂移量与惯性传感器的测量数据叠加得到修正后的测量数据,根据修正后的测量数据控制所述可移动平台的动作,以稳定所述拍摄装置,可以得到更好的增稳效果。
本申请的发明人还发现,若所述拍摄装置未采用数字变焦时通过对第一图像进行降采样处理得到较小分辨率的第二图像,以及在拍摄装置采用数字变焦时从第一图像中裁剪出较小分辨率的第二图像时,在拍摄焦距由光学变焦段切换至数字变焦段的前后或者由数字变焦段切换至光学变焦段的前后,得到的第二图像会有跳变,视角也会有跳变,第二图像的细节突然变大或者变小。
示例性的,如图5所示,当f12=f_tele<f13时,第二图像120是第一图像12降采样处理得到的,具有与第一图像12相同的视角;而第二图像130是从第一图像13中裁剪出来的,第二图像130的视角小于第一图像13的视角;而第一图像12和第一图像13具有相同大小的视角,因此,第二图像130的视角明显小于第二图像120的视角,产生了较大的跳变。
从而,根据拍摄焦距由光学变焦段切换至数字变焦段的前后时间或者由数字变焦段切换至光学变焦段的前后时间,至少有两帧第二图像的差异较大,会导致根据第二图像确定的漂移量准确度下降,甚至会使特征点跟踪匹配算法因图像尺度变化过大而失效。
在一些实施方式中,所述拍摄焦距连续变化时,所述第二图像的视角是连续的。
示例性的,所述拍摄焦距在光学变焦段连续变化时,所述第二图像的视角是连续变化的。
示例性的,所述拍摄焦距在数字变焦段连续变化时,所述第二图像的视角保持不变。
示例性的,所述拍摄装置从未采用数字变焦切换至采用数字变焦时,所述第二图像的视角是连续的。
示例性的,所述拍摄装置从采用数字变焦切换至未采用数字变焦时,所述第二图像的视角是连续的。
在拍摄装置从未采用数字变焦切换至采用数字变焦时,或者在拍摄装置从采用数字变焦切换至未采用数字变焦时,使第二图像的视角连续,可以降低切换时第二图像之间的差异和视角的突变,提高根据第二图像确定的漂移量的准确度,实现更好的增稳效果。
示例性的,可以使得拍摄焦距为光学变焦和数字变焦的临界焦距时所述第二图像的视角,与所述拍摄焦距大于所述临界焦距时所述第二图像的视角相等。从而可以实现在拍摄装置从未采用数字变焦切换至采用数字变焦时,或者在拍摄装置从采用数字变焦切换至未采用数字变焦时,使第二图像的视角连续。
在一些实施方式中,如图7所示,步骤S130根据所述拍摄焦距从所述第一图像提取第二图像,包括步骤S131和步骤S132。
S131、若所述拍摄装置未采用数字变焦,根据所述拍摄焦距确定所述第一图像中的目标区域。
具体的,目标区域的范围不大于所述第一图像。
示例性的,如图8所示,由上至下分别为拍摄焦距等于f21、f22、f23、f24时,从所述第一图像提取第二图像的示意图。其中f21<f22<f23≤f_tele<f24,f_tele表示物理焦距的最大值,即所述临界焦距。
如图8所示,拍摄焦距等于f21、f22或f23时,所述拍摄装置未采用数字变焦,例如拍摄焦距在拍摄装置的光学变焦段,则根据拍摄焦距f21、f22或f23确定所述第一图像中的目标区域,如图8所示。
示例性的,若所述拍摄装置未采用数字变焦,所述目标区域的大小随着所述拍摄焦距的增大而减小。
示例性的,所述拍摄焦距为所述拍摄装置的最小物理焦距时,所述目标区域为所述第一图像的整个区域。可以理解的,拍摄焦距为最小物理焦距时,步骤S131确定的目标区域最大,
示例性的,如图8所示,如果f21为拍摄装置的最小物理焦距,当拍摄焦距等于f21时,将第一图像21整个确定为目标区域。
示例性的,如图8所示,拍摄焦距等于f22,且f21<f22时,确定所述第一图像22中的目标区域小于第一图像21中的目标区域。拍摄焦距等于f23,且f23<f22时,确定所述第一图像23中的目标区域小于第一图像22中的目标区域。
示例性的,所述目标区域的大小与所述拍摄焦距呈线性关系,可以根据拍摄焦距的调整,确定对应大小的目标区域,还可以减少确定目标区域时的计算量。
如图8所示,拍摄焦距在光学变焦段连续变化时,拍摄装置的物理焦距是连续变化的,图像传感器感应的第一图像的视角是连续变化的。示例性的,在根据所述拍摄焦距确定所述第一图像中的目标区域时,也可以使目标区域的视角也随拍摄焦距的变化而连续变化。
S132、将所述目标区域内的图像处理为所述第二图像。
示例性的,若所述焦距小于光学变焦和数字变焦的临界焦距,对所述目标区域内的图像进行降采样得到所述第二图像。
具体的,可以将目标区域内的图像处理为预设分辨率的第二图像,例如将目标区域内的图像降采样处理为预设分辨率,如720p的第二图像。因此,在根据所述第二图像确定漂移量时,第二图像的分辨率一定,可以为降低计算量,提高漂移量的准确性。
示例性的,如图8所示,对第一图像21中的目标区域降采样处理得到第二图像210,对第一图像22中的目标区域降采样处理得到第二图像220,对第一图像23中的目标区域降采样处理得到第二图像230。
示例性的,在根据所述拍摄焦距确定所述第一图像中的目标区域时,也可以使目标区域的视角也随拍摄焦距的变化而连续变化,则拍摄焦距在光学变焦段连续变化时,所述第二图像的视角也可以是连续变化的。
在一些实施方式中,所述拍摄焦距为光学变焦和数字变焦的临界焦距时,所述目标区域的分辨率等于预设分辨率,如720p。
示例性的,如图8所示,如果f23=f_tele<f24,当拍摄焦距f23为临界焦距f_tele时,确定分辨率等于预设分辨率,如720p的目标区域,可以不对目标区域进行降采样处理,将预设分辨率的目标区域作为第二图像230。
如图8所示,当f23=f_tele<f24时,图像传感器感应的第一图像23和第一图像24具有相同大小的视角。如果需要在拍摄焦距f23为临界焦距f_tele时确定的第二图像230的视角,与拍摄焦距f24大于临界焦距f_tele时确定的第二图像240的视角相等,则可以使拍摄焦距f24大于临界焦距f_tele时第二图像240的分辨率也等于所述预设分辨率,如720p。
在一些实施方式中,如图7所示,步骤S130根据所述焦距从所述第一图像提取第二图像,还可以包括步骤S133。
S133、若所述拍摄装置采用数字变焦,从所述第一图像裁剪所述第二图像,其中,所述第二图像的分辨率等于所述预设分辨率。
从而可以使得拍摄焦距为光学变焦和数字变焦的临界焦距时所述第二图像的视角,与所述拍摄焦距大于所述临界焦距时所述第二图像的视角相等。从而可以实现在拍摄装置从未采用数字变焦切换至采用数字变焦时,或者在拍摄装置从采用数字变焦切换至未采用数字变焦时,使第二图像的视角连续。可以降低切换时第二图像之间的差异和视角的突变,提高根据第二图像确定的漂移量的准确度,实现更好的增稳效果。
在一些实施方式中,拍摄装置和可移动平台对应各自的时间轴。示例性的,拍摄装置的发送给可移动平台的信息带有拍摄装置的时间戳,可移动平台生成的数据带有可移动平台的时间戳。例如,拍摄装置获取的第一图像、拍摄焦距、第二图像、根据第二图像确定的漂移量均具有拍摄装置的时间戳;可移动平台的惯性传感器的测量数据具有可移动平台的时间戳。
在一些实施方式中,图像处理方法还可以包括:对所述拍摄装置和所述可移动平台进行时间同步。
通过同步拍摄装置和可移动平台的时间轴,可以防止因数据时间戳不同步导致的漂移量反馈不同步,影响增稳效果。
示例性的,可以根据拍摄装置和所述可移动平台之间的时间偏差值(offset)对所述拍摄装置和所述可移动平台进行时间同步。
示例性的,时间偏差值可以为预设值,或者在拍摄装置与可移动平台启动时进行标定得到。
在一些实施方式中,所述根据所述漂移量修正所述惯性传感器的测量数据,包括:根据所述漂移量修正所述惯性传感器的测量数据,所述漂移量的时间戳与所述测量数据的时间戳的差值不大于预设的时差阈值。
具体的,时间阈值可以为0,或者为其他经验值,例如50毫秒等。
示例性的,在对所述拍摄装置和所述可移动平台进行时间同步之后,使得漂移量的时间戳可以与测量数据的时间戳对齐,以提高增稳效果。
在一些实施方式中,所述方法还包括:根据所述拍摄装置拍摄的图像确定所述可移动平台的姿态估计值。
示例性的,可以利用拍摄装置拍摄的多帧图像估计可移动平台的姿态,例如根据图像中物体关键点的运动轨迹估计可移动平台的运动;示例性的,当物体关键点在图像中向左移动一定的距离时,可以确定可移动平台带着相机向左转动对应的角度。
具体的,还可以获取拍摄装置拍摄图像时的时间戳,并根据图像的时间戳确定姿态估计值对应的时间戳,所述时间戳是拍摄装置的时间轴上的时间。
在一些实施方式中,所述方法还包括:获取所述可移动平台的姿态测量值。
示例性的,所述可移动平台搭载惯性传感器,惯性传感器例如包括陀螺仪、加速度传感器、惯性测量单元(IMU)等中的至少一种,可移动平台可以根据惯性传感器输出的数据获取姿态测量值,姿态测量值例如包括可移动平台在若干方向上的运动角度,例如相对偏航(yaw)轴、横滚(roll)轴、俯仰(pitch)轴的偏航角、横滚角、俯仰角。例如,可以对陀螺仪的角速度度数进行积分,确定姿态测量值。
具体的,还可以获取姿态测量值对应的时间戳,所述时间戳是可移动平台的时间轴上的时间。
在一些实施方式中,可以根据所述姿态测量值和所述姿态估计值确定所述拍摄装置和所述可移动平台之间的时间偏差值。
示例性的,可以将所述姿态测量值和所述姿态估计值进行比较,如果所述姿态测量值与所述姿态估计值一致,则可以根据所述姿态测量值的时间戳和所述姿态估计值的时间戳确定所述拍摄装置和所述可移动平台之间的时间偏差值。例如,将一个姿态估计值在时间轴上左右平移,以对齐其中一个姿态测量值,则可以根据平移的长度确定所述拍摄装置和所述可移动平台之间的时间偏差值。
在一些实施方式中,可以在所述图像处理系统上电自检时,根据所述姿态测量值和所述姿态估计值确定所述拍摄装置和所述可移动平台之间的时间偏差值。或者可以根据用户的控制操作,根据所述姿态测量值和所述姿态估计值确定所述拍摄装置和所述可移动平台之间的时间偏差值,实现时间同步。
示例性的,进行时间同步时,可以控制可移动平台在至少一个方向上往复运动,并且获取各时刻拍摄装置拍摄的图像和获取各时刻的姿态测量值;然后根据拍摄的图像确定各时刻的姿态估计值,并根据姿态估计值和姿态测量值确定时间偏差值。
示例性的,在进行时间偏差值的标定时,可以获取拍摄装置在此期间拍摄的所有图像,即用于确定姿态估计值的图像的帧率为最高的帧率,例如为30帧每秒,可以提高时间偏差值的精度。
示例性的,在进行图像增稳时,可以以较长的时间间隔获取第一图像、第二图像,例如每秒获取十次,因此每秒只需确定十次漂移量,可以降低计算量。在可移动平台的运动幅度较小时,也可以实现较好的抗漂移效果。
在一些实施方式中,可以根据尺度(scale)标定值和/或偏差(offset)标定值对所述拍摄装置和所述可移动平台进行时间同步。
示例性的,可移动平台的时间轴上的时间,可以根据尺度标定值与拍摄装置时间轴上时间的乘积确定。示例性的,可移动平台的时间轴上的时间,可以根据尺度标定值与拍摄装置时间轴上时间的乘积加上偏差标定值确定。由此可以根据尺度(scale)标定值和/或偏差(offset)标定值对所述拍摄装置和所述可移动平台进行时间同步。
示例性的,所述方法还包括:确定所述尺度标定值和/或所述偏差标定值。
在一些实施方式中,所述确定所述偏差标定值,包括:根据所述拍摄装置拍摄的图像确定多个时刻的运动幅度估计值;根据所述惯性传感器在多个时刻的角速度测量值和所述多个时刻的运动幅度估计值确定所述尺度标定值和/或所述偏差标定值。
示例性的,进行时间同步时,可以控制可移动平台从静止状态开始,做一个特定的转动动作,然后回到静止状态,在这段时间内获取拍摄装置拍摄的图像,和获取惯性传感器的角速度测量值。
示例性的,可以检测图像中的特征点和特征点的运动距离,然后根据该运动距离确定拍摄装置的运动幅度估计值。例如可以将两帧图像上若干对对应点距离的平均值确定为拍摄装置的运动幅度估计值。
可以理解的,拍摄装置的运动幅度估计值与可移动平台姿态的调整幅度有关。例如,可移动平台在某一方向上动作的角速度较大时,拍摄装置的相邻帧图像中特征点运动的距离也较大,拍摄装置的运动幅度估计值也较大。因此可以根据所述惯性传感器在多个时刻的角速度测量值和所述多个时刻的运动幅度估计值确定所述尺度标定值和/或所述偏差标定值。
示例性的,图像拍摄的频率比惯性传感器采集角速度测量值的频率低,例如采集角速度测量值可以达到800Hz,而图像拍摄的频率为30Hz。可以对运动幅度估计值进行线性插值,以使运动幅度估计值的频率与角速度测量值的频率一致。
示例性的,如图9所示,图9中上部区域为可移动平台的时间轴上各时刻的角速度测量值,中部区域为拍摄装置的时间轴上各时刻的运动幅度估计值。
示例性的,所述根据所述惯性传感器在多个时刻的角速度测量值和所述多个时刻的运动幅度估计值确定所述偏差标定值,包括:对所述多个时刻的角速度测量值和所述多个时刻的运动幅度估计值进行相关性(correlation)分析,确定所述偏差标定值。
如图9中下部区域为对可移动平台的时间轴上各时刻的角速度测量值和拍摄装置的时间轴上各时刻的运动幅度估计值进行相关性计算,可以根据得到的最大值所所对应的时间确定所述偏差标定值。
在一些实施方式中,在确定尺度标定值时,可以控制可移动平台从静止状态开始,做两个特定的转动动作,两次动作之间有一定的时间间隔。同样的,可以在此期间获取拍摄装置拍摄的图像,和获取惯性传感器在多个时刻的角速度测量值。
示例性的,可以检测图像中的特征点和特征点的运动距离,然后根据该运动距离确定拍摄装置的运动幅度估计值,以及可以对运动幅度估计值进行插值处理,可以确定多个时刻的运动幅度估计值。
示例性的,所述根据所述惯性传感器在多个时刻的角速度测量值和所述多个时刻的运动幅度估计值确定所述尺度标定值,包括:
所述根据所述多个时刻的角速度测量值确定两次动作之间的第一时间间隔。根据所述多个时刻的运动幅度估计值确定所述两次动作之间的第二时间间隔;根据所述第一时间间隔和所述第二时间间隔的比值确定所述尺度标定值。
示例性的,在所述多个时刻的角速度测量值中确定两个转动动作对应的角速度测量值,可以根据这两个角速度测量值之间的时间差值确定所述第一时间间隔。
示例性的,在所述多个时刻的运动幅度估计值中确定两个转动动作对应的运动幅度估计值,可以根据这两个运动幅度估计值之间的时间差值确定所述第二时间间隔。然后可以根据所述第一时间间隔和所述第二时间间隔的比值确定所述尺度标定值。进而可以根据确定的尺度标定值和/或偏差标定值进行时间同步,以使得漂移量的时间戳可以与测量数据的时间戳对齐,以提高增稳效果。
本说明书实施例提供的图像处理方法,通过获取拍摄装置的图像传感器感应的第一图像,然后根据拍摄装置的拍摄焦距从第一图像中提取出第二图像,其中第二图像的分辨率小于第一图像的分辨率,得到的第二图像的质量较高,可以不进行插值处理;然后根据第二图像确定漂移量,以及根据漂移量稳定拍摄装置拍摄的图像,根据第二图像确定的漂移量准确度较高,增稳效果更好。
请结合前述说明参阅图10,图10是本申请另一实施例提供的一种图像处理方法的流程示意图。所述图像处理方法可以应用在可移动平台中,可移动平台能够搭载拍摄装置,所述方法用于稳定拍摄装置等过程。
示例性的,可移动平台例如可以包括云台、无人飞行器、无人驾驶车辆或无人驾驶船艇。其中,无人飞行器例如可以为旋翼型无人机,例如四旋翼无人机、六旋翼无人机、八旋翼无人机,也可以是固定翼无人机;云台例如包括手持云台,或能够搭载于无人飞行器、无人驾驶车辆或无人驾驶船艇上的云台。
如图10所示,本说明书实施例的图像处理方法包括步骤S210至步骤S250。
S210、获取所述拍摄装置的图像传感器感应的第一图像。
拍摄装置在拍摄图像时,通过图像传感器感应的图像得到拍摄的图像。
具体的,可移动平台可以和拍摄装置通信连接,以便从获取所述拍摄装置的图像传感器感应的第一图。
可以理解的,第一图像可以是未经裁剪处理的图像。例如,当图像传感器在横向上的像素数量为1080时,则第一图像在对应方向上的像素数量为1080,第一图像的分辨率例如可以为1080p。
S220、获取所述拍摄装置的拍摄焦距。
示例性的,拍摄装置在拍摄图像时,可以实时获取拍摄焦距。
示例性的,拍摄装置可以根据与被拍摄物体之间的距离确定拍摄焦距,然后将拍摄焦距发送给可移动平台;或者可移动平台能够根据用户的控制操作确定拍摄焦距,以及将拍摄焦距发送给拍摄装置以便拍摄装置调节焦距;或者可移动平台能够与终端设备,如遥控器、手机、平板电脑进行通信,根据终端设备的控制确定拍摄焦距,以及将拍摄焦距发送给拍摄装置以便拍摄装置调节焦距。
示例性的,根据拍摄焦距可以确定拍摄装置是否采用数字变焦。
示例性的,当拍摄装置未采用数字变焦时,拍摄装置的拍摄焦距等于镜头组件的物理焦距,可以理解的,此时的拍摄焦距在光学变焦段。
示例性的,当拍摄装置同时采用光学变焦和数字变焦时,拍摄焦距等于镜头组件的物理焦距和数字变焦的等效焦距的乘积,可以理解的,此时的拍摄焦距在数字变焦段。
S230、根据所述拍摄焦距从所述第一图像提取第二图像。
在一些实施方式中,若所述拍摄装置采用数字变焦,例如拍摄焦距在拍摄装置的数字变焦段,则可以从第一图像中裁剪出较小分辨率的第二图像。
具体的,可以从第一图像的中央区域裁剪出第二图像。可以提高拍摄图像中部的待拍摄物体的位置稳定。
在一些实施方式中,若所述拍摄装置未采用数字变焦,例如拍摄焦距在拍摄装置的光学变焦段,则可以通过对第一图像进行降采样处理,得到较小分辨率的第二图像。
在一些实施方式中,述拍摄焦距连续变化时,所述第二图像的视角是连续的。
示例性的,所述拍摄焦距在光学变焦段连续变化时,所述第二图像的视角是连续变化的。
示例性的,所述拍摄焦距在数字变焦段连续变化时,所述第二图像的视角保持不变。
示例性的,所述拍摄装置从未采用数字变焦切换至采用数字变焦时,所述第二图像的视角是连续的;和/或所述拍摄装置从采用数字变焦切换至未采用数字变焦时,所述第二图像的视角是连续的。
具体的,所述拍摄焦距为光学变焦和数字变焦的临界焦距时所述第二图像的视角,与所述拍摄焦距大于所述临界焦距时所述第二图像的视角相等。
示例性的,所述根据所述拍摄焦距从所述第一图像提取第二图像,包括:若所述拍摄装置未采用数字变焦,根据所述拍摄焦距确定所述第一图像中的目标区域;将所述目标区域内的图像处理为所述第二图像。
示例性的,若所述拍摄装置未采用数字变焦,所述目标区域的大小随着所述拍摄焦距的增大而减小。具体的,所述目标区域的大小与所述拍摄焦距呈线性关系。
示例性的,所述拍摄焦距为所述拍摄装置的最小物理焦距时,所述目标区域为所述第一图像的整个区域。
示例性的,所述将所述目标区域内的图像处理为所述第二图像,包括:若所述拍摄焦距小于光学变焦和数字变焦的临界焦距,对所述目标区域内的图像进行降采样得到所述第二图像。
示例性的,所述拍摄焦距为光学变焦和数字变焦的临界焦距时,所述目标区域的分辨率等于预设分辨率。
示例性的,所述根据所述拍摄焦距从所述第一图像提取第二图像,包括:若所述拍摄装置采用数字变焦,从所述第一图像裁剪所述第二图像;所述第二图像的分辨率等于所述预设分辨率。
S240、根据所述第二图像确定漂移量。
示例性的,根据所述第二图像上的特征点的光流向量确定漂移量。
S250、根据所述漂移量控制所述可移动平台的动作,以稳定所述拍摄装置。
其中,所述第二图像的分辨率小于所述第一图像的分辨率。
如图6所示,拍摄装置101搭载于可移动平台102。示例性的,可移动平台102可以包括云台。具体的,云台能够搭载于无人飞行器、无人车等。
示例性的,云台包括至少一个转轴结构,其中转轴结构可以包括对应偏航(yaw)轴的转轴结构、对应横滚(roll)轴的转轴结构和对应俯仰(pitch)轴的转轴结构中的至少一个。通过转轴结构的动作,可以稳定拍摄装置的姿态,例如维持拍摄装置的拍摄方向保持不变。
示例性的,可移动平台能够根据漂移量移动或者调整姿态,例如云台根据漂移量调节转轴结构动作,以稳定拍摄装置拍摄的图像。
示例性的,所述可移动平台搭载惯性传感器,可以根据所述漂移量修正所述惯性传感器的测量数据;根据修正后的测量数据控制所述可移动平台的动作,以稳定所述拍摄装置。
根据视觉算法确定的漂移量可以作为可移动平台增稳作用的反馈信号,用于修正所述惯性传感器的测量数据,根据修正后的测量数据控制所述可移动平台的动作,以稳定所述拍摄装置,可以得到更好的增稳效果。
示例性的,所述根据所述漂移量修正所述惯性传感器的测量数据,包括:根据所述漂移量修正所述惯性传感器的测量数据,所述漂移量的时间戳与所述测量数据的时间戳的差值不大于预设的时差阈值。
在一些实施方式中,所述方法还可以包括:与所述拍摄装置进行时间同步。
示例性的,所述方法还包括:根据所述拍摄装置拍摄的图像确定所述可移动平台的姿态估计值。
示例性的,所述方法还包括:获取所述可移动平台的姿态测量值。
示例性的,所述方法还包括:根据所述姿态测量值和所述姿态估计值确定所述拍摄装置和所述可移动平台之间的时间偏差值。
示例性的,所述与所述拍摄装置进行时间同步,包括:根据所述时间偏差值对所述拍摄装置和所述可移动平台进行时间同步。
示例性的,可移动平台在上电自检时,根据所述姿态测量值和所述姿态估计值确定所述拍摄装置和所述可移动平台之间的时间偏差值。
在一些实施方式中,所述与所述拍摄装置进行时间同步,包括:根据尺度标定值和/或偏差标定值对所述拍摄装置和所述可移动平台进行时间同步。
所述方法还包括:确定所述尺度标定值和/或所述偏差标定值。
示例性的,所述确定所述偏差标定值,包括:根据所述拍摄装置拍摄的图像确定多个时刻的运动幅度估计值;根据所述惯性传感器在多个时刻的角速度测量值和所述多个时刻的运动幅度估计值确定所述尺度标定值和/或所述偏差标定值。
示例性的,所述根据所述惯性传感器在多个时刻的角速度测量值和所述多个时刻的运动幅度估计值确定所述偏差标定值,包括:对所述多个时刻的角速度测量值和所述多个时刻的运动幅度估计值进行相关性分析,确定所述偏差标定值。
示例性的,所述根据所述惯性传感器在多个时刻的角速度测量值和所述多个时刻的运动幅度估计值确定所述尺度标定值,包括:根据所述多个时刻的角速度测量值确定两次动作之间的第一时间间隔;根据所述多个时刻的运动幅度估计值确定所述两次动作之间的第二时间间隔;根据所述第一时间间隔和所述第二时间间隔的比值确定所述尺度标定值。
本说明书实施例提供的用于可移动平台的图像处理方法的具体原理和实现方式均与前述实施例的用于图像处理系统的图像处理方法类似,此处不再赘述。
本说明书实施例提供的图像处理方法,通过获取拍摄装置的图像传感器感应的第一图像,然后根据拍摄装置的拍摄焦距从第一图像中提取出第二图像,其中第二图像的分辨率小于第一图像的分辨率,得到的第二图像的质量较高,可以不进行插值处理;然后根据第二图像确定漂移量,以及根据漂移量稳定拍摄装置拍摄的图像,根据第二图像确定的漂移量准确度较高,增稳效果更好。
请结合前述说明参阅图11,图11是本说明书一实施例提供的图像处理系统的示意性框图,该图像处理系统包括拍摄装置600。
示例性的,拍摄装置600例如包括搭载摄像头的相机、手机、眼镜等,例如虚拟现实(VR,virtual reality)眼镜或第一人称视角(FPV,first person view)眼镜。
示例性的,该图像处理系统包括一个或多个处理器,单独地或共同地工作,用于执行前述的用于图像处理系统的图像处理方法的步骤。
示例性的,图像处理系统中的一个或多个处理器,单独地或共同地工作,用于执行以下步骤:
获取所述拍摄装置的图像传感器感应的第一图像;
获取所述拍摄装置的拍摄焦距;
根据所述拍摄焦距从所述第一图像提取第二图像;
根据所述第二图像确定漂移量;
根据所述漂移量稳定所述拍摄装置拍摄的图像;
其中,所述第二图像的分辨率小于所述第一图像的分辨率。
具体的,该拍摄装置600包括处理器601,还包括存储器602。
示例性的,处理器601和存储器602通过总线603连接,该总线603比如为I2C(Inter-integrated Circuit)总线。
具体地,处理器601可以是微控制单元(Micro-controller Unit,MCU)、中央处理单元(Central Processing Unit,CPU)或数字信号处理器(Digital Signal Processor,DSP)等。
具体地,存储器602可以是Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中,所述处理器601用于运行存储在存储器602中的计算机程序,并在执行所述计算机程序时实现前述的用于图像处理系统的图像处理方法。
在一些实施方式中,如图12所示,图像处理系统还可以包括可移动平台700。拍摄装置600能够搭载于可移动平台700。
示例性的,可移动平台700例如可以包括云台、无人飞行器、无人驾驶车辆或无人驾驶船艇。其中,无人飞行器例如可以为旋翼型无人机,例如四旋翼无人机、六旋翼无人机、八旋翼无人机,也可以是固定翼无人机。
示例性的,云台例如包括手持云台,或能够搭载于无人飞行器、无人驾驶车辆或无人驾驶船艇上的云台。
示例性的,如图12所示,可移动平台700可以包括处理器701,与拍摄装置600中的处理器601单独地或共同地工作。
可以理解的,图像处理系统中的一个或多个处理器,可以包括拍摄装置600中的处理器601和/或可移动平台700中的处理器701。图像处理方法的步骤可以仅由拍摄装置600中的处理器601执行,或者仅由可移动平台700中的处理器701执行,或者可以由拍摄装置600中的处理器601和可移动平台700中的处理器701共同地执行。
本说明书实施例提供的图像处理系统的具体原理和实现方式均与前述实施例的用于图像处理系统的图像处理方法类似,此处不再赘述。
请结合前述说明参阅图13,图13是本说明书一实施例提供的一种可移动平台800的示意性框图。该可移动平台800包括一个或多个处理器801,单独地或共同地工作,用于执行前述用于可移动平台的图像处理方法的步骤。
示例性的,一个或多个处理器801,单独地或共同地工作,用于执行以下步骤:
获取所述拍摄装置的图像传感器感应的第一图像;
获取所述拍摄装置的拍摄焦距;
根据所述拍摄焦距从所述第一图像提取第二图像;
根据所述第二图像确定漂移量;
根据所述漂移量控制所述可移动平台的动作,以稳定所述拍摄装置;
其中,所述第二图像的分辨率小于所述第一图像的分辨率。
具体的,该可移动平台800包括处理器801,还包括存储器802。
示例性的,处理器801和存储器802通过总线803连接。其中,所述处理器801用于运行存储在存储器802中的计算机程序,并在执行所述计算机程序时实现前述的用于可移动平台的图像处理方法的步骤。
本说明书实施例提供的可移动平台的具体原理和实现方式均与前述实施例的用于可移动平台的图像处理方法类似,此处不再赘述。
本说明书的实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,所述处理器执行所述程序指令,实现:
上述实施例提供的用于图像处理系统的图像处理方法的步骤;和/或
上述实施例提供的用于可移动平台的图像处理方法的步骤。
其中,所述计算机可读存储介质可以是前述任一实施例所述的拍摄装置或可移动平台的内部存储单元,例如所述拍摄装置或可移动平台的硬盘或内存。所述计算机可读存储介质也可以是所述拍摄装置或可移动平台的外部存储设备,例如所述拍摄装置或可移动平台上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。
应当理解,在此本说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本说明书。
还应当理解,在本说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
以上所述,仅为本说明书的具体实施方式,但本说明书的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本说明书揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本说明书的保护范围之内。因此,本说明书的保护范围应以权利要求的保护范围为准。

Claims (66)

1.一种图像处理方法,其特征在于,用于图像处理系统,所述图像处理系统包括拍摄装置,所述方法包括:
获取所述拍摄装置的图像传感器感应的第一图像;
获取所述拍摄装置的拍摄焦距;
根据所述拍摄焦距从所述第一图像提取第二图像;
根据所述第二图像确定漂移量;
根据所述漂移量稳定所述拍摄装置拍摄的图像;
其中,所述第二图像的分辨率小于所述第一图像的分辨率。
2.根据权利要求1所述方法,其特征在于,所述方法还包括:
确定在感应所述第一图像时,所述拍摄装置是否采用数字变焦。
3.根据权利要求2所述方法,其特征在于,所述确定在感应所述第一图像时,所述拍摄装置是否采用数字变焦,包括:
根据所述拍摄焦距确定所述拍摄装置是否采用数字变焦。
4.根据权利要求3所述方法,其特征在于,所述根据所述拍摄焦距确定所述拍摄装置是否采用数字变焦,包括:
若所述拍摄焦距不大于光学变焦和数字变焦的临界焦距,确定所述拍摄装置未采用数字变焦;
若所述拍摄焦距大于所述临界焦距,确定所述拍摄装置采用数字变焦。
5.根据权利要求1所述方法,其特征在于,所述根据所述拍摄焦距从所述第一图像提取第二图像,包括:
若所述拍摄装置采用数字变焦,从所述第一图像中裁剪出所述第二图像。
6.根据权利要求5所述方法,其特征在于,所述从所述第一图像中裁剪出所述第二图像,包括:
从所述第一图像的中央区域中裁剪出所述第二图像。
7.根据权利要求5所述方法,其特征在于,所述根据所述拍摄焦距从所述第一图像提取第二图像,包括:
若所述拍摄装置未采用数字变焦,对第一图像进行降采样处理,得到所述第二图像。
8.根据权利要求5所述方法,其特征在于,所述拍摄焦距连续变化时,所述第二图像的视角是连续的。
9.根据权利要求8所述方法,其特征在于,所述拍摄焦距在光学变焦段连续变化时,所述第二图像的视角是连续变化的。
10.根据权利要求8所述方法,其特征在于,所述拍摄焦距在数字变焦段连续变化时,所述第二图像的视角保持不变。
11.根据权利要求5、8-10中任一项所述方法,其特征在于,所述拍摄装置从未采用数字变焦切换至采用数字变焦时,所述第二图像的视角是连续的;和/或
所述拍摄装置从采用数字变焦切换至未采用数字变焦时,所述第二图像的视角是连续的。
12.根据权利要求11所述方法,其特征在于,所述拍摄焦距为光学变焦和数字变焦的临界焦距时所述第二图像的视角,与所述拍摄焦距大于所述临界焦距时所述第二图像的视角相等。
13.根据权利要求11所述方法,其特征在于,所述根据所述拍摄焦距从所述第一图像提取第二图像,包括:
若所述拍摄装置未采用数字变焦,根据所述拍摄焦距确定所述第一图像中的目标区域;
将所述目标区域内的图像处理为所述第二图像。
14.根据权利要求13所述方法,其特征在于,若所述拍摄装置未采用数字变焦,所述目标区域的大小随着所述拍摄焦距的增大而减小。
15.根据权利要求14所述方法,其特征在于,所述目标区域的大小与所述拍摄焦距呈线性关系。
16.根据权利要求14所述方法,其特征在于,所述拍摄焦距为所述拍摄装置的最小物理焦距时,所述目标区域为所述第一图像的整个区域。
17.根据权利要求14所述方法,其特征在于,所述将所述目标区域内的图像处理为所述第二图像,包括:
若所述拍摄焦距小于光学变焦和数字变焦的临界焦距,对所述目标区域内的图像进行降采样得到所述第二图像。
18.根据权利要求14所述方法,其特征在于,所述拍摄焦距为光学变焦和数字变焦的临界焦距时,所述目标区域的分辨率等于预设分辨率。
19.根据权利要求18所述方法,其特征在于,所述根据所述拍摄焦距从所述第一图像提取第二图像,包括:
若所述拍摄装置采用数字变焦,从所述第一图像裁剪所述第二图像;
所述第二图像的分辨率等于所述预设分辨率。
20.根据权利要求1所述方法,其特征在于,所述根据所述第二图像确定漂移量,包括:
根据所述第二图像上的特征点的光流向量确定漂移量。
21.根据权利要求1-20中任一项所述方法,其特征在于,所述图像处理系统包括惯性传感器;
所述根据所述漂移量稳定所述拍摄装置拍摄的图像,包括:
根据所述漂移量修正所述惯性传感器的测量数据;
根据修正后的测量数据稳定所述拍摄装置拍摄的图像。
22.根据权利要求1-20中任一项所述方法,其特征在于,所述图像处理系统还包括能够搭载所述拍摄装置的可移动平台。
23.根据权利要求22所述方法,其特征在于,所述根据所述漂移量稳定所述拍摄装置拍摄的图像,包括:
根据所述漂移量控制所述可移动平台的动作,以稳定所述拍摄装置。
24.根据权利要求23所述方法,其特征在于,所述可移动平台包括惯性传感器,所述根据所述漂移量控制所述可移动平台的动作,以稳定所述拍摄装置,包括:
根据所述漂移量修正所述惯性传感器的测量数据;
根据修正后的测量数据控制所述可移动平台的动作,以稳定所述拍摄装置。
25.根据权利要求24所述方法,其特征在于,所述方法还包括:
对所述拍摄装置和所述可移动平台进行时间同步。
26.根据权利要求25所述方法,其特征在于,所述根据所述漂移量修正所述惯性传感器的测量数据,包括:
根据所述漂移量修正所述惯性传感器的测量数据,所述漂移量的时间戳与所述测量数据的时间戳的差值不大于预设的时差阈值。
27.根据权利要求25所述方法,其特征在于,所述方法还包括:
根据所述拍摄装置拍摄的图像确定所述可移动平台的姿态估计值。
28.根据权利要求27所述方法,其特征在于,所述方法还包括:
获取所述可移动平台的姿态测量值。
29.根据权利要求28所述方法,其特征在于,所述方法还包括:
根据所述姿态测量值和所述姿态估计值确定所述拍摄装置和所述可移动平台之间的时间偏差值;
所述对所述拍摄装置和所述可移动平台进行时间同步,包括:
根据所述时间偏差值对所述拍摄装置和所述可移动平台进行时间同步。
30.根据权利要求29所述方法,其特征在于,所述根据所述姿态测量值和所述姿态估计值确定所述拍摄装置和所述可移动平台之间的时间偏差值,包括:
在所述图像处理系统上电自检时,根据所述姿态测量值和所述姿态估计值确定所述拍摄装置和所述可移动平台之间的时间偏差值。
31.根据权利要求25所述方法,其特征在于,所述对所述拍摄装置和所述可移动平台进行时间同步,包括:
根据尺度标定值和/或偏差标定值对所述拍摄装置和所述可移动平台进行时间同步。
32.根据权利要求31所述方法,其特征在于,所述方法还包括:
确定所述尺度标定值和/或所述偏差标定值。
33.根据权利要求32所述方法,其特征在于,所述确定所述偏差标定值,包括:
根据所述拍摄装置拍摄的图像确定多个时刻的运动幅度估计值;
根据所述惯性传感器在多个时刻的角速度测量值和所述多个时刻的运动幅度估计值确定所述尺度标定值和/或所述偏差标定值。
34.根据权利要求33所述方法,其特征在于,所述根据所述惯性传感器在多个时刻的角速度测量值和所述多个时刻的运动幅度估计值确定所述偏差标定值,包括:
对所述多个时刻的角速度测量值和所述多个时刻的运动幅度估计值进行相关性分析,确定所述偏差标定值。
35.根据权利要求33所述方法,其特征在于,所述根据所述惯性传感器在多个时刻的角速度测量值和所述多个时刻的运动幅度估计值确定所述尺度标定值,包括:
根据所述多个时刻的角速度测量值确定两次动作之间的第一时间间隔;
根据所述多个时刻的运动幅度估计值确定所述两次动作之间的第二时间间隔;
根据所述第一时间间隔和所述第二时间间隔的比值确定所述尺度标定值。
36.一种图像处理方法,其特征在于,用于可移动平台,所述可移动平台能够搭载拍摄装置,所述方法包括:
获取所述拍摄装置的图像传感器感应的第一图像;
获取所述拍摄装置的拍摄焦距;
根据所述拍摄焦距从所述第一图像提取第二图像;
根据所述第二图像确定漂移量;
根据所述漂移量控制所述可移动平台的动作,以稳定所述拍摄装置;
其中,所述第二图像的分辨率小于所述第一图像的分辨率。
37.根据权利要求36所述方法,其特征在于,所述根据所述拍摄焦距从所述第一图像提取第二图像,包括:
若所述拍摄装置采用数字变焦,从所述第一图像中裁剪出所述第二图像。
38.根据权利要求37所述方法,其特征在于,所述从所述第一图像中裁剪出所述第二图像,包括:
从所述第一图像的中央区域中裁剪出所述第二图像。
39.根据权利要求37所述方法,其特征在于,所述根据所述拍摄焦距从所述第一图像提取第二图像,包括:
若所述拍摄装置未采用数字变焦,对第一图像进行降采样处理,得到所述第二图像。
40.根据权利要求37所述方法,其特征在于,所述拍摄焦距连续变化时,所述第二图像的视角是连续的。
41.根据权利要求40所述方法,其特征在于,所述拍摄焦距在光学变焦段连续变化时,所述第二图像的视角是连续变化的。
42.根据权利要求40所述方法,其特征在于,所述拍摄焦距在数字变焦段连续变化时,所述第二图像的视角保持不变。
43.根据权利要求37、40-42中任一项所述方法,其特征在于,所述拍摄装置从未采用数字变焦切换至采用数字变焦时,所述第二图像的视角是连续的;和/或
所述拍摄装置从采用数字变焦切换至未采用数字变焦时,所述第二图像的视角是连续的。
44.根据权利要求43所述方法,其特征在于,所述拍摄焦距为光学变焦和数字变焦的临界焦距时所述第二图像的视角,与所述拍摄焦距大于所述临界焦距时所述第二图像的视角相等。
45.根据权利要求43所述方法,其特征在于,所述根据所述拍摄焦距从所述第一图像提取第二图像,包括:
若所述拍摄装置未采用数字变焦,根据所述拍摄焦距确定所述第一图像中的目标区域;
将所述目标区域内的图像处理为所述第二图像。
46.根据权利要求45所述方法,其特征在于,若所述拍摄装置未采用数字变焦,所述目标区域的大小随着所述拍摄焦距的增大而减小。
47.根据权利要求46所述方法,其特征在于,所述目标区域的大小与所述拍摄焦距呈线性关系。
48.根据权利要求46所述方法,其特征在于,所述拍摄焦距为所述拍摄装置的最小物理焦距时,所述目标区域为所述第一图像的整个区域。
49.根据权利要求46所述方法,其特征在于,所述将所述目标区域内的图像处理为所述第二图像,包括:
若所述拍摄焦距小于光学变焦和数字变焦的临界焦距,对所述目标区域内的图像进行降采样得到所述第二图像。
50.根据权利要求46所述方法,其特征在于,所述拍摄焦距为光学变焦和数字变焦的临界焦距时,所述目标区域的分辨率等于预设分辨率。
51.根据权利要求50所述方法,其特征在于,所述根据所述拍摄焦距从所述第一图像提取第二图像,包括:
若所述拍摄装置采用数字变焦,从所述第一图像裁剪所述第二图像;
所述第二图像的分辨率等于所述预设分辨率。
52.根据权利要求36所述方法,其特征在于,所述可移动平台包括惯性传感器,所述根据所述漂移量控制所述可移动平台的动作,以稳定所述拍摄装置,包括:
根据所述漂移量修正所述惯性传感器的测量数据;
根据修正后的测量数据控制所述可移动平台的动作,以稳定所述拍摄装置。
53.根据权利要求52中任一项所述方法,其特征在于,所述方法还包括:
与所述拍摄装置进行时间同步。
54.根据权利要求53所述方法,其特征在于,所述根据所述漂移量修正所述惯性传感器的测量数据,包括:
根据所述漂移量修正所述惯性传感器的测量数据,所述漂移量的时间戳与所述测量数据的时间戳的差值不大于预设的时差阈值。
55.根据权利要求53所述方法,其特征在于,所述方法还包括:
根据所述拍摄装置拍摄的图像确定所述可移动平台的姿态估计值。
56.根据权利要求55所述方法,其特征在于,所述方法还包括:
获取所述可移动平台的姿态测量值。
57.根据权利要求56所述方法,其特征在于,所述方法还包括:
根据所述姿态测量值和所述姿态估计值确定所述拍摄装置和所述可移动平台之间的时间偏差值;
所述与所述拍摄装置进行时间同步,包括:
根据所述时间偏差值对所述拍摄装置和所述可移动平台进行时间同步。
58.根据权利要求57所述方法,其特征在于,所述根据所述姿态测量值和所述姿态估计值确定所述拍摄装置和所述可移动平台之间的时间偏差值,包括:
在上电自检时,根据所述姿态测量值和所述姿态估计值确定所述拍摄装置和所述可移动平台之间的时间偏差值。
59.根据权利要求53所述方法,其特征在于,所述与所述拍摄装置进行时间同步,包括:
根据尺度标定值和/或偏差标定值对所述拍摄装置和所述可移动平台进行时间同步。
60.根据权利要求59所述方法,其特征在于,所述方法还包括:
确定所述尺度标定值和/或所述偏差标定值。
61.根据权利要求60所述方法,其特征在于,所述确定所述偏差标定值,包括:
根据所述拍摄装置拍摄的图像确定多个时刻的运动幅度估计值;
根据所述惯性传感器在多个时刻的角速度测量值和所述多个时刻的运动幅度估计值确定所述尺度标定值和/或所述偏差标定值。
62.根据权利要求61所述方法,其特征在于,所述根据所述惯性传感器在多个时刻的角速度测量值和所述多个时刻的运动幅度估计值确定所述偏差标定值,包括:
对所述多个时刻的角速度测量值和所述多个时刻的运动幅度估计值进行相关性分析,确定所述偏差标定值。
63.根据权利要求61所述方法,其特征在于,所述根据所述惯性传感器在多个时刻的角速度测量值和所述多个时刻的运动幅度估计值确定所述尺度标定值,包括:
根据所述多个时刻的角速度测量值确定两次动作之间的第一时间间隔;
根据所述多个时刻的运动幅度估计值确定所述两次动作之间的第二时间间隔;
根据所述第一时间间隔和所述第二时间间隔的比值确定所述尺度标定值。
64.一种图像处理系统,其特征在于,所述图像处理系统包括拍摄装置,所述图像处理系统包括:
一个或多个处理器,单独地或共同地工作,用于执行以下步骤:
获取所述拍摄装置的图像传感器感应的第一图像;
获取所述拍摄装置的拍摄焦距;
根据所述拍摄焦距从所述第一图像提取第二图像;
根据所述第二图像确定漂移量;
根据所述漂移量稳定所述拍摄装置拍摄的图像;
其中,所述第二图像的分辨率小于所述第一图像的分辨率。
65.一种可移动平台,其特征在于,所述可移动平台能够搭载拍摄装置,所述可移动平台包括:
一个或多个处理器,单独地或共同地工作,用于执行以下步骤:
获取所述拍摄装置的图像传感器感应的第一图像;
获取所述拍摄装置的拍摄焦距;
根据所述拍摄焦距从所述第一图像提取第二图像;
根据所述第二图像确定漂移量;
根据所述漂移量控制所述可移动平台的动作,以稳定所述拍摄装置;
其中,所述第二图像的分辨率小于所述第一图像的分辨率。
66.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现:
如权利要求1-35中任一项所述的图像处理方法;和/或
如权利要求36-62中任一项所述的图像处理方法。
CN202080005667.4A 2020-03-11 2020-03-11 图像处理系统、可移动平台及其图像处理方法、存储介质 Pending CN112956184A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/078851 WO2021179217A1 (zh) 2020-03-11 2020-03-11 图像处理系统、可移动平台及其图像处理方法、存储介质

Publications (1)

Publication Number Publication Date
CN112956184A true CN112956184A (zh) 2021-06-11

Family

ID=76236223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080005667.4A Pending CN112956184A (zh) 2020-03-11 2020-03-11 图像处理系统、可移动平台及其图像处理方法、存储介质

Country Status (2)

Country Link
CN (1) CN112956184A (zh)
WO (1) WO2021179217A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160231553A1 (en) * 2015-02-06 2016-08-11 The Regents Of The University Of Colorado, A Body Corporate Method and/or system for stabilization, tracking, and/or control of microscopic systems
CN108475075A (zh) * 2017-05-25 2018-08-31 深圳市大疆创新科技有限公司 一种控制方法、装置及云台
CN109544620A (zh) * 2018-10-31 2019-03-29 Oppo广东移动通信有限公司 图像处理方法和装置、计算机可读存储介质和电子设备
CN110536057A (zh) * 2019-08-30 2019-12-03 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170299842A1 (en) * 2010-08-12 2017-10-19 John G. Posa Electronic binoculars
CN106791400B (zh) * 2016-12-23 2019-08-20 维沃移动通信有限公司 一种图像显示方法及移动终端
US11336827B2 (en) * 2017-11-09 2022-05-17 Canon Kabushiki Kaisha Imaging apparatus and interchangeable lens apparatus that utilize image circle information of an imaging optical system in the interchangeable lens apparatus
CN108769528B (zh) * 2018-06-15 2020-01-10 Oppo广东移动通信有限公司 图像补偿方法和装置、计算机可读存储介质和电子设备
CN110086973B (zh) * 2019-05-10 2020-11-27 中国计量大学 一种基于光流相机的云台稳像系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160231553A1 (en) * 2015-02-06 2016-08-11 The Regents Of The University Of Colorado, A Body Corporate Method and/or system for stabilization, tracking, and/or control of microscopic systems
CN108475075A (zh) * 2017-05-25 2018-08-31 深圳市大疆创新科技有限公司 一种控制方法、装置及云台
CN109544620A (zh) * 2018-10-31 2019-03-29 Oppo广东移动通信有限公司 图像处理方法和装置、计算机可读存储介质和电子设备
CN110536057A (zh) * 2019-08-30 2019-12-03 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Also Published As

Publication number Publication date
WO2021179217A1 (zh) 2021-09-16

Similar Documents

Publication Publication Date Title
US7329057B2 (en) Image pickup processing method and image pickup apparatus
US8928736B2 (en) Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program
KR101071352B1 (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
US10511774B2 (en) Image pick-up apparatus and control method
US10277809B2 (en) Imaging device and imaging method
US9088772B2 (en) Image-capturing apparatus
US7860387B2 (en) Imaging apparatus and control method therefor
CN110754080B (zh) 图像获取方法、成像装置及拍摄系统
CN107040713B (zh) 运动矢量检测设备及其控制方法和摄像设备
US8965105B2 (en) Image processing device and method
US20170150054A1 (en) Image pickup apparatus for detecting moving amount of main subject or background, method for controlling image pickup apparatus, and storage medium
US11575834B2 (en) Image stabilization apparatus, method of controlling same, and storage medium
US20150178595A1 (en) Image processing apparatus, imaging apparatus, image processing method and program
CN114339102A (zh) 一种录像方法及设备
JP2019101996A (ja) 複数の撮像画像を合成することによりノイズを低減する画像処理装置及び画像処理方法
US10764500B2 (en) Image blur correction device and control method
JP2019101997A (ja) 複数の撮像画像を合成することによりノイズを低減する画像処理装置及び画像処理方法
EP3718302B1 (en) Method and system for handling 360 degree image content
CN113645397A (zh) 移动目标对象的跟踪方法、装置及跟踪系统
CN112956184A (zh) 图像处理系统、可移动平台及其图像处理方法、存储介质
JP4517813B2 (ja) パンニング撮影可能なカメラおよび動画像編集用プログラム
JP2007036743A (ja) 複数画像合成方法及び撮像装置
JP7013205B2 (ja) 像振れ補正装置およびその制御方法、撮像装置
CN113287297A (zh) 控制方法、手持云台、系统及计算机可读存储介质
JP2020120362A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230203

AD01 Patent right deemed abandoned