CN106954024A - 一种无人机及其电子稳像方法、系统 - Google Patents

一种无人机及其电子稳像方法、系统 Download PDF

Info

Publication number
CN106954024A
CN106954024A CN201710192681.XA CN201710192681A CN106954024A CN 106954024 A CN106954024 A CN 106954024A CN 201710192681 A CN201710192681 A CN 201710192681A CN 106954024 A CN106954024 A CN 106954024A
Authority
CN
China
Prior art keywords
area
coordinate system
region
image
image stabilization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710192681.XA
Other languages
English (en)
Other versions
CN106954024B (zh
Inventor
周彬
周剑
陆宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Tongjia Youbo Technology Co Ltd
Original Assignee
Chengdu Tongjia Youbo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Tongjia Youbo Technology Co Ltd filed Critical Chengdu Tongjia Youbo Technology Co Ltd
Priority to CN201710192681.XA priority Critical patent/CN106954024B/zh
Publication of CN106954024A publication Critical patent/CN106954024A/zh
Priority to PCT/CN2017/120343 priority patent/WO2018176963A1/zh
Application granted granted Critical
Publication of CN106954024B publication Critical patent/CN106954024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种无人机及其电子稳像方法、系统,该方法包括:获取稳像区域;从预先创建的虚拟相机坐标系中确定出与稳像区域相对应的区域,得到第一区域;其中,虚拟相机坐标系为在姿态相对世界坐标系静止的虚拟相机中创建的坐标系;从物理相机坐标系中确定出与第一区域对应的区域,得到第二区域;从图像坐标系中确定出与第二区域对应的区域,得到第三区域;根据稳像区域和第三区域之间的映射关系,将无人机上的物理相机所采集到的待稳像图像映射至稳像区域,得到稳像后图像。本申请实现了对无人机采集到的图像进行稳像处理的目的。

Description

一种无人机及其电子稳像方法、系统
技术领域
本发明涉及无人机技术领域,特别涉及一种无人机及其电子稳像方法、系统。
背景技术
当前,随着科学技术的快速发展以及巨大的市场需求,无人机的应用范围越来越广,为用户提供了诸多便捷的无人机服务。
现有无人机绝大部分功能的实现均需依赖于无人机上搭载的摄像系统,然而,由于无人机在实际飞行过程中容易出现抖动,导致无人机上的摄像系统所采集的摄像画面时常出现抖动现象,严重影响了摄像质量。
综上所述可以看出,如何对无人机采集到的图像进行稳像处理是目前亟待解决的问题。
发明内容
有鉴于此,本发明的目的在于提供一种无人机及其电子稳像方法、系统,能够实现对无人机采集到的图像进行稳像处理的目的。其具体方案如下:
一种无人机电子稳像方法,包括:
获取稳像区域;
从预先创建的虚拟相机坐标系中确定出与所述稳像区域相对应的区域,得到第一区域;其中,所述虚拟相机坐标系为在姿态相对世界坐标系静止的虚拟相机中创建的坐标系;
从物理相机坐标系中确定出与所述第一区域对应的区域,得到第二区域;
从图像坐标系中确定出与所述第二区域对应的区域,得到第三区域;
根据所述稳像区域和所述第三区域之间的映射关系,将无人机上的物理相机所采集到的待稳像图像映射至所述稳像区域,得到稳像后图像。
可选的,所述获取稳像区域的过程,包括:
为用户提供区域选取通道;
通过所述区域选取通道,获取用户在所述物理相机采集的图像画面中选取的区域,得到所述稳像区域。
可选的,所述从预先创建的虚拟相机坐标系中确定出与所述稳像区域相对应的区域的过程,包括:
利用所述虚拟相机的内参矩阵,确定出位于所述虚拟相机坐标系中的与所述稳像区域相对应的区域,得到所述第一区域。
可选的,所述从图像坐标系中确定出与所述第二区域对应的区域的过程,包括:
利用所述物理相机中的内参矩阵,确定出位于所述图像坐标系中的与所述第二区域相对应的区域,得到所述第三区域。
所述无人机电子稳像方法所对应的无人机稳像处理过程为在GPU中进行的处理过程。
可选的,所述从物理相机坐标系中确定出与所述第一区域对应的区域的过程,包括:
利用第一旋转矩阵,从所述世界坐标系中确定出与所述第一区域对应的区域,得到过渡区域;
利用第二旋转矩阵,从所述物理相机坐标系中确定出与所述过渡区域对应的区域,得到所述第二区域;
其中,所述第一旋转矩阵为所述世界坐标系与所述虚拟相机坐标系之间的旋转矩阵,所述第二旋转矩阵为所述物理相机坐标系与所述世界坐标系之间的旋转矩阵。
可选的,在对所述待稳像图像进行稳像处理的过程中,相应的所述第一旋转矩阵的获取过程,包括:
通过所述无人机中的IMU单元,获取所述物理相机在采集所述待稳像图像时所述无人机的飞机姿态;
对所述飞机姿态中的旋转矩阵进行均值滤波,得到所述第一旋转矩阵;
所述第二旋转矩阵的获取过程,包括:
将所述飞机姿态中的旋转矩阵直接确定为所述第二旋转矩阵。
可选的,所述从物理相机坐标系中确定出与所述第一区域对应的区域的过程,包括:
利用第三旋转矩阵,从所述物理相机坐标系中直接确定出与所述第一区域对应的区域,得到所述第二区域;
其中,所述第三旋转矩阵为所述物理相机坐标系与所述虚拟相机坐标系之间的旋转矩阵。
本发明还相应公开了一种无人机电子稳像系统,包括:
区域获取模块,用于获取稳像区域;
第一区域确定模块,用于从预先创建的虚拟相机坐标系中确定出与所述稳像区域相对应的区域,得到第一区域;其中,所述虚拟相机坐标系为在姿态相对世界坐标系静止的虚拟相机中创建的坐标系;
第二区域确定模块,用于从物理相机坐标系中确定出与所述第一区域对应的区域,得到第二区域;
第三区域确定模块,用于从图像坐标系中确定出与所述第二区域对应的区域,得到第三区域;
图像映射模块,用于根据所述稳像区域和所述第三区域之间的映射关系,将无人机上的物理相机所采集到的待稳像图像映射至所述稳像区域,得到稳像后图像。
本发明进一步公开了一种无人机,包括前述公开的无人机电子稳像系统。
本发明中,无人机电子稳像方法,包括:获取稳像区域;从预先创建的虚拟相机坐标系中确定出与稳像区域相对应的区域,得到第一区域;其中,虚拟相机坐标系为在姿态相对世界坐标系静止的虚拟相机中创建的坐标系;从物理相机坐标系中确定出与第一区域对应的区域,得到第二区域;从图像坐标系中确定出与第二区域对应的区域,得到第三区域;根据稳像区域和第三区域之间的映射关系,将无人机上的物理相机所采集到的待稳像图像映射至稳像区域,得到稳像后图像。
可见,本发明预先创建了相对于世界坐标系静止的虚拟相机坐标系,然后将稳像区域依序映射进虚拟相机坐标系,由于虚拟相机坐标系相对于世界坐标系来说是静止的,所以,当处于抖动状态的图像画面上的稳像区域映射至上述虚拟相机坐标系之后,将会得到相对虚拟相机坐标系连续稳定的第一区域,从而对画面的抖动产生抑制效果,接着将抖动现象受到抑制的第一区域重新映射到图像坐标系,得到位于图像坐标系上的第三区域,最后根据稳像区域与第三区域之间的映射关系,便可将无人机采集到的图像映射至稳像区域,从而实现图像画面的稳定输出,也即,本发明实现了对无人机采集到的图像进行稳像处理的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种无人机电子稳像方法流程图;
图2为本发明实施例公开的一种具体的无人机电子稳像方法流程图;
图3为本发明实施例公开的一种具体的无人机电子稳像方法流程图;
图4为本发明实施例公开的一种无人机电子稳像系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种无人机电子稳像方法,参见图1所示,该方法包括:
S11:获取稳像区域。
本实施例中,上述获取稳像区域的过程,具体可以包括:为用户提供区域选取通道,然后通过区域选取通道,获取用户在物理相机采集的图像画面中选取的区域,得到稳像区域。
也即,本实施例可以通过用户选取区域的方式,从物理相机采集到的图像画面中选取等待稳像的画面区域,其中,选取出来的画面区域的尺寸大小可以小于或等于物理相机采集到的图像画面的尺寸大小,这样,用户便可以根据实际需要,从图像画面中的任一需要进行重点关注的区域选取为稳像区域,这样既能提高用户体验,并且也有利于减少计算量,加快稳像计算速度。
S12:从预先创建的虚拟相机坐标系中确定出与稳像区域相对应的区域,得到第一区域;其中,虚拟相机坐标系为在姿态相对世界坐标系静止的虚拟相机中创建的坐标系。
本实施例中,通过将稳像区域映射至上述虚拟相机坐标系中,可以得到位于虚拟相机坐标系中的与稳像区域对应的第一区域。
本实施例中,在创建虚拟相机坐标系之前,需要先创建上述虚拟相机,其中,该虚拟相机的姿态相对于世界坐标系来说是静止的,然后在上述虚拟相机中建立上述虚拟相机坐标系,具体的,上述虚拟相机坐标系与世界坐标系的水平夹角可以保持在45°。
本实施例中,由于虚拟相机坐标系相对于世界坐标系来说是静止的,所以,当处于抖动状态的图像画面上的稳像区域映射至上述虚拟相机坐标系之后,将会得到相对虚拟相机坐标系连续稳定的第一区域,从而对画面的抖动产生抑制效果。
S13:从物理相机坐标系中确定出与第一区域对应的区域,得到第二区域。
本实施例中,通过将第一区域映射至物理相机坐标系中,可以得到位于物理相机坐标系中的与第一区域对应的第二区域。
S14:从图像坐标系中确定出与第二区域对应的区域,得到第三区域。
本实施例中,通过将第二区域映射至图像坐标系中,可以得到位于图像坐标系中的与第二区域对应的第三区域。
S15:根据稳像区域和第三区域之间的映射关系,将无人机上的物理相机所采集到的待稳像图像映射至稳像区域,得到稳像后图像。
本实施例中,通过稳像区域与第一区域之间的映射关系、第一区域与第二区域之间的映射关系,以及第二区域与第三区域之间的映射关系,可以确定出稳像区域与第三区域之间的映射关系。利用稳像区域和第三区域之间的映射关系,可以将上述物理相机采集到的待稳像图像映射至上述稳像区域,便可得到稳像后图像。
可见,本发明实施例预先创建了相对于世界坐标系静止的虚拟相机坐标系,然后将稳像区域依序映射进虚拟相机坐标系,由于虚拟相机坐标系相对于世界坐标系来说是静止的,所以,当处于抖动状态的图像画面上的稳像区域映射至上述虚拟相机坐标系之后,将会得到相对虚拟相机坐标系连续稳定的第一区域,从而对画面的抖动产生抑制效果,接着将抖动现象受到抑制的第一区域重新映射到图像坐标系,得到位于图像坐标系上的第三区域,最后根据稳像区域与第三区域之间的映射关系,便可将无人机采集到的图像映射至稳像区域,从而实现图像画面的稳定输出,也即,本发明实施例实现了对无人机采集到的图像进行稳像处理的目的。
参见图2所示,本发明实施例公开了一种具体的无人机电子稳像方法,包括如下步骤S21至S26:
S21:获取稳像区域S。
S22:利用虚拟相机的内参矩阵K,确定出位于虚拟相机坐标系C1中的与稳像区域S相对应的区域,得到第一区域SC1
本实施例中,具体可以利用虚拟相机的内参矩阵K和第一映射公式,将稳像区域映射至上述虚拟相机坐标系C1中,从而得到第一区域SC1。其中,上述第一映射公式具体为:
式中,(x,y)∈S为稳像区域S上任一点a的坐标,K为上述虚拟相机的内参矩阵,(X,Y,Z)为点a在虚拟相机坐标系C1中对应的位置,为点a在虚拟相机坐标系C1中对应的归一化位置,其中,SC1表示上述第一区域。
本实施例中,上述虚拟相机的内参矩阵K具体为:
式中,Fvx表示虚拟相机在X轴上的主距,Fvy表示虚拟相机在Y轴上的主距,(Cvx,Cvy)表示虚拟相机坐标系C1中的主点坐标。本实施例中,上述内参矩阵K可以在多次实验之后通过人工赋值的方式来得到。
S23:利用第一旋转矩阵RW-C1,从世界坐标系W中确定出与第一区域SC1对应的区域,得到过渡区域SW
其中,第一旋转矩阵RW-C1为世界坐标系W与虚拟相机坐标系C1之间的旋转矩阵。
具体的,在对待稳像图像进行稳像处理的过程中,相应的第一旋转矩阵RW-C1的获取过程,包括:通过无人机中的IMU单元(IMU,即Inertial Measurement Unit),获取物理相机在采集待稳像图像时无人机的飞机姿态P,然后对飞机姿态P中的旋转矩阵进行均值滤波,得到第一旋转矩阵RW-C1;其中,飞机姿态P=(R,T),R表示飞机姿态P中的旋转矩阵,T表示飞机姿态P中的平移向量。
可以理解的是,本实施例中,上述过渡区域SW具体可以通过如下公式来得到:SW=RW-C1×SC1
需要进一步指出的是,考虑到在实际应用过程中,无人机采集到的每一帧图像均有一个时间戳,而每一组飞机姿态数据中也有一个时间戳,如果这两种时间戳是分别从不同的时钟上得到的,那么在进行稳像处理之前,需要先将上述两种时间戳统一到同一个时钟上,也即,需要事先对上述两种时间戳进行时间对齐处理。
假设检测到图像时间戳对应的时钟timg比姿态数据时间戳对应的时钟tpose快Δt的时间,那么,可以将其中一个时钟转换到另外一个时钟去,使得两个时间戳均对应于同一个时钟,即:tpose_img=tpose+Δt。
在确保帧图像的时间戳与姿态数据的时间戳处于对齐状态之后,理论上可以根据时间戳之间的对应关系,建立帧图像与姿态数据之间的索引队列M,然后根据该索引队列M中的索引关系可以确定出每一帧图像所对应的飞机姿态,接着利用每一帧图像所对应的飞机姿态,便可展开后续的稳像处理过程。然而,由于IMU单元采样后的滤波算法会造成姿态数据的延时,使得基于图像的时间戳在索引队列里索引到的姿态与真实姿态不符,因此。需要求得IMU延时,建立图像与姿态之间的准确索引关系,从而得到准确的姿态。具体为:
假设在上述索引队列M中,帧图像与姿态相对应,其中,ti表示帧图像的时间戳,tj表示姿态的时间戳,并且,ti和tj均为经过对齐的时间点。那么,在IMU单元造成姿态数据的延时的情况下,如果上述索引队列M中的帧图像的时间戳ti与姿态的时间戳tj不再对应于同一个时间点,也即i≠j,ti≠tj,则可以利用线性插值的方法,确定帧图像所对应的准确姿态:假设tj-1<ri<tj,则计算出帧图像对应的准确姿态的公式如下:
S24:利用第二旋转矩阵RC2-W,从物理相机坐标系C2中确定出与过渡区域SW对应的区域,得到第二区域SC2
其中,第二旋转矩阵RC2-W为物理相机坐标系RC2-W与世界坐标系W之间的旋转矩阵。
具体的,上述第二旋转矩阵的获取过程包括:将飞机姿态P中的旋转矩阵R直接确定为第二旋转矩阵RC2-W,也即,RC2-W=R。
可以理解的是,本实施例中,上述第二区域SC2具体可以通过如下公式来得到:SC2=RC2-W×SW
S25:利用物理相机中的内参矩阵T,确定出位于图像坐标系C3中的与第二区域SC2相对应的区域,得到第三区域SC3
本实施例中,具体可以利用物理相机中的内参矩阵T和第二映射公式,将第二区域SC2映射至图像坐标系C3中,从而得到第三区域SC3。其中,上述第二映射公式具体为:
式中,(xx,y*)∈SC3为稳像区域S上的点坐标(x,y)在第三区域SC3中相对应的点坐标,为稳像区域S上的点坐标(x,y)在第二区域SC2中相对应的点坐标,T表示物理相机中的内参矩阵。
本实施例中,上述物理相机的内参矩阵T具体为:
式中,Fx和Fy分别为物理相机在X轴和Y轴上的主距,(Cx,Cy)表示物理相机坐标系C2中的主点坐标。本实施例中,上述内参矩阵T可以通过相机标定的方式来得到。
S26:根据稳像区域S和第三区域SC3之间的映射关系,将无人机上的物理相机所采集到的待稳像图像映射至稳像区域S,得到稳像后图像。
为了提升图像处理速度,本实施例中,无人机电子稳像方法所对应的无人机稳像处理过程优先为在GPU中进行的处理过程,这样比在CPU中进行处理具有更快的运算速度。具体的,可预先基于零拷贝技术,将帧图像从主机虚拟地址空间映射至GPU地址空间,并将各种旋转矩阵传入GPU,然后GPU便按照上述稳像处理过程对帧图像进行稳像处理,然后基于零拷贝技术,将稳像后图像映射至Host端虚拟地址空间,以供编码器、图传等应用程序使用。
参见图3所示,本发明实施例公开了一种具体的无人机电子稳像方法,包括如下步骤S31至S35:
步骤S31:获取稳像区域。
步骤S32:从预先创建的虚拟相机坐标系中确定出与稳像区域相对应的区域,得到第一区域。
步骤S33:利用第三旋转矩阵,从物理相机坐标系中直接确定出与第一区域对应的区域,得到第二区域;其中,第三旋转矩阵为物理相机坐标系与虚拟相机坐标系之间的旋转矩阵。
具体的,上述第三旋转矩阵可以通过对上一实施例中的第一旋转矩阵和第二旋转矩阵进行相乘来得到,也即,上述第三旋转矩阵等于上述第一旋转矩阵和第二旋转矩阵之间的乘积。
步骤S34:从图像坐标系中确定出与第二区域对应的区域,得到第三区域。
步骤S35:根据稳像区域和第三区域之间的映射关系,将无人机上的物理相机所采集到的待稳像图像映射至稳像区域,得到稳像后图像。
相应的,本发明实施例还公开了一种无人机电子稳像系统,参见图4所示,该系统包括:
区域获取模块11,用于获取稳像区域;
第一区域确定模块12,用于从预先创建的虚拟相机坐标系中确定出与稳像区域相对应的区域,得到第一区域;其中,虚拟相机坐标系为在姿态相对世界坐标系静止的虚拟相机中创建的坐标系。
第二区域确定模块13,用于从物理相机坐标系中确定出与第一区域对应的区域,得到第二区域;
第三区域确定模块14,用于从图像坐标系中确定出与第二区域对应的区域,得到第三区域;
图像映射模块15,用于根据稳像区域和第三区域之间的映射关系,将无人机上的物理相机所采集到的待稳像图像映射至稳像区域,得到稳像后图像。
具体的,上述第二区域确定模块12,可以包括第一确定单元和第二确定单元;其中,
第一确定单元,用于利用第一旋转矩阵,从世界坐标系中确定出与第一区域对应的区域,得到过渡区域;
第二确定单元,用于利用第二旋转矩阵,从物理相机坐标系中确定出与过渡区域对应的区域,得到第二区域;
其中,第一旋转矩阵为世界坐标系与虚拟相机坐标系之间的旋转矩阵,第二旋转矩阵为物理相机坐标系与世界坐标系之间的旋转矩阵。
关于上述各个模块和单元的更加具体的工作过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
可见,本发明实施例预先创建了相对于世界坐标系静止的虚拟相机坐标系,然后将稳像区域依序映射进虚拟相机坐标系,由于虚拟相机坐标系相对于世界坐标系来说是静止的,所以,当处于抖动状态的图像画面上的稳像区域映射至上述虚拟相机坐标系之后,将会得到相对虚拟相机坐标系连续稳定的第一区域,从而对画面的抖动产生抑制效果,接着将抖动现象受到抑制的第一区域重新映射到图像坐标系,得到位于图像坐标系上的第三区域,最后根据稳像区域与第三区域之间的映射关系,便可将无人机采集到的图像映射至稳像区域,从而实现图像画面的稳定输出,也即,本发明实施例实现了对无人机采集到的图像进行稳像处理的目的。
进一步的,本发明还公开了一种无人机,包括前述实施例中公开的无人机电子稳像系统,关于该系统的具体构造可以参考前述实施例中公开的相应内容,在此不再进行赘述。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种无人机及其电子稳像方法、系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种无人机电子稳像方法,其特征在于,包括:
获取稳像区域;
从预先创建的虚拟相机坐标系中确定出与所述稳像区域相对应的区域,得到第一区域;其中,所述虚拟相机坐标系为在姿态相对世界坐标系静止的虚拟相机中创建的坐标系;
从物理相机坐标系中确定出与所述第一区域对应的区域,得到第二区域;
从图像坐标系中确定出与所述第二区域对应的区域,得到第三区域;
根据所述稳像区域和所述第三区域之间的映射关系,将无人机上的物理相机所采集到的待稳像图像映射至所述稳像区域,得到稳像后图像。
2.根据权利要求1所述的无人机电子稳像方法,其特征在于,所述获取稳像区域的过程,包括:
为用户提供区域选取通道;
通过所述区域选取通道,获取用户在所述物理相机采集的图像画面中选取的区域,得到所述稳像区域。
3.根据权利要求1所述的无人机电子稳像方法,其特征在于,所述从预先创建的虚拟相机坐标系中确定出与所述稳像区域相对应的区域的过程,包括:
利用所述虚拟相机的内参矩阵,确定出位于所述虚拟相机坐标系中的与所述稳像区域相对应的区域,得到所述第一区域。
4.根据权利要求1所述的无人机电子稳像方法,其特征在于,所述从图像坐标系中确定出与所述第二区域对应的区域的过程,包括:
利用所述物理相机中的内参矩阵,确定出位于所述图像坐标系中的与所述第二区域相对应的区域,得到所述第三区域。
5.根据权利要求1所述的无人机电子稳像方法,其特征在于,
所述无人机电子稳像方法所对应的无人机稳像处理过程为在GPU中进行的处理过程。
6.根据权利要求1至5任一项所述的无人机电子稳像方法,其特征在于,所述从物理相机坐标系中确定出与所述第一区域对应的区域的过程,包括:
利用第一旋转矩阵,从所述世界坐标系中确定出与所述第一区域对应的区域,得到过渡区域;
利用第二旋转矩阵,从所述物理相机坐标系中确定出与所述过渡区域对应的区域,得到所述第二区域;
其中,所述第一旋转矩阵为所述世界坐标系与所述虚拟相机坐标系之间的旋转矩阵,所述第二旋转矩阵为所述物理相机坐标系与所述世界坐标系之间的旋转矩阵。
7.根据权利要求6所述的无人机电子稳像方法,其特征在于,
在对所述待稳像图像进行稳像处理的过程中,相应的所述第一旋转矩阵的获取过程,包括:
通过所述无人机中的IMU单元,获取所述物理相机在采集所述待稳像图像时所述无人机的飞机姿态;
对所述飞机姿态中的旋转矩阵进行均值滤波,得到所述第一旋转矩阵;
所述第二旋转矩阵的获取过程,包括:
将所述飞机姿态中的旋转矩阵直接确定为所述第二旋转矩阵。
8.根据权利要求1至5任一项所述的无人机电子稳像方法,其特征在于,所述从物理相机坐标系中确定出与所述第一区域对应的区域的过程,包括:
利用第三旋转矩阵,从所述物理相机坐标系中直接确定出与所述第一区域对应的区域,得到所述第二区域;
其中,所述第三旋转矩阵为所述物理相机坐标系与所述虚拟相机坐标系之间的旋转矩阵。
9.一种无人机电子稳像系统,其特征在于,包括:
区域获取模块,用于获取稳像区域;
第一区域确定模块,用于从预先创建的虚拟相机坐标系中确定出与所述稳像区域相对应的区域,得到第一区域;其中,所述虚拟相机坐标系为在姿态相对世界坐标系静止的虚拟相机中创建的坐标系;
第二区域确定模块,用于从物理相机坐标系中确定出与所述第一区域对应的区域,得到第二区域;
第三区域确定模块,用于从图像坐标系中确定出与所述第二区域对应的区域,得到第三区域;
图像映射模块,用于根据所述稳像区域和所述第三区域之间的映射关系,将无人机上的物理相机所采集到的待稳像图像映射至所述稳像区域,得到稳像后图像。
10.一种无人机,其特征在于,包括如权利要求9所述的无人机电子稳像系统。
CN201710192681.XA 2017-03-28 2017-03-28 一种无人机及其电子稳像方法、系统 Active CN106954024B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710192681.XA CN106954024B (zh) 2017-03-28 2017-03-28 一种无人机及其电子稳像方法、系统
PCT/CN2017/120343 WO2018176963A1 (zh) 2017-03-28 2017-12-29 电子稳像方法、系统及无人机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710192681.XA CN106954024B (zh) 2017-03-28 2017-03-28 一种无人机及其电子稳像方法、系统

Publications (2)

Publication Number Publication Date
CN106954024A true CN106954024A (zh) 2017-07-14
CN106954024B CN106954024B (zh) 2020-11-06

Family

ID=59473875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710192681.XA Active CN106954024B (zh) 2017-03-28 2017-03-28 一种无人机及其电子稳像方法、系统

Country Status (2)

Country Link
CN (1) CN106954024B (zh)
WO (1) WO2018176963A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363946A (zh) * 2017-12-29 2018-08-03 成都通甲优博科技有限责任公司 基于无人机的人脸跟踪系统及方法
CN108600622A (zh) * 2018-04-12 2018-09-28 联想(北京)有限公司 一种视频防抖的方法及装置
WO2018176963A1 (zh) * 2017-03-28 2018-10-04 成都通甲优博科技有限责任公司 电子稳像方法、系统及无人机
CN108989688A (zh) * 2018-09-14 2018-12-11 成都数字天空科技有限公司 虚拟相机防抖方法、装置、电子设备及可读存储介质
CN109579844A (zh) * 2018-12-04 2019-04-05 电子科技大学 定位方法及系统
CN110610465A (zh) * 2019-08-26 2019-12-24 Oppo广东移动通信有限公司 图像校正方法和装置、电子设备、计算机可读存储介质
CN110943796A (zh) * 2019-11-19 2020-03-31 深圳市道通智能航空技术有限公司 时间戳对齐方法、装置、存储介质及设备
CN111133747A (zh) * 2017-10-03 2020-05-08 谷歌有限责任公司 视频稳定
CN111540022A (zh) * 2020-05-14 2020-08-14 深圳市艾为智能有限公司 一种基于虚拟相机的图像一致化方法
CN113050664A (zh) * 2021-03-24 2021-06-29 北京三快在线科技有限公司 一种无人机降落方法及装置
CN113132612A (zh) * 2019-12-31 2021-07-16 华为技术有限公司 一种图像稳像处理方法、终端拍摄方法、介质及系统
US11190689B1 (en) 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization
US11227146B2 (en) 2018-05-04 2022-01-18 Google Llc Stabilizing video by accounting for a location of a feature in a stabilized view of a frame

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109624854A (zh) * 2018-12-03 2019-04-16 浙江明航智能科技有限公司 一种适用于特种车辆的360°全景辅助可视系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103827921A (zh) * 2011-09-30 2014-05-28 西门子工业公司 用于在存在长期图像漂移的情况下使实时视频稳定的方法和系统
CN104580899A (zh) * 2014-12-26 2015-04-29 魅族科技(中国)有限公司 物体成像的控制方法及成像装置
CN106500669A (zh) * 2016-09-22 2017-03-15 浙江工业大学 一种基于四旋翼imu参数的航拍图像矫正方法
CN106525001A (zh) * 2016-11-16 2017-03-22 上海卫星工程研究所 地球静止轨道遥感卫星相机视轴空间指向计算方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4695972B2 (ja) * 2005-12-14 2011-06-08 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法
CN104933758B (zh) * 2015-05-20 2017-09-29 北京控制工程研究所 一种基于osg三维引擎的空间相机三维成像仿真方法
CN106954024B (zh) * 2017-03-28 2020-11-06 成都通甲优博科技有限责任公司 一种无人机及其电子稳像方法、系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103827921A (zh) * 2011-09-30 2014-05-28 西门子工业公司 用于在存在长期图像漂移的情况下使实时视频稳定的方法和系统
CN104580899A (zh) * 2014-12-26 2015-04-29 魅族科技(中国)有限公司 物体成像的控制方法及成像装置
CN106500669A (zh) * 2016-09-22 2017-03-15 浙江工业大学 一种基于四旋翼imu参数的航拍图像矫正方法
CN106525001A (zh) * 2016-11-16 2017-03-22 上海卫星工程研究所 地球静止轨道遥感卫星相机视轴空间指向计算方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176963A1 (zh) * 2017-03-28 2018-10-04 成都通甲优博科技有限责任公司 电子稳像方法、系统及无人机
US11064119B2 (en) 2017-10-03 2021-07-13 Google Llc Video stabilization
CN111133747A (zh) * 2017-10-03 2020-05-08 谷歌有限责任公司 视频稳定
US11683586B2 (en) 2017-10-03 2023-06-20 Google Llc Video stabilization
CN111133747B (zh) * 2017-10-03 2021-06-22 谷歌有限责任公司 一种视频稳定的方法及装置
CN108363946B (zh) * 2017-12-29 2022-05-03 成都通甲优博科技有限责任公司 基于无人机的人脸跟踪系统及方法
CN108363946A (zh) * 2017-12-29 2018-08-03 成都通甲优博科技有限责任公司 基于无人机的人脸跟踪系统及方法
CN108600622A (zh) * 2018-04-12 2018-09-28 联想(北京)有限公司 一种视频防抖的方法及装置
CN108600622B (zh) * 2018-04-12 2021-12-24 联想(北京)有限公司 一种视频防抖的方法及装置
US11227146B2 (en) 2018-05-04 2022-01-18 Google Llc Stabilizing video by accounting for a location of a feature in a stabilized view of a frame
CN108989688A (zh) * 2018-09-14 2018-12-11 成都数字天空科技有限公司 虚拟相机防抖方法、装置、电子设备及可读存储介质
CN109579844B (zh) * 2018-12-04 2023-11-21 电子科技大学 定位方法及系统
CN109579844A (zh) * 2018-12-04 2019-04-05 电子科技大学 定位方法及系统
CN110610465A (zh) * 2019-08-26 2019-12-24 Oppo广东移动通信有限公司 图像校正方法和装置、电子设备、计算机可读存储介质
CN110610465B (zh) * 2019-08-26 2022-05-17 Oppo广东移动通信有限公司 图像校正方法和装置、电子设备、计算机可读存储介质
CN110943796A (zh) * 2019-11-19 2020-03-31 深圳市道通智能航空技术有限公司 时间戳对齐方法、装置、存储介质及设备
CN113132612A (zh) * 2019-12-31 2021-07-16 华为技术有限公司 一种图像稳像处理方法、终端拍摄方法、介质及系统
CN111540022A (zh) * 2020-05-14 2020-08-14 深圳市艾为智能有限公司 一种基于虚拟相机的图像一致化方法
CN111540022B (zh) * 2020-05-14 2024-04-19 深圳市艾为智能有限公司 一种基于虚拟相机的图像一致化方法
US11190689B1 (en) 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization
CN113050664A (zh) * 2021-03-24 2021-06-29 北京三快在线科技有限公司 一种无人机降落方法及装置

Also Published As

Publication number Publication date
CN106954024B (zh) 2020-11-06
WO2018176963A1 (zh) 2018-10-04

Similar Documents

Publication Publication Date Title
CN106954024B (zh) 一种无人机及其电子稳像方法、系统
US10129462B2 (en) Camera augmented reality based activity history tracking
US10755425B2 (en) Automatic tuning of image signal processors using reference images in image processing environments
CN108932051B (zh) 增强现实图像处理方法、装置及存储介质
CN110310326B (zh) 一种视觉定位数据处理方法、装置、终端及计算机可读存储介质
JP6658791B2 (ja) パノラマ映像を処理する方法、装置、デバイス、コンピュータ読取り可能な記憶媒体
CN107241544B (zh) 视频稳像方法、装置及摄像终端
CN112333491B (zh) 视频处理方法、显示装置和存储介质
US9479709B2 (en) Method and apparatus for long term image exposure with image stabilization on a mobile device
US20170332018A1 (en) Real-time video stabilization for mobile devices based on on-board motion sensing
CN110660098B (zh) 基于单目视觉的定位方法和装置
WO2021115136A1 (zh) 视频图像的防抖方法、装置、电子设备和存储介质
CN111060138B (zh) 标定方法及装置、处理器、电子设备、存储介质
US11042984B2 (en) Systems and methods for providing image depth information
CN105516579A (zh) 一种图像处理方法、装置和电子设备
CN111784834A (zh) 一种点云地图生成方法、装置以及电子设备
US20180316861A1 (en) Image alignment using a virtual gyroscope model
CN111669499B (zh) 一种视频防抖方法、装置及视频采集设备
US10761741B1 (en) Method and system for managing and sharing data using smart pointers
CN107395961A (zh) 一种图像数据的复原方法和装置
CN111833459A (zh) 一种图像处理方法、装置、电子设备及存储介质
TW202125413A (zh) 三維平面重建方法、三維平面重建系統與計算裝置
US10529084B2 (en) Image processing method, electronic device, and non-transitory computer readable storage medium
CN106162143B (zh) 视差融合方法和装置
CN113724141B (zh) 一种图像校正方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant