CN107113376B - 一种图像处理方法、装置及摄像机 - Google Patents

一种图像处理方法、装置及摄像机 Download PDF

Info

Publication number
CN107113376B
CN107113376B CN201580071829.3A CN201580071829A CN107113376B CN 107113376 B CN107113376 B CN 107113376B CN 201580071829 A CN201580071829 A CN 201580071829A CN 107113376 B CN107113376 B CN 107113376B
Authority
CN
China
Prior art keywords
image
coordinate system
acquisition
target
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580071829.3A
Other languages
English (en)
Other versions
CN107113376A (zh
Inventor
俞利富
李泽飞
曹子晟
王铭钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN107113376A publication Critical patent/CN107113376A/zh
Application granted granted Critical
Publication of CN107113376B publication Critical patent/CN107113376B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Abstract

本发明实施例提供了一种图像处理方法、装置及摄像机，其中，所述方法包括：获取图像采集装置得到的采集图像；获取所述图像采集装置拍摄时产生的与所述采集图像关联的抖动信息，其中，所述抖动信息包括抖动角度信息；根据所述抖动信息从所述采集图像中确定出目标图像。本发明基于抖动信息进行图像处理，在处理过程中完成防抖功能，不需要额外的如云台等防抖硬件设备，节省了成本，方便用户使用。

Description

一种图像处理方法、装置及摄像机
【技术领域】
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及摄像 机。
【背景技术】
摄像机是一种将光学图像信号转换为电信号以方便后续传输及存储，而镜 头是摄像机的关键装置，基于视角来区分，摄像机镜头包括标准镜头、广角镜 头等，广角镜头的视角可以达到90度以上，其中的鱼眼镜头的视角则接近或等 于180度，适于拍摄大范围内的景色物体。
在使用摄像机拍摄物体的过程中，如果摄像机发生抖动，则可能会使得拍 摄的影像中产生果冻、水波纹等现象，严重影响影像质量。
现有的防抖技术一般通过机械结构来实现，常用的方式是使用物理云台， 通过三轴转动补偿来实现防抖。但是，物理云台不仅成本高，而且需要用户额 外携带，不利用用户使用。
【发明内容】
本发明实施例提供了一种图像处理方法、装置及摄像机，可较好地实现防 抖得到较高质量的影像。
第一方面，本发明实施例的提供了一种图像处理方法，所述方法包括：
获取图像采集装置得到的采集图像；
获取所述图像采集装置拍摄时产生的与所述采集图像关联的抖动信息，其 中，所述抖动信息包括抖动角度信息；
根据所述抖动信息从所述采集图像中确定出目标图像。
第二方面，本发明实施例还提供了另一种图像处理方法，所述方法包括：
获取图像采集装置得到的采集图像；
获取所述图像采集装置拍摄时产生与所述采集图像关联的抖动信息，其中， 所述抖动信息包括抖动角度信息；
根据所述抖动信息和预置的畸变校正参数对所述采集图像进行畸变校正；
根据抖动信息从所述畸变校正后的图像中选择出目标图像。
第三方面，本发明实施例相应地还提供了一种图像处理装置，包括：
图像获取模块，用于获取图像采集装置得到的采集图像；
抖动获取模块，用于获取所述图像采集装置拍摄时产生与所述采集图像关 联的抖动信息，其中，所述抖动信息包括抖动角度信息；
处理模块，用于根据所述抖动信息从所述采集图像中确定出目标图像。
第四方面，本发明实施例相应地还提供了一种摄像机，所述摄像机包括： 镜头、图像传感器以及图像处理器，其中，
所述图像传感器，用于通过所述镜头采集图像数据；
所述图像处理器，与所述图像传感器相连，用于根据所述图像传感器采集 的图像数据得到采集图像，获取所述图像采集装置拍摄时产生与所述采集图像 关联的抖动信息；根据所述抖动信息从所述采集图像中确定出目标图像；其中， 所述抖动信息包括抖动角度信息。
第五方面，本发明实施例还提供了另一种图像处理装置，所述装置包括：
第一获取模块，用于获取图像采集装置得到的采集图像；
第二获取模块，用于获取所述图像采集装置拍摄时产生的与所述采集图像 关联的抖动信息，其中，所述抖动信息包括抖动角度信息；
第一处理模块，用于根据所述抖动信息和预置的畸变校正参数对所述采集 图像进行畸变校正；
第二处理模块，用于根据抖动信息从所述畸变校正后的图像中选择出目标 图像。
第六方面，本发明实施例相应地还提供了另一种摄像机，所述摄像机包括： 镜头、图像传感器以及图像处理器，其中，
所述图像传感器，用于通过所述镜头采集图像数据；
所述图像处理器，与所述图像传感器相连，用于根据所述图像传感器采集 到的图像数据得到采集图像，获取所述图像采集装置拍摄时产生的与所述采集 图像关联的抖动信息，其中，所述抖动信息包括抖动角度信息；根据所述抖动 信息和预置的畸变校正参数对所述采集图像进行畸变校正；根据抖动信息从所 述畸变校正后的图像中选择出目标图像。
第七方面，本发明实施例还提供了一种航拍飞行器，该航拍飞行器包括飞 行器本体和挂载在所述飞行器本体上的摄像机，所述摄像机包括第四方面提到 的摄像机或者第六方面提到的摄像机。
第八方面，本发明实施例还提供了一种航拍飞行器，该航拍飞行器包括： 飞行器本体、图像采集装置以及处理器，其中，所述图像采集装置挂载在所述 飞行器本体上，所述处理器与所述图像采集装置数据相连，所述处理器包括第 三方面提到的图像处理装置或第五方面提到的图像处理装置。
本发明实施例基于抖动信息进行图像处理，在处理过程中完成防抖功能， 不需要额外的如云台等防抖硬件设备，节省了成本，方便用户使用。
【附图说明】
图1是本发明实施例的一种图像处理方法的流程示意图；
图2是本发明实施例的另一种图像处理方法的流程示意图；
图3是本发明实施例的其中一种确定坐标映射关系的方法的流程示意图；
图4是本发明实施例的目标图像坐标系中的点到世界坐标系对应点间的映 射示意图；
图5是世界坐标系到切平面坐标系的旋转示意图；
图6是切平面坐标系到目标图像坐标系的旋转示意图；
图7是本发明实施例的畸变校正示意图；
图8是本发明实施例的另一种图像处理方法的流程示意图；
图9是本发明实施例的畸变校正后的图像与目标图像之间的关系示意图；
图10是本发明实施例的一种图像处理装置的结构示意图；
图11是图10中所述图像处理装置中的处理模块的结构示意图；
图12是本发明实施例的一种摄像机的结构示意图；
图13是本发明实施例的另一种图像处理装置的结构示意图；
图14是图13中的图像处理装置中第一处理模块的结构示意图；
图15是本发明实施例的一种摄像机的结构示意图。
【具体实施方式】
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，是本发明实施例的一种图像处理方法的流程示意图，本发明实 施例的所述方法可应用在各种图像采集设备中，由一个或者多个图像处理器实 现。具体的，所述方法包括：
S101：获取图像采集装置得到的采集图像。
所述图像采集装置可以为各种照相机、摄像机等可拍摄图像的智能拍摄装 置。与图像采集装置数据相连后，可以从图像采集装置中获取得到采集图像。 所述图像采集装置具体可以是鱼眼镜头等广角镜头，其采集到的所述采集图像 则对应为鱼眼图像等。
S102：获取所述图像采集装置拍摄时产生的与所述采集图像关联的抖动信 息，其中，所述抖动信息包括抖动角度信息。
在拍摄视频或者连拍时，所述抖动信息可以是指拍摄到当前图片时，图像 采集装置相对于上一次拍摄到图片时的位置变化角度信息。所述抖动信息也可 以是指拍摄到当前图片时，图像采集装置相对于参考位置的位置变化角度信息， 该参考位置可以为图像采集装置开始拍摄时的初始位置。主要包括所述图像采 集装置在三个方向上的角度信息，具体可以俯仰角、偏航角以及横滚角。
具体可以在所述图像采集装置中配置角度传感器来检测所述图像采集装置 的抖动信息，例如通过陀螺仪来检测。可以直接从角度传感器中获取原始数据， 进而计算得到相关的角度信息，也可以从某些具有计算能力的角度传感器中直 接获取到相关的角度信息。
优选地，所述角度传感器可以直接设置在所述图像采集装置上，与所述图 像采集装置固定连接。也可以固定连接在与所述图像采集装置刚性连接的各种 外部设备上，例如挂载所述图像采集装置的飞行器等设备上，这些外部设备的 抖动可直接导致所述图像采集装置的抖动，因而固定连接在外部设备上的角度 传感器能够直接检测图像采集装置的抖动信息。可以理解的是，如果外部设备 与所述图像采集装置柔性连接，角度传感器无法准确检测所述图像采集装置的 信息时，则不能将角度传感器设置在此外部设备上。
S103：根据所述抖动信息从所述采集图像中确定出目标图像。
所述S103具体可以为：先根据抖动信息进行坐标变换，得到所述采集图像 所在的平面坐标系到一个目标坐标系的坐标映射关系；然后再确定出所述采集 图像中各个像素点的纹理信息(像素点上所对应的灰度值)，得到纹理映射关系。 基于上述的坐标映射关系和纹理映射关系，并进一步基于预置的畸变校正参数， 最终得到由所述采集图像到目标图像的转换，得到进行畸变校正后的目标图像。
进一步地，所述S103具体还可以为：先根据抖动信息进行坐标变换，得到 所述采集图像所在的平面坐标系到一个目标坐标系的坐标映射关系；然后再确 定出所述采集图像中各个像素点的纹理信息(像素点上所对应的灰度值)，得到 纹理映射关系。基于上述的坐标映射关系和纹理映射关系，并进一步基于预置 的畸变校正参数，得到由所述采集图像到一个初始图像的转换，得到畸变校正 后的一个图像。然后再进一步地基于抖动信息和预置的视场角，进行抖动补偿， 并在所述畸变校正后的图像中得到抖动补偿后的目标图像。
所述抖动补偿具体是指：在所述畸变校正后的图像中基于预置的视场角确 定出一个初始区域，然后再根据抖动信息对所述初始区域进行补偿，得到目标 区域，该目标区域所涵盖的图像即为目标图像。本发明实施例中，所述预置的 视场角小于所述图像采集设备拍摄所述采集图像时的视场角，具体的，所述预 置的视场角可以为一个标准图像所对应的视场角；而所述采集图像则对应为诸 如鱼眼图像的视场角。或者，所述采集图像对应为标准视场角，而所述预置的 视场角对应为小于标准视场角。
具体的，在补偿时，如果抖动信息中的俯仰角度信息指示图像采集装置向 下转动了第一角度，则将所述初始区域反向向上移动第一角度，如果偏航角度 信息指示图像采集装置向左转动了第二角度，则将所述初始区域反向向右移动 第二角度。以此类推完成抖动补偿。
本发明实施例基于抖动信息进行图像处理，在处理过程中完成防抖功能， 不需要额外的如云台等防抖硬件设备，节省了成本，方便用户使用。
再请参见图2，是本发明实施例的另一种图像处理方法的流程示意图，本发 明实施例的所述方法可应用在各种图像采集设备中，由一个或者多个图像处理 器实现。具体的，所述方法包括：
S201：获取图像采集装置得到的采集图像。
可以通过各种相机来拍摄得到采集图像。所述采集图像可以是广角图像， 后续从广角图像中选出视场角小于该广角图像的视场角的目标图像。
S202：获取所述图像采集装置拍摄时产生的与所述采集图像关联的抖动信 息，其中，所述抖动信息包括抖动角度信息。
其中具体的，所述抖动信息是指所述图像采集装置在得到所述采集图像时 相对于上一次得到采集图像时的位置变化角度信息；或者所述抖动信息是指所 述图像采集装置在得到所述采集图像时相对于参考位置的位置变化角度信息； 所述抖动角度信息包括：俯仰角、偏航角、和/或横滚角。
所述抖动信息可以由设置在所述图像采集装置上的陀螺仪等传感器来采集 得到。所述抖动信息可以用作后续的平面坐标映射处理和选择目标区域的抖动 补偿中。所述抖动信息主要包括上述提及的三维角度信息。所述抖动信息可以 基于陀螺仪等感测到的角加速度等信息计算得到。
S203：对获取的采集图像和抖动信息进行时间校准。
进行时间校准以保证陀螺仪等传感器采集到的数据到相机采集到的采集图 像在时间上对齐，保证该抖动信息与获取的采集图像关联。
具体获取所述采集图像被拍摄得到时的拍摄时间，再获取在该拍摄时间下 的陀螺仪等传感器感测到的抖动数据，根据该抖动数据和上一采集图像被拍摄 得到时的时间下的抖动数据，得到所述采集图像的抖动信息。需要基于拍摄时 间和两次抖动数据的感测时间来确保得到关于本次拍摄采集图像时的抖动信息 的正确性，以减小甚至避免后续处理的误差。
在时间校准成功后，发出触发信息触发从采集图像中确定出目标图像，即 触发执行下述的S204。
S204：根据抖动角度信息确定出所述采集图像所在的图像坐标系到目标坐 标系的映射关系。
所述S204具体可以通过固定不变的世界坐标系来作坐标变换与映射。可以 计算所述采集图像所在的图像坐标系到世界坐标系的变换，计算图像坐标系到 目标坐标系的变换，从而间接得到所述采集图像所在的图像坐标系到目标坐标 系的映射关系。
S205：获取预置的畸变校正参数；
S206：根据确定出的所述采集图像所在的图像坐标系到目标坐标系的映射 关系和所述畸变校正参数，将所述采集图像上的每一个点映射到目标坐标系的 相应位置点；
S207：获取所述采集图像每一个点的像素值，根据获取的每一个点的像素 值和位置点，生成目标图像。
可以理解的是，所述S206中将所述采集图像上的每一个点映射到目标坐标 系的相应位置点和所述S207中获取所述采集图像每一个点的像素值可以同时进 行。
具体的，请参见图3，是本发明实施例的其中一种确定坐标映射关系的方法 的流程示意图，所述方法对应于上述的S204，具体包括：
S301：根据抖动角度信息建立所述采集图像所在的图像坐标系到世界坐标 系之间的映射关系。
S302：根据抖动角度信息确定出所述目标坐标系到所述世界坐标系之间的 映射关系。
S303：根据世界坐标系，确定出所述采集图像所在的图像坐标系到目标坐 标系的映射关系。
其中所述S302具体可以包括：根据抖动角度信息建立世界坐标系到预置的 切平面坐标系之间的映射关系；根据抖动角度信息建立目标坐标系到所述预置 的切平面坐标系之间的映射关系；根据所述预置的切平面坐标系，确定出所述 目标坐标系到所述世界坐标系之间的映射关系。其中，所述切平面坐标系是指： 在以所述图像采集装置的镜头中心为球心的半球面上，任意一点所在的切平面 坐标系。
下面对本发明实施例中的坐标变换以及对所述采集图像(鱼眼图像)畸变 校正的处理过程进行详细描述。
首先，设成像系统所采集到的鱼眼图像(畸形图像)所在的坐标系为图像 坐标系O2-uv，其中O2为图像的中心点，u，v分别沿图像的横轴和纵轴。
第二，实际的世界坐标系为Or-XYZ，对于某一确定焦距的鱼眼镜头，为便 于描述且不失一般性，假设其物空间分布在以镜头中心Or为球心的一个半球面 上，同时可直观的认为像空间O2-uv上所成的像，即为物空间沿光轴在图像传感 器上投影所得。
第三，相机体坐标系Ob-XbYbZb，该坐标系与相机固连，同时也与陀螺仪等 传感器固连，通过陀螺仪等传感器可以实时获得该坐标系的变化参数。
第四，目标图像(可为标准视角图像)所在的坐标系为O1-xy，即为最终输 出的图像所处的图像坐标。
第五，第二点中的球面上某一点O所在的切平面坐标系O-X’Y’，该坐标系 可认为是对应于第三点中的图像坐标系的物体坐标系。
系统的硬件组成单元：陀螺仪，相机(搭配鱼眼镜头)，GPU。陀螺仪和相 机(搭配鱼眼镜头)的位置关系固定。
本发明实施例所述方法的坐标映射以及畸变校正的处理过程包括：
获取离线标定参数：鱼眼图像中心点坐标；鱼眼图像的长度、宽度；标准 图像的长度和宽度；焦距相关的校正参数f；视场角γ；
获取每帧的输入参数：相机位置相对于前一帧时相机位置的变化角度，其 中包括俯仰角θ，偏航角，横滚角ρ；本帧鱼眼图；俯仰角速度偏航角速 度，横滚角速度。
实时输出校正后的图像。
具体的，首先，设定相机的帧率，然后让相机开始工作，实时采集得到鱼 眼图像，同时实时从陀螺仪上读取相机的位置变化参数。通过时间校准，保证 陀螺采集到的数据和相机采集到的数据在时间上对齐。最后将采集到的数据， 连同之前离线标定的数据一齐输入GPU(Graphics Processing Unit，图像处理器)， 计算出最后的目标图像并输出。具体计算过程包括：
首先，计算得到目标图像坐标过切平面坐标系变换到世界坐标系。
如图4所示，原始的鱼眼图像所对应的实际场景所处的坐标系为Or-XYZ, 该场景处于图示的半球面上，最后所得的屏幕图像Screen image即为目标图像。 目标图像的中心点为O1，其所对应的鱼眼场景(也就是实际场景)中的点为球 面中的某一点O，目标图像上的一点P1(x,y)(目标图像上)对应球面上O点切 平面上的点P，O1P1与OP长度成正比，满足几何变换。映射关系是从屏幕P1到切平面点P，而非到球面点Ps，OrP与Z轴，X轴的夹角分别为θ’和。
其中切点O的位置由视角参数θ和确定，默认球半径和图像半径均为1。
1)在O处建立切平面坐标系X’OY’，如图5所示，轴OY’垂直于OrO，是 俯仰角θ的变化方向，轴OX’垂直于OrO，是偏航角的变化方向。球面上虚线 框对应显示屏幕的边缘。
2)坐标系Or-XYZ经过如下变换到坐标系O-X’Y’Z’：
绕Z轴转动度，绕X轴旋转θ度，沿轴OrO平移Or至O点。
设P点在O-X’Y’Z’中的坐标为(x’,y’,0)，在坐标系Or-XYZ中的坐标为(xp, yp,zp)，则有：
其中，
3)从目标图像坐标系xo1y到切面坐标系X’OY’的坐标变换：
当横滚角ρ＝0，则xo1y和X’OY’之间无相对旋转量，只存在平移。由此：
其中，为xo1y中的向量，为X’OY’中的向量，比例系数k与输入参 数γ(视场角)相关。结合图5和图6中，沿轴ox′方向有：
由于，
|OrO|＝1 (6)
所以，
|OA|＝tan(γ/2) (7)
又|o1a1|＝1 (8)
得：k＝tan(γ/2) (9)
同理可知，在轴oy′上，比例系数k的取值同上。
若考虑轴向旋转，即ρ≠0，需对屏幕坐标进行旋转处理，式(4)表示如下：
系数m保证屏幕坐标的归一化，屏幕宽高相等时有
从而可得如下关系式：
结合式(1)和式(11),即可由目标图像中的任一点P1的坐标值(x,y)，求 得其所对应的世界坐标系中的点P的坐标值(xp,yp,zp)
4)在图4中，易得如下关系：
其次，计算世界坐标系变换到鱼眼图像坐标。
如图7示，P2为点P小孔成像的像点，由于鱼眼畸变，真实像点为P2’，该 真实像点位于畸变矫正前的图像Input Texture-Fisheye Image。图中，O2为O在 鱼眼图中位置，为图像中心点。
校正采用的鱼眼镜头模型：
r＝f*θ’ (14)
其中，r是P2’到鱼眼图中心Of的距离，表示为OfP2’，f为与焦距相关的参数。 获得r后根据可算出鱼眼图的P2’的坐标，表示为(u,v)。
结合式(1)、(11)、(12)、(13)、(14)及(15)，可以获得目标图像上的 某一点P1的坐标值(x,y)与其所对应的鱼眼图像上的点P2’的坐标值(u,v)之间的对 应关系。
同时在鱼眼图像上，能够获得具体像素点上的纹理信息(某一像素点上所 对应的灰度值)，从而给目标图像上的点赋纹理信息。同时由于，u2，v2为浮点 数，所以访问像素点pixel需要插值，该过程可以由GPU完成。
至此，完成了从屏幕坐标P1(x,y)到球坐标系中P(xp,yp,zp)，再到鱼眼图像 P2’(u,v)的映射过程，包括坐标映射及纹理映射。
在鱼眼校正过程中，主要考虑径向畸变，式(14)采用鱼眼镜头模型为：
r＝f*θ’ (16)
上式只使用一个畸变校正参数，为增加校正精度，可修改模型为
n取2即可，相机出厂时标定好{ki}，校正时{ki}为uniform变量传入GPU。 由GPU完成每一个像素点从鱼眼图像到目标图像的坐标变换以及畸变校正。
本发明实施例基于抖动信息进行图像处理，在处理过程中完成防抖功能， 不需要额外的如云台等防抖硬件设备，节省了成本，方便用户使用。
再请参见图8，是本发明实施例的另一种图像处理方法的流程示意图，本发 明实施例的所述方法可以应用在各种图像采集设备中，由一个或者多个图像处 理器实现。具体的，所述方法包括：
S801：获取图像采集装置得到的采集图像。
所述图像采集装置可以为各种照相机、摄像机等可拍摄图像的智能拍摄装 置。与图像采集装置数据相连后，可以从图像采集装置中获取得到采集图像。 所述图像采集装置可以是鱼眼镜头等广角镜头，其采集到的所述采集图像则对 应为鱼眼图像等。
S802：获取所述图像采集装置拍摄时产生的与所述采集图像关联的抖动信 息，其中，所述抖动信息包括抖动角度信息。
在拍摄视频或者连拍时，所述抖动信息可以是指拍摄到当前图片时，图像 采集装置相对于上一次拍摄到图片时的位置变化角度信息。所述抖动信息也可 以是指拍摄到当前图片时，图像采集装置相对于参考位置的位置变化角度信息， 该参考位置可以为图像采集装置开始拍摄时的初始位置。主要包括所述图像采 集装置在三个方向上的角度信息，具体可以俯仰角、偏航角以及横滚角。
具体可以在所述图像采集装置中配置角度传感器来检测所述图像采集装置 的抖动信息，例如通过陀螺仪来检测。可以直接从角度传感器中获取原始数据， 进而计算得到相关的角度信息，也可以从某些具有计算能力的角度传感器中直 接获取到相关的角度信息。
优选地，所述角度传感器可以直接设置在所述图像采集装置上，与所述图 像采集装置固定连接。也可以固定连接在与所述图像采集装置刚性连接的各种 外部设备上，例如挂载所述图像采集装置的飞行器等设备上，这些外部设备的 抖动可直接导致所述图像采集装置的抖动，因而固定连接在外部设备上的角度 传感器能够直接检测图像采集装置的抖动信息。可以理解的是，如果外部设备 与所述图像采集装置柔性连接，角度传感器无法准确检测所述图像采集装置的 信息时，则不能将角度传感器设置在此外部设备上。
S803：根据所述抖动信息和预置的畸变校正参数对所述采集图像进行畸变 校正。
S804：根据抖动信息从所述畸变校正后的图像中选择出目标图像。
其中，从畸变校正后的图像中选择出的目标图像可以是所述畸变校正后的 图像中的其中一部分。
所述S804具体可以包括：从校正后的图像中确定出初始区域，并根据所述 抖动信息对所述初始区域进行抖动补偿，确定出目标区域并得到该目标区域所 对应的目标图像。所述从校正后的图像中确定出初始区域，包括：根据预置的 视场角从所述畸变校正后的图像中确定出初始区域。
或者，所述S804具体可以包括：根据抖动信息和预置的视场角，从所述畸 变校正后的图像中确定出所述视场角所限定区域的图像作为目标图像。
本发明实施例中，具体如图9所示，畸变校正后的图像901处于第一视场 角，而目标图像则是从畸变校正后的图像901中按照预置的视场角(第二视场 角)截取的一部分图像。这一部分图像是根据抖动信息进行抖动补偿后得到的， 而图中的阴影部分并不会存在于最终输出的目标图像。如图9所示，本发明实 施例中，图像采集装置向下转动了一个角度后，根据目标图像的视场角，如果 没有进行抖动补偿，则会获取到虚线框内的图像。而基于该角度进行补偿，在 畸变校正后的图像中向上移动一定距离，则就可以得到防抖后的实线框内的目 标图像。
先根据抖动信息进行坐标变换，得到所述采集图像所在的平面坐标系到一 个目标坐标系的坐标映射关系；然后再确定出所述采集图像中各个像素点的纹 理信息(像素点上所对应的灰度值)，得到纹理映射关系。基于上述的坐标映射 关系和纹理映射关系，并进一步基于预置的畸变校正参数，得到由所述采集图 像到一个初始图像的转换，得到畸变校正后的一个图像。
进一步地再基于抖动信息和预置的视场角，进行抖动补偿，并在所述畸变 校正后的图像中得到抖动补偿后的目标图像。
所述抖动补偿具体是指：在所述畸变校正后的图像中基于预置的视场角确 定出一个初始区域，然后再根据抖动信息对所述初始区域进行补偿，得到目标 区域，该目标区域所涵盖的图像即为目标图像。本发明实施例中，所述预置的 视场角小于所述图像采集设备拍摄所述采集图像时的视场角，具体的，所述预 置的视场角可以为一个标准图像所对应的视场角；而所述采集图像则对应为诸 如鱼眼图像的视场角。或者，所述采集图像对应为标准视场角，而所述预置的 视场角对应为小于标准视场角。
具体的，在补偿时，如果抖动信息中的俯仰角度信息指示图像采集装置向 下转动了第一角度，则将所述初始区域反向向上移动第一角度，如果偏航角度 信息指示图像采集装置向左转动了第二角度，则将所述初始区域反向向右移动 第二角度。以此类推完成抖动补偿。
可选地，在检测到所述抖动信息后，还可以包括一个对抖动的角度进行检 测步骤，如果上述提到的俯仰角、偏航角以及横滚角等抖动角度信息中的各个 角度值均小于预设的角度阈值，则触发执行所述S803；而如果抖动角度信息中 的一个或者多个角度值超出了预设的角度阈值，则表明用户目前可能在主动移 动所述图像采集装置拍摄图像，则不需执行所述S803，而继续执行所述S801 或S802。
进一步可选地，所述根据所述抖动信息和预置的畸变校正参数对所述采集 图像进行畸变校正之前，还包括：
对获取的采集图像和抖动信息进行时间校准，以确保获取的所述抖动信息 与获取的采集图像相关联；
在时间校准成功后，触发执行所述根据所述抖动信息从所述采集图像中确 定出目标图像。
进行采集图像和抖动信息时间校准的具体实现可参考图2至图7所对应实 施例中的相关内容的具体描述。
进一步可选地，本发明实施例中的所述根据所述抖动信息和预置的畸变校 正参数对所述采集图像进行畸变校正具体可以包括：
根据抖动角度信息确定出所述采集图像所在的图像坐标系到目标坐标系的 映射关系；
根据确定出的所述采集图像所在的图像坐标系到目标坐标系的映射关系和 预置的畸变校正参数对所述采集图像进行畸变校正，得到校正后的图像。
进一步地，所述根据抖动角度信息确定出所述采集图像所在的图像坐 标系到目标坐标系的映射关系具体可以包括：
根据抖动角度信息建立所述采集图像所在的图像坐标系到世界坐标系之间 的映射关系；
根据抖动角度信息确定出所述目标坐标系到所述世界坐标系之间的映射关 系；
根据世界坐标系，确定出所述采集图像所在的图像坐标系到目标坐标系的 映射关系。
进一步地，所述根据抖动角度信息确定出所述目标坐标系到所述世界坐标 系之间的映射关系具体可以包括：
根据抖动角度信息建立世界坐标系到预置的切平面坐标系之间的映射关 系；
根据抖动角度信息建立目标坐标系到所述预置的切平面坐标系之间的映射 关系；
根据所述预置的切平面坐标系，确定出所述目标坐标系到所述世界坐标系 之间的映射关系。
其中，上述提及的切平面坐标系可以是指：在以所述图像采集装置的镜头 中心为球心的半球面上，任意一点所在的切平面坐标系。
进一步可选地，所述根据确定出的所述采集图像所在的图像坐标系到目标 坐标系的映射关系和预置的畸变校正参数对所述采集图像进行畸变校正，得到 校正后的图像，包括：
根据确定出的所述采集图像所在的图像坐标系到目标坐标系的映射关系和 所述畸变校正参数，将所述采集图像上的每一个点映射到目标坐标系的相应位 置点；
获取所述采集图像每一个点的像素值，根据获取的每一个点的像素值和位 置点，生成校正后的图像。
具体的，上述所涉及的坐标映射以及畸变校正可参考图2至图7所对应实 施例中相关内容的具体描述。
本发明实施例基于抖动信息进行图像处理，在处理过程中完成防抖功能， 不需要额外的如云台等防抖硬件设备，节省了成本，方便用户使用。
下面对本发明实施例中的图像处理装置及摄像机进行详细描述。
请参见图10，是本发明实施例的一种图像处理装置的结构示意图，本发明 实施例中的所述装置可以配置到各种相机中，也可以当独使用，具体的，本发 明实施例的所述装置包括：
图像获取模块11，用于获取图像采集装置得到的采集图像；
抖动获取模块12，用于获取所述图像采集装置拍摄时产生的与所述采集图 像关联的抖动信息，其中，所述抖动信息包括抖动角度信息；
处理模块13，用于根据所述抖动信息从所述采集图像中确定出目标图像。
所述图像采集装置可以为与所述数据处理装置数据相连的照相机、摄像机 等可拍摄图像的智能拍摄装置。与图像采集装置数据相连后，所述图像获取模 块11可以从图像采集装置中获取得到采集图像。所述图像采集装置具体可以是 鱼眼镜头等广角镜头，其采集到的所述采集图像则对应为鱼眼图像等。
所述抖动获取模块12获取到的所述抖动信息可以是指所述图像采集装置在 得到所述采集图像时相对于上一次得到采集图像时的位置变化角度信息；所述 抖动角度信息包括：俯仰角、偏航角、和/或横滚角。或者，所述抖动信息也可 以是指所述图像采集装置在得到所述采集图像时相对于参考位置的位置变化角 度信息。
在拍摄视频或者连拍时，所述抖动信息可以是指拍摄到当前图片时，图像 采集装置相对于上一次拍摄到图片时的位置变化角度信息。所述抖动信息也可 以是指拍摄到当前图片时，图像采集装置相对于参考位置的位置变化角度信息， 该参考位置可以为图像采集装置开始拍摄时的初始位置。主要包括所述图像采 集装置在三个方向上的角度信息，具体可以俯仰角、偏航角以及横滚角。
所述抖动获取模块12具体可以在所述图像采集装置中配置的角度传感器来 获取所述图像采集装置的抖动信息，例如通过陀螺仪来检测。所述抖动获取模 块12可以直接从角度传感器中获取原始数据，进而计算得到相关的角度信息， 也可以从某些具有计算能力的角度传感器中直接获取到相关的角度信息。
优选地，所述角度传感器可以直接设置在所述图像采集装置上，与所述图 像采集装置固定连接。也可以固定连接在与所述图像采集装置刚性连接的各种 外部设备上，例如挂载所述图像采集装置的飞行器等设备上，这些外部设备的 抖动可直接导致所述图像采集装置的抖动，因而固定连接在外部设备上的角度 传感器能够直接检测图像采集装置的抖动信息。可以理解的是，如果外部设备 与所述图像采集装置柔性连接，角度传感器无法准确检测所述图像采集装置的 信息时，则不能将角度传感器设置在此外部设备上。
所述目标图像可以是所述处理模块13通过基于抖动信息进行坐标变化、畸 变校正后得到的图像，也可以在进行所述坐标变换、畸变校正后的基础上，再 跟进抖动信息从处理后的图像中截图选择出的一部分图像。
进一步可选地，本发明实施例的所述装置还可以包括：
校正模块14，用于对获取的采集图像和抖动信息进行时间校准；并在时间 校准成功后，发出触发信息给处理模块。
通过所述校正模块14对所述图像获取模块11和抖动获取模块12获取到的 数据在时间上进行校正，保证所述采集图像和抖动信息在时间上对齐。
进一步具体地，如图11所示，所述处理模块13具体可以包括：
映射关系确定单元131，用于根据抖动角度信息确定出所述采集图像所在的 图像坐标系到目标坐标系的映射关系；
处理单元132，用于根据确定出的所述采集图像所在的图像坐标系到目标坐 标系的映射关系从所述采集图像中确定出目标图像。
其中可选地，所述映射关系确定单元131具体可以包括：
第一确定子单元1311，用于根据抖动角度信息建立所述采集图像所在的图 像坐标系到世界坐标系之间的映射关系；
第二确定子单元1312，用于根据抖动角度信息确定出所述目标坐标系到所 述世界坐标系之间的映射关系；
第三确定子单元1313，用于根据世界坐标系，确定出所述采集图像所在的 图像坐标系到目标坐标系的映射关系。
其中进一步可选地，所述第二确定子单元1312，具体用于根据抖动角度信 息建立世界坐标系到预置的切平面坐标系之间的映射关系；根据抖动角度信息 建立目标坐标系到所述预置的切平面坐标系之间的映射关系；根据所述预置的 切平面坐标系，确定出所述目标坐标系到所述世界坐标系之间的映射关系。
其中具体地，所述切平面坐标系是指：在以所述图像采集装置的镜头中心 为球心的半球面上，任意一点所在的切平面坐标系。
进一步可选地，所述处理单元132，具体用于获取预置的畸变校正参数；根 据确定出的所述采集图像所在的图像坐标系到目标坐标系的映射关系和所述畸 变校正参数，将所述采集图像上的每一个点映射到目标坐标系的相应位置点； 获取所述采集图像每一个点的像素值，根据获取的每一个点的像素值和位置点， 生成目标图像。
本发明实施例的所述图像处理装置可以陪着在一个处理器中，而所述处理 器可以为一航拍飞行器的一部分，所述航拍飞行器包括飞行器本体、图像采集 装置以及所述包括本发明实施例的图像处理装置的处理器，其中，所述图像采 集装置挂载在所述飞行器本体上，所述处理器与所述图像采集装置数据相连。
需要说明的是，本发明实施例中所述图像处理装置中的各个模块、单元以 及子单元的具体实现可参考图1至图8所对应实施例中相关方法步骤的具体实 现的描述。
本发明实施例基于抖动信息进行图像处理，在处理过程中完成防抖功能， 不需要额外的如云台等防抖硬件设备，节省了成本，方便用户使用。
进一步地再请参见图12，是本发明实施例的一种摄像机的结构示意图，本 发明实施例的所述摄像机包括镜头01、图像传感器02以及图像处理器03，其 中，
所述图像传感器02，用于通过所述镜头01采集图像数据；
所述图像处理器03，与所述图像传感器02相连，用于根据所述图像传感器 02采集的图像数据得到采集图像，获取所述图像采集装置拍摄时产生的与所述 采集图像关联的抖动信息；根据所述抖动信息从所述采集图像中确定出目标图 像；其中，所述抖动信息包括抖动角度信息。
其中可选地，所述抖动信息是指所述图像采集装置在得到所述采集图像时 相对于上一次得到采集图像时的位置变化角度信息；所述抖动角度信息包括： 俯仰角、偏航角、和/或横滚角。或者，所述抖动信息可以是指所述图像采集装 置在得到所述采集图像时相对于参考位置的位置变化角度信息。
进一步可选地，所述图像处理器03，还用于对获取的采集图像和抖动信息 进行时间校准；在时间校准成功后，再所述根据所述抖动信息从所述采集图像 中确定出目标图像。
进一步可选地，所述镜头01为鱼眼镜头01，所述采集图像为鱼眼图像。
进一步可选地，所述图像处理器03，具体用于根据抖动角度信息确定出所 述采集图像所在的图像坐标系到目标坐标系的映射关系；根据确定出的所述采 集图像所在的图像坐标系到目标坐标系的映射关系从所述采集图像中确定出目 标图像。
进一步可选地，所述图像处理器03，具体用于根据抖动角度信息建立所述 采集图像所在的图像坐标系到世界坐标系之间的映射关系；根据抖动角度信息 确定出所述目标坐标系到所述世界坐标系之间的映射关系；根据世界坐标系， 确定出所述采集图像所在的图像坐标系到目标坐标系的映射关系。
进一步可选地，所述图像处理器03，具体用于根据抖动角度信息建立世界 坐标系到预置的切平面坐标系之间的映射关系；根据抖动角度信息建立目标坐 标系到所述预置的切平面坐标系之间的映射关系；根据所述预置的切平面坐标 系，确定出所述目标坐标系到所述世界坐标系之间的映射关系。
进一步可选地，所述切平面坐标系是指：在以所述图像采集装置的镜头01 中心为球心的半球面上，任意一点所在的切平面坐标系。
进一步可选地，所述图像处理器03，具体用于获取预置的畸变校正参数； 根据确定出的所述采集图像所在的图像坐标系到目标坐标系的映射关系和所述 畸变校正参数，将所述采集图像上的每一个点映射到目标坐标系的相应位置点； 获取所述采集图像每一个点的像素值，根据获取的每一个点的像素值和位置点， 生成目标图像。
本发明实施例的所述摄像机可以为一个航拍飞行器的一部分，所述航拍飞 行器包括飞行器本体和所述摄像机，所述摄像机挂载在所述飞行器本体。
需要说明的是，本发明实施例中所述摄像机的各个部件的具体实现可参考 图1至图8所对应实施例中相关方法步骤的具体实现的描述。
本发明实施例基于抖动信息进行图像处理，在处理过程中完成防抖功能， 不需要额外的如云台等防抖硬件设备，节省了成本，方便用户使用。
再请参见图13，是本发明实施例的另一种图像处理装置的结构示意图，本 发明实施例的所述装置可以配置到各种相机中，也可以当独使用，具体的，本 发明实施例的所述装置包括：
第一获取模块21，用于获取图像采集装置得到的采集图像；
第二获取模块22，用于获取所述图像采集装置拍摄时产生的与所述采集图 像关联的抖动信息，其中，所述抖动信息包括抖动角度信息；
第一处理模块23，用于根据所述抖动信息和预置的畸变校正参数对所述采 集图像进行畸变校正；
第二处理模块24，用于根据抖动信息从所述畸变校正后的图像中选择出目 标图像。
其中可选地，所述第二处理模块24所选择出的目标图像为所述畸变校正后 的图像中的一部分图像。
其中可选地，所述第二处理模块24，具体用于从校正后的图像中确定出初 始区域，并根据所述抖动信息对所述初始区域进行抖动补偿，确定出目标区域 并得到该目标区域所对应的目标图像。
其中可选地，所述第二处理模块24，具体用于根据预置的视场角从所述畸 变校正后的图像中确定出初始区域。
其中可选地，所述第二处理模块24，具体用于根据抖动信息和预置的视场 角，从所述畸变校正后的图像中确定出所述视场角所限定区域的图像作为目标 图像。
所述图像采集装置可以为各种照相机、摄像机等可拍摄图像的智能拍摄装 置。所述第一获取模块21与外部图像采集装置数据相连后，可以从图像采集装 置中获取得到采集图像。所述图像采集装置可以是鱼眼镜头等广角镜头，其采 集到的所述采集图像则对应为鱼眼图像等。
在拍摄视频或者连拍时，所述第二获取模块22获取到的所述抖动信息可以 是指拍摄到当前图片时，图像采集装置相对于上一次拍摄到图片时的位置变化 角度信息。所述抖动信息也可以是指拍摄到当前图片时，图像采集装置相对于 参考位置的位置变化角度信息，该参考位置可以为图像采集装置开始拍摄时的 初始位置。主要包括所述图像采集装置在三个方向上的角度信息，具体可以俯 仰角、偏航角以及横滚角。
所述第二获取模块22具体可以在所述图像采集装置中配置角度传感器来检 测所述图像采集装置的抖动信息，例如通过陀螺仪来检测。可以直接从角度传 感器中获取原始数据，进而计算得到相关的角度信息，也可以从某些具有计算 能力的角度传感器中直接获取到相关的角度信息。
优选地，所述角度传感器可以直接设置在所述图像采集装置上，与所述图 像采集装置固定连接。也可以固定连接在与所述图像采集装置刚性连接的各种 外部设备上，例如挂载所述图像采集装置的飞行器等设备上，这些外部设备的 抖动可直接导致所述图像采集装置的抖动，因而固定连接在外部设备上的角度 传感器能够直接检测图像采集装置的抖动信息。可以理解的是，如果外部设备 与所述图像采集装置柔性连接，角度传感器无法准确检测所述图像采集装置的 信息时，则不能将角度传感器设置在此外部设备上。
所述第二处理模块24具体是根据预置的视场角从所述畸变校正后的图像中 确定出初始区域。
所述第一处理模块23先根据抖动信息进行坐标变换，得到所述采集图像所 在的平面坐标系到一个目标坐标系的坐标映射关系；然后再确定出所述采集图 像中各个像素点的纹理信息(像素点上所对应的灰度值)，得到纹理映射关系。 基于上述的坐标映射关系和纹理映射关系，并进一步基于预置的畸变校正参数， 得到由所述采集图像到一个初始图像的转换，得到畸变校正后的一个图像。
所述第二处理模块24进一步地再基于抖动信息和预置的视场角，进行抖动 补偿，并在所述畸变校正后的图像中得到抖动补偿后的目标图像。
所述抖动补偿具体是指：在所述畸变校正后的图像中基于预置的视场角确 定出一个初始区域，然后再根据抖动信息对所述初始区域进行补偿，得到目标 区域，该目标区域所涵盖的图像即为目标图像。本发明实施例中，所述预置的 视场角小于所述图像采集设备拍摄所述采集图像时的视场角，具体的，所述预 置的视场角可以为一个标准图像所对应的视场角；而所述采集图像则对应为诸 如鱼眼图像的视场角。或者，所述采集图像对应为标准视场角，而所述预置的 视场角对应为小于标准视场角。
具体的，在补偿时，如果抖动信息中的俯仰角度信息指示图像采集装置向 下转动了第一角度，所述第二处理模块24则将所述初始区域反向向上移动第一 角度，如果偏航角度信息指示图像采集装置向左转动了第二角度，所述第二处 理模块24则将所述初始区域反向向右移动第二角度。以此类推完成抖动补偿。
可选地，在检测到所述抖动信息后，还可以包括检测判断模块，用于对抖 动的角度进行检测步骤，如果上述提到的俯仰角、偏航角以及横滚角等抖动角 度信息中的各个角度值均小于预设的角度阈值，向所述第一处理模块23发送触 发信息触发进行畸变校正；而如果抖动角度信息中的一个或者多个角度值超出 了预设的角度阈值，则表明用户目前可能在主动移动所述图像采集装置拍摄图 像，则不需执行畸变校正以及目标图像的处理，可停止后续所述第一处理模块 23和第二处理模块24的操作，或者所述检测判断模块可以发送触发信息给第一 获取模块21和第二获取模块22以触发获取相关数据。
进一步可选地，所述第二处理模块24，具体用于根据预置的视场角从所述 畸变校正后的图像中确定出初始区域。
其中可选地，所述抖动信息是指所述图像采集装置在得到所述采集图像时 相对于上一次得到采集图像时的位置变化角度信息；所述抖动角度信息包括： 俯仰角、偏航角、和/或横滚角。
进一步可选地，本发明实施例的所述装置还可以包括：
校正模块25，用于对获取的采集图像和抖动信息进行时间校准；在时间校 准成功后，向所述第一处理模块23发出触发信息。
所述校正模块25对所述第一获取模块21和第二获取模块22获取的数据进 行校正，以确保所述采集图像和抖动信息在时间上对齐，保证该抖动信息为图 像采集装置拍摄该采集图像时产生的位置变化角度信息。
进一步可选地，如图14所示，所述第一处理模块23具体可以包括：
关系确定单元231，用于根据抖动角度信息确定出所述采集图像所在的图像 坐标系到目标坐标系的映射关系；
图像确定单元232，用于根据确定出的所述采集图像所在的图像坐标系到目 标坐标系的映射关系和预置的畸变校正参数对所述采集图像进行畸变校正，得 到校正后的图像。
其中可选地，所述关系确定单元231具体可以包括：
第一确定子单元2311，用于根据抖动角度信息建立所述采集图像所在的图 像坐标系到世界坐标系之间的映射关系；
第二确定子单元2312，用于根据抖动角度信息确定出所述目标坐标系到所 述世界坐标系之间的映射关系；
第三确定子单元2313，用于根据世界坐标系，确定出所述采集图像所在的 图像坐标系到目标坐标系的映射关系。
其中可选地，所述第二确定子单元2312，具体用于根据抖动角度信息建立 世界坐标系到预置的切平面坐标系之间的映射关系；根据抖动角度信息建立目 标坐标系到所述预置的切平面坐标系之间的映射关系；根据所述预置的切平面 坐标系，确定出所述目标坐标系到所述世界坐标系之间的映射关系。
其中具体地，所述切平面坐标系是指：在以所述图像采集装置的镜头中心 为球心的半球面上，任意一点所在的切平面坐标系。
进一步可选地，所述图像确定单元232，具体用于根据确定出的所述采集图 像所在的图像坐标系到目标坐标系的映射关系和所述畸变校正参数，将所述采 集图像上的每一个点映射到目标坐标系的相应位置点；获取所述采集图像每一 个点的像素值，根据获取的每一个点的像素值和位置点，生成校正后的图像。
本发明实施例的所述图像处理装置可以陪着在一个处理器中，而所述处理 器可以为一航拍飞行器的一部分，所述航拍飞行器包括飞行器本体、图像采集 装置以及所述包括本发明实施例的图像处理装置的处理器，其中，所述图像采 集装置挂载在所述飞行器本体上，所述处理器与所述图像采集装置数据相连。
需要说明的是，本发明实施例中所述图像处理装置中的各个模块、单元以 及子单元的具体实现可参考图1至图8所对应实施例中相关方法步骤的具体实 现的描述。
本发明实施例基于抖动信息进行图像处理，在处理过程中完成防抖功能， 不需要额外的如云台等防抖硬件设备，节省了成本，方便用户使用。
进一步地再请参见图15，是本发明实施例的一种摄像机的结构示意图，本 发明实施例的所述摄像机包括：镜头04、图像传感器05以及图像处理器06， 其中，
所述图像传感器05，用于通过所述镜头04采集图像数据；
所述图像处理器06，与所述图像传感器05相连，用于根据所述图像传感器 05采集到的图像数据得到采集图像，获取所述图像采集装置拍摄时产生的与所 述采集图像关联的抖动信息，其中，所述抖动信息包括抖动角度信息；根据所 述抖动信息和预置的畸变校正参数对所述采集图像进行畸变校正；根据抖动信 息从所述畸变校正后的图像中选择出目标图像。
其中可选地，所述图像处理器06所选择出的目标图像为所述畸变校正后的 图像中的一部分图像。
其中可选地，所述图像处理器06，具体用于从校正后的图像中确定出初始 区域，并根据所述抖动信息对所述初始区域进行抖动补偿，确定出目标区域并 得到该目标区域所对应的目标图像。
其中可选地，所述图像处理器06，具体用于根据预置的视场角从所述畸变 校正后的图像中确定出初始区域。
其中可选地，所述图像处理器06，具体用于根据抖动信息和预置的视场角， 从所述畸变校正后的图像中确定出所述视场角所限定区域的图像作为目标图 像。
进一步可选地，所述图像处理器06，具体用于根据预置的视场角从所述畸 变校正后的图像中确定出初始区域。
进一步可选地，所述抖动信息是指所述图像采集装置在得到所述采集图像 时相对于上一次得到采集图像时的位置变化角度信息；或者所述抖动信息是指 所述图像采集装置在得到所述采集图像时相对于参考位置的位置变化角度信 息；所述抖动角度信息包括：俯仰角、偏航角、和/或横滚角。
进一步可选地，所述图像处理器06，还用于对获取的采集图像和抖动信息 进行时间校准；在时间校准成功后，根据所述抖动信息从所述采集图像中确定 出目标图像。
进一步可选地，所述镜头04为鱼眼镜头04，所述采集图像为鱼眼图像。
进一步可选地，所述图像处理器06，具体用于根据抖动角度信息确定出所 述采集图像所在的图像坐标系到目标坐标系的映射关系；根据确定出的所述采 集图像所在的图像坐标系到目标坐标系的映射关系和预置的畸变校正参数对所 述采集图像进行畸变校正，得到校正后的图像。
进一步可选地，所述图像处理器06，具体用于根据抖动角度信息建立所述 采集图像所在的图像坐标系到世界坐标系之间的映射关系；根据抖动角度信息 确定出所述目标坐标系到所述世界坐标系之间的映射关系；根据世界坐标系， 确定出所述采集图像所在的图像坐标系到目标坐标系的映射关系。
进一步可选地，所述图像处理器06，具体用于根据抖动角度信息建立世界 坐标系到预置的切平面坐标系之间的映射关系；根据抖动角度信息建立目标坐 标系到所述预置的切平面坐标系之间的映射关系；根据所述预置的切平面坐标 系，确定出所述目标坐标系到所述世界坐标系之间的映射关系。
进一步可选地，所述切平面坐标系是指：在以所述图像采集装置的镜头04 中心为球心的半球面上，任意一点所在的切平面坐标系。
进一步可选地，所述图像处理器06，具体用于根据确定出的所述采集图像 所在的图像坐标系到目标坐标系的映射关系和所述畸变校正参数，将所述采集 图像上的每一个点映射到目标坐标系的相应位置点；获取所述采集图像每一个 点的像素值，根据获取的每一个点的像素值和位置点，生成校正后的图像。
本发明实施例的所述摄像机可以为一个航拍飞行器的一部分，所述航拍飞 行器包括飞行器本体和所述摄像机，所述摄像机挂载在所述飞行器本体。
需要说明的是，本发明实施例中所述摄像机的各个部件的具体实现可参考 图1至图8所对应实施例中相关方法步骤的具体实现的描述。
本发明实施例基于抖动信息进行图像处理，在处理过程中完成防抖功能， 不需要额外的如云台等防抖硬件设备，节省了成本，方便用户使用。
在本发明所提供的几个实施例中，应该理解到，所揭露的相关装置和方法， 可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的， 例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有 另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统， 或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或 直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接， 可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为 单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者 也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部 单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元 中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的 形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或 使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明 的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或 部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质 中，包括若干指令用以使得计算机处理器(processor)执行本发明各个实施例所 述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存 储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利 用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运 用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (68)

1.一种图像处理方法，其特征在于，包括：
获取图像采集装置得到的采集图像；
获取所述图像采集装置拍摄时产生的与所述采集图像关联的抖动信息，其中，所述抖动信息包括抖动角度信息；
根据所述抖动信息从所述采集图像中确定出目标图像；
所述根据所述抖动信息从所述采集图像中确定出目标图像，包括：
根据抖动角度信息确定出所述采集图像所在的图像坐标系到目标坐标系的映射关系；
根据确定出的所述采集图像所在的图像坐标系到目标坐标系的映射关系从所述采集图像中确定出目标图像。
2.如权利要求1所述的方法，其特征在于，
所述抖动信息是指所述图像采集装置在得到所述采集图像时相对于上一次得到采集图像时的位置变化角度信息；所述抖动角度信息包括：俯仰角、偏航角、和/或横滚角。
3.如权利要求1所述的方法，其特征在于，
所述抖动信息是指所述图像采集装置在得到所述采集图像时相对于参考位置的位置变化角度信息；所述抖动角度信息包括：俯仰角、偏航角、和/或横滚角。
4.如权利要求1所述的方法，其特征在于，所述根据所述抖动信息从所述采集图像中确定出目标图像之前，还包括：
对获取的采集图像和抖动信息进行时间校准；
在时间校准成功后，触发执行所述根据所述抖动信息从所述采集图像中确定出目标图像。
5.如权利要求1所述的方法，其特征在于，所述采集图像为鱼眼图像。
6.如权利要求1所述的方法，其特征在于，所述根据抖动角度信息确定出所述采集图像所在的图像坐标系到目标坐标系的映射关系，包括：
根据抖动角度信息建立所述采集图像所在的图像坐标系到世界坐标系之间的映射关系；
根据抖动角度信息确定出所述目标坐标系到所述世界坐标系之间的映射关系；
根据世界坐标系，确定出所述采集图像所在的图像坐标系到目标坐标系的映射关系。
7.如权利要求6所述的方法，其特征在于，所述根据抖动角度信息确定出所述目标坐标系到所述世界坐标系之间的映射关系，包括：
根据抖动角度信息建立世界坐标系到预置的切平面坐标系之间的映射关系；
根据抖动角度信息建立目标坐标系到所述预置的切平面坐标系之间的映射关系；
根据所述预置的切平面坐标系，确定出所述目标坐标系到所述世界坐标系之间的映射关系。
8.如权利要求7所述的方法，其特征在于，
所述切平面坐标系是指：在以所述图像采集装置的镜头中心为球心的半球面上，任意一点所在的切平面坐标系。
9.如权利要求6-8任一项所述的方法，其特征在于，所述根据确定出的所述采集图像所在的图像坐标系到目标坐标系的映射关系从所述采集图像中确定出目标图像，包括：
获取预置的畸变校正参数；
根据确定出的所述采集图像所在的图像坐标系到目标坐标系的映射关系和所述畸变校正参数，将所述采集图像上的每一个点映射到目标坐标系的相应位置点；
获取所述采集图像每一个点的像素值，根据获取的每一个点的像素值和位置点，生成目标图像。
10.一种图像处理方法，其特征在于，包括：
获取图像采集装置得到的采集图像；
获取所述图像采集装置拍摄时产生与所述采集图像关联的抖动信息，其中，所述抖动信息包括抖动角度信息；
根据所述抖动信息和预置的畸变校正参数对所述采集图像进行畸变校正；
根据抖动信息从所述畸变校正后的图像中选择出目标图像；
所述根据所述抖动信息和预置的畸变校正参数对所述采集图像进行畸变校正，包括：
根据抖动角度信息确定出所述采集图像所在的图像坐标系到目标坐标系的映射关系；
根据确定出的所述采集图像所在的图像坐标系到目标坐标系的映射关系和预置的畸变校正参数对所述采集图像进行畸变校正，得到校正后的图像。
11.如权利要求10所述的方法，其特征在于，所选择出的目标图像为所述畸变校正后的图像中的一部分图像。
12.如权利要求10所述的方法，其特征在于，所述根据抖动信息从所述畸变校正后的图像中选择出目标图像，包括：
从校正后的图像中确定出初始区域，并根据所述抖动信息对所述初始区域进行抖动补偿，确定出目标区域并得到该目标区域所对应的目标图像。
13.如权利要求12所述的方法，其特征在于，所述从校正后的图像中确定出初始区域，包括：
根据预置的视场角从所述畸变校正后的图像中确定出初始区域。
14.如权利要求10所述的方法，其特征在于，所述根据抖动信息从所述畸变校正后的图像中选择出目标图像，包括：
根据抖动信息和预置的视场角，从所述畸变校正后的图像中确定出所述视场角所限定区域的图像作为目标图像。
15.如权利要求10所述的方法，其特征在于，
所述抖动信息是指所述图像采集装置在得到所述采集图像时相对于上一次得到采集图像时的位置变化角度信息；所述抖动角度信息包括：俯仰角、偏航角、和/或横滚角。
16.如权利要求10所述的方法，其特征在于，
所述抖动信息是指所述图像采集装置在得到所述采集图像时相对于参考位置的位置变化角度信息；所述抖动角度信息包括：俯仰角、偏航角、和/或横滚角。
17.如权利要求10所述的方法，其特征在于，所述根据所述抖动信息和预置的畸变校正参数对所述采集图像进行畸变校正之前，还包括：
对获取的采集图像和抖动信息进行时间校准；
在时间校准成功后，触发执行所述根据所述抖动信息从所述采集图像中确定出目标图像。
18.如权利要求10所述的方法，其特征在于，所述采集图像为鱼眼图像。
19.如权利要求10所述的方法，其特征在于，所述根据抖动角度信息确定出所述采集图像所在的图像坐标系到目标坐标系的映射关系，包括：
根据抖动角度信息建立所述采集图像所在的图像坐标系到世界坐标系之间的映射关系；
根据抖动角度信息确定出所述目标坐标系到所述世界坐标系之间的映射关系；
根据世界坐标系，确定出所述采集图像所在的图像坐标系到目标坐标系的映射关系。
20.如权利要求19所述的方法，其特征在于，所述根据抖动角度信息确定出所述目标坐标系到所述世界坐标系之间的映射关系，包括：
根据抖动角度信息建立世界坐标系到预置的切平面坐标系之间的映射关系；
根据抖动角度信息建立目标坐标系到所述预置的切平面坐标系之间的映射关系；
根据所述预置的切平面坐标系，确定出所述目标坐标系到所述世界坐标系之间的映射关系。
21.如权利要求20所述的方法，其特征在于，
所述切平面坐标系是指：在以所述图像采集装置的镜头中心为球心的半球面上，任意一点所在的切平面坐标系。
22.如权利要求19-21任一项所述的方法，其特征在于，所述根据确定出的所述采集图像所在的图像坐标系到目标坐标系的映射关系和预置的畸变校正参数对所述采集图像进行畸变校正，得到校正后的图像，包括：
根据确定出的所述采集图像所在的图像坐标系到目标坐标系的映射关系和所述畸变校正参数，将所述采集图像上的每一个点映射到目标坐标系的相应位置点；
获取所述采集图像每一个点的像素值，根据获取的每一个点的像素值和位置点，生成校正后的图像。
23.一种图像处理装置，其特征在于，包括：
图像获取模块，用于获取图像采集装置得到的采集图像；
抖动获取模块，用于获取所述图像采集装置拍摄时产生与所述采集图像关联的抖动信息，其中，所述抖动信息包括抖动角度信息；
处理模块，用于根据所述抖动信息从所述采集图像中确定出目标图像；
所述处理模块包括：
映射关系确定单元，用于根据抖动角度信息确定出所述采集图像所在的图像坐标系到目标坐标系的映射关系；
处理单元，用于根据确定出的所述采集图像所在的图像坐标系到目标坐标系的映射关系从所述采集图像中确定出目标图像。
24.如权利要求23所述的装置，其特征在于，所述抖动信息是指所述图像采集装置在得到所述采集图像时相对于上一次得到采集图像时的位置变化角度信息；所述抖动角度信息包括：俯仰角、偏航角、和/或横滚角。
25.如权利要求23所述的装置，其特征在于，所述抖动信息是指所述图像采集装置在得到所述采集图像时相对于参考位置的位置变化角度信息；所述抖动角度信息包括：俯仰角、偏航角、和/或横滚角。
26.如权利要求23所述的装置，其特征在于，还包括：
校正模块，用于对获取的采集图像和抖动信息进行时间校准；并在时间校准成功后，发出触发信息给处理模块。
27.如权利要求23所述的装置，其特征在于，所述映射关系确定单元包括：
第一确定子单元，用于根据抖动角度信息建立所述采集图像所在的图像坐标系到世界坐标系之间的映射关系；
第二确定子单元，用于根据抖动角度信息确定出所述目标坐标系到所述世界坐标系之间的映射关系；
第三确定子单元，用于根据世界坐标系，确定出所述采集图像所在的图像坐标系到目标坐标系的映射关系。
28.如权利要求27所述的装置，其特征在于，
所述第二确定子单元，具体用于根据抖动角度信息建立世界坐标系到预置的切平面坐标系之间的映射关系；根据抖动角度信息建立目标坐标系到所述预置的切平面坐标系之间的映射关系；根据所述预置的切平面坐标系，确定出所述目标坐标系到所述世界坐标系之间的映射关系。
29.如权利要求28所述的装置，其特征在于，
所述切平面坐标系是指：在以所述图像采集装置的镜头中心为球心的半球面上，任意一点所在的切平面坐标系。
30.如权利要求27-29任一项所述的装置，其特征在于，
所述处理单元，具体用于获取预置的畸变校正参数；根据确定出的所述采集图像所在的图像坐标系到目标坐标系的映射关系和所述畸变校正参数，将所述采集图像上的每一个点映射到目标坐标系的相应位置点；获取所述采集图像每一个点的像素值，根据获取的每一个点的像素值和位置点，生成目标图像。
31.一种摄像机，其特征在于，包括：镜头、图像传感器以及图像处理器，其中，
所述图像传感器，用于通过所述镜头采集图像数据；
所述图像处理器，与所述图像传感器相连，用于根据所述图像传感器采集的图像数据得到采集图像，获取所述图像采集装置拍摄时产生与所述采集图像关联的抖动信息；根据所述抖动信息从所述采集图像中确定出目标图像；其中，所述抖动信息包括抖动角度信息；
所述图像处理器，具体用于根据抖动角度信息确定出所述采集图像所在的图像坐标系到目标坐标系的映射关系；根据确定出的所述采集图像所在的图像坐标系到目标坐标系的映射关系从所述采集图像中确定出目标图像。
32.如权利要求31所述的摄像机，其特征在于，所述抖动信息是指所述图像采集装置在得到所述采集图像时相对于上一次得到采集图像时的位置变化角度信息；所述抖动角度信息包括：俯仰角、偏航角、和/或横滚角。
33.如权利要求31所述的摄像机，其特征在于，所述抖动信息是指所述图像采集装置在得到所述采集图像时相对于参考位置的位置变化角度信息；所述抖动角度信息包括：俯仰角、偏航角、和/或横滚角。
34.如权利要求31所述的摄像机，其特征在于，
所述图像处理器，还用于对获取的采集图像和抖动信息进行时间校准；在时间校准成功后，再所述根据所述抖动信息从所述采集图像中确定出目标图像。
35.如权利要求31所述的摄像机，其特征在于，所述镜头为鱼眼镜头，所述采集图像为鱼眼图像。
36.如权利要求31所述的摄像机，其特征在于，
所述图像处理器，具体用于根据抖动角度信息建立所述采集图像所在的图像坐标系到世界坐标系之间的映射关系；根据抖动角度信息确定出所述目标坐标系到所述世界坐标系之间的映射关系；根据世界坐标系，确定出所述采集图像所在的图像坐标系到目标坐标系的映射关系。
37.如权利要求36所述的摄像机，其特征在于，
所述图像处理器，具体用于根据抖动角度信息建立世界坐标系到预置的切平面坐标系之间的映射关系；根据抖动角度信息建立目标坐标系到所述预置的切平面坐标系之间的映射关系；根据所述预置的切平面坐标系，确定出所述目标坐标系到所述世界坐标系之间的映射关系。
38.如权利要求37所述的摄像机，其特征在于，所述切平面坐标系是指：在以所述图像采集装置的镜头中心为球心的半球面上，任意一点所在的切平面坐标系。
39.如权利要求36-38任一项所述的摄像机，其特征在于，
所述图像处理器，具体用于获取预置的畸变校正参数；根据确定出的所述采集图像所在的图像坐标系到目标坐标系的映射关系和所述畸变校正参数，将所述采集图像上的每一个点映射到目标坐标系的相应位置点；获取所述采集图像每一个点的像素值，根据获取的每一个点的像素值和位置点，生成目标图像。
40.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取图像采集装置得到的采集图像；
第二获取模块，用于获取所述图像采集装置拍摄时产生的与所述采集图像关联的抖动信息，其中，所述抖动信息包括抖动角度信息；
第一处理模块，用于根据所述抖动信息和预置的畸变校正参数对所述采集图像进行畸变校正；
第二处理模块，用于根据抖动信息从所述畸变校正后的图像中选择出目标图像；
所述第一处理模块包括：
关系确定单元，用于根据抖动角度信息确定出所述采集图像所在的图像坐标系到目标坐标系的映射关系；
图像确定单元，用于根据确定出的所述采集图像所在的图像坐标系到目标坐标系的映射关系和预置的畸变校正参数对所述采集图像进行畸变校正，得到校正后的图像。
41.如权利要求40所述的装置，其特征在于，所述第二处理模块所选择出的目标图像为所述畸变校正后的图像中的一部分图像。
42.如权利要求40所述的装置，其特征在于，
所述第二处理模块，具体用于从校正后的图像中确定出初始区域，并根据所述抖动信息对所述初始区域进行抖动补偿，确定出目标区域并得到该目标区域所对应的目标图像。
43.如权利要求42所述的装置，其特征在于，
所述第二处理模块，具体用于根据预置的视场角从所述畸变校正后的图像中确定出初始区域。
44.如权利要求40所述的装置，其特征在于，
所述第二处理模块，具体用于根据抖动信息和预置的视场角，从所述畸变校正后的图像中确定出所述视场角所限定区域的图像作为目标图像。
45.如权利要求40所述的装置，其特征在于，所述抖动信息是指所述图像采集装置在得到所述采集图像时相对于上一次得到采集图像时的位置变化角度信息；所述抖动角度信息包括：俯仰角、偏航角、和/或横滚角。
46.如权利要求40所述的装置，其特征在于，所述抖动信息是指所述图像采集装置在得到所述采集图像时相对于参考位置的位置变化角度信息；所述抖动角度信息包括：俯仰角、偏航角、和/或横滚角。
47.如权利要求40所述的装置，其特征在于，还包括：
校正模块，用于对获取的采集图像和抖动信息进行时间校准；在时间校准成功后，向所述第一处理模块发出触发信息。
48.如权利要求47所述的装置，其特征在于，所述关系确定单元包括：
第一确定子单元，用于根据抖动角度信息建立所述采集图像所在的图像坐标系到世界坐标系之间的映射关系；
第二确定子单元，用于根据抖动角度信息确定出所述目标坐标系到所述世界坐标系之间的映射关系；
第三确定子单元，用于根据世界坐标系，确定出所述采集图像所在的图像坐标系到目标坐标系的映射关系。
49.如权利要求48所述的装置，其特征在于，
所述第二确定子单元，具体用于根据抖动角度信息建立世界坐标系到预置的切平面坐标系之间的映射关系；根据抖动角度信息建立目标坐标系到所述预置的切平面坐标系之间的映射关系；根据所述预置的切平面坐标系，确定出所述目标坐标系到所述世界坐标系之间的映射关系。
50.如权利要求49所述的装置，其特征在于，所述切平面坐标系是指：在以所述图像采集装置的镜头中心为球心的半球面上，任意一点所在的切平面坐标系。
51.如权利要求48-50任一项所述的装置，其特征在于，
所述图像确定单元，具体用于根据确定出的所述采集图像所在的图像坐标系到目标坐标系的映射关系和所述畸变校正参数，将所述采集图像上的每一个点映射到目标坐标系的相应位置点；获取所述采集图像每一个点的像素值，根据获取的每一个点的像素值和位置点，生成校正后的图像。
52.一种摄像机，其特征在于，包括：镜头、图像传感器以及图像处理器，其中，
所述图像传感器，用于通过所述镜头采集图像数据；
所述图像处理器，与所述图像传感器相连，用于根据所述图像传感器采集到的图像数据得到采集图像，获取所述图像采集装置拍摄时产生的与所述采集图像关联的抖动信息，其中，所述抖动信息包括抖动角度信息；根据所述抖动信息和预置的畸变校正参数对所述采集图像进行畸变校正；根据抖动信息从所述畸变校正后的图像中选择出目标图像；
所述图像处理器，具体用于根据抖动角度信息确定出所述采集图像所在的图像坐标系到目标坐标系的映射关系；根据确定出的所述采集图像所在的图像坐标系到目标坐标系的映射关系和预置的畸变校正参数对所述采集图像进行畸变校正，得到校正后的图像。
53.如权利要求52所述的摄像机，其特征在于，所述图像处理器所选择出的目标图像为所述畸变校正后的图像中的一部分图像。
54.如权利要求52所述的摄像机，其特征在于，
所述图像处理器，具体用于从校正后的图像中确定出初始区域，并根据所述抖动信息对所述初始区域进行抖动补偿，确定出目标区域并得到该目标区域所对应的目标图像。
55.如权利要求54所述的摄像机，其特征在于，
所述图像处理器，具体用于根据预置的视场角从所述畸变校正后的图像中确定出初始区域。
56.如权利要求52所述的摄像机，其特征在于，
所述图像处理器，具体用于根据抖动信息和预置的视场角，从所述畸变校正后的图像中确定出所述视场角所限定区域的图像作为目标图像。
57.如权利要求52所述的摄像机，其特征在于，所述抖动信息是指所述图像采集装置在得到所述采集图像时相对于上一次得到采集图像时的位置变化角度信息；所述抖动角度信息包括：俯仰角、偏航角、和/或横滚角。
58.如权利要求52所述的摄像机，其特征在于，所述抖动信息是指所述图像采集装置在得到所述采集图像时相对于参考位置的位置变化角度信息；所述抖动角度信息包括：俯仰角、偏航角、和/或横滚角。
59.如权利要求52所述的摄像机，其特征在于，
所述图像处理器，还用于对获取的采集图像和抖动信息进行时间校准；在时间校准成功后，根据所述抖动信息从所述采集图像中确定出目标图像。
60.如权利要求52所述的摄像机，其特征在于，所述镜头为鱼眼镜头，所述采集图像为鱼眼图像。
61.如权利要求60所述的摄像机，其特征在于，
所述图像处理器，具体用于根据抖动角度信息建立所述采集图像所在的图像坐标系到世界坐标系之间的映射关系；根据抖动角度信息确定出所述目标坐标系到所述世界坐标系之间的映射关系；根据世界坐标系，确定出所述采集图像所在的图像坐标系到目标坐标系的映射关系。
62.如权利要求61所述的摄像机，其特征在于，
所述图像处理器，具体用于根据抖动角度信息建立世界坐标系到预置的切平面坐标系之间的映射关系；根据抖动角度信息建立目标坐标系到所述预置的切平面坐标系之间的映射关系；根据所述预置的切平面坐标系，确定出所述目标坐标系到所述世界坐标系之间的映射关系。
63.如权利要求62所述的摄像机，其特征在于，所述切平面坐标系是指：在以所述图像采集装置的镜头中心为球心的半球面上，任意一点所在的切平面坐标系。
64.如权利要求61-63任一项所述的摄像机，其特征在于，
所述图像处理器，具体用于根据确定出的所述采集图像所在的图像坐标系到目标坐标系的映射关系和所述畸变校正参数，将所述采集图像上的每一个点映射到目标坐标系的相应位置点；获取所述采集图像每一个点的像素值，根据获取的每一个点的像素值和位置点，生成校正后的图像。
65.一种航拍飞行器，其特征在于，包括：飞行器本体和挂载在所述飞行器本体上的摄像机，所述摄像机包括如权利要求31-39任一项所述的摄像机。
66.一种航拍飞行器，其特征在于，包括：飞行器本体和挂载在所述飞行器本体上的摄像机，所述摄像机包括如权利要求52-64任一项所述的摄像机。
67.一种航拍飞行器，其特征在于，包括：飞行器本体、图像采集装置以及处理器，其中，所述图像采集装置挂载在所述飞行器本体上，所述处理器与所述图像采集装置数据相连，所述处理器包括如权利要求23至30任一项所述的图像处理装置。
68.一种航拍飞行器，其特征在于，包括：飞行器本体、图像采集装置以及处理器，其中，所述图像采集装置挂载在所述飞行器本体上，所述处理器与所述图像采集装置数据相连，所述处理器包括如权利要求40至51任一项所述的图像处理装置。
CN201580071829.3A 2015-07-31 2015-07-31 一种图像处理方法、装置及摄像机 Expired - Fee Related CN107113376B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/085641 WO2017020150A1 (zh) 2015-07-31 2015-07-31 一种图像处理方法、装置及摄像机

Publications (2)

Publication Number Publication Date
CN107113376A CN107113376A (zh) 2017-08-29
CN107113376B true CN107113376B (zh) 2019-07-19

Family

ID=57942212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580071829.3A Expired - Fee Related CN107113376B (zh) 2015-07-31 2015-07-31 一种图像处理方法、装置及摄像机

Country Status (3)

Country Link
US (1) US10594941B2 (zh)
CN (1) CN107113376B (zh)
WO (1) WO2017020150A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111669499A (zh) * 2020-06-12 2020-09-15 杭州海康机器人技术有限公司 一种视频防抖方法、装置及视频采集设备
CN112418086A (zh) * 2020-11-23 2021-02-26 浙江大华技术股份有限公司 一种规则框校正方法、装置、电子设备及存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018037944A (ja) * 2016-09-01 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置、撮像装置および撮像制御方法
CN109313455B (zh) * 2017-11-16 2021-09-28 深圳市大疆创新科技有限公司 智能眼镜及其控制云台的方法、云台、控制方法和无人机
CN110674665B (zh) * 2018-07-03 2023-06-30 杭州海康威视系统技术有限公司 图像处理方法、装置、森林防火系统及电子设备
CN109059843A (zh) * 2018-10-31 2018-12-21 中国矿业大学(北京) 一种具有摄像机角度检测功能的装置
CN110809781B (zh) * 2018-11-15 2024-02-27 深圳市大疆创新科技有限公司 一种图像处理方法、控制终端及存储介质
CN109493391A (zh) * 2018-11-30 2019-03-19 Oppo广东移动通信有限公司 摄像头标定方法和装置、电子设备、计算机可读存储介质
US10380724B1 (en) * 2019-01-28 2019-08-13 StradVision, Inc. Learning method and learning device for reducing distortion occurred in warped image generated in process of stabilizing jittered image by using GAN to enhance fault tolerance and fluctuation robustness in extreme situations
WO2020181506A1 (zh) * 2019-03-12 2020-09-17 深圳市大疆创新科技有限公司 一种图像处理方法、装置及系统
CN110276734B (zh) * 2019-06-24 2021-03-23 Oppo广东移动通信有限公司 图像畸变校正方法和装置
CN112129317B (zh) * 2019-06-24 2022-09-02 南京地平线机器人技术有限公司 信息采集时间差确定方法、装置以及电子设备、存储介质
CN112308783A (zh) * 2019-07-24 2021-02-02 株式会社理光 一种卷帘效应校正方法、装置及计算机可读存储介质
CN110415196B (zh) * 2019-08-07 2023-12-29 上海视云网络科技有限公司 图像校正方法、装置、电子设备及可读存储介质
CN110956585B (zh) * 2019-11-29 2020-09-15 深圳市英博超算科技有限公司 全景图像拼接方法、装置以及计算机可读存储介质
CN112489114A (zh) * 2020-11-25 2021-03-12 深圳地平线机器人科技有限公司 图像转换方法、装置、计算机可读存储介质及电子设备
CN113096192A (zh) * 2021-04-25 2021-07-09 西安四维图新信息技术有限公司 图像传感器内参标定方法、装置、设备及存储介质
CN115134537A (zh) * 2022-01-18 2022-09-30 长城汽车股份有限公司 一种图像处理方法、装置及车辆

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101390383A (zh) * 2006-02-23 2009-03-18 松下电器产业株式会社 图像修正装置、方法、程序、集成电路、系统
CN102714696A (zh) * 2010-11-11 2012-10-03 松下电器产业株式会社 图像处理装置、图像处理方法、程序及摄影装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19942900B4 (de) * 1998-09-08 2004-01-22 Ricoh Company, Ltd. Vorrichtung zur Korrektur von Bildfehlern, die durch ein Kameraverwackeln hervorgerufen werden
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6833843B2 (en) * 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
JP2004234379A (ja) * 2003-01-30 2004-08-19 Sony Corp 画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置
JP3862688B2 (ja) * 2003-02-21 2006-12-27 キヤノン株式会社 画像処理装置及び画像処理方法
JP2005252625A (ja) * 2004-03-03 2005-09-15 Canon Inc 撮像装置および画像処理方法
JP2005252626A (ja) * 2004-03-03 2005-09-15 Canon Inc 撮像装置および画像処理方法
JP2008020716A (ja) * 2006-07-13 2008-01-31 Pentax Corp 像ぶれ補正装置
JP5074322B2 (ja) * 2008-08-05 2012-11-14 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
JP2010050745A (ja) * 2008-08-21 2010-03-04 Canon Inc 画像処理装置およびその方法
JP5523017B2 (ja) * 2009-08-20 2014-06-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP5521518B2 (ja) * 2009-12-01 2014-06-18 ソニー株式会社 撮像装置、撮像方法、およびプログラム
US9001222B2 (en) * 2010-11-11 2015-04-07 Panasonic Intellectual Property Corporation Of America Image processing device, image processing method, and program for image processing for correcting displacement between pictures obtained by temporally-continuous capturing
JP2012252213A (ja) * 2011-06-03 2012-12-20 Fujifilm Corp 撮像装置、プログラム及び撮像装置のブレ補正方法
CN102611849A (zh) * 2012-03-20 2012-07-25 深圳市金立通信设备有限公司 一种手机拍照防抖系统及方法
JP5736512B2 (ja) * 2012-06-22 2015-06-17 富士フイルム株式会社 撮像装置およびその動作制御方法
JP5762587B2 (ja) * 2013-04-15 2015-08-12 キヤノン株式会社 画像処理装置および画像処理方法
JP6257207B2 (ja) * 2013-08-01 2018-01-10 キヤノン株式会社 像振れ補正装置およびその制御方法、レンズ鏡筒、並びに撮像装置
CN103414844B (zh) * 2013-08-27 2016-05-11 北京奇艺世纪科技有限公司 视频抖动修正方法及装置
JP2015119276A (ja) * 2013-12-17 2015-06-25 オリンパス株式会社 撮像装置
CN103929635B (zh) * 2014-04-25 2015-12-02 哈尔滨工程大学 一种uuv纵横摇时的双目视觉图像补偿方法
CN104574567A (zh) * 2015-01-07 2015-04-29 苏州科技学院 一种车载立体影像记录装置及其信号处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101390383A (zh) * 2006-02-23 2009-03-18 松下电器产业株式会社 图像修正装置、方法、程序、集成电路、系统
CN102714696A (zh) * 2010-11-11 2012-10-03 松下电器产业株式会社 图像处理装置、图像处理方法、程序及摄影装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111669499A (zh) * 2020-06-12 2020-09-15 杭州海康机器人技术有限公司 一种视频防抖方法、装置及视频采集设备
CN111669499B (zh) * 2020-06-12 2021-11-19 杭州海康机器人技术有限公司 一种视频防抖方法、装置及视频采集设备
CN112418086A (zh) * 2020-11-23 2021-02-26 浙江大华技术股份有限公司 一种规则框校正方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN107113376A (zh) 2017-08-29
US10594941B2 (en) 2020-03-17
US20180160045A1 (en) 2018-06-07
WO2017020150A1 (zh) 2017-02-09

Similar Documents

Publication Publication Date Title
CN107113376B (zh) 一种图像处理方法、装置及摄像机
CN107564089B (zh) 三维图像处理方法、装置、存储介质和计算机设备
CN111857329B (zh) 注视点计算方法、装置及设备
CA2888943C (en) Augmented reality system and method for positioning and mapping
JP4825980B2 (ja) 魚眼カメラの校正方法。
JP2019536170A (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
CN111586360A (zh) 一种无人机投影方法、装置、设备及存储介质
WO2016095057A1 (en) Peripheral tracking for an augmented reality head mounted device
JP2014529727A (ja) 自動シーン較正
KR20160116075A (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
US9467620B2 (en) Synthetic camera lenses
CN108734738B (zh) 相机标定方法及装置
WO2014008320A1 (en) Systems and methods for capture and display of flex-focus panoramas
CN110119189B (zh) Slam系统的初始化、ar控制方法、装置和系统
CN112837207A (zh) 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
CN110544278B (zh) 刚体运动捕捉方法及装置、agv位姿捕捉系统
WO2017041740A1 (en) Methods and systems for light field augmented reality/virtual reality on mobile devices
CN105698751B (zh) 一种测距系统、测距方法、测距装置、以及拍摄装置
Nyqvist et al. A high-performance tracking system based on camera and IMU
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
CN110750094A (zh) 确定可移动设备的位姿变化信息的方法、装置和系统
RU2020126876A (ru) Устройство и способ формирования изображений вида
CN113450254A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN115937293A (zh) 双目深度感知方法、装置、电子设备以及存储介质
CN117201705B (zh) 一种全景图像的获取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190719

CF01 Termination of patent right due to non-payment of annual fee