CN109314744A - 拍摄设备的图像处理方法、拍摄设备及可移动平台 - Google Patents

拍摄设备的图像处理方法、拍摄设备及可移动平台 Download PDF

Info

Publication number
CN109314744A
CN109314744A CN201780029127.8A CN201780029127A CN109314744A CN 109314744 A CN109314744 A CN 109314744A CN 201780029127 A CN201780029127 A CN 201780029127A CN 109314744 A CN109314744 A CN 109314744A
Authority
CN
China
Prior art keywords
image
jitter
pixel
capture apparatus
jitter direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780029127.8A
Other languages
English (en)
Inventor
孙旭斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN109314744A publication Critical patent/CN109314744A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供一种拍摄设备的图像处理方法、拍摄设备及可移动平台，该方法包括：确定所述拍摄设备在获取当前图像时相对于获取参考图像时的抖动方向；根据所述抖动方向，截取所述当前图像中与所述抖动方向对应的图像；将所述与所述抖动方向对应的图像作为所述拍摄设备的目标拍摄图像。该方法中，拍摄设备首先获取当前图像相对于参考图像的抖动方向，进而截取与抖动方向对应的图像，所截取的图像不会减小原有的有效图像，从而保证相机所拍摄的图像的呈现效果。

Description

拍摄设备的图像处理方法、拍摄设备及可移动平台
技术领域
本发明实施例涉及图像处理领域，尤其涉及一种拍摄设备的图像处理方法、拍摄设备及可移动平台。
背景技术
相机拍摄时，由于操作员的手或搭载相机的载具(如可移动平台)的抖动，会导致拍摄的照片模糊或者视频抖动。因此相机拍摄时需要进行防抖处理。
现有技术中，提供了一种通过软件防抖的方法。具体地，通过传感器(例如陀螺仪)检测相机的抖动方向，并通过特定的算法截取抖动视频中图像相同的部分作为有效图像，而舍去边缘的部分图像，从而达到防抖的目的。
但是，现有技术的方法需要舍去边缘的部分图像，因此会减小相机所拍摄图像的有效像素，导致相机所拍摄图像的效果不佳。
发明内容
本发明实施例提供一种拍摄设备的图像处理方法、拍摄设备及可移动平台，用于解决现有技术防抖所造成的拍摄图像的效果不佳的问题。
本发明实施例第一方面提供一种拍摄设备的图像处理方法，包括：
确定所述拍摄设备在获取当前图像时相对于获取参考图像时的抖动方向；
根据所述抖动方向，截取所述当前图像中与所述抖动方向对应的图像；
将所述与所述抖动方向对应的图像作为所述拍摄设备的目标拍摄图像。
本发明实施例第二方面提供一种拍摄设备，包括：
图像传感器；
处理器；
所述处理器用于：
确定所述拍摄设备在获取当前图像时相对于获取参考图像时的抖动方向；
根据所述抖动方向，截取所述当前图像中与所述抖动方向对应的图像；
将所述与所述抖动方向对应的图像作为所述拍摄设备的目标拍摄图像。
本发明实施例第三方面提供一种可读存储介质，其上存储有计算机程序指令，所述程序指令被处理器执行上述第一方面所述的方法。
本发明实施例第四方面提供一种可移动平台，所述可移动平台包括上述第二方面所述的拍摄设备。
本发明实施例所提供的拍摄设备的图像处理方法、拍摄设备及可移动平台，拍摄设备首先获取当前图像相对于参考图像的抖动方向，进而截取与抖动方向对应的图像，所截取的图像不会减小原有的有效图像，从而保证相机所拍摄的图像的呈现效果。
附图说明
图1为本发明实施例提供的拍摄设备的图像处理方法的流程示意图；
图2为桶形畸变实际拍摄的图像范围示意图；
图3为桶形畸变实际拍摄的图像和图像传感器的范围及位置示意图；
图4为枕形畸变实际拍摄的图像范围示意图；
图5为枕形畸变实际拍摄的图像和图像传感器的范围及位置示意图；
图6为本发明实施例提供的拍摄设备的图像处理方法的流程示意图；
图7为本发明实施例提供的拍摄设备的图像处理方法的流程示意图；
图8为本发明实施例提供的拍摄设备的图像处理方法的流程示意图；
图9为本发明实施例提供的拍摄设备的图像处理方法的流程示意图；
图10为本发明实施例提供的拍摄设备的图像处理方法的流程示意图；
图11为本发明实施例提供的拍摄设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，在不冲突的情况下，本文实施例中的特征可以任意组合。
现有技术中，在进行防抖处理时，通过传感器检测相机的抖动方向，并截取抖动视频中图像相同的部分作为有效图像，在此方法中，需要舍去边缘的部分图像，因此会减小相机所拍摄图像的有效像素，导致相机所拍摄图像的效果不佳。
本发明实施例基于上述问题，提出一种拍摄设备的图像处理方法，在防抖处理时，不会减小原有的有效图像，从而保证相机所拍摄的图像的呈现效果。
图1为本发明实施例提供的拍摄设备的图像处理方法的流程示意图，如图1所示，该方法包括：
S101、确定拍摄设备在获取当前图像时相对于获取参考图像时的抖动方向。
可选的，上述拍摄设备可以是照相机、摄像机等可以进行图像拍摄的设备。
具体的，本实施例可以应用在视频拍摄过程中。例如，视频拍摄过程中，拍摄会连续拍摄多帧图像。其中，上述当前图像是指拍摄设备在当前时间拍摄的一帧图像，上述参考图像是指在当前图像之前拍摄到的一帧图像。例如，上述参考图像可以是当前图像的上一帧图像，或者，上述参考图像也可以是当前图像的预设数量帧之前的一帧图像，或者，上述参考图像也可以是由用户设定的一帧图像。
可选的，本实施例可以应用在照相机的拍照过程中，作为示例，对于拍摄当前参考图相可以是预设的，在预设位置的图像。
可选的，当拍摄设备拍摄当前图像时，可以通过拍摄设备的传感器来确定当前图像相对于参考图像的抖动方向。
S102、根据所述抖动方向，截取所述当前图像中与所述抖动方向对应的图像。
其中，根据抖动方向的不同，所截取的与抖动方向对应的图像也不相同，将在下述实施例中进行详细描述。
S103、将所述与所述抖动方向对应的图像作为所述拍摄设备的目标拍摄图像。
当截取了与抖动方向对应的图像之后，将其作为目标拍摄图像，即作为拍摄视频中当前时间的一帧图像。
本实施例中，拍摄设备首先确定在获取当前图像时相对于获取参考图像时的抖动方向，进而截取与抖动方向对应的图像，所截取的图像不会减小原有的有效图像，从而保证相机所拍摄的图像的呈现效果。
在一种可选的实施方式中，在上述步骤S102之前，拍摄设备还会执行下述步骤：
对上述当前图像进行畸变校正，得到校正后的拍摄图像。
具体的，照相机会摄像机在拍摄时可能会存在镜头畸变，镜头畸变可以分为桶形畸变、枕形畸变、及混合畸变(桶形畸变和枕形畸变的混合)。图2为桶形畸变实际拍摄的图像范围示意图，图3为桶形畸变经过校正后的图像和图像传感器所表示的范围及位置示意图，如图2及图3所示，方形的图像传感器范围内存在桶形畸变，桶形畸变校正是将方形的图像传感器范围内图像还原为图2所示的图像范围。图4为枕形畸变实际拍摄的图像范围示意图，图5为枕形畸变经过校正后的图像和图像传感器所表示的范围及位置示意图，如图4及图5所示，方形的图像传感器范围内存在枕形畸变，枕形畸变校正是将方形的图像传感器范围内图像还原为图4所示的图像范围。另外，混合畸变是将图2和图4相结合的一个图像范围压缩到了方形的图像传感器范围内，此时看到的图像传感器上的物体的图像是变形的，因此，需要将图像恢复到和实际物体相同的形状，即需要进行畸变校正。
需要说明的是，无论是何种类型的畸变，经过畸变校正后，都可以获得比图像传感器范围大的图像。
可选的，以桶形畸变的校正为例，畸变校正的过程可以为：
首先，对所拍摄的图像进行畸变校正，图像拉伸到图2所示的形状，从而使得拉伸后的图像中的物体形状和实际被拍摄物体形状一致。进而，在拉伸后的图像中截取图像传感器大小的图像作为校正后的拍摄图像。
相应的，上述步骤S102具体可以为：
在上述校正后的拍摄图像中截取与上述抖动方向对应的图像。
当获取到校正后的拍摄图像后，从该校正后的拍摄图像中根据抖动方向，来截取与抖动方向对应的图像，进而将截取到的图像作为上述拍摄设备的目标拍摄图像。
可选的，拍摄设备所截取的与上述抖动方向对应的图像的尺寸与拍摄设备的图像传感器像素尺寸一致。即，从校正后的图像中所截取的图像的尺寸为拍摄设备的图像传感器所支持的最大图像尺寸。也可以从校正后的图像中所截取超出或者小于拍摄设备的图像传感器所支持的最大图像尺寸。
本实施例中，拍摄设备在畸变校正后的图像中截取与抖动方向对应的图像，即在进行畸变校正的过程中进行防抖处理。由于镜头畸变本身就会产生冗余面积的图像需要舍去，而本实施例仅是根据抖动方向来调节需要舍去的冗余部分的位置，所得到的截取后的图像尺寸仍然保持和图像传感器尺寸一致。因此，本实施例的方法并不会减小原来的有效图像，从而保证了相机所拍摄的图像的呈现效果，并且，在进行畸变校正的过程中同时进行防抖处理，将两个步骤在同一个时间进行，节省了处理时间，加快了处理的速度。
在一种可选的实施方式中，拍摄设备在从校正后的拍摄图像中截取与抖动方向对应的图像时，还可以同时结合该抖动方向上的抖动幅度来截取。其中，对于不同的抖动方向，抖动幅度的含义并不相同。示例性的，如果抖动方向为偏航方向，则抖动幅度为在该方向上的抖动角度；如果抖动方向为水平方向，则抖动幅度为在该方向上的抖动距离。
具体的，拍摄设备在校正后的拍摄图像中截取与上述抖动方向对应的图像之前，拍摄设备首先确定上述抖动方向上的抖动幅度。进而，拍摄设备在截取与抖动方向对应的图像时，可以根据上述抖动方向以及上述抖动幅度，在上述校正后的拍摄图像中截取与上述抖动方向对应的图像。
在上述实施例的基础上，本实施例涉及拍摄设备根据上述抖动方向以及上述抖动幅度，在校正后的拍摄图像中截取与抖动方向对应的图像的具体过程。
图6为本发明实施例提供的拍摄设备的图像处理方法的流程示意图，如图6所示，拍摄设备根据上述抖动方向以及上述抖动幅度，在校正后的拍摄图像中截取与抖动方向对应的图像的具体方法为：
S601、根据所述抖动方向和上述抖动幅度，确定所述校正后的拍摄图像的像素偏移量。
其中，上述像素偏移量是指校正后的当前图像相对于校正后的参考图像的像素偏移量。
其中，如前所述，上述参考图像可以是当前图像的上一帧图像，或者，上述参考图像也可以是当前图像的预设数量帧之前的一帧图像，或者，上述参考图像也可以是由用户设定的一帧图像
S602、根据所述像素偏移量以及所述参考图像，在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
具体的，对于不同的抖动方向，拍摄设备在截取与抖动方向对应的图像时的方法并不相同。
以下分别介绍针对不同的抖动方向，拍摄设备在确定校正后的拍摄图像的像素偏移量时的具体方法。
1、偏航方向和/或俯仰方向
当抖动方向为偏航方向和/或俯仰方向时，该抖动方向上的抖动幅度为偏航角的变化角度和/或俯仰角的变化角度。
需要说明的是，对于偏航方向及俯仰方向上的抖动，可能存在三种情况。第一种情况，仅在偏航方向上抖动。第二种情况，仅在俯仰方向上抖动。第三种情况，同时在偏航方向和俯仰方向上抖动。其中，同时在偏航方向和俯仰方向上抖动是在偏航方向和俯仰方向上抖动的叠加，因此，在该叠加方向上的像素偏移量也可以通过对偏航方向上的像素偏移量和俯仰方向上的像素偏移量的叠加来获得。
其中，偏航方向和俯仰方向上的像素偏移量的确定方法相同。为便于描述，以下实施例以偏航方向为例进行说明。
图7为本发明实施例提供的拍摄设备的图像处理方法的流程示意图，如图7所示，拍摄设备在偏航方向或俯仰方向上的确定校正后的拍摄图像的像素偏移量的过程为：
S701、根据所述抖动方向、所述抖动幅度以及所述拍摄设备的视场角(Field ofVision，简称FOV)，计算所述抖动方向上的抖动角度所对应的像素数量。
S702、将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
当抖动方向为偏航方向时，抖动幅度为偏航角的变化角度。通过偏航角的变化角度可以计算出对应的像素数量。
具体的，所述抖动方向上抖动角度所对应的像素数量可以通过如下公式(1)计算。
像素数量＝抖动方向的传感器一列像素个数*(抖动角度/FOV)(1)
举例来说，假设拍摄设备在偏航方向偏移了1度，拍摄设备的FOV为90度，偏航方向上传感器一列像素个数为1890个，则使用上述公式(1)计算像素数量：
1890*(1/90)＝21
即，如果拍摄设备在偏航方向偏移了1度，则对应偏移的像素个数为21个。
本实施例中，根据偏航方向和/或俯仰方向上的抖动幅度，可以计算该抖动方向上的抖动角度所对应的像素数量，进而确定出该抖动方向上的像素偏移量，从而保证了基于该像素偏移量可以准确地截取校正后的图像。
2、横滚方向
当抖动方向为横滚方向时，该抖动方向上的抖动幅度为横滚角的变化角度。
图8为本发明实施例提供的拍摄设备的图像处理方法的流程示意图，如图8所示，拍摄设备在横滚方向上的确定校正后的拍摄图像的像素偏移量的过程为：
S801、确定所述抖动方向的抖动中心。
可选的，抖动方向的抖动中心的位置不固定。例如，该抖动中心可以根据图像传感器直接获取，或者，该抖动中心也可以由拍摄设备对当前图像与当前图像的前一图像进行比较来得出。
S802、根据所述抖动方向、所述抖动中心以及所述抖动幅度，确定所述抖动幅度对应的像素数量。
可选的，横滚方向上的抖动可以为顺时针方向抖动，也可以为逆时针方向抖动。以顺时针方向抖动为例，当拍摄设备沿顺时针方向抖动时，可以根据顺时针方向的变化角度以及上述所确定出的抖动中心，确定偏移的像素数量。具体的，可以根据顺时针方向的变化角度和抖动中心，确定一个参照像素点，再根据该参照像素点距离抖动中心的距离，确定该参照像素点所移动的像素数量。
S803、将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
本实施例中，根据横滚方向上的抖动中心以及抖动幅度，可以确定该抖动方向上的抖动角度所对应的像素数量，进而确定出该抖动方向上的像素偏移量，从而保证了基于该像素偏移量可以准确地截取校正后的图像。
需要说明的是，在具体实施过程中，拍摄设备的抖动可能仅发生在上述抖动方向中的一种抖动方向上，也有可能同时发生在上述抖动方向中的多个方向上。例如，拍摄设备可能同时在俯仰方向、偏航方向以及横滚方向上抖动，即为各种抖动方向上的抖动的叠加。在这种情况下，拍摄设备可以分别确定各抖动方向上的像素偏移量，再将各抖动方向上的像素偏移量叠加，形成最终的像素偏移量。
3、水平方向或垂直方向
当抖动方向为水平方向或垂直方向时，该抖动方向上的抖动幅度为水平抖动方向上的抖动距离或垂直抖动方向上的抖动距离。
水平方向和垂直方向上的像素偏移量的确定方法相同。为便于描述，以下实施例以水平方向为例进行说明。
图9为本发明实施例提供的拍摄设备的图像处理方法的流程示意图，如图9所示，拍摄设备在横滚方向上的确定校正后的拍摄图像的像素偏移量的过程为：
S901、确定像距以及物距。
其中，像距可以是镜面距离像平面的距离，物距可以是镜面距离物平面的距离。
S902、根据所述抖动方向、所述抖动幅度、所述像距以及物距，计算所述抖动方向上的抖动距离所对应的像素数量。
可选的，可以使用下述公式(2)计算上述抖动方向上的抖动距离所对应的像素数量：
像素数量＝(像距*抖动幅度)/(物距*像素间距)(2)
举例来说，假设拍摄设备在水平方向上的抖动幅度，即抖动距离为1，像距为2，物距为1000，像素间距为0.0005，则使用上述公式(2)计算像素数量：
(2*1)/(1000*0.0005)＝10
即，如果拍摄设备在水平方向偏移了1，则对应偏移的像素个数为10个。
S903、将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
本实施例中，根据水平方向或垂直方向上的抖动幅度和像距以及物距，可以计算水平方向或垂直方向上的抖动距离所对应的像素数量，进而确定出该抖动方向上的像素偏移量，从而保证了基于该像素偏移量可以准确地截取校正后的图像。
在上述实施的基础上，本实施例涉及根据像素偏移量以及参考图像从校正后的拍摄图像中截取图像的具体方法。
图10为本发明实施例提供的拍摄设备的图像处理方法的流程示意图，如图10所示，上述步骤S602中根据上述像素偏移量以及上述参考图像，在上述校正后的拍摄图像中截取与上述抖动方向对应的图像的具体过程为：
S1001、获取所述参考图像对应的目标拍摄图像中的像素点在所述参考图像中的像素位置。
其中，上述参考图像对应的目标拍摄图像为对上述参考图像进行畸变校正以及根据截取之后所形成的图像。
具体的，参考图像对应的目标拍摄图像中的像素点是从参考图像中截取的，因此，参考图像对应的目标拍摄图像中的每个像素点在参考图像中都有一个特定的位置，即像素位置。拍摄设备可以在对参考图像进行畸变校正以及进行截取时，直接记录截取之后形成的目标拍摄图像中的每个像素点在参考图像中的位置。进而，在本步骤中，直接读取所记录的像素位置即可。
S1002、根据所述像素偏移量，计算第一像素位置对应的第二像素位置，其中，所述第一像素位置为所述参考图像对应的目标拍摄图像中的像素位置，所述第二像素位置为所述校正后的拍摄图像中的像素位置。
当发生抖动时，拍摄设备所拍摄到的当前图像相比于参考图像，会存在像素位置的偏移，偏移量即为通过实施例所确定出的像素偏移量。在本步骤中，当获取到参考图像对应的目标拍摄图像中每个像素点的第一像素位置后，拍摄设备根据上述的像素偏移量，就可以计算出第一像素位置对应的第二像素位置。
具体的，遍历参考图像对应的目标拍摄图像中的每个第一像素位置，将位置值与上述像素偏移量相加，即可得到第一像素位置对应的第二像素位置，从而可以确定当前图像对应的目标拍摄图像中的每个像素点在当前图像中的位置。
S1003、截取所述第二像素位置上的像素点，得到与所述抖动方向对应的图像。
当确定出所有的第二像素位置之后，直接从校正后的拍摄图像截取该第二像素位置上的像素点，即可以得到抖动方向对应的图像。
需要说明的是，在具体实施过程中，拍摄设备的抖动可能仅发生在上述抖动方向中的一种抖动方向上，也有可能同时发生在上述抖动方向中的多个方向上。例如，拍摄设备可能同时在俯仰方向、偏航方向以及横滚方向上抖动，即为各种抖动方向上的抖动的叠加。在这种情况下，拍摄设备可以分别确定各抖动方向上的像素偏移量，再将各抖动方向上的像素偏移量叠加，形成最终的像素偏移量。进而，在本实施例中，再基于该叠加的最终的像素偏移量进行图像截取。
本实施例中，在获取到像素偏移量之后，通过获取参考图像中像素点的像素位置可以确定出当前图像需要截取的像素点的像素位置，进而根据当前图像需要截取的像素点的像素位置进行图像截取，从而实现拍摄设备的防抖目的。
在另一可选的实施方式中，当拍摄设备执行完上述实施例所示的防抖操作之后，还可以对所得到的目标拍摄图像进行图像调整，以消除防抖操作时对图像造成的影响。其中，图像调整例如可以是对所截取的图像的边缘进行平滑处理等。
图11为本发明实施例提供的拍摄设备的结构示意图，如图11所示，该拍摄设备包括：
图像传感器1101；
处理器1102；
处理器1102用于：
确定所述拍摄设备在获取当前图像时相对于获取参考图像时的抖动方向；
根据所述抖动方向，截取所述当前图像中与所述抖动方向对应的图像；
将所述与所述抖动方向对应的图像作为所述拍摄设备的目标拍摄图像。
该拍摄设备用于实现前述的方法实施例，其实现原理和技术效果类似，此处不再赘述。
另一实施例中，处理器1102还用于：
对所述当前图像进行畸变校正，得到校正后的拍摄图像。
在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
另一实施例中，所述与所述抖动方向对应的图像的尺寸与所述拍摄设备的图像传感器像素尺寸一致。
另一实施例中，处理器1102还用于：
确定所述抖动方向上的抖动幅度。
根据所述抖动方向和所述抖动幅度，在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
另一实施例中，处理器1102还用于：
根据所述抖动方向和所述抖动幅度，确定所述校正后的拍摄图像的像素偏移量；
根据所述像素偏移量以及所述参考图像，在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
另一实施例中，所述抖动方向为偏航方向和/或俯仰方向，所述抖动幅度为偏航角的变化角度和/或俯仰角的变化角度。
相应的，处理器1102还用于：
根据所述抖动方向和所述抖动幅度，计算所述抖动方向上的抖动角度所对应的像素数量；
将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
另一实施例中，所述抖动方向为横滚方向，所述抖动幅度为横滚角的变化角度。
相应的，处理器1102还用于：
确定所述抖动方向的抖动中心；
根据所述抖动方向、所述抖动中心以及所述抖动幅度，确定所述抖动幅度对应的像素数量；
将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
另一实施例中，所述抖动方向为水平抖动方向或垂直抖动方向，所述抖动幅度为所述水平抖动方向上的抖动距离或所述垂直抖动方向上的抖动距离。
相应的，处理器1102还用于：
确定像距以及物距；
根据所述抖动方向、所述抖动幅度、所述像距以及物距，计算所述抖动方向上的抖动距离所对应的像素数量；
将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
另一实施例中，处理器1102还用于：
获取所述参考图像对应的目标拍摄图像中的像素点在所述参考图像中的像素位置，其中，所述参考图像对应的目标拍摄图像为对所述参考图像进行畸变校正以及根据截取之后所形成的图像；
根据所述像素偏移量，计算第一像素位置对应的第二像素位置，其中，所述第一像素位置为所述参考图像对应的目标拍摄图像中的像素位置，所述第二像素位置为所述校正后的拍摄图像中的像素位置；
截取所述第二像素位置上的像素点，得到与所述抖动方向对应的图像。
另一实施例中，处理器1102还用于：
对所述目标拍摄图像进行图像调整。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，所述程序指令被处理器执行上述方法实施例中所述的方法。
本发明实施例还提供一种可移动平台，该可移动平台包括上述实施例中所述的拍摄设备。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (28)

1.一种拍摄设备的图像处理方法，其特征在于，包括：
确定所述拍摄设备在获取当前图像时相对于获取参考图像时的抖动方向；
根据所述抖动方向，截取所述当前图像中与所述抖动方向对应的图像；
将所述与所述抖动方向对应的图像作为所述拍摄设备的目标拍摄图像。
2.根据权利要求1所述的方法，其特征在于，在所述截取所述拍摄设备所拍摄图像中与所述抖动方向对应的图像前，所述方法还包括：
对所述当前图像进行畸变校正，得到校正后的拍摄图像；
所述截取所述当前图像中与所述抖动方向对应的图像，包括：
在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
3.根据权利要求2所述的方法，其特征在于，所述与所述抖动方向对应的图像的尺寸与所述拍摄设备的图像传感器像素尺寸一致。
4.根据权利要求2所述的方法，其特征在于，所述在所述校正后的拍摄图像中截取与所述抖动方向对应的图像之前，所述方法还包括：
确定所述抖动方向上的抖动幅度；
所述在所述校正后的拍摄图像中截取与所述抖动方向对应的图像，包括：
根据所述抖动方向和所述抖动幅度，在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述抖动方向和所述抖动幅度，在所述校正后的拍摄图像中截取与所述抖动方向对应的图像，包括：
根据所述抖动方向和所述抖动幅度，确定所述校正后的拍摄图像的像素偏移量；
根据所述像素偏移量以及所述参考图像，在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
6.根据权利要求5所述的方法，其特征在于，所述抖动方向为偏航方向和/或俯仰方向，所述抖动幅度为偏航角的变化角度和/或俯仰角的变化角度。
7.根据权利要求6所述的方法，其特征在于，所述根据所述抖动方向和所述抖动幅度，确定所述校正后的拍摄图像的像素偏移量，包括：
根据所述抖动方向、所述抖动幅度以及所述拍摄设备的视场角FOV，计算所述抖动方向上的抖动角度所对应的像素数量；
将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
8.根据权利要求5所述的方法，其特征在于，所述抖动方向为横滚方向，所述抖动幅度为横滚角的变化角度。
9.根据权利要求8所述的方法，其特征在于，所述根据所述抖动方向和所述抖动幅度，确定所述校正后的拍摄图像的像素偏移量，包括：
确定所述抖动方向的抖动中心；
根据所述抖动方向、所述抖动中心以及所述抖动幅度，确定所述抖动幅度对应的像素数量；
将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
10.根据权利要求5所述的方法，其特征在于，所述抖动方向为水平抖动方向或垂直抖动方向，所述抖动幅度为所述水平抖动方向上的抖动距离或所述垂直抖动方向上的抖动距离。
11.根据权利要求10所述的方法，其特征在于，所述根据所述抖动方向和所述抖动幅度，确定所述校正后的拍摄图像的像素偏移量，包括：
确定像距以及物距；
根据所述抖动方向、所述抖动幅度、所述像距以及物距，计算所述抖动方向上的抖动距离所对应的像素数量；
将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
12.根据权利要求5-11任一项所述的方法，其特征在于，所述根据所述像素偏移量以及所述参考图像，在所述校正后的拍摄图像中截取与所述抖动方向对应的图像，包括：
获取所述参考图像对应的目标拍摄图像中的像素点在所述参考图像中的像素位置，其中，所述参考图像对应的目标拍摄图像为对所述参考图像进行畸变校正以及根据截取之后所形成的图像；
根据所述像素偏移量，计算第一像素位置对应的第二像素位置，其中，所述第一像素位置为所述参考图像对应的目标拍摄图像中的像素位置，所述第二像素位置为所述校正后的拍摄图像中的像素位置；
截取所述第二像素位置上的像素点，得到与所述抖动方向对应的图像。
13.根据权利要求1-12任一项所述的方法，其特征在于，还包括：
对所述目标拍摄图像进行图像调整。
14.一种拍摄设备，其特征在于，包括：
图像传感器；
处理器；
所述处理器用于：
确定所述拍摄设备在获取当前图像时相对于获取参考图像时的抖动方向；
根据所述抖动方向，截取所述当前图像中与所述抖动方向对应的图像；
将所述与所述抖动方向对应的图像作为所述拍摄设备的目标拍摄图像。
15.根据权利要求14所述的拍摄设备，其特征在于，所述处理器还用于：
对所述当前图像进行畸变校正，得到校正后的拍摄图像；
在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
16.根据权利要求15所述的拍摄设备，其特征在于，所述与所述抖动方向对应的图像的尺寸与所述拍摄设备的图像传感器像素尺寸一致。
17.根据权利要求15所述的拍摄设备，其特征在于，所述处理器还用于：
确定所述抖动方向上的抖动幅度；
根据所述抖动方向和所述抖动幅度，在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
18.根据权利要求17所述的拍摄设备，其特征在于，所述处理器还用于：
根据所述抖动方向和所述抖动幅度，确定所述校正后的拍摄图像的像素偏移量；
根据所述像素偏移量以及所述参考图像，在所述校正后的拍摄图像中截取与所述抖动方向对应的图像。
19.根据权利要求18所述的拍摄设备，其特征在于，所述抖动方向为偏航方向和/或俯仰方向，所述抖动幅度为偏航角的变化角度和/或俯仰角的变化角度。
20.根据权利要求19所述的拍摄设备，其特征在于，所述处理器还用于：
根据所述抖动方向、所述抖动幅度以及所述拍摄设备的视场角FOV，计算所述抖动方向上的抖动角度所对应的像素数量；
将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
21.根据权利要求18所述的拍摄设备，其特征在于，所述抖动方向为横滚方向，所述抖动幅度为横滚角的变化角度。
22.根据权利要求21所述的拍摄设备，其特征在于，所述处理器还用于：
确定所述抖动方向的抖动中心；
根据所述抖动方向、所述抖动中心以及所述抖动幅度，确定所述抖动幅度对应的像素数量；
将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
23.根据权利要求18所述的拍摄设备，其特征在于，所述抖动方向为水平抖动方向或垂直抖动方向，所述抖动幅度为所述水平抖动方向上的抖动距离或所述垂直抖动方向上的抖动距离。
24.根据权利要求23所述的拍摄设备，其特征在于，所述处理器还用于：
确定像距以及物距；
根据所述抖动方向、所述抖动幅度和所述像距以及物距，计算所述抖动方向上的抖动距离所对应的像素数量；
将所述像素数量作为所述校正后的拍摄图像的像素偏移量。
25.根据权利要求18-24任一项所述的拍摄设备，其特征在于，所述处理器还用于：
获取所述参考图像对应的目标拍摄图像中的像素点在所述参考图像中的像素位置，其中，所述参考图像对应的目标拍摄图像为对所述参考图像进行畸变校正以及根据截取之后所形成的图像；
根据所述像素偏移量，计算第一像素位置对应的第二像素位置，其中，所述第一像素位置为所述参考图像对应的目标拍摄图像中的像素位置，所述第二像素位置为所述校正后的拍摄图像中的像素位置；
截取所述第二像素位置上的像素点，得到与所述抖动方向对应的图像。
26.根据权利要求14-25任一项所述的拍摄设备，其特征在于，所述处理器还用于：
对所述目标拍摄图像进行图像调整。
27.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述程序指令被处理器执行权利要求1-13中任一项所述的方法。
28.一种可移动平台，其特征在于，所述可移动平台包括权利要求14-26任一项所述的拍摄设备。
CN201780029127.8A 2017-12-29 2017-12-29 拍摄设备的图像处理方法、拍摄设备及可移动平台 Pending CN109314744A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/120242 WO2019127512A1 (zh) 2017-12-29 2017-12-29 拍摄设备的图像处理方法、拍摄设备及可移动平台

Publications (1)

Publication Number Publication Date
CN109314744A true CN109314744A (zh) 2019-02-05

Family

ID=65205325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780029127.8A Pending CN109314744A (zh) 2017-12-29 2017-12-29 拍摄设备的图像处理方法、拍摄设备及可移动平台

Country Status (3)

Country Link
US (1) US20200314344A1 (zh)
CN (1) CN109314744A (zh)
WO (1) WO2019127512A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110213490A (zh) * 2019-06-25 2019-09-06 浙江大华技术股份有限公司 一种图像防抖方法、装置、电子设备及存储介质
CN110475067A (zh) * 2019-08-26 2019-11-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110991550A (zh) * 2019-12-13 2020-04-10 歌尔科技有限公司 一种视频监控方法、装置、电子设备及存储介质
CN111669499A (zh) * 2020-06-12 2020-09-15 杭州海康机器人技术有限公司 一种视频防抖方法、装置及视频采集设备
WO2022021438A1 (zh) * 2020-07-31 2022-02-03 深圳市大疆创新科技有限公司 一种图像处理方法、图像控制方法及相关设备
CN114500856A (zh) * 2022-03-22 2022-05-13 深圳市融智联科技有限公司 一种用于拍照防抖的方法、装置及移动终端
WO2022222113A1 (zh) * 2021-04-22 2022-10-27 深圳市大疆创新科技有限公司 视频处理方法、装置、系统及存储介质
CN115790449A (zh) * 2023-01-06 2023-03-14 威海晶合数字矿山技术有限公司 一种狭长空间的三维形貌测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717923A (zh) * 2002-12-26 2006-01-04 三菱电机株式会社 图像处理装置
EP1826721A2 (en) * 2006-02-24 2007-08-29 Morpho Inc. Calculating motion data from a sequence of multi-resolution images
CN101902573A (zh) * 2009-05-25 2010-12-01 索尼公司 成像设备以及抖动校正方法
CN106686307A (zh) * 2016-12-28 2017-05-17 努比亚技术有限公司 一种拍摄的方法和移动终端
WO2017122810A1 (ja) * 2016-01-15 2017-07-20 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
WO2005046221A1 (ja) * 2003-11-11 2005-05-19 Seiko Epson Corporation 画像処理装置、画像処理方法、そのプログラムおよび記録媒体
JP4323945B2 (ja) * 2003-12-18 2009-09-02 キヤノン株式会社 電子カメラ及びその制御方法及びプログラム及び記憶媒体
JP5181603B2 (ja) * 2007-09-28 2013-04-10 カシオ計算機株式会社 撮像装置及びプログラム
CN102340626B (zh) * 2010-07-14 2017-07-18 株式会社尼康 摄像装置、及图像合成方法
CN105511753A (zh) * 2014-10-20 2016-04-20 中兴通讯股份有限公司 一种显示调整方法及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717923A (zh) * 2002-12-26 2006-01-04 三菱电机株式会社 图像处理装置
EP1826721A2 (en) * 2006-02-24 2007-08-29 Morpho Inc. Calculating motion data from a sequence of multi-resolution images
CN101902573A (zh) * 2009-05-25 2010-12-01 索尼公司 成像设备以及抖动校正方法
WO2017122810A1 (ja) * 2016-01-15 2017-07-20 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
CN106686307A (zh) * 2016-12-28 2017-05-17 努比亚技术有限公司 一种拍摄的方法和移动终端

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110213490A (zh) * 2019-06-25 2019-09-06 浙江大华技术股份有限公司 一种图像防抖方法、装置、电子设备及存储介质
CN110475067A (zh) * 2019-08-26 2019-11-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110991550A (zh) * 2019-12-13 2020-04-10 歌尔科技有限公司 一种视频监控方法、装置、电子设备及存储介质
CN110991550B (zh) * 2019-12-13 2023-10-17 歌尔科技有限公司 一种视频监控方法、装置、电子设备及存储介质
CN111669499A (zh) * 2020-06-12 2020-09-15 杭州海康机器人技术有限公司 一种视频防抖方法、装置及视频采集设备
CN111669499B (zh) * 2020-06-12 2021-11-19 杭州海康机器人技术有限公司 一种视频防抖方法、装置及视频采集设备
WO2022021438A1 (zh) * 2020-07-31 2022-02-03 深圳市大疆创新科技有限公司 一种图像处理方法、图像控制方法及相关设备
WO2022222113A1 (zh) * 2021-04-22 2022-10-27 深圳市大疆创新科技有限公司 视频处理方法、装置、系统及存储介质
CN114500856A (zh) * 2022-03-22 2022-05-13 深圳市融智联科技有限公司 一种用于拍照防抖的方法、装置及移动终端
CN115790449A (zh) * 2023-01-06 2023-03-14 威海晶合数字矿山技术有限公司 一种狭长空间的三维形貌测量方法

Also Published As

Publication number Publication date
WO2019127512A1 (zh) 2019-07-04
US20200314344A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
CN109314744A (zh) 拍摄设备的图像处理方法、拍摄设备及可移动平台
US9153014B2 (en) Image correction method and related image correction system thereof
US9946955B2 (en) Image registration method
JP5596972B2 (ja) 撮像装置の制御装置および制御方法
CN106506941A (zh) 图像处理的方法及装置、飞行器
KR101991754B1 (ko) 이미지 처리 방법 및 장치, 그리고 전자 기기
JP2009124597A (ja) 防振画像処理装置及び防振画像処理方法
JP2019510234A (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
CN113436113A (zh) 防抖动的图像处理方法、装置、电子设备和存储介质
US20130113962A1 (en) Image processing method for producing background blurred image and image capturing device thereof
CN105227851B (zh) 图像处理方法及图像采集装置
CN110611767B (zh) 图像处理方法、装置和电子设备
CN107615744B (zh) 一种图像拍摄参数的确定方法及摄像装置
CN108702450A (zh) 稳定图像序列的方法
US20170366748A1 (en) System for producing 360 degree media
WO2019023914A1 (zh) 一种图像处理方法、无人机、地面控制台及其图像处理系统
CN107370941B (zh) 一种信息处理方法及电子设备
CN110493522A (zh) 防抖方法和装置、电子设备、计算机可读存储介质
WO2018079283A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2021033015A5 (zh)
WO2013150775A1 (ja) 画像生成装置、カメラ装置、画像表示装置及び画像生成方法
WO2017092261A1 (zh) 一种摄像头模组、移动终端及其拍摄图像的方法和装置
CN115174878B (zh) 投影画面校正方法、装置和存储介质
JP2017050819A (ja) パノラマ画像データの生成装置、生成方法及びプログラム
WO2015019208A1 (en) Apparatus and method for correcting perspective distortions of images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190205

RJ01 Rejection of invention patent application after publication