CN107750451A - 用于稳定视频的方法和电子装置 - Google Patents

用于稳定视频的方法和电子装置 Download PDF

Info

Publication number
CN107750451A
CN107750451A CN201580080744.1A CN201580080744A CN107750451A CN 107750451 A CN107750451 A CN 107750451A CN 201580080744 A CN201580080744 A CN 201580080744A CN 107750451 A CN107750451 A CN 107750451A
Authority
CN
China
Prior art keywords
frame
electronic installation
region
input
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580080744.1A
Other languages
English (en)
Other versions
CN107750451B (zh
Inventor
柳亨澈
金乐勋
徐德赞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107750451A publication Critical patent/CN107750451A/zh
Application granted granted Critical
Publication of CN107750451B publication Critical patent/CN107750451B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Abstract

公开了一种在电子装置中稳定视频的方法。所述方法包括：基于多个帧的抖动信息和关于放大率的信息，在各个多个帧的整个区域中确定与通过图像传感器获取的所述各个多个帧相应的抖动补偿区域；通过以所述放大率进行放大所述抖动补偿区域产生与所述各个多个帧相应的输出帧；提供包括所述输出帧的视频。

Description

用于稳定视频的方法和电子装置
技术领域
本公开涉及一种使用数字图像稳定技术来稳定视频的方法，以及针对所述方法的电子装置。
背景技术
诸如相机、摄像机的图像捕捉装置在普通消费者以及专业消费者中已经广泛增加。近来，随着数字技术的发展，数字图像捕捉装置已经增加。特别地，数字图像捕捉装置包括在诸如智能电话或平板PC的便携式终端中。由数字图像捕捉装置捕捉的图像可具有数字图像的形式。
数字图像可以以各种方式进行处理。使用数字图像捕捉装置捕捉的数字图像可比使用胶片捕捉的图像更容易地编辑或处理。例如，数字图像捕捉装置可电子地增加或减小捕捉图像的一部分的尺寸。
发明内容
技术方案
提供了一种用于在捕捉数字缩放视频的同时补偿由手颤动或对象的运动引起的数字缩放视频的抖动的稳定视频的方法。例如，可提供一种使用输入帧的整个区域作为可补偿抖动的区域来稳定数字缩放视频的方法。
有益效果
根据示例性实施例，在数字缩放视频被捕捉的同时，电子装置可补偿由手颤动或对象的运动引起的数字缩放视频的抖动来稳定视频。
附图说明
从以下结合附图的详细描述中，这些和/或其他方面将变得更加清楚，并且更容易理解，其中，相同的附图标号表示相同的元件，并且，其中：
图1包括示出用于捕捉视频的示例系统的示图；
图2是示出使用输入帧的部分区域作为可补偿抖动的区域的示例第一稳定方法的示图；
图3A和图3B是示出使用第一稳定方法来稳定视频的电子装置的示例操作的示图；
图4是示出电子装置稳定视频的示例方法的流程图；
图5是示出使用输入帧的整个区域作为可补偿抖动的区域的示例第二稳定方法的示图；
图6包括示出视频的示例放大率(放大倍数)的示图；
图7A和图7B是示出使用第二稳定方法稳定视频的电子装置的示例操作的示图；
图8A至图8G是示出使用稳定路径来稳定多个帧的电子装置的示例操作的示图；
图9是示出电子装置在至少一个帧中补偿旋转的示例方法的流程图；
图10包括示出对象被旋转的示例帧的示图；
图11包括示出电子装置校正具有旋转对象的帧的示例的示图；
图12包括示出校正卷帘快门失真的电子装置的示例操作的示图；
图13是示出电子装置提供用于选择稳定方法的选择窗口的示例方法的流程图；
图14和图15是示出提供用于选择稳定方法的选择窗口的电子装置的示例操作的示图；
图16是示出电子装置提供使用多种稳定方法产生的多个视频的示例方法的流程图；
图17和图18示出用于提供由使用多个示例稳定方法的电子装置产生的多个视频的示例图形用户界面(GUI)；
图19和图20是示出电子装置的示例组成的框图；
图21是示出示例第一稳定模块的框图；以及
图22是示出示例第二稳定模块的框图。
具体实施方式
实施本发明的最佳模式
根据示例性实施例的一方面，一种稳定视频的方法包括：使用从图像传感器接收的图像信号获取多个帧；接收请求以与所述多个帧有关的放大率进行放大的输入；使用关于以下项中的至少一个的信息来获取所述多个帧的抖动信息：包括在多个帧中的对象的运动和电子装置的运动；基于所述多个帧的抖动信息和所述放大率的信息，在各个多个帧的整个区域中确定与各个多个帧相应的抖动补偿区域；通过以所述放大率进行放大抖动补偿区域来产生与各个多个帧相应的输出帧；提供包括输出帧的视频。
获取多个帧的步骤可例如包括：获取由电子装置获取的具有最大视角的帧。
接收所述输入的步骤可例如包括：通过显示预览图像的触摸屏接收指捏输入；基于指捏输入确定放大率和初始缩放区域。
获取多个帧的抖动信息的步骤可例如包括：基于对多个帧进行比较获取包括在所述多个帧中的对象的运动的第一运动信息；使用包括在电子装置中的至少一个传感器获取与所述多个帧的获取的持续时间相应的电子装置的运动的第二运动信息；使用第一运动信息和第二运动信息中的至少一个来获取多个帧的抖动信息。
确定与各个多个帧相应的抖动补偿区域的步骤可例如包括：基于抖动信息确定与所述电子装置的运动相反或与所述对象的运动相应的稳定路径；基于稳定路径确定与各个多个帧相应的抖动补偿区域。
确定稳定路径的步骤可例如包括：至少部分地基于多个帧的分辨率信息来确定稳定路径。
例如，产生输出帧的步骤可例如包括：基于多个帧的运动矢量来校正多个帧中的至少一个的卷帘快门失真。
例如，产生与各个多个帧相应的输出帧的步骤可例如包括：基于包括在抖动信息中的旋转分量信息补偿多个帧中的至少一个帧中的旋转。
补偿所述至少一个帧中的旋转的步骤可例如包括：将多个帧中的第一帧的第一抖动补偿区域平移到第一帧的中心区域；将第一抖动补偿区域旋转一定角度；将旋转的第一抖动补偿区域平移到第一帧的中心区域。
根据示例的方法还可包括：提供用于选择包括在输入帧的裁剪区域中确定抖动补偿区域的第一稳定方法或包括在输入帧的整个区域中确定抖动补偿区域的第二稳定方法的选择窗口；基于通过选择窗口选择的方法产生视频。
根据示例的方法还可包括：提供包括与由第一稳定方法产生的第一视频相应的第一播放按钮和与由第二稳定方法产生的第二视频相应的第二播放按钮的图形用户界面(GUI)；基于第一播放按钮和第二播放按钮中的一个的选择来播放第一视频和第二视频中的一个。
根据另一示例实施例的一方面，一种电子装置包括：UI，被配置为接收请求以与从图像传感器接收的多个帧有关的放大率进行放大的输入；控制器，被配置为使用包括在多个帧中的对象的运动的信息或电子装置的运动的信息来获取多个帧的抖动信息，基于多个帧的抖动信息和放大率的信息来在各个多个帧的整个区域中确定与各个多个帧相应的抖动补偿区域，以及通过以所述放大率进行放大抖动补偿区域来产生与各个多个帧相应的输出帧；输出单元，包括被配置为显示包括输出帧的视频的显示器。
各个多个帧的视角可例如比各个输出帧的视角更宽。
电子装置的UI可例如被配置为：通过显示预览图像的触摸屏来接收指捏输入并且基于指捏输入来确定放大率和初始缩放区域。
电子装置的控制器可例如被配置为：基于比较多个帧的结果来获取包括在多个帧中的对象的运动的第一运动信息；使用包括在电子装置中的至少一个传感器来获取与所述多个帧的获取的持续时间相应的电子装置的运动的第二运动信息；使用第一运动信息和第二运动信息中的至少一个来获取多个帧的抖动信息。
电子装置的控制器可例如被配置为：基于抖动信息来确定与电子装置的运动相反或与对象的运动相应的稳定路径，并且基于稳定路径确定与各个多个帧相应的抖动补偿区域。
电子装置的控制器可例如被配置为：至少部分地基于多个帧的分辨率信息来确定稳定路径。
电子装置的控制器可例如被配置为：基于多个帧的运动矢量校正多个帧中的至少一个的卷帘快门失真。
根据示例的电子装置的控制器可基于包括在抖动信息中的旋转分量信息来补偿多个帧中的至少一个帧中的旋转。
发明模式
将简要描述本公开中使用的术语，并且然后将更详细地描述本公开的示例。
如在本公开中使用的术语，考虑到本公开中的功能，尽可能地选择当前广泛使用的通用术语，但是可根据本领域普通技术人员的意图、新技术的出现等而改变。例如，一些术语可由申请人任意选择，但是在这样的情况下，所述术语的含义通常将在相应的描述中进行说明。因此，本公开中使用的术语应当基于所述术语的含义以及贯穿本公开的描述来限定，而未必由它们的简单名称来限定。
贯穿本公开，当部分“包括”元件时，除非另外描述，否则还可包括另一元件，而不是排除其它元件的存在。此外，本文使用的诸如“单元”和“模块”的术语指示用于处理至少一个功能或操作的单元，其中，单元和模块可被实施为硬件(例如，电路)或软件或者可由硬件和软件的组合来实施。
在本公开中，与可通过调整镜头的焦距以放大对象的光学缩放不同，术语“数字缩放”可例如指示或表示通过减小数字照片或数字视频的视角以放大对象的操作。
在本公开中，术语“数字缩放视频”可例如指示或表示包括具有比原始帧更窄的视角的输出帧的视频。原始帧可例如指示通过图像传感器输入或从图像传感器接收并且具有视角的帧(以下称为输入帧)。
在本公开中，短语“数字缩放视频的稳定”可例如指示或表示用于电子地补偿由摄影师或对象的运动引起的数字缩放视频的抖动使得数字缩放视频可平稳地播放(例如，犹如使用三脚架或轨道捕捉的一样)的图像处理技术。
现在将详细参照附图中示出其示例的示例实施例，其中，贯穿附图，相同的标号表示相同的元件。就这一点而言，示例实施例可具有不同的形式，并且不应被解释为限于本文阐述的描述。因此，以下参照附图描述示例实施例仅是为了解释各方面。如本文使用的，术语“和/或”包括相关联的列出的项中的一个或更多个的任意组合和所有组合。诸如“…中的至少一个”的表述当位于一列元件之后时修饰整列的元件而不必须修饰所述列中的单个元件。
图1包括示出用于捕捉视频的示例系统的示图。
参照图1，用于捕捉视频的示例系统可例如包括电子装置100。电子装置100可例如指示或表示获取对象的多个帧并使用多个获取的帧产生视频的装备。
例如，电子装置100可以以各种形式来实施。例如，电子装置100可包括数字相机、智能电话、膝上型计算机、平板PC、电子书终端、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航装置、MP3播放器等，但不限于此。本公开中描述的电子装置100可例如是由用户可穿戴的装置。可穿戴装置可例如包括以下项中的至少一个：配件类型装置(例如，手表、戒指、手镯、脚镯、项链、眼镜或隐形眼镜)、头戴装置(HMD)、与织物或服装集成的装置(例如，电子服装)、附接到人体的装置(例如，皮肤垫)以及生物可植入装置(例如，可植入电路)。
为了便于描述，以下将描述电子装置100是具有内置数字相机或内置相机的智能电话的示例。
根据示例，电子装置100可例如提供数字缩放功能。例如，电子装置100可产生通过放大原始帧的部分区域而获得的输出帧，并且通过将输出帧进行组合来产生数字缩放视频。根据示例，例如，电子装置可在捕捉视频之前、期间或之后改变原始帧的视角。
原始帧可以是具有先前设置的视角的输入帧。先前设置的视角可例如包括由电子装置100可支持的最大视角。
参照图1的10-1，电子装置100可在例如触摸屏上显示原始帧10的预览图像11。电子装置100可通过触摸屏接收用于将原始帧10的视角缩窄的缩放输入12。例如，电子装置100可在预览图像11上接收指捏输入12。
在本公开中，术语“指捏”可例如表示在保持手指与屏幕接触的同时沿不同方向移动两个手指的运动。例如，指捏可以是用于放大(捏开)或缩小(捏合)对象的手势，并且放大值或缩小值可基于例如两个手指之间的距离来确定。
根据示例，电子装置100可基于缩放输入12确定放大倍数(放大率)。例如，电子装置100可确定放大率为“2.5X”。此外，电子装置100可在原始帧10中确定用户想要放大的区域13(以下称为感兴趣区域(ROI))。
参照图1的10-2，电子装置100可显示通过以因子2.5放大ROI 13而获得的预览图像14。根据示例，用户可检查预览图像14并平移或旋转电子装置100使得期望被捕捉的图像被显示在触摸屏中。电子装置100可通过组合具有与由缩放输入12设置的放大率(例如，2.5X)相应的视角的帧来产生数字缩放视频。
如果例如在电子装置100捕捉数字缩放视频的同时手颤动15发生，则当播放数字缩放视频时，抖动画面可被显示。因此，当产生数字缩放视频时，电子装置100可执行视频稳定处理以补偿手颤动15。参照图2，将描述用于稳定数字缩放视频的技术。
图2是示出使用输入帧的部分区域作为可补偿抖动的区域的示例第一稳定方法的示图。
在操作S200中，电子装置100可例如接收具有视角的输入帧205。例如，电子装置100可接收具有最大视角的输入帧205。
在操作S210中，电子装置100可基于缩放输入来裁剪输入帧205的部分区域215。例如，当放大倍数(放大率)为“2X”时，电子装置100可基于输入帧205的中心来裁减出尺寸为输入帧205的一半的区域。在本公开中，裁剪可例如指示或表示切除除了所选择的部分区域215之外的区域的操作。为了便于描述，以下在图像裁剪处理之后剩余的区域将被称为“裁剪区域”。
在操作S220中，电子装置100可将部分区域215放大到输入帧205的尺寸。例如，当放大倍数(放大率)为“2X”时，电子装置100可使用例如像素插值技术获得在长度和宽度上是局部区域215的两倍的放大图像225。
在操作S230中，电子装置100可使用放大图像225获取输入帧205的运动信息235。例如，电子装置100可通过比较先前输入帧的放大图像和当前输入帧205的放大图像225来测量对象的平移。此外，电子装置100可例如使用至少一个传感器(例如，加速度传感器和陀螺仪传感器)来测量电子装置100的运动。
在操作S240中，电子装置100可至少部分地基于边缘区域来确定放大图像225中的输出区域245。例如，当边缘区域为10％时，电子装置100可确定放大图像225的90％作为输出区域245。
电子装置100可至少部分地基于运动信息235来调整放大图像225中的输出区域245的位置。例如，与先前输入帧的放大图像相比，对象已经被平移到当前输入帧205的放大图像225中的左下方时，电子装置100可将输出区域245的位置调整为放大图像225的左下方区域。
电子装置100可调整放大图像225内的输出区域245的位置以补偿抖动的范围可以是边缘区域的范围。例如，当边缘区域是放大图像225的10％时，电子装置100可调整输出区域245的位置以补偿抖动的范围可以是放大图像225的10％。根据示例，当电子装置100调整输出区域245的位置以补偿抖动时，在调整的位置的输出区域245可表示为抖动补偿区域。
在操作S250中，电子装置100可例如使用输出区域245产生输出帧255。例如，电子装置100可通过基于输出尺寸放大输出区域245来产生输出帧255。
如上所述，根据第一稳定方法，电子装置100使用通过放大输入帧205中的经过裁剪处理的部分区域(裁剪区域)215而获得的放大图像225用于运动估计，因此测量的运动值可能不准确。
此外，根据第一稳定方法，电子装置100首先针对作为输入帧205的裁剪区域的部分区域215执行裁剪操作，然后确定通过放大部分区域(裁剪区域)215获得的放大图像225中的抖动补偿区域。因此，能够补偿抖动的区域的范围可限于边缘区域(放大图像225与输出区域245之间的间隙)。
参照图3A和图3B，将更详细地描述第一稳定方法。
图3A和图3B是示出使用第一稳定方法来稳定视频的电子装置的示例操作的示图。
参照图3A的300-1，电子装置100可接收缩放输入。缩放输入可以例如是请求用于通过减小视角来以放大率进行放大输入帧的部分区域的数字缩放的输入。图3A中的300-1示出了缩放输入是指捏输入的示例，但缩放输入不限于此。例如，缩放输入可以是除了指捏之外的触摸输入(例如，双击和拖动)、语音输入或使用硬件按钮的输入，但不限于此。
参照图3A的300-2，电子装置100可基于缩放输入来确定放大倍数(放大率)。电子装置100可基于确定的放大率来确定裁剪区域。例如，当放大率为“2X”时，裁剪区域的尺寸可以是输入帧的尺寸的一半。裁剪区域的中心可例如与输入帧的中心相应。
电子装置100可针对多个输入帧中的每一个执行图像裁剪操作。例如，电子装置100可基于缩放输入来确定第N输入帧310中的第一裁剪区域311。此外，电子装置100可确定第(N+1)输入帧320中的第二裁剪区域321。
当在第N输入帧310和第(N+1)输入帧320的捕捉期间手颤动发生时，第一裁剪区域311和第二裁剪区域321中的每一个可不同于ROI。例如，ROI可指示或表示包括原始帧中的用户想输出的图像的区域。例如，ROI可以是对象位于中心的区域。
当手颤动严重时，如在与第N输入帧310相应的第一裁剪区域311中，对象的一部分或全部可偏离裁剪区域。
参照图3A的300-3，电子装置100可以以放大率进行放大第一裁剪区域311和第二裁剪区域321。例如，电子装置100可将第一裁剪区域311放大到与第N输入帧310相同的尺寸，并且将放大的第一裁剪区域311进行插值，从而产生第一放大图像312。此外，电子装置100可将第二裁剪区域321放大到与第(N+1)输入帧320相同的尺寸，并且对放大的第二裁剪区域321进行插值，从而产生第二放大图像322。
根据示例，电子装置100可确定第一放大图像312中的用于补偿第N输入帧310的抖动的第一抖动补偿区域313。此外，电子装置100可确定第二放大图像322中的用于补偿第(N+1)输入帧320的抖动的第二抖动补偿区域323。
参照图3A的300-4，根据第一稳定方法，电子装置100从输入帧300裁剪部分区域301，然后补偿抖动。因此，从输入帧300裁剪的部分区域301可以是能够补偿抖动的区域。根据第一稳定方法，不能补偿裁剪的部分区域301之外的抖动，并且可在裁剪的部分区域301中确定抖动补偿区域302。
参照图3B的300-5，当第N输入帧310中的对象与初始输入帧中的对象相比由于手颤动而被平移到左上方时，电子装置100可基于运动信息通过将初始抖动补偿区域303平移到左上方来确定第一抖动补偿区域313。
此外，当第(N+1)输入帧320中的对象与初始输入帧中的对象相比由于手颤动而被平移到右下方时，电子装置100可基于运动信息通过将初始抖动补偿区域303平移到右下方来确定第二抖动补偿区域323。
参照图3B的300-6，电子装置100可通过将第一抖动补偿区域313放大到输出尺寸来产生与第N输入帧310相应的第N输出帧314。此外，电子装置100可通过将第二抖动补偿区域323放大到输出尺寸来产生与第(N+1)输入帧320相应的第(N+1)输出帧324。另外，电子装置100可基于第一稳定方法通过组合第N输出帧314和第(N+1)输出帧324来产生数字缩放视频。
参照图3B的300-7，当第N输出帧314和第(N+1)输出帧324彼此重叠时，第N输出帧314的对象与第(N+1)输出帧314的对象之间的运动差330可以是显而易见的。例如，根据第一稳定方法，从输入帧300裁剪部分区域301，然后仅在裁剪的部分区域301中执行抖动补偿，因此抖动补偿可能是不充分的。
针对此原因，以下将对在针对抖动补偿的边缘的使用中显示出比第一稳定方法更高效率的第二稳定方法进行描述。第二稳定方法可以是用于在输入帧的整个区域中补偿抖动的技术。为了便于描述，第一稳定方法可被称为“裁剪缩放数字图像稳定(DIS)”，并且第二稳定方法可被称为“全缩放DIS”。
图4是示出电子装置稳定视频的示例方法的流程图。
在操作S410中，电子装置100可通过图像传感器或从图像传感器获取多个帧。例如，电子装置100可使用通过图像传感器输入的图像信号来获取多个原始帧。此时，电子装置100可例如获取具有先前设置的视角的原始帧或具有最大视角的原始帧。
在操作S420中，电子装置100可接收请求以与所述多个帧有关的放大率进行放大的输入(为了方便起见，以下称为“缩放输入”)。根据示例，电子装置100可通过触摸屏接收用于将原始帧的视角缩窄的缩放输入。例如，电子装置100可接收预览图像上的将两根手指彼此分开的指捏输入。
根据示例，请求以与多个帧有关的放大率进行放大的缩放输入可以是各种各样的。例如，缩放输入可以是包括用于请求以放大率进行放大的语音的语音输入或按压硬件按钮的输入。此外，当电子装置100是柔性装置时，缩放输入可例如包括弯曲电子装置100的区域的输入。然而，缩放输入不限于上述那些。
根据示例，电子装置100可基于缩放输入来确定放大倍数(放大率)。例如，电子装置100可基于原始帧的分辨率与显示在电子装置100的显示器上的预览图像的分辨率的比来确定放大倍数。例如，当将原始帧的半个区域显示为预览图像时，电子装置100可确定放大倍数为“2X”。可基于输入来改变放大倍数。电子装置100可使用关于基于缩放输入确定的放大倍数的信息来产生稳定路径或输出帧。
根据示例，电子装置100可基于缩放输入来确定原始帧中的初始缩放区域。初始缩放区域可以是原始帧中的用户希望充分地输出的ROI。
例如，电子装置100可确定与显示在显示器上的预览图像相应的原始图像的区域作为初始缩放区域。初始缩放区域的尺寸可与放大倍数成反比。例如，当放大倍数为2X时，初始缩放区域的尺寸可以是原始帧的尺寸的一半。
根据示例，电子装置100可在捕捉视频之前或期间接收用于改变原始帧的视角的缩放输入。
在操作S430中，电子装置100可获取多个帧的抖动信息。抖动信息可例如指示或表示关于在视频的捕捉期间发生的手颤动或对象的运动的信息。抖动信息可例如包括平移分量信息和/或旋转分量信息。平移分量信息可例如包括与平移坐标有关的信息(例如，运动矢量)，并且旋转分量信息可例如包括关于旋转或倾斜的角度的信息。
根据示例，电子装置100可使用包括在多个帧中的对象的运动和/或关于电子装置100的运动的信息来获取多个帧的抖动信息。
例如，电子装置100可基于对多个原始帧进行比较的结果来获取对象或背景的运动的第一运动信息(例如，运动矢量)。电子装置100可使用例如基于块的方法、光学估计方法等来获取第一运动信息。基于块的方法可以例如是为了具有与第一帧的块最相似的图像数据的块而搜索第二帧的块并计算第二帧的运动矢量的方法。
根据示例，电子装置100可计算原始帧的整个区域或部分区域中的运动矢量。例如，当手颤动发生时，整个屏幕沿着某一方向运动，并且从而精确地确定全局运动矢量可能是必要的。
在获取多个帧的同时，电子装置100可使用包括在电子装置100中的至少一个传感器来获取关于电子装置100的运动的第二运动信息。例如，电子装置100可使用由诸如加速度传感器或陀螺仪传感器的运动传感器测量的信息来获取关于电子装置100的运动的第二运动信息。
根据示例，电子装置100可使用第一运动信息和第二运动信息中的至少一个来获取多个帧的抖动信息。例如，电子装置100可将以下项中的至少一个用作抖动信息：1)通过比较原始帧获取的第一运动信息，2)基于由包括在电子装置100中的运动传感器测量的值获取的第二运动信息，或者3)第一运动信息和第二运动信息的组合。
在操作S440中，电子装置100可在各个多个帧的整个区域中确定与各个多个帧相应的抖动补偿区域。
根据示例，电子装置100可基于多个帧的抖动信息和关于放大率的信息来在各个多个帧的整个区域中确定抖动补偿区域。
抖动补偿区域可以是基于抖动信息重置初始缩放区域的位置的区域。例如，当对象尚未运动但电子装置100已经向左抖动时，电子装置100可将初始缩放区域平移到右侧。平移到右侧的初始缩放区域可以是抖动补偿区域。因此，抖动补偿区域的尺寸可与基于放大率确定的初始缩放区域的尺寸相同或相似。
电子装置100可通过在原始帧的整个区域中平移初始缩放区域的位置来确定抖动补偿区域，并且从而可补偿抖动的范围可比当仅在原始帧的裁剪区域内确定抖动补偿区域时的范围更宽。
根据示例，电子装置100可基于抖动信息来确定与电子装置100的运动相对或相反或者与对象的运动相应的稳定路径。电子装置100可基于稳定路径来确定与各个多个帧相应的抖动补偿区域。稳定路径可例如指示或表示用于补偿抖动的参考轨迹。
根据示例，电子装置100可至少部分地基于原始帧的分辨率信息来确定稳定路径。例如，电子装置100可基于原始帧的分辨率和抖动补偿区域的尺寸来确定稳定路径，使得抖动补偿区域不偏离原始帧。
稳定路径的确定在下面也可被称为相机路径规划。以下将参照图8A至图8G更详细地描述相机路径规划。
根据示例，电子装置100可基于包括在抖动信息中的旋转分量信息来补偿多个帧中的至少一个中的旋转。例如，电子装置100可将多个帧中的第一帧的第一抖动补偿区域平移到第一帧的中心区域，并且将第一抖动补偿区域旋转一定角度。电子装置100可将旋转的第一抖动补偿区域再次平移到第一帧的中心区域。以下将参照图9更详细地描述补偿旋转的电子装置100的操作。
根据示例，电子装置100可基于多个帧的运动矢量来校正多个帧中的至少一个的卷帘快门失真。以下将参照图12更详细地描述校正卷帘快门失真的操作。
在操作S450中，电子装置100可通过以放大率进行放大抖动补偿区域来产生与各个多个帧相应的输出帧。各个输出帧的视角可比输入帧(原始帧)的视角更窄。
在操作S460中，电子装置100可提供包括输出帧的视频。例如，电子装置100可通过组合输出帧来产生数字缩放视频并提供数字缩放视频。
视频的提供可包括屏幕上的图标、缩略图、初始帧等的显示、视频的播放、视频向服务器的传输等。
根据示例，电子装置100可将产生的数字缩放视频存储在内部存储器或外部存储介质(例如，安全数字(SD)卡)中。此外，电子装置100可将数字缩放视频发送到链接到电子装置100的云服务器或社交网络服务(SNS)服务器。
根据示例，电子装置100可应用户的请求播放数字缩放视频。
以下将参照图5描述使用第二稳定方法补偿抖动的示例。
图5是示出使用输入帧的整个区域作为可补偿抖动的区域的第二稳定方法的示例的示图。
在操作S500中，电子装置100可接收具有视角的输入帧505。例如，电子装置100可接收具有最大视角的输入帧505。
在操作S510中，电子装置100可接收缩放输入，并且基于缩放输入来确定放大倍数(放大率)和初始缩放区域515。例如，当放大倍数(放大率)为“2X”时，电子装置100可基于输入帧505的中心来将尺寸为输入帧505的一半的区域确定为初始缩放区域515。
在操作S520中，电子装置100可使用输入帧505获取输入帧505的运动信息。例如，电子装置100可通过将先前输入帧和当前输入帧505进行比较来测量对象的平移。此外，电子装置100可使用至少一个传感器(例如，加速度传感器、陀螺仪传感器等)来测量电子装置100的运动。
在操作S530中，电子装置100可至少部分地基于运动信息来在输入帧505的整个区域中确定抖动补偿区域525。例如，电子装置100可通过沿与电子装置100的运动相反的方向平移初始缩放区域515来确定抖动补偿区域525。
可补偿抖动的边缘区域可例如是通过从输入帧505的整个区域去除初始缩放区域515而获得的区域。因此，通过将图5的S530与图2的S240进行比较，基于第二稳定方法的边缘区域比基于第一稳定方法的边缘区域大得多是显而易见的。
在操作S540中，电子装置100可以基于与第N输入帧一样的输出尺寸的放大率来放大抖动补偿区域525，并且对放大的第一裁剪区域515进行插值，从而产生输出帧535。
在操作S550中，电子装置100可输出输出帧535。
根据第二稳定方法，电子装置100可在原始帧的整个区域中平移初始缩放区域的位置以确定抖动补偿区域。因此，与仅在原始帧的裁剪区域中确定抖动补偿区域的第一稳定方法相比，能够更大程度地补偿抖动。
图6包括示出视频的放大率(放大倍数)的示图。
参照图6的610，当基于缩放输入的放大率(以下称为缩放放大率)为“1.5X”时，电子装置100可将基于输入帧600的中心的在长度和宽度上为输入帧600的三分之二的区域设置为第一初始缩放区域611。显示在电子装置100的显示器上的第一预览图像612可以是通过将第一初始缩放区域611在长度和宽度上以因子1.5进行放大而获得的图像。
参照图6的620，当缩放放大率为“2.5X”时，电子装置100可将基于输入帧600的中心的在长度和宽度上是输入帧600的五分之二的区域设置为第二初始缩放区域621。显示在电子装置100的显示器上的第二预览图像622可以是通过将第二初始缩放区域621在长度和宽度上以因子2.5进行放大而获得的图像。
参照图6的630，当缩放放大率为“4X”时，电子装置100可将基于输入帧600的中心的在长度和宽度上为输入帧600的四分之一的区域设置为第三初始缩放区域631。显示在电子装置100的显示器上的第三预览图像632可以是通过将第三初始缩放区域631在长度和宽度上以因子4进行放大而获得的图像。
因此，对于由用户的缩放输入设置的更大的初始缩放区域，缩放放大率可变得更低，并且对于更小的初始缩放区域，缩放放大率可变得更高。
图7A和图7B包括示出使用第二稳定方法来稳定视频的电子装置的操作的示图。
参照图7A的700-1，电子装置100可接收缩放输入。这里，缩放输入可以是请求用于通过减小视角以放大率进行放大输入帧的部分区域的数字缩放的输入。图7A的700-1示出了缩放输入是指捏输入的示例，但缩放输入不限于此。
参照图7A的700-2，电子装置100可基于缩放输入来确定放大倍数(放大率)和初始缩放区域701。例如，当放大倍数为“2X”时，初始缩放区域701的尺寸可以是输入帧的尺寸的一半。
参照图7A的700-3，当在第N输入帧710和第(N+1)输入帧720的捕捉期间手颤动发生时，电子装置100可基于抖动信息在第N输入帧710的整个区域中确定第一抖动补偿区域711，并且在第(N+1)输入帧720的整个区域中确定第二抖动补偿区域721。
参照图7A的700-4，基于第二稳定方法，电子装置100在输入帧700的整个区域中确定抖动补偿区域，并且从而输入帧700的整个区域可以是能够补偿抖动的区域。参照图3A的300-4，基于第一稳定方法，在裁剪的部分区域301中确定抖动补偿区域302。因此，能够基于第二稳定方法补偿抖动的区域比能够基于第一稳定方法补偿抖动的区域大得多。
参照图7B的700-5，当第N输入帧710中的对象与初始输入帧中的对象相比由于手颤动被平移到左上方时，电子装置100可通过将初始缩放区域701平移到左上方来确定第一抖动补偿区域711。
此外，当第(N+1)输入帧720中的对象与初始输入帧中的对象相比由于手颤动被平移到右下方时，电子装置100可通过将初始缩放区域701平移到右下方来确定第二抖动补偿区域721。
参照图7B的700-6，电子装置100可通过将第一抖动补偿区域711放大到输出尺寸来产生与第N输入帧710相应的第N输出帧712。此外，电子装置100可通过将第二抖动补偿区域721放大到输出尺寸来产生与第(N+1)输入帧720相应的第(N+1)输出帧722。此外，电子装置100可基于第二稳定方法通过组合第N输出帧712和第(N+1)输出帧722来产生数字缩放视频。
参照图7B的700-7，当第N输出帧712和第(N+1)输出帧722彼此重叠时，在第N输出帧的对象712和第(N+1)输出帧722的对象之间几乎没有运动差。因此，当播放基于第二稳定方法的数字缩放视频时，用户可几乎感觉不到数字缩放视频的抖动。
以下将参照图8A至图8G详细描述电子装置100根据稳定路径补偿抖动的方法。
图8A至图8G包括示出使用稳定路径稳定多个帧的电子装置的示例操作的示图。
参照图8A，电子装置100可在触摸屏上显示初始输入帧800的预览图像801。电子装置100可通过触摸屏接收用于将初始输入帧800的视角缩窄的缩放输入802。例如，电子装置100可接收预览图像801上的指捏输入。
电子装置100可基于缩放输入802来确定放大倍数(放大率)(例如，“8X”)。初始缩放区域803可以是初始输入帧800中的用户想要放大的区域(以下称为ROI)。
当完成初始缩放区域803和放大率的设置时，可开始捕捉数字缩放视频。电子装置100可接收第一输入帧810、第二输入帧820、第三输入帧830等。第一输入帧810、第二输入帧820和第三输入帧830可具有与初始输入帧800相同的视角。
在数字缩放视频的捕捉期间手颤动可发生。例如，电子装置100可沿x轴方向、y轴方向和z轴方向中的至少一个抖动。因此，第一输入帧810、第二输入帧820和第三输入帧830中的每一个中的对象的位置可不同于初始输入帧800中的对象的位置。
参照图8B，由于手颤动，第一输入帧810中的对象的位置可从初始输入帧800中的对象的位置沿着矢量m1平移，第二输入帧820中的对象的位置可从初始输入帧800中的对象的位置沿着矢量m2平移，并且第三输入帧830中的对象的位置可从初始输入帧800中的对象的位置沿着矢量m3平移。
参照图8C，电子装置100可比较初始输入帧800、第一输入帧810、第二输入帧820和第三输入帧830以获取运动信息。此外，电子装置100可使用由运动传感器测量的值来获取运动信息。
使用运动信息，电子装置100可产生由电子装置100或对象的运动导致的图像运动路径840。根据示例，基于运动信息，电子装置100可产生与对象的运动相应或者与电子装置100的运动相反的图像运动路径840。例如，当电子装置100抖动到左侧并且对象在第一输入帧810、第二输入帧820和第三输入帧830中平移到右侧时，图像运动路径840可沿x轴值增加的方向产生。此外，当电子装置100向上抖动并且对象在第一输入帧810、第二输入帧820和第三输入帧830中向下平移时，图像运动路径840可沿y轴值减少的方向产生。
考虑到输入帧800、810、820和830的分辨率(尺寸)，电子装置100可确定图像运动路径840。例如，电子装置100可确定图像运动路径840使得基于图像运动路径840确定的抖动补偿区域不偏离输入帧800、810、820和830。
图8C示出了在二维(2D)坐标系统中显示图像运动路径840的情况，但图像运动路径840不限于二维。例如，可三维地产生图像运动路径840。
参照图8D，电子装置100可使用图像运动路径840产生稳定路径850。例如，电子装置100可通过处理图像运动路径840来产生稳定路径850以减少由手颤动引起的运动。
图8D示出了在2D坐标系中显示稳定路径850的情况，但稳定路径850不限于二维。例如，可三维地产生稳定路径850。
参照图8E，电子装置100可使用稳定路径850来确定与第一输入帧810、第二输入帧820和第三输入帧830中的每一个相应的抖动补偿区域的中心。例如，电子装置100可将稳定路径850上的点b确定为第一输入帧810的第一抖动补偿区域811的中心，将点c确定为第二输入帧820的第二抖动补偿区域821的中心，并将点d确定为第三输入帧830的第三抖动补偿区域831的中心。
参照图8F，电子装置100可在第一输入帧810的整个区域中基于点b来确定第一抖动补偿区域811。第一抖动补偿区域811可以是已经从初始缩放区域803沿矢量m1平移的区域。
电子装置100可在第二输入帧820的整个区域中基于点c来确定第二抖动补偿区域821。第二抖动补偿区域821可以是已经从初始缩放区域803沿矢量m2平移的区域。
电子装置100可在第三输入帧830的整个区域中基于点d来确定第三抖动补偿区域831。第三抖动补偿区域831可以是已经从初始缩放区域803沿矢量m3平移的区域。
参照图8G，电子装置100可通过基于输出尺寸放大初始缩放区域803来产生与初始输入帧800相应的初始输出帧804。电子装置100可通过基于输出尺寸放大第一抖动补偿区域811来产生与第一输入帧810相应的第一输出帧812。电子装置100可通过基于输出尺寸放大第二抖动补偿区域821来产生与第二输入帧820相应的第二输出帧822。电子装置100可通过基于输出尺寸放大第三抖动补偿区域831来产生与第三输入帧830相应的第三输出帧832。
电子装置100可通过组合初始输出帧804、第一输出帧812、第二输出帧822和第三输出帧832来产生数字缩放视频。由于在输出帧804、输出帧812、输出帧822和输出帧832之间几乎没有运动差，所以当播放数字缩放视频时用户可没有察觉到抖动。
图9是示出电子装置在至少一帧中补偿旋转的示例方法的流程图。
在操作S910中，电子装置100可在各个多个帧的整个区域中确定与各个多个帧相应的抖动补偿区域。根据示例，在不具有特定的尺寸或形状的情况下，抖动补偿区域可以以针对平移、旋转或卷帘快门补偿的各种形式来确定。
在操作S920中，电子装置100可确定多个帧中的至少一个的旋转补偿。例如，当第一输入帧的旋转角度由于针对初始输入帧的手颤动而改变时，电子装置100可基于包括在抖动信息中的旋转分量信息来确定第一输入帧的旋转补偿。例如，当初始输入帧的旋转角度为基于xy平面沿z轴方向的0度，并且第一输入帧的旋转角度为基于xy平面沿z轴方向的+10度，旋转补偿的量可以是-10度。
在操作S930中，电子装置100可基于旋转补偿量在至少一个帧中补偿旋转。例如，电子装置100可将抖动补偿区域平移到帧的中心区域，并且以旋转补偿量旋转帧。电子装置100可调整抖动补偿区域的位置使得抖动补偿区域到达旋转帧的中心。电子装置100可不管用户的意图来补偿已经由手颤动旋转的帧的旋转分量。
在操作S940中，电子装置100可通过以放大率进行放大抖动补偿区域来产生与各个多个帧相应的输出帧。由于操作S940与图4的操作S450相应，因此将省略详细描述。
以下将参照图10和图11进一步描述在至少一个帧中补偿旋转的电子装置100的操作。
图10包括示出对象已被旋转的示例帧的示图。
参照图10，电子装置100可在数字缩放视频的捕捉期间由手颤动旋转。例如，电子装置100可基于x-y平面沿z轴方向旋转30度。与初始输入帧1000的对象相比，第一输入帧1010的对象可基于x-y平面沿负z轴方向旋转30度。
为了补偿第一输入帧1010中的旋转，电子装置100可在第一输入帧1010的整个区域中确定梯形抖动补偿区域1011。例如，在初始输入帧1000中的抖动补偿区域1001是方形的同时，第一输入帧1010中的抖动补偿区域1011可以是梯形。
将参照图11更详细地描述电子装置100补偿第一输入帧1010中的旋转的处理。
已经参照图10将电子装置100基于x-y平面沿z轴方向旋转的情况作为示例进行了描述，但是电子装置100的旋转并不限于这种情况。例如，电子装置100可基于x-z平面沿y轴方向旋转或者基于y-z平面沿x轴方向旋转等。
图11包括示出电子装置校正具有旋转的对象的帧的示例的示图。
在操作S1110中，电子装置100可使用抖动信息在第一输入帧1010的整个区域中确定梯形抖动补偿区域1011。
在操作S1120中，电子装置100可执行平移补偿使得抖动补偿区域1011位于第一输入帧1010的中心区域。例如，电子装置100可将第一输入帧1010中的整个图像平移到右侧。
在操作S1130中，电子装置100可执行第一输入帧1010的旋转补偿。例如，由于在第一输入帧1010中的对象与初始输入帧1000中的对象相比已经基于xy平面沿负z轴方向旋转了30度，所以电子装置100可基于例如图像变形方法基于xy平面沿正z轴方向将第一输入帧1010旋转30度。
在操作S1140中，电子装置100可执行转移过程使得经过旋转补偿的第一抖动补偿区域1011位于第一输入帧1010的中心区域。
在操作S1150中，电子装置100可基于输出尺寸通过以放大率进行放大位于中心区域的第一摇动补偿区域1011来产生与第一输入帧1010相应的输出帧1100。
电子装置100可在执行原始帧的旋转补偿的同时校正原始帧的卷帘快门失真。以下将参照图12描述卷帘快门失真。
图12包括示出校正卷帘快门失真的电子装置的示例操作的示图。
当电子装置100中使用的图像传感器为互补金属氧化物半导体(CMOS)图像传感器(CIS)时，卷帘快门失真可发生。CIS可以以水平行为单位输出图像数据。例如，可在输出第一行的数据之后输出第二行的数据，并且可在输出第二行的数据之后输出第三行的数据。以水平行为单位输出图像数据的方式被称为卷帘快门方法。CIS在一般情况下不会引起严重问题，但是当抖动发生时可导致输出结果中的卷帘快门失真。例如，当捕捉快速运动的对象或在捕捉期间发生手颤动时，可在捕捉的结果中发现卷帘快门失真。
参照图12的1210，在第(t-1)行输出的同时，手颤动导致第t行的值的变化，并且在输出第t行的同时导致第(t+1)的值的变化。因此，电子装置100获得具有卷帘快门失真的第一图像1201而不是将被正常地输出第二图像1202。
参照图12的1220，电子装置100可通过校正具有卷帘快门失真的第一图像1201来获得第二图像1202。例如，电子装置100可使用第一图像1201的行特定运动矢量来反向地补偿由传感器行之间的时间差引起的失真，从而获得第二图像1202。
图13是示出电子装置提供用于选择稳定方法的选择窗口的示例方法的流程图。
在操作S1310中，电子装置100可从图像传感器获取多个帧。例如，电子装置100可使用由图像传感器输入的图像信号来获取多个原始帧。此时，电子装置100可获取具有先前设置的视角或最大视角的原始帧。
在操作S1320中，电子装置100可接收请求以放大率进行放大的输入。根据示例，电子装置100可通过触摸屏接收用于将原始帧的视角缩窄的缩放输入，但缩放输入不限于此。
在操作S1330中，电子装置100可提供用于选择第一稳定方法或第二稳定方法的选择窗口。例如，当接收到缩放输入时，电子装置100可提供用于选择稳定数字缩放视频的方法的选择窗口。第一稳定方法可以是在原始帧的裁剪区域中补偿抖动的裁剪缩放DIS，并且第二稳定方法可以是在原始帧的整个区域中补偿抖动的全缩放DIS。
在操作S1340和操作S1350中，当选择第一稳定方法时，电子装置100可例如基于第一稳定方法产生第一视频。例如，电子装置100可产生基于图2中公开的裁剪缩放DIS稳定的数字缩放视频。
在操作S1360和操作S1370中，当选择第二稳定方法时，电子装置100可基于第二稳定方法来产生第二视频。例如，电子装置100可产生基于图5中公开的全缩放DIS稳定的数字缩放视频。
图14和图15是示出提供用于选择稳定方法的选择窗口的电子装置的示例操作的示图。
参照图14的1400-1，电子装置100可接收用于将视角缩窄的缩放输入1410。例如，电子装置100可接收在保持两个手指与预览图像接触的同时沿不同方向分开两个手指的指捏输入。
参照图14的1400-2，当接收到缩放输入1410时，电子装置100可在产生数字缩放视频之前，在屏幕上显示用于选择稳定方法的选择窗口1420。选择窗口1420可包括用于选择第一稳定方法(裁切缩放DIS)的第一按钮和用于选择第二稳定方法(全缩放DIS)的第二按钮。
当选择第二按钮时，电子装置100可产生基于第二稳定方法(全缩放DIS)稳定的数字缩放视频。
参照图15的1500-1，电子装置100可接收用于从静止图像捕捉模式切换到视频捕捉模式的输入1510。例如，电子装置100可在相机应用的执行窗口中感测拖动捕捉模式切换按钮的输入。
参照图15的1500-2，当接收到用于从静止图像捕捉模式切换到视频捕捉模式的输入1510时，电子装置100可在产生数字缩放视频之前在屏幕上显示用于选择稳定方法的选择窗口1520。选择窗口1520可包括用于选择第一稳定方法(裁剪缩放DIS)的第一按钮和用于选择第二稳定方法(全缩放DIS)的第二按钮。当选择第二按钮时，电子装置100可产生根据第二稳定方法(全缩放DIS)稳定的数字缩放视频。
电子装置100提供用于选择稳定方法的选择窗口的示例可以是多种多样的。例如，在执行相机应用之前，可在配置菜单中设置全缩放DIS的稳定方法。
图16是示出电子装置提供使用多种稳定方法产生的多个视频的示例方法的流程图。
在操作S1610中，电子装置100可从图像传感器获取多个帧。例如，电子装置100可使用由图像传感器输入的图像信号来获取多个原始帧。
在操作S1620中，电子装置100可接收请求以放大率进行放大的输入。根据示例，电子装置100可通过触摸屏接收用于将原始帧的视角缩窄的缩放输入，但缩放输入不限于此。
在操作S1630中，电子装置100可基于第一稳定方法产生第一视频，并且基于第二稳定方法产生第二视频。第一稳定方法可以例如是在原始帧的裁剪区域中补偿抖动的裁剪缩放DIS，并且第二稳定方法可以例如是在原始帧的整个区域中补偿抖动的全缩放DIS。
例如，电子装置100可产生基于图2中公开的第一方法(裁剪缩放DIS)稳定的第一数字缩放视频。此外，电子装置100可产生基于图5中公开的第二方法(全缩放DIS)稳定的第二数字缩放视频。
在操作S1640中，电子装置100可提供包括与第一视频相应的第一播放按钮和与第二视频相应的第二播放按钮的GUI。例如，电子装置100可在屏幕上显示用于播放通过裁剪缩放DIS稳定的第一视频的第一播放按钮和用于播放通过全缩放DIS稳定的第二视频的第二播放按钮。
在操作S1650和操作S1660中，当选择第一播放按钮时，电子装置100可播放第一视频。例如，电子装置100可播放使用裁剪缩放DIS稳定的第一数字缩放视频。
在操作S1670和操作S1680中，当选择第二播放按钮时，电子装置100可播放第二视频。例如，电子装置100可播放使用全缩放DIS稳定的第二数字缩放视频。
图17和图18示出了用于使用多个稳定方法提供由电子装置产生的多个视频的示例GUI。
参照图17的1710，电子装置100可接收用于激活视频管理应用1700的输入。例如，电子装置100可接收触摸多个图标中的视频管理应用1700的图标的输入。电子装置100可执行视频管理应用1700并显示视频管理应用1700的执行窗口。
参照图17的1720，电子装置100可在视频管理应用1700的执行窗口上显示分别通过使用第一稳定方法(裁剪缩放DIS)和第二稳定方法(全缩放DIS)来稳定N个原始帧而获得的第一视频1701和第二视频1702。
当选择第二视频1702的播放按钮时，电子装置100可播放使用第二稳定方法(全缩放DIS)稳定的第二视频1702。
参照图18的1810，电子装置100可显示在运行期间捕捉的视频的播放图标1800。此时，电子装置100可接收例如触摸视频的播放图标1800的输入。
参照图18的1820，电子装置100可响应于触摸播放图标1800的输入来提供用于选择稳定方法的选择窗口1801。例如，选择窗口1801可包括用于选择第一稳定方法(例如，裁剪缩放DIS)的第一按钮和用于选择第二稳定方法(例如，全缩放DIS)的第二按钮。
当选择第一按钮时，电子装置100可播放使用第一稳定方法(裁切缩放DIS)稳定的第一数字缩放视频。当选择第二按钮时，电子装置100可播放使用第二稳定方法(全缩放DIS)稳定的第二数字缩放视频。
根据示例，尽管图18中未示出，但是电子装置100可响应于触摸播放图标1800的输入自动选择并播放第一数字缩放视频和第二数字缩放视频中的一个。例如，电子装置100可比较第一数字缩放视频和第二数字缩放视频的抖动的程度，并且基于比较结果仅向用户提供第一数字缩放视频和第二数字缩放视频中的一个。
图19和图20是示出示例电子装置的框图。
如图19所示，根据示例的电子装置100可包括用户界面(UI)130、输出单元140和控制器180。然而，并非附图中示出的所有组件都是必需组件。电子装置100可由比附图中示出的组件更多或更少的组件来实施。
例如，如图20中所示，根据示例的电子装置100除了UI 130、输出单元140和控制器180之外还可包括图像捕捉单元110、模拟信号处理单元120、图像信号处理单元121、通信接口150、存储器160以及感测单元170。
以下将更详细地描述所述组件。
图像捕捉单元110可例如表示从入射光产生电信号的图像的组件，并且包括镜头111、镜头驱动单元112、光圈113、光圈驱动单元115、图像传感器118和图像传感器控制器119。
镜头111可具有以多个组形式的多个透镜。镜头111的位置可由镜头驱动单元112调节。镜头驱动单元112基于例如由控制器180提供的控制信号来调节镜头111的位置。
此外，镜头驱动单元112可通过调节镜头111的位置来调节焦距并执行诸如自动对焦、缩放改变和聚焦改变的操作。
光圈113的打开或关闭的程度可通过光圈驱动单元115调节，并且光圈113调节入射到图像传感器118上的光量。
通过镜头111和光圈113发送的光信号在图像传感器118的光接收表面上形成对象的图像。图像传感器118可例如是将光信号转换为电信号的电荷耦合器件(CCD)或CIS。图像传感器118的灵敏度等可由图像传感器控制器119调节。图像传感器控制器119可被配置为基于由实时输入的图像信号自动产生的控制信号或者例如通过用户的操纵手动输入的控制信号来控制图像传感器118。
模拟信号处理单元120可包括处理器，并且可被配置为针对从图像传感器118提供的模拟信号执行降噪、增益调节、波形标准化、模数转换等。
图像信号处理单元121可包括用于针对由模拟信号处理单元120处理的图像数据信号处理特定功能的信号处理单元。例如，图像信号处理单元121可被配置为减少输入图像数据中的噪声，并且执行诸如伽马校正、颜色滤波阵列插值、颜色矩阵、颜色校正、颜色增强、白平衡调节、亮度平滑和颜色阴影的图像信号处理以提高图像质量并提供特殊效果。图像信号处理单元121可被配置为通过压缩输入图像数据来产生图像文件，或者从图像文件恢复图像数据。图像的压缩格式可以是可逆的或不可逆的。例如，静止图像可被转换为联合图像专家组(JPEG)格式、JPEG 2000格式等。此外，当录制视频时，图像信号处理单元121可被配置为通过根据运动图像专家组(MPEG)标准压缩多个帧来产生视频文件。可例如根据可交换图像文件格式(Exif)标准来产生图像文件。
图像信号处理单元121可被配置为从由图像传感器118产生的图像信号产生视频文件。图像信号处理单元121可被配置为从图像信号产生将被包括在视频文件中的帧。例如，图像信号处理单元121可根据诸如MPEG4、H.264/高级视频编码(AVC)、Windows MediaVideo(WMV)等的标准来压缩帧，然后使用压缩的帧产生视频文件。视频文件可以以诸如mpg、mp4、3gpp、avi、asf和mov的各种格式产生。
从图像信号处理单元121输出的图像数据可存储在存储器160中。此外，从图像信号处理单元121输出的图像数据可自动或者基于来自用户的信号被存储在存储卡中。存储卡可以是可附接/可拆卸的，或被永久地安装在电子装置100中。例如，存储卡可以是诸如SD卡的闪存卡。
此外，图像信号处理单元121可被配置为对输入图像数据执行遮拦、色彩处理、模糊、边缘增强、图像判读、图像识别、图像效果处理等。通过图像识别，可执行脸部识别、场景识别等。根据示例，图像信号处理单元121可被配置为执行针对手颤动的补偿、卷帘快门失真的校正等。
根据示例，图像信号处理单元121可被配置为处理通过显示器141将被显示的显示图像信号。例如，图像信号处理单元121可被配置为执行亮度水平调节、颜色校正、对比度调节、轮廓增强调节、屏幕分割、字符图像等的产生、图像合成等。
由图像信号处理单元121处理的信号可通过或不通过存储器160被输入到控制器180。
图像信号处理单元121指示或表示这样的单元：用户将用于控制电子装置100的数据输入到所述单元。例如，UI 130可以是键区、穹顶开关、触摸板(电容覆盖触摸板、电阻覆盖触摸板、红外波束触摸板、表面声波触摸板、积分应变仪触摸板、压电效应触摸板等)、滚轮、滚轮开关等，但不限于此。
UI 130可接收请求以与从图像传感器118获取的多个帧有关的放大率进行放大的输入。例如，UI 130可通过显示预览图像的触摸屏来接收指捏输入，但是用户输入不限于此。
输出单元140可输出音频信号、视频信号或振动信号，并且可包括显示器141、声音输出单元142、振动电机143等。
显示器141可输出在电子装置100中处理的信息。例如，显示器141可显示预览图像、视频文件列表、数字缩放视频等。
根据示例，显示器141可显示用于选择在输入帧的裁剪区域中确定抖动补偿区域的第一稳定方法或者在输入帧的整个区域中确定抖动补偿区域的第二稳定方法的选择窗口。
此外，显示器141可显示包括与由第一稳定方法产生的第一视频相应的第一播放按钮和与由第二稳定方法产生的第二视频相应的第二播放按钮的GUI。
同时，当显示器141和触摸板可被分层以形成触摸屏时，显示器141可被用作输入装置以及输出装置。显示器141可例如包括液晶显示器(LCD)、薄膜晶体管(TFT)-LCD、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器和电泳显示器。基于电子装置100的形式，电子装置100可包括两个或更多个显示器141。
声音输出单元142输出从通信接口150接收或存储在存储器160中的音频数据。此外，声音输出单元142输出与由电子装置100执行的功能有关的声音信号(例如，呼叫信号接收声音、消息接收声音或通知声音)。声音输出单元142可包括扬声器、蜂鸣器等。
振动电机143可输出振动信号。例如，振动电机143可输出与音频数据(例如，呼叫信号接收声音和消息接收声音)或视频数据的输出相应的振动信号。此外，当触摸被输入到触摸屏时，振动电机143可输出振动信号。
通信接口150可包括包含用于使能电子装置100与例如云服务器、外部装置、SNS服务器或外部可穿戴装置之间的通信的通信电路的一个或更多个组件。例如，通信接口150可包括短距离无线通信单元151、移动通信单元152和广播接收单元153。
短距离无线通信单元151可包括蓝牙通信单元、蓝牙低功耗(BLE)通信单元、近场通信单元、无线局域网(WLAN、无线保真(Wi-Fi))通信单元、ZigBee通信单元、红外数据协会(IrDA)通信单元、Wi-Fi直连(WFD)通信单元、超宽带(UWB)通信单元、Ant+通信单元等，但不限于此。
移动通信单元152与移动通信网络中的基站、外部终端和服务器中的至少一个交换无线信号。无线信号可根据文本/多媒体消息的发送和接收包括语音呼叫信号、视频呼叫信号或各种类型的数据。移动通信单元152可使用长期演进(LTE)、LTE高级(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)、全球移动通信系统(GSM)等中的至少一个。
广播接收单元153通过广播信道从电子装置100的外部接收广播信号和/或与广播有关的信息。广播信道可包括卫星信道和地面信道。根据示例，电子装置100可不包括广播接收单元153。
存储器160可存储用于控制器180的处理和控制的程序，并存储输入/输出数据(例如，静止图像和数字缩放视频)。
存储器160可包括例如内部存储器或外部存储器。内部存储器可包括例如易失性存储器(例如，动态RAM(DRAM)、静态RAM(SRAM)或同步动态RAM(SDRAM))和非易失性存储器(例如，一次可编程ROM(OTPROM)、PROM、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪速ROM、闪存(例如，NAND闪存或NOR闪存)、硬盘驱动器和固态驱动器(SSD))中的至少一个。
外部存储器可包括闪速驱动器，例如，紧凑型闪速(CF)存储器卡、SD存储器卡、微型SD存储器卡、迷你SD存储器卡、极速数字(XD)存储器卡、多媒体卡(MMC)或记忆棒。通过各种接口，外部存储器可被功能地和/或物理地连接到电子装置100。
此外，电子装置100可运行通过互联网执行存储器160的存储功能的网页存储器。
存储在存储器160中的程序可基于其功能被分类为多个模块，例如，第一稳定模块161、第二稳定模块162、UI模块163等。
第一稳定模块161可基于使用输入帧的裁剪区域作为能够补偿抖动的区域的第一稳定方法来稳定数字缩放视频。例如，参照图21，第一稳定模块161可包括图像裁剪和比例缩放单元2110、运动估计单元2120、相机路径规划单元2130、运动补偿参数计算单元2140和图像扭曲单元2150。
图像裁剪和比例缩放单元2110可从图像传感器118接收原始帧的数据，并且从UI130接收关于缩放放大率(例如，缩放级别或缩放比例)的信息。基于缩放放大率，图像裁剪和比例缩放单元2110可通过裁剪原始帧的部分区域并放大裁剪的部分区域来产生放大的图像。
图像裁剪和比例缩放单元2110可将通过放大裁剪的部分区域产生的放大图像发送到运动估计单元2120和图像扭曲单元2150。
运动估计单元2120可通过比较先前帧的放大的图像和当前帧的放大的图像来获取与背景或对象有关的运动矢量(例如，全局运动矢量和局部运动矢量)。
运动估计单元2120可使用包括在感测单元170中的至少一个传感器(例如，加速度传感器和陀螺仪传感器)来测量电子装置100的运动，并且产生运动矢量。
运动估计单元2120可将运动矢量发送到相机路径规划单元2130和运动补偿参数计算单元2140。
相机路径规划单元2130可使用运动矢量产生稳定路径(例如，相机路径规划轨迹)。稳定路径可指示用于补偿抖动的轨迹。相机路径规划单元2130可至少部分地基于通过放大裁剪的部分区域而产生的放大图像的尺寸来确定稳定路径。
相机路径规划单元2130可将关于稳定路径的信息(例如，相机路径规划轨迹)发送到运动补偿参数计算单元2140和图像扭曲单元2150。
运动补偿参数计算单元2140可基于关于稳定路径的信息(例如，相机路径规划轨迹)产生用于补偿抖动的运动补偿参数2141。例如，运动补偿参数计算单元2140可根据稳定路径(例如，相机路径规划轨迹)产生用于调整放大的图像中的输出区域的位置的参数。
此外，运动补偿参数计算单元2140可基于从运动估计单元2120接收的运动矢量产生用于补偿卷帘快门失真的滚动快门补偿参数2142。
运动补偿参数计算单元2140可将用于补偿抖动的运动补偿参数2141和用于补偿卷帘快门失真的卷帘快门补偿参数2142发送到图像扭曲单元2150。
图像扭曲单元2150可根据从运动补偿参数计算单元2140接收的参数来补偿放大的图像中的抖动或卷帘快门失真。图像扭曲单元2150可根据输出尺寸通过放大输出区域来产生稳定的输出帧。
第二稳定模块162可基于使用输入帧的整个区域作为能够补偿抖动的区域的第二稳定方法来稳定数字缩放视频。例如，参照图22，第二稳定模块162可包括运动估计单元2210、相机路径规划单元2220、运动补偿参数计算单元2230、图像扭曲单元2240以及转移和比例缩放单元2250。
运动估计单元2210可接收从图像传感器118获取的原始帧，并且产生原始帧的运动矢量。
例如，运动估计单元2210可通过比较先前原始帧和当前原始帧来获取与背景或对象的平移有关的运动矢量(例如，全局运动矢量和局部运动矢量)。
运动估计单元2210可使用包括在感测单元170中的至少一个传感器(例如，加速度传感器、陀螺仪传感器等)来测量电子装置100的运动，并且产生运动矢量。
运动估计单元2210可将运动矢量发送到相机路径规划单元2220和运动补偿参数计算单元2230。
相机路径规划单元2220可使用运动矢量产生稳定路径(例如，相机路径规划轨迹)。稳定路径可指示用于补偿抖动的轨迹。相机路径规划单元2220可至少部分地基于原始帧的分辨率信息来确定稳定路径。
例如，相机路径规划单元2220可基于关于从UI 130接收的缩放放大率(例如，缩放级别或缩放比例)的信息来设置初始缩放区域。此外，当初始缩放区域沿稳定路径平移时，相机路径规划单元2220可确定防止初始缩放区域偏离原始帧的稳定路径。
相机路径规划单元2220可将关于稳定路径的信息(例如，相机路径规划轨迹)发送到运动补偿参数计算单元2230和图像扭曲单元2240。
运动补偿参数计算单元2230可基于关于稳定路径的信息(例如，相机路径计划轨迹)产生用于补偿抖动的运动补偿参数2231。例如，运动补偿参数计算单元2230可根据稳定路径(例如，相机路径计划轨迹)产生用于确定能够在原始帧的整个区域中补偿抖动的区域的位置的参数(或用于重置初始缩放区域的位置的参数)。
此外，运动补偿参数计算单元2230可基于从运动估计单元2210接收的运动矢量产生用于补偿卷帘快门失真的卷帘快门补偿参数2232。
运动补偿参数计算单元2230可将用于补偿抖动的运动补偿参数2231和用于补偿卷帘快门失真的滚动快门补偿参数2232发送到图像扭曲单元2240。
图像扭曲单元2240可根据从运动补偿参数计算单元2230接收的参数来补偿放大的图像中的抖动或卷帘快门失真。例如，图像扭曲单元2240可在原始帧的整个区域中确定抖动补偿区域。图像扭曲单元2240可将关于抖动补偿区域的信息发送到转移和比例缩放单元2250。
转移和比例缩放单元2250可将抖动补偿区域移动到位于帧中心。然后，转移和比例缩放单元2250可基于从UI 130接收的缩放放大率来放大抖动补偿区域。例如，转移和缩放单元2250可根据输出尺寸通过放大抖动补偿区域来输出稳定的数字缩放图像。
UI模块163可提供与电子装置100一起操作的专用UI、GUI等。
感测单元170可感测电子装置100的状态、电子装置100的周围的状态以及穿戴电子装置100的用户的状态，并将关于感测到的状态的信息发送到控制器180。
例如，感测单元170可测量物理量或感测电子装置100的操作状态，并将测量或感测的信息转换为电信号。感测单元170可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁传感器、加速度传感器、握持传感器、接近传感器、颜色传感器(例如，红、绿和蓝(RGB)传感器)、生物传感器、温度/湿度传感器、照度传感器和紫外(UV)传感器中的至少一个，但不限于此。由于各个传感器的功能可由本领域普通技术人员从其名称直观地推断出来，因此将省略详细描述。
感测单元170还可包括控制电路，被配置为控制包括在所述控制电路中的一个或更多个传感器。在示例中，电子装置100还可包括处理器，被配置作为控制器180的一部分或独立于控制器180来控制感测单元170，使得处理器可在控制器180处于睡眠状态的同时控制感测单元170。
控制器180通常可被配置为控制电子装置100的整体操作。例如，通过执行存储在存储器160中的程序，控制器180可总的来说被配置为控制图像捕捉单元110、模拟信号处理单元120、图像信号处理单元121、UI 130、输出单元140、通信接口150、感测单元170等。
通过运行操作系统(OS)或应用程序，控制器180可被配置为控制与所述控制器连接的多个硬件或软件组件，并且执行各种数据处理和计算。控制器180可被实施为例如片上系统(SoC)。例如，控制器180可包括中央处理单元(CPU)、应用处理器(AP)和通信处理器(CP)中的一个或更多个。根据实施例，控制器180还可包括图形处理单元(GPU)。
根据示例，控制器180可被配置为使用关于包括在多个帧中的对象的运动或电子装置100的运动的信息来获取多个帧的抖动信息。
例如，控制器180可被配置为基于将多个帧进行比较的结果获取包括在多个帧中的对象的运动的第一运动信息。使用包括在电子装置100中的至少一个传感器，控制器180可被配置为获取关于与获取多个帧的持续时间相应的电子装置100的运动的第二运动信息。控制器180可被配置为使用第一运动信息和第二运动信息中的至少一个来获取关于各个多个帧的抖动信息。
控制器180可被配置为基于关于多个帧的抖动信息和关于缩放放大率的信息在各个多个帧的整个区域中确定与各个多个帧相应的抖动补偿区域。
例如，控制器180可被配置为基于抖动信息确定与电子装置100的运动相反或与对象的运动相应的稳定路径，并且根据稳定路径确定与各个多个帧相应的抖动补偿区域。此时，控制器180可被配置为至少部分地基于多个帧的分辨率信息来确定稳定路径。
控制器180可被配置为通过以放大率进行放大抖动补偿区域来产生与各个多个帧相应的输出帧，并且通过组合输出帧来产生数字缩放视频。
根据示例，控制器180可被配置为基于通过显示预览图像的触摸屏接收的指捏输入来确定缩放放大率和初始缩放区域。
此外，控制器180可被配置为基于多个帧的运动矢量来校正多个帧中的至少一个的卷帘快门失真。此外，控制器180可被配置为基于包括在抖动信息中的旋转分量信息来补偿用于旋转的多个帧中的至少一个。
根据示例的方法可以以将通过各种计算单元被执行并被记录在计算机可读记录介质中的程序命令的形式来呈现。计算机可读记录介质可单独地或组合地包括程序命令、数据文件、数据结构等。记录在计算机可读记录介质中的程序命令可针对本公开被专门设计或配置，或者可由计算机软件领域的普通技术人员知晓并使用。计算机可读记录介质的示例包括设计为存储和执行程序命令的诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM和DVD的光学介质、诸如软光盘的磁光介质以及诸如ROM、RAM和闪存的硬件装置。程序命令的示例包括由计算机使用解释器等可执行的高端语言代码以及由编译器创建的机器语言代码。
根据示例，电子装置100可在原始帧的整个区域中平移初始缩放区域以确定抖动补偿区域。与仅在原始帧的裁剪区域中确定抖动补偿区域的方法相比，能够更大程度地补偿抖动。
应当理解，本文描述的示例应仅在描述性意义上被考虑，而不是为了限制的目的。每个示例内的特征或方面的描述应当被典型地视为适用于其它实施例中的其它相似特征或方面。
虽然已经参照附图描述了一个或更多个示例，但是本领域普通技术人员将理解，在不脱离由所附权利要求限定的精神和范围的情况下，可在形式和细节上对其进行各种改变。

Claims (15)

1.一种在电子装置中稳定视频的方法，包括：
使用从图像传感器输入的图像信号获取多个帧；
接收请求以与所述多个帧有关的放大率进行放大的输入；
使用关于包括在所述多个帧中的对象的运动的信息和所述电子装置的运动的信息中的至少一个来获取所述多个帧的抖动信息；
基于所述多个帧的抖动信息和关于所述放大率的信息，针对各个多个帧，在所述多个帧中的每一个帧的整个区域中确定抖动补偿区域；
通过以所述放大率放大抖动补偿区域来产生与所述各个多个帧相应的输出帧；以及
提供包括所述输出帧的视频。
2.如权利要求1所述的方法，其中，获取所述多个帧的步骤包括：获取由所述电子装置获取的具有最大视角的帧。
3.如权利要求1所述的方法，其中，接收输入的步骤包括：
通过显示预览图像的触摸屏接收指捏输入；以及
基于所述指捏输入确定所述放大率和初始缩放区域。
4.如权利要求1所述的方法，其中，获取所述多个帧的抖动信息的步骤包括：
基于对所述多个帧进行比较，获取包括在所述多个帧中的对象的运动的第一运动信息；
使用包括在所述电子装置中的至少一个传感器来获取与所述多个帧的获取的持续时间相应的所述电子装置的运动的第二运动信息；以及
使用第一运动信息和第二运动信息中的至少一个来获取所述多个帧的抖动信息。
5.如权利要求1所述的方法，其中，针对所述各个多个帧确定抖动补偿区域的步骤包括：
基于抖动信息确定与所述电子装置的运动相反或与所述对象的运动相应的稳定路径；以及
基于所述稳定路径确定与所述各个多个帧相应的抖动补偿区域。
6.如权利要求5所述的方法，其中，确定所述稳定路径的步骤包括：至少部分地基于所述多个帧的分辨率信息确定所述稳定路径。
7.如权利要求1所述的方法，其中，产生所述输出帧的步骤包括：基于所述多个帧的运动矢量校正所述多个帧中的至少一个帧的滚动快门失真。
8.如权利要求1所述的方法，其中，产生与所述各个多个帧相应的输出帧的步骤包括：基于包括在抖动信息中的旋转分量信息来补偿所述多个帧中的至少一个帧中的旋转。
9.如权利要求8所述的方法，其中，补偿所述至少一个帧中的旋转的步骤包括：
将所述多个帧中的第一帧的第一抖动补偿区域平移到第一帧的中心区域；
将第一抖动补偿区域旋转一定角度；以及
将旋转后的第一抖动补偿区域平移到第一帧的中心区域。
10.如权利要求1所述的方法，还包括：
提供选择窗口，其中，所述选择窗口被配置为能够选择在输入帧的裁剪区域中确定抖动补偿区域的第一稳定方法或在输入帧的整个区域中确定抖动补偿区域的第二稳定方法；以及
基于通过所述选择窗口选择的方法产生视频。
11.如权利要求10所述的方法，还包括：
提供图形用户界面GUI，其中，所述GUI包括与通过第一稳定方法产生的第一视频相应的第一播放按钮和与通过第二稳定方法产生的第二视频相应的第二播放按钮；以及
基于对第一播放按钮和第二播放按钮中的一个的选择来播放第一视频和第二视频中的一个。
12.一种电子装置，包括：
用户界面UI，被配置为接收请求以与从图像传感器获取的多个帧有关的放大率进行放大的输入；
控制器，被配置为：使用关于包括在所述多个帧中的对象的运动的信息和所述电子装置的运动的信息中的至少一个来获取所述多个帧的抖动信息；基于所述多个帧的抖动信息和关于所述放大率的信息，针对各个多个帧，在所述多个帧中的每一个帧的整个区域中确定抖动补偿区域；通过以所述放大率放大抖动补偿区域来产生与所述各个多个帧相应的输出帧；以及
输出单元，被配置为输出包括所述输出帧的视频。
13.如权利要求12所述的电子装置，其中，所述各个多个帧的视角比所述输出帧的视角更宽。
14.如权利要求12所述的电子装置，其中，所述UI通过显示预览图像的触摸屏接收指捏输入，以及
所述控制器被配置为基于所述指捏输入来确定所述放大率和初始缩放区域。
15.如权利要求12所述的电子装置，其中，所述控制器被配置为：基于对所述多个帧进行比较的结果来获取包括在所述多个帧中的对象的运动的第一运动信息；使用包括在所述电子装置中的至少一个传感器来获取与所述多个帧的获取的持续时间相应的所述电子装置的运动的第二运动信息；使用第一运动信息和第二运动信息中的至少一个来获取所述多个帧的抖动信息。
CN201580080744.1A 2015-07-27 2015-11-17 用于稳定视频的方法和电子装置 Expired - Fee Related CN107750451B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020150106095A KR102352681B1 (ko) 2015-07-27 2015-07-27 동영상 안정화 방법 및 이를 위한 전자 장치
KR10-2015-0106095 2015-07-27
PCT/KR2015/012322 WO2017018612A1 (en) 2015-07-27 2015-11-17 Method and electronic device for stabilizing video

Publications (2)

Publication Number Publication Date
CN107750451A true CN107750451A (zh) 2018-03-02
CN107750451B CN107750451B (zh) 2020-09-29

Family

ID=57883272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580080744.1A Expired - Fee Related CN107750451B (zh) 2015-07-27 2015-11-17 用于稳定视频的方法和电子装置

Country Status (5)

Country Link
US (1) US9860448B2 (zh)
EP (1) EP3329666B1 (zh)
KR (1) KR102352681B1 (zh)
CN (1) CN107750451B (zh)
WO (1) WO2017018612A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105520712A (zh) * 2015-11-30 2016-04-27 广州三瑞医疗器械有限公司 一种阴道镜图像智能采集评估方法及装置
CN108933911A (zh) * 2018-07-27 2018-12-04 深圳市广和通无线股份有限公司 音量调节方法、装置、设备及存储介质
CN109729263A (zh) * 2018-12-07 2019-05-07 苏州中科广视文化科技有限公司 基于融合运动模型的视频除抖方法
CN111225208A (zh) * 2018-11-27 2020-06-02 北京小米移动软件有限公司 视频编码方法及装置
CN111355888A (zh) * 2020-03-06 2020-06-30 Oppo广东移动通信有限公司 视频拍摄方法、装置、存储介质以及终端
CN112804444A (zh) * 2020-12-30 2021-05-14 影石创新科技股份有限公司 一种视频处理方法、装置、计算设备及存储介质
CN112825543A (zh) * 2019-11-20 2021-05-21 华为技术有限公司 一种拍摄的方法及设备
CN113454982A (zh) * 2019-02-19 2021-09-28 三星电子株式会社 用于使图像稳定化的电子装置及其操作方法
WO2022161260A1 (zh) * 2021-01-27 2022-08-04 维沃移动通信有限公司 对焦方法、装置、电子设备及介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992416B2 (en) * 2016-11-07 2018-06-05 Motorola Mobility Llc Real time electronic video stabilization
US10404916B2 (en) 2017-08-30 2019-09-03 Qualcomm Incorporated Multi-source video stabilization
US10341562B1 (en) * 2017-09-07 2019-07-02 Gopro, Inc. Systems and methods for translational motion correction
US10534837B2 (en) * 2017-11-13 2020-01-14 Samsung Electronics Co., Ltd Apparatus and method of low complexity optimization solver for path smoothing with constraint variation
CN110731077B (zh) * 2018-03-23 2021-10-01 华为技术有限公司 视频图像防抖方法和终端
US10412306B1 (en) * 2018-08-21 2019-09-10 Qualcomm Incorporated Optical image stabilization method and apparatus
EP3982623A4 (en) * 2019-06-04 2022-07-27 Sony Group Corporation IMAGE FORMING DEVICE AND IMAGE FORMING CONTROL METHOD
US11762175B2 (en) * 2019-10-23 2023-09-19 Gopro, Inc. Methods and apparatus for seamless transitions between lens projections
KR20210092012A (ko) * 2020-01-15 2021-07-23 삼성전자주식회사 이미지 보정을 수행하는 전자 장치 및 이미지를 보정하는 방법
KR20210101078A (ko) 2020-02-07 2021-08-18 삼성전자주식회사 전자 장치 및 전자 장치의 영상 처리 방법
KR20210107958A (ko) 2020-02-24 2021-09-02 삼성전자주식회사 디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치
KR20210118622A (ko) 2020-03-23 2021-10-01 삼성전자주식회사 고배율에서 흔들림을 보정하는 방법 및 그 전자 장치
US11683584B2 (en) * 2020-10-22 2023-06-20 Samsung Electronics Co., Ltd Electronic device and method for supporting zoom functionality
JP2022120683A (ja) * 2021-02-05 2022-08-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
WO2023163781A1 (en) * 2022-02-23 2023-08-31 Gopro, Inc. Dynamic image dimension adjustment
WO2024076362A1 (en) * 2022-10-04 2024-04-11 Google Llc Stabilized object tracking at high magnification ratios

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101115143A (zh) * 2004-03-19 2008-01-30 松下电器产业株式会社 成像装置
CN101238714A (zh) * 2005-08-12 2008-08-06 Nxp股份有限公司 数字图像稳定化方法和系统
US20120081558A1 (en) * 2010-06-04 2012-04-05 Panasonic Corporation Image capture device, image generating method, and computer program thereof
CN102819163A (zh) * 2011-06-10 2012-12-12 佳能株式会社 抖动补偿设备及其控制方法、摄像设备及其控制方法
US20130182134A1 (en) * 2012-01-16 2013-07-18 Google Inc. Methods and Systems for Processing a Video for Stabilization Using Dynamic Crop
US20130208134A1 (en) * 2012-02-14 2013-08-15 Nokia Corporation Image Stabilization
US20140368682A1 (en) * 2013-06-14 2014-12-18 Vivotek Inc. Real-time image processing method and device
US20150146011A1 (en) * 2013-11-28 2015-05-28 Canon Kabushiki Kaisha Image pickup apparatus having fa zoom function, method for controlling the apparatus, and recording medium

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7800652B2 (en) * 2007-12-12 2010-09-21 Cyberlink Corp. Reducing video shaking
JP2009171362A (ja) 2008-01-17 2009-07-30 Toshiba Corp 撮影装置、撮影方法
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
US8897602B2 (en) 2009-07-22 2014-11-25 Aptina Imaging Corporation Imaging system with multiframe scaler
JP5521518B2 (ja) * 2009-12-01 2014-06-18 ソニー株式会社 撮像装置、撮像方法、およびプログラム
JP5538865B2 (ja) 2009-12-21 2014-07-02 キヤノン株式会社 撮像装置およびその制御方法
KR101603213B1 (ko) * 2010-02-12 2016-03-14 한화테크윈 주식회사 손떨림 보정 방법 및 이 방법을 채용한 디지털 촬영 장치
JP2012242563A (ja) * 2011-05-18 2012-12-10 Pentax Ricoh Imaging Co Ltd 手ブレ補正装置およびデジタルカメラ
WO2013005316A1 (ja) * 2011-07-06 2013-01-10 株式会社モルフォ 画像処理装置、画像処理方法及び画像処理プログラム
KR101324250B1 (ko) 2011-12-29 2013-11-01 삼성테크윈 주식회사 영상 처리를 통한 광축 오차 보상 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라
KR20130122411A (ko) 2012-04-30 2013-11-07 삼성전자주식회사 이미지 획득 장치 및 이미지 획득 장치의 동작 방법
JP5646582B2 (ja) * 2012-12-05 2014-12-24 オリンパスイメージング株式会社 撮像装置
JP6304967B2 (ja) 2013-08-05 2018-04-04 キヤノン株式会社 ズームレンズ及びそれを有する撮像装置
US8908102B1 (en) * 2013-09-03 2014-12-09 Google Inc. Generating and/or modifying motion compensation parameters for video stabilization
KR102220085B1 (ko) * 2013-10-18 2021-02-26 삼성전자주식회사 멀티윈도우 운용 방법 및 이를 지원하는 전자 장치
US9727967B2 (en) * 2014-06-23 2017-08-08 Samsung Electronics Co., Ltd. Methods for determining estimated depth in an image and systems thereof

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101115143A (zh) * 2004-03-19 2008-01-30 松下电器产业株式会社 成像装置
CN101238714A (zh) * 2005-08-12 2008-08-06 Nxp股份有限公司 数字图像稳定化方法和系统
US20120081558A1 (en) * 2010-06-04 2012-04-05 Panasonic Corporation Image capture device, image generating method, and computer program thereof
CN102819163A (zh) * 2011-06-10 2012-12-12 佳能株式会社 抖动补偿设备及其控制方法、摄像设备及其控制方法
US20130182134A1 (en) * 2012-01-16 2013-07-18 Google Inc. Methods and Systems for Processing a Video for Stabilization Using Dynamic Crop
US20130208134A1 (en) * 2012-02-14 2013-08-15 Nokia Corporation Image Stabilization
US20140368682A1 (en) * 2013-06-14 2014-12-18 Vivotek Inc. Real-time image processing method and device
US20150146011A1 (en) * 2013-11-28 2015-05-28 Canon Kabushiki Kaisha Image pickup apparatus having fa zoom function, method for controlling the apparatus, and recording medium

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105520712A (zh) * 2015-11-30 2016-04-27 广州三瑞医疗器械有限公司 一种阴道镜图像智能采集评估方法及装置
CN105520712B (zh) * 2015-11-30 2019-04-16 广州三瑞医疗器械有限公司 一种阴道镜图像智能采集评估方法及装置
CN108933911A (zh) * 2018-07-27 2018-12-04 深圳市广和通无线股份有限公司 音量调节方法、装置、设备及存储介质
CN108933911B (zh) * 2018-07-27 2021-12-07 深圳市广和通无线股份有限公司 音量调节方法、装置、设备及存储介质
CN111225208B (zh) * 2018-11-27 2022-09-02 北京小米移动软件有限公司 视频编码方法及装置
CN111225208A (zh) * 2018-11-27 2020-06-02 北京小米移动软件有限公司 视频编码方法及装置
CN109729263B (zh) * 2018-12-07 2021-02-23 苏州中科广视文化科技有限公司 基于融合运动模型的视频除抖方法
CN109729263A (zh) * 2018-12-07 2019-05-07 苏州中科广视文化科技有限公司 基于融合运动模型的视频除抖方法
CN113454982A (zh) * 2019-02-19 2021-09-28 三星电子株式会社 用于使图像稳定化的电子装置及其操作方法
CN113454982B (zh) * 2019-02-19 2024-04-19 三星电子株式会社 用于使图像稳定化的电子装置及其操作方法
CN112825543A (zh) * 2019-11-20 2021-05-21 华为技术有限公司 一种拍摄的方法及设备
CN112825543B (zh) * 2019-11-20 2022-10-04 华为技术有限公司 一种拍摄的方法及设备
CN111355888A (zh) * 2020-03-06 2020-06-30 Oppo广东移动通信有限公司 视频拍摄方法、装置、存储介质以及终端
CN112804444A (zh) * 2020-12-30 2021-05-14 影石创新科技股份有限公司 一种视频处理方法、装置、计算设备及存储介质
WO2022161260A1 (zh) * 2021-01-27 2022-08-04 维沃移动通信有限公司 对焦方法、装置、电子设备及介质

Also Published As

Publication number Publication date
US9860448B2 (en) 2018-01-02
EP3329666A4 (en) 2018-06-06
KR20170013102A (ko) 2017-02-06
CN107750451B (zh) 2020-09-29
WO2017018612A1 (en) 2017-02-02
US20170034410A1 (en) 2017-02-02
KR102352681B1 (ko) 2022-01-18
EP3329666B1 (en) 2021-09-08
EP3329666A1 (en) 2018-06-06

Similar Documents

Publication Publication Date Title
CN107750451A (zh) 用于稳定视频的方法和电子装置
CN105874776B (zh) 图像处理设备和方法
EP3076659B1 (en) Photographing apparatus, control method thereof, and non-transitory computer-readable recording medium
US9959484B2 (en) Method and apparatus for generating image filter
KR102045957B1 (ko) 휴대단말의 촬영 방법 및 장치
US20230007186A1 (en) Video Shooting Method and Electronic Device
TWI706379B (zh) 圖像處理方法及裝置、電子設備和儲存介質
TW202027033A (zh) 影像處理方法及裝置、電子設備、電腦可讀取的記錄媒體和電腦程式產品
KR102442485B1 (ko) 이미지 처리 방법 및 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체
WO2020155711A1 (zh) 图像生成方法及装置、电子设备和存储介质
US20210058595A1 (en) Method, Device, and Storage Medium for Converting Image
EP2693737A2 (en) Image processing method and apparatus
WO2021185296A1 (zh) 一种拍摄方法及设备
CN113596316A (zh) 拍照方法、图形用户界面及电子设备
KR20220092771A (ko) 촬영 방법 및 장치, 단말기, 저장 매체
EP3770859B1 (en) Image processing method, image processing apparatus, and storage medium
US11222235B2 (en) Method and apparatus for training image processing model, and storage medium
CN105357441B (zh) 一种图像采集方法及移动终端
US10939058B2 (en) Image processing apparatus, image processing method, and program
WO2019172437A1 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
CN112866557A (zh) 构图推荐方法和电子设备
CN114449154B (zh) 图像显示方法、装置、电子设备及存储介质
US20240045559A1 (en) Display Method, Electronic Device, Storage Medium, and Program Product
JP7169431B2 (ja) 画像処理装置、画像処理方法及びプログラム、撮影装置
US20210350766A1 (en) Display control device, imaging device, display control method, and display control program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200929

Termination date: 20211117

CF01 Termination of patent right due to non-payment of annual fee