CN111031200B - 电子装置、摄像机及图像稳定化方法 - Google Patents

电子装置、摄像机及图像稳定化方法 Download PDF

Info

Publication number
CN111031200B
CN111031200B CN201910809891.8A CN201910809891A CN111031200B CN 111031200 B CN111031200 B CN 111031200B CN 201910809891 A CN201910809891 A CN 201910809891A CN 111031200 B CN111031200 B CN 111031200B
Authority
CN
China
Prior art keywords
motion data
filtered
rotational motion
image
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910809891.8A
Other languages
English (en)
Other versions
CN111031200A (zh
Inventor
郭恺
崔承源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111031200A publication Critical patent/CN111031200A/zh
Application granted granted Critical
Publication of CN111031200B publication Critical patent/CN111031200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Abstract

本发明提供一种电子装置、摄像机及图像稳定化方法。所述电子装置包括：图像传感器，被配置以接收透过镜头入射于电子装置上的光且产生图像数据；陀螺仪，被配置以产生电子装置的旋转运动数据；以及图像稳定化器，被配置以基于从图像传感器接收的图像数据而产生电子装置的平移运动数据且通过对电子装置在捕获图像时的运动进行补偿来产生经稳定化图像，所述运动例如为手持式装置的振动。所述经稳定化图像是基于通过对平移运动数据执行第一滤波操作而获得的经滤波平移运动数据以及通过对从陀螺仪接收的旋转运动数据执行第二滤波操作而获得的经滤波旋转运动数据而产生。

Description

电子装置、摄像机及图像稳定化方法
[相关申请的交叉参考]
本申请主张2018年10月10日在韩国知识产权局提出申请的韩国专利申请第10-2018-0120592号的权利，所述韩国专利申请的公开内容全部并入本案供参考。
技术领域
本发明概念涉及一种摄像机模块、一种电子装置及一种所述电子装置的视频稳定化方法，且更具体来说，涉及一种用于将视频稳定化的摄像机模块、一种电子装置及一种所述电子装置的视频稳定化方法。
背景技术
最近，例如智能电话、平板个人计算机(personal computer，PC)及智能手表等展现出各种功能的便携式电子装置一直在扩充。例如智能电话及平板PC等便携式电子装置中可包括摄像机，用户在日常生活中可通过所述摄像机而利用便携式电子装置来捕获图像。在其中用户使用手持式电子装置拍摄或记录外部物体的静态图像及/或视频的情形中，用户的手的振动可能会降低所产生图像的质量。对于配备有能够具有高放大率及/或高分辨率的摄像机的电子装置，因手的振动而可能难以获得清晰的图像。
发明内容
根据示例性实施例，一种电子装置可包括：图像传感器，被配置以接收透过镜头的光且产生图像数据；陀螺仪，被配置以产生所述电子装置的旋转运动数据；以及图像稳定化器，被配置以：基于从所述图像传感器接收的所述图像数据而产生所述电子装置的平移运动数据，对所述平移运动数据执行第一滤波操作，以产生经滤波平移运动数据，对从所述陀螺仪接收的所述旋转运动数据执行第二滤波操作，以产生经滤波旋转运动数据，以及至少基于所述经滤波平移运动数据及所述经滤波旋转运动数据而产生经稳定化图像，其中产生所述经稳定化图像用以补偿所述电子装置在捕获所述图像时的运动。
根据示例性实施例，一种摄像机可包括：镜头；陀螺仪，被配置以产生旋转运动数据；图像传感器，被配置以从透过所述镜头的光产生图像数据；以及图像稳定化器，被配置以：基于从所述图像传感器接收的所述图像数据而产生平移运动数据，从所述陀螺仪接收所述旋转运动数据，对所述平移运动数据执行第一滤波操作以产生经滤波平移运动数据，对所述旋转运动数据执行第二滤波操作，以产生经滤波旋转运动数据，以及至少基于所述经滤波平移运动数据及所述经滤波旋转运动数据而产生经稳定化图像，其中产生所述经稳定化图像用以补偿所述摄像机在捕获所述图像时的旋转运动及/或平移运动。
根据示例性实施例，一种包括镜头的电子装置的图像稳定化方法可包括：基于透过所述镜头的光而接收图像数据；累加由陀螺仪获得的旋转运动数据，以产生经累加旋转运动数据；基于所述图像数据而累加平移运动数据，以产生经累加平移运动数据；(使用第一滤波器)对所述经累加平移运动数据进行滤波，以产生经滤波平移运动数据；(使用第二滤波器)对所述经累加旋转运动数据进行滤波，以产生经滤波旋转运动数据；以及至少基于所述经滤波平移运动数据及所述经滤波旋转运动数据而产生经稳定化图像，其中产生所述经稳定化图像用以补偿所述电子装置在捕获所述图像时的运动。
附图说明
结合附图阅读以下详细说明，可理解本文中所呈现的示例性实施例，附图中：
图1是示出根据示例性实施例的电子装置的图。
图2A至图2C是示出电子装置的图，其用于阐述电子装置的平移运动及旋转运动。
图3是示出根据示例性实施例的传感器及摄像机的图。
图4是示出根据示例性实施例的运动信息产生器的图。
图5是根据示例性实施例的电子装置的运动信息产生方法的流程图。
图6是示出根据示例性实施例的运动信息产生器的图。
图7是根据示例性实施例的电子装置的运动信息产生方法的流程图。
图8A是示出根据示例性实施例的经累加平移运动数据及经滤波平移运动数据相对于时间的关系的曲线图。
图8B是示出根据示例性实施例的经累加平移运动数据的图。
图9A是示出根据示例性实施例的经累加旋转运动数据及经滤波旋转运动数据相对于时间的关系的曲线图。
图9B是示出根据示例性实施例的经累加旋转运动数据的图。
图10是示出根据示例性实施例的运动信息产生器的图。
图11是示出根据示例性实施例的运动信息产生器的图。
图12是根据示例性实施例的电子装置的运动信息产生方法的流程图。
图13是示出根据示例性实施例的加法器的图。
图14是根据示例性实施例的电子装置的运动信息产生方法的流程图。
图15是示出根据示例性实施例的电子装置的图。
具体实施方式
在下文中，将参照附图详细地阐述示例性实施例。
图1是示出根据本文中所呈现的一些示例性实施例而配置的电子装置10的图。电子装置10可包括总线100、处理器200、存储器300、传感器400及摄像机500。在一些示例性实施例中，电子装置10可包括以下中的至少一者：智能电话、平板个人计算机(PC)、移动电话、图像电话或视频电话、电子书阅读器、桌上型PC、膝上型PC、上网本PC、工作站、个人数字助理(personal digital assistant，PDA)、便携式多媒体播放器(portable multimediaplayer，PMP)、MP3播放器、移动医疗装置、摄像机及可佩戴装置。可佩戴装置的实例可包括配件式可佩戴装置(例如电子手表、电子戒指、电子手链、电子踝链、电子项链、眼镜、隐形镜片)以及头戴式装置(head-mounted device，HMD)、以及生物可植入可佩戴装置(例如可植入电路)。
总线100可表示用于在电子装置10中所包括的各元件间进行通信的通信通道。图1示出电子装置10包括一个总线100，但各示例性实施例并非仅限于此。在其他示例性实施例中，电子装置10可包括多个总线。
处理器200可控制电子装置10的整体操作。举例来说，处理器200可为中央处理器(central processing unit，CPU)。处理器200可包括一个处理器核心，或者可包括多个处理器核心(例如，多核心)。处理器200可处理或执行存储器300中所存储的程序及/或数据。在示例性实施例中，处理器200可执行存储器300中所存储的程序，以控制电子装置10的功能。
存储器300可为用于存储数据的存储装置，且例如可存储操作系统(operatingsystem，OS)、各种程序及各条数据。存储器300可包括易失性存储器及非易失性存储器中的至少一者。非易失性存储器可包括只读存储器(read only memory，ROM)、可编程只读存储器(programmable read only memory，PROM)、可擦除可编程只读存储器(erasableprogrammable read only memory，EPROM)、电可擦除可编程只读存储器(electricalerasable programmable read only memory，EEPROM)、闪存存储器、相变随机存取存储器(phase-change random access memory，PRAM)、磁阻性随机存取存储器(magnetoresistive random access memory，MRAM)、电阻性随机存取存储器(resistiverandom access memory，RRAM)及铁电性随机存取存储器(ferroelectric random accessmemory，FRAM)。易失性存储器可包括动态随机存取存储器(dynamic random accessmemory，DRAM)、静态随机存取存储器(static random access memory，SRAM)及同步DRAM(synchronous DRAM，SDRAM)。存储器300可包括以下中的至少一者：硬盘驱动器(hard diskdrive，HDD)、固态驱动器(solid state drive，SSD)、压缩闪存(CompactFlash，CF)、安全数字(Secure Digital，SD)、微型安全数字(Micro Secure Digital，Micro-SD)、小型安全数字(Mini Secure Digital，Mini-SD)、极速数字(eXtreme Digital，xD)、及存储棒。存储器300可永久、半永久或临时地存储由处理器200执行的程序及指令。
传感器400可收集关于电子装置10的外围的各条信息。举例来说，传感器400可包括陀螺仪，所述陀螺仪被配置以获得关于电子装置10的旋转运动的数据。传感器400的其他实例包括超声波传感器、红外传感器、加速度传感器及重力传感器。此外，基于电子装置10的实现类型，电子装置10可包含于摄像机500或传感器400中。
摄像机500可产生电子装置10之外的物体的图像数据。所述图像数据可用于生成静态图像(例如图片)或图像序列(例如视频)。摄像机500可对图像数据执行各种图像处理中的至少一种。摄像机500可包括镜头520及图像传感器540，且此外，可包括图像信号处理器。所述图像信号处理器可包括图像稳定化器560，但为方便说明起见，图1仅示出图像信号处理器中所包括的各元件中的图像稳定化器560。
镜头520可收集由电子装置10之外的物体反射的光。镜头520可将所收集的光提供到图像传感器540。
图像传感器540可接收透过镜头520传输的光，且可产生图像数据。为此，图像传感器540可包括其中二维地排列有多个像素的像素阵列。举例来说，可对所述多个像素中的每一者分配多个参考颜色中的一者。举例来说，所述多个参考颜色可包括红色、绿色及蓝色(red,green,and blue，RGB)或者红色、绿色、蓝色及白色(red,green,blue,and white，RGBW)。在示例性实施例中，可利用电荷耦合装置(charge-coupled device，CCD)或互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)来实现图像传感器540。由图像传感器540产生的图像数据可被称为图像帧或帧数据。图像传感器540可产生待被呈现为静态图像(例如照片)的图像数据。图像传感器540还可以时间间隔来产生图像数据序列，例如视频。图像传感器540生成图像数据的频率对应于其中产生新图像的周期，且可被称为帧速率。换句话说，帧速率可表示每单位时间新产生的图像数据的条数。
图像稳定化器560可对从图像传感器540提供的图像数据执行图像处理。举例来说，图像稳定化器560可获得关于包括摄像机500的电子装置10的运动的信息，以关于图像数据对电子装置10的运动进行补偿。在示例性实施例中，可在电子装置10的用于获得多条图像数据的拍摄模式(例如移动图像拍摄模式、延时拍摄模式(time lapse photographingmode)或全景拍摄模式)中激活图像稳定化器560的操作。
在示例性实施例中，图像稳定化器560可通过使用从图像传感器540提供的图像数据来获得电子装置10的平移运动数据。平移运动数据可包括第一轴方向平移运动数据及第二轴方向平移运动数据，且以下将参照图2A至图2C更详细地阐述电子装置10的平移运动。
在示例性实施例中，图像稳定化器560可从传感器400中所包括的陀螺仪接收电子装置10的旋转运动数据。旋转运动数据可包括第一轴方向旋转运动数据、第二轴方向旋转运动数据及第三轴方向旋转运动数据，且以下将参照图2A至图2C更详细地阐述电子装置10的旋转运动。
在一些示例性实施例中，图像稳定化器560可被配置以从图像数据产生经稳定化图像，其中产生经稳定化图像用以补偿对平移运动及/或旋转运动。基于传感器400(例如陀螺仪420)对旋转运动的分析可包括因摄像机的手持振动所致的旋转运动，但对从图像传感器540接收的图像数据的分析(会从所述分析识别出平移运动)可包括平移运动以及因摄像机的手持振动所致的旋转运动。如果执行其中电子装置的运动的旋转分量影响平移运动确定结果及旋转运动确定结果的图像稳定化，则所得补偿可为不准确的。然而，手持式摄像机的振动可导致快速且短暂的旋转运动，而图像的平移运动可为递增且渐进的。在一些示例性实施例中，图像稳定化可区分因手持振动所致的旋转运动分量与运动的平移运动分量，以选择性地对平移运动应用平移图像补偿并选择性地对因手持振动所致的旋转运动应用旋转图像补偿。
在一些示例性实施例中，可对由传感器400(例如陀螺仪420)检测到的旋转运动应用高通滤波器，从而生成对于例如可由手持式装置的振动引起的快速且短暂的旋转运动可具选择性的第一运动确定结果，且可对通过图像分析检测到的平移运动应用低通滤波器，从而生成对于递增且渐进的平移运动可具选择性的确定结果。举例来说，图像稳定化器560可对所获得的平移运动数据执行第一滤波操作，以获得经滤波平移运动数据。在示例性实施例中，图像稳定化器560可累加平移运动数据以捕获经累加平移运动数据，且可将经累加平移运动数据除以镜头520的焦距以获得经调整平移运动数据，并且此外，可对经调整平移运动数据执行第一滤波操作以获得经滤波平移运动数据。图像稳定化器560可对所接收旋转运动数据执行第二滤波操作，以获得经滤波旋转运动数据。第二滤波操作可为与第一滤波操作具有互补关系的滤波操作。在示例性实施例中，第一滤波操作可为低通滤波操作，且第二滤波操作可为高通滤波操作。在示例性实施例中，低通滤波操作可包括高斯(Gaussian)低通滤波操作及无限脉冲响应(infinite impulse response，IIR)滤波操作，且高通滤波操作可包括高斯高通滤波操作及巴特沃斯(Butterworth)滤波操作。
在示例性实施例中，图像稳定化器560可至少基于经滤波平移运动数据及经滤波旋转运动数据而产生关于电子装置10的运动信息。图像稳定化器560可使用所产生运动信息来产生经稳定化图像。也就是说，图像稳定化器560可基于运动信息以如下方式用以补偿电子装置10的运动：选择性地对因手持式装置所致的旋转运动进行补偿及/或选择性地对有别于基于振动的旋转运动的平移运动进行补偿。
可将图像稳定化器560实现为各种类型，且在一些示例性实施例中，可将图像稳定化器560实现为硬件类型或软件类型。举例来说，当将图像稳定化器560实现为硬件类型时，图像稳定化器560可包括接收图像数据并对所接收图像数据执行图像处理的多个电路。此外，举例来说，当将图像稳定化器560实现为软件类型时，处理器200或摄像机500中所包括的单独处理器(图中未示出)可执行加载到存储器300中的程序及/或指令，从而执行图像处理操作。换句话说，可以阐述成，处理器200或摄像机500中所包括的单独处理器执行图像稳定化器560中所包括的程序，以执行上述图像处理操作。然而，本发明并非仅限于示例性实施例，且图像稳定化器560可如同固件一样被实现为其中软件与硬件相组合的类型。
在示例性实施例中，电子装置10可对从图像数据获得的平移运动数据执行第一滤波操作，对从陀螺仪获得的旋转运动数据执行第二滤波操作，并基于经滤波数据而产生关于电子装置10的全向运动信息。
图2A至图2C是示出电子装置的图，其用于阐述电子装置的平移运动及旋转运动。在图2A至图2C中，电子装置的外部特征(例如摄像机镜头的位置及大小以及电子装置的形状)仅是为了方便说明起见而呈现的实例，且本发明并非仅限于此。
参照图2A，其中提供所述电子装置的空间可为包括第一轴方向、第二轴方向及第三轴方向的三维(three-dimensional，3D)空间。在本文中，为方便说明起见，第一轴方向的轴可用作空间中的x轴，第二轴方向的轴可用作空间中的y轴，且第三轴方向的轴可用作空间中的z轴。此外，x轴、y轴及z轴可被界定成使得通过x轴方向与y轴方向的组合而表达的平面平行于电子装置的摄像机所处的平面。换句话说，沿着x轴的方向可平行于光沿法线方向入射于摄像机上的方向。电子装置可由电子装置的用户(摄像师)操纵，且在此种情形中，电子装置可能会意外地移动。
参照图2B，电子装置可在x轴方向上移动，或者可在x轴方向上旋转。电子装置的x轴方向平移运动可表示其中电子装置的质心在x轴方向上移动的运动。电子装置的x轴方向旋转运动可表示其中电子装置相对于电子装置的质心在x轴方向上旋转的运动。为方便说明起见，可将其中电子装置在x轴方向上旋转的运动称为电子装置的x轴方向旋转运动。
参照图2C，电子装置可在y轴方向上移动，或者可在y轴方向上旋转。电子装置的y轴方向平移运动可表示其中电子装置的质心在y轴方向上移动的运动。电子装置的y轴方向旋转运动可表示其中电子装置相对于电子装置的质心在y轴方向上旋转的运动。为方便说明起见，可将其中电子装置在y轴方向上旋转的运动称为电子装置的y轴方向旋转运动。
虽然图2B及图2C中未示出，然而电子装置可沿着z轴旋转。可将其中电子装置相对于电子装置的质心在z轴方向上旋转的运动称为电子装置的z轴方向旋转运动。
图3是示出根据示例性实施例的传感器400及摄像机500的图。在阐述图3所示传感器400及摄像机500时，不再对已参照图1给出的说明予以赘述。将结合图1参照图3来阐述传感器400及摄像机500。
传感器400可包括陀螺仪420。陀螺仪420可通过使用角动量原理来测量包括陀螺仪420的电子装置10的旋转运动。陀螺仪420可产生旋转运动数据RMD，旋转运动数据RMD包含关于电子装置10相对于参考状态执行旋转运动的角度的信息。在示例性实施例中，旋转运动数据RMD可包括第一轴方向旋转运动数据、第二轴方向旋转运动数据及第三轴方向旋转运动数据。
摄像机500可包括镜头520、图像传感器540及图像稳定化器560。图像稳定化器560可包括运动估计器561、运动信息产生器562及运动补偿器569。
在一些示例性实施例中，可将图像稳定化器560、运动估计器561、运动产生器562及/或运动补偿器569中的每一者实现为处理电路，例如通用硬件处理器(例如，CPU)；专门化硬件处理器，例如图形处理器(GPU)；及/或虚拟处理器，例如由仿真器及/或管理程序实现的虚拟机。在一些示例性实施例中，可将图像稳定化器560、运动估计器561、运动产生器562及/或运动补偿器569实现为专用集成电路(application-specific integratedcircuit，ASIC)；现场可编程门阵列(field-programmable gate array，FPGA)；及/或例如晶体管等离散组件的组合。在一些示例性实施例中，可将图像稳定化器560、运动估计器561、运动产生器562及/或运动补偿器569实现为存储在易失性存储器或非易失性存储器中且由处理器执行及/或用于配置硬件装置(例如FPGA)的软件指令，其中指令的执行使硬件装置实现图像稳定化器。此外，尽管图3所示的示例性实施例绘示包括运动估计器561、运动产生器562及运动补偿器569的图像稳定化器560，然而应了解，图像稳定化器560的元件的数目、功能、分解及/或交互作用可根据本发明的主题而变化。
运动估计器561可基于从图像传感器540接收的图像数据IMG而产生电子装置10的平移运动数据TMD。在示例性实施例中，运动估计器561可从以多个视点接收的多条图像数据IMG来产生平移运动数据TMD。在示例性实施例中，运动估计器561可基于图像数据IMG中所包含的物体的平移运动而获得平移运动数据TMD。运动估计器561可将所产生的平移运动数据TMD提供到运动信息产生器562。
运动信息产生器562可从运动估计器561接收平移运动数据TMD，且可从陀螺仪420接收旋转运动数据RMD。运动信息产生器562可对平移运动数据TMD执行第一滤波操作，对旋转运动数据RMD执行第二滤波操作，并基于经滤波平移运动数据及经滤波旋转运动数据而产生运动信息MI。运动信息MI可表示包含基于电子装置10的平移运动及旋转运动的电子装置10的运动的信息。
在一些示例性实施例中，运动信息产生器562可在一时间周期内累加平移运动数据，且可产生经累加平移运动数据。在示例性实施例中，运动信息产生器562可将经累加平移运动数据除以镜头520的焦距以产生经调整平移运动数据，并对经调整平移运动数据执行第一滤波操作以产生经滤波平移运动数据。在示例性实施例中，运动信息产生器562可随时间累加旋转运动数据以产生经累加旋转运动数据，且可对经累加旋转运动数据执行第二滤波操作以产生经滤波旋转运动数据。
在一些示例性实施例中，第一滤波操作及第二滤波操作可表示互补的滤波操作。在示例性实施例中，第一滤波操作可为低通滤波操作，且第二滤波操作可为带通滤波操作。
运动信息产生器562可将所产生的运动信息MI提供到运动补偿器569。图像稳定化器560可包括运动补偿器569，运动补偿器569基于从运动信息产生器562提供的运动信息MI来补偿图像数据IMG，从而产生经补偿图像IMG_comp。换句话说，运动补偿器569可基于运动信息MI而关于图像数据IMG对电子装置10的运动进行补偿，从而产生经补偿图像IMG_comp。因此，图像稳定化器560可输出经补偿图像数据IMG_comp作为比图像数据IMG更清晰的图像。作为第一实例，如果移动信息MI指示向左平移运动达所确定距离，则运动补偿器569可通过将由图像传感器540生成的图像向右移位所确定距离来进行补偿。作为第二实例，如果移动信息MI指示向下平移运动达所确定距离，则运动补偿器569可通过使由图像传感器540生成的图像向上移位所确定距离来进行补偿。作为第三实例，如果移动信息MI指示围绕Z轴顺时针旋转运动达所确定角度，则运动补偿器569可通过使由图像传感器504生成的图像逆时针旋转运动达所确定角度来进行补偿。如果移动信息MI指示沿着多个平移轴及/或旋转轴的移动，则运动补偿器569可通过应用与沿着每一轴的移动对应的多种形式的移位、旋转等来进行补偿。
根据示例性实施例的电子装置10可对从图像数据获得的平移运动数据执行第一滤波操作，对从陀螺仪获得的旋转运动数据执行第二滤波操作，并基于经滤波平移运动数据及经滤波旋转运动数据而产生关于电子装置10的全向运动信息。
在示例性实施例中，图像稳定化器560通过在相对低频带中对平移进行采样并在相对高频带中对旋转进行采样来对电子装置10的运动进行补偿。可通过对平移运动数据及旋转运动数据中的每一者执行互补滤波操作来获得用于图像补偿的运动信息MI。
图4是示出根据示例性实施例的运动信息产生器562的图。在阐述运动信息产生器562时，不再对前面所呈现的对图3的说明予以赘述。可参照图1、图3及图4来理解以下对运动信息产生器562的说明。
运动信息产生器562可包括第一运动累加器563、第二运动累加器564、第一滤波器565、第二滤波器566及加法器567。
第一运动累加器563可累加平移运动数据TMD，以产生经累加平移运动数据TMD_acc。平移运动数据TMD及经累加平移运动数据TMD_acc可表示沿着一个轴方向或沿着数个轴方向的平移。经累加平移运动数据TMD_acc可为具有一维(one-dimensional，1D)矩阵形式的数据。第一运动累加器563可将平移运动数据TMD与经累加平移运动数据TMD_acc的第n元素相加，以产生经累加平移运动数据TMD_acc的第(n+1)元素。可如以下方程式(1)中所表达来产生经累加平移运动数据TMD_acc：
TMD_acc[n+1]＝TMD_acc[n]+TMD(1)
可将数据被新累加到经累加平移运动数据TMD_acc的频率称为经累加平移运动数据的频率。在示例性实施例中，经累加平移运动数据的频率可等于或小于图像传感器540提供图像数据IMG的帧速率。
第二运动累加器564可累加旋转运动数据RMD，以产生经累加旋转运动数据RMD_acc。旋转运动数据RMD及经累加旋转运动数据RMD_acc可表示一个轴方向或数个轴方向的旋转。经累加旋转运动数据RMD_acc可为具有1D矩阵形式的数据。第二运动累加器564可将旋转运动数据RMD与经累加旋转运动数据RMD_acc的第m元素相加，以产生经累加旋转运动数据RMD_acc的第(m+1)元素。可如以下方程式(2)中所表达来产生经累加旋转运动数据RMD_acc：
RMD_acc[m+1]＝RMD_acc[m]+RMD(2)
第一滤波器565可对经累加平移运动数据TMD_acc执行第一滤波操作，以产生经滤波平移运动数据TMD_filt。第一滤波器565可为低通滤波器。在示例性实施例中，第一滤波器565可为各种低通滤波器(例如高斯低通滤波器及IIR滤波器)中的一者。
第二滤波器566可对经累加旋转运动数据RMD_acc执行第二滤波操作，以产生经滤波旋转运动数据RMD_filt。第二滤波器566可为与第一滤波器565具有互补关系的滤波器。第二滤波器566可为高通滤波器。在示例性实施例中，第二滤波器566可为各种高通滤波器(例如高斯高通滤波器及巴特沃斯滤波器)中的一者。此外，在示例性实施例中，第二滤波器566可为利用低通滤波器及减法器而实现的高通滤波器，所述减法器从未经滤波数据减去经低通滤波的数据。
加法器567可基于经滤波平移运动数据TMD_filt及经滤波旋转运动数据RMD_filt而产生运动信息MI。举例来说，加法器567可对经滤波平移运动数据TMD_filt的至少一部分与经滤波旋转运动数据RMD_filt的至少一部分进行求和及/或求平均，以产生运动信息MI。在示例性实施例中，经滤波平移运动数据TMD_filt可包括经滤波第一轴方向平移运动数据及经滤波第二轴方向平移运动数据，且经滤波旋转运动数据RMD_filt可包括经滤波第一轴方向旋转运动数据、经滤波第二轴方向旋转运动数据及经滤波第三轴方向旋转运动数据。在示例性实施例中，加法器567可对经滤波第一轴方向平移运动数据与经滤波第一轴方向旋转运动数据进行组合(例如，求和及/或求平均)以产生第一运动信息，对经滤波第二轴方向平移运动数据与经滤波第二轴方向旋转运动数据进行组合以产生第二运动信息，且产生经滤波第三轴方向平移运动数据作为第三运动信息。加法器567可输出第一运动信息、第二运动信息及第三运动信息作为运动信息MI。
图5是根据示例性实施例的电子装置的运动信息产生方法的流程图。以下将结合图1、图3及图4参照图5来阐述所述运动信息产生方法。在本文中所呈现及所论述的包括图5在内的流程图可绘示以某一次序安排的一组操作。然而，应了解，操作的安排可仅为一个实例，且可根据本发明的主题来添加、移除、重排序及/或同时执行各操作。
在操作S120中，电子装置10可基于从图像传感器接收的图像数据而产生平移运动数据。在示例性实施例中，平移运动数据是作为经累加平移运动数据TMD_acc而获得。
在操作S140中，电子装置10可对平移运动数据(例如经累加平移运动数据TMD_acc)执行第一滤波，以产生经滤波平移运动数据。在示例性实施例中，第一滤波可涉及对经累加平移运动数据TMD_acc应用运动信息产生器562中所包括的第一滤波器565，以产生经滤波平移运动数据TMD_filt。在示例性实施例中，第一滤波器565可为低通滤波器。
在操作S160中，电子装置10可对从陀螺仪接收的旋转运动数据(例如经累加旋转运动数据RMD_acc)执行第二滤波操作，以产生经滤波旋转运动数据。在示例性实施例中，第二滤波可涉及对经累加旋转运动数据RMD_acc应用运动信息产生器562中所包括的第二滤波器566，以产生经滤波旋转运动数据RMD_filt。在示例性实施例中，第二滤波操作可与第一滤波操作具有互补关系。在一个此种示例性实施例中，第一滤波器565可为低通滤波器，且作为互补的滤波过程，第二滤波器566可为高通滤波器。在示例性实施例中，第二滤波器566可为带通滤波器。
在操作S180中，电子装置10可至少基于经滤波平移运动数据及经滤波旋转运动数据而产生经稳定化图像。使用经滤波平移运动数据及经滤波旋转运动数据所产生的经稳定化图像可用以补偿电子装置在捕获图像时的运动。在一些示例性实施例中，所述产生可使用至少基于经滤波平移运动数据TMD_filt及经滤波旋转运动数据RMD_filt的运动信息MI。在示例性实施例中，运动信息产生器562中所包括的加法器567可执行如下操作：对经滤波平移运动数据TMD_filt的至少一部分与经滤波旋转运动数据RMD_filt的至少一部分进行组合(例如，求和或求平均)，以产生运动信息MI。
图6是示出根据示例性实施例的运动信息产生器562的图。在阐述运动信息产生器562时，不再对已参照图3及图5给出的说明予以赘述。以下将结合图1及图3参照图6来阐述运动信息产生器562。
除图5所示运动信息产生器562的配置以外，运动信息产生器562可进一步包括除法器568。
除法器568可从第一运动累加器563接收经累加平移运动数据TMD_acc，且可将经累加平移运动数据TMD_acc除以镜头520的焦距以产生经调整平移运动数据TMD_adj。在此种情形中，除法器568可首先执行如下操作：使经累加平移运动数据TMD_acc与焦距的单位匹配。举例来说，在其中经累加平移运动数据TMD_acc中所包含的多条数据中的每一者的单位是像素的情形中，可在焦距的单位之后执行除法运算，使得镜头520的焦距的单位变为像素。因此，除法器568可使经累加平移运动数据TMD_acc的单位与经累加旋转运动数据RMD_acc的单位匹配。
第一滤波器565可对由除法器568提供的经调整平移运动数据TMD_adj执行第一滤波操作，以产生经滤波平移运动数据TMD_filt。
通过使用根据示例性实施例的运动信息产生器562，电子装置10可对经累加平移运动数据及经累加旋转运动数据中的每一者执行第一滤波操作及第二滤波操作，且此外，可使由加法器567组合的经滤波平移运动数据的单位与经滤波旋转运动数据的单位匹配。
图7是根据示例性实施例的电子装置的运动信息产生方法的流程图。以下将结合图1、图3及图6参照图7来阐述所述运动信息产生方法。
在操作S210中，电子装置10可将经累加平移运动数据TMD_acc除以镜头520的焦距，以产生经调整平移运动数据TMD_adj。在示例性实施例中，运动信息产生器562中所包括的除法器568可将经累加平移运动数据TMD_acc除以镜头520的焦距，以产生经调整平移运动数据TMD_adj。
在操作S220中，电子装置10可通过使用第一滤波器565来对经调整平移运动数据TMD_adj进行滤波。在示例性实施例中，运动信息产生器562中所包括的第一滤波器565可对经调整平移运动数据TMD_adj执行第一滤波操作，以产生经滤波平移运动数据TMD_filt。在示例性实施例中，第一滤波器565可为低通滤波器。
在操作S240中，电子装置10可通过使用第二滤波器566对经累加旋转运动数据RMD_acc进行滤波。在示例性实施例中，运动信息产生器562中所包括的第二滤波器566可对经累加旋转运动数据RMD_acc执行第二滤波操作，以产生经滤波旋转运动数据RMD_filt。在示例性实施例中，第二滤波操作可与第一滤波操作具有互补关系。此外，在示例性实施例中，第二滤波器566可为带通滤波器。
在操作S260中，电子装置10可基于经滤波平移运动数据TMD_filt及经滤波旋转运动数据RMD_filt而产生运动信息MI。在示例性实施例中，运动信息产生器562中所包括的加法器567可对经滤波平移运动数据TMD_filt的至少一部分与经滤波旋转运动数据RMD_filt的至少一部分进行求和及/或求平均，以产生运动信息MI。
在操作S270中，电子装置10可至少基于运动信息MI而产生经稳定化图像，其中产生经稳定化图像用以补偿电子装置在捕获图像时的运动。
图8A是示出根据示例性实施例的经累加平移运动数据TMD_acc及经滤波平移运动数据TMD_filt相对于时间的关系的曲线图。
经累加平移运动曲线601可表示经累加平移运动数据TMD_acc相对于时间的曲线图。在曲线图的y轴中，0可表示电子装置的初始位置，且经累加平移运动曲线601可表示其中相对于时间来标绘经累加平移运动数据TMD_acc中所包含的多条数据中与一个方向对应的各条数据且接着将各所标绘点连接的曲线图。
经滤波平移运动曲线602可表示经滤波平移运动数据TMD_filt相对于时间的曲线图。经滤波平移运动数据TMD_filt可为通过对经累加平移运动数据TMD_acc执行低通滤波操作而获得的数据。
在一些示例性实施例中，电子装置可基于包含低频分量而不包含高频分量的平移运动来调整图像数据，以对电子装置的平移运动进行补偿。在示例性实施例中，电子装置可使用表示从中移除了高频分量的例如经累加平移运动曲线601等的曲线图的经滤波平移运动数据TMD_filt来以可对平移运动进行补偿的方式调整图像数据。
在一些示例性实施例中，虽然曲线图中未示出，然而电子装置可基于包含高频分量但不包含低频分量的旋转运动对图像数据进行补偿。在示例性实施例中，电子装置可从经累加平移运动数据TMD_acc移除低频分量，且可使用经滤波平移运动数据TMD_filt来以可对旋转运动进行补偿的方式调整图像数据。
图8B是示出根据示例性实施例的经累加平移运动数据TMD_acc的图。经累加平移运动数据TMD_acc可表示1D矩阵形式。经累加平移运动数据TMD_acc可包含n(其中n是自然数)个元素。电子装置可累加平移运动数据以产生经累加平移运动数据TMD_acc，且可管理经累加平移运动数据TMD_acc。电子装置可对经累加平移运动数据TMD_acc执行第一滤波操作，以产生经滤波平移运动数据。
图9A是示出根据示例性实施例的经累加旋转运动数据RMD_acc及经滤波旋转运动数据RMD_filt相对于时间的关系的曲线图。
经累加旋转运动曲线901可表示经累加旋转运动数据RMD_acc相对于时间的曲线图。在曲线图的y轴中，0可表示电子装置的初始位置，且经累加旋转运动曲线901可表示其中相对于时间来标绘经累加旋转运动数据RMD_acc中所包含的多条数据中与一个方向对应的各条数据且接着将各所标绘点连接的曲线图。
经滤波旋转运动曲线902可表示经滤波旋转运动数据RMD_filt相对于时间的曲线图。经滤波旋转运动数据RMD_filt可为通过对经累加旋转运动数据RMD_acc执行高通滤波操作而获得的数据。
图9B是示出根据示例性实施例的经累加旋转运动数据RMD_acc的图。经累加旋转运动数据RMD_acc可表示1D矩阵形式。经累加旋转运动数据RMD_acc可包含m(其中m是自然数)个元素。电子装置可累加旋转运动数据以产生经累加旋转运动数据RMD_acc，且可管理经累加旋转运动数据RMD_acc。电子装置可对经累加旋转运动数据RMD_acc执行第二滤波操作以产生经滤波旋转运动数据。
图10是示出根据示例性实施例的运动信息产生器562的图。在阐述运动信息产生器562时，不再对已参照图6给出的说明予以赘述。
在图10中，不同于图6，第一滤波器565可为低通滤波器565，且第二滤波器566可为带通滤波器566。
如以上参照图8A所述，在产生运动信息MI的过程中，运动信息产生器562可有效地使用多条经累加平移运动数据TMD_acc中具有低频分量的各条数据，且可有效地使用多条经累加旋转运动数据RMD_acc中具有高频分量的各条数据。
因此，低通滤波器565可对经调整平移运动数据TMD_adj执行低通滤波操作，以产生经滤波平移运动数据TMD_filt。
此外，高通滤波器566可对经累加旋转运动数据RMD_acc执行高通滤波操作，以产生经滤波旋转运动数据RMD_filt。
图11是示出根据示例性实施例的运动信息产生器562的图。在阐述运动信息产生器562时，不再对已参照图6及图10给出的说明予以赘述。
在图11中，不同于图6，第一滤波器565可为第一低通滤波器565，且第二滤波器566可包括第二低通滤波器566-1及减法器566-2。此外，不同于图10，可利用第二低通滤波器566-1来实现作为高通滤波器的第二滤波器566。
第一低通滤波器565可对经调整平移运动数据TMD_adj执行低通滤波操作，以产生经滤波平移运动数据TMD_filt。
第二低通滤波器566-1可对经累加旋转运动数据RMD_acc执行低通滤波操作，以产生低通旋转运动数据RMD_lpf。减法器566-2可从经累加旋转运动数据RMD_acc减去低通旋转运动数据RMD_lpf，以产生经滤波旋转运动数据RMD_filt。第二低通滤波器566-1的操作及减法器566-2的操作可作为一个操作而提供，且可表示一个高通滤波器566的操作。
图12是根据示例性实施例的电子装置的运动信息产生方法的流程图。图12示出与图11所示示例性实施例对应的流程图。以下将结合图1及图11参照图12来阐述所述运动信息产生方法。
在操作S310中，电子装置10可累加平移运动数据TMD以产生经累加平移运动数据TMD_acc。在示例性实施例中，运动信息产生器562中所包括的第一运动累加器563可随时间累加平移运动数据TMD以产生经累加平移运动数据TMD_acc。
在操作S320中，电子装置10可将经累加平移运动数据TMD_acc除以镜头520的焦距，以产生经调整平移运动数据TMD_adj。在示例性实施例中，运动信息产生器562中所包括的除法器568可将经累加平移运动数据TMD_acc除以镜头520的焦距，以产生经调整平移运动数据TMD_adj。
在操作S330中，电子装置10可通过使用第一低通滤波器565对经调整平移运动数据TMD_adj进行滤波。在示例性实施例中，运动信息产生器562中所包括的第一低通滤波器565可对经调整平移运动数据TMD_adj执行低通滤波操作，以产生经滤波平移运动数据TMD_filt。
在操作S340中，电子装置10可累加旋转运动数据RMD，以产生经累加旋转运动数据RMD_acc。在示例性实施例中，运动信息产生器562中所包括的第二运动累加器564可随时间累加旋转运动数据RMD，以产生经累加旋转运动数据RMD_acc。
在操作S350中，电子装置10可通过使用第二低通滤波器566-1对经累加旋转运动数据RMD_acc进行滤波。在示例性实施例中，运动信息产生器562中所包括的第二低通滤波器566-1可对经累加旋转运动数据RMD_acc执行低通滤波操作，以产生低通旋转运动数据RMD_lpf。
在操作S360中，电子装置10可从经累加旋转运动数据RMD_acc减去低通旋转运动数据RMD_lpf，以产生经滤波旋转运动数据RMD_filt。在示例性实施例中，运动信息产生器562中所包括的减法器566-2可从经累加旋转运动数据RMD_acc减去低通旋转运动数据RMD_lpf，以产生经滤波旋转运动数据RMD_filt。
在操作S370中，电子装置10可基于经滤波平移运动数据TMD_filt及经滤波旋转运动数据RMD_filt而产生运动信息MI。在示例性实施例中，运动信息产生器562中所包括的加法器567可执行如下操作：对经滤波平移运动数据TMD_filt的至少一部分与经滤波旋转运动数据RMD_filt的至少一部分进行组合(例如，求和及/或求平均)，以产生运动信息MI。
在操作S380中，电子装置10可至少基于运动信息MI而产生经稳定化图像，其中产生经稳定化图像用以补偿电子装置在捕获图像时的运动。
图13是示出根据示例性实施例的加法器567的图。在示例性实施例中，加法器567可包括第一加法器567-1及第二加法器567-2。
在示例性实施例中，平移运动数据可包括第一轴方向平移运动数据及第二轴方向平移运动数据，且旋转运动数据可包括第一轴方向旋转运动数据、第二轴方向旋转运动数据及第三轴方向旋转运动数据。因此，经滤波平移运动数据TMD_filt可包括经滤波第一轴方向平移运动数据TMD_filt_x及经滤波第二轴方向平移运动数据TMD_filt_y，且经滤波旋转运动数据RMD_filt可包括经滤波第一轴方向旋转运动数据RMD_filt_x、经滤波第二轴方向旋转运动数据RMD_filt_y及经滤波第三轴方向旋转运动数据RMD_filt_z。
第一加法器567-1可对第一轴方向平移运动数据TMD_filt_x与经滤波第一轴方向旋转运动数据RMD_filt_x进行组合(例如，求和及/或求平均)，以产生第一轴方向运动信息MI_x。可将第一轴方向运动信息MI_x称为第一运动信息。
第二加法器567-2可对第二轴方向平移运动数据TMD_filt_y与经滤波第二轴方向旋转运动数据RMD_filt_y进行组合(例如，求和及/或求平均)，以产生第二轴方向运动信息MI_y。可将第二轴方向运动信息MI_y称为第二运动信息。
加法器567可输出经滤波第三轴方向旋转运动数据RMD_filt_z作为第三轴方向运动信息MI_z。可将第三轴方向运动信息MI_z称为第三运动信息。
最后，加法器567可输出第一轴方向运动数据MI_x、第二轴方向运动数据MI_Y及第三轴方向运动数据MI_Z作为运动信息MI。
图14是根据示例性实施例的电子装置的运动信息产生方法的流程图。具体来说，图14示出其中对具有不同频率的经累加平移运动数据及经累加旋转运动数据中的每一者执行处理的示例性实施例。以下将结合图1及图4参照图14来阐述所述运动信息产生方法。
经累加平移运动数据TMD_acc的频率可表示与其中累加新的平移运动数据的周期对应的频率，且经累加旋转运动数据RMD_acc的频率可表示与其中累加新的旋转运动数据对应的频率。在此种情形中，在示例性实施例中，经累加平移运动数据TMD_acc的频率可对应于图像传感器540产生图像数据IMG的成像频率，且经累加旋转运动数据RMD_acc的频率可等于陀螺仪420产生旋转运动数据RMD的频率。
在操作S405中，电子装置10可将经累加平移运动数据TMD_acc的频率与经累加旋转运动数据RMD_acc的频率进行比较，且可对频率较高的数据进行下采样以将所述数据的频率调整成较低频率。举例来说，当经累加平移运动数据TMD_acc的频率(其可基于图像传感器提供图像数据的成像频率)高于经累加旋转运动数据RMD_acc的频率时，电子装置10可对经累加平移运动数据TMD_acc进行下采样，以将数据的频率调整成经累加旋转运动数据RMD_acc的频率。另一方面，当经累加旋转运动数据RMD_acc的频率高于经累加平移运动数据TMD_acc的频率(其可基于图像传感器提供图像数据的成像频率)时，电子装置10可对经累加旋转运动数据RMD_acc进行下采样，以将数据的频率调整成经累加平移运动数据TMD_acc的频率。
随后，操作S410、S420、S440、S460及S480可分别与图7所示操作S210、S220、S240、S260及S270实质上相同。
图15是示出根据示例性实施例的电子装置1000的图。
电子装置1000可例如包括图1中所示出的电子装置10的全部或一些元件。电子装置1000可包括至少一个处理器(例如，应用程序(application program，AP))1210、通信装置1220、订户识别装置1229、存储器1230、传感器1240、输入装置1250、显示器1260、接口1270、音频装置1280、摄像机1291、电源管理装置1295、电池1296、指示器1297、及马达1298。
处理器1210可例如驱动OS或AP来控制与处理器1210连接的多个硬件或软件元件，且可对数据执行各种处理及操作。可将处理器1210实现为例如系统芯片(system on chip，SoC)。根据示例性实施例，处理器1210可进一步包括图形处理器(graphics processingunit，GPU)及/或图像信号处理器。处理器1210可包括图2中所示出的元件中的至少一些元件(例如，蜂窝式装置1221)。处理器1210可将从其他元件中的至少一者(例如，非易失性存储器)接收的指令或数据加载到易失性存储器中，且可将各条数据存储在非易失性存储器中。
通信装置1220可例如包括蜂窝式装置1221、无线保真(Wi-Fi)装置1222、蓝牙(Bluetooth)装置1223、全球导航卫星系统(global navigation satellite system，GNSS)装置(例如，全球定位系统(global positioning system，GPS)装置、格洛纳斯(GLONASS)模块、北斗导航卫星系统(BeiDou Navigation Satellite System，BDS)模块、或伽利略(Galileo)模块)1224、近场通信(near field communication，NFC)装置1225、多物质传输(multi-species transport，MST)装置1226、及射频(radio frequency，RF)装置1227。
蜂窝式装置1221可经由通信网络来例如提供话音呼叫、图像或视频呼叫、文本消息服务、或互联网服务。根据示例性实施例，蜂窝式装置1221可通过使用订户识别装置(例如，订户识别装置(subscriber identification device，SIM)卡)1229而在通信网络中对电子装置1000执行识别及验证。根据示例性实施例，蜂窝式装置1221可执行由处理器1210提供的功能中的至少一些功能。根据示例性实施例，蜂窝式装置1221可包括通信处理器(communication processor，CP)。
在一些示例性实施例中，Wi-Fi装置1222、蓝牙装置1223、GNSS装置1224、NFC装置1225及MST装置1226中的每一者可包括用于处理经由对应的装置传送或接收的数据的处理器。在一些示例性实施例中，Wi-Fi装置1222、蓝牙装置1223、GNSS装置1224、NFC装置1225及MST装置1226中的至少一些(例如，两个或更多个)可包含于一个集成芯片(integratedchip，IC)中或IC封装中。
RF装置1227可例如传送或接收通信信号(例如，RF信号)。RF装置1227可例如包括收发器、功率放大装置(power amplification device，PAM)、频率滤波器、低噪声放大器(low noise amplifier，LNA)、天线等。在其他示例性实施例中，Wi-Fi装置1222、蓝牙装置1223、GNSS装置1224、NFC装置1225及MST装置1226中的至少一者可经由单独的RF装置来传送或接收RF信号。
订户识别装置1229可例如包括各自包括订户识别装置的卡及/或嵌入式SIM。在一些示例性实施例中，订户识别装置1229可包含识别信息(例如，集成电路卡识别符(integrated circuit card identifier，ICCID)及/或订户信息(例如，国际移动订户身份(international mobile subscriber identity，IMSI))。
存储器1230可例如包括内部存储器1232或外部存储器1234。内部存储器1232可例如包括以下中的至少一者：易失性存储器(例如，DRAM、SRAM、SDRAM等)及非易失性存储器(例如，单次可编程ROM(one time programmable ROM，OTPROM)、PROM、EPROM、EEPROM、掩模型ROM、闪存ROM、闪存存储器(例如，与非(NAND)闪存存储器)或者或非(NOR)闪存存储器)等)、硬盘驱动器及SSD。
外部存储器1234可进一步包括闪存驱动器(例如，CF、SD、微型SD、小型SD、xD、多媒体卡(multimedia card，MMC)、存储棒等)。外部存储器1234可通过各种接口在功能上及/或物理上连接到电子装置1000。
安全装置1236可包括在安全等级上高于存储器1230的存储空间，且可为用于确保安全地存储数据及受保护执行环境的电路。安全装置1236可被实现为单独的电路，且可包括单独的处理器。安全装置1236可例如包括设置在电子装置1000的可附装智能芯片、SD卡或固定芯片中的嵌入式安全元件(embedded security element，eSE)。此外，安全装置1236可由与电子装置1000的OS不同的另一OS驱动。举例来说，安全装置1236可基于爪哇卡开放平台(java card open platform，JCOP)OS而运行。
传感器装置1240可测量物理量，或者可感测电子装置1000的运行状态，从而将所测量或所感测的信息转换成电信号。传感器装置1240可例如包括以下中的至少一者：姿势传感器1240A、陀螺仪传感器1240B、生物计量压力传感器1240C、磁传感器1240D、加速度传感器1240E、握持传感器1240F、近接传感器1240G、颜色传感器(例如，RGB传感器)1240H、生物传感器1240I、温度/湿度传感器1240J、照明传感器1240K、及紫外(ultraviolet，UV)传感器1240M。另外或作为另一选择，传感器装置1240可例如包括电鼻子(E-nose)传感器、肌电图(electromyography，EMG)传感器、脑电图(electroencephalogram，EEG)传感器、心电图(electrocardiogram，ECG)传感器、红外传感器、虹膜传感器、及/或指纹传感器。传感器装置1240可进一步包括用于控制其一个或多个传感器的控制电路。在一些示例性实施例中，电子装置1000可进一步包括另一处理器，所述另一处理器被配置为处理器1210的一部分或用以控制传感器装置1240的单独元件。在处理器1210处于睡眠状态时，所述另一处理器可控制传感器装置1240。
输入装置1250可例如包括触摸面板1252、(数字)笔传感器1254、键1256或超声波输入装置1258。触摸面板1252可例如使用电容类型、压敏类型、红外类型及超声波类型中的至少一者。此外，触摸面板1252可进一步包括控制电路。触摸面板1252可进一步包括触觉层，且因此，可对用户提供触觉反应。
(数字)笔传感器1254例如可为触摸面板1252的一部分，或者可包括单独的辨识片材。键1256可例如包括物理按钮、光学键或小键盘。超声波输入装置1258可通过麦克风1288感测在输入工具中产生的超声波，以检查与所感测的超声波对应的数据。
显示器1260可包括面板1262、全息图装置1264或投影仪1266。面板1262可被实现成柔性、透明或可佩戴的。面板1262可被配置为包括触摸面板1252的一个装置。全息图装置1264可通过使用光的干涉在空间上显示立体图像。投影仪1266可将光投射到屏幕上以显示图像。所述屏幕可例如位于电子装置1000之内或之外。在示例性实施例中，面板1262可包括用于测量用户触摸的压力强度的压力传感器(或力传感器)。所述压力传感器可与触摸面板1252被实现为一体，或者可被实现为与触摸面板1252独立的一个或多个传感器。在示例性实施例中，显示器1260可进一步包括用于控制面板1262、全息图装置1264或投影仪1266的控制电路。
接口1270可例如包括高清晰度多媒体接口(high definition multimediainterface，HDMI)1272、通用串行总线(universal serial bus，USB)1274、光学接口1276、或D超小型(D-subminiature，D-sub)接口1279。另外或作为另一选择，接口1270可例如包括移动高清晰度链路(mobile high-definition link，MHIL)接口、安全数字(SD)卡/多媒体卡(multimedia card，MMC)接口、或红外数据协会(infrared data association，IrDA)接口。
音频装置1280可例如沿双向方向转换声音及电信号。音频装置1280可例如处理通过扬声器1282、接收器1284、耳机1286或麦克风1288输入或输出的声音信息。
摄像机1291可例如能够捕获静态图像及/或移动图像。在示例性实施例中，摄像机1291可包括一个或多个图像传感器(例如，前传感器或后传感器)、镜头、图像信号处理器(image signal processor，ISP)、或闪光灯(例如，发光二极管(light-emitting diode，LED)或氙灯)。如以上参照图1至图14所述，摄像机1291可执行图像稳定化操作。
电源管理装置1295可例如管理电子装置1000的电源。在示例性实施例中，电源管理装置1295可包括电源管理集成电路(power management integrated circuit，PMIC)、充电器集成电路(integrated circuit，IC)、或者电池或燃料量表。所述PMIC可具有有线及/或无线充电类型。无线充电类型可例如包括磁共振类型、磁电感类型或电磁波类型。电源管理装置1295可进一步包括用于无线充电的额外电路(例如，线圈、共振电路或整流器)。电池或燃料量表可例如测量电池1296的剩余容量、已充电压、电流、或温度。电池1296可例如包括可再充电电池及/或太阳能电池。
指示器1297可显示电子装置1000或电子装置1000的一些元件中的每一者(例如，处理器1210)的某一状态(例如，升压状态、消息状态、充电状态等)。马达1298可接收电信号并生成机械输出(例如，振动或触觉效果)。虽然图中未示出，然而电子装置1000可包括用于支持移动电视机(television，TV)的处理装置(例如，GPU)。用于支持移动TV的处理装置可例如处理用于数字多媒体广播(digital multimedia broadcasting，DMB)、数字视频广播(digital video broadcasting，DVB)或Media FLO(TM)的媒体数据。
尽管已参照本发明的示例性实施例具体示出并阐述了本发明，然而应理解，可在不背离以上权利要求书的精神及范围的条件下对本发明作出形式及细节上的各种改变。

Claims (17)

1.一种电子装置，包括：
图像传感器，被配置以接收透过镜头的光且产生图像数据；
陀螺仪，被配置以产生所述电子装置的旋转运动数据；以及
图像稳定化器，被配置以
基于从所述图像传感器接收的所述图像数据而产生所述电子装置的平移运动数据，
对所述平移运动数据执行第一滤波操作，以产生经滤波平移运动数据，
对从所述陀螺仪接收的所述旋转运动数据执行第二滤波操作，以产生经滤波旋转运动数据，以及
至少基于所述经滤波平移运动数据及所述经滤波旋转运动数据而产生经稳定化图像，其中所述经稳定化图像用以补偿所述电子装置在捕获图像时的运动，
其中所述第一滤波操作是低通滤波操作，且所述第二滤波操作是高通滤波操作。
2.根据权利要求1所述的电子装置，其中所述图像稳定化器被配置以累加所述平移运动数据以产生具有一维矩阵形式的经累加平移运动数据，且对所述经累加平移运动数据执行所述第一滤波操作以产生所述经滤波平移运动数据。
3.根据权利要求1所述的电子装置，其中所述图像稳定化器被配置以累加所述平移运动数据以产生具有一维矩阵形式的经累加平移运动数据，且将所述经累加平移运动数据除以所述镜头的焦距，并执行所述第一滤波操作以产生所述经滤波平移运动数据。
4.根据权利要求1所述的电子装置，其中所述图像稳定化器被配置以累加所述旋转运动数据以产生具有一维矩阵形式的经累加旋转运动数据，且对所述经累加旋转运动数据执行所述第二滤波操作以产生所述经滤波旋转运动数据。
5.根据权利要求4所述的电子装置，其中
所述第一滤波操作是第一低通滤波操作，且
所述图像稳定化器被配置以对所述经累加旋转运动数据执行第二低通滤波操作以产生低通旋转运动数据，且从所述经累加旋转运动数据减去所述低通旋转运动数据以产生所述经滤波旋转运动数据。
6.根据权利要求1所述的电子装置，其中所述第一滤波操作与所述第二滤波操作是互补的滤波操作。
7.根据权利要求1所述的电子装置，其中所述图像稳定化器包括
运动估计器，被配置以基于所述图像数据而产生所述平移运动数据，
运动信息产生器，被配置以累加从所述运动估计器接收的所述平移运动数据，对经累加平移运动数据执行所述第一滤波操作以产生所述经滤波平移运动数据，对从所述陀螺仪接收的所述旋转运动数据执行所述第二滤波操作以产生所述经滤波旋转运动数据，且至少基于所述经滤波平移运动数据及所述经滤波旋转运动数据而产生运动信息，以及
运动补偿器，被配置以基于从所述运动信息产生器接收的所述运动信息而关于所述图像数据对所述电子装置的运动进行补偿以产生经补偿图像数据。
8.根据权利要求1所述的电子装置，其中
所述平移运动数据包括第一轴方向平移运动数据及第二轴方向平移运动数据，且
所述旋转运动数据包括第一轴方向旋转运动数据、第二轴方向旋转运动数据及第三轴方向旋转运动数据。
9.根据权利要求8所述的电子装置，其中
所述经滤波平移运动数据包括经滤波第一轴方向平移运动数据及经滤波第二轴方向平移运动数据，
所述经滤波旋转运动数据包括经滤波第一轴方向旋转运动数据、经滤波第二轴方向旋转运动数据及经滤波第三轴方向旋转运动数据，且
所述图像稳定化器被配置以对所述经滤波第一轴方向平移运动数据与所述经滤波第一轴方向旋转运动数据进行组合以产生第一运动信息，对所述经滤波第二轴方向平移运动数据与所述经滤波第二轴方向旋转运动数据进行组合以产生第二运动信息，且产生所述经滤波第三轴方向旋转运动数据作为第三运动信息。
10.根据权利要求1所述的电子装置，其中所述图像稳定化器被配置以
将所述陀螺仪的感测频率与所述图像传感器提供所述图像数据的成像频率进行比较，
在所述成像频率高于所述感测频率的条件下，对所述平移运动数据进行下采样，且
在所述感测频率高于所述成像频率的条件下，对所述旋转运动数据进行下采样。
11.根据权利要求1所述的电子装置，其中所述图像稳定化器的操作被配置以响应于所述电子装置开始使用所述镜头的移动图像拍摄操作、延时拍摄操作及全景拍摄操作中的一者而被激活。
12.一种摄像机，包括：
镜头；
陀螺仪，被配置以产生旋转运动数据；
图像传感器，被配置以从透过所述镜头的光产生图像数据；以及
图像稳定化器，被配置以
基于从所述图像传感器接收的所述图像数据而产生平移运动数据，
对所述平移运动数据执行第一滤波操作，以产生经滤波平移运动数据，
从所述陀螺仪接收所述旋转运动数据，
对所述旋转运动数据执行第二滤波操作，以产生经滤波旋转运动数据，以及
至少基于所述经滤波平移运动数据及所述经滤波旋转运动数据而产生经稳定化图像，其中所述经稳定化图像用以补偿所述摄像机在捕获图像时的旋转运动或平移运动，
其中所述第一滤波操作是低通滤波操作，且所述第二滤波操作是高通滤波操作。
13.根据权利要求12所述的摄像机，其中所述图像稳定化器被配置以产生经累加平移运动数据，
将所述经累加平移运动数据除以所述镜头的焦距，以产生经调整平移运动数据，
对所述经调整平移运动数据执行所述第一滤波操作，以产生所述经滤波平移运动数据，
产生经累加旋转运动数据，以及
对所述经累加旋转运动数据执行与所述第一滤波操作具有互补关系的所述第二滤波操作，以产生所述经滤波旋转运动数据。
14.一种包括镜头的电子装置的图像稳定化方法，所述图像稳定化方法包括：
基于透过所述镜头的光而接收图像数据；
基于所述图像数据而累加平移运动数据，以产生经累加平移运动数据；
使用第一滤波器对所述经累加平移运动数据进行滤波，以产生经滤波平移运动数据；
累加由陀螺仪获得的旋转运动数据，以产生经累加旋转运动数据；
使用第二滤波器对所述经累加旋转运动数据进行滤波，以产生经滤波旋转运动数据；以及
至少基于所述经滤波平移运动数据及所述经滤波旋转运动数据而产生经稳定化图像，其中所述经稳定化图像用以补偿所述电子装置在捕获图像时的运动，
其中所述第一滤波器包括低通滤波器，且所述第二滤波器包括高通滤波器。
15.根据权利要求14所述的图像稳定化方法，其中
所述经累加平移运动数据及所述经累加旋转运动数据中的每一者是具有一维矩阵形式的数据，且
所述产生所述经滤波平移运动数据包括将所述经累加平移运动数据除以所述镜头的焦距以产生经调整平移运动数据，并通过使用所述第一滤波器对具有所述一维矩阵形式的所述经调整平移运动数据进行滤波。
16.根据权利要求14所述的图像稳定化方法，其中
所述经累加平移运动数据及所述经累加旋转运动数据中的每一者是具有一维矩阵形式的数据，且
所述产生所述经滤波旋转运动数据包括
通过使用第二低通滤波器对具有所述一维矩阵形式的所述经累加旋转运动数据进行滤波，以产生低通旋转运动数据；以及
从所述经累加旋转运动数据减去所述低通旋转运动数据，以产生所述经滤波旋转运动数据。
17.根据权利要求14所述的图像稳定化方法，其中
所述经滤波平移运动数据包括经滤波第一轴方向平移运动数据及经滤波第二轴方向平移运动数据，
所述经滤波旋转运动数据包括经滤波第一轴方向旋转运动数据、经滤波第二轴方向旋转运动数据及经滤波第三轴方向旋转运动数据，
所述图像稳定化方法进一步包括
对所述经滤波第一轴方向平移运动数据与所述经滤波第一轴方向旋转运动数据进行组合，以产生第一运动信息，
对所述经滤波第二轴方向平移运动数据与所述经滤波第二轴方向旋转运动数据进行组合，以产生第二运动信息，
产生所述经滤波第三轴方向旋转运动数据作为第三运动信息，且
产生所述经稳定化图像是至少基于所述第一运动信息、所述第二运动信息及所述第三运动信息。
CN201910809891.8A 2018-10-10 2019-08-29 电子装置、摄像机及图像稳定化方法 Active CN111031200B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180120592A KR102573302B1 (ko) 2018-10-10 2018-10-10 영상의 안정화를 위한 카메라 모듈, 그것을 포함하는 전자 장치 및 전자 장치의 영상 안정화 방법
KR10-2018-0120592 2018-10-10

Publications (2)

Publication Number Publication Date
CN111031200A CN111031200A (zh) 2020-04-17
CN111031200B true CN111031200B (zh) 2023-05-23

Family

ID=70160641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910809891.8A Active CN111031200B (zh) 2018-10-10 2019-08-29 电子装置、摄像机及图像稳定化方法

Country Status (4)

Country Link
US (2) US10812720B2 (zh)
KR (1) KR102573302B1 (zh)
CN (1) CN111031200B (zh)
TW (1) TW202029728A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110731077B (zh) * 2018-03-23 2021-10-01 华为技术有限公司 视频图像防抖方法和终端
US11381745B2 (en) * 2019-03-07 2022-07-05 Invensense, Inc. Drift correction with phase and amplitude compensation for optical image stabilization
EP4009623B1 (en) * 2020-12-07 2023-01-25 Axis AB Electronic image stabilization of a video stream captured by a pannable and/or tiltable video camera
CN115683112B (zh) * 2022-10-24 2024-04-09 中国航空工业集团公司洛阳电光设备研究所 一种基于互补滤波器的光电跟踪系统量化误差抑制方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05120428A (ja) * 1991-10-25 1993-05-18 Fujitsu Ltd 運動パラメータ抽出方式
CN101951463A (zh) * 2010-05-19 2011-01-19 上海稳像信息技术有限公司 基于简易快速全局运动参数估计的实时视频稳像方法
CN102279701A (zh) * 2010-06-08 2011-12-14 索尼公司 图像稳定化装置、图像稳定化方法和程序
CN103700069A (zh) * 2013-12-11 2014-04-02 武汉工程大学 一种基于orb算子的无参考视频平滑度的评价方法
CN104170370A (zh) * 2012-01-16 2014-11-26 谷歌公司 为了稳定而使用动态裁切对视频进行处理的方法和系统
US8908102B1 (en) * 2013-09-03 2014-12-09 Google Inc. Generating and/or modifying motion compensation parameters for video stabilization
CN105052129A (zh) * 2013-03-15 2015-11-11 谷歌公司 级联相机运动估计、滚动快门检测和用于视频稳定性的相机抖动检测
CN106534692A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种视频稳像方法及装置
CN108353131A (zh) * 2016-10-17 2018-07-31 华为技术有限公司 获取图像的方法和终端设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101442612B1 (ko) * 2008-03-31 2014-10-30 삼성전자주식회사 흔들림 감지 유닛, 이를 구비한 흔들림 보정 장치, 및흔들림 보정 방법
KR100968974B1 (ko) * 2008-08-26 2010-07-14 삼성전기주식회사 손떨림 보정 장치
JP2010258494A (ja) * 2009-04-21 2010-11-11 Sanyo Electric Co Ltd 防振制御回路
JP5249378B2 (ja) * 2011-03-22 2013-07-31 キヤノン株式会社 撮像装置、及びその制御方法、プログラム
JP5519077B2 (ja) 2011-04-12 2014-06-11 富士フイルム株式会社 撮像装置
EP2819394A1 (en) * 2011-06-10 2014-12-31 Canon Kabushiki Kaisha Shake compensation apparatus, shake compensation control method, and image capturing apparatus and control method thereof
GB201116566D0 (en) 2011-09-26 2011-11-09 Skype Ltd Video stabilisation
US8860825B2 (en) 2012-09-12 2014-10-14 Google Inc. Methods and systems for removal of rolling shutter effects
US9071756B2 (en) 2012-12-11 2015-06-30 Facebook, Inc. Systems and methods for digital video stabilization via constraint-based rotation smoothing
JP6170395B2 (ja) 2013-09-26 2017-07-26 キヤノン株式会社 撮像装置およびその制御方法
US9204048B2 (en) 2014-03-27 2015-12-01 Facebook, Inc. Stabilization of low-light video
KR102397034B1 (ko) * 2015-11-02 2022-05-16 삼성전자주식회사 전자 장치 및 전자 장치의 손떨림 보정 방법
JP6725106B2 (ja) * 2016-06-16 2020-07-15 株式会社ザクティ 撮像装置
KR102608782B1 (ko) 2016-12-30 2023-12-04 삼성전자주식회사 이미지에서 전자 장치의 흔들림 영향을 보정하기 위한 방법 및 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05120428A (ja) * 1991-10-25 1993-05-18 Fujitsu Ltd 運動パラメータ抽出方式
CN101951463A (zh) * 2010-05-19 2011-01-19 上海稳像信息技术有限公司 基于简易快速全局运动参数估计的实时视频稳像方法
CN102279701A (zh) * 2010-06-08 2011-12-14 索尼公司 图像稳定化装置、图像稳定化方法和程序
CN104170370A (zh) * 2012-01-16 2014-11-26 谷歌公司 为了稳定而使用动态裁切对视频进行处理的方法和系统
CN105052129A (zh) * 2013-03-15 2015-11-11 谷歌公司 级联相机运动估计、滚动快门检测和用于视频稳定性的相机抖动检测
US8908102B1 (en) * 2013-09-03 2014-12-09 Google Inc. Generating and/or modifying motion compensation parameters for video stabilization
CN103700069A (zh) * 2013-12-11 2014-04-02 武汉工程大学 一种基于orb算子的无参考视频平滑度的评价方法
CN108353131A (zh) * 2016-10-17 2018-07-31 华为技术有限公司 获取图像的方法和终端设备
CN106534692A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种视频稳像方法及装置

Also Published As

Publication number Publication date
KR102573302B1 (ko) 2023-08-31
US10812720B2 (en) 2020-10-20
TW202029728A (zh) 2020-08-01
US20200120282A1 (en) 2020-04-16
CN111031200A (zh) 2020-04-17
KR20200040541A (ko) 2020-04-20
US11218636B2 (en) 2022-01-04
US20210029296A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
CN111031200B (zh) 电子装置、摄像机及图像稳定化方法
CN107636682B (zh) 图像采集装置及其操作方法
CN108206916B (zh) 用于获得平移拍摄图像的方法及支持该方法的电子装置
EP2903258B1 (en) Image-processing device and method, and image pickup device
WO2013164937A1 (ja) 撮像装置及び合焦制御方法
JP5736512B2 (ja) 撮像装置およびその動作制御方法
CN105190226A (zh) 图像判定装置、摄像装置、三维计量装置、图像判定方法以及程序
CN107003586B (zh) 摄像装置及摄像方法
EP3163348A1 (en) Imaging device
CN110731077A (zh) 视频图像防抖方法和终端
CN112840634B (zh) 用于获得图像的电子装置及方法
EP3661189A1 (en) Electronic device capable of controlling image display effect, and method for displaying image
US9843724B1 (en) Stabilization of panoramic video
CN106488116A (zh) 摄像装置
KR20180079767A (ko) 전자 장치 및 그 제어 방법
CN114390186B (zh) 视频拍摄方法及电子设备
EP3223509A1 (en) Imaging device, imaging method, and image processing program
CN102625046A (zh) 照相防抖装置及方法
TW202415084A (zh) 電子裝置以及圖像穩定化方法
US10715737B2 (en) Imaging device, still image capturing method, and still image capturing program
CN113286076A (zh) 拍摄方法及相关设备
JP6569015B2 (ja) 撮像装置、撮像方法、及び、撮像プログラム
JP6467116B2 (ja) 撮像装置、撮像方法、撮像プログラム
EP3223510B1 (en) Imaging device, imaging method, and image processing program
JP6816403B2 (ja) 画像管理システム、画像通信システム、画像管理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant