CN111835960A - 图像生成方法及装置、电子设备、可读存储介质 - Google Patents

图像生成方法及装置、电子设备、可读存储介质 Download PDF

Info

Publication number
CN111835960A
CN111835960A CN201910313755.XA CN201910313755A CN111835960A CN 111835960 A CN111835960 A CN 111835960A CN 201910313755 A CN201910313755 A CN 201910313755A CN 111835960 A CN111835960 A CN 111835960A
Authority
CN
China
Prior art keywords
shake
image
pixel
original images
camera module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910313755.XA
Other languages
English (en)
Inventor
尹志东
王辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201910313755.XA priority Critical patent/CN111835960A/zh
Publication of CN111835960A publication Critical patent/CN111835960A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本公开是关于一种图像生成方法及装置、电子设备、可读存储介质,应用于内置摄像模组和光学防抖组件的电子设备,所述方法包括:响应于接收到的拍摄指令,控制所述光学防抖组件实施防抖操作;配合于所述防抖操作,通过所述摄像模组拍摄得到多帧存在像素偏移的原始图像;将多帧原始图像拼合为最终图像。

Description

图像生成方法及装置、电子设备、可读存储介质
技术领域
本公开涉及图像处理技术领域,尤其涉及一种图像生成方法及装置、电子设备、可读存储介质。
背景技术
目前,用户对于手机等电子设备的拍照质量要求越来越高。相关技术中主要是通过提升硬件参数来提升拍照质量,比如使用包含更多像素点的图像传感器、更高规格的镜头系统等,导致摄像头模组的体积增大、功耗升高、成本上升。
发明内容
本公开提供一种图像生成方法及装置、电子设备、可读存储介质,以解决相关技术中的不足。
根据本公开实施例的第一方面,提供一种图像生成方法,应用于内置摄像模组和光学防抖组件的电子设备,所述方法包括:
响应于接收到的拍摄指令,控制所述光学防抖组件实施防抖操作;
配合于所述防抖操作,通过所述摄像模组拍摄得到多帧存在像素偏移的原始图像;
将多帧原始图像拼合为最终图像。
可选的,所述控制所述光学防抖组件实施防抖操作,包括:
通过所述光学防抖组件控制所述摄像模组中的镜头进行移动;和/或,
通过所述光学防抖组件控制所述摄像模组中的图像传感器进行移动。
可选的,所述配合于所述防抖操作,通过所述摄像模组拍摄得到多帧存在像素偏移的原始图像,包括:
当所述防抖操作包括若干操作阶段时,在每一操作阶段的实施前后分别拍摄至少一帧原始图像,其中实施前拍摄的原始图像与实施后拍摄的原始图像之间存在像素偏移。
可选的,多帧原始图像之间的像素偏移方向为像素排列方向。
可选的,相邻原始图像之间的像素偏移量为像素规格的非整数倍。
可选的,所述将多帧原始图像拼合为最终图像,包括:
确定多帧原始图像中的基准帧和偏移帧;
分别确定每一偏移帧与所述基准帧之间的差异信息;
根据所述基准帧和所述差异信息生成所述最终图像。
根据本公开实施例的第二方面,提供一种图像生成装置,应用于内置摄像模组和光学防抖组件的电子设备,所述装置包括:
控制单元,响应于接收到的拍摄指令,控制所述光学防抖组件实施防抖操作;
拍摄单元,配合于所述防抖操作,通过所述摄像模组拍摄得到多帧存在像素偏移的原始图像;
拼合单元,将多帧原始图像拼合为最终图像。
可选的,所述控制单元具体用于:
通过所述光学防抖组件控制所述摄像模组中的镜头进行移动;和/或,
通过所述光学防抖组件控制所述摄像模组中的图像传感器进行移动。
可选的,所述拍摄单元具体用于:
当所述防抖操作包括若干操作阶段时,在每一操作阶段的实施前后分别拍摄至少一帧原始图像,其中实施前拍摄的原始图像与实施后拍摄的原始图像之间存在像素偏移。
可选的,多帧原始图像之间的像素偏移方向为像素排列方向。
可选的,相邻原始图像之间的像素偏移量为像素规格的非整数倍。
可选的,所述拼合单元具体用于:
确定多帧原始图像中的基准帧和偏移帧;
分别确定每一偏移帧与所述基准帧之间的差异信息;
根据所述基准帧和所述差异信息生成所述最终图像。
根据本公开实施例的第三方面,提供一种电子设备,所述电子设备内置摄像模组和光学防抖组件,所述电子设备还包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令以实现如第一方面所述的方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如第一方面所述方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开通过在拍摄过程中主动控制光学防抖组件实施防抖操作,可以实现对光学防抖组件的功能复用,从而在无需额外添加其他硬件结构的情况下,基于单次接收的拍摄指令而得到存在像素偏移的多帧原始图像,有助于降低电子设备内部结构的复杂度、优化电子设备的内部结构,便于实现电子设备的轻薄化。同时,由于多帧原始图像之间存在像素偏移,使得不同原始图像之间形成细节、色彩等方面的差异,因而通过拼合为最终图像,可使最终图像同时包含多帧原始图像的细节、色彩等元素,从而在采用相同摄像模组的情况下,相比于仅采集单帧原始图像而言,能够极大地提升图像质量。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像生成方法的流程图。
图2是根据一示例性实施例示出的一种生成高质量图像的流程示意图。
图3是根据一示例性实施例示出的一种采集多帧存在像素偏移的原始图像的示意图。
图4是根据一示例性实施例示出的一种图像生成装置的框图。
图5是根据一示例性实施例示出的一种用于图像生成的装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是根据一示例性实施例示出的一种图像生成方法的流程图,如图1所示,该方法应用于内置摄像模组和光学防抖(Optical Image Stabilization,简称OIS)组件的电子设备,可以包括以下步骤:
在步骤102中,响应于接收到的拍摄指令,控制所述光学防抖组件实施防抖操作。
在一实施例中,OIS组件在相关技术中用于缓解或消除电子设备在拍摄过程中产生的晃动,可以提升拍摄稳定性,从而提高拍摄得到的图像质量。而在本公开的技术方案中,可以利用OIS组件的特性,即便在电子设备并未发生晃动的情况下,也可以主动控制OIS组件实施防抖操作,即OIS组件所实施的防抖操作与电子设备是否产生晃动无关,从而在无需增加新组件、不需要对电子设备实施结构改进的情况下,即可生成下文所述的多帧存在像素偏移的原始图像,因而能够在无需对摄像模组实施硬件升级的情况下,能够显著提升图像拍摄质量。
在一实施例中,根据OIS组件所采用的防抖原理,上文中实施防抖操作的方式也存在差异。当OIS组件的防抖原理为控制摄像模组中的镜头移动时,可以通过OIS组件控制摄像模组中的镜头进行移动,以使得摄像模组通过在镜头移动至不同位置时实施拍摄操作,即可分别获得多帧存在像素偏移的原始图像。当OIS组件的防抖原理为控制摄像模组中的图像传感器进行移动时,可以通过OIS组件控制摄像模组中的图像传感器进行移动,以使得摄像模组通过在图像传感器移动至不同位置时实施拍摄操作,即可分别获得多帧存在像素偏移的原始图像。同时,正如上文所述,OIS组件在实施防抖操作时,无论该防抖操作是通过对镜头或是对图像传感器实施移动而产生,都是为了得到多帧存在像素偏移的原始图像而实施,与电子设备本身产生的晃动无关(无论电子设备在此过程中是否产生晃动),并非为了实现光学防抖的作用。
当然,OIS组件在本公开的电子设备中,仍然可以实现光学防抖作用,这取决于用户的需求和设定。例如,电子设备可以提供多种备选模式,当用户选择防抖模式时,OIS组件可以在拍摄图像的过程中实现相关技术中的光学防抖作用;当用户选择高质量模式时,OIS组件可以用于实施本公开的上述技术方案,即通过拍摄多帧存在像素偏移的原始图像,拼合得到一张高质量的最终图像。
在步骤104中,配合于所述防抖操作,通过所述摄像模组拍摄得到多帧存在像素偏移的原始图像。
在一实施例中,OIS组件的防抖操作与摄像模组的拍摄操作之间相互配合,从而通过防抖操作使得摄像模组能够拍摄得到多帧存在像素偏移的原始图像。
在一实施例中,防抖操作可以包括若干操作阶段,可以在每一操作阶段的实施前后分别拍摄至少一帧原始图像,可以确保实施前拍摄的原始图像与实施后拍摄的原始图像之间存在像素偏移。基于对操作阶段的划分,可以提升防抖操作的可操作性,使得OIS组件可以基于对操作阶段的划分规则,准确实施对每帧原始图像的拍摄。以移动镜片为例,防抖操作过程中可以多次实施对镜片的移动,在当前位置时可以认为处于一操作阶段、移动至下一位置时可以认为进入下一操作阶段,从而分别进入各个操作阶段;当然,OIS组件可以控制镜片实施连续移动、并不存在明显的“当前位置”和“下一位置”等,可以根据镜片的移动距离确定其所处的操作阶段,比如在移动至预设距离时可以判定其处于相应的操作阶段,并实施拍摄操作,或者当OIS组件控制镜片匀速移动时,可以控制摄像模组按照相匹配的频率实施多次拍摄,即可确保在镜片移动至预设距离时拍摄得到相应的原始图像。
在一实施例中,OIS组件实施的防抖操作可使多帧原始图像之间的像素偏移方向为任意的预设方向。例如,该预设方向可以为像素排列方向(图像传感器上的像素通常排布为矩阵型的像素阵列,该像素排列方向可以为像素阵列的长度方向或宽度方向);或者,该预设方向可以不遵循像素排列方向,而采用其他的任意方向,本公开并不对此进行限制。当像素偏移方向为像素排列方向时,防抖操作产生的多帧原始图像之间在该像素排列方向上产生差异,差异内容相对较少,在对原始图像实施拼合处理时所需使用的处理资源相对较少,有助于降低对图像信号处理器的硬件需求。当像素偏移方向区别于像素排列方向时,像素偏移方向可以同时在像素排列方向的长度方向和宽度方向上产生相应的移动分量,相当于多帧原始图像之间同时在长度方向和宽度方向上产生差异,差异内容相对较多,可使拼合得到的最终图像包含相对更多的细节、色彩等元素,从而得到质量相对更高的最终图像。
在一实施例中,相邻原始图像之间的像素偏移量可以为预定义的任意长度,本公开并不对此进行限制。例如,像素偏移量可以为像素规格的整数倍,比如1个像素、2个像素等;再例如,像素偏移量可以为像素规格的非整数倍,比如0.25个像素、0.5个像素、0.75个像素、1.3个像素等。当像素偏移量为像素规格的非整数倍时,相比于整数倍的像素偏移量而言,能够形成相对更加细致的细节和色彩差异,从而能够使得最终图像实现相对更高的质量。通过在不同原始图像之间形成像素偏移,可使不同原始图像之间产生细节、色彩等方面的差异,因而通过对这些原始图像进行融合,可使得到的最终图像中同时包含所有原始图像分别包含的细节和色彩等信息,从而极大地提升了最终图像的图像质量。其中,摄像模组内含图像传感器上存在像素阵列,上述像素规格即像素阵列中的单个像素的宽度(像素通常呈正方形)。
在步骤106中,将多帧原始图像拼合为最终图像。
在一实施例中,可以确定多帧原始图像中的基准帧和偏移帧,比如基准帧可以为首帧原始图像、偏移帧为其他帧的原始图像;然后,可以分别确定每一偏移帧与所述基准帧之间的差异信息,并根据所述基准帧和所述差异信息生成所述最终图像。这里的差异信息可以包括色彩方面、细节方面和/或其他方面的信息,本公开并不对此进行限制。
由图1所示的实施例可知:本公开可将OIS组件复用于高质量的图像拍摄过程中,而并非仅将OIS组件应用于防抖处理,实现了对OIS组件的功能复用,可以在已有硬件结构的基础上,无需采用任何硬件升级手段,即可提升图像拍摄质量。
下面以用户通过手机进行拍照的场景为例,结合图2-3对本公开的技术方案进行说明。图2是根据一示例性实施例示出的一种生成高质量图像的流程示意图。如图2所示,该流程可以包括以下步骤:
在步骤202中,手机接收到拍摄指令。
在一实施例中,用户可以通过启动手机上的相机APP(Application,应用程序),并基于该相机APP发出拍摄指令,比如触发手机屏幕上显示的虚拟“拍照”按键、按压手机上的物理按键(单个按键或多个按键的组合)或者发出控制语音等方式,向手机发出相应的拍摄指令。
在步骤204中,手机确定用户设定的拍摄模式是否为高质量模式;若是,则转入步骤206B,否则转入步骤206A。
在一实施例中,手机可以支持多种拍摄模式,比如正常模式和高质量模式等。在正常模式下,手机可以基于相关技术中的技术方案实施拍摄操作;而在高质量模式下,手机可以基于本公开的技术方案对多帧原始图像进行拼合,以得到高质量(与正常模式下拍摄的图像相比,该高质量模式下拍摄的最终图像的质量相对更高)的最终图像。
在一实施例中,手机可以向用户提供相应的模式选项,使得用户可以根据实际需求选择采用正常模式、高质量模式或其他模式。
在一实施例中,手机可以内置AI(人工智能)系统,使得手机根据检测到的环境亮度、被摄场景、被摄对象的类型等信息,自动判断当前适用的拍摄模式,并进一步自动切换至该模式或向用户提供推荐信息。
在步骤206A中,当并非采用高质量模式时,手机正常拍摄一张图像。
在一实施例中,手机上装配的摄像模组可以仅拍摄一帧原始图像,并基于该原始图像生成相应的一张图像,该过程可以参考相关技术中的拍摄方案,此处不再赘述。
在一实施例中,手机内置有OIS组件,该OIS组件可以在拍摄过程中实现光学防抖,该过程可以参考相关技术中的光学防抖方案,此处不再赘述。
在步骤206B中,当采用高质量模式时,手机分别启动OIS组件、触发拍摄操作。
当OIS组件被应用于实现光学防抖功能时,可以检测手机在拍摄过程中产生的晃动,并基于该晃动实施防抖操作,比如控制摄像模组内的镜片或图像传感器进行移动,以抵消晃动所带来的负面影响。而当手机在高质量模式下启动OIS组件时,该OIS组件并不应用于实现光学防抖功能,该OIS组件可以主动实施防抖操作以使得上述的镜片或图像传感器发生移动,而不论手机是否发生晃动、与手机是否发生晃动无关;同时,配合于OIS组件实施的防抖操作,拍摄模组可以在上述镜片或图像传感器移动至不同位置时分别实施拍摄,以分别获得相互之间存在像素偏移的原始图像,即下文所述的基准帧和偏移帧。
在步骤208中,手机采集基准帧。
在一实施例中,手机可以控制拍摄模组在OIS组件尚未实施防抖操作之前实施拍摄,得到一帧原始图像,即基准帧。例如,图3是根据一示例性实施例示出的一种采集多帧存在像素偏移的原始图像的示意图。如图3所示,假定图像31为拍摄模组采集到的基准帧,该图像31中的字母R代表红色分量的图像像素、字母G代表绿色分量的图像像素、字母B代表蓝色分量的图像像素,这些图像像素分别沿x方向、y方向排列并构成相应的图像像素阵列,该图像像素阵列对应于图像传感器上的感光像素阵列。
在步骤210中,手机依次采集若干偏移帧。
在一实施例中,OIS组件通过实施防抖操作控制镜片或图像传感器发生移动,比如当产生的移动距离为d1时,手机控制拍摄模组实施拍摄以得到如图3所示的图像32,该图像32的左侧边沿位于直线L1处,该直线L1与图像31的左侧边沿之间形成0.25个像素的偏移量,即图像32与图像31之间形成0.25个像素的偏移量,因而图像32属于上述的偏移帧,该偏移帧与上述的基准帧之间存在0.25个像素的偏移量。
进一步地,OIS组件可以继续实施防抖操作,比如当产生的移动距离为d2时,手机控制拍摄模组实施拍摄以得到另一图像,该图像的左侧边沿位于直线L2处,该直线L2与直线L1之间形成0.25个像素的偏移量,相当于该图像与图像32之间形成0.25个像素的偏移量,亦即该图像与图像31之间形成0.5个像素的偏移量,因而该图像属于上述的偏移帧,该偏移帧与上述的基准帧之间存在0.5个像素的偏移量。
类似地,手机可以依次获得多帧偏移帧,这些偏移帧可以与上述的基准帧之间分别形成0.25、0.5、0.75、1个或其他数量个像素的偏移量,本公开并不对此进行限制。
在步骤212中,手机对基准帧与偏移帧进行拼合,生成相应的最终图像。
在一实施例中,由于偏移帧与基准帧之间存在像素偏移,使得偏移帧包含基准帧未能包含的其他细节、色彩等信息,且不同偏移帧所含的细节、色彩等信息不同,因而通过分别将每一偏移帧与基准帧进行比较,获得每一偏移帧与基准帧的差异信息(即基准帧未能包含的细节、色彩等信息),然后将差异信息融合至基准帧,即可得到包含所有细节、色彩等信息的最终图像。
在一实施例中,本公开并不限制偏移帧的数量。当偏移帧的数量相对更多时,可以获得更多的细节、色彩等信息,使得最终图像所包含的细节、色彩等信息更加丰富,即图像质量更高;而当偏移帧的数量相对较少时,可以在一定程度上提升最终图像所含的细节、色彩等的同时,相对减少手机花费在采集偏移帧、获取差异信息、融合差异信息等步骤上的时间,从而提升手机对拍摄指令的响应效率。
由图2所示的实施例可知:本公开无需对手机实施任何硬件升级,可以通过为手机设置多种拍摄模式,使得在正常模式下摄像模组能够实现相关技术中的拍摄操作、OIS组件能够实现相关技术中的光学防抖功能,以及在高质量模式下摄像模组与OIS组件相互配合,实现对多帧原始图像的采集和拼合,以得到相对更高质量(相比于正常模式)的最终图像,从而通过对OIS组件的功能复用,对相关技术中手机的功能扩展和升级。
与前述的图像生成方法的实施例相对应,本公开还提供了图像生成装置的实施例。
图4是根据一示例性实施例示出的一种图像生成装置框图。参照图4,该装置应用于内置摄像模组和光学防抖组件的电子设备,该装置包括:
控制单元41,响应于接收到的拍摄指令,控制所述光学防抖组件实施防抖操作;
拍摄单元42,配合于所述防抖操作,通过所述摄像模组拍摄得到多帧存在像素偏移的原始图像;
拼合单元43,将多帧原始图像拼合为最终图像。
可选的,所述控制单元41具体用于:
通过所述光学防抖组件控制所述摄像模组中的镜头进行移动;和/或,
通过所述光学防抖组件控制所述摄像模组中的图像传感器进行移动。
可选的,所述拍摄单元42具体用于:
当所述防抖操作包括若干操作阶段时,在每一操作阶段的实施前后分别拍摄至少一帧原始图像,其中实施前拍摄的原始图像与实施后拍摄的原始图像之间存在像素偏移。
可选的,多帧原始图像之间的像素偏移方向为像素排列方向。
可选的,相邻原始图像之间的像素偏移量为像素规格的非整数倍。
可选的,所述拼合单元43具体用于:
确定多帧原始图像中的基准帧和偏移帧;
分别确定每一偏移帧与所述基准帧之间的差异信息;
根据所述基准帧和所述差异信息生成所述最终图像。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
相应的,本公开还提供一种图像生成装置,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为实现如上述实施例中任一所述的屏幕补光的实现方法,比如该方法可以包括:响应于接收到的拍摄指令,控制所述光学防抖组件实施防抖操作;配合于所述防抖操作,通过所述摄像模组拍摄得到多帧存在像素偏移的原始图像;将多帧原始图像拼合为最终图像。
相应的,本公开还提供一种终端,所述终端包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于实现如上述实施例中任一所述的屏幕补光的实现方法的指令,比如该方法可以包括:响应于接收到的拍摄指令,控制所述光学防抖组件实施防抖操作;配合于所述防抖操作,通过所述摄像模组拍摄得到多帧存在像素偏移的原始图像;将多帧原始图像拼合为最终图像。
图5是根据一示例性实施例示出的一种用于图像生成的装置500的框图。例如,装置500可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图5,装置500可以包括以下一个或多个组件:处理组件502,存储器504,电源组件506,多媒体组件508,音频组件510,输入/输出(I/O)的接口512,传感器组件514,以及通信组件516。
处理组件502通常控制装置500的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件502可以包括一个或多个模块,便于处理组件502和其他组件之间的交互。例如,处理组件502可以包括多媒体模块,以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件506为装置500的各种组件提供电力。电源组件506可以包括电源管理系统,一个或多个电源,及其他与为装置500生成、管理和分配电力相关联的组件。
多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如,音频组件510包括一个麦克风(MIC),当装置500处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中,音频组件510还包括一个扬声器,用于输出音频信号。
I/O接口512为处理组件502和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器,用于为装置500提供各个方面的状态评估。例如,传感器组件514可以检测到装置500的打开/关闭状态,组件的相对定位,例如所述组件为装置500的显示器和小键盘,传感器组件514还可以检测装置500或装置500一个组件的位置改变,用户与装置500接触的存在或不存在,装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件514还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络,如WiFi,2G或3G,4G LTE、5G NR(New Radio)或它们的组合。在一个示例性实施例中,通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件516还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器504,上述指令可由装置500的处理器520执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种图像生成方法,其特征在于,应用于内置摄像模组和光学防抖组件的电子设备,所述方法包括:
响应于接收到的拍摄指令,控制所述光学防抖组件实施防抖操作;
配合于所述防抖操作,通过所述摄像模组拍摄得到多帧存在像素偏移的原始图像;
将多帧原始图像拼合为最终图像。
2.根据权利要求1所述的方法,其特征在于,所述控制所述光学防抖组件实施防抖操作,包括:
通过所述光学防抖组件控制所述摄像模组中的镜头进行移动;和/或,
通过所述光学防抖组件控制所述摄像模组中的图像传感器进行移动。
3.根据权利要求1所述的方法,其特征在于,所述配合于所述防抖操作,通过所述摄像模组拍摄得到多帧存在像素偏移的原始图像,包括:
当所述防抖操作包括若干操作阶段时,在每一操作阶段的实施前后分别拍摄至少一帧原始图像,其中实施前拍摄的原始图像与实施后拍摄的原始图像之间存在像素偏移。
4.根据权利要求1所述的方法,其特征在于,多帧原始图像之间的像素偏移方向为像素排列方向。
5.根据权利要求1所述的方法,其特征在于,相邻原始图像之间的像素偏移量为像素规格的非整数倍。
6.根据权利要求1所述的方法,其特征在于,所述将多帧原始图像拼合为最终图像,包括:
确定多帧原始图像中的基准帧和偏移帧;
分别确定每一偏移帧与所述基准帧之间的差异信息;
根据所述基准帧和所述差异信息生成所述最终图像。
7.一种图像生成装置,其特征在于,应用于内置摄像模组和光学防抖组件的电子设备,所述装置包括:
控制单元,响应于接收到的拍摄指令,控制所述光学防抖组件实施防抖操作;
拍摄单元,配合于所述防抖操作,通过所述摄像模组拍摄得到多帧存在像素偏移的原始图像;
拼合单元,将多帧原始图像拼合为最终图像。
8.根据权利要求7所述的装置,其特征在于,所述控制单元具体用于:
通过所述光学防抖组件控制所述摄像模组中的镜头进行移动;和/或,
通过所述光学防抖组件控制所述摄像模组中的图像传感器进行移动。
9.根据权利要求7所述的装置,其特征在于,所述拍摄单元具体用于:
当所述防抖操作包括若干操作阶段时,在每一操作阶段的实施前后分别拍摄至少一帧原始图像,其中实施前拍摄的原始图像与实施后拍摄的原始图像之间存在像素偏移。
10.根据权利要求7所述的装置,其特征在于,多帧原始图像之间的像素偏移方向为像素排列方向。
11.根据权利要求7所述的装置,其特征在于,相邻原始图像之间的像素偏移量为像素规格的非整数倍。
12.根据权利要求7所述的装置,其特征在于,所述拼合单元具体用于:
确定多帧原始图像中的基准帧和偏移帧;
分别确定每一偏移帧与所述基准帧之间的差异信息;
根据所述基准帧和所述差异信息生成所述最终图像。
13.一种电子设备,其特征在于,所述电子设备内置摄像模组和光学防抖组件,所述电子设备还包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令以实现如权利要求1-6中任一项所述的方法。
14.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。
CN201910313755.XA 2019-04-18 2019-04-18 图像生成方法及装置、电子设备、可读存储介质 Pending CN111835960A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910313755.XA CN111835960A (zh) 2019-04-18 2019-04-18 图像生成方法及装置、电子设备、可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910313755.XA CN111835960A (zh) 2019-04-18 2019-04-18 图像生成方法及装置、电子设备、可读存储介质

Publications (1)

Publication Number Publication Date
CN111835960A true CN111835960A (zh) 2020-10-27

Family

ID=72915005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910313755.XA Pending CN111835960A (zh) 2019-04-18 2019-04-18 图像生成方法及装置、电子设备、可读存储介质

Country Status (1)

Country Link
CN (1) CN111835960A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1258858A (zh) * 1998-12-31 2000-07-05 三星电子株式会社 用于在照相机中产生高品质图像的方法及其设备
US6195125B1 (en) * 1995-08-11 2001-02-27 Canon Kabushiki Kaisha Pixel shifting image sensor with a different number of images sensed in each mode
CN106257912A (zh) * 2015-06-16 2016-12-28 奥林巴斯株式会社 摄像装置、摄像方法
CN106464809A (zh) * 2014-05-29 2017-02-22 奥林巴斯株式会社 摄像装置、图像处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195125B1 (en) * 1995-08-11 2001-02-27 Canon Kabushiki Kaisha Pixel shifting image sensor with a different number of images sensed in each mode
CN1258858A (zh) * 1998-12-31 2000-07-05 三星电子株式会社 用于在照相机中产生高品质图像的方法及其设备
CN106464809A (zh) * 2014-05-29 2017-02-22 奥林巴斯株式会社 摄像装置、图像处理方法
CN106257912A (zh) * 2015-06-16 2016-12-28 奥林巴斯株式会社 摄像装置、摄像方法

Similar Documents

Publication Publication Date Title
CN108419016B (zh) 拍摄方法、装置及终端
CN107426502B (zh) 拍摄方法及装置、电子设备、存储介质
CN112114765A (zh) 投屏方法、装置及存储介质
CN104869308A (zh) 拍摄照片的方法及装置
CN109922252B (zh) 短视频的生成方法及装置、电子设备
CN116156314A (zh) 一种视频拍摄方法及电子设备
CN112217990A (zh) 任务调度方法、任务调度装置及存储介质
CN114500821B (zh) 拍照方法及装置、终端及存储介质
CN111953904A (zh) 拍摄方法、装置、电子设备及存储介质
CN111953903A (zh) 拍摄方法、装置、电子设备及存储介质
CN111343386B (zh) 图像信号处理方法及装置、电子设备、存储介质
CN115134505B (zh) 预览画面生成方法及装置、电子设备、存储介质
CN111614910B (zh) 一种文件生成方法、装置、电子设备及存储介质
CN111835941B (zh) 图像生成方法及装置、电子设备、计算机可读存储介质
CN108650412B (zh) 一种显示方法、显示装置和计算机可读存储介质
CN108156381B (zh) 拍照方法及装置
CN111835977B (zh) 图像传感器、图像生成方法及装置、电子设备、存储介质
CN111586296B (zh) 图像拍摄方法、图像拍摄装置及存储介质
CN112333384B (zh) 预览图像方法、预览图像装置及存储介质
CN111835960A (zh) 图像生成方法及装置、电子设备、可读存储介质
CN111698414B (zh) 图像信号处理方法及装置、电子设备、可读存储介质
CN114339357A (zh) 图像采集方法、图像采集装置及存储介质
CN114339022A (zh) 摄像头拍摄参数确定方法、神经网络模型的训练方法
CN111343375A (zh) 图像信号处理方法及装置、电子设备、存储介质
CN112188095B (zh) 拍照方法、拍照装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201027

RJ01 Rejection of invention patent application after publication