CN117135458A - 光学防抖方法及其相关设备 - Google Patents
光学防抖方法及其相关设备 Download PDFInfo
- Publication number
- CN117135458A CN117135458A CN202310409528.3A CN202310409528A CN117135458A CN 117135458 A CN117135458 A CN 117135458A CN 202310409528 A CN202310409528 A CN 202310409528A CN 117135458 A CN117135458 A CN 117135458A
- Authority
- CN
- China
- Prior art keywords
- image
- shake
- electronic device
- determining
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 96
- 230000004044 response Effects 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 42
- 230000015654 memory Effects 0.000 claims description 40
- 238000012937 correction Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 abstract description 26
- 230000000007 visual effect Effects 0.000 abstract 1
- 230000033001 locomotion Effects 0.000 description 53
- 230000006641 stabilisation Effects 0.000 description 50
- 238000011105 stabilization Methods 0.000 description 50
- 238000010586 diagram Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 20
- 238000013507 mapping Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 16
- 238000010295 mobile communication Methods 0.000 description 13
- 238000006073 displacement reaction Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000013519 translation Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请提供了一种光学防抖方法及其相关设备,涉及图像处理领域,该光学防抖方法应用于包括可移动摄像头的电子设备,包括:开启相机应用程序;显示第一图像;接收对第一图像的第一操作;响应于第一操作,可移动摄像头转动;根据可移动摄像头转动后对应的当前扫描码,确定像旋角度;根据像旋角度和电子设备的当前抖动参数,确定当前补偿参数;基于当前补偿参数,电子设备进行光学防抖;利用光学防抖后的可移动摄像头获取拍摄图像。本申请所提供的可移动摄像头在扩大视野范围,实现灵活变焦、目标追踪的同时也能实现光学防抖,提高拍摄出的图像的清晰度。
Description
技术领域
本申请涉及图像处理领域,具体涉及一种光学防抖方法及其相关设备。
背景技术
随着电子设备的广泛使用,使用电子设备进行拍摄已经成为人们生活中的一种日常行为方式。以电子设备为手机为例,当人们手持手机进行拍摄时,由于自身手抖、走动振动等原因会导致拍摄过程中手机出现抖动,进而导致成像变得模糊。
对此,相关技术通过在电子设备上增设光学防抖(optical imagestabilization,OIS)控制器来进行防抖,OIS控制器防抖的原理是用OIS马达推动镜头移动,进而抵消抖动产生的位移。
然而,当电子设备还具有灵活变焦的功能时,该功能对应的实现过程可能会影响OIS控制器,使得OIS控制器的防抖性能降低,进而导致成像出现模糊。对此,亟需一种新的在实现灵活变焦功能的同时能进行良好防抖的光学防抖方法。
发明内容
本申请提供了一种光学防抖方法及其相关设备,可以在扩大视野范围,实现灵活变焦、目标追踪的同时实现光学防抖,提高拍摄出的图像的清晰度。
第一方面,提供了一种光学防抖方法,该光学防抖方法应用于包括可移动摄像头的电子设备,该方法包括:
开启相机应用程序;
显示第一图像;
接收对所述第一图像的第一操作;
响应于所述第一操作,所述可移动摄像头转动;
根据所述可移动摄像头转动后对应的当前扫描码,确定像旋角度;
根据所述像旋角度和所述电子设备的当前抖动参数,确定当前补偿参数;
基于所述当前补偿参数,所述电子设备进行光学防抖;
利用光学防抖后的可移动摄像头获取拍摄图像。
应理解,当前扫描码为数字信号,用于标识可移动摄像头包括的转动马达所处的位置,从而可以用于指示可移动摄像头转动后的位置。
当前抖动参数用于指示电子设备受到外界抖动后的转动参数,当前抖动参数可利用电子设备包括的陀螺仪传感器来获取。
当前补偿参数用于指示在电子设备抖动了当前抖动参数,以及转动马达控制棱镜转动使拍摄图像将会产生一定像旋角度的情况下,所确定出的OIS控制器控制镜头移动的补偿参数。
在本申请实施例中,当可移动摄像头响应于用户的操作进行转动,且电子设备受到外界抖动时,本申请通过可移动摄像头转动所对应的当前扫描码,来确定像旋角度;基于电子设备的当前抖动参数和像旋角度,来确定当前补偿参数;然后,电子设备根据当前补偿参数来进行光学防抖,实现硬件上的防抖,提高后续拍摄出的图像的清晰度。
结合第一方面,在第一方面的某些实现方式中,所述根据所述像旋角度和所述电子设备的当前抖动参数,确定当前补偿参数,包括:
根据所述像旋角度,确定第一校正矩阵;
根据所述像旋角度,确定第二校正矩阵;
利用第一校正矩阵、第二校正矩阵,对电子设备的所述当前抖动参数进行校正,确定校正后的抖动参数;
根据所述校正后的抖动参数,确定当前补偿参数。
应理解,第一校正矩阵用于表示陀螺仪坐标系到图像坐标系的映射关系,第二校正矩阵用于表示图像坐标系到OIS坐标系的变换关系。
在该实现方式中,本申请可以通过获取可移动摄像头转动所对应的当前扫描码,来确定像旋角度;基于像旋角度,再确定用于表示陀螺仪坐标系至图像坐标系映射关系的第一校正矩阵,以及用于表示图像坐标系至OIS坐标系映射关系的第二校正矩阵;并且,本申请还可以通过陀螺仪传感器获取外界抖动造成的当前抖动参数,将陀螺仪坐标系中的当前抖动参数结合第一校正矩阵和第二校正矩阵,校正到OIS坐标系中,得到校正后的抖动参数;然后,再通过校正后的抖动参数,来确定OIS对应的当前补偿参数;基于该当前补偿参数,OIS控制器控制镜头移动来补偿外界抖动所造成的镜头抖动。
这样,进行光学防抖后,本申请所提供的可移动摄像头在扩大视野范围,实现灵活变焦、目标追踪的同时也能实现光学防抖,提高拍摄出的图像的清晰度。另外,该光学防抖方法实现简单,计算过程与可移动摄像头的转动马达耦合较小,不需要调整相关校准流程,工作量比较小,处理效率更快。
结合第一方面,在第一方面的某些实现方式中,所述根据所述像旋角度和所述电子设备的当前抖动参数,确定当前补偿参数,包括:
当所述可移动摄像头转动后,且所述电子设备未抖动时,结合所述像旋角度,确定图像中心点对应的第三坐标;
当所述可移动摄像头转动后,且所述电子设备抖动时,结合所述当前抖动参数和所述像旋角度,确定所述图像中心点对应的第四坐标;
根据所述像旋角度,确定第二校正矩阵;
基于所述第四坐标和第三坐标的差值,结合所述第二校正矩阵,确定所述图像中心点的第二偏移量;
根据所述第二偏移量,确定所述当前补偿参数。
在该实现方式中,当可移动摄像头转动,且电子设备未抖动时,本申请可以通过获取可移动摄像头转动所对应的当前扫描码,来确定像旋角度,再结合像旋角度,确定图像中心点对应的第三坐标;另外,当可移动摄像头转动,且电子设备抖动时,本申请还可以通过结合像旋角度、当前抖动参数,确定图像中心点对应的第四坐标。然后,再将第四坐标和第三坐标的差值,结合图像坐标系与OIS坐标系的映射关系,映射到OIS坐标系中,确定出OIS控制器所对应的当前补偿参数。
后续,OIS控制器可区分可移动摄像头的情况,在可移动摄像头转动时,控制镜头移动来补偿外界抖动所造成的镜头抖动。这样,进行光学防抖后,本申请所提供的可移动摄像头在扩大视野范围、实现灵活变焦、目标追踪的同时也能实现光学防抖,提高拍摄出的图像的清晰度。另外,该光学防抖方法不受可移动摄像头转动的影响,也不受电子设备抖动方向的影响,抗干扰性较好。
结合第一方面,在第一方面的某些实现方式中,所述方法还包括:
当所述可移动摄像头未转动,且所述电子设备未抖动时,确定所述图像中心点对应的第一坐标;
当所述可移动摄像头未转动,且所述电子设备抖动时,结合所述当前抖动参数,确定所述图像中心点对应的第二坐标;
基于所述第二坐标和所述第一坐标的差值,确定所述图像中心点的第一偏移量;
根据所述第一偏移量,确定所述当前补偿参数。
在该实现方式中,当可移动摄像头未转动,但电子设备受到外界抖动时,本申请可以通过陀螺仪传感器获取电子设备对应的当前抖动参数,确定图像中心点抖动前后所对应的第一偏移量,然后,基于该第一偏移量确定OIS控制器所对应的当前补偿参数。
后续,OIS控制器可区分可移动摄像头的情况,在可移动摄像头不转动时,控制镜头移动来补偿外界抖动所造成的镜头抖动。这样,进行光学防抖后,本申请所提供的可移动摄像头在扩大视野范围、实现灵活变焦、目标追踪的同时也能实现光学防抖,提高拍摄出的图像的清晰度。另外,该光学防抖方法不受电子设备抖动方向的影响,抗干扰性较好。
结合第一方面,在第一方面的某些实现方式中,所述方法还包括:
确定所述拍摄图像分别在图像坐标系中的x轴、y轴上的模糊量;
重复多次拍摄,调整陀螺增益。
可选地,通过梯度下降法调整陀螺增益。陀螺增益指示电子设备受外界抖动的角度与OIS马达控制镜头移动的补偿量所满足的对应关系。
在该实现方式中,本申请通过多次拍照,调整陀螺增益,以使得抖动角度与OIS补偿量的对应关系更加准确;后续再进行拍摄时,可以利用该调整后的陀螺增益来进行处理。
结合第一方面,在第一方面的某些实现方式中,所述可移动摄像头包括转动马达和棱镜;
所述响应于所述第一操作,所述可移动摄像头转动,包括:
响应于所述第一操作,所述转动马达驱动所述棱镜转动。
应理解,转动包括点头和/或摇头;其中,摇头用于指示转动马达驱动棱镜绕y轴转动,点头用于指示转动马达驱动棱镜绕x轴转动;棱镜与x轴、y轴所在平面的夹角呈锐角设置,且棱镜与该平面的相交线与x轴平行,y轴和x轴相互垂直。
结合第一方面,在第一方面的某些实现方式中,根据所述可移动摄像头转动后对应的当前扫描码,确定像旋角度,包括:
根据所述可移动摄像头转动后对应的当前扫描码,获取像旋参数;
根据所述像旋参数,确定所述像旋角度。
像旋参数用于指示当前扫描码对应的旋转向量,旋转向量用于表示利用当前扫描码对应的运动一定角度后的棱镜所拍摄的图像,相对于利用初始位置处的棱镜所拍摄的图像之间的旋转关系。
旋转向量包括x轴、y轴和z轴三个轴向上的向量分量,由此,可以确定出每个轴向上的向量分量与对应轴向所成的夹角,三个轴向的夹角可用于表示像旋角度。
结合第一方面,在第一方面的某些实现方式中,所述第一操作为针对第一图像包括的任意一个目标的点击操作。
该目标用于指示第一图像中的人物、动物、植物等内容。
结合第一方面,在第一方面的某些实现方式中,所述第一操作为针对所述第一图像的局部区域的放大操作。
该放大操作可以指示双指反向向外滑动的操作。
第二方面,提供了一种电子设备,所述电子设备包括:一个或多个处理器、存储器和显示屏;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
开启相机应用程序;
显示第一图像;
接收对所述第一图像的第一操作;
响应于所述第一操作,所述可移动摄像头转动;
根据所述可移动摄像头转动后对应的当前扫描码,确定像旋角度;
根据所述像旋角度和所述电子设备的当前抖动参数,确定当前补偿参数;
基于所述当前补偿参数,所述电子设备进行光学防抖;
利用光学防抖后的可移动摄像头获取拍摄图像。
第三方面,提供了一种光学防抖装置,包括用于执行第一方面中任一种光学防抖方法的单元。
在一种可能的实现方式中,当该光学防抖装置是电子设备时,该处理单元可以是处理器,该输入单元可以是通信接口;该电子设备还可以包括存储器,该存储器用于存储计算机程序代码,当该处理器执行该存储器所存储的计算机程序代码时,使得该电子设备执行第一方面中的任一种方法。
第四方面,提供了一种芯片,所述芯片应用于电子设备,所述芯片包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行第一方面中的任一种光学防抖方法。
第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序代码,当所述计算机程序代码被电子设备运行时,使得该电子设备执行第一方面中的任一种光学防抖方法。
第六方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码被电子设备运行时,使得该电子设备执行第一方面中的任一种光学防抖方法。
附图说明
图1是一种适用于本申请的电子设备的硬件系统的示意图;
图2是一种摄像头在手机上排布的示意图;
图3是相关技术提供的一种长焦摄像头对应的侧视结构示意图;
图4是OIS控制器控制镜头沿x轴方向运动的俯视示意图;
图5是OIS控制器控制镜头沿y轴方向运动的俯视示意图;
图6是本申请实施例提供的一种长焦摄像头对应的侧视结构示意图;
图7是本申请实施例提供的一种长焦摄像头中OIS控制器控制镜头运动的侧视示意图;
图8是本申请实施例提供的转动马达组件控制棱镜绕x轴运动的结构示意图;
图9是本申请实施例提供的转动马达组件控制棱镜绕x轴运动的侧视示意图;
图10是图8、图9对应的光路图;
图11是本申请实施例提供的转动马达组件控制棱镜绕y轴运动的结构示意图;
图12是本申请实施例提供的转动马达组件控制棱镜绕y轴运动的主视示意图;
图13是图11、图12对应的光路图;
图14是图13对应的成像点的位置示意图;
图15是本申请实施例提供的一种视场角范围变化示意图;
图16是本申请实施例提供的两帧图像示意图;
图17是本申请实施例提供的带有像旋问题的图像和带有像旋问题且未防抖的图像的示意图;
图18是本申请实施例提供的一种光学防抖方法的流程示意图;
图19是本申请实施例提供的一种确定当前补偿参数的流程示意图;
图20是本申请实施例提供的一种坐标系映射关系示意图;
图21是本申请实施例提供的另一种确定当前补偿参数的流程示意图;
图22是本申请实施例提供的效果对比图;
图23是本申请提供的一种光学防抖装置的结构示意图;
图24是本申请提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一目标对象和第二目标对象等是用于区别不同的目标对象,而不是用于描述目标对象的特定顺序。
在本申请实施例中,“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个处理单元是指两个或两个以上的处理单元;多个系统是指两个或两个以上的系统。
首先,对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
1、可移动摄像头,可以包括棱镜和转动(Scan)马达;其中,转动马达可以驱动棱镜绕x轴转动和/或绕y轴转动,绕x轴转动又可以称为摇头运动,绕y轴转动又可以称为点头运动。
2、光学防抖(Optical Image Stabilization,OIS),光学防抖又可以称为光学防抖,OIS技术是指在拍照曝光期间,通过运动传感器(例如,陀螺仪,加速度计)检测电子设备的抖动,OIS控制器根据运动传感器检测到的抖动数据,控制推动OIS的马达,移动镜头或者图像传感器,使得在整个曝光期间光路尽可能保持稳定不变,进而得到清晰曝光的图像。
光学防抖包括两种防抖方式,第一种为镜片移动式光学防抖,第二种为感光元件移动式光学防抖。其中,第一种镜片移动式光学防抖的原理是通过镜头内的陀螺仪传感器侦测到微小的移动,然后将信号传至微处理器,微处理器立即计算需要补偿的位移量,然后通过补偿镜片组,根据镜头的抖动方向及位移量加以补偿,从而有效地克服因相机的振动产生的影像模糊。第二种感光元件移动式光学防抖是使用图像传感器偏移来实现防抖,其原理是:首先把CCD安置在一个可以上下左右移动的支架上,然后当陀螺仪传感器检测到抖动时,就把抖动的方向、速度和移动量等参数经过处理,计算出足以抵消抖动的CCD移动量。
可选地,OIS控制器包括两轴和三轴的光学图像稳定器,本申请实施例以两轴的、镜片移动式光学防抖OIS为例进行说明,涉及两轴数据,以下不再赘述。
3、光轴,为光学系统传导光线的方向,参考中心视场的主光线。
4、视场角(field of view,FOV),在光学仪器中,以光学仪器的镜头为顶点,以被测目标的物象可通过镜头的最大范围的两条边缘构成的夹角。视场角的大小决定了光学仪器的视野范围,视场角越大,视野就越大,光学倍率就越小,也即目标物体超过这个角就不会被镜头采集到。焦距越短,水平视场越开阔,于是影像也就越小,水平视场随着焦距的增加而变窄,而被摄物体随之增大。
5、本申请中,图像坐标系又可称为标准坐标系。
以上是对本申请实施例所涉及的名词的简单介绍,以下不再赘述。
下面先结合附图1对本申请实施例提供的电子设备的硬件系统进行说明。
示例性地,本申请实施例提供的电子设备可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality,AR)设备、虚拟现实(virtualreality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、投影仪等等,本申请实施例对电子设备的具体类型不作任何限制。
为了方便说明,图1以电子设备100为手机为例,对其硬件系统进行了示意。
参见图1,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
需要说明的是,处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphicsprocessing unit,GPU),图像信号处理器(Image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
可理解的,控制器可以是电子设备100的神经中枢和指挥中心。在实际应用中,控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
此外,还需要说明的是,处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。例如,处理器110可以包括以下接口中的至少一个:内部集成电路(inter-integrated circuit,I2C)接口、内部集成电路音频(inter-integrated circuit sound,I2S)接口、脉冲编码调制(pulse codemodulation,PCM)接口、通用异步接收传输器(universal asynchronous receiver/transmitter,UART)接口、移动产业处理器接口(mobile industry processor interface,MIPI)、通用输入输出(general-purpose input/output,GPIO)接口、SIM接口、USB接口。
示例性地,充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实现方式中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实现方式中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
示例性地,电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量、电池循环次数和电池健康状态(例如,漏电、阻抗)等参数。可选地,电源管理模块141可以设置于处理器110中,或者,电源管理模块141和充电管理模块140可以设置于同一个器件中。
示例性地,电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。需要说明的是,天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实现方式中,天线可以和调谐开关结合使用。
示例性地,移动通信模块150可以提供应用在电子设备100上的无线通信的解决方案,例如下列方案中的至少一个:第二代(2th generation,2G)移动通信解决方案、第三代(3th generation,3G)移动通信解决方案、第四代(4th generation,5G)移动通信解决方案、第五代(5th generation,5G)移动通信解决方案。
移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实现方式中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实现方式中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
此外,需要说明的是,调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实现方式中,调制解调处理器可以是独立的器件。在另一些实现方式中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
示例性地,无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
示例性地,显示屏194可以用于显示图像或视频。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organiclight-emitting diode,OLED)、有源矩阵有机发光二极体(active-matrix organiclight-emitting diode,AMOLED)、柔性发光二极管(flex light-emitting diode,FLED)、迷你发光二极管(mini light-emitting diode,Mini LED)、微型发光二极管(microlight-emitting diode,Micro LED)、微型OLED(Micro OLED)或量子点发光二极管(quantum dot light emitting diodes,QLED)。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
此外,还需要说明的是,电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化,ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue,RGB),YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
此外,还需要说明的是,数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1、MPEG2、MPEG3和MPEG4。
在一些实现方式中,传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
其中,陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x轴、y轴和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如,当快门被按下时,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。此处,针对其他传感器不再一一例举,本申请对此不作限制。
以具有上述硬件系统的手机为例,下面对其包括的摄像头进行详细介绍。
图2示出了一种摄像头193在手机上排布的示意图。
示例性地,本申请提供的电子设备可以包括一个或多个摄像头193,该一个或多个摄像头193可以位于电子设备100的正面,也可以位于电子设备100的背面。位于电子设备100的正面的摄像头193可以称为前置摄像头,位于电子设备100的背面的摄像头可以称为后置摄像头。在本申请中,摄像头也可以称为摄像头模组。
例如,在本申请实施例中,电子设备100可以包括5个摄像头193,该5个摄像头193包括2个前置摄像头和3个后置摄像头。参见图2中的(a)和(b)所示,该3个后置摄像头在电子设备100的后盖上从上到下呈一列排布,并且,按排布顺序该3个后置摄像头依次为主摄摄像头1931、长焦摄像头1932和广角摄像头1933。
其中,广角摄像头1933相对于主摄摄像头1931对应的焦距较短,长焦摄像头1932相对于主摄摄像头1931对应的焦距较长,又因为焦距越长,视场角范围越小,由此,如图2中的(c)所示,广角摄像头1933对应的视场角范围大于主摄摄像头1931对应的视场角范围,而长焦摄像头1932对应的视场角范围小于主摄摄像头1931对应的视场角范围。
应理解,上述仅为一种示例,电子设备100还可以包括其他类型的摄像头,如超广角摄像头、黑白摄像头、多光谱摄像头等,电子设备100还可以指示广角摄像头为主摄摄像头,本申请对此不进行限定。
从上述多个摄像头中,本申请选择以长焦摄像头1932为例对可移动摄像头的内部结构和工作原理进行说明。
图3示出了相关技术提供的一种长焦摄像头1932对应的侧视结构示意图。
示例性地,长焦摄像头1932通常包括镜头和感光元件(也可称为图像传感器)等,镜头可以包括1个或多个透镜,镜头用于利用透镜的折射原理进行成像,感光元件所在平面与透镜所在平面平行。
应理解,本申请所述的“镜头”可以理解为一个整体的镜头,可以包括一片或多个透镜,“透镜”可以理解为透镜结构中的透镜或用于组成镜头的透镜或镜片。
此外,镜头和感光元件之间还可以包括滤光片(图3中未示出),滤光片用于滤除光线中不需要的波段,防止感光元件产生伪色或波纹,以提高其有效分辨率和彩色还原性。当然,此处仅为一种举例,长焦摄像头1932还可以包括其他结构,本申请对此不进行限定。
结合该示例,相关技术为了进行光学防抖,在长焦摄像头1932包括的镜头上可以增设OIS控制器,OIS控制器包括OIS马达(图3中未示出)。OIS控制器用于获取陀螺仪传感器采集到的电子设备的抖动数据,例如角速度,并根据陀螺仪传感器采集得到抖动数据产生控制OIS马达移动的控制信号,OIS马达用于在控制信号的控制下推动镜头移动,进而抵消抖动产生的位移。
在一些实施例中,继续参见图3,以图3中所示的坐标系为例,OIS控制器中的OIS马达可以推动镜头左右移动,也即在x轴方向上移动,以抵消抖动在x轴方向上产生的位移。具体地,如图4中的(a)所示,虚线位置指示镜头的初始位置,OIS马达可以推动镜头朝x轴正向方向(x方向)进行移动,以抵消抖动在x轴负向方向(-x方向)上产生的位移;或者,如图4中的(b)所示,OIS马达可以推动镜头朝x轴负向方向进行移动,以抵消抖动在x轴正向方向上产生的位移。
在另一些实施例中,继续参见图3,以图3中所示的坐标系为例,OIS控制器中的OIS马达可以推动镜头前后伸缩,也即在y轴方向上移动,以抵消抖动在y轴方向上产生的位移。具体地,如图5中的(a)所示,虚线位置指示镜头的初始位置,OIS马达可以推动镜头朝y轴正向方向(y方向)进行移动,以抵消抖动在y轴负向方向(-y方向)上产生的位移;或者,如图5中的(b)所示,OIS马达可以推动镜头朝y轴负向方向进行移动,以抵消抖动在y轴正向方向上产生的位移。
应理解,OIS控制器可以结合补偿需求,控制镜头在x轴方向上和y轴方向均进行移动,具体移动的方向和距离可以根据需求进行确定,本申请实施例不进行限定。
此外,由于长焦摄像头1932对应的视场角范围相对主摄摄像头、广角摄像头等较小,导致长焦摄像头1932在进行拍摄时,拍摄到的内容有限。例如,当用户切换成长焦摄像头1932,对拍摄场景中运动的目标主体进行追踪拍摄时,一旦目标主体移动出长焦摄像头1932的视野范围,将会导致目标丢失;由于长焦摄像头的视野范围较小,拍摄过程中目标丢失的概率非常大,会导致用户的体验很差。
因此,本申请在上述具有OIS控制器的长焦摄像头1932的结构的基础上,为了扩大该长焦摄像头1932的视场角范围,在长焦摄像头1932设置的镜头和感光元件之间,增设了带有棱镜的转动马达组件,并且将感光元件由平行于透镜所在平面的位置,更改为垂直于透镜所在平面的位置,也即在本申请中,感光元件所在平面与透镜所在平面相互垂直。
参见图6,图6示出了本申请提供的一种长焦摄像头1932对应的侧视结构示意图。
如图6所示,长焦摄像头1932包括镜头、OIS控制器、包括棱镜的转动马达组件和感光元件,其中,感光元件所在平面与镜头包括的透镜所在平面相互垂直;另外,转动马达组件中的棱镜呈倾斜状态设置,从而可以将镜头出射的光线折射到感光元件上;在此基础上,转动马达组件中的转动马达还可以通过控制棱镜转动,使得镜头出射的光路发生偏移,进而扩大拍摄的视场角范围。转动马达组件还可以包括电机,电机用于驱动转动马达。此处,需要说明的是,转动马达组件中的转动马达与OIS控制器中的OIS马达不是同一个马达。
参考图7中的(a)所示,OIS控制器中的OIS马达可以推动镜头在x轴方向上移动,与图4所示的移动方式相同,在此不再赘述。参考图7中的(b)所示,OIS控制器中的OIS马达还可以推动镜头在y轴方向上移动,与图5所示的移动方式相同,在此不再赘述。
在一些实施例中,参考图8中的(a)和(b),以图8中的(a)所示的坐标系为例,转动马达组件中的转动马达可以控制棱镜绕x轴上下转动,也即点头,以扩大在z轴方向上的视野范围。具体地,如图9中的(a)所示,虚线位置指示棱镜的初始位置,转动马达可以转动棱镜绕x轴且朝z轴正向方向进行转动,以扩大在z轴正向方向上的视野范围;或者,如图9中的(b)所示,转动马达还可以转动棱镜绕x轴且朝z轴负向方向进行转动,以扩大在z轴负向方向上的视野范围。
参见图10,图10示出了图9中的(a)所示的棱镜在点头方向进行运动时所对应的光路示意图。如图10所示,棱镜未运动时,两条入射光线经棱镜反射后,在感光元件上的成像点分别为P和Q。当棱镜沿图10中所示的点头方向运动到图10中棱镜'的位置时,相同的两条入射光线经棱镜'反射后,在感光元件上的成像点分别为P'和Q',其中,运动前后,P'与P对应,Q'与Q对应。
此处,需要说明的是,由于点头运动是在光路平面内运动的,因此棱镜在进行点头运动时,P和Q均会位移,且位移几乎相等。由此可知,点头运动前的线段PQ,与点头运动后的线段P'Q'的长度基本相等。故而,点头运动时,图像在y轴方向不会抖动,即不会出现像旋问题,也无其他畸变。
在另一些实施例中,参考图11中的(a)和(b),以图11中的(a)所示的坐标系为例,转动马达组件中的转动马达可以控制棱镜绕y轴左右转动,也即摇头,以扩大在x轴方向上的视野范围。具体地,如图12中的(a)所示,虚线位置指示棱镜的初始位置,转动马达可以转动棱镜绕y轴且朝x轴正向方向进行转动,以扩大在x轴正向方向上的视野范围;或者,如图12中的(b)所示,转动马达还可以转动棱镜绕y轴且朝x轴负向方向进行转动,以扩大在y轴负向方向上的视野范围。
参见图13,图13示出了图12中的(a)所示的棱镜在摇头方向进行运动时所对应的光路示意图。如图13所示,入射光与反射光关于光轴对称,棱镜旋转后,光轴也会随着旋转。当棱镜摇头运动时,如摇头θ角,会导致入射点在棱镜面的横坐标也发生轻微变化,产生光程变化,导致反射角度也发生变化。而反射角度变化会导致图像在x轴方向旋转大约θ角,y轴方向旋转Δ角(crosstalk)。
如图13所示,棱镜未运动时,一条入射光线经棱镜反射后,在感光元件上的成像点为P2。当棱镜沿图13所示的摇头方向运动到图13所示的棱镜'的位置时,相同的入射光线经棱镜'反射后,在感光元件上的成像点为P2'。此处,棱镜摇头前后,P2与P2'共面,但是P2P2'线段与x轴不平行,与y轴也不平行,换句话说,运动前后成像点在xy平面发生了斜向的移动。
进一步地,棱镜旋转前,若两条入射光线中的一条光线入射点为O1(假设为棱镜的中心),相应在感光元件的成像点为P1;另一条光线入射点为O2(假设为棱镜的非中心),相应在感光元件的成像点为P2。当棱镜摇头θ角后,入射点O1在感光元件的成像点为P1',入射点O2在感光元件的成像点为P2'。由于光程发生变化导致图像在O1处旋转量较小,而在O2处旋转量则较大,由此将导致P1变化为P1'所对应的平移量,与P2变化为P2'所对应的平移量不一样。这样,如图14所示,棱镜在摇头方向进行运动时,P1P2到P1'P2'的变化接近于平移+旋转导致的双重效果,成像后视觉上即会产生像旋,并且,棱镜摇头的角度越大,像旋问题越严重。此处,需要说明的是,像旋包括x轴、y轴、和z轴三个轴向上的旋转,分解开来可以包括x轴、y轴的平移+透视效果,z轴的旋转效果。
示例性地,利用如图6所示的长焦摄像头进行拍摄时,如图15所示,长焦摄像头对应的初始视场角范围为FOV0,该初始视野范围为矩形;当转动马达组件开启后控制棱镜进行点头运动且运动幅度最大时,长焦摄像头对应的视场角范围可以向上变化至FOV1或向下变化至FOV2;当转动马达组件开启后控制棱镜进行摇头运动且运动幅度最大时,长焦摄像头对应的视场角范围可以向左变化至FOV3或向右变化至FOV4。当转动马达组件开启后控制棱镜既进行了点头运动又进行了摇头运动(先后顺序不限定),则长焦摄像头对应的视场角范围可以最远向右上角变化至FOV5、向右下角变化至FOV6、向左下角变化至FOV7、或者向左上角变化至FOV8等。
若转动马达组件控制棱镜进行点头运动和摇头运动时转动的角度较小,则长焦摄像头所能实现的FOV在FOV3至FOV8组成的视野范围之内。此外,将所有FOV进行叠加,则可以得到长焦摄像头所能实现的最大FOV,如图15中的(b)所示的FOV10。最大FOV远大于初始视场角范围FOV0,也即长焦摄像头在转动马达组件控制棱镜转动的情况下,可以实现视场角范围的扩大。
此处,针对图15,还需要说明的是,当转动马达组件控制棱镜进行点头运动时,不会在y轴方向上出现像旋问题,也无其他畸变,因此,FOV1和FOV2相对于FOV0来说形状基本保持不变,还是横平竖直的矩形。当转动马达组件控制棱镜进行摇头运动时,会产生像旋问题,因此,FOV3至FOV8相对于FOV0来说发生了改变,可视为进行了平移+旋转。基于该原因,成像时,长焦摄像头拍摄到的对应FOV3至FOV8的图像将均为具有像旋问题的图像。
示例性地,图16示出了利用长焦摄像头拍摄出的两帧图像。如图16中的(a)所示,为长焦摄像头中的转动马达未进行转动前拍摄的扑克牌图像,该图像中的字符和图形均可正常呈现;如图16中的(b)所示,为长焦摄像头中的转动马达进行转动后拍摄的扑克牌图像,该图像中的字符和图形产生了像旋问题。
通过上述描述可知,在长焦摄像头上增设转动马达组件后,转动马达控制棱镜转动,包括进行点头和/或进行摇头运动时,虽然可以实现拍摄视野范围扩大,但是,同时也可能会产生负面的像旋问题。针对用户手持电子设备拍摄,由于用户自身造成的抖动,或者走动、跑动过程中造成电子设备抖动的应用场景中,像旋问题的存在将会影响光学防抖,使得光学防抖性能下降,导致最终通过长焦摄像头(可移动摄像头)拍摄出的图像会出现抖动,并且清晰度欠佳,或者说,呈模糊状态。
示例性地,如图17中的(a)所示,像旋产生后,可以等效为拍摄的图像与陀螺仪传感器的坐标系产生了夹角,夹角的大小与像旋角度近似相等(像旋角度越大,图像与陀螺仪传感器对应的坐标轴产生的夹角越大)。产生夹角后,OIS马达推动镜头在OIS控制器对应的x轴方向上防抖时,反应到图像上时,将是对倾斜着的图像横向进行防抖,并不相当于对图像对应的x轴方向进行防抖,因此防抖性能下降。
同时,如图17中的(b)所示,转动马达控制棱镜摇头运动时,入射光的光轴的夹角改变,还会导致透视关系改变;OIS马达推动镜头在OIS控制器对应的y轴方向上防抖时,反应到图像上时,将是对倾斜着的图像斜向进行防抖,同时由于透视的存在,防抖性能也会降低。当转动马达控制棱镜再进行点头运动时,则加剧了斜向方向上的模糊程度。
有鉴于此,本申请实施例在上述提供的包括OIS控制器和转动马达组件的可移动摄像头的基础上,还提供了一种光学防抖方法,应用在具有上述可移动摄像头的电子设备上时,通过结合电子设备受到外界抖动的当前抖动参数和可移动摄像头转动时对应的像旋参数,来确定OIS控制器进行光学防抖的参数,从而可以使得光学防抖效果不受抖动方向的影响,也不受可移动摄像头转动的影响,使得可移动摄像头在扩大视野范围的基础上,实现良好地光学防抖效果,拍摄出清晰的图像。
相关技术提供的光学防抖方法假设x轴、y轴相互独立,电子设备在x轴的旋转只需要OIS控制器在x轴补偿,电子设备在y轴的旋转只需要OIS控制器在y轴进行补偿,但是,实际上由于像旋问题导致透视关系的变化,当电子设备在x轴旋转时,图像中心点除了在x轴方向运动,在y轴方向上也有轻微偏移,且图像坐标系与OIS坐标系也不再完全对应。因此,本申请提供的光学防抖方法,基于像旋问题,结合当前抖动参数和像旋角度同时计算,以确定准确的OIS补偿参数,实现较好的防抖效果。
下面结合图18至图21对本申请实施例提供的光学防抖方法进行详细描述。
图18示出了本申请实施例提供的一种光学防抖方法的示意性流程图。该方法可以应用于上述提供的电子设备100,其中,电子设备可以包括可移动摄像头和其他摄像头(比如主摄摄像头),可移动摄像头可以为长焦摄像头1932,如图6所示;长焦摄像头的结构和工作原理,如图6至图17所示。如图18所示,该光学防抖方法包括以下S210至S280,下面分别对S210至S280进行一一介绍。
S210、检测到开启相机应用程序的操作,响应于操作开启相机应用程序。
示例性地,用户可以通过单击“相机”应用程序的图标,指示电子设备开启相机应用;或者,电子设备处于锁屏状态时,用户可以通过在电子设备的显示屏上向右滑动的手势,指示电子设备开启相机应用。又或者,电子设备处于锁屏状态,锁屏界面上包括相机应用程序的图标,用户通过点击相机应用程序的图标,指示电子设备开启相机应用程序。又或者,电子设备在运行其他应用时,该应用具有调用相机应用程序的权限;用户通过点击相应的控件可以指示电子设备开启相机应用程序。例如,电子设备正在运行即时通信类应用程序时,用户可以通过选择相机功能的控件,指示电子设备开启相机应用程序等。
应理解,上述为对开启相机应用程序的操作的举例说明;还可以通过语音指示操作,或者其它操作的指示电子设备开启相机应用程序;本申请对此不作任何限定。
S220、显示第一图像。
示例性地,开启相机应用程序后,可以开启主摄摄像头;第一图像可以为主摄摄像头采集的图像。
示例性地,开启相机应用程序后,可以开启可移动摄像头;第一图像可以为可移动摄像头采集的图像。
示例性地,开启相机应用程序后,可以开启主摄摄像头与可移动摄像头,此时可移动摄像头可以处于初始位置,未进行转动;第一图像可以为对主摄摄像头采集的图像与可移动摄像头采集的图像进行融合处理后,得到的图像。
S230、接收对第一图像的第一操作。
示例性地,电子设备可以显示主摄摄像头拍摄的第一图像,第一操作可以指示用户针对第一图像中某一局部区域进行双指反向向外滑动的放大操作。
示例性地,电子设备可以显示可移动摄像头基于初始位置(初始视场角范围FOV0)拍摄得到的第一图像,第一操作可以指示用户针对第一图像包括的任意一个目标的点击操作。
应理解,针对第一图像的第一操作,可以理解为针对电子设备的显示屏的操作;第一操作还可以为其他操作,本申请对此不进行限定。
S240、响应于第一操作,可移动摄像头转动。
示例性地,根据检测到的点击操作的坐标信息可以指示可移动摄像头进行转动,使得可移动摄像头的视场角中包括点击操作指示的拍摄对象。
例如,第一图像中包括人像与风景,检测到对第一图像中人像的点击操作;控制可移动摄像头从初始位置转动至目标位置,可移动摄像头在目标位置的视场角包括人像。
此处,该可移动摄像头包括OIS控制器和转动马达组件,当在接收到用户的第一操作后,利用可转动摄像头针对拍摄场景进行拍摄时,转动马达组件中转动马达可以控制棱镜转动,从而可以实现FOV的改变。同时,OIS控制器中的OIS马达可以实现对镜头的驱动,在拍摄过程中进行后续的光学防抖处理。
S250、根据可移动摄像头转动后对应的当前扫描码,确定像旋角度。
具体地,上述可以包括:根据可移动摄像头转动后对应的当前扫描码,获取像旋参数;根据像旋参数,确定像旋角度。
需要说明的是,棱镜的运动是由转动马达带动的,转动马达的位置与棱镜运动的角度存在对应关系。而转动马达又是由电机驱动的,并且电机在驱动转动马达带动棱镜运动时,会输出数字信号,即每一个数字信号能够标识转动马达所处的一个位置。本申请将电机输出的数字信号称为扫描码(Scan code),由于转动马达的位置与棱镜运动的角度存在对应关系,而Scan code由于转动马达的位置存在对应关系,故Scan code与棱镜运动的角度存在对应关系。
这样基于Scan code与棱镜运动的角度的对应关系,可以预先构建位置向量表并进行存储。其中,位置向量表用于存储多个Scan code以及每个Scan code对应的旋转向量和平移向量。旋转向量用于表示利用Scan code对应的运动一定角度后的棱镜所拍摄的图像,相对于利用初始位置处的棱镜所拍摄的图像之间的旋转关系。其形式例如可以如表1所示。
表1
拍摄点 | Scan code | 旋转向量 | 平移向量 |
Point1 | Code1 | R1 | T1 |
Point2 | Code2 | R2 | T2 |
Point3 | Code3 | R3 | T3 |
Point4 | Code4 | R4 | T4 |
Point5 | Code5 | R5 | T5 |
... | ... | ... | ... |
Point24 | Code24 | R24 | T24 |
应当理解的是,表1仅是为了更好地理解本实施例的技术方案而列举的示例,不作为对本实施例的唯一限制。
当响应于第一操作,转动马达控制棱镜转动时,电机驱动转动马达的数字信号,即为当前Scan code;根据当前Scan code,可以在位置向量表中进行查表,以查找对应的旋转向量和平移向量,或者,先查找到相邻Scan code对应的旋转向量和平移向量,再插值计算出当前Scan code对应的旋转向量和平移向量。确定出的当前Scan code对应的旋转向量可以称为当前Scan code对应的像旋参数。
旋转向量包括x轴、y轴和z轴三个轴向上的向量分量,其中,z轴轴向上的向量分量一般称为像旋角度。
此处,需要说明的是,若计算出的旋转向量为(0,0,0),说明转动马达并没有推动棱镜进行转动,此时,可以认为可移动摄像头没有转动。因此,在本申请实施例中,将旋转向量为(0,0,0)的情况,相当于转动马达没有转动棱镜,也相当于可移动摄像头没有转动;而旋转向量非零时,相当于可移动摄像头转动。
S260、根据像旋角度和电子设备的当前抖动参数,确定当前补偿参数。
电子设备的抖动参数可以利用陀螺仪传感器来获取,也即陀螺仪传感器获得的抖动参数指示电子设备受外界影响所进行的抖动,比如用户手抖时,陀螺仪传感器产生的抖动参数。当前抖动参数可以包括陀螺仪传感器获取的x轴、y轴和z轴三个轴上的转动参数。
当前补偿参数用于指示在电子设备抖动了当前抖动参数,以及转动马达控制棱镜转动使拍摄图像将会产生一定像旋角度的情况下,所确定出的OIS控制器控制镜头移动的补偿参数。当前补偿参数可以包括OIS控制器在x和y轴上的补偿参数。
S270、基于当前补偿参数,电子设备进行光学防抖。
光学防抖指示OIS控制器结合当前补偿参数推动镜头移动的过程。
需要说明的是,可移动摄像头转动时,可以将当前扫描码传输给CPU,同时,陀螺仪传感器获取到当前抖动参数后,也将当前抖动参数传输给CPU;CPU通过当前扫描码确定像旋角度,以及结合当前抖动参数来计算当前补偿参数,然后,CPU再将当前补偿参数传输给OIS控制器,由OIS控制器基于当前补偿参数来推动镜头移动,以实现光学防抖。数据传输过程和计算过程所耗费的时间可以忽略不计,相当于电子设备基于当前抖动参数、像旋角度,可以实时实现光学防抖。
S280、电子设备利用光学防抖后的可移动摄像头获取图像。
由于电子设备实时进行了光学防抖,降低了抖动影响,因此利用光学防抖后的可移动摄像头获取的图像清晰度,相对于没有进行光学防抖时获取的图像的清晰度更高。
此处,利用光学防抖的可移动摄像头获取的图像可指示位于RAW域的图像、位于YUV域的图像,或者RGB域的图像,本申请实施例对此不进行任何限定。
需要说明的是,由于本申请的方法重点在于光学防抖,实现图像的清晰度提高,当拍摄的图像还具有像旋等其他问题时,可以经过ISP结合相关算法进行处理,以提高图像质量。
电子设备利用光学防抖后的可移动摄像获取的图像,后续可进行存储或者可以传输至显示屏进行显示。
示例性地,在处于预览拍摄模式时,可以显示处理后的图像;其中,预览拍摄模式包括但不限于:例如夜景预览模式、录像预览模式、拍照预览模式、人像预览模式等拍摄模式。
示例性地,若检测到拍照操作,或者,录像操作,保存处理后的图像。
本申请实施例提供的光学防抖方法,应用在具有可移动摄像头的电子设备上。当可移动摄像头响应于用户的操作进行转动,且电子设备受到外界抖动时,本申请通过可移动摄像头转动所对应的当前扫描码,来确定像旋角度;基于电子设备的当前抖动参数和像旋角度,来确定当前补偿参数;然后,电子设备根据当前补偿参数来进行光学防抖,实现防抖,提高后续拍摄出的图像清晰度的目的。
在一些实现方式中,图19示出了一种基于电子设备的当前抖动参数和像旋角度,确定当前补偿参数的流程示意图。
如图19所示,上述S260可以包括以下S261至S264,下面分别对S261至S264进行介绍。
S261、根据像旋角度,确定第一校正矩阵。
需要说明的是,像旋角度虽然包括三个轴向的夹角,但是,由于绕z轴旋转的夹角对拍摄的图像的影响相对较大,绕x轴、绕y轴旋转的夹角对图像的影响相对来说较小,因此,在本申请实施例中,可以选择忽略x轴、y轴旋转的夹角,将其数值置换为0,而仅保留绕z轴旋转的夹角。z轴可以理解为与图像所在平面相垂直的方向。绕z轴旋转一定角度,将使得图像在其所在平面绕自身图像中心点旋转。
因此,参见图17中的(b)和图20中的(a),像旋产生后,像旋角度可以等效于带有像旋问题的图像B与陀螺仪坐标系产生的夹角,角度大小近似相等。由此,根据当前扫描码确定出像旋角度后,该像旋角度可用于指示带有像旋问题的图像与陀螺仪传感器的坐标系之间的夹角。陀螺仪坐标系用于指示陀螺仪传感器对应的三维坐标系,陀螺仪传感器对应的三维坐标系相当于电子设备的三维坐标系。
例如,带有像旋问题的图像与陀螺仪传感器的坐标系产生的夹角为(0,0,θz),相当于像旋角度为(0,0,θz)。
由于陀螺仪传感器获取的抖动参数无法直接用于OIS控制器进行光学防抖,因此,可以间接利用陀螺仪坐标系与图像坐标系之间的映射关系,图像坐标系与OIS坐标系之间的映射关系,来将陀螺传感器获取的抖动参数校正到OIS坐标系中,再利用校正到OIS坐标系中的参数来确定OIS防抖需要补偿的参数。图像坐标系指的是可移动摄像头转动后,若进行拍摄预期拍摄出的带有像旋问题的图像所对应的坐标系。
基于该思路,在确定出像旋角度的情况下,可以先基于像旋角度,确定出陀螺仪坐标系与图像坐标系所对应的映射关系,该映射关系利用旋转矩阵来表示,例如,如图20中和的(a)所示,当像旋角度为(0,0,θz)时,某向量从陀螺仪坐标系投影到标准坐标系的映射关系可以用以下旋转矩阵R(θz)来表示:
后续基于该旋转矩阵R(θz)可以对陀螺仪传感器获取的当前抖动参数进行校正,将其校正到图像坐标系中。
S262、根据像旋角度,确定第二校正矩阵。
在可移动摄像头转动时,由于转动马达控制棱镜进行转动后,OIS坐标系映射到图像坐标系时,OIS坐标系中的x轴与图像坐标系中的x轴指示方向相同,没有产生夹角,但是,OIS坐标系中的y轴与图像坐标系中的y轴产生了夹角,该夹角的大小与像旋角度的大小近似,也即是说OIS坐标系映射到图像坐标系中时,OIS坐标系不再是直角坐标系或者说OIS坐标系是非直角坐标系,因此,需确定非直角的OIS坐标系与图像坐标系的映射关系。
例如,如图20中的(b)所示,当OIS坐标系中的x轴与图像坐标系中的x轴指示方向相同,y轴与图像坐标系中的y轴夹角大小为θz时,某向量从非直角的OIS坐标系投影到标准坐标系的映射关系可以用以下旋转矩阵R'(θz)来表示:
若标准坐标系中的某向量投影到非直角的OIS坐标系中,映射关系为R'(θz)-1。
后续基于该旋转矩阵R'(θz)-1可以将图像坐标系中的数据校正到非直角的OIS坐标系中。
S263、利用第一校正矩阵R(θz)、第二校正矩阵R'(θz)-1,对电子设备的当前抖动参数进行校正,确定校正后的抖动参数。
电子设备的当前抖动参数可以指示陀螺仪传感器获取的抖动角度,或者,可以指示陀螺仪传感器获取的角度变化率,对角度变化率进行积分后所确定的抖动角度。
当电子设备的当前抖动参数为角度变化率时,上述S263可以包括:
步骤一、对陀螺仪传感器所提供的gyro_x轴、gyro_y轴、gyro_z轴的角速度进行积分,得到gyro_x轴上的抖动角度αx和gyro_y轴上的抖动角度αy,gyro_z轴上的抖动角度αz。
步骤二、将抖动参数(αx,αy,αz)与第一校正矩阵、第二校正矩阵进行相乘,确定校正后的抖动参数(α′x,α′y,α′z)。
具体地,计算过程可以如下:
S264、根据校正后的抖动参数,确定当前补偿参数。
此时校正后的抖动参数为对应Scan后非直角的OIS坐标系,由此,可以根据校正后的抖动角度α′x确定OIS坐标系中OIS_x轴的补偿量,根据校正后的抖动角度α′y确定OIS坐标系中OIS_y轴的补偿量。
需要说明的是,可以利用相关算法将校正后的抖动角度转换成OIS坐标轴上的位移补偿量,本申请实施例对此不进行限定。
本申请实施例提供的上述光学防抖方法,应用在具有可移动摄像头的电子设备上。当可移动摄像头响应于用户的操作进行转动,且电子设备受到外界抖动时,本申请可以通过获取可移动摄像头转动所对应的当前扫描码,来确定像旋角度;基于像旋角度,再确定用于表示陀螺仪坐标系至图像坐标系映射关系的第一校正矩阵,以及用于表示图像坐标系至OIS坐标系映射关系的第二校正矩阵;并且,本申请还可以通过陀螺仪传感器获取外界抖动造成的当前抖动参数,将陀螺仪坐标系中的当前抖动参数结合第一校正矩阵和第二校正矩阵,校正到OIS坐标系中,得到校正后的抖动参数;然后,再通过校正后的抖动参数,来确定OIS对应的当前补偿参数;基于该当前补偿参数,OIS控制器控制镜头移动来补偿外界抖动所造成的镜头抖动。
这样,进行光学防抖后,本申请所提供的可移动摄像头在扩大视野范围、实现灵活变焦、目标追踪的同时也能实现光学防抖,提高拍摄出的图像的清晰度。另外,该光学防抖方法实现简单,计算过程与可移动摄像头的转动马达组件耦合较小,不需要调整相关校准流程,工作量比较小,处理效率更快。
在一些实现方式中,图21示出了另一种基于电子设备的当前抖动参数和像旋角度,确定当前补偿参数的流程示意图。
如图21所示,上述S260方法可以包括以下S2611至S2617,下面分别对S2611至S2617进行介绍。
S2611、当可移动摄像头未转动,且电子设备未抖动,确定图像中心点对应的第一坐标。
S2612、当可移动摄像头未转动,且电子设备抖动,结合当前抖动参数,确定图像中心点对应的第二坐标。
S2613、基于第二坐标和第一坐标的差值,确定图像中心点的第一偏移量。
可移动摄像头未转动指的是转动马达组件中的转动马达没有推动棱镜进行点头和/或摇头运动,此时,若进行拍摄,预期拍摄出的图像的图像中心点不会出现像旋问题;而电子设备进行抖动则为电子设备整体在三维空间中的运动,此时若进行拍摄,预期拍摄出的图像的图像中心点将会随电子设备的转动而产生变换。
电子设备的当前抖动参数可以通过陀螺仪传感器来获取,陀螺仪传感器在陀螺仪坐标系中三个轴上的抖动角度,即可作为电子设备的当前抖动参数。
示例性地,假设可移动摄像未转动,电子设备未抖动,图像中心点对应的第一坐标为P=(u,v,1),u为图像长度的一半(u=w/2),v为图像高度的一半(v=h/2),单位为像素。当电子设备的当前抖动参数为α时,抖动α后的图像中心点对应的第二坐标可以记为P'=(u',v',1),且抖动α前后的第一坐标和第二坐标满足罗德里格斯(rodrigues)变换。
使用公式进行表达,则可移动摄像头未转动,但电子设备抖动α前后,图像中心点的变换关系满足:
其中,KR(α)K-1用于指示图像中心点抖动前后所对应的变换关系。K表示标准相机内参,K-1表示标准相机内参的逆;R(α)表示抖动角度α对应的三维旋转矩阵,抖动角度α可以包括陀螺仪坐标系中gyro_x轴上的抖动角度αx、gyro_y轴上的抖动角度αy、gyro_z轴上的抖动角度αz。具体数值可以通过陀螺仪传感器实时获取。
然后,基于第二坐标与第一坐标的差值,可以确定电子设备抖动前后图像中心点的坐标偏移量为第一偏移量ΔP=P'-P。
S2614、当可移动摄像头转动,且电子设备未抖动,结合像旋角度,确定图像中心点对应的第三坐标。
S2615、当可移动摄像头转动,且电子设备抖动,结合当前抖动参数和像旋角度,确定图像中心点对应的第四坐标。
S2616、根据像旋角度,确定第二校正矩阵。
第二校正矩阵确定过程与上述S262的确定过程相同,可参考上述描述,在此不再赘述。
S2617、基于第四坐标和第三坐标的差值,结合第二校正矩阵,确定图像中心点的第二偏移量。
示例性地,假设可移动摄像头转动时,电子设备未抖动,针对S2613示例中第一坐标为P=(u,v,1)的图像中心点来说,在成像时会出现像旋问题,像旋的角度可以记为θ。像旋前后的第一坐标和第三坐标也满足罗德里格斯变换。
使用公式进行表达,则电子设备未抖动,但可移动摄像头转动前后,也即进行图像进行像旋角度为θ的像旋前后,图像中心点的变换关系满足:
其中,KR(θ)K-1用于指示图像中心点在可移动摄像头转动前后所对应的变换关系。K表示标准相机内参,K-1表示标准相机内参的逆;R(θ)表示像旋角度θ对应的三维旋转矩阵,像旋角度θ可以通过上述S240中的方法实时获取。
在此基础上,当可移动摄像头转动,电子设备抖动时,针对S2613示例中的第一坐标为P=(u,v,1)的图像中心点来说,在成像时不仅会出现像旋问题,还会因为抖动出现移动。其中,像旋角度可以记为θ,电子设备的当前抖动参数α时,抖动角度可以记录为α。
使用公式进行表达,则可移动摄像未转动、电子设备未抖动,到可移动摄像头转动、电子设备抖动后,也即进行像旋角度为θ的像旋以及抖动α前后,图像中心点的变换关系满足:
其中,KR(θ)R(α)K-1用于指示图像中心点在可移动摄像头转动和抖动前,到转动和抖动后所对应的变换关系。K表示标准相机内参,K-1表示标准相机内参的逆;R(θ)表示像旋角度θ对应的三维旋转矩阵,像旋角度θ可以通过上述S240中的方法实时获取。R(α)表示抖动角度α对应的三维旋转矩阵,抖动角度α可以通过陀螺仪传感器实时获取。
基于第三坐标与第二坐标的差值,可以确定可移动摄像头转动和抖动前,到转动和抖动后图像中心的坐标偏移量,但是,由于可移动摄像头转动前后,OIS坐标系不再是直角坐标系,OIS坐标系与图像坐标系具有一定映射关系,因此,为了确定图像中心对应到OIS坐标系中的偏移量,还需要基于该映射关系进行校正。
当OIS坐标系中的x轴与图像坐标系中的x轴指示方向相同,y轴与图像坐标系中的y轴夹角大小为θz时,图像坐标系与非直角的OIS坐标系之间的对应关系可以用以下旋转矩阵R'(θz)-1来表示:
然后,基于第四坐标和第三坐标的差值,与第二校正矩阵相乘,可以确定图像中心点的第二偏移量为ΔSP=R'(θz)-1(SP'-SP)。
S2618、根据第一偏移量或第二偏移量,确定当前补偿参数。
此时,需根据可移动摄像头的转动情况以及电子设备的抖动情况来确定不同情况下的当前补偿参数,具体可以包括:根据第一偏移量确定OIS坐标轴中OIS_x轴的补偿量和OIS_x轴的补偿量;或者,根据第二偏移量确定OIS坐标轴中OIS_x轴的补偿量和OIS_x轴的补偿量。
需要说明的是,可以利用相关算法将图像中心点的偏移量转换成OIS坐标轴上的位移补偿量,本申请实施例对此不进行限定。
本申请实施例提供的上述光学防抖方法,应用在具有可移动摄像头的电子设备上。当可移动摄像头未转动,但电子设备受到外界抖动时,本申请可以通过陀螺仪传感器获取电子设备对应的当前抖动参数,确定图像中心点抖动前后所对应的第一偏移量,然后,基于该第一偏移量确定OIS控制器所对应的当前补偿参数。
当可移动摄像头转动,且电子设备未抖动时,本申请可以通过获取可移动摄像头转动所对应的当前扫描码,来确定像旋角度,再结合像旋角度,确定图像中心点对应的第三坐标;另外,当可移动摄像头转动,且电子设备抖动时,本申请还可以通过结合像旋角度、当前抖动参数,确定图像中心点对应的第四坐标。然后,再将第四坐标和第三坐标的差值,结合图像坐标系与OIS坐标系的映射关系,映射到OIS坐标系中,确定出OIS控制器所对应的当前补偿参数。
后续,OIS控制器可区分可移动摄像头的情况,控制镜头移动来补偿外界抖动所造成的镜头抖动。这样,进行光学防抖后,本申请所提供的可移动摄像头在扩大视野范围、实现灵活变焦、目标追踪的同时也能实现光学防抖,提高拍摄出的图像的清晰度。另外,该光学防抖方法不受可移动摄像头转动的影响,也不受电子设备抖动方向的影响,抗干扰性较好。
示例性地,结合上述第二种光学防抖方法,电子设备利用光学防抖后的可移动摄像头获取图像之后,还可以进行以下步骤:
步骤一、确定拍摄图像分别在图像坐标系中的x轴、y轴上的模糊量。
可以利用相关模糊量计算方法来确定光学防抖后,电子设备拍摄的图像分别在x轴、y轴的模糊量,本申请对该计算方法不进行任何限定。
步骤二、重复多次拍摄,通过梯度下降法调整陀螺增益。
陀螺增益指的是电子设备受外界抖动的角度与OIS马达控制镜头移动的补偿量所满足的对应关系。梯度下降法(Gradient descent)是一个一阶最优化算法,通常也称为最陡下降法。梯度下降法可以指示沿梯度下降的方向求解极小值。
本申请可以通过多次拍摄,利用梯度下降法来调整陀螺增益,以使得抖动角度与OIS补偿量的对应关系更加准确;后续再进行拍摄时,可以利用该调整后的陀螺增益来进行处理。
图22是本申请实施例提供的可移动摄像头在不同情况下针对同一拍摄场景获取的图像。
如图22所示,图22中的(a)可以表示电子设备关闭光学防抖且转动马达组件进行转动之后获取的图像;图22中的(b)可以表示电子设备开启光学防抖且转动马达组件进行转动之后获取的图像。在电子设备开启光学防抖后,获取的图像在清晰度上明显的提升。
在用户手持电子设备进行步行或跑步的场景中,当电子设备启动可移动摄像头进行拍摄(拍照预览、拍照或录像等)时,可移动摄像头可以通过转动马达组件实现拍摄场景中的主体追踪,又可以通过本申请的光学防抖方法进行防抖,获取如图22中的(b)所示清晰的图像。
图23是本申请实施例提供的光学防抖装置的结构示意图。
该光学防抖装置300包括显示单元310和处理单元320。
处理单元320用于开启相机应用程序;显示单元320用于显示第一图像;处理单元320还用于接收对所述第一图像的第一操作;响应于所述第一操作,所述可移动摄像头转动;根据所述可移动摄像头转动后对应的当前扫描码,确定像旋角度;根据所述像旋角度和所述电子设备的当前抖动参数,确定当前补偿参数;基于所述当前补偿参数,所述电子设备进行光学防抖;利用光学防抖后的可移动摄像头获取拍摄图像。
需要说明的是,上述光学防抖装置200以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现,对此不作具体限定。
例如,“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit,ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此,在本申请的实施例中描述的各示例的单元,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
图24示出了本申请提供的一种电子设备的结构示意图。图24中的虚线表示该单元或该模块为可选的,电子设备400可用于实现上述方法实施例中描述的光学防抖方法。
电子设备400包括一个或多个处理器401,该一个或多个处理器402可支持电子设备400实现方法实施例中的方法。处理器401可以是通用处理器或者专用处理器。例如,处理器401可以是中央处理器(central processing unit,CPU)、数字信号处理器(digitalsignal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或者其它可编程逻辑器件,如分立门、晶体管逻辑器件或分立硬件组件。
处理器401可以用于对电子设备400进行控制,执行软件程序,处理软件程序的数据。电子设备400还可以包括通信单元405,用以实现信号的输入(接收)和输出(发送)。
例如,电子设备400可以是芯片,通信单元405可以是该芯片的输入和/或输出电路,或者,通信单元405可以是该芯片的通信接口,该芯片可以作为终端设备或其它电子设备的组成部分。
又例如,电子设备400可以是终端设备,通信单元405可以是该终端设备的收发器,或者,通信单元405可以是该终端设备的收发电路。
电子设备400中可以包括一个或多个存储器402,其上存有程序404,程序404可被处理器401运行,生成指令403,使得处理器401根据指令403执行上述方法实施例中描述的光学防抖方法。
可选地,存储器402中还可以存储有数据。可选地,处理器401还可以读取存储器402中存储的数据,该数据可以与程序404存储在相同的存储地址,该数据也可以与程序404存储在不同的存储地址。
处理器401和存储器402可以单独设置,也可以集成在一起;例如,集成在终端设备的系统级芯片(system on chip,SOC)上。
示例性地,存储器402可以用于存储本申请实施例中提供的光学防抖方法的相关程序404,处理器401可以用于在视频处理时调用存储器402中存储的光学防抖方法的相关程序404,执行本申请实施例的光学防抖方法;例如,开启相机应用程序;显示第一图像;接收对所述第一图像的第一操作;响应于所述第一操作,所述可移动摄像头转动;根据所述可移动摄像头转动后对应的当前扫描码,确定像旋角度;根据所述像旋角度和所述电子设备的当前抖动参数,确定当前补偿参数;基于所述当前补偿参数,所述电子设备进行光学防抖;利用光学防抖后的可移动摄像头获取拍摄图像。
本申请还提供了一种计算机程序产品,该计算机程序产品被处理器401执行时实现本申请中任一方法实施例所述的光学防抖方法。
该计算机程序产品可以存储在存储器402中,例如是程序404,程序404经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器401执行的可执行目标文件。
本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机执行时实现本申请中任一方法实施例所述的光学防抖方法。该计算机程序可以是高级语言程序,也可以是可执行目标程序。
可选地,该计算机可读存储介质例如是存储器402。存储器402可以是易失性存储器或非易失性存储器,或者,存储器402可以同时包括易失性存储器和非易失性存储器。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
本领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和设备的具体工作过程以及产生的技术效果,可以参考前述方法实施例中对应的过程和技术效果,在此不再赘述。
在本申请所提供的几个实施例中,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的方法实施例的一些特征可以忽略,或不执行。以上所描述的装置实施例仅仅是示意性的,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,多个单元或组件可以结合或者可以集成到另一个系统。另外,各单元之间的耦合或各个组件之间的耦合可以是直接耦合,也可以是间接耦合,上述耦合包括电的、机械的或其它形式的连接。
应理解,在本申请的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请的实施例的实施过程构成任何限定。
另外,本文中术语“系统”和“网络”在本文中常被可互换使用。本文中的术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
总之,以上所述仅为本申请技术方案的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (12)
1.一种光学防抖方法,其特征在于,应用于包括可移动摄像头的电子设备,所述方法包括:
开启相机应用程序;
显示第一图像;
接收对所述第一图像的第一操作;
响应于所述第一操作,所述可移动摄像头转动;
根据所述可移动摄像头转动后对应的当前扫描码,确定像旋角度;
根据所述像旋角度和所述电子设备的当前抖动参数,确定当前补偿参数;
基于所述当前补偿参数,所述电子设备进行光学防抖;
利用光学防抖后的可移动摄像头获取拍摄图像。
2.根据权利要求1所述的光学防抖方法,其特征在于,所述根据所述像旋角度和所述电子设备的当前抖动参数,确定当前补偿参数,包括:
根据所述像旋角度,确定第一校正矩阵;
根据所述像旋角度,确定第二校正矩阵;
利用第一校正矩阵、第二校正矩阵,对电子设备的所述当前抖动参数进行校正,确定校正后的抖动参数;
根据所述校正后的抖动参数,确定所述当前补偿参数。
3.根据权利要求1所述的光学防抖方法,其特征在于,所述根据所述像旋角度和所述电子设备的当前抖动参数,确定当前补偿参数,包括:
当所述可移动摄像头转动后,且所述电子设备未抖动时,结合所述像旋角度,确定图像中心点对应的第三坐标;
当所述可移动摄像头转动后,且所述电子设备抖动时,结合所述当前抖动参数和所述像旋角度,确定所述图像中心点对应的第四坐标;
根据所述像旋角度,确定第二校正矩阵;
基于所述第四坐标和第三坐标的差值,结合所述第二校正矩阵,确定所述图像中心点的第二偏移量;
根据所述第二偏移量,确定所述当前补偿参数。
4.根据权利要求3所述的光学防抖方法,其特征在于,所述方法还包括:
当所述可移动摄像头未转动,且所述电子设备未抖动时,确定所述图像中心点对应的第一坐标;
当所述可移动摄像头未转动,且所述电子设备抖动时,结合所述当前抖动参数,确定所述图像中心点对应的第二坐标;
基于所述第二坐标和所述第一坐标的差值,确定所述图像中心点的第一偏移量;
根据所述第一偏移量,确定所述当前补偿参数。
5.根据权利要求3或4所述的光学防抖方法,其特征在于,所述方法还包括:
确定所述拍摄图像分别在图像坐标系中的x轴、y轴上的模糊量;
重复多次拍摄,调整陀螺增益。
6.根据权利要求1至5中任一项所述的光学防抖方法,其特征在于,所述可移动摄像头包括转动马达和棱镜;
所述响应于所述第一操作,所述可移动摄像头转动,包括:
响应于所述第一操作,所述转动马达驱动所述棱镜转动。
7.根据权利要求6所述的光学防抖方法,其特征在于,根据所述可移动摄像头转动后对应的当前扫描码,确定像旋角度,包括:
根据所述可移动摄像头转动后对应的当前扫描码,获取像旋参数;
根据所述像旋参数,确定所述像旋角度。
8.根据权利要求1所述的光学防抖方法,其特征在于,所述第一操作为针对第一图像包括的任意一个目标的点击操作。
9.根据权利要求1所述的光学防抖方法,其特征在于,所述第一操作为针对所述第一图像的局部区域的放大操作。
10.一种电子设备,其特征在于,包括处理器和存储器;
所述存储器,用于存储可在所述处理器上运行的计算机程序;
所述处理器,用于执行如权利要求1至9中任一项所述的光学防抖方法。
11.一种芯片系统,其特征在于,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至9中任一项所述的光学防抖方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,使所述处理器执行如权利要求1至9中任一项所述的光学防抖方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310409528.3A CN117135458B (zh) | 2023-04-07 | 2023-04-07 | 光学防抖方法及其相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310409528.3A CN117135458B (zh) | 2023-04-07 | 2023-04-07 | 光学防抖方法及其相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117135458A true CN117135458A (zh) | 2023-11-28 |
CN117135458B CN117135458B (zh) | 2024-07-30 |
Family
ID=88855312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310409528.3A Active CN117135458B (zh) | 2023-04-07 | 2023-04-07 | 光学防抖方法及其相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117135458B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118474530A (zh) * | 2023-12-12 | 2024-08-09 | 荣耀终端有限公司 | 图像拍摄方法及相关设备 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008107731A (ja) * | 2006-10-27 | 2008-05-08 | Fujifilm Corp | レンズ装置、撮像装置、デジタルカメラ及び携帯電話機 |
CN112040094A (zh) * | 2019-06-04 | 2020-12-04 | Oppo广东移动通信有限公司 | 一种拍摄装置 |
CN113037953A (zh) * | 2019-12-25 | 2021-06-25 | 南昌欧菲光电技术有限公司 | 摄像模组及电子设备 |
WO2021146835A1 (zh) * | 2020-01-20 | 2021-07-29 | 南昌欧菲光电技术有限公司 | 潜望式光学系统、摄像模组、电子设备及防抖方法 |
CN113219623A (zh) * | 2020-01-20 | 2021-08-06 | 南昌欧菲光电技术有限公司 | 潜望式光学系统、摄像模组、电子设备及防抖方法 |
CN113452898A (zh) * | 2020-03-26 | 2021-09-28 | 华为技术有限公司 | 一种拍照方法及装置 |
WO2023277298A1 (ko) * | 2021-06-29 | 2023-01-05 | 삼성전자 주식회사 | 이미지 안정화 방법 및 이를 위한 전자 장치 |
WO2023284591A1 (zh) * | 2021-07-12 | 2023-01-19 | 华为技术有限公司 | 视频拍摄方法及装置、电子设备和存储介质 |
CN115633254A (zh) * | 2021-07-16 | 2023-01-20 | 华为技术有限公司 | 图像采集方法、电子设备及介质 |
WO2023005355A1 (zh) * | 2021-07-30 | 2023-02-02 | 荣耀终端有限公司 | 图像防抖方法与电子设备 |
-
2023
- 2023-04-07 CN CN202310409528.3A patent/CN117135458B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008107731A (ja) * | 2006-10-27 | 2008-05-08 | Fujifilm Corp | レンズ装置、撮像装置、デジタルカメラ及び携帯電話機 |
CN112040094A (zh) * | 2019-06-04 | 2020-12-04 | Oppo广东移动通信有限公司 | 一种拍摄装置 |
CN113037953A (zh) * | 2019-12-25 | 2021-06-25 | 南昌欧菲光电技术有限公司 | 摄像模组及电子设备 |
WO2021146835A1 (zh) * | 2020-01-20 | 2021-07-29 | 南昌欧菲光电技术有限公司 | 潜望式光学系统、摄像模组、电子设备及防抖方法 |
CN113219623A (zh) * | 2020-01-20 | 2021-08-06 | 南昌欧菲光电技术有限公司 | 潜望式光学系统、摄像模组、电子设备及防抖方法 |
CN113452898A (zh) * | 2020-03-26 | 2021-09-28 | 华为技术有限公司 | 一种拍照方法及装置 |
WO2023277298A1 (ko) * | 2021-06-29 | 2023-01-05 | 삼성전자 주식회사 | 이미지 안정화 방법 및 이를 위한 전자 장치 |
WO2023284591A1 (zh) * | 2021-07-12 | 2023-01-19 | 华为技术有限公司 | 视频拍摄方法及装置、电子设备和存储介质 |
CN115633254A (zh) * | 2021-07-16 | 2023-01-20 | 华为技术有限公司 | 图像采集方法、电子设备及介质 |
WO2023005355A1 (zh) * | 2021-07-30 | 2023-02-02 | 荣耀终端有限公司 | 图像防抖方法与电子设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118474530A (zh) * | 2023-12-12 | 2024-08-09 | 荣耀终端有限公司 | 图像拍摄方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117135458B (zh) | 2024-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109309796B (zh) | 使用多个相机获取图像的电子装置和用其处理图像的方法 | |
US11128803B2 (en) | Electronic device for correcting image and method for operating the same | |
US12069369B2 (en) | Electronic device for stabilizing image and method for operating same | |
US11924550B2 (en) | Method for processing image by using artificial neural network, and electronic device supporting same | |
CN117135454B (zh) | 图像处理方法、设备及存储介质 | |
KR102330264B1 (ko) | 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법 | |
WO2023005355A1 (zh) | 图像防抖方法与电子设备 | |
WO2024001506A1 (zh) | 显示方法与电子设备 | |
CN115701125B (zh) | 图像防抖方法与电子设备 | |
CN113542600A (zh) | 一种图像生成方法、装置、芯片、终端和存储介质 | |
TWI785162B (zh) | 提供影像的方法及用於支持所述方法的電子裝置 | |
KR20210107958A (ko) | 디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치 | |
CN117135458B (zh) | 光学防抖方法及其相关设备 | |
CN117714867B (zh) | 图像防抖方法与电子设备 | |
CN114390186B (zh) | 视频拍摄方法及电子设备 | |
CN115988311A (zh) | 图像处理方法与电子设备 | |
CN115908120B (zh) | 图像处理方法和电子设备 | |
US20250104379A1 (en) | Efficiently processing image data based on a region of interest | |
US11743585B2 (en) | Electronic apparatus including camera and control method thereof | |
CN115767287B (zh) | 图像处理方法与电子设备 | |
US20220417405A1 (en) | Method of image stabilization and electronic device therefor | |
CN117135420B (zh) | 图像同步方法及其相关设备 | |
WO2023185096A1 (zh) | 图像模糊度的确定方法及其相关设备 | |
CN117135459B (zh) | 图像防抖方法与电子设备 | |
CN117135456B (zh) | 图像防抖方法与电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040 Patentee after: Honor Terminal Co.,Ltd. Country or region after: China Address before: 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong Patentee before: Honor Device Co.,Ltd. Country or region before: China |