CN113592887A - 视频拍摄方法、电子设备及计算机可读存储介质 - Google Patents
视频拍摄方法、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113592887A CN113592887A CN202110714588.7A CN202110714588A CN113592887A CN 113592887 A CN113592887 A CN 113592887A CN 202110714588 A CN202110714588 A CN 202110714588A CN 113592887 A CN113592887 A CN 113592887A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- electronic device
- exposure
- electronic equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000012545 processing Methods 0.000 claims abstract description 45
- 230000009466 transformation Effects 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 29
- 230000001133 acceleration Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 23
- 238000006073 displacement reaction Methods 0.000 description 20
- 230000004927 fusion Effects 0.000 description 19
- 238000013519 translation Methods 0.000 description 14
- 239000013598 vector Substances 0.000 description 14
- 238000007726 management method Methods 0.000 description 12
- 238000007499 fusion processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000003068 static effect Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Studio Devices (AREA)
Abstract
本申请属于图像处理领域,提出了一种视频拍摄方法、电子设备及计算机可读存储介质。该方法包括:电子设备确定当前的拍摄状态为运动状态,获取当前拍摄参数中的第一曝光时长;所述电子设备对所述第一曝光时长进行时间截取获得截取图像,所述截取图像包括两帧或两帧以上的图像,且所述截取图像与时间截取得到的曝光时长对应;所述电子设备将所述截取图像融合为一帧图像,根据融合后的图像生成视频。在电子设备处于运动状态的拍摄时,通过对第一曝光时长进行时间截取生成截取图像,使得截取图像的曝光时长小于第一曝光时长,对截取图像融合后,可以得到运动区域更为清晰的图像,从而能够降低视频动态模糊度,减少图像伪影,提高视频质量。
Description
技术领域
本申请属于图像处理领域,尤其涉及视频拍摄方法、电子设备及计算机可读存储介质。
背景技术
随着科技的发展,越来越多的电子设备配置有摄像头。通过运行相机应用程序,可以控制摄像头的拍摄参数,包括如感光度、快门速度、光圈大小等,可以实现不同画质的照片或视频的拍摄。其中,感光度越高、快门速度越慢或光圈越大,则照片越亮,感光度越低、快门速度越快或光圈越小,则照片越暗。
电子设备在拍摄视频时,所拍摄的画面中可能存在运动的物体,或者拍摄者持有的电子设备可能会发生抖动,使得电子设备与拍摄对象发生相对位移。由于相对位移的出现,在生成一帧画面的曝光时长范围内,拍摄对象在图像传感器上的曝光位置可能发生移动,从而导致所拍摄的视频存在伪影,或者所拍摄的视频存在动态模糊,影响视频的拍摄质量。
发明内容
本申请提供一种视频拍摄方法、电子设备及计算机可读存储介质,可以在电子设备拍摄视频的过程中,减少视频存在的伪影,或减少所拍摄视频的动态模糊,提高视频的拍摄质量。
为实现上述技术目的,本申请采用如下技术方案:
第一方面,本申请提供一种视频拍摄方法,该方法应用于电子设备,该方法可以包括:所述电子设备确定当前的拍摄状态为运动状态,获取当前拍摄参数中的第一曝光时长;所述电子设备对所述第一曝光时长进行时间截取获得截取图像,所述截取图像包括两帧或两帧以上的图像,且所述截取图像与时间截取得到的曝光时长对应;所述电子设备将所述截取图像融合为一帧图像,根据融合后的图像生成视频。
其中,电子设备的拍摄状态可以包括运动状态和非运动状态(即稳定状态)。在电子设备确定当前拍摄状态处于运动状态,则对所获取的第一曝光时长进行时间截取,将第一曝光时长截取成为两个或两个以上的第二曝光时长,由所截取的两个或两个以上的第二曝光时长,分别进行曝光和图像采集,得到两个或两个以上的截取图像。将所截取的两个或两个以上的截取图像融合为视频的一帧图像,以生成与第一曝光时长的帧率一致的视频。通过对第一曝光时长进行时间截取,使得截取得到的第二曝光时长小于第一曝光时长。根据第二曝光时长进行曝光和图像采集时,由于曝光时长更短,因此,在第二曝光时长内发生相对移动的距离,相对于第一曝光时长内发生相对移动的距离更小,因此,在截取图像中产生动态模糊和伪影的程度更小,从而能够有效的提高融合后的图像的质量,减少图像的伪影和动态模糊。
其中,所述拍摄状态,可以理解为电子设备与拍摄的图像中的物体的相对状态。可以根据所采集的图像的像素的变化,或者通过电子设备的传感器采集的数据,来确定电子设备的拍摄状态。
当确定电子设备的拍摄状态处于稳定状态时,电子设备可以直接通过第一曝光进长进行曝光和图像采集,将所采集的图像直接作为视频的一帧图像。即相对于运动状态,电子设备处于稳定状态时,不需要对第一曝光时长进行时间截取以及对截取图像进行图像融合。
通过对电子设备的拍摄状态进行检测,确定电子设备处于稳定状态时,可以不需要对第一曝光时长进行时间截取,避免在第一曝光时长内多次曝光、数据读出和图像融合,从而有利于提高视频图像的获取效率。
在电子设备确定当前的拍摄状态的实现方式中,可以通过运动传感器采集电子设备的传感数据,根据传感数据确定电子设备当前的拍摄状态。
其中,传感数据可以包括平移加速度和角位移加速度。可以通过加速度传感器或陀螺仪等设备,确定所述电子设备的平移加速度和角位移加速度。通过平移加速度可以计算电子设备的平移速度,通过角位移加速度,可以计算电子设备的角位移速度。可以根据平移速度、平移加速度、角位移速度、角位移加速度中的一种参数,或者几种参数相结合的方式,更为可靠的确定电子设备的拍摄状态。
在电子设备确定当前的拍摄状态的实现方式中,也可以根据电子设备所拍摄的图像中的像素点的变化,来确定电子设备当前的拍摄状态。
比如,电子设备按照预定的时长间隔采集两帧图像,比较两帧图像中的像素点,确定发生变化的像素点的数量。根据发生变化的像素点的数量与图像总的像素点的比值来反应图像的变化程度。当该比值大于预先设定的比例阈值,则表示图像内容变化剧烈,电子设备当前的拍摄状态处于运动状态,反之则处于稳定状态。
其中,比例阈值的大小,可与所比较的两帧图像的时间间隔关联。随着该时间间隔的增加,可相应的提高比例阈值的大小。当两帧图像为视频中的相邻图像时,可以根据视频的帧率确定该比例阈值。
通过图像比较的方式确定电子设备的拍摄状态,可以不必读取加速度传感器(平移加速度传感器或角位移加速度传感器)数据,使得不具有加速度传感器的电子设备能够有效的确定电子设备当前的拍摄状态,提升视频拍摄方法可应用的设备范围。
在进行图像比较时,可以对两帧图像的像素逐个进行比较。由于电子设备在两帧图像时,电子设备本身可能有发生平移或角位移,因此,为了提高像素比较的准确度,可以先将需要比较的图像进行配准,通过配准后的图像进行相似度比较,提高像素比较的精度。
在进行像素比对时,可以根据像素点的颜色的相似度,来确定两个像素点是否相似。或者也可以根据像素点对应的灰度值、色调、色饱和度、亮度的差值,来确定两个像素点是否相似。
通过像素的颜色进行相似度比较时,可以确定需要判断的两个像素点的RGB值对应的三维向量,然后计算两个三维向量的距离,即颜色空间的距离的方式,来确定两个像素是否相似。
在本申请实施例中,在确定电子设备的拍摄状态的实现方式中,还可以包括根据电子设备所采集的图像的锐度信息的变化的方式。通过图像的锐度信息来确定电子设备的拍摄状态时,电子设备可以获取在预定时长间隔内所拍摄的两帧图像;对所述两帧图像进行边缘检测,确定两帧图像的边缘的锐度发生变化的区域;如果锐度发生变化的区域与边缘区域的比值大于或等于预定的边缘比例阈值,所述电子设备的拍摄状态为运动定状态;如果锐度发生变化的区域与边缘区域的比值小于预定的边缘比例阈值,所述电子设备的拍摄状态为稳定状态。
由于电子设备在拍摄相对运动的物体时,整体画面发生偏移,导致画面中的物体的轮廓发生模糊,从而使得物体的轮廓的锐度降低。通过锐度信息的比较,可以检测到电子设备当前处于非稳定状态(或者稳定状态与运动状态结合的状态),可以根据该检测结果,预测未来一段时间内的拍摄状态的持续趋势,根据该持续趋势确定电子设备的曝光时长,以生成图像质量更佳的视频。
截取第一曝光时长生成两个或两个以上的第二曝光时长,根据第二曝光时长可以生成两个或两个以上的截取图像。为了提高视频的图像质量,以及保持视频帧率的稳定性,需要将所生成的两个或两个以上的截取图像进行融合处理。
在可能的图像融合实现方式中,电子设备可以确定所述截取图像中的运动区域和非运动区域;所述电子设备将所述截取图像中的非运动区域的图像进行融合,结合预先确定的所述截取图像中的指定图像的运动区域的图像,生成一帧图像。
将非运动区域进行图像融合时,可以根据两个图像的非运动区域的数据进行画质增强处理,得到融合后的非运动区域。对于运动区域,直接采用预先确定的截取图像中的指定图像的运动区域,组合生成一帧图像。由于非运动区域进行画质增强,且由于第二曝光时长更短,截取图像的运动区域中的图像相对于第一曝光时长的图像更为清晰,因此,融合后的图像能够降低动态模糊,减少图像伪影。
在确定运动区域和非运动区域的实现方式中,电子设备可以将所述截取图像进行配准变换,得到基准图像和变换图像;所述电子设备计算所述变换图像和所述基准图像之间的像素差;当所述像素差大于或等于预定的像素差阈值时,所述电子设备确定该像素差对应的像素点属于运动区域;当所述像素差小于预定的像素差阈值时,所述电子设备确定该像素差对应的像素点属于非运动区域。
通过将截取图像进行配准后,对截取图像的像素逐个进行比较,确定每个像素所属的区域。在具体实施过程中,还可以对确定的运动区域进行过滤和筛选,以提升优化效率。
在进行图像配准变换时,可以将截取图像中的其中一个图像确定为基准图像,将所述截取图像中的其它图像与所述基准图像进行配准处理,确定其它图像与所述基准图像之间的变换矩阵;根据所确定的变换矩阵对所述其它图像进行图像变换,得到变换图像。
其中,基准图像可以为截取图像中处于中间位置的图像。比如,截取图像可以包括3个,可以将第2个截取图像作为基准图像,将第1个截取图像和第3个截取图像作为其它图像。根据第1个截取图像与第2个截取图像的变换矩阵,对第1个截取图像进行配准变换,以及根据第3个截取图像与第2个图像的变换矩阵,对第3个截取图像进行配准变换。
当然,不局限于此,也可以将其中任意截取图像作为基准图像,可以由变换后的图像进行比较,也可以由变换后的图像与基准图像进行比较。
在可能的实现方式中,还可以对生成的一帧图像中的运动区域进行滤波处理,得到滤波后的图像。从而能够更进一步提升所生成的一帧图像的运动区域的图像质量。
第二方面,本申请实施例提出了一种电子设备,该电子设备包括摄像头,用于采集图像;显示屏,用于显示所采集的图像;一个或多个处理器;存储器;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述电子设备执行时,使得所述电子设备执行如第一方面所述的视频拍摄方法。
第三方面,本申请实施例提出了一种计算机可读存储介质,所述计算机可读存储介质包括计算机指令,当所述计算机指令在计算机上运行时,使得所述计算机执行如第一方面所述的视频拍摄方法。
附图说明
图1为本申请实施例提供的一种相机系统示意图;
图2为本申请实施例提供的一种非重叠模式的图像采集示意图;
图3为本申请实施例提供的一种重叠模式的图像采集示意图;
图4为本申请实施例提供的一种视频拍摄方法的实施场景示意图;
图5为本申请实施例提供的又一视频拍摄方法的实施场景示意图;
图6为本申请实施例提供的一种电子设备的结构示意图;
图7为本申请实施例提供的一种软件结构示意图;
图8为本申请实施例提供的一种电子设备的拍照流程在硬件抽象层和框架层之间的运行过程示意图;
图9为本申请实施例提供的一种视频拍摄方法的实现流程示意图;
图10为本申请实施例提供的一种第一曝光时长与第一曝光时长的关系示意图;
图11为本申请实施例提供的又一第一曝光时长与第一曝光时长的关系示意图;
图12为本申请实施例提供的又一第一曝光时长与第一曝光时长的关系示意图;
图13为本申请实施例提供的又一第一曝光时长与第一曝光时长的关系示意图;
图14为本申请实施例提供的一种电子设备的拍摄模式切换操作示意图;
图15为本申请实施例提供的一种视频拍摄流程示意图;
图16为本申请实施例提供的一种图像融合示意图;
图17为本申请实施例提供的一种手机的模块化划分示意图;
图18为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面示例性介绍本申请实施例可能涉及的相关内容。
(1)相机系统,或者也称为摄像系统。
参见图1,图1为本申请实施例提供的相机系统示意图。如图1所示,相机系统可以包括镜头(Lens)模块11、图像传感(Sensor)模块12、图像信号处理(Image SignalProcessor,ISP)模块13和编码输出模块14。
其中,镜头模块11用于通过光束变换,将成像目标的光束变换至图像传感模块12的光敏面。影响光束变换的控制参数包括镜头焦距(Focal Length)、光圈(Iris)、景深(Depth of Field,DOF)、曝光时长、感光度等参数。通过调节和控制上述参数,可以实现对图像传感模块12所采集的图像的变化,包括如视角、进光量等信息的变化。
所述图像传感模块12用于将镜头模块11所变换的光信号,通过曝光,将光信号转换为电信号,通过读取曝光后的传感器的寄存器,可输出原始图像。可以根据镜头模块11的控制参数,包括如曝光时长、光圈大小、感光度等参数,调整所输出的原始图像画面质量,可以输出原始图像,比如可以为Bayer(拜耳阵列)格式的原始图像至图像信号处理模块13。
所述图像信号处理模块13用于对原始图像进行图像处理,包括但不限于坏点消除、提升饱和度、提升边缘平滑度、提升照片清晰度、改善预览清晰度等。
所述编码输出模块14可用于将图像信号处理模块13所输出的图像进行编码处理,输出目标帧率的视频,或者输出其它格式要求的照片等。
(2)曝光(Exposure)和读出数据(Sensor Readout)。
相机在图像采集过程中,也即图像传输至ISP处理前,包括两个部分,分别为曝光(Exposure)和读出数据(Sensor Readout)。读出数据是在曝光完成后,从图像传感模块的寄存器读出数据的过程。
图像采集过程包括两种常见的方法,即重叠(overlapped)模式和非重叠(non-overlapped)模式。
图2为本申请实施例提供的非重叠模式的图像采集示意图。如图2所示,相机在每个图像采集周期开始之前,已经完成上一个图像采集周期的读出数据的过程。
比如,在图2所示的图像采集过程中,根据预先设定的曝光时长,完成第N帧图像的曝光,在曝光完成后,读出传感器的寄存器所寄存的图像数据,在读出数据完成后,开始进行第N+1帧图像的曝光,以及在第N+1帧图像曝光完成后,读出传感器的寄存器所寄存的第N+1帧图像数据。
图3为本申请实施例提供的重叠模式的图像采集示意图。如图3所示,相机在读出数据时,可以与下一帧图像的曝光时间出现重叠。在同一个时刻内,相机执行两个操作,即第N帧图像的读出数据以及第N+1帧图像的曝光。由于相机在同样时长内执行的操作更多,因此,在重叠模式下,可以采集更多的图像。
(3)动态模糊
动态模糊也可以称为运动模糊,是指所拍摄的图像中,由于图像中包括快速移动的物体而造成的明显的模糊的痕迹。
产生动态模糊的原因在于,当相机拍摄视频时,由于技术的限制,所拍摄的图像所表现的不是单一时刻的即时影像,而是一段时间内的场景。该场景的影像会表现物体在曝光时间内所有位置的组合以及相机的视角。在这样的图像中,相对相机有相对运动物体将会看起来模糊或被晃动。
本申请实施例提供的一种视频拍摄方法,该方法可以应用于电子设备。电子设备在拍摄视频的过程中,显示屏可以实时显示预览图像。当拍摄者手持的电子设备出现晃动,或者拍摄的图像中包括运动的物体,显示屏仍然可以清晰的显示运动图像,减小由于电子设备的晃动或拍摄的图像中包括的运动物体所产生的伪影图像。
图4为本申请实施例提供的视频拍摄方法的场景示意图。如图4所示,电子设备在被用户持有并拍摄视频的过程中,由于用户本身的移动,会使得电子设备相对于拍摄物体的视角或距离发生变化。或者,由于用户行走时所产生的晃动,包括用户行走时所产生的颠簸,或者用户手臂不稳定所产生的移动,会使得电子设备在拍摄过程中,会使得电子设备相对于拍摄物体产生相对位移。
由于电子设备相对于拍摄物体产生相对位移,或者电子设备相对于拍摄物体的视角或距离发生变化。在同一曝光时长内,发生相对位移的物体,可能会通过图像传感模块记录物体在同一图像中存在的多个位置,从而产生动态模糊。
比如图4所示的场景示意图中,由于电子设备相对于拍摄对象整体产生相对位移,因此,在所拍摄的图像中,会产生整体画面的动态模糊。在移动拍摄过程中,电子设备的预览画面中,可能会显示动态模糊的预览画面。电子设备在接收视频拍摄指令后,如果拍摄过程中,电子设备与拍摄对象出现相对位移,在拍摄的同一帧图像中,可能会记录发生相对位移的物体在多个位置的影像,从而使得图像出现动态模糊。
例如,用户在使用电子设备进行户外直播,或者用户在行走过程中与好朋友进行视频通话时,用户通过电子设备支架持有电子设备。在用户行走过程中,用户的快速位移会使得电子设备与拍摄对象之间发生相对位移。在用户行走过程中,用户行走所带来的晃动,也会使得电子设备相对于拍摄对象出现上下晃动的相对位移。在用户行走过程中,持有电子设备的手臂,可能也会使得电子设备相对于拍摄对象出现晃动或旋转。
图5为本申请实施例提供的又一视频拍摄方法的场景示意图。如图5所示,电子设备在使用过程中,所拍摄的场景包括背景和运动目标。在拍摄过程中,背景相对于电子设备处于静止状态,运动目标相对于电子设备处于运动状态。因此,在同一曝光时长内,背景在曝光后生成的图像中的位置没有发生改变,运动目标在曝光完成后,可能会在曝光过程中记载运动目标在图像中的多个位置,从而在生成的图像中,由于记录运动目标在曝光时长内的多个位置而产生运动目标的动态模糊。
比如图5所示的场景示意图中,运动目标包括高速运动的球体。在某一曝光时长t内,球体从位置A运动至位置B。在这一曝光时长内,通过曝光所记录的球体的位置包括多个,即球体从位置A移动到位置B的过程中的多个位置。在电子设备的显示屏上所显示的图像中,可能会包括清晰的背景图像,以及产生动态模糊的球体。或者,在电子设备所拍摄的视频画面中,可能会包括清晰的背景图像,以及产生动态模糊的球体。
例如,用户在使用电子设备拍摄运动的汽车、行人或拍摄比赛等内容。即使电子设备已经通过支架稳定的固定在地面或其它稳定的设备上,由于拍摄对象中包括运动的汽车、行人或快速移动的运动员,在同一曝光时长内,移动的拍摄目标会出现在同一帧图像中的多个位置,从而使得拍摄的图像出现动态模糊。
目前对于运动模糊的消除,通常根据算法进行图像复原。图像复原算法包括非盲图复原算法和盲图复原算法。其中,非盲图复原算法包括逆滤波复原算法、维纳滤波复原算法、约束最小二乘方复原法和RL(强化学习)迭代算法等,盲图复原算法包括倒频谱法、迭代优化求解算法和神经网络复原算法等。通过算法对图像进行复原时,计算较为复杂,不利于在视频拍摄时实时获得清晰的预览视频,或高效的生成所拍摄的视频。
基于此,本申请实施例提供了一种视频拍摄方法,本申请实施例的方法可以应用于拍摄目标包括运动目标,或者拍摄的电子设备与拍摄目标发生相对移动的场景中。通过本申请实施例所提供的视频拍摄方法,可以在拍摄目标包括运动目标,或者拍摄的电子设备与拍摄目标发生相对移动的场景中,高效的生成清晰的图像。
例如,在户外直播或在行走过程中,或者拍摄的图像中包括运动目标,电子设备在检测到当前拍摄的图像出现动态模糊时,可以通过改变曝光时长的方法,将未出现动态模糊时所使用的第一曝光时长进行截取,获得两个或两个以上的曝光时长。根据截取的两个或两个以上的曝光时长,可分别读出与截取的曝光时长对应的截取图像。将所读出的截取图像融合为一帧图像,从而使得所生成的视频的帧率与未出现动态模糊的视频的帧率一致。
由于对第一曝光时长进行截取得到两个或两个以上的曝光时长。因此,截取得到的曝光时长要小于第一曝光时长。比如,将第一曝光时长分割为两个均匀的曝光时长,分割得到的曝光时长仅为第一曝光时长的一半。如果将第一曝光时长分割为三个均匀的曝光时长,分割得到的曝光时长仅为第一曝光时长的三分之一。当第一曝光时长分割为N个均匀的曝光时长时,分割得到的曝光时长为第一曝光时长的N分之一。
可以理解的是,上述分割得到的曝光时长之和,与第一曝光时长相同。在可能的实现的方式中,分割得到的曝光时长之后,可以小于第一曝光时长。即在对第一曝光时长进行分割时,可以截取其中的部分时段,且截取的曝光时长之间包括预先设定的时间间隔。
或者,在可能的实现方式中,所截取的曝光时长也可以为不同时长。
将所得到的截取图像进行融合处理时,可以先对截取图像进行区域划分。比如,可以将截取图像划分为运动区域和非运动区域,根据所划分的区域的不同,按照不同的融合方式进行融合处理。其中,运动区域为包括运动目标的区域,图像中的运动区域之外的其它区域则为非运动区域。
将截取图像的非运动区域进行融合时,可以通过Alpha融合、多频段融合等融合方式,将多个截取图像的非运动区域融合,得到非运动区域的融合图像。
对于运动区域的图像,可以选择所生成的截取图像中的任意一个来确定运动区域的图像。将所确定的运动区域的图像与所融合的非运动区域的图像融合,得到一帧图像。由于对多帧截取图像的非运动区域进行了融合,因此,如果不同帧的非运动区域包括不同的图像质量,可以融合得到更为清晰的非运动区域的图像。对于运动区域,选择其中一帧的截取图像的运动区域,与第一曝光时长中的运动区域的图像相比,由于曝光时长更短,因此,所得到的运动区域的图像的动态模糊更小,图像更为清晰。
在可能的实现方式中,还可以对所述运动区域的图像进行滤波处理。比如,可以通过保边滤波的导向滤波或双向滤波处理,降低运动区域的噪声,提高运动区域的图像质量。或者,也可以通过非局部平均滤波(non-local means,NLM),或者通过高斯滤波减少运动区域的噪声,提升运动区域的图像质量。
所述第一曝光时长可以为电子设备在拍摄稳定画面,即电子设备所拍摄的图像为稳定状态时所采用的曝光时长。
请参考图6,其为本申请实施例提供的一种电子设备的结构示意图。
如图6所示,电子设备200可以包括处理器210,外部存储器接口220,内部存储器221,通用串行总线(universal serial bus,USB)接口230,充电管理模块240,电源管理模块241,电池242,传感器模块280,按键290,马达291,指示器292,摄像头293,显示屏294等。
其中传感器模块280可以包括压力传感器,陀螺仪传感器,加速度传感器,距离传感器,接近光传感器,温度传感器,触摸传感器,环境光传感器等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中,电子设备200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备200的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器210中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器210的等待时间,因而提高了系统的效率。
在一些实施例中,处理器210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI)和/或通用输入输出(general-purposeinput/output,GPIO)接口等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备200的结构限定。在本申请另一些实施例中,电子设备200也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块240用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。
电源管理模块241用于连接电池242,充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入,为处理器210,内部存储器221,外部存储器,显示屏294和摄像头293等供电。电源管理模块241还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。
电子设备200通过GPU,显示屏294,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏294和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏294用于显示图像,视频等。显示屏294包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备200可以包括1个或N个显示屏294,N为大于1的正整数。
电子设备200可以通过ISP,摄像头293,视频编解码器,GPU,显示屏294以及应用处理器等实现拍摄功能。
ISP用于处理摄像头293反馈的数据。例如,电子设备拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头293中。
摄像头293用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备200可以包括1个或N个摄像头293,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备200在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
外部存储器接口220可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备200的存储能力。外部存储卡通过外部存储器接口220与处理器210通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器221可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器210通过运行存储在内部存储器221的指令,从而执行电子设备200的各种功能应用以及数据处理。内部存储器221可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备200使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器221可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
按键290包括开机键,音量键等。按键290可以是机械按键。也可以是触摸式按键。
电子设备200可以接收按键输入,产生与电子设备200的用户设置以及功能控制有关的键信号输入。
马达291可以产生振动提示。马达291可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏294不同区域的触摸操作,马达291也可对应不同的振动反馈效果。
指示器292可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
电子设备200的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。需要说明的,本申请实施例中,电子设备的操作系统可以包括但不限于(Symbian)、(Android)、(iOS)、(Blackberry)、鸿蒙(Harmony)等操作系统,本申请不限定。
本申请实施例以分层架构的Android系统为例,示例性说明电子设备200的软件结构。
图7是本申请实施例的电子设备200的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为五层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,硬件抽象层以及驱动层。
应用程序层可以包括一系列应用程序包。
如图7所示,应用程序包可以包括相机,图库,日历,电话,地图,视频,短信息等应用程序。应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图7所示,应用程序框架层可以包括相机应用对应的接口,窗口管理器,内容提供器,视图系统等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:相机服务,媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
下面结合本申请提供的视频拍摄方法,示例性说明电子设备200的工作流程。以图6所示的系统结构示意图为例,说明电子设备200视频拍摄的流程。
如图7所示,硬件抽象层包括摄像头组件(Camera Device3)、图像管道模式组件(Image Pipeline)和软件应用组件(Image Stream Callback MGR),驱动层包括图像传感器(sensor)、图像处理单元前端节点(Front End,ISP-FE)、图像处理单元后端节点(BackEnd,ISP-BE)等。
应用程序层中的相机应用可以以图标的方式显示显示在电子设备的屏幕上,当相机应用的图标被触发,电子设备运行相机应用。相机应用运行在电子设备上,电子设备可以根据用户的操作,向内核层发送相应的触摸事件。内核层将触摸事件转换为原始输入事件,原始输入事件被存储在内核层中。由此一来,当触摸屏接收到触摸事件,启动相机应用,进而通过调用内核层启动摄像头,响应于用户的操作,电子设备处于相机应用中的录像模式。
如图7所示,图像管道模式组件Image Pipeline包括零延时处理器(zero shutterlag Manager,ZSL Manager),FE节点(Node),BE-Streaming后端图像流节点(Node),BE-Snapshot后端图像快照节点(Node),互联网协议族(Internet Protocol Suite,IPS)(或理解为管道模式中的管道过滤模型),承载平台算法的存储器等。
其中,ZSL处理器用于在相机应用运行时提供预览图像,ZSL处理器设置在raw域图像的历史帧容留器中。ZSL Manager可以用于管理ZSL获取的预览图像流,并可以对预览图像流进行配置、排队,选帧等操作。FE Node是管道模式的根节点,即电子设备采集的所有图像处理的原始节点,可以作为硬件ISP芯片的前端处理器,可用于将第一曝光时长分割后得到的两个或两个以上的曝光时长所对应的截取图像进行融合处理,得到融合后的一帧图像。
后端图像流节点(BE-Streaming-Node)用于处理预览图像流。例如,电子设备处于录像模式下的预览图像流,以及电子设备处于录像状态时的预览图像流等。在一些实施例中,还可以挂载IPS,即后端图像流节可以访问ISP处理的预览图像。挂载是指操作系统允许电子设备访问存储设备上的文件的过程。
后端快照节点(BE-Snapshot-Node)用于处理录像相关的图像。在一些实施例中,还可以挂载IPS,即后端快照节点可以访问ISP处理的快照图像。IPS是HAL层的管道过滤模型,IPS中可以设置插件,插件可以用于访问存储设备存储的算法。IPS访问算法后可以用于接管相机预览、相机拍照动作和录像模式下的数据等。在一些实施例中,IPS可以与相机的框架层和HAL交互,以实现对应的功能。
Algo是一种图像处理算法的模块,可以供IPS挂载。在一些实施例中,Algo中可以包括算法处理模块,当Algo调用算法处理模块,运行算法时可以访问CPU、GPU和NPU等处理器。
图像传感器(sensor)用于采集图像,用于负责硬件传感器的上电或下电时序图、还用于匹配控制、实时图像传感器配置和复位功能。其中,录像模式的曝光方式所采用的第一曝光时长截取两个或两个以上的曝光时长进行曝光控制的方式可以通过设置图像传感器实现。
示例性的,电子设备处于相机应用中的录像模式,相机应用调用应用框架层中对应的接口,通过调用内核层启动摄像头驱动,开启电子设备的摄像头,并通过摄像头采集图像。其中,录像模式对应的曝光方式包括:第一曝光模式,按照预设的第一曝光时长进行曝光;第二曝光模式,从第一曝光时长截取多个曝光时长分别进行曝光。电子设备的摄像头按照录像模式所对应的曝光方式曝光,图像传感器采集图像。ZSL Manager中保存所截取的曝光时长对应的两帧或两帧以上的图像。电子设备中的FE Node可以处理ZSL Manager中的两帧或两帧以上的图像,以生成预览图像流,电子设备显示预览图像。当电子设备拍摄键(或拍摄控件)接收到触发操作,FE Node将根据所读出的两个或两个以上的截取图像,融合生成一帧图像,通过显示屏显示该融合图像对应的视频。
需要说明的,本申请实施例中的电子设备可以是具有拍照功能的手机、运动相机(GoPro)、数码相机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、车载设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备等,本申请实施例对该电子设备的具体形态不作特殊限制。
示例性的,以电子设备包括录像模式,录像模式下电子设备可以按照第一曝光时长所截取的曝光时长采集两帧或两帧以上的图像,并融合生成一帧图像用于生成视频。如图8所示,其示出电子设备生成视频的流程。
如图8所示为电子设备的拍照流程在硬件抽象层和框架层之间的运行过程。其中,框架层(framework)包括相机应用(APP1),相机服务(camera service),显示合成系统(surface flinger);硬件抽象层(HAL)包括相机驱动3(camera device3),第一曝光方式,软件应用流(APP Stream),FE节点(Node),BE-Streaming后端图像流节点(Node)和ZSL处理器。
其中,相机应用被触发,相机应用下发相机运行请求,且相机应用的模式为录像模式。框架层中的相机服务被触发,并向硬件抽象层中相机对应的相机驱动。相机驱动调用第一曝光模式或第二曝光模式进行曝光。相机驱动根据所调用的第一曝光模式或第二曝光模式,提交拍照请求至FE节点。ZSL处理器中包括图像队列VC0,第一曝光模式指示电子设备按照第一曝光时长曝光,当电子设备按照第一曝光时长下采集的图像形成VC0图像队列。第二曝光模式指示电子设备按照第二曝光时长曝光,当电子设备按照第二曝光时长下采集的图像形成VC0图像队列。
以电子设备显示预览图像的过程为例,FE节点将采集得到的拍照队列传输至BE-Streaming后端图像流节点。ZSL处理器将VC0图像队列传输至图像管道,图像管道将图像队列通过软件应用流传输至框架层。这样一来,框架层接收到来自硬件抽象层的反馈数据,通过显示合成系统将图像显示在显示屏。
以下实施例中的方法均可以在具备上述硬件结构的电子设备中实现。
本申请实施例以电子设备是手机为例,手机中安装相机应用。请参考图9,为本申请实施例提供的拍照方法的流程图。如图9所示,该方法包括S901-S902。
其中,手机运行相机应用,手机采用相机应用中的录像模式进行图像采集。本申请实施例以为例,说明本申请实施例提供的视频拍摄方法。
需要说明的,相机中的录像模式仅是对应采用第二曝光方式获取图像。在实际应用中,应用的名称可能不同,进入录像功能的形式可能存在不同,比如直播应用程序中对应进入直播模式,即时通信应用程序中对应进入视频通话模式等。
在S901中,手机打开相机应用中的录像模式。
需要说明的是,当手机运行相机应用,相应应用可以包括多种拍摄模式。不同的拍照模式得到的图像的效果不同。例如,相机应用包括人像模式、夜景模式、录像模式等。人像模式下得到的图像中人物的面部特征明显,夜景模式下得到的图像清晰度高,录像模式下可以进行视频拍摄,生成所拍摄的图像的视频文件。每种模式也是在对应的场景下使用的。本申请实施例以录像模式为例,说明本申请实施例提供的视频拍摄方法。可以理解的是,该视频拍摄方法并不是仅适用于录像模式,还可以用于实时显示视频图像的场景,比如用于视频通话,或者用于直播,或者用于实时的图像预览等。
在本申请实施例中,相机生成视频图像或者生成预览图像的曝光时长,包括第一曝光时长和第二曝光时长,第二曝光时长可以为从第一曝光时长中所截取的两个或两个以上的曝光时长。
其中,相机可以根据手机当前的拍摄状态,确定采用第一曝光时长或第二曝光时长,进行图像的曝光和采集。
所述拍摄状态,是指手机通过相机应用进行图像采集时,通过手机,以及手机所采集的图像中的物体之间的相对状态。手机与所采集的图像中的物体之间的相对状态,可以包括相对运动的状态和相对静止的状态。当手机与采集的图像中的物体之间为相对运动的状态,则可以将当前的拍摄状态描述为运动状态。如果手机与采集的图像中的物体之间为相对静止的状态,则可以将当前的拍摄状态描述为稳定状态。下面对拍摄状态的应用场景介绍如下:
场景一:
运动用户拍摄静止物体。此时,所拍摄的图像中的物体(包括山峰、树木、岩石、建筑等)本身处于静止状态(相对于地球处于静止状态)。为了获得更多的拍摄信息,用户通过快速跑动或快速转动、乘坐交通工具或者乘坐专门的拍摄移动工具快速移动,使得手机相对于所采集的图像中的物体处于相对运动的状态。在此场景下,手机的拍摄状态可能为运动状态。
场景二:
静止用户拍摄运动物体。比如,用户使用手机拍摄海浪、拍摄运动员的运动过程、拍摄喷发的火山、流动的人群等。此时,所拍摄的图像中物体包括运动物体。此时,所拍摄的图像中的运动物体,包括如运动的海浪、运动员、火山和人群,相对于手机处于运动状态,手机的拍摄状态可能为运动状态。
场景三:
静止用户拍摄静止物体。用户使用手机拍摄静止的画面内容,比如用户慢速的拍摄风景视频,包括山峰、树木、岩石、建筑等,手机相对于所采集的图像中的相对运动的速度较小,此时,手机的拍摄状态可能为稳定状态。
场景四:
运动用户拍摄运动物体。此时,快速移动的用户所拍摄的物体,与用户可能处于相对静止状态。比如,A、B两辆汽车处于相对静止的行驶状态,用户乘坐在汽车A,通过手机对汽车B进行视频拍摄。此时手机相对于所拍摄的图像中的物体,即汽车B,处于相对静止状态,手机的拍摄状态可能为稳定状态。或者,快速移动的用户拍摄运动物体时,手机相对于所拍摄的运动物体处于相对运动的状态,此时,手机的拍摄状态可能为运动状态。
当手机的拍摄状态为运动状态时,在同一帧图像中,曝光时长越短,在该曝光时长内,有相对运动的物体的相对运动距离越长,在该曝光时长内所曝光的图像出现运动模糊的几率越大。因此,在手机的拍摄状态为运动状态时,通常选用第二曝光时长进行曝光和图像采集。当手机的拍摄状态为稳定状态时,为了提高图像采集效率,减少图像读出次数,可以选用第一曝光时长进行图像采集。
其中,第一曝光时长可以根据所采集的视频的帧率确定。
比如,预先设定的视频的帧率为30帧/秒。即所生成的视频中,一秒钟需要播放30帧图像。相应的,在进行视频图像采集时,采集一帧图像的时长为1/30秒,即33.3毫秒。通过第一曝光时长进行图像采集时,可以采用非重叠(non-overlapped)曝光模式进行曝光和图像采集,即相邻的图像生成周期在时间上不重叠,即生成任意帧图像的第一曝光时长和读出数据的时长与其它帧的第一曝光时长和读出数据的时长不重叠。可以结合曝光模式(非重叠曝光模式和重叠曝光模式)的参数,包括曝光间隔时长、读出数据的时长来确定第一曝光时长。比如,手机所设定的曝光模式为重叠曝光模式。在该重叠曝光模式下,在前一帧曝光完成后即开始下帧图像的曝光,读出数据的时长为3.3毫秒,那么第一曝光时长为30毫秒。
所述第二曝光时长,即对第一曝光时长进行时间截取所得到的曝光时长。
所述时间截取,可以包括无间隔的时间截取、有间隔的时间截取、等时长截取、非等时长截取等。
在可能的实现方式中,如图10所示,第一曝光时长与所截取得到的两个或两个以上的第二曝光时长之和相等。其中,两个或两个以上的第二曝光时长可以为时长相等的曝光时长。在第二曝光时长为时长相等的曝光时长时,可以使得由两个或两个以上的第二曝光时长所对应得到的两个或两个以上的截取图像的亮度信息相同,可更为方便对所得到的两个或两个以上的截取图像之间的配准和比较。其中,截取图像即为第二曝光时长进行曝光时所得到的对应的图像。
比如,图10所示,第一曝光时长为30毫秒,第二曝光时长为10毫秒,且第二曝光时长的数量为3个,即10毫秒*3=30毫秒。
在可能的实现方式中,如图10所示,第一曝光时长大于所截取的两个或两个以上的第二曝光时长之和。即在每两个第二曝光时长的时段之间,还包括空闲时段。并且,所截取得到的两个或两个以上的第二曝光时长为时长相等的曝光时长,从而使得由两个或两个以上的第二曝光时长所对应得到的两个或两个以上的截取图像的亮度信息相同,可更为方便对所得到的两个或两个以上的截取图像之间的配准和比较。
比如,图11所示,第一曝光时长为30ms,第二曝光时长为9ms。在每个第二曝光时长之间还包括间隔时长1ms。
比如,第一曝光时长为30毫秒,第二曝光时长为9毫秒,第二曝光时长的数量为3个。9毫秒*3<30毫秒。在每两个第二曝光时长之间,可以包括1毫秒的空闲时段。
在可能的实现方式中,如图12所示,第一曝光时长所截取得到的第二曝光时长可以时长不相等。比如,第一曝光时长为30毫秒。第二曝光时长为时长不等的多个时段,可以包括如8毫秒、10毫秒、12毫秒三个时长。可以理解的是,所截取得到的第二曝光时长,不应局限所截取的第二曝光时长的数量,以及所截取的第二曝光时长大小。另外,所截取的不同的时长的第二曝光时长,还可以包括各个第二曝光时长之和小于第一曝光时长。
在可能的实现方式中,如图13所示,根据第一曝光时长截取得到两个或两个以上的第二曝光时长时,如果第一曝光时长对应的图像采集模式为非重叠模式,或者所述第一曝光时长对应的图像采集模式为重叠模式,但相邻两个曝光时长之间仍然留有空闲时长时,所生成的两个或两个以上的第二曝光时长之和,可以大于第一曝光时长。
比如图13所示,第一曝光时长为30毫秒,相邻两个第一曝光时长之间相隔大于10毫秒,所生成的三个第二曝光时长可以为相等的11毫秒等。
或者,在可能的实现方式中,各个第二曝光时长可以为时长不同。或者,各个第二曝光时长之间可以包括或不包括空间时长。
在本申请实施例中,手机可以接收用户的设定指令,确定当前所采用的曝光模式为第一曝光模式(采用第一曝光时长进行曝光的模式)或第二曝光模式(采用第二曝光时长进行曝光的模式)。比如,当相机应用进入录像模式时,可以在视频拍摄界面中显示模式选择按键。如图14所示,该模式选择按键可以为一个按键。当接收到用户的点击指令时,电子设备可以控制在第一曝光模式和第二曝光模式之间进行切换。或者,在可能的实现方式中,手机也可以通过模式选择的方式,在视频拍摄界面下选择第一曝光模式和第二曝光模式。
在可能的实现方式中,手机可以根据所检测到的拍摄状态,确定当前所选择的曝光模式(第一曝光模式或第二曝光模式)。根据所检测到的拍摄状态,可以确定手机当前的拍摄状态是否为稳定状态。如果为稳定状态,则选择第一曝光模式,如果为非稳定状态,即运动状态,则选择第二曝光模式。其中,稳定状态和非稳定状态,可以根据所拍摄的视频图像中的动态模糊的程度来确定。当所拍摄的视频图像中出现的动态模糊的程度大于预先设定的模糊阈值时,则认为手机处于非稳定状态。如果拍摄的视频图像中出现的动态模糊的程度小于或等于预先设定的模糊阈值时,则认为手机处于稳定状态。
其中,稳定状态和非稳定状态的参数阈值,可以通过统计数据的方式预先确定,该参数阈值可以包括运动参数阈值和/或图像参数阈值。可以根据拍摄状态的应用场景,统计得到不同应用场景下,确定手机的拍摄状态的定量的参数阈值。可以根据当前所选择的应用场景确定拍摄状态的确定方式,或者也可以直接根据传感数据进行判断,和/或基于图像数据进行拍摄状态的判断。
比如,如图15所示的视频拍摄流程示意图中,确定手机当前的拍摄状态的方式,可以包括基于传感数据进行判断,和/或基于图像数据进行判断。
当拍摄应用场景为场景一时,可以基于传感数据进行拍摄状态的判断和确定。可以通过运动传感器采集手机的传感数据(或者也可以称为运动数据),包括手机的平移速度、平移加速度和/或角位移速度等。可以通过加速度传感器和/或角速度传感器进行运动数据的采集。角速度传感器可以包括陀螺仪等。根据加速度传感器所检测到的加速度值,可以确定手机移动的速度。
根据传感数据确定手机的拍摄状态时,如果检测到手机的平移速度大于预设的第一速度阈值,或者手机的平移加速度大于预设的第一加速度阈值,则确定手机处于非稳定状态。或者,如果检测到手机移动的角位移速度大于预定的第一角速度阈值,则确定手机处于非稳定状态。或者,在检测到手机平移的速度大于预设的第二速度阈值,且角位速度大于预定的第二角速度阈值,手机处于非稳定状态,或者,检测到手机平移的加速度大于预设的第二加速度阈值,且角位移速度大于预设的第二角速度阈值,手机处于非稳定状态。其中,第一速度阈值可以大于第二速度阈值,第一角度速度阈值可以大于第二角速度阈值。或者,第一速度阈值可以等于第二速度阈值,第一角度速度阈值可以等于第二角速度阈值。其中,第一速度阈值、第二速度阈值、第一角速度阈值、第二角速度阈值可以与第一曝光时长相关,第一曝光时长越长,第一速度阈值、第二速度阈值、第一角速度阈值、第二角速度阈值越小。在可能的实现方式中,第一速度阈值、第二速度阈值可以大于0.05m/s且小于0.3m/s,比如可以为0.1m/s,第一角速度阈值、第二角速度阈值可以大于0.02π/s,且小于0.08π/s,比如可以为0.05π/s,第一加速度阈值、第二加速度阈值可以大于0.05m/s2,且小于0.3m/s2,比如可以为0.15m/s2。
当拍摄应用为场景四时,可以传感数据和图像数据进行判断时,如果检测到传感数据大于预定的传感阈值,包括如手机的平移速度大于预定的第一速度阈值,或手机的角位移速度大于预定的第一角速度阈值时,或手机移动的速度大于预设的第二速度阈值,且移动的角速度大于预定的第二角速度阈值,进一步结合图像数据综合判断。如果图像数据判断手机处于稳定状态,可以综合确定手机处于稳定状态。通过综合判断,可以对相对静止状态进行识别,比如可以对用户的乘车状态进行识别,在乘车时所拍摄的画面为相对静止的画面时,可认为手机处于稳定状态。
当拍摄场景为场景二或场景三时,可以基于图像数据确定手机的拍摄状态。可以根据预定时间间隔内所采集的两帧图像进行比较,来确定手机的拍摄状态。其中,预定时间间隔的两帧图像,可以为相邻两帧的图像,或者也可以为其它所设定的时长间隔内所采集的图像,比如间隔100毫秒-500毫秒时长间隔内所采集的图像。
在对所采集的图像进行比较时,可以先确定两帧图像中发生变化的像素点与图像的总的像素点的比值,再将所确定的比值与预先设定的像素点比例阈值进行比较。如果该比值大于预先设定的像素点比例阈值,则确定拍摄两帧图像时的手机处于非稳定状态。否则,确定拍摄两帧图像时的手机处于稳定状态。由于拍摄状态具有一定持续性,因此,可以在接下来的图像采集中,采用第二曝光模式,即选用两个或两个以上的第二曝光时长得到对应的两帧或两帧以上的图像。
比如,所选择的用于比较的相邻两帧图像的像素点总数为N1,发生变化的像素点的数量为N2,预先设定的像素点比例阈值为Y1,如果N2/N1大于或等于Y1,则确定手机处于非稳定状态。如果N2/N1小于Y1,则确定手机处于稳定状态。该像素比例阈值可以为8%-12%中的任意数值,比如可以为10%。
在确定两帧图像中发生变化的像素点时,可以基于像素点的相似度和/或像素点的灰度变化。
基于像素点的相似度进行像素点是否发生变化的判断时,可以确定需要判断的两个像素点的RGB值对应的三维向量,然后计算两个三维向量的距离,即颜色空间的距离的方式,来确定两个像素是否相似。比如,可以将所计算的距离与预先设定的距离阈值进行比较,如果计算的距离大于预先设定的距离阈值,则确定两个像素发生变化。如果小于或等于预先设定的距离阈值,则确定两个像素没有发生变化。
比如,像素1对应的三维向量为(R1,B1,G1),像素2对应的三维向量为(R2,G2,B2),像素1和像素2所对应的三维向量的距离可以表示为:(R1-R2)^2+(G1-G2)^2+(B1-B2)^2的值的平方根,即像素1和像素2在颜色空间的距离。
或者,也可以通过计算两个像素对应的三维向量的夹角的方式,来确定两个像素是否发生变化。如果两个像素对应三维向量的夹角大于预定的夹角阈值,则确定两个像素发生变化。如果两个像素对应的三维向量的夹角小于或等于预定的夹角阈值,则两个像素未发生变化。
比如,像素1对应的三维向量为(R1,B1,G1),像素2对应的三维向量为(R2,G2,B2),假设l1=sqrt(r1*r1+g1*g1+b1*b1),l2=sqrt(r2*r2+g2*g2+b2*b2),那么夹角a可以表示为:cos(a)=(r1*r2+g1*g2+b1*b2)/(l1*l2)。根据该公式即可计算得到像素1和像素2对应的三维向量的夹角。
或者,还可以将像素的RGB值转换为HSI(色调(Hue)、色饱和度(Saturation)、灰度和亮度(Intensity)值,根据转换后的色调的差异、亮度的差异、灰度的差异和色饱和度的差异,来确定两个像素是否发生变化。比如,可以分别设定相应的阈值来确定需要比较的两个像素是否发生变化。当其中任意一项大于预先设定的对应阈值时,则确定像素发生变化。
在可能的实现方式中,可以根据所获取的预定时长间隔内拍摄的两帧图像的边缘信息来确定手机的拍摄状态。预定时长可以为获取相邻的两帧图像的时间间隔,或者获取两邻M帧图像的时间间隔,M可以为小于10的自然数。
根据预先设定的时长间隔拍摄两帧图像后,对所拍摄的图像进行边缘检测,获取两帧图像中所包括的边缘信息。如果手机和拍摄对象处于相对静止状态,那所拍摄的两帧图像的边缘区域的锐度不会发生明显的变化。因此,可以根据两帧图像的边缘信息的锐度变化阈值来确定图像的边缘是否发生变化。统计图像中发生变化的区域,或者图像中的锐度降低的区域相对于图像的边缘区域的比值,如果该比值大于或等于预定的边缘比例阈值,则确定手机处于非稳定拍摄状态。否则处于稳定拍摄状态。该边缘比例阈值可以为15%-25%中的任意值,比如可以为20%。
本申请在手机打开录像模式时,可以接收用户的设定指令来确定是否采用第二曝光模式进行曝光,或者可以根据手机的拍摄状态,来确定是否采用第二曝光模式进行曝光。在可能的实现方式中,还可以根据启动拍摄的应用类型,或者根据用户的拍摄习惯,确定是否采用第二曝光模式进行曝光。
在S902中,手机显示预览图像,或者接收录像指令,手机显示预览图像和成生视频文件。
在手机打开相机应用中的录像模式之后,根据所设定的曝光模式的确定方式,确定手机当前以第一曝光模式或第二曝光模式进行曝光和读出图像数据。
比如,在图14所示的视频拍摄方法的流程示意图中,基于图像数据和传感数据确定手机当前处于稳定状态或非稳定状态后,根据拍摄状态与曝光模式的对应关系,如果当前的拍摄状态为稳定状态,则选择第一曝光模式进行曝光,比如按照30毫秒的曝光时长进行曝光出帧,即生成视频一帧对应的图像。如果当前的拆除状态为非稳定状态,则可以按照第二曝光模式进行曝光,比如以3个曝光时长分别为10毫秒的曝光时长进行曝光,得到三帧图像。将得到的三帧图像进行融合处理得到视频的一帧图像,或进一步通过ISP(图像信号处理),通过屏幕显示预览图像,或者生成视频文件。
通过第二曝光模式进行图像采集时,由于第二曝光时长小于第一曝光时长,因此,在更短的曝光时长内,第二曝光模式所生成的截取图像包括更少的动态模糊信息,因而具有更为清晰的显示效果。将显示效果更佳的两个或两个以上的截取图像进行融合处理,可以得到一帧动态模糊性能更优的图像,即清晰度更佳的图像。
在本申请实施例中,为了得到更佳的融合效果,如图15中的图像融合示意图所示,可以将截取图像中的运动区域和非运动区域按照不同的融合方式进行融合。
其中,运动区域可以理解为图像中的发生动态模糊的区域,非运动区域可以理解图像中未发生动态模糊的区域。
其中,两帧或两帧以上截取图像的非运动区域的融合,可以采用Alpha融合、多频段融合等融合方式,将配准变换后的截取图像的非运动区域融合为一帧图像。
在Alpha融合方式中,可以预先设定各个截取图像对应的透明度,或者根据第二曝光时长确定各个截取图像对应的透明度,将各个截取图像与对应的透明度相乘后求和,即可得到融合后的截取图像的非运动区域的图像。
比如,第二曝光模式生成的截取图像包括三帧,分别为P1、P2和P3。三帧图像对应的透明度为a1、a2和a3,则可以确定融合后的非运动区域的图像为:P1*a1+P2*a2+P3*a3。在可能的实现方式中,可以根据截取图像的曝光时长确定截取图像对应的透明度,比如,三帧图像的曝光时长分别为t1、t2和t3,可以确定a1=t1/(t1+t2+t3),a2=t2/(t1+t2+t3),a3=t3/(t1+t2+t3),融合后的非运动区域的图像为:P1*a1+P2*a2+P3*a3。
对于运动区域,可以选择其中任一帧作为运动区域的图像,与非运动区域融合,得到一帧视频中的图像。
在可能的实现方式中,如果所生成的截取图像的数据为三帧或三帧以上,则可以选择中间的截取图像的运动区域,与融合后的非运动区域融合得到一帧视频中的图像。
比如,根据所截取的曝光时长所生成的两帧或两帧以上的截取图像中,如果生成的截取图像为3帧,则可以选择第2帧图像中的运动区域,与融合后的非运动区域进行融合。如果生成的截取图像为4帧,则可以选择第2帧或第3帧图像中的运动区域,与融合后的非运动区域进行融合。
对于所选择的截取图像的运动区域,还可以进一步对该运动区域进行优化处理,可以包括对该帧的运动区域进行滤波处理,包括如通过保边滤波的导向滤波或双向滤波处理,降低运动区域的噪声,提高运动区域的图像质量。或者,也可以通过非局部平均滤波(non-local means,NLM),或者通过高斯滤波减少运动区域的噪声,提升运动区域的图像质量。
本申请实施例可以通过图像比较的方式,确定截取图像中所包括的运动区域和非运动区域。如图16所示,为了提高所确定截取图像中的运动区域和非运动区域的精度,可以在进行图像比较之前,对图像进行匹配和变换。
如图16所示,所生成的截取图像为3帧,分别为第N-1帧,第N帧和第N+1帧,可以将第N帧作为基准帧,将第N+1帧和第N-1帧与该基准帧进行图像配准,从而确定第N+1帧与第N帧配准时,第N+1帧的变换矩阵,以及确定第N-1帧与第N帧配准时,第N-1帧的变换矩阵。
其中,图像配准方法可以包括如平均绝对差算法、绝对误差和算法、误差平方和算法、平均误差平方和算法、归一化积相关算法、序贯相似性检测算法、局部灰度值编码算法等。
在确定第N+1帧相对于基准帧的变换矩阵后,以及第N-1帧相对于基准帧的变换矩阵后,可以根据所确定的变换矩阵,分别对第N-1帧和第N+1帧进行配准变换,从而使得所生成的截取图像为配准变换后的图像,可以更为准确的进行像素的比较,从而更为有效的确定图像中的运动区域和非运动区域。
在对变换后的截取图像进行像素比较时,如果截取图像所对应的第二曝光时长相同,则可以将变换后的第N+1帧图像(N’+1)、变换后的第N-1帧图像(N’-1),基准图像进行灰度化处理,然后将灰度化处理后的第N+1帧图像、第N-1帧图像的像素,分别与基准图像的像素进行灰度值比较,如果灰度值大于预定的灰度阈值,比如大于预先设定的灰度阈值,比如该灰度阈值可以为30-70中的任意值,则确定该像素在所比较的两帧图像中,确定属于运动区域。否则属于非运动区域。
在可能的实现方式中,如果截取图像所对应的第二曝光时长不同,则可以采用两个像素对应的三维向量的夹角,来确定所比较的像素在两帧比较的图像中,是否属于运动区域或属于非运动区域。根据对变换后的图像的像素与基准图像的像素的比较结果,即可得到由变换后的图像与基准图像所确定的运动区域和非运动区域。
由于曝光时长不同,因此,在进行非运动区域融合时,可以融合更为丰富的场景信息,得到更佳的非运动区域的场景图像。而对于不同曝光时长所得到的截取图像,在确定运动区域的图像时,可以根据曝光时长最短的截取图像中的运动区域,与融合后的非运动区域进行融合,从而使得融合后的图像具有更为清晰的运动区域。
可以的理解的是,图16是以三帧截取图像进行示例说明。在可能的实现方式中,比如生成的截取图像为两帧,分别为第N帧和第N+1帧时。可以确定任意帧,比如第N帧为基准图像。将第N+1与该基准图像进行配准,确定第N+1帧与基准图像之间的变换矩阵,根据该变换矩阵对第N+1帧进行变换,得到变换后的第N+1帧图像(N’+1)。将N’+1与基准图像进行像素比较,确定两帧图像中的发生变化的像素。根据发生变化的像素所在的位置确定运动区域,根据未发生变化的像素所在的位置确定非运动区域。将第N帧图像与N’+1帧图像的非运动区域通过Alpha融合或多频段融合等融合,得到融合后的非运动区域。将第N帧图像的运动区域,或者将N’+1帧的运动区域的图像进行滤波处理后,与融合后的非运动区域融合,得到一帧视频图像。
示例性的,可以对手机进行模块化划分,使手机得到去模糊的视频。如图17所示,手机可以包括采集模块1701、去模糊模块1702。
其中,采集模块1701用于先确定当前拍摄参数下的第一曝光时长。然后以第一曝光时长进行时间段截取,得到两个或个以上的第二曝光时长,由两个或两个以上的第二曝光时长进行曝光和读出数据,得到两个或两个以上的截取图像。
去模糊模块1702用于根据所采集的两个或两个以上的截取图像进行融合处理,得到融合后的图像。装饰融合后的一帧图像为作视频的一帧图像,用于预览显示或生成视频文件。由于第一曝光时长所截取得到的两个或两个以上的截取图像融合为一帧图像,与第一曝光时长得到的一帧图像相比,两者在相同时长内所得到的图像数量也相同,因此,通过曝光时长截取后所得到的融合图像,可以适应手机的视频帧率要求。
为了提升本申请实施例使用的便利性,对手机所划分的模块还可以包括切换模块1703。该切换模块1703可以实时检测手机的拍摄状态。如果检测到手机的拍摄状态为稳定状态,则使用第一曝光时长进行曝光,通过读出数据直接得到一帧图像用于预览显示或用于生成视频文件中的图像。如果检测到手机的拍摄状态为非稳定状态,则对第一曝光时长进行时间段截取,得到两个或两个以上的第二曝光时长,根据两个或两个以上的曝光时长进行曝光,读出数据得到两个或两个以上的截取图像。
其中,拍摄状态的检测,可以根据手机的传感数据来确定。比如,可以根据手机的加速度传感器和/或角速度传感器,读取手机的传感数据,根据加速度数据确定手机的平移速度。可以手机的平移速度与预先设定的速度阈值进行比较,或者将手机的角速度与预先设定的角速度阈值进行比较,确定手机是否处于稳定状态。
拍摄状态,还可以根据手机所拍摄的图像进行检测。比如,可以选取预定时长间隔的两帧图像的像素变化,来确定是否处于稳定状态。
比如,可以根据两帧图像中发生变化的像素与总的像素的比值来确定是否处于稳定状态。而发生变化的像素的确定,则可以通过计算像素的相似度、像素的差异等方式,来确定所比较的像素是否为发生变化的像素。
或者,还可以根据所比较的两帧图像中的锐度发生变化的边缘区域与总的边缘区域的比例,来确定手机是否处于稳定状态。
在本申请实施例中,对所生成的两帧或两帧以上的截取图像进行融合处理时,可以将待融合的截取图像进行区域划分,比如可以划分为运动区域和非运动区域,将非运动区域的多帧图像进行叠加方式进行融合。对于运动区域,则可以选取其中一帧图像的运动区域,与融合后的非运动区域融合,得到视频的一帧图像。
可以理解的是,本申请实施例提供的电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
本申请实施例可以根据上述方法示例对上述电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用集成的单元的情况下,图18示出了上述实施例中所涉及的电子设备的一种可能的结构示意图。该电子设备200包括:处理单元1801、显示单元1802和存储单元1803。
处理单元1801,用于对电子设备的动作进行管理。例如,处理单元1801可以控制电子设备处于录像模式下的曝光方式,处理单元1801还可以控制电子设备显示屏的显示内容等。
显示单元1802,用于显示电子设备的界面。例如,显示单元1802可以用于显示电子设备处于录像模式下的主界面,显示单元1802用于显示录像模式的预览图像等。
存储单元1803用于保存电子设备200的程序代码和数据。例如,电子设备处于录像模式下,存储单元1803可以缓存电子设备预览图像,存储单元1803还用于存储录像模式中的图像处理算法等。
当然,上述电子设备200中的单元模块包括但不限于上述处理单元1801、显示单元1802和存储单元1803。例如,电子设备200中还可以包括传感器单元、通信单元等。传感器单元可以包括光照传感器,以采集电子设备所在环境中的光照强度。通信单元用于支持电子设备200与其他装置的通信。
其中,处理单元1801可以是处理器或控制器,例如可以是中央处理器(centralprocessing unit,CPU),数字信号处理器(digital signal processor,DSP),专用集成电路(application specific integrated circuit,ASIC),现场可编程门阵列(fieldprogrammable gate array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。处理器可以包括应用处理器和基带处理器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。存储单元1803可以是存储器。音频单元可以包括麦克风、扬声器、受话器等。通信单元可以是收发器、收发电路或通信接口等。
例如,处理单元1801为处理器(如图6所示的处理器210),显示单元1802可以为显示屏(如图6所示的显示屏294,该显示屏294可以为触摸屏,该触摸屏中可以集成显示面板和触控面板),存储单元1803可以为存储器(如图6所示的内部存储器221)。
本申请实施例还提供一种芯片系统,该芯片系统包括至少一个处理器和至少一个接口电路。处理器和接口电路可通过线路互联。例如,接口电路可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路可用于向其它装置(例如处理器)发送信号。示例性的,接口电路可读取存储器中存储的指令,并将该指令发送给处理器。当所述指令被处理器执行时,可使得电子设备执行上述实施例中的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机存储介质,该计算机存储介质包括计算机指令,当所述计算机指令在上述电子设备上运行时,使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (13)
1.一种视频拍摄方法,其特征在于,应用于电子设备,所述方法包括:
所述电子设备确定当前的拍摄状态为运动状态,获取当前拍摄参数中的第一曝光时长;
所述电子设备对所述第一曝光时长进行时间截取获得截取图像,所述截取图像包括两帧或两帧以上的图像,且所述截取图像与时间截取得到的曝光时长对应;
所述电子设备将所述截取图像融合为一帧图像,根据融合后的图像生成视频。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述电子设备确定当前的拍摄状态为稳定状态,所述电子设备读取第一曝光时长对应的图像生成视频。
3.根据权利要求1或2所述的方法,其特征在于,所述电子设备确定当前的拍摄状态,包括:
所述电子设备通过运动传感器采集所述电子设备的传感数据;
根据所述传感数据确定所述电子设备当前的拍摄状态。
4.根据权利要求1或2所述的方法,其特征在于,所述电子设备确定当前的拍摄状态,包括:
所述电子设备获取在预定时长间隔内所拍摄的两帧图像;
所述电子设备确定在所述两帧图像中发生变化的像素点;
当发生变化的像素点与图像总的像素点的比值大于或等于预定的像素点比例阈值,所述电子设备的拍摄状态为运动状态;
当发生变化的像素点与图像总的像素点的比值小于预定的像素点比例阈值,所述电子设备的拍摄状态为稳定状态。
5.根据权利要求4所述的方法,其特征在于,所述电子设备确定在所述两帧图像中发生变化的像素点,包括:
当所述两帧图像中的像素点的颜色的相似度大于预设的相似度阈值,所述电子设备确定该像素点为发生变化的像素点;
或者,当所述两帧图像中的像素点对应的灰度值的差值大于预定的灰度阈值,所述电子设备确定该像素点为发生变化的像素点。
6.根据权利要求1或2所述的方法,其特征在于,所述电子设备确定当前的拍摄状态,包括:
所述电子设备获取在预定时长间隔内所拍摄的两帧图像;
对所述两帧图像进行边缘检测,确定两帧图像的边缘的锐度发生变化的区域;
如果锐度发生变化的区域与边缘区域的比值大于或等于预定的边缘比例阈值,所述电子设备的拍摄状态为运动定状态;
如果锐度发生变化的区域与边缘区域的比值小于预定的边缘比例阈值,所述电子设备的拍摄状态为稳定状态。
7.根据权利要求1所述的方法,其特征在于,所述电子设备将所述截取图像融合为一帧图像,包括:
所述电子设备确定所述截取图像中的运动区域和非运动区域;
所述电子设备将所述截取图像中的非运动区域的图像进行融合,结合预先确定的所述截取图像中的指定图像的运动区域的图像,生成一帧图像。
8.根据权利要求7所述的方法,其特征在于,所述电子确定所述截取图像中的运动区域和非运动区域,包括:
所述电子设备将所述截取图像进行配准变换,得到基准图像和变换图像;
所述电子设备计算所述变换图像和所述基准图像之间的像素差;
当所述像素差大于或等于预定的像素差阈值时,所述电子设备确定该像素差对应的像素点属于运动区域;
当所述像素差小于预定的像素差阈值时,所述电子设备确定该像素差对应的像素点属于非运动区域。
9.根据权利要求8所述的方法,其特征在于,所述电子设备将所述截取图像进行配准变换,得到基准图像和变换图像,包括:
所述电子设备将所述截取图像中的其中一个图像确定为基准图像;
所述电子设备将所述截取图像中的其它图像与所述基准图像进行配准处理,确定其它图像与所述基准图像之间的变换矩阵;
所述电子设备根据所确定的变换矩阵对所述其它图像进行图像变换,得到变换图像。
10.根据权利要求9所述的方法,其特征在于,所述电子设备将所述截取图像中的其中一个图像确定为基准图像,包括:
当所述截取图像包括三个或三个以上的图像时,所述电子设备将所述截取图像中的中间位置的图像确定为基准图像。
11.根据权利要求7所述的方法,其特征在于,在生成一帧图像之后,所述方法还包括:
对生成的一帧图像的运动区域进行滤波处理,得到滤波后的图像。
12.一种电子设备,其特征在于,所述电子设备包括:
摄像头,用于采集图像;
显示屏,用于显示所采集的图像;
一个或多个处理器;
存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述电子设备执行时,使得所述电子设备执行如权利要求1-11中任一项所述的视频拍摄方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机指令,当所述计算机指令在计算机上运行时,使得所述计算机执行如权利要求1-11中任一项所述的视频拍摄方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110714588.7A CN113592887B (zh) | 2021-06-25 | 2021-06-25 | 视频拍摄方法、电子设备及计算机可读存储介质 |
PCT/CN2022/080722 WO2022267565A1 (zh) | 2021-06-25 | 2022-03-14 | 视频拍摄方法、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110714588.7A CN113592887B (zh) | 2021-06-25 | 2021-06-25 | 视频拍摄方法、电子设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113592887A true CN113592887A (zh) | 2021-11-02 |
CN113592887B CN113592887B (zh) | 2022-09-02 |
Family
ID=78244797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110714588.7A Active CN113592887B (zh) | 2021-06-25 | 2021-06-25 | 视频拍摄方法、电子设备及计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113592887B (zh) |
WO (1) | WO2022267565A1 (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114302068A (zh) * | 2022-01-06 | 2022-04-08 | 重庆紫光华山智安科技有限公司 | 图像拍摄方法及设备 |
CN114612360A (zh) * | 2022-03-11 | 2022-06-10 | 北京拙河科技有限公司 | 基于运动模型的视频融合方法及系统 |
CN114979504A (zh) * | 2022-05-25 | 2022-08-30 | 深圳市汇顶科技股份有限公司 | 相机拍摄参数确定方法、装置及存储介质 |
CN115278047A (zh) * | 2022-06-15 | 2022-11-01 | 维沃移动通信有限公司 | 拍摄方法、装置、电子设备和存储介质 |
WO2022267565A1 (zh) * | 2021-06-25 | 2022-12-29 | 荣耀终端有限公司 | 视频拍摄方法、电子设备及计算机可读存储介质 |
CN115689963A (zh) * | 2022-11-21 | 2023-02-03 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
CN115734088A (zh) * | 2022-10-28 | 2023-03-03 | 深圳锐视智芯科技有限公司 | 一种图像果冻效应消除方法及相关装置 |
CN115953422A (zh) * | 2022-12-27 | 2023-04-11 | 北京小米移动软件有限公司 | 边缘检测方法、装置及介质 |
WO2023124165A1 (zh) * | 2021-12-31 | 2023-07-06 | 荣耀终端有限公司 | 一种图像处理方法及相关电子设备 |
CN116579964A (zh) * | 2023-05-22 | 2023-08-11 | 北京拙河科技有限公司 | 一种动帧渐入渐出动态融合方法及装置 |
CN117201930A (zh) * | 2023-11-08 | 2023-12-08 | 荣耀终端有限公司 | 一种拍照方法和电子设备 |
WO2024093854A1 (zh) * | 2022-11-02 | 2024-05-10 | 华为技术有限公司 | 一种图像处理方法及电子设备 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116471429B (zh) * | 2023-06-20 | 2023-08-25 | 上海云梯信息科技有限公司 | 基于行为反馈的图像信息推送方法及实时视频传输系统 |
CN116506732B (zh) * | 2023-06-26 | 2023-12-05 | 浙江华诺康科技有限公司 | 一种图像抓拍防抖的方法、装置、系统和计算机设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101303727A (zh) * | 2008-07-08 | 2008-11-12 | 北京中星微电子有限公司 | 基于视频人数统计的智能管理方法及其系统 |
US20090033750A1 (en) * | 2007-08-02 | 2009-02-05 | Texas Instruments Incorporated | Method and apparatus for motion stabilization |
CN104754212A (zh) * | 2013-12-30 | 2015-07-01 | 三星电子株式会社 | 电子装置以及通过使用该电子装置捕获移动对象的方法 |
CN110035141A (zh) * | 2019-02-22 | 2019-07-19 | 华为技术有限公司 | 一种拍摄方法及设备 |
CN110121882A (zh) * | 2017-10-13 | 2019-08-13 | 华为技术有限公司 | 一种图像处理方法及装置 |
CN112738414A (zh) * | 2021-04-06 | 2021-04-30 | 荣耀终端有限公司 | 一种拍照方法、电子设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101300830B (zh) * | 2005-09-14 | 2010-05-12 | 诺基亚公司 | 用于实现运动驱动的多张拍摄图像稳定性的系统和方法 |
JP5806007B2 (ja) * | 2011-06-15 | 2015-11-10 | オリンパス株式会社 | 撮像装置 |
CN113592887B (zh) * | 2021-06-25 | 2022-09-02 | 荣耀终端有限公司 | 视频拍摄方法、电子设备及计算机可读存储介质 |
-
2021
- 2021-06-25 CN CN202110714588.7A patent/CN113592887B/zh active Active
-
2022
- 2022-03-14 WO PCT/CN2022/080722 patent/WO2022267565A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090033750A1 (en) * | 2007-08-02 | 2009-02-05 | Texas Instruments Incorporated | Method and apparatus for motion stabilization |
CN101303727A (zh) * | 2008-07-08 | 2008-11-12 | 北京中星微电子有限公司 | 基于视频人数统计的智能管理方法及其系统 |
CN104754212A (zh) * | 2013-12-30 | 2015-07-01 | 三星电子株式会社 | 电子装置以及通过使用该电子装置捕获移动对象的方法 |
CN110121882A (zh) * | 2017-10-13 | 2019-08-13 | 华为技术有限公司 | 一种图像处理方法及装置 |
CN110035141A (zh) * | 2019-02-22 | 2019-07-19 | 华为技术有限公司 | 一种拍摄方法及设备 |
CN112738414A (zh) * | 2021-04-06 | 2021-04-30 | 荣耀终端有限公司 | 一种拍照方法、电子设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
李玉山: "《数字视觉视频技术》", 31 January 2006, 西安电子科技大学出版社 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022267565A1 (zh) * | 2021-06-25 | 2022-12-29 | 荣耀终端有限公司 | 视频拍摄方法、电子设备及计算机可读存储介质 |
WO2023124165A1 (zh) * | 2021-12-31 | 2023-07-06 | 荣耀终端有限公司 | 一种图像处理方法及相关电子设备 |
CN114302068A (zh) * | 2022-01-06 | 2022-04-08 | 重庆紫光华山智安科技有限公司 | 图像拍摄方法及设备 |
CN114302068B (zh) * | 2022-01-06 | 2023-09-26 | 重庆紫光华山智安科技有限公司 | 图像拍摄方法及设备 |
CN114612360A (zh) * | 2022-03-11 | 2022-06-10 | 北京拙河科技有限公司 | 基于运动模型的视频融合方法及系统 |
CN114979504B (zh) * | 2022-05-25 | 2024-05-07 | 深圳市汇顶科技股份有限公司 | 相机拍摄参数确定方法、装置及存储介质 |
CN114979504A (zh) * | 2022-05-25 | 2022-08-30 | 深圳市汇顶科技股份有限公司 | 相机拍摄参数确定方法、装置及存储介质 |
CN115278047A (zh) * | 2022-06-15 | 2022-11-01 | 维沃移动通信有限公司 | 拍摄方法、装置、电子设备和存储介质 |
CN115734088A (zh) * | 2022-10-28 | 2023-03-03 | 深圳锐视智芯科技有限公司 | 一种图像果冻效应消除方法及相关装置 |
WO2024093854A1 (zh) * | 2022-11-02 | 2024-05-10 | 华为技术有限公司 | 一种图像处理方法及电子设备 |
CN115689963A (zh) * | 2022-11-21 | 2023-02-03 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
CN115953422A (zh) * | 2022-12-27 | 2023-04-11 | 北京小米移动软件有限公司 | 边缘检测方法、装置及介质 |
CN115953422B (zh) * | 2022-12-27 | 2023-12-19 | 北京小米移动软件有限公司 | 边缘检测方法、装置及介质 |
CN116579964A (zh) * | 2023-05-22 | 2023-08-11 | 北京拙河科技有限公司 | 一种动帧渐入渐出动态融合方法及装置 |
CN116579964B (zh) * | 2023-05-22 | 2024-02-02 | 北京拙河科技有限公司 | 一种动帧渐入渐出动态融合方法及装置 |
CN117201930B (zh) * | 2023-11-08 | 2024-04-16 | 荣耀终端有限公司 | 一种拍照方法和电子设备 |
CN117201930A (zh) * | 2023-11-08 | 2023-12-08 | 荣耀终端有限公司 | 一种拍照方法和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113592887B (zh) | 2022-09-02 |
WO2022267565A1 (zh) | 2022-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113592887B (zh) | 视频拍摄方法、电子设备及计算机可读存储介质 | |
CN112738414B (zh) | 一种拍照方法、电子设备及存储介质 | |
WO2021223500A1 (zh) | 一种拍摄方法及设备 | |
US20230043815A1 (en) | Image Processing Method and Electronic Device | |
CN113709355B (zh) | 滑动变焦的拍摄方法及电子设备 | |
CN115633262B (zh) | 图像处理方法和电子设备 | |
CN115689963A (zh) | 一种图像处理方法及电子设备 | |
CN116916151B (zh) | 拍摄方法、电子设备和存储介质 | |
CN114926351A (zh) | 图像处理方法、电子设备以及计算机存储介质 | |
CN117061861B (zh) | 一种拍摄方法、芯片系统和电子设备 | |
CN115802146A (zh) | 一种录像中抓拍图像的方法及电子设备 | |
WO2023160230A9 (zh) | 一种拍摄方法及相关设备 | |
CN116709042B (zh) | 一种图像处理方法和电子设备 | |
CN115460343A (zh) | 图像处理方法、设备及存储介质 | |
CN113891008B (zh) | 一种曝光强度调节方法及相关设备 | |
CN116363017B (zh) | 图像处理方法及装置 | |
CN115631098B (zh) | 去反射方法及装置 | |
CN116723417B (zh) | 一种图像处理方法和电子设备 | |
CN116668836B (zh) | 拍照处理方法和电子设备 | |
WO2023035868A1 (zh) | 拍摄方法及电子设备 | |
CN118450275A (zh) | 一种拍摄方法及相关设备 | |
CN117857915A (zh) | 一种拍照方法、拍照装置及电子设备 | |
CN117395496A (zh) | 一种拍摄方法及相关设备 | |
CN118550497A (zh) | 环境光的确定方法、屏幕亮度调节方法及电子设备 | |
CN115601842A (zh) | 一种自动抓拍的方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |