CN117278839A - 一种拍摄方法、电子设备及存储介质 - Google Patents

一种拍摄方法、电子设备及存储介质 Download PDF

Info

Publication number
CN117278839A
CN117278839A CN202210666645.3A CN202210666645A CN117278839A CN 117278839 A CN117278839 A CN 117278839A CN 202210666645 A CN202210666645 A CN 202210666645A CN 117278839 A CN117278839 A CN 117278839A
Authority
CN
China
Prior art keywords
camera
image
electronic equipment
photographer
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210666645.3A
Other languages
English (en)
Inventor
崔瀚涛
张作超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210666645.3A priority Critical patent/CN117278839A/zh
Publication of CN117278839A publication Critical patent/CN117278839A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)

Abstract

本申请提供一种拍摄方法、电子设备及存储介质,涉及图像应用技术领域,能够提高电子设备的拍摄效果。该方法能够在电子设备检测到录像指令后,基于前置摄像头采集到的图像,确定出拍摄者的视线与第一预览图像对应的区域,即第一目标ROI;之后,电子设备可以根据第一目标ROI控制后置第一摄像头和后置第二摄像头进行对焦,显示对焦后的预览图像。

Description

一种拍摄方法、电子设备及存储介质
技术领域
本申请涉及电子技术领域,尤其涉及一种拍摄方法、电子设备及存储介质。
背景技术
目前,越来越多的人使用电子设备(例如手机、平板电脑、相机等)来拍摄照片和视频记录生活的点点滴滴。为了满足拍摄者的需求,电子设备一般都具有手动对焦功能,通过拍摄者手动触摸电子设备的屏幕以选择被拍摄对象中的对焦物体,使对焦物体刚好落在摄像头焦距的焦点上,从而得到最清晰的图像。
但是,在手动对焦的过程中,当拍摄者触摸电子设备的屏幕时,电子设备会产生一定的抖动(或震撼),影响拍摄的效果。
发明内容
本申请实施例提供一种拍摄方法、电子设备及存储介质,能够提高电子设备的拍摄效果。
本申请的实施例采用如下技术方案:
第一方面,提供了一种拍摄方法,应用于电子设备中,该电子设备包括后置第一摄像头,后置第二摄像头,前置摄像头和显示屏;该方法包括:电子设备检测到录像指令后,在显示屏上显示第一预览界面;第一预览界面包括第一预览图像;电子设备基于前置摄像头采集到的图像,确定第一预览图像上的第一目标感兴趣区域ROI;第一目标ROI为与拍摄者的视线对应的区域;电子设备根据第一目标ROI控制后置第一摄像头和后置第二摄像头进行对焦,显示第二预览界面;第二预览界面包括第二预览图像;第二预览图像包括第一清晰区域和第一虚化区域,第一清晰区域与第一目标ROI对应;第二预览图像是由电子设备对第一图像帧和第二图像帧进行处理生成的;第一图像帧为后置第一摄像头采集到的,第二图像帧为后置第二摄像头采集到的。
基于第一方面,在电子设备检测到录像指令之后,电子设备可以基于前置摄像头采集到的图像,确定出拍摄者的视线落在显示屏上的位置与第一预览图像对应的区域,即确定出第一目标ROI;之后,电子设备根据第一目标ROI控制后置第一摄像头和后置第二摄像头进行对焦,并显示第二预览界面。由于电子设备是通过前置摄像头采集到的图像,确定第一目标ROI,即电子设备是通过拍摄者的视线进行对焦,从而能够解决手动对焦时产生抖动(或震撼)的问题,以提高拍摄效果。
在第一方面的一种实现方式中,该方法还包括:当电子设备检测到拍摄者的视线发生变化时,电子设备基于前置摄像头采集到的图像,确定第二预览图像上的第二目标ROI;第二目标ROI为与拍摄者的视线对应的区域;所述电子设备根据第二目标ROI控制后置第一摄像头和后置第二摄像头进行对焦,显示第三预览界面;第三预览界面包括第三预览图像;第三预览图像包括第二清晰区域和第二虚化区域,第二清晰区域与第二目标ROI对应;第三预览图像是由电子设备对第三图像帧和第四图像帧进行处理生成的;第三图像帧为后置第一摄像头采集到的,第四图像帧为后置第二摄像头采集到的;其中,第一清晰区域不同于第二清晰区域,第一虚化区域不同于第二虚化区域。
在该实现方式中,当电子设备检测到拍摄者的视线发生变化时,电子设备可以在检测到拍摄者的视线发生变化后,基于前置摄像头采集到的图像,确定第二目标ROI,并根据第二目标ROI控制后置第一摄像头和后置第二摄像头进行对焦;即电子设备可以基于拍摄者变化后的视线方向,重新进行对焦,以进一步提高拍摄效果。
在第一方面的一种实现方式中,在显示屏上显示第一预览界面之后,该方法还包括:电子设备接收用户输入的第一事件,在显示屏上显示第四预览界面;第一事件用于触发电子设备进入大光圈模式;第四预览图像包括第三清晰区域和第三虚化区域;第四预览图像是由电子设备对第五图像帧和第六图像帧进行处理生成的;第五图像帧为后置第一摄像头采集到的,第六图像帧为后置第二摄像头采集到的;其中,第三清晰区域不同于第一清晰区域,第三虚化区域不同于第一虚化区域。
在该实现方式中,在电子设备检测到录像指令后,电子设备可以接收用户输入的第一事件,触发电子设备进入大光圈模式;这样一来,电子设备显示的第四预览界面中,第四预览图像包括清晰区域和虚化区域,提高了用户体验。
在第一方面的一种实现方式中,在电子设备根据第一目标ROI控制后置第一摄像头和后置第二摄像头进行对焦,显示第二预览界面,包括:电子设备根据第一目标ROI控制后置第一摄像头和后置第二摄像头进行对焦,确定第二预览界面中的第一对焦区域,并显示第二预览界面;其中,第一对焦区域与第一清晰区域对应。
在第一方面的一种实现方式中,第二预览界面包括第一提示信息,第一提示信息用于提示第一目标ROI在所述显示屏上的位置;或者,第一提示信息用于引导拍摄者将视线落在显示屏的目标位置。
在该实现方式中,电子设备可以通过第一提示信息向拍摄者提示第一目标ROI在显示屏上的位置;或者,电子设备可以通过第一提示信息引导拍摄者将视线落在显示屏的目标位置,在提高拍摄效果的同时,提高了用户体验。
在第一方面的一种实现方式中,第二预览界面包括掩膜区域,掩膜区域划分有多个预设ROI,多个预设ROI与第二预览图像对应;第一提示信息位于多个预设ROI中的目标预设ROI内,且目标ROI与目标预设ROI相对应;其中,掩膜区域用于显示前置摄像头采集到的图像;或者,掩膜区域用于显示缩小后的第二预览图像。
在该实现方式中,电子设备可以在第二预览界面中设置掩膜区域,并将掩膜区域划分成多个预设ROI;由于多个预设ROI与第二预览图像对应,第一提示信息位于多个预设ROI中的目标预设ROI内,且目标ROI与目标预设ROI相对应,因此电子设备可以通过掩膜区域内的第一提示信息直观地向拍摄者提示第一目标ROI在显示屏上的位置,并通过第一提示信息与多个预设ROI的关系引导拍摄者将视线落在显示屏的目标位置,在提高拍摄效果的同时,进一步提高了用户体验。
在第一方面的一种实现方式中,第二预览界面包括多个预设ROI,多个预设ROI与第二预览图像对应;第一提示信息位于多个预设ROI中的目标预设ROI内,且目标ROI与目标预设ROI相对应。
在该实现方式中,电子设备还可以将第二预览界面划分为多个预设ROI,由于多个预设ROI与第二预览图像对应,第一提示信息位于多个预设ROI中的目标预设ROI内,且目标ROI与目标预设ROI相对应,因此电子设备可以通过第二预览界面内第一提示信息直观地向拍摄者提示第一目标ROI在显示屏上的位置;并通过第一提示信息与多个预设ROI的关系引导拍摄者将视线落在显示屏的目标位置,在提高拍摄效果的同时,进一步提高了用户体验。
在第一方面的一种实现方式中,在掩膜区域用于显示前置摄像头采集到的图像的情况下,该方法还包括:当电子设备检测到拍摄者与电子设备之间的距离未在预设范围内时,电子设备在掩膜区域中显示预设人脸区域;预设人脸区域用于提示拍摄者调整与电子设备之间的距离。
在该实现方式中,电子设备通过在掩膜区域中显示预设人脸区域,以提示拍摄者调整与电子设备之间的距离,在提高拍摄效果的同时,进一步提高了用户体验。
在第一方面的一种实现方式中,第二预览界面还包括第二提示信息;第二提示信息用于向拍摄者提示第一对焦区域在显示屏上的位置。
在该实现方式中,由于电子设备可以通过第二提示信息向拍摄者提示第一对焦区域在显示屏上的位置,在提高拍摄效果的同时,从而可以进一步提高用户体验。
在第一方面的一种实现方式中,该方法还包括:当电子设备检测到拍摄者与电子设备之间的距离未在预设范围内时,电子设备发出文字提示信息;文字提示信息用于提示拍摄者调整与电子设备之间的距离;或者,当电子设备检测到拍摄者与电子设备之间的距离未在预设范围内时,电子设备发出语音提示信息;语音提示信息用于提示拍摄者调整与电子设备之间的距离。
在该实现方式中,当电子设备检测到拍摄者与电子设备之间的距离未在预设范围内时,电子设备还可以通过文字提示信息或者语音提示信息,提示拍摄者调整与电子设备之间的距离,在提高拍摄效果的同时,进一步提高了用户体验。
在第一方面的一种实现方式中,该方法还包括:电子设备识别第一对焦区域内的对焦物体,并跟踪对焦物体;当电子设备检测到被跟踪的对焦物体与第一目标ROI未对应的时长大于预设时长时,电子设备重新确定第一对焦区域。
在该实现方式中,电子设备可以通过识别第一对焦区域内的对焦物体,并跟踪对焦物体;当电子设备检测到被跟踪的对焦物体与第一目标ROI未对应的时长大于预设时长时,电子设备重新确定第一对焦区域,即电子设备采用延迟策略进行对焦,避免了电子设备频繁进行对焦时,影响拍摄效果。
在第一方面的一种实现方式中,该方法还包括:电子设备识别第一对焦区域内的对焦物体,并跟踪对焦物体;当电子设备检测到被跟踪的对焦物体与第一目标ROI未对应,且拍摄者的视线未落在显示屏上时,电子设备保持第一对焦区域。
在该实现方式中,电子设备通过识别第一对焦区域内的对焦物体,并跟踪对焦物体;当电子设备检测到被跟踪的对焦物体与第一目标ROI未对应,且拍摄者的视线未落在显示屏上时,即拍摄者的视线在显示屏之外时,电子设备保持第一对焦区域不变,避免由于拍摄者视线在显示屏之外,导致电子设备无法对焦的问题。
在第一方面的一种实现方式中,第二预览界面包括结束录制控件;该方法还包括:电子设备响应于拍摄者对结束录制控件的操作,生成视频文件;其中,视频文件包括第一清晰区域和第一虚化区域;视频文件是由电子设备对第一图像帧和第二图像帧进行处理生成的。
在该实现方式中,由于电子设备在录制视频的过程中采用第一目标ROI进行对焦,能够提高拍摄效果,因此在电子设备结束录制视频后,也能够提高生成的视频文件的拍摄效果。
在第一方面的一种实现方式中,电子设备根据前置摄像头采集到的图像,确定第一预览图像上的第一目标感兴趣区域ROI,包括:电子设备对前置摄像头采集到的图像进行人脸识别处理,确定前置摄像头采集到的图像的人脸信息和人眼信息;人脸信息包括拍摄者脸部轮廓的坐标,人眼信息包括拍摄者的瞳孔间距离,瞳孔大小、瞳孔大小变化、瞳孔亮暗对比度、角膜半径、光斑信息以及虹膜信息中的一种或多种;电子设备将人脸信息和人眼信息输入预设模型中,输出拍摄者的视线落在显示屏上的位置;预设模型为电子设备根据样本人脸信息和样本人眼信息训练得到的;电子设备根据拍摄者的视线与第一预览图像对应的区域,确定第一预览图像上的第一目标ROI。
在该实现方式中,电子设备首先基于前置摄像头采集到的图像进行人脸识别,确定出前置摄像头采集到的图像的人脸信息和人眼信息;这样一来,电子设备不需要检测整个图像,只需要检测该图像中与人脸相关的图像,从而能够缩小检测范围,提高检测精度,进而减少设备功耗。
在第一方面的一种实现方式中,电子设备根据第一目标ROI控制后置第一摄像头和后置第二摄像头进行对焦,确定第一对焦区域,包括:电子设备对第一目标ROI进行自动对焦AF处理,控制后置第一摄像头和后置第二摄像头进行对焦,确定第一对焦区域。
在第一方面的一种实现方式中,该方法还包括:电子设备对第二图像帧进行预处理;预处理用于使第二图像帧和第一图像帧的视场角相同;电子设备根据预处理后的第二图像帧和第一图像帧计算景深;电子设备根据目标ROI和景深,确定第一虚化区域。
在该实现方式中,电子设备通过对第二图像帧进行预处理,使得第二图像帧和第一图像帧的视场角相同;这样一来,可以确保电子设备通过第二图像帧和第一图像帧计算景深较为准确,进一步提高了拍摄效果。
在第一方面的一种实现方式中,在电子设备显示第二预览界面之前,该方法还包括:电子设备对第一图像帧和第二图像帧进行图像转换处理;图像转换处理包括:电子设备将第一图像帧转换成目标格式的第一图像帧,将第二图像帧转换成目标格式的第二图像帧;第一图像帧在传输时的带宽高于目标格式的第一图像帧在传输时的带宽,第二图像帧在传输时的带宽高于目标格式的第二图像帧在传输时的带宽。
在该实现方式中,由于电子设备对第一图像帧和第二图像帧进行图像转换处理之后,能够降低第一图像帧在传输时的带宽以及第二图像帧在传输时的带宽,因此能够进一步降低设备功耗。
在第一方面的一种实现方式中,该方法还包括:电子设备对目标格式的第一图像帧进行图像仿真变换处理;图像仿真变换处理用于对目标格式的第一图像帧进行图像增强。
在该实现方式中,电子设备通过对目标格式的第一图像帧进行图像仿真变换处理,能够对目标格式的第一图像帧进行图像增强,能够进一步提高图像效果。
在第一方面的一种实现方式中,该方法还包括:电子设备响应于拍摄者输入的变焦操作,对目标格式的第一图像帧进行变焦处理,生成与目标变焦倍数对应的目标格式的第一图像帧。
在该实现方式中,电子设备在拍摄过程中,还可以对目标格式的第一图像帧进行变焦处理,生成与目标变焦倍数对应的目标格式的第一图像帧,从而能够进一步提高拍摄效果。
第二方面,提供一种电子设备,该电子设备具有实现上述第一方面所述的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第三方面,提供一种电子设备,包括:后置第一摄像头、后置第二摄像头、前置摄像头、显示屏、存储器以及一个或多个处理器;显示屏用于显示后置第一摄像头、后置第二摄像头以及前置摄像头采集的图像;或者显示屏用于显示处理器生成的图像;存储器中存储有计算机程序代码,计算机程序代码包括计算机指令,当计算机指令被处理器执行时,使得电子设备执行如下步骤:电子设备检测到录像指令后,在显示屏上显示第一预览界面;第一预览界面包括第一预览图像;电子设备基于前置摄像头采集到的图像,确定第一预览图像上的第一目标感兴趣区域ROI;第一目标ROI为与拍摄者的视线对应的区域;电子设备根据第一目标ROI控制后置第一摄像头和后置第二摄像头进行对焦,显示第二预览界面;第二预览界面包括第二预览图像;第二预览图像包括第一清晰区域和第一虚化区域,第一清晰区域与第一目标ROI对应;第二预览图像是由电子设备对第一图像帧和第二图像帧进行处理生成的;第一图像帧为后置第一摄像头采集到的,第二图像帧为后置第二摄像头采集到的。
在第三方面的一种实现方式中,当计算机指令被处理器执行时,使得电子设备还执行如下步骤:当电子设备检测到拍摄者的视线发生变化时,电子设备基于前置摄像头采集到的图像,确定第二预览图像上的第二目标ROI;第二目标ROI为与拍摄者的视线对应的区域;所述电子设备根据第二目标ROI控制后置第一摄像头和后置第二摄像头进行对焦,显示第三预览界面;第三预览界面包括第三预览图像;第三预览图像包括第二清晰区域和第二虚化区域,第二清晰区域与第二目标ROI对应;第三预览图像是由电子设备对第三图像帧和第四图像帧进行处理生成的;第三图像帧为后置第一摄像头采集到的,第四图像帧为后置第二摄像头采集到的;其中,第一清晰区域不同于第二清晰区域,第一虚化区域不同于第二虚化区域。
在第三方面的一种实现方式中,在显示屏上显示第一预览界面之后,,当计算机指令被处理器执行时,使得电子设备还执行如下步骤:电子设备接收用户输入的第一事件,在显示屏上显示第四预览界面;第一事件用于触发电子设备进入大光圈模式;第四预览图像包括第三清晰区域和第三虚化区域;第四预览图像是由电子设备对第五图像帧和第六图像帧进行处理生成的;第五图像帧为后置第一摄像头采集到的,第六图像帧为后置第二摄像头采集到的;其中,第三清晰区域不同于第一清晰区域,第三虚化区域不同于第一虚化区域。
在第三方面的一种实现方式中,当计算机指令被处理器执行时,使得电子设备具体执行如下步骤:电子设备根据第一目标ROI控制后置第一摄像头和后置第二摄像头进行对焦,确定第二预览界面中的第一对焦区域,并显示第二预览界面;其中,第一对焦区域与第一清晰区域对应。
在第三方面的一种实现方式中,第二预览界面包括第一提示信息,第一提示信息用于提示第一目标ROI在所述显示屏上的位置;或者,第一提示信息用于引导拍摄者将视线落在显示屏的目标位置。
在第三方面的一种实现方式中,第二预览界面包括掩膜区域,掩膜区域划分有多个预设ROI,多个预设ROI与第二预览图像对应;第一提示信息位于多个预设ROI中的目标预设ROI内,且目标ROI与目标预设ROI相对应;其中,掩膜区域用于显示前置摄像头采集到的图像;或者,掩膜区域用于显示缩小后的第二预览图像。
在第三方面的一种实现方式中,第二预览界面包括多个预设ROI,多个预设ROI与第二预览图像对应;第一提示信息位于多个预设ROI中的目标预设ROI内,且目标ROI与目标预设ROI相对应。
在第三方面的一种实现方式中,在掩膜区域用于显示前置摄像头采集到的图像的情况下,当计算机指令被处理器执行时,使得电子设备还执行如下步骤:当电子设备检测到拍摄者与电子设备之间的距离未在预设范围内时,电子设备在掩膜区域中显示预设人脸区域;预设人脸区域用于提示拍摄者调整与电子设备之间的距离。
在第三方面的一种实现方式中,第二预览界面还包括第二提示信息;第二提示信息用于向拍摄者提示第一对焦区域在显示屏上的位置。
在第三方面的一种实现方式中,当计算机指令被处理器执行时,使得电子设备还执行如下步骤:当电子设备检测到拍摄者与电子设备之间的距离未在预设范围内时,电子设备发出文字提示信息;文字提示信息用于提示拍摄者调整与电子设备之间的距离;或者,当电子设备检测到拍摄者与电子设备之间的距离未在预设范围内时,电子设备发出语音提示信息;语音提示信息用于提示拍摄者调整与电子设备之间的距离。
在第三方面的一种实现方式中,当计算机指令被处理器执行时,使得电子设备还执行如下步骤:电子设备识别第一对焦区域内的对焦物体,并跟踪对焦物体;当电子设备检测到被跟踪的对焦物体与第一目标ROI未对应的时长大于预设时长时,电子设备重新确定第一对焦区域。
在第三方面的一种实现方式中,当计算机指令被处理器执行时,使得电子设备还执行如下步骤:电子设备识别第一对焦区域内的对焦物体,并跟踪对焦物体;当电子设备检测到被跟踪的对焦物体与第一目标ROI未对应,且拍摄者的视线未落在显示屏上时,电子设备保持第一对焦区域。
在第三方面的一种实现方式中,第二预览界面包括结束录制控件;当计算机指令被处理器执行时,使得电子设备还执行如下步骤:电子设备响应于拍摄者对结束录制控件的操作,生成视频文件;其中,视频文件包括第一清晰区域和第一虚化区域;视频文件是由电子设备对第一图像帧和第二图像帧进行处理生成的。
在第三方面的一种实现方式中,当计算机指令被处理器执行时,使得电子设备具体执行如下步骤:电子设备对前置摄像头采集到的图像进行人脸识别处理,确定前置摄像头采集到的图像的人脸信息和人眼信息;人脸信息包括拍摄者脸部轮廓的坐标,人眼信息包括拍摄者的瞳孔间距离,瞳孔大小、瞳孔大小变化、瞳孔亮暗对比度、角膜半径、光斑信息以及虹膜信息中的一种或多种;电子设备将人脸信息和人眼信息输入预设模型中,输出拍摄者的视线落在显示屏上的位置;预设模型为电子设备根据样本人脸信息和样本人眼信息训练得到的;电子设备根据拍摄者的视线落与第一预览图像对应的区域,确定第一预览图像上的第一目标ROI。
在第三方面的一种实现方式中,当计算机指令被处理器执行时,使得电子设备具体执行如下步骤:电子设备对第一目标ROI进行自动对焦AF处理,控制后置第一摄像头和后置第二摄像头进行对焦,确定第一对焦区域。
在第二方面的一种实现方式中,当计算机指令被处理器执行时,使得电子设备还执行如下步骤:电子设备对第二图像帧进行预处理;预处理用于使第二图像帧和第一图像帧的视场角相同;电子设备根据预处理后的第二图像帧和第一图像帧计算景深;电子设备根据目标ROI和景深,确定第一虚化区域。
在第三方面的一种实现方式中,在电子设备显示第二预览界面之前,当计算机指令被处理器执行时,使得电子设备还执行如下步骤:电子设备对第一图像帧和第二图像帧进行图像转换处理;图像转换处理包括:电子设备将第一图像帧转换成目标格式的第一图像帧,将第二图像帧转换成目标格式的第二图像帧;第一图像帧在传输时的带宽高于目标格式的第一图像帧在传输时的带宽,第二图像帧在传输时的带宽高于目标格式的第二图像帧在传输时的带宽。
在第三方面的一种实现方式中,当计算机指令被处理器执行时,使得电子设备还执行如下步骤:电子设备对目标格式的第一图像帧进行图像仿真变换处理;图像仿真变换处理用于对目标格式的第一图像帧进行图像增强。
在第三方面的一种实现方式中,当计算机指令被处理器执行时,电子设备响应于拍摄者输入的变焦操作,对目标格式的第一图像帧进行变焦处理,生成与目标变焦倍数对应的目标格式的第一图像帧。
第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当计算机指令在计算机上运行时,使得计算机可以执行上述第一方面中任一项所述的拍摄方法。
第五方面,提供了一种包含指令的计算机程序产品,当该指令在计算机上运行时,使得计算机可以执行上述第一方面中任一项所述的拍摄方法。
其中,第二方面至第四方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种成像原理示意图;
图2为本申请实施例提供的一种拍摄者手持电子设备进行拍摄的示意图;
图3为本申请实施例提供的一种电子设备的结构示意图;
图4为本申请实施例提供的一种手机摄像头的结构示意图;
图5为本申请实施例提供的一种拍摄界面示意图一;
图6为本申请实施例提供的一种拍摄界面示意图二;
图7为本申请实施例提供的一种图像处理的原理示意图一;
图8为本申请实施例提供的一种图像处理的原理示意图二;
图9a为本申请实施例提供的一种拍摄界面示意图三;
图9b为本申请实施例提供的一种拍摄界面示意图四;
图10为本申请实施例提供的一种拍摄界面示意图五;
图11为本申请实施例提供的一种拍摄界面示意图六;
图12为本申请实施例提供的一种图像处理的原理示意图三;
图13为本申请实施例提供的一种拍摄界面示意图七;
图14为本申请实施例提供的一种拍摄界面示意图八;
图15为本申请实施例提供的一种拍摄界面示意图九;
图16为本申请实施例提供的一种拍摄界面示意图十;
图17为本申请实施例提供的一种拍摄界面示意图十一;
图18为本申请实施例提供的一种拍摄界面示意图十二;
图19为本申请实施例提供的一种拍摄界面示意图十三;
图20为本申请实施例提供的一种拍摄界面示意图十四;
图21为本申请实施例提供的一种拍摄界面示意图十五;
图22为本申请实施例提供的一种拍摄方法的流程示意图一;
图23为本申请实施例提供的一种拍摄界面示意图十六;
图24为本申请实施例提供的一种拍摄方法的流程示意图二;
图25为本申请实施例提供的一种芯片系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请的描述中,除非另有说明,“/”表示前后关联的对象是一种“或”的关系,例如,A/B可以表示A或B;本申请中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。并且,在本申请的描述中,除非另有说明,“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。另外,为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。同时,在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念,便于理解。
为了便于理解本申请实施例所提供的方案,下面将对本申请实施例中涉及到的一些名词进行解释。
焦外成像(bokeh):在一幅图像中有清晰的部分,也有虚化的部分(或称为模糊的部分);其中,虚化部分的成像被称为焦外成像。具体的,图像中虚化的部分可以包括前景虚化,也可以包括背景虚化。
焦点:电子设备中的摄像头一般是由至少一个透镜组成的,透镜包括凸透镜和凹透镜。以透镜为凸透镜为例,被拍摄对象反射的光束(或发出的光束)投射到凸透镜后,光束逐渐汇聚至一个点,此点即为焦点。其中,当光束汇聚至一个点之后,随着光束的继续传播,光束又会散开。
景深:电子设备在进行拍摄时,使离摄像头一定距离的被拍摄对象清晰成像的过程叫做对焦。其中,被拍摄对象所在的点,称为对焦点。在对焦点前后一定范围内,电子设备依然可以获取到清晰图像,即在对焦点前后一定范围内,被拍摄对象的成像依然是清晰的,因此可以将对焦点前后成像清晰的范围称为清晰范围。这个清晰范围,就被称为景深。需要说明的是,在清晰范围内,对焦点靠近摄像头的范围被称为前景深,对焦点远离摄像头的范围被称为后景深。
可以理解的是,电子设备在成像过程中,被拍摄对象反射的光束会传播至成像面,从而在成像面上形成被拍摄对象的图像。通常,被拍摄对象反射的光束通过摄像头之后会聚焦于一点(即焦点);其中,焦点可能位于成像面之前,也可能位于成像面之后,或者还可以位于成像面上。以焦点位于成像面上为例,示例性的,如图1所示,为电子设备拍摄被拍摄对象的示意图。其中,O为摄像头L的光轴,F为焦点,f为对焦点。在对焦点f前后M1到M2之间的范围内,电子设备依然可以获取到清晰图像,因此M1到M2之间的范围,即距离S为景深。仍如图1所示,在M1到M2之间的范围内,存在近点A和远点B。其中,近点A和远点B反射的光束均可以通过摄像头L至成像面。图1中的A’为近点A的成像点,B’点为远点B的成像点。
光圈:用于控制透过摄像头的光束的光学器件,一般设置在摄像头内。一般情况下,光圈可以由数片卷叶型金属片构成,中间形成一个大小可调的孔。通过金属片的转动,可以控制调节该孔的大小,从而实现调节光圈大小的目的。需要说明的是,孔越大,透过摄像头的光束越多,则光圈越大(可以称为大光圈);反之,孔越小,透过摄像头的光束越少,则光圈越小(可以称为小光圈)。
相关技术中,电子设备通过自动对焦的功能选择被拍摄对象的对焦物体,使对焦物体落在摄像头焦距的焦点上。但是,有些时候拍摄者并不想要电子设备自动选择的对焦物体,即自动对焦无法实时满足拍摄者的需求。基于此,电子设备可以通过拍摄者手动操作屏幕以切换对焦物体,即电子设备具有手动对焦功能。
在一些实施例中,在拍摄者双手握持(如横屏握持)电子设备进行拍摄的情况下,当拍摄者需要手动对焦时,拍摄者对焦的操作会影响拍摄者握持电子设备的握持动作。例如,如图2所示,当拍摄者需要手动对焦时,拍摄者从双手握持变为单手握持,并触摸电子设备的屏幕,以切换对焦物体。在该过程中,电子设备会产生一定的抖动(或震撼),从而影响拍摄效果。另外,由于拍摄者的对焦操作需要拍摄者对电子设备的屏幕进行触摸操作,而该触摸操作会产生一定的延时。在此基础上,当拍摄场景为动态场景时,拍摄者的对焦操作则会影响对焦的即时性,进而影响拍摄动态场景的效果。
在一些实施例中,当电子设备进入大光圈模式下进行拍摄时,拍摄者切换对焦物体的对焦操作也会影响图像中虚化的效果,导致最终拍摄成的图像会有明显的变化。
基于此,相关技术中还可以通过检测被拍摄对象的行为(如转头、转身或者移动等),切换对焦物体。但是,通过检测被拍摄对象的行为不一定符合拍摄者的要求,很可能与拍摄者的需求背道而驰,因此该方法依然无法实时满足拍摄者的需求。
本申请实施例提供一种拍摄方法,该方法能够解决手动对焦时产生抖动(或震撼)的问题,进而提高拍摄效果。示例性的,电子设备在进行拍摄时,通过开启前置摄像头检测拍摄者的目光注视的方向,根据目标注视的方向控制电子设备切换对焦物体,以实现对焦。
下面将结合说明书附图对本申请实施例提供的拍摄方法进行详细描述。
示例性的,本申请实施例中的电子设备可以是具有拍摄功能电子设备。例如,该电子设备可以为手机运动相机(GoPro)、数码相机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、车载设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备等,本申请实施例对该电子设备的具体形态不作特殊限制。
如图3所示,为电子设备100的一种结构示意图。其中,电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
可以理解的是,本实施例示意的结构并不构成对电子设备100的具体限定。在另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
可以理解的是,本实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备的结构限定。在另一些实施例中,电子设备也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。该显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Mini-LED,Micro-OLED,Micro-OLED,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备可以包括1个或N个摄像头193,N为大于1的正整数。
在本申请实施例中,电子设备可以包括多个摄像头;例如,多个摄像头可以包括前置摄像头和后置摄像头。其中,前置摄像头用于采集拍摄者的图像;后置摄像头用于采集被拍摄对象的图像。示例性的,电子设备对前置摄像头采集到的拍摄者的图像进行目光注视检测,从而确定拍摄者的目光注视的方向,以得到目光注视的感兴趣区域(region ofinterest,ROI);而后,电子设备根据目光注视的ROI控制后置摄像头确定被拍摄对象的图像中的对焦物体,从而实现对焦。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音频,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备的各种功能应用以及数据处理。例如,在本申请实施例中,处理器110可以通过执行存储在内部存储器121中的指令,内部存储器121可以包括存储程序区和存储数据区。
其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flashstorage,UFS)等。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备的接触和分离。电子设备可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。
以下实施例中的方法均可以在具有上述硬件结构的电子设备100中实现。以下实施例中以上述电子设备100为手机为例,具体阐述本申请实施例提供的技术方案。
其中,本申请实施例所提供的手机设置有不同焦段的摄像头。在一些实施例中,手机的背面包括四个后置摄像头,手机的正面包括两个前置摄像头。示例性的,如图4所示,四个后置摄像头例如可以为第一后置摄像头201、第二后置摄像头202、第三后置摄像头303以及第四后置摄像头304;两个前置摄像头例如可以为第一前置摄像头301和第二前置摄像头302。
在一些实施例中,第一后置摄像头201例如可以为主摄像头(或称后置主摄);第二后置摄像头202例如可以为微距摄像头、第三后置摄像头203例如可以为广角摄像头、第四后置摄像头204例如可以为深度摄像头。其中,第二后置摄像头202、第三后置摄像头203以及第四后置摄像头204也可以称为后置副摄。在一些实施例中,第一前置摄像头301可以称为主摄像头,第二前置摄像头302可以称为前置从摄像头;或者,第一前置摄像头301可以称为从摄像头,第二前置摄像头302可以称为前置主摄像头。本申请实施例对此不作限定。
示例性的,手机中可以安装相机应用(或者安装具有拍摄功能的应用)。在一些实施例中,当手机运行相机应用时,手机显示第一预览图像。该第一预览图像可以为拍照预览图像,或者该第一预览图像为视频预览图像。其中,视频预览图像可以为录制视频前的预览图像,或者视频预览图像可以为录制过程中的预览图像。第一预览图像中包括第一对焦区域。
在一些实施例中,第一对焦区域为手机自动对焦(auto focus,AF)后确定出的。需要说明的,对于自动对焦的举例说明可以参考相关技术,此处不再赘述。
在另一些实施例中,第一对焦区域为手机根据拍摄者目光注视的ROI进行对焦后确定出的。示例性的,当手机运行相机应用时,手机同时启动后置主摄(如第一后置摄像头201)和前置摄像头(如第一前置摄像头301或者第二前置摄像头302)。其中,前置摄像头用于采集拍摄者的用户图像,后置主摄用于采集被拍摄对象的图像。手机对前置摄像头采集到的拍摄者的用户图像进行目光注视检测,确定拍摄者目光注视的方向,以得到目光注视的ROI。而后,手机根据目光注视的ROI控制后置主摄进行对焦。
在手机显示第一预览图像之后,手机可获取前置摄像头采集到的拍摄者的用户图像,并根据该用户图像进行目光注视检测,确定拍摄者目光注视的方向,以得到目光注视的ROI。而后,手机根据目光注视的ROI控制后置主摄进行对焦,并显示第二预览图像。其中,第二预览图像包括第二对焦区域,第二对焦区域与第一对焦区域不同。
这样一来,手机根据前置摄像头采集到的拍摄者的用户图像,对该用户图像进行目光注视检测,以得到拍摄者目光注视的方向,即拍摄者视线在显示屏(即手机屏幕)上的位置,而后,手机根据拍摄者目光注视的方向与第一预览图像对应的区域,确定目光注视的ROI,以使得手机根据目光注视的ROI实时切换对焦区域,从而提高拍摄效果。换句话说,本申请实施例中所述的方案能够解决相关技术中,拍摄者在切换对焦物体时需要手动操作手机屏幕,影响拍摄效果的问题。
在一些实施例中,手机可采用目光跟踪的技术对前置摄像头采集到的拍摄者的用户图像进行检测,以确定目光注视的ROI。在另一些实施例中,手机可以通过图像捕捉或扫描提取等功能,对前置摄像头采集到的拍摄者的用户图像进行检测确定出拍摄者的人脸信息(或称脸部轮廓信息)和人眼信息(或称瞳孔信息);而后,手机将人脸信息和人眼信息输入至预设模型中,得到目光注视的ROI。这里对于人脸信息和人眼信息的举例说明可以参考下述实施例。
需要说明的是,手机可以通过接收拍摄者输入的操作运行相机应用。示例性的,该操作例如可以为触摸操作、按键操作、手势操作或语言操作等方式中的一种。其中,触摸操作例如可以为点击操作,或者滑动操作等。
在一些实施例中,手机中包括多种拍摄模式,不同拍摄模式下手机生成的预览图像的效果不同。示例性的,多种拍摄模式包括拍照模式、录像模式、人像模式、大光圈模式、慢动作模式以及全景模式中的一种或多种。当手机进入大光圈模式时,手机可再启动一个后置摄像头作为后置副摄采集原始图像。其中,该后置摄像头(或称后置副摄)可以为第二后置摄像头202、第三后置摄像头203或者第四后置摄像头204,本申请实施例对此不作限定。
需要说明的是,手机在大光圈模式下生成的预览图像中包括清晰显示部分和虚化显示部分。其中,对焦物体为清晰显示部分的图像,其余物体为虚化显示的图像。
下面以手机录制视频的场景为例,对本申请实施例提供的技术方案进行详细描述。其中,为了丰富手机录制视频的风格或效果,手机可采用电影模式录制视频。
在一些实施例中,如图5中(1)所示,手机响应于拍摄者在手机主屏幕界面中操作相机应用的图标401,手机显示如图5中(2)所示的界面402。其中,界面402为手机拍照的预览界面,该界面402中还包括人像模式、录像模式、电影模式以及专业模式。其中,电影模式为手机录制视频的一种模式,电影模式中包括多个LUT,不同LUT对应不同的拍摄场景。拍摄者可以根据不同的拍摄场景选择对应的LUT,以使得不同拍摄场景拍摄出来的图像和风格(或效果)不同,从而丰富手机拍摄的风格(或效果),使得拍摄风格更为多样化和个性化。
仍如图5中(2)所示,手机响应于拍摄者选择电影模式403的操作,手机显示如图6中(1)所示的界面404。其中,界面404为手机录像前的预览界面。在界面404中,手机显示提示信息405。该提示信息405用于向拍摄者提示将手机处于横屏状态。示例性的,该提示信息405可以为“电影模式横屏拍摄效果更佳”。而后,当拍摄者将手机处于横屏状态放置时,手机显示如图6中(2)所示的界面406,该界面406为手机在横屏状态下录像前的预览界面。在一些实施例中,该界面406还包括LUT控件407和大光圈控件408。
在一些实施例中,当手机进入电影模式时,手机显示第一预览图像,该第一预览图像包括第一对焦区域。需要说明的是,对于手机显示第一预览图像,以及如何确定第一对焦物体的举例说明,可以参考上述实施例,此处不再赘述。
在手机显示第一预览图像之后,或者,在手机采用电影模式开始录制视频时,手机可获取前置摄像头采集到的拍摄者的用户图像,并根据该用户图像进行目光注视检测,确定拍摄者目光注视的方向,以得到目光注视的ROI。而后,手机根据目光注视的ROI控制后置主摄进行对焦,并显示第二预览图像。其中,第二预览图像包括第二对焦区域,第二对焦区域与第一对焦区域不同。
应理解,本申请实施例中,目光注视的ROI指的是拍摄者的视线在手机屏幕上的位置与第一预览图像对应的区域。
示例性的,如图7所示,前置摄像头分别与人脸识别模块和目光注视检测模块相连接,人脸识别模块与目光注视检测模块相连接。在一些实施例中,前置摄像头将采集到的用户图像输入至目光注视检测模块中,目光注视检测模块对该用户图像进行检测,确定目光注视的ROI。示例性的,目光注视检测模块采用目光跟踪的技术跟踪用户图像中拍摄者的目光,从而确定出目光注视的ROI。在另一些实施例中,前置摄像头将采集到的用户图像输入至人脸识别模块中,人脸识别模块对用户图像进行人脸识别处理,确定出人脸的ROI。示例性的,人脸的ROI包括人脸信息和人眼信息。示例性的,人脸信息例如可以包括脸部轮廓的坐标等;人眼信息例如可以包括瞳孔间距离、瞳孔大小、瞳孔大小变化、瞳孔亮暗对比度、角膜半径、光斑信息以及虹膜信息中的一种或多种。当然,人眼信息还可以包括其它用于表征眼睛发生细微变化的特征,此处不再一一列举。在一些实施例中,人脸识别模块可以通过图像捕捉或扫描提取等功能,确定出拍摄者的人脸信息和人眼信息。
而后,人脸识别模块将人脸信息和人眼信息输入至目光注视检测模块,目光注视检测模块根据人脸信息和人眼信息进行目光注视检测,从而输出目光注视的ROI。示例性的,示例性的,目光注视检测模块包括预设模型;其中,该预设模型为手机预先根据样本人脸信息和样本人眼信息训练得到的。在此基础上,目标注视检测模块将人脸信息和人眼信息输入至预设模型中,输出目光注视的ROI。
需要说明的是,前置摄像头将用户图像输入至人脸识别模块,人脸识别模块对用户图像进行人脸识别处理,确定人脸的ROI;这样一来,目光注视检测模块不需要检测整个用户图像,只需要检测用户图像中与人脸相关的ROI(即人脸ROI)图像,从而能够缩小检测范围,提高检测精度,进而减少设备功耗。
示例性的,如图8所示,后置主摄分别与第一ISP前端模块和AF算法模块相连接,AF算法模块与目光注视检测模块相连接。例如,目光注视检测模块将目标注视的ROI输入至AF算法模块中。AF算法模块根据目光注视的ROI,控制后置主摄进行对焦。示例性的,AF算法模块根据拍摄者的视线在显示屏上的位置与第一预览图像对应的区域,确定第二对焦区域;而后,AF算法模块控制后置主摄将第二对焦区域中包括的对焦物体落在后置主摄的焦点位置处,从而实现对焦。在此基础上,在后置主摄完成对焦之后,后置主摄将采集到的原始图像帧输入至第一ISP前端模块中,第一ISP前端模块用于对原始图像帧进行目标处理,将原始图像帧转换成目标格式的原始图像帧(或称目标原始图像帧)。
示例性的,目标处理例如可以为“YUV域”处理,在此基础上,目标格式的原始图像帧例如可以为YUV格式的原始图像帧。其中,YUV格式为一种图像颜色编码,其中,Y表示亮度Luminance,U和V表示色度Chrominance。
仍如图8所示,第一ISP前端模块分别与第一防抖模块和第二防抖模块相连接。第一防抖模块与第一ISP后端模块相连接,第二防抖模块与第二ISP后端模块相连接。例如,第一ISP前端模块与第一防抖模块和第二防抖模块之间可以通过视频图形阵列(videographics array,VGA)接口相连接,第一防抖模块与第一ISP后端模块之间可以通过VGA接口相连接,第二防抖模块与第二ISP后端模块之间可以通过VGA接口相连接;这样一来,通过VGA接口相连接的ISP前端模块、防抖模块以及ISP后端模块可以输出全高清(full highdefinition,FHD)图像,从而能够提高预览图像的清晰度。
结合上述实施例,如图8所示,第一ISP前端模块将原始图像帧转换成目标原始图像帧之后,第一ISP前端模块会将目光原始图像帧分为两路数据输出;其中,一路数据为预览流(preview),预览流用于输出至显示屏,以使显示屏在预览界面显示第二预览图像。另一路数据为视频流(video),视频流用于生成视频文件,并将视频文件保存在手机中。例如,手机对视频流的数据进行编码处理,以生成视频文件。
示例性的,如图8所示,第一ISP前端模块将目标原始图像帧输入至第一防抖模块中,第一防抖模块用于对目标原始图像帧进行电子防抖(electric image stabilization,EIS)处理。第一防抖模块将处理后的目标原始图像帧输入至第一ISP后端模块,第一ISP后端模块用于对目标原始图像帧进行图像增强,并输出预览流;而后,第一ISP后端模块将预览流输出至显示屏,显示屏根据该预览流显示第二预览图像。
相应的,第一ISP前端模块将目标原始图像帧输入至第二防抖模块中,第二防抖模块用于对目标原始图像帧进行EIS处理。第二防抖模块将处理后的目标原始图像帧输入至第二ISP后端模块,第二ISP后端模块用于对目标原始图像帧进行图像增强,并输出视频流。在此基础上,当手机结束录制视频之后,手机对第二ISP后端模块输出的视频流进行编码处理,生成视频文件。
在一些实施例中,第二防抖模块对目标原始图像帧进行EIS delay处理,即第二防抖模块中可以缓存多帧目标原始图像帧,第二防抖模块对该多帧目标原始图像帧中的每一帧目标原始图像帧都进行EIS处理,从而获得更好的防抖效果。示例性的,第一防抖模块和第二防抖模块中可以设置惯性测量单元(inertial measurement unit,IMU),以对目标原始图像帧进行EIS处理。
在一些实施例中,第一ISP前端模块中可以设置预设图像算法对目标原始图像帧进行处理。示例性的,如图8所示,第一ISP前端模块中预设有图像转换匹配(GraphTransformation Matching,GTM)算法模块;GTM模块用于对目标原始图像帧进行目标处理。第一ISP后端模块和第二ISP后端模块中预设有图像仿真变换(WRAP)算法模块;其中,WRAP模块用于对目标原始图像帧进行图像增强。
在一些实施例中,为了进一步提高拍摄效果,拍摄者可以根据具体需要选择大光圈模式进行录制视频,以使得录制好的视频文件具有对焦物体清晰显示,其它物体虚化显示的效果。在此基础上,在手机处于大光圈模式下进行拍摄时,手机通过前置摄像头采集到的用户图像,检测拍摄者的目光注视方向,确定目光注视的ROI;而后,手机根据目光注视的ROI切换第一预览图像中的第一对焦物体,以实现根据拍摄者目光注视的ROI进行对焦。
示例性的,在手机的后置主摄和前置摄像头已经启动的情况下,当手机进入大光圈模式时,为了显示虚化效果的预览图像,手机需要根据拍摄者选择大光圈模式的操作启动后置副摄,并通过目光注视的ROI控制后置主摄和后置副摄进行对焦处理。并且,手机需要通过后置主摄和后置副摄采集到的原始图像帧进行景深计算,并根据后置主摄采集到的原始图像帧生成具有虚化效果的第二预览图像。需要说明的是,为了便于理解,在本申请以下实施例中,后置主摄采集到的原始图像帧可以称为第一原始图像帧,后置副摄采集到的原始图像帧可以称为第二原始图像帧。
在一些实施例中,后置主摄和后置副摄的两个摄像头可以组成逻辑多摄像头(logical camerald),用于进行景深计算。示例性的,后置主摄可以为中焦摄像头(或称标准摄像头),后置副摄可以为广角摄像头,或者为长焦(tele)摄像头。在此基础上,logicalcamera可以为中焦摄像头和广角摄像头的组合,也可以为中焦摄像头和长焦摄像头的组合。
在一些实施例中,如图9a中(1)所示,手机响应于拍摄者对大光圈控件408的操作,显示如图9a中(2)所示的界面409。该界面409为手机进入大光圈模式下的界面。示例性的,如图9a中(2)所示,界面409包括用于调节光圈大小的控件410。例如,当手机接收到拍摄者对控件410的操作(例如拍摄者可以滑动控件410中的数字或圆点标识),手机调节界面409中的预览图像的光圈大小。需要说明的是,光圈的大小决定图像中清晰显示部分的多少。在一些实施例中,光圈大小的调整范围为f0.95至f16之间;其中,光圈数值越小,光圈越大,图像中清晰显示的部分越多。其中,图9a中(2)所示的光圈大小为f4。
在一些实施例中,在手机通过拍摄者对控件410的操作,调节完界面409中的预览图像的光圈大小之后,手机还可以再次接收拍摄者对控件410的操作,收回界面409中显示的用于调节光圈大小的控件410。
在另一些实施例中,在手机通过拍摄者对控件410的操作,调节完界面409中的预览图像的光圈大小之后,当手机在预设时长(如5s、1s等)内未检测到拍摄者对控件410的操作时,手机自动收回界面409中显示的用于调节光圈大小的控件410。
之后,若电子设备需要再次调节预览图像的光圈大小,电子设备可重新接收拍摄者对控件408的操作,显示用于调节光圈大小的控件410,并通过用户对控件410的操作,以调节光圈的大小。
需要说明的是,在下述实施例中,均以手机收回界面409中显示的用于调节光圈大小的控件410为例进行示意。这样一来,可以避免控件410,对手机界面409显示预览图像的影响。
在一些实施例中,在手机未进入大光圈模式的情况下,手机显示的第二预览图像均为清晰显示区域。示例性的,如图9b所示,手机显示的第二预览图像中包括“树”和“鸟”;由图9b可以看出,手机显示的第二预览图像中的“树”和“鸟”均为清晰显示的物体。
在另一些实施例中,在手机进入大光圈模式的情况下,手机显示的第二预览图像中包括清晰显示区域和虚化显示区域。其中,清晰显示区域与第二对焦区域相对应。其中,清晰显示区域与第二对焦区域相对应指的是,第二对焦区域中包括的对焦物体为清晰显示的部分。在一些实施例中,第二对焦区域中最清晰的部分称为合焦,即合焦的位置最清晰,离合焦的焦平面越远,虚化程度越高。
示例性的,在第二预览图像中,当第二对焦区域包括的对焦物体在前景部分时,前景清晰显示,背景虚化显示;或者,当第二对焦区域包括的对焦物体在背景部分时,背景清晰显示,前景虚化显示。例如,如图10所示,当第二对焦区域包括的对焦物体为“鸟”,且对焦物体在前景部分,由图10可以看出,位于前景的“鸟”清晰显示,位于背景的“树”为虚化显示。又例如,如图11所示,当第二对焦区域包括的对焦物体为“树”,且对焦物体在背景部分,由图11可以看出,位于背景的“树”清晰显示,位于前景的“鸟”虚化显示。
需要说明的是,图10和图11中以“虚线”表示虚化显示,以“实线”表示清晰显示为例进行示意,并不构成对本申请虚化显示和清晰显示的限定。其中,虚化显示的效果以具体实现为准。
示例性的,手机进入大光圈模式后,前置摄像头采集用户图像;手机对用户图像进行人脸识别处理,生成人脸的ROI。而后,手机根据人脸的ROI进行目光注视检测,生成目光注视的ROI。在此基础上,手机根据目光注视的ROI控制后置主摄和后置副摄进行AF对焦处理,确定出第二对焦区域。
需要说明的是,对于在大光圈模式下,手机根据前置摄像头采集到的用户图像,确定目光注视的ROI的举例说明可以参考图7以及上述实施例所述,此处不再一一列举。
在一些实施例中,如图12所示,后置主摄和后置副摄分别与AF算法模块相连接,AF算法模块与目光注视检测模块相连接。例如,目光注视检测模块将目光注视的ROI输入至AF算法模块中。AF算法模块根据目光注视的ROI,控制后置主摄和后置副摄进行对焦。示例性的,AF算法模块根据拍摄者的视线在显示屏上的位置与第一预览图像对应的区域,确定第二对焦区域;而后,AF算法模块控制后置主摄和后置副摄将第二对焦区域中包括的对焦物体落在后置主摄和后置副摄的焦点位置处,从而实现对焦。
仍如图12所示,后置主摄与第一ISP前端模块相连接,后置副摄与第二ISP前端模块相连接;第二ISP前端模块还与预处理模块相连接。同时,第一ISP前端模块和预处理模块还与景深处理模块相连接。示例性的,后置主摄将第一原始图像帧输入至第一ISP前端模块,第一ISP前端模块用于对第一原始图像帧进行目标处理,将第一原始图像帧转换成目标格式的第一原始图像帧(或称目标第一原始图像帧)。相应的,后置副摄将第二原始图像帧输入至第二ISP前端模块,第二ISP前端模块用于对第二原始图像帧进行目标处理,将第二原始图像帧转换成目标格式的第二原始图像帧(或称目标第二原始图像帧)。
示例性的,第一ISP前端模块和第二ISP前端模块中预设有GTM模块,GTM模块用于对第一原始图像帧和第二原始图像审进行目标处理。
在一些实施例中,后置主摄和后置副摄的视场角(field of view,FOV)差异越小,则手机计算得到的景深就会越准确。基于此,在本申请实施例中,可以对目标第二原始图像帧进行预处理,以使目标第二原始图像帧的视场角与目标第一原始图像帧的视场角相同,从而确保后置主摄输出的图像帧与后置副摄输出的图像帧的效果一致,有利于提高景深计算的精确性。示例性的,第二ISP前端模块将目标第二原始图像帧输入至预处理模块中,预处理模块用于对目标第二原始图像帧进行视场角切换,使目标第二原始图像帧的视场角与目标第一原始图像帧的视场角相同。例如,假设后置主摄输出的目标第一原始图像帧的视场角为85°,后置副摄输出的目标第二原始图像帧的视场角为115°。当后置主摄输出的目标第二原始图像帧经过预处理模块处理之后,目标第二原始图像帧的视场角例如可以为85°,即与目标第一原始图像帧的视场角一致。
在一些实施例中,仍如图12所示,预处理模块将处理后的目标第二原始图像帧输入至景深计算模块;同时第一ISP前端模块将目标第一原始图像帧输入至景深计算模块;景深计算模块根据目标第二原始图像帧和目标第一原始图像帧计算得到景深。
结合上述实施例,如图12所示,第一ISP前端模块将第一原始图像帧转换成目标第一原始图像帧后,第一ISP前端模块会将目光第一原始图像帧分为两路数据输出。其中,一路数据为预览流,预览流用于输出至显示屏,以使显示屏在预览界面显示第二预览图像。另一路数据为视频流,视频流用于生成视频文件,并将视频文件保存在手机中。例如,手机对视频流的数据进行编码处理,以生成视频文件。
示例性的,如图12所示,第一ISP前端模块将目标第一原始图像帧输入至第一防抖模块中,第一防抖模块用于对目标的第一原始图像帧进行EIS处理。第一防抖模块将处理后的目标第一原始图像帧输入至第一ISP后端模块,第一ISP后端模块用于对目标第一原始图像帧进行图像增强,并输出预览流;而后,第一ISP后端模块将预览流输出至显示屏,显示屏根据该预览流显示第二预览图像。
相应的,第一ISP前端模块将目标第一原始图像帧输入至第二防抖模块中,第二防抖模块用于对目标第一原始图像帧进行EIS处理。第二防抖模块将处理后的目标第一原始图像帧输入至第二ISP后端模块,第二ISP后端模块用于对目标第一原始图像帧进行图像增强,并输出视频流。而后,当手机结束录制视频时,手机对第二ISP后端模块输出的视频流进行编码处理,生成视频文件。
需要说明的是,第二防抖模块对目标第一原始图像帧可以进行EIS delay处理,对于EIS delay处理的举例说明可以参考上述实施例,另外,对于第一防抖模块和第二防抖模块的举例说明也可以参考上述实施例,此处均不再做详细赘述。
示例性的,第一ISP后端模块和第二ISP后端模块中预设有WRAP模块;WRAP模块用于对目标第一原始图像帧和目标第二原始图像帧进行图像增强。
在一些实施例中,如图12所示,第一ISP后端模块和第二ISP后端模块中还预设有虚化算法模块,虚化算法模块用于根据景深以及目光注视的ROI对目标第一原始图像帧进行虚化处理。示例性的,虚化算法模块与目光注视检测模块和景深算法模块相连接;目光注视检测模块将目光注视的ROI输入至虚化算法模块中,景深算法模块将计算得到的景深输入至虚化算法模块中。虚化算法模块根据目光注视的ROI以及景深对目标第一原始图像帧进行虚化处理。例如,虚化算法模块将目光注视的ROI对应的第二对焦区域作为主体平面,主体平面清晰显示,主体平面以外的区域虚化显示。在一些实施例中,虚化算法模块还可以根据景深确定主体平面内虚化显示的范围。在一些实施例中,虚化算法模块调整的策略为:主体平面清晰显示,除了主体平面以外的区域,离合焦的焦平面越远,虚化程度越高。
应理解,AF算法模块根据目光注视的ROI进行对焦后,确定出的第二对焦区域位于主体平面内,而第二对焦区域又刚好落在焦点位置处。在此基础上,主体平面以外的区域虚化显示,也可以称为焦外成像(bokeh),即焦点以外虚化成像;或称为虚像、散焦等。
在一些实施例中,第一ISP后端模块和第二ISP后端模块中还预设有变焦模块,变焦模块用于对虚化处理后的目标第一原始图像帧进行变焦处理(scale)。示例性的,手机可以接收拍摄者输入的变焦操作,以调整显示屏上显示的第二预览图像的大小。其中,变焦操作用于指示手机的显示屏显示与目标变焦倍率对应的第二预览图像。在一些实施例中,在手机没有接收到拍摄者输入的变焦操作之前,手机显示的变焦倍率可以为后置主摄的基准变焦倍率(如1×)。
需要说明的是,上述变焦倍率可以为光学变焦倍率或数字变焦倍率。例如,上述变焦倍率可以为1×、3×、4×、4.5×、4.9×或者5×等。其中,“1×”表示变焦倍率为1倍;“3×”表示变焦倍率为3倍;“4×”表示变焦倍率为4倍。另外,本申请实施例中的倍率也可以称为倍数。也就是说,上述变焦倍率也可以称为变焦倍数。
示例性的,手机在大光圈模式下录制视频时,手机显示如图13所示的界面411,该界面411中包括用于调节变焦倍率的变焦控件412。示例性的,界面411当前显示的变焦倍率为4.5×,当手机响应于拍摄者对变焦控件412中的“+”的操作,手机增大当前的变焦倍率,例如增加为5.0×。当手机响应于拍摄者对变焦控件412中的“-”的操作,手机减小当前的变焦倍率,例如减少至4.0×。
示例性的,当手机接收到拍摄者输入的变焦操作后,第一ISP后端模块和第二ISP后端模块中预设的变焦模块根据变焦操作对应的目标变焦倍率放大(或缩小)目标第一原始图像帧,以使得手机最终显示的第二预览图像放大(或缩小)。
在一些实施例中,手机根据目光注视的ROI进行对焦时,确定出的对焦区域可能与拍摄者想要对焦的对焦区域不一致,从而影响拍摄者的体验。基于此,为了提升手机根据拍摄者目光注视的方向进行对焦的准确性和稳定性,手机可以在预览界面(该预览界面可以为手机录制视频之前的界面,也可以为手机录制视频过程中的界面;或者该预览界面还可以为手机在拍照时的界面)中将目光注视的ROI标注出来。即,手机将目光注视的ROI通过用户界面(user interface,UI)的方式反馈给拍摄者,一方面以提示拍摄者当前目光注视的方向(即视线)落在显示屏的位置;另一方面以引导拍摄者将目光注视的方向落在显示屏的目标位置上,即拍摄者想要对焦的对焦区域中。
在一些实施例中,如图14所示,预览界面中显示有第二预览图像和用户图像。其中,第二预览图像为手机根据后置摄像头采集的第一原始图像帧生成的图像;用户图像为手机根据前置摄像头采集的拍摄者生成的图像。示例性的,预览界面中包括掩膜区域(mask);掩膜区域用于显示用户图像。
需要说明的是,掩膜区域指的是手机用选定的图像、图形或物体,对第二预览图像(全部或局部)进行遮挡,来控制第二预览图像处理的区域或处理过程。其中,用于覆盖的特定图像、图形或物体称为掩膜。在图像处理中,掩膜可以为足胶片、滤光片等。在本申请实施例中,特定图像、图形或物体可以为上述实施例中所述的用户图像。
在本申请实施例中,对于掩膜区域的具体形状、位置不作限定,掩膜区域的形状例如可以为正方形、长方形、圆形或者其它规则或不规则形状等。其中,图14以掩膜区域的形状为四边形(可以为长方形,也可以为正方形)为例进行示意。
仍如图14所示,在一些实施例中,手机可以将掩膜区域划分为多个预设ROI;多个预设ROI中的每个预设ROI对应部分第二预览图像;这样一来,多个预设ROI对应的部分第二预览图像合并后构成全部第二预览图像。
需要说明的是,本申请实施例对多个预设ROI的具体数量不作限定,以实际需要为准。图14中以手机将掩膜区域划分为9个预设ROI为例进行示意。
示例性的,如图14所示,当手机检测到拍摄者目光注视的ROI与第二预览图像中的“鸟”的位置对应时,手机根据多个预设ROI与第二预览图像的对应关系,确定出多个预设ROI中的目标预设ROI。应理解,目标预设ROI与第二预览图像中对应的区域,与拍摄者目光注视的ROI在显示屏上的位置与第二预览图像对应的区域相同。在此基础上,手机将目标预设ROI标注出来,即手机在掩膜区域中将拍摄者目光注视的ROI标注出来。例如,图14中以填充框表示目光注视的ROI。当然,在具体实现时,还可以通过边框加粗的方式,或者高亮显示的方式表示目光注视的ROI。
在一些实施例中,根据拍摄者目光注视的ROI,手机标注出的目标预设ROI的区域至少与两个预设ROI的区域相对应。示例性的,图14中拍摄者目光注视的方向在“鸟”,此时,手机根据多个预设ROI与第二预览图像的对应关系,确定出多个预设ROI中的目标预设ROI与两个预设ROI相对应。例如,手机标注出的目标预设ROI覆盖两个预设ROI的部分区域。具体的,手机标注出的目标预设ROI在两个预设ROI的区域中所占的比例可以为8:2。即目标预设ROI在一个预设ROI的区域中所占的比例大约为80%,在另一个预设ROI的区域中所占的比例大约为20%。
又示例性的,如图15所示,当手机检测到拍摄者目光注视的ROI与第二预览图像中的“树”的位置对应时,手机根据多个预设ROI与第二预览图像的对应关系,确定出多个预设ROI中的目标预设ROI。应理解,目标预设ROI与第二预览图像中对应的区域,与目光注视的ROI(即拍摄者的视线在显示屏上的位置与第二预览图像对应的区域)相对应。在此基础上,手机将目标预设ROI标注出来,即手机在掩膜区域中将拍摄者目光注视的ROI标注出来。例如,图15中以填充框表示目光注视的ROI。
例如,当手机检测到目光注视的方向在“树”的位置处时,则手机确定出的对焦物体为树。但是,此时拍摄者想要对焦的对焦物体并不是“树”,在此基础上,拍摄者可以根据预览界面中标注的目光注视的ROI,调整自身目光注视的方向。如,拍摄者可以通过预览界面中标注的目光注视的ROI,以及拍摄者实际想要对焦的对焦物体,相应的移动(如向左、向右、向上或向下)自身目光注视的方向,以使目光注视的方向最终落在拍摄者想要对焦的对焦区域中。
在一些实施例中,如图16所示,预览界面中显示有第二预览图像和掩膜图像。其中,预览图像为手机根据后置摄像头采集的第一原始图像帧生成的图像;掩膜图像为手机将第二预览图像缩小后生成的图像。示例性的,预览界面中包括掩膜区域;该掩膜区域用于显示掩膜图像。
需要说明的是,对于掩膜区域的解释说明,以及对于掩膜区域的具体形状的举例说明可以参考上述实施例,这里不再赘述。
仍如图16所示,在一些实施例中,手机可以将掩膜区域划分为多个预设ROI;多个预设ROI中的每个预设ROI对应部分第二预览图像;这样一来,多个预设ROI对应的部分第二预览图像合并后构成全部第二预览图像。图16以手机将掩膜区域划分为9个预设ROI为例进行示意。
示例性的,如图16所示,当手机检测到拍摄者目光注视的ROI与第二预览图像中的“鸟”的位置对应时,手机根据多个预设ROI与第二预览图像的对应关系,确定出多个预设ROI中的目标预设ROI。应理解,目标预设ROI与第二预览图像中对应的区域,与目光注视的ROI(即拍摄者的视线在显示屏上的位置与第二预览图像对应的区域)相对应。在此基础上,手机将目标预设ROI标注出来,即手机在掩膜区域中将拍摄者目光注视的ROI标注出来。例如,图16中以填充框表示目光注视的ROI。
在一些实施例中,如图17所示,手机将预览界面划分为多个预设ROI(图17以划分为9个预设ROI为例进行示意)。示例性的,当手机检测到拍摄者目光注视的ROI与第二预览图像中的“鸟”的位置对应时,手机根据多个预设ROI与第二预览图像的对应关系,确定出多个预设ROI中的目标预设ROI。应理解,目标预设ROI与第二预览图像中对应的区域,与目光注视的ROI(即拍摄者的视线在显示屏上的位置与第二预览图像对应的区域)相对应。在此基础上,手机将目标预设ROI标注出来,即手机在预览界面中将拍摄者目光注视的ROI标注出来。例如,图17以填充框表示目光注视的ROI。
需要说明的是,图14-图17所示的UI界面仅仅为本申请实施例中的一些举例说明,并不构成对本申请的限定。其它采用本申请实施例中所述的方案将目光注视的ROI标注出来的UI界面也应属于本申请实施例的保护范围。
在一些实施例中,当拍摄者与手机之间的距离大于第一预设值(如拍摄者与手机的距离过远);或者,当拍摄者与手机之间的距离小于第二预设值(如拍摄者与手机的距离过近)时,手机可能无法检测到拍摄者目光注视的方向,或者手机检测的拍摄者目光注视的方向不够准确,从而影响手机对焦的精准度。基于此,在一些实施例中,在拍摄过程中,若手机检测到拍摄者与手机之间的距离过远(或过近),手机可通过提示信息向拍摄者进行提示,以使拍摄者根据提示信息调整与手机之间的距离,从而确保手机通过拍摄者目光注视的方向进行对焦的精准度。
结合图14和图15,如图18所示,示例性的,手机在掩膜区域中划分有预设人脸区域,拍摄者可以通过预设人脸区域调整与手机之间的距离。例如,拍摄者根据预设人脸区域调整与手机之间的距离,使得拍摄者的面部图像刚好落在预设人脸区域内。图18中通过虚线框表示预设人脸区域。
在一些实施例中,结合图14-图17,手机还可以显示文字提示信息,以提示拍摄者调整手机之间的距离;或者,手机还可以播放语音提示信息,以提示拍摄者调整手机之间的距离。在另一些实施例中,手机还可以通过文字+语音的提示方式,以提示拍摄者调整手机之间的距离。
示例性的,如图19所示,手机在预览界面中显示文字提示信息,同时,手机通过扬声器播放语音提示信息。例如,该文字提示信息(或语音提示信息)例如可以为:“请将面部靠近(或远离)手机屏幕”。在图14-图15所示的实施例中,该文字提示信息(或语音提示信息)例如可以为:“请将面部放入虚线框内”。
以图14所示的第二预览图像为例进行示意,示例性的,在手机开始录制视频之前,手机显示如图20中(1)所示的预览界面413,该预览界面413中包括录制控制414。之后,手机响应于拍摄者对录制控件414的操作,手机显示如图20中(2)所示的预览界面415。该预览界面415为手机开始录制视频时的界面。其中,预览界面415还包括暂停按钮416和结束按钮417,示例性的,手机响应于拍摄者对暂停按钮416的操作,手机暂停录制视频;相应的,手机响应于拍摄者对结束录制按钮417的操作,手机结束录制视频,并将录制好的视频文件保存在手机(如相册应用)中。
仍如图20中(2)所示,在手机开始录制视频之后,手机的预览界面415显示第三预览图像。其中,第三预览图像包括第三对焦区域,第三对焦区域包括的对焦物体为清晰显示的部分。具体的,手机根据前置摄像头采集的用户图像,确定出拍摄者目光注视的ROI,并根据拍摄者目光注视的ROI控制后置摄像头进行对焦,以确定出第三对焦区域。示例性的,如图20中(2)所示,当手机确定出的第三对焦区域包括的对焦物体为“鸟”时,此时,手机显示的第三预览图像中,“鸟”为清晰显示的部分,其它区域为虚化显示的部分。
在一些实施例中,手机在录制视频的过程中,手机的预览界面也可以包括掩膜区域。其中,掩膜区域中包括由前置摄像头采集到的用户图像。结合上述实施例可知,掩膜区域被划分为多个预设ROI,如图20中(2)所示,当手机检测到拍摄者目光注视的ROI与第三预览图像中的“鸟”的位置对应时,手机根据多个预设ROI与第三预览图像的对应关系,确定出多个预设ROI中的目标预设ROI,并将目标预设ROI标注出来。应理解,目标预设ROI在第三预览图像中对应的区域,与目光注视的ROI在第三预览图像中对应的区域相同。
这样一来,手机可以根据掩膜区域中标注出来的目标预设ROI向拍摄者提示目光注视的ROI在显示屏上的位置;或者,通过掩膜区域中标注出来的目标预设ROI引导拍摄者将视线落在显示屏的目标位置处。
在一些实施例中,手机还可以通过对焦标识将第三对焦区域标注出来。其中,对焦标识用于向拍摄者提示对焦物体在显示屏上的位置。示例性的,对焦标识例如可以为对焦框。如图20中(1)所示,手机可以通过对焦框将第三对焦区域包括的对焦物体(如“鸟”)标注出来。
在一些实施例中,在手机录制视频的过程中,当手机检测到拍摄者目光注视的方向发生变化时,手机可以根据变后的拍摄者目光注视的方向,重新确定目光注视的ROI,并根据重新确定出的目光注视的ROI控制后置摄像头进行对焦。
示例性的,结合图20中(2),如图21所示,在手机录制视频的过程中,当手机检测到拍摄者目光注视的方向发生变化时,手机的预览界面由预览界面415切换至预览界面418。其中,预览界面418显示第四预览图像,第四预览图像包括第四对焦区域,第四对焦区域包括的对焦物体为清晰显示的部分。具体的,当手机检测到拍摄者目光注视的方向发生变化时,手机根据前置摄像头采集到的用户图像,确定出拍摄者目光注视的ROI,并根据拍摄者目光注视的ROI控制后置摄像头对焦,以确定出第四对焦区域。示例性的,如图21所示,当手机确定出的第四对焦区域包括的对焦物体为“树”时,说明手机检测到拍摄者目光注视的方向由“鸟”切换为“树”。此时,手机显示的第四预览图像中,“树”为清晰显示的部分,其它区域为虚化显示的部分。
在一些实施例中,如图21所示,当手机检测到拍摄者目光注视的ROI与第四预览图像中的“树”的位置对应时,手机根据多个预设ROI与第四预览图像的对应关系,确定出多个预设ROI中的目标预设ROI,并将目标预设ROI标注出来。应理解,目标预设ROI在第四预览图像中对应的区域,与目光注视的ROI在第四预览图像中对应的区域相同。
在一些实施例中,如图21所示,手机可以通过对焦标识(如对焦框)将第四对焦区域包括的对焦物体(如“树”)标注出来。
需要说明的是,在本申请实施例中,在手机开始录制视频之前,手机也可以通过对焦标识(如对焦框)将对焦区域包括的对焦物体标注出来。具体可参考图20-图21以及上述实施例所述,此处不再一一赘述。
考虑到在拍摄过程中,拍摄者目光注视的方向可能会因为一些原因(如讲话,看其它物体等)频繁改变。在此基础上,若手机根据拍摄者目光注视的方向实时进行对焦,并切换对焦区域,则会导致手机拍摄生成的视频文件中的对焦区域频繁切换,进而导致视频文件中清晰显示区域和虚化显示区域频繁切换,影响拍摄效果。基于此,在一些实施例中,当手机根据拍摄者目光注视的方向进行对焦,并确定对焦区域后,手机可以对该对焦区域中包括的对焦物体进行跟踪。示例性的,手机可对对焦区域中的对焦物体(如人脸、人体或显著性主体等)进行识别,对识别成功的对焦物体进行跟踪。当拍摄者目光注视的ROI与被跟踪的对焦物体不一致时,手机可采用如图22所示的步骤(如步骤1-1至步骤1-4)重新进行对焦,并确定新的对焦物体。
步骤1-1、当手机跟踪对焦物体时,手机开始计时。
示例性的,手机可以通过计时器进行计时。
步骤1-2、当被跟踪的对焦物体与目光注视的ROI在第一预设时长内保持一致时,手机开始重新计时。
示例性的,手机中预设的计时器重置,即计时器从零开始重新计时。
在一些实施例中,第一预设时长例如可以为X秒(s)。其中,X例如可以为3秒、5秒或者其它合适的时长,本申请对此不作限定,以具体设置为准。
步骤1-3、当被跟踪的对焦物体与目光注视的ROI不一致时,手机开始计时。
示例性的,结合图14所示,手机通过拍摄者目光注视的方向进行对焦,确定出对焦物体为图14中所示的“树”。而后,手机跟踪该对焦物体(即跟踪“鸟”),同时手机开始计时,当被跟踪的对焦物体(即“鸟”)与目光注视的ROI在预设时长(如3秒)内保持一致时,手机开始重新计时。但是,当手机检测到目光注视的ROI由图14所示的目光注视的ROI切换为图15所示的目光注视的ROI时,手机检测到切换后的目光注视的ROI与被跟踪的对焦物体不一致。例如,切换后的目光注视的ROI对应的对焦物体应该为“树”,而被跟踪的对焦物体应该为“鸟”。在此基础上,手机开始计时。
步骤1-4、当被跟踪的对焦物体与目光注视的ROI在第二预设时长内仍然不一致时,手机将根据切换后的目光注视的ROI,重新确定对焦物体,并重新执行步骤1-1至步骤1-3。
示例性的,第二预设时长例如可以为Y(s)。其中,Y例如可以为3秒、5秒或者其它合适的时长,本申请对此不作限定,以具体设置为准。
示例性的,如图23中(1)所示,假设手机根据拍摄者目光注视的ROI确定出的对焦区域包括的对焦物体为“树”。而后,手机跟踪该对焦物体(如跟踪“树”),并开始计时。当手机检测到目光注视的ROI与被跟踪的对焦物体不一致时,手机开始计时。手机检测到目光注视的ROI与被跟踪的对焦物体在第二预设时长内仍不一致,手机根据目光注视的ROI,重新确定对焦物体。例如,如图23中(2)所示,当手机检测到目光注视的ROI与被跟踪的对焦物体在3秒内仍然不一致时,手机根据目光注视的ROI,重新确定对焦物体,如重新确定的对焦物体为“鸟”。
例如,结合图23中(1)和图23中(2)所示,手机在录制视频的过程中,手机在第3s时检测到目光注视的ROI与被跟踪的对焦物体不一致,但是手机并未重新确定对焦物体并进行切换,而是开始计时。之后,当手机在3s内仍检测到目光注视的ROI与被跟踪的对焦物体不一致时,手机根据目光注视的ROI,重新确定对焦物体。并在第6s时将对焦物体由“树”切换为“鸟”。
在一些实施例中,当手机检测到拍摄者目光注视的方向在手机屏幕之外时,手机保持被跟踪的对焦物体与前一时刻确定出的目光注视的ROI一致。即手机显示的预览图像中,被跟踪的对焦物体清晰显示,未被跟踪的物体虚化显示。
需要说明的是,上述实施例中仅仅以手机根据拍摄者目光注视的方向控制后置摄像头对焦为例进行示意,并不构成对本申请的限定。应理解,手机通过拍摄者目光注视的方向执行其它功能的技术方案也应属于本申请实施例的保护范围。示例性的,手机还可以通过拍摄者目光注视的方向实现变焦功能、或者暂停拍摄/恢复拍摄的功能等。
应理解,本申请实施例中所述的手机拍摄的场景包括拍照场景以及录像场景(或称录制视频的场景)在此基础上,上述实施例中手机根据拍摄者目光注视的方向控制后置摄像头对焦的可以应用于拍照场景,也可以应用于录像场景。其中,录像场景可以为录制视频前(即拍摄者未点击录制控件414)的场景;录像场景还可以为录制视频过程中(即拍摄者点击录制控件414,手机开始录制视频)的场景。
本申请实施例提供一种拍摄方法,可以应用于电子设备中,该电子设备包括后置第一摄像头,后置第二摄像头、前置摄像头和显示屏。图24为本申请实施例提供的一种拍摄方法的流程示意图,如图24所示,该方法包括:S501-S503。
S501、电子设备检测到录像指令后,在显示屏上显示第一预览界面。
其中,第一预览界面包括第一预览图像。
需要说明的是,电子设备检测到录像指令可以是电子设备检测到电子设备进入录像模式的指令。例如,电子设备响应于用户对图5中(2)所示的电影模式403的操作之后,进入录像模式。此时电子设备并未开始录制视频。或者,电子设备检测到录像指令可以是电子设备进入录像模式(如电影模式)之后,电子设备响应于用户对录制控件(如图20中(1)所示的录制控件414)的指令。此时电子设备开始录制视频。
在一些实施例中,在录像指令为进入录像模式,但并未开始录制视频的情况下,第一预览界面例如可以为图6、图9a和图9b所示的界面。在另一些实施例中,在录像指令为进入录像模式,并开始录制视频的情况下,第一预览界面例如可以为图20中(2)所示的界面,图21所示的界面以及图23所示的界面。
S502、电子设备基于前置摄像头采集到的图像,确定第一预览图像上的第一目标感兴趣区域ROI。
其中,第一目标ROI为与拍摄者的视线对应的区域。
需要说明的是,电子设备基于前置摄像头采集到的图像例如可以为上述实施例中所述的用户图像。
S503、电子设备根据第一目标ROI控制后置第一摄像头和后置第二摄像头进行对焦,显示第二预览界面。
其中,第二预览界面包括第二预览图像;第二预览图像包括第一清晰区域和第一虚化区域,第一清晰区域与第一目标ROI对应;第二预览图像是由电子设备对第一图像帧和第二图像帧进行处理生成的;第一图像帧为后置第一摄像头采集到的,第二图像帧为后置第二摄像头采集到的。
需要说明的是,第一清晰区域例如可以为上述实施例所述的第一清晰显示区域,第一虚化区域例如可以为上述实施例所述的第一虚化显示区域。
在一些实施例中,在录像指令为进入录像模式,但并未开始录制视频的情况下,第二预览界面例如可以为图10所示的界面、图14所示的界面、图16-图19所示的界面以及图20中(1)所示的界面。在另一些实施例中,在录像指令为进入录像模式,并开始录制视频的情况下,第二预览界面例如可以为图20中(2)和图23中(1)所示的界面。
需要说明的是,第一图像帧和第二图像帧例如可以为上述实施例中所述的原始图像帧。其中,第一图像帧例如可以为上述实施例所述的第一原始图像帧,第二图像帧例如可以为上述实施例中所述的第二原始图像帧。
S504、当电子设备检测到拍摄者的视线发生变化时,电子设备基于前置摄像头采集到的图像,确定第二预览图像上的第二目标ROI。
其中,第二目标ROI为与拍摄者的视线对应的区域。
需要说明的是,电子设备基于前置摄像头采集到的图像例如可以为上述实施例中所述的用户图像。
S505、电子设备根据第二目标ROI控制后置第一摄像头和后置第二摄像头进行对焦,显示第三预览界面。
其中,第三预览界面包括第三预览图像;第三预览图像包括第二清晰区域和第二虚化区域,第二清晰区域与第二目标ROI对应;第三预览图像是由电子设备对第三图像帧和第四图像帧进行处理生成的;第三图像帧为后置第一摄像头采集到的,第四图像帧为后置第二摄像头采集到的;第二目标ROI用于指示拍摄者的视线落在显示屏上的位置与第二预览图像对应的区域;第一清晰区域不同于第二清晰区域,第一虚化区域不同于第二虚化区域。
在一些实施例中,在录像指令为进入录像模式,但并未开始录制视频的情况下,第三预览界面例如可以为图11、图15所示的界面。在另一些实施例中,在录像指令为进入录像模式,并开始录制视频的情况下,第三预览界面例如可以为图21、图23中(2)所示的界面。
在一些实施例中,电子设备根据第二目标ROI控制后置第一摄像头和后置第二摄像头进行对焦,确定第二对焦区域,并显示第三预览界面。其中,第二对焦区域与第二清晰区域对应,即第二对焦区域中包括的对焦物体清晰显示,其它物体虚化显示。示例性的,结合图11、图15、图21、图23中(2)所示的界面,第二对焦区域为“树”所在区域。
需要说明的是,第三图像帧和第四图像帧例如可以为上述实施例中所述的原始图像帧。
在一些实施例中,在显示屏上显示第一预览界面之后,该方法还包括:电子设备接收用户输入的第一事件,在显示屏上显示第四预览界面。第一事件用于触发电子设备进入大光圈模式。
第四预览界面包括第四预览图像;第四预览图像包括第三清晰区域和第三虚化区域;第四预览图像是由电子设备对第五图像帧和第六图像帧进行处理生成的;第五图像帧为后置第一摄像头采集到的,第六图像帧为后置第二摄像头采集到的;其中,第三清晰区域不同于第一清晰区域,第三虚化区域不同于第一虚化区域。
需要说明的是,第五图像帧和第六图像帧例如可以为上述实施例中所述的原始图像帧。
示例性的,结合图9a中(1)所示,第一事件例如可以为用户对大光圈控件408的操作。
在一些实施例中,在录像指令为进入录像模式,但并未开始录制视频的情况下,第四预览界面例如可以为图11、图15所示的界面。在另一些实施例中,在录像指令为进入录像模式,并开始录制视频的情况下,第四预览界面例如可以为图21、图23中(2)所示的界面。
在一些实施例中,当电子设备进入大光圈模式时,电子设备可以通过自动对焦技术对第四预览界面显示的第四预览图像进行自动对焦处理,使得第四预览图像包括第三清晰区域和第三虚化区域。在另一些实施例中,当电子设备进入大光圈模式时,电子设备可以根据拍摄者目光注视的ROI控制后置第一摄像头和后置第二摄像头进行对焦,使得第四预览图像包括第三清晰区域和第三虚化区域。
在一些实施例中,电子设备根据第一目标ROI控制后置第一摄像头和后置第二摄像头进行对焦,显示第二预览界面,包括:电子设备根据第一目标ROI控制后置第一摄像头和后置第二摄像头进行对焦,确定第二预览界面中的第一对焦区域,并显示第二预览界面;其中,第一对焦区域与第一清晰区域对应。
应理解,第一对焦区域中包括的对焦物体清晰显示,其它物体虚化显示。示例性的,结合图10、图14、图16-图19、图20和图23中(1)所示,第一对焦区域为“鸟”所在的区域。
以下结合说明书附图,对本申请实施例提供的拍摄方法的过程进行描述。
示例性的,首先,电子设备进入录像模式(如上述的电影模式)后,在显示屏上显示如图9b所示的界面;其中,在图9b所示的界面中,电子设备显示的预览图像中包括的“树”和“鸟”均为清晰显示的物体。之后,电子设备接收用户输入的第一事件,进入大光圈模式,并在显示屏上显示如图11所示的界面;其中,图11所示的界面中,电子设备显示的预览图像中对焦区域为“树”所在的区域,即预览图像中包括的“树”为清晰显示的物体。之后,电子设备基于前置摄像头采集到的图像,确定预览图像上的第一目标ROI,并根据第一目标ROI控制后置第一摄像头和后置第二摄像头进行对焦,显示如图20中(1)所示的界面;其中,图20中(1)所示的界面中,电子设备显示的预览图像中对焦区域为“鸟”所在的区域,即预览图像中包括的“鸟”为清晰显示的物体。
进一步的,电子设备响应于用户对图20中(1)所示的录制控件414的操作,显示如图20中(2)所示的界面;其中,图20中(2)所示的界面中,电子设备显示的预览图像中对焦区域为“鸟”所在的区域,即预览图像中包括的“鸟”为清晰显示的物体。之后,当电子设备检测到拍摄者的视线发生变化时,电子设备基于前置摄像头采集到的图像,确定第二目标ROI,并根据第二目标ROI控制后置第一摄像头和后置第二摄像头进行对焦,显示如图21所示的界面;其中,图21所示的界面中,电子设备显示的预览图像中对焦区域为“树”所在的区域,即预览图像中包括的“树”为清晰显示的物体。
最后,电子设备响应于用户对图21所示的结束按钮417的操作,结束录制视频,并生成视频文件。
在一些实施例中,第二预览界面包括第一提示信息;其中,第一提示信息用于提示第一目标ROI在显示屏上的位置;或者,第一提示信息用于引导拍摄者将视线落在显示屏的目标位置。
示例性的,结合图14-图17所示,第一提示信息例如可以为目光注视的ROI所在区域的“填充框”。
在一些实施例中,第二预览界面包括掩膜区域,该掩膜区域划分有多个预设ROI,该多个预设ROI与第二预览图像对应;第一提示信息位于多个预设ROI中的目标预设ROI内,且目标ROI与目标预设ROI相对应。其中,掩膜区域用于显示用户图像;或者掩膜区域用于显示缩小后的第二预览图像。
示例性的,结合图14-图16所示,第二预览界面包括掩膜区域,掩膜区域划分有多个预设ROI(如划分为多个小方框,每个小方框代表一个预设ROI)。其中,第一提示信息指的是多个小方框中被填充的小方框(如“填充框”)。应理解,目标ROI与目标预设ROI相对应指的是:目标ROI在第二预览图像中对应的区域,与目标预设ROI在第二预览图像中对应的区域相同。
例如,结合图14和图15可知,掩膜区域用于显示前置摄像头采集到的图像(即显示用户图像);结合图16可知,掩膜区域用于显示缩小后的第二预览图像。
在一些实施例中,第二预览界面包括多个预设ROI,该多个预设ROI与第二预览图像对应;第一提示信息位于多个预设ROI中的目标预设ROI内,且目标ROI与目标预设ROI相对应。
示例性的,结合图17所示,电子设备将第二预览界面中显示第二预览图像的区域划分为多个预设ROI(如划分为多个小方框,每个小方框代表一个预设ROI)。第一提示信息指的是多个小方框中被填充的小方框(如“填充框”)。
在一些实施例中,在掩膜区域用于显示前置摄像头采集到的图像的情况下,该方法还包括:当电子设备检测到拍摄者与电子设备之间的距离未在预设范围内时,电子设备在掩膜区域中显示预设人脸区域;其中,预设人脸区域用于提示拍摄者调整与电子设备之间的距离。
示例性的,结合图18所示,掩膜区域中包括的虚线框表示预设人脸区域。例如,拍摄者可以通过预设人脸区域调整与电子设备之间的距离。在一些实施例中,当拍摄者的面部图像刚好落在预设人脸区域内时,说明拍摄者与电子设备之间的距离最佳。
在一些实施例中,第二预览界面还包括第二提示信息;第二提示信息用于向拍摄者提示第一对焦区域在显示屏上的位置。
示例性的,结合图20和图21所示,第二提示信息例如可以为对焦标识(或对焦框)。
在一些实施例中,当电子设备检测到拍摄者与电子设备之间的距离未在预设范围内时,电子设备发出文字提示信息;文字提示信息用于提示拍摄者调整与电子设备之间的距离;或者当电子设备检测到拍摄者与电子设备之间的距离未在预设范围内时,电子设备发出语音提示信息;语音提示信息用于提示拍摄者调整与电子设备之间的距离。
示例性的,结合图19所示,电子设备可以通过文字提示信息(或者语音提示信息)提示拍摄者调整与电子设备之间的距离。
在一些实施例中,电子设备识别第一对焦区域内的对焦物体,并跟踪对焦物体;当电子设备检测到被跟踪的对焦物体与第一目标ROI未对应的时长大于预设时长时,电子设备重新确定第一对焦区域。
示例性的,结合图23中(1)所示,电子设备识别到的第一对焦区域内的对焦物体为“树”,电子设备跟踪该对焦物体“树”。当电子设备检测到被跟踪的对焦物体(即“树”)与第一目标ROI未对应的时长大于预设时长(如大于第二预设时长)时,电子设备重新确定第一对焦区域,如重新确定的第一对焦区域包括的对焦物体为图23中(2)所示的“鸟”。
在一些实施例中,电子设备识别第一对焦区域内的对焦物体,并跟踪该对焦物体;当电子设备检测到被跟踪的对焦物体与第一目标ROI未对应,且拍摄者的视线未落在显示屏上时,电子设备保持第一对焦区域。
在一些实施例中,第二预览界面包括结束录制控件,该方法还包括:电子设备响应于拍摄者对结束录制控件的操作,生成视频文件;其中,视频文件包括第一清晰显示区域和第一虚化显示区域;视频文件是由电子设备对第一图像帧和第二图像帧进行处理生成的。
示例性的,如图20中(2)所示,第二预览界面为电子设备在录制视频过程中的预览界面,电子设备响应于拍摄者对结束录制控件417的操作,生成视频文件,并将该视频文件保存在电子设备中,如保存在电子设备的相册应用中。
在一些实施例中,电子设备根据前置摄像头采集到的图像,确定第一预览图像上的第一目标感兴趣区域ROI,包括:电子设备对前置摄像头采集到的图像进行人脸识别处理,确定前置摄像头采集到的图像的人脸信息和人眼信息;人脸信息包括拍摄者脸部轮廓的坐标,人眼信息包括拍摄者的瞳孔间距离,瞳孔大小,瞳孔大小变化,瞳孔亮暗对比度,角膜半径,光斑信息以及虹膜信息中的一种或多种;电子设备将人脸信息和人眼信息输入预设模型中,输出拍摄者的视线落在显示屏上的位置;预设模型为电子设备根据样本人脸信息和样本人眼信息训练得到的;电子设备根据拍摄者的视线与第一预览图像对应的区域,确定第一预览图像上的第一目标ROI。
示例性的,结合上述实施例以及图7可知,电子设备将前置摄像头采集到的图像(如第一图像)输入至人脸识别模块中,由人脸识别模块对前置摄像头采集到的图像进行人脸识别处理,确定前置摄像头采集到的图像的人脸信息和人眼信息;之后,电子设备将人脸信息和人眼信息输入至目光注视检测模块,由目光注视检测模块根据人脸信息和人眼信息,确定第一目标ROI。
应理解,目光注视检测模块中预设有预设模型,电子设备将人脸信息和人眼信息输入至目光注视检测模块之后,由目光注视检测模块根据预设模型对人脸信息和人眼信息进行处理,以得到第一目标ROI。
在一些实施例中,电子设备根据第一目标ROI控制后置第一摄像头和后置第二摄像头进行对焦,确定第一对焦区域,包括:电子设备对第一目标ROI进行自动对焦AF处理,控制后置第一摄像头和后置第二摄像头进行对焦,确定第一对焦区域。
示例性的,结合上述实施例以及图8和图12可知,电子设备将第一目标ROI输入至AF算法模块,电子设备通过AF算法模块控制后置第一摄像头和后置第二摄像头进行对焦,确定第一对焦区域。
在一些实施例中,该方法还包括:电子设备对第二图像帧进行预处理;该预处理用于使第二图像帧和第一图像帧的视场角相同;电子设备根据预处理后的第二图像帧和第一图像帧计算景深;电子设备根据目标ROI和景深,确定第一虚化显示区域。
示例性的,结合上述实施例以及图12可知,电子设备可以通过预处理模块对第二图像帧进行处理,经过预处理模块处理后的第二图像帧和第一图像帧的视场角相同。之后,电子设备通过景深计算模块对处理后的第二图像帧和第一图像帧进行计算景深。在此基础上,电子设备将计算得到的景深和目标ROI输入至虚化算法模块,通过虚化算法模块进行虚化处理,以得到第一虚化显示区域。
在一些实施例中,在电子设备显示第二预览界面之前,该方法还包括:电子设备对第一图像帧和第二图像帧进行图像转换处理;该图像转换处理包括:电子设备将第一图像帧转换成目标格式的第一图像帧,将第二图像帧转换成目标格式的第二图像帧;第一图像帧在传输时的带宽高于目标格式的第一图像帧在传输时的带宽,第二图像帧在传输时的带宽高于目标格式的第二图像帧在传输时的带宽。
示例性的,结合上述实施例以及图12可知,电子设备可以通过第一ISP前端模块对第一图像帧进行图像转换处理,通过第二ISP前端模块对第二图像帧进行图像转换处理。例如,第一ISP前端模块和第二ISP前端模块中预设有GTM算法模块,GTM算法模块用于对第一图像帧和第二图像帧进行图像转换处理,该图像转换处理例如可以为“YUV域”处理。在此基础上,经过图像转换处理得到的目标格式的第一图像帧例如可以为“YUV域”格式的第一图像帧,经过图像转换处理得到的目标格式的第二图像帧例如可以为“YUV域”格式的第二图像帧。
在一些实施例中,该方法还包括:电子设备对目标格式的第一图像帧进行图像仿真变换处理;图像仿真变换处理用于对目标格式的第一图像帧进行图像增强。
示例性的,结合上述实施例以及图12可知,电子设备可以通过第一ISP后端模块对目标格式的第一图像帧进行图像仿真变换处理;相应地,电子设备可以通过第二ISP后端模块对目标格式的第二图像帧进行图像仿真变换处理。例如,第一ISP后端模块和第二ISP后端模块中预设有WRAP模块;WRAP模块用于对目标第一原始图像帧和目标第二原始图像帧进行图像增强。
在一些实施例中,电子设备响应于拍摄者输入的变焦操作,对目标格式的第一图像帧进行变焦处理,生成与目标变焦倍数对应的目标格式的第一图像帧。
示例性的,结合上述实施例以及图12可知,电子设备响应于拍摄者输入的变焦操作,通过第一ISP后端模块对目标格式的第一图像帧进行变焦处理;相应地,电子设备通过第二ISP后端模块对目标格式的第一图像帧进行变焦处理。例如,第一ISP后端模块和第二ISP后端模块中预设有变焦模块,变焦模块用于对目标格式的第一图像帧和目标格式的第二图像帧进行变焦处理。
本申请实施例提供一种电子设备,该电子设备可以包括显示屏、多个摄像头、存储器以及一个或多个处理器;显示屏用于显示多个摄像头采集的图像或者处理器生成的图像;存储器中存储有计算机程序代码,计算机程序代码包括计算机指令,当计算机指令被所述处理器执行时,使得所述电子设备可执行上述实施例中手机执行的各个功能或者步骤。该电子设备的结构可以参考图3所示的电子设备100的结构。
本申请实施例还提供一种芯片系统,如图25所示,该芯片系统1800包括至少一个处理器1801和至少一个接口电路1802。其中,处理器1801可以是上述实施例中图3所示的处理器110。接口电路1802例如可以为处理器110和外部存储器之间的接口电路;或者为处理器110和内部存储器121之间的接口电路。
上述处理器1801和接口电路1802可通过线路互联。例如,接口电路1802可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路1802可用于向其它装置(例如处理器1801)发送信号。示例性的,接口电路1802可读取存储器中存储的指令,并将该指令发送给处理器1801。当所述指令被处理器1801执行时,可使得电子设备执行上述实施例中手机执行的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当所述计算机指令在电子设备上运行时,使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (21)

1.一种拍摄方法,其特征在于,应用于电子设备中,所述电子设备包括后置第一摄像头、后置第二摄像头、前置摄像头和显示屏;所述方法包括:
所述电子设备检测到录像指令后,在所述显示屏上显示第一预览界面;所述第一预览界面包括第一预览图像;
所述电子设备基于所述前置摄像头采集到的图像,确定所述第一预览图像上的第一目标感兴趣区域ROI;所述第一目标ROI为与拍摄者的视线对应的区域;
所述电子设备根据所述第一目标ROI控制所述后置第一摄像头和所述后置第二摄像头进行对焦,显示第二预览界面;所述第二预览界面包括第二预览图像;所述第二预览图像包括第一清晰区域和第一虚化区域,所述第一清晰区域与所述第一目标ROI对应;所述第二预览图像是由所述电子设备对第一图像帧和第二图像帧进行处理生成的;所述第一图像帧为所述后置第一摄像头采集到的,所述第二图像帧为所述后置第二摄像头采集到的。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述电子设备检测到所述拍摄者的视线发生变化时,所述电子设备基于所述前置摄像头采集到的图像,确定所述第二预览图像上的第二目标ROI;所述第二目标ROI为与拍摄者的视线对应的区域;
所述电子设备根据所述第二目标ROI控制所述后置第一摄像头和所述后置第二摄像头进行对焦,显示第三预览界面;所述第三预览界面包括第三预览图像;所述第三预览图像包括第二清晰区域和第二虚化区域,所述第二清晰区域与所述第二目标ROI对应;所述第三预览图像是由所述电子设备对第三图像帧和第四图像帧进行处理生成的;所述第三图像帧为所述后置第一摄像头采集到的,所述第四图像帧为所述后置第二摄像头采集到的;
其中,所述第一清晰区域不同于所述第二清晰区域,所述第一虚化区域不同于所述第二虚化区域。
3.根据权利要求1或2所述的方法,其特征在于,所述在所述显示屏上显示第一预览界面之后,所述方法还包括:
所述电子设备接收用户输入的第一事件,在所述显示屏上显示第四预览界面;所述第一事件用于触发所述电子设备进入大光圈模式;
所述第四预览界面包括第四预览图像;所述第四预览图像包括第三清晰区域和第三虚化区域;所述第四预览图像是由所述电子设备对第五图像帧和第六图像帧进行处理生成的;所述第五图像帧为所述后置第一摄像头采集到的,所述第六图像帧为所述后置第二摄像头采集到的;
其中,所述第三清晰区域不同于所述第一清晰区域,所述第三虚化区域不同于所述第一虚化区域。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述电子设备根据所述第一目标ROI控制所述后置第一摄像头和所述后置第二摄像头进行对焦,显示第二预览界面,包括:
所述电子设备根据所述第一目标ROI控制所述后置第一摄像头和所述后置第二摄像头进行对焦,确定所述第二预览界面中的第一对焦区域,并显示所述第二预览界面;
其中,所述第一对焦区域与所述第一清晰区域对应。
5.根据权利要求1-4任一项所述的方法,其特征在于,
所述第二预览界面包括第一提示信息,所述第一提示信息用于提示所述第一目标ROI在所述显示屏上的位置;或者,所述第一提示信息用于引导拍摄者将视线落在所述显示屏的目标位置。
6.根据权利要求5所述的方法,其特征在于,
所述第二预览界面包括掩膜区域,所述掩膜区域划分有多个预设ROI,所述多个预设ROI与所述第二预览图像对应;所述第一提示信息位于所述多个预设ROI中的目标预设ROI内,且所述目标ROI与所述目标预设ROI相对应;
其中,所述掩膜区域用于显示所述前置摄像头采集到的图像;或者,所述掩膜区域用于显示缩小后的第二预览图像。
7.根据权利要求5所述的方法,其特征在于,
所述第二预览界面包括多个预设ROI,所述多个预设ROI与所述第二预览图像对应;所述第一提示信息位于所述多个预设ROI中的目标预设ROI内,且所述目标ROI与所述目标预设ROI相对应。
8.根据权利要求6所述的方法,其特征在于,在所述掩膜区域用于显示所述前置摄像头采集到的图像的情况下,所述方法还包括:
当所述电子设备检测到所述拍摄者与所述电子设备之间的距离未在预设范围内时,所述电子设备在所述掩膜区域中显示预设人脸区域;所述预设人脸区域用于提示所述拍摄者调整与所述电子设备之间的距离。
9.根据权利要求4-8任一项所述的方法,其特征在于,
所述第二预览界面还包括第二提示信息;所述第二提示信息用于向所述拍摄者提示所述第一对焦区域在所述显示屏上的位置。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述方法还包括:
当所述电子设备检测到所述拍摄者与所述电子设备之间的距离未在预设范围内时,所述电子设备发出文字提示信息;所述文字提示信息用于提示所述拍摄者调整与所述电子设备之间的距离;或者,
当所述电子设备检测到所述拍摄者与所述电子设备之间的距离未在预设范围内时,所述电子设备发出语音提示信息;所述语音提示信息用于提示所述拍摄者调整与所述电子设备之间的距离。
11.根据权利要求4-10任一项所述的方法,其特征在于,所述方法还包括:
所述电子设备识别所述第一对焦区域内的对焦物体,并跟踪所述对焦物体;
当所述电子设备检测到被跟踪的对焦物体与所述第一目标ROI未对应的时长大于预设时长时,所述电子设备重新确定第一对焦区域。
12.根据权利要求4-10任一项所述的方法,其特征在于,所述方法还包括:
所述电子设备识别所述第一对焦区域内的对焦物体,并跟踪所述对焦物体;
当所述电子设备检测到被跟踪的对焦物体与所述第一目标ROI未对应,且拍摄者的视线未落在所述显示屏上时,所述电子设备保持所述第一对焦区域。
13.根据权利要求1-12任一项所述的方法,其特征在于,所述第二预览界面包括结束录制控件;所述方法还包括:
所述电子设备响应于所述拍摄者对所述结束录制控件的操作,生成视频文件;其中,所述视频文件包括所述第一清晰区域和所述第一虚化区域;所述视频文件是由所述电子设备对所述第一图像帧和所述第二图像帧进行处理生成的。
14.根据权利要求1-13任一项所述的方法,其特征在于,所述电子设备根据所述前置摄像头采集到的图像,确定所述第一预览图像上的第一目标感兴趣区域ROI,包括:
所述电子设备对所述前置摄像头采集到的图像进行人脸识别处理,确定所述前置摄像头采集到的图像的人脸信息和人眼信息;所述人脸信息包括所述拍摄者脸部轮廓的坐标,所述人眼信息包括所述拍摄者的瞳孔间距离,瞳孔大小、瞳孔大小变化、瞳孔亮暗对比度、角膜半径、光斑信息以及虹膜信息中的一种或多种;
所述电子设备将所述人脸信息和人眼信息输入预设模型中,输出拍摄者的视线落在所述显示屏上的位置;所述预设模型为所述电子设备根据样本人脸信息和样本人眼信息训练得到的;
所述电子设备根据拍摄者的视线与所述第一预览图像对应的区域,确定所述第一预览图像上的所述第一目标ROI。
15.根据权利要求4-14任一项所述的方法,其特征在于,所述电子设备根据所述第一目标ROI控制所述后置第一摄像头和所述后置第二摄像头进行对焦,确定第一对焦区域,包括:
所述电子设备对所述第一目标ROI进行自动对焦AF处理,控制所述后置第一摄像头和所述后置第二摄像头进行对焦,确定所述第一对焦区域。
16.根据权利要求15所述的方法,其特征在于,所述方法还包括:
所述电子设备对所述第二图像帧进行预处理;所述预处理用于使所述第二图像帧和所述第一图像帧的视场角相同;
所述电子设备根据预处理后的所述第二图像帧和所述第一图像帧计算景深;
所述电子设备根据所述目标ROI和所述景深,确定所述第一虚化区域。
17.根据权利要求1-16任一项所述的方法,其特征在于,在所述电子设备显示第二预览界面之前,所述方法还包括:
所述电子设备对所述第一图像帧和所述第二图像帧进行图像转换处理;
所述图像转换处理包括:
所述电子设备将所述第一图像帧转换成目标格式的第一图像帧,将所述第二图像帧转换成目标格式的第二图像帧;所述第一图像帧在传输时的带宽高于所述目标格式的第一图像帧在传输时的带宽,所述第二图像帧在传输时的带宽高于所述目标格式的第二图像帧在传输时的带宽。
18.根据权利要求17所述的方法,其特征在于,所述方法还包括:
所述电子设备对所述目标格式的第一图像帧进行图像仿真变换处理;所述图像仿真变换处理用于对所述目标格式的第一图像帧进行图像增强。
19.根据权利要求17或18所述的方法,其特征在于,所述方法还包括:
所述电子设备响应于所述拍摄者输入的变焦操作,对所述目标格式的第一图像帧进行变焦处理,生成与目标变焦倍数对应的目标格式的第一图像帧。
20.一种电子设备,其特征在于,包括:后置第一摄像头、后置第二摄像头、前置摄像头、显示屏、存储器以及一个或多个处理器;
所述显示屏用于显示所述后置第一摄像头、所述后置第二摄像头以及所述前置摄像头采集的图像;或者,所述显示屏用于显示所述处理器生成的图像;
所述存储器中存储有计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述处理器执行时,使得所述电子设备执行如权利要求1-19任一项所述的方法。
21.一种计算机可读存储介质,其特征在于,包括计算机指令;当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-19任一项所述的方法。
CN202210666645.3A 2022-06-13 2022-06-13 一种拍摄方法、电子设备及存储介质 Pending CN117278839A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210666645.3A CN117278839A (zh) 2022-06-13 2022-06-13 一种拍摄方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210666645.3A CN117278839A (zh) 2022-06-13 2022-06-13 一种拍摄方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117278839A true CN117278839A (zh) 2023-12-22

Family

ID=89209220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210666645.3A Pending CN117278839A (zh) 2022-06-13 2022-06-13 一种拍摄方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117278839A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117472256A (zh) * 2023-12-26 2024-01-30 荣耀终端有限公司 图像处理方法及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117472256A (zh) * 2023-12-26 2024-01-30 荣耀终端有限公司 图像处理方法及电子设备

Similar Documents

Publication Publication Date Title
US11860511B2 (en) Image pickup device and method of tracking subject thereof
JP5136669B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9927948B2 (en) Image display apparatus and image display method
US9210318B2 (en) Imaging device and imaging method
US8890993B2 (en) Imaging device and AF control method
CN113747050B (zh) 一种拍摄方法及设备
US9300858B2 (en) Control device and storage medium for controlling capture of images
CN113630545B (zh) 一种拍摄方法及设备
CN110636276B (zh) 视频拍摄方法、装置、存储介质及电子设备
WO2022262344A1 (zh) 一种拍摄方法及电子设备
CN111601040B (zh) 摄像头控制方法、装置及电子设备
CN114339102B (zh) 一种录像方法及设备
CN111246093B (zh) 图像处理方法、装置、存储介质及电子设备
JP5370555B2 (ja) 撮像装置、撮像方法及びプログラム
CN117278839A (zh) 一种拍摄方法、电子设备及存储介质
CN110602397A (zh) 图像处理方法、装置、终端及存储介质
CN114390191B (zh) 录像方法、电子设备及存储介质
CN115134532A (zh) 图像处理方法、装置、存储介质及电子设备
CN111212231B (zh) 图像处理方法、装置、存储介质及电子设备
CN114339101A (zh) 一种录像方法及设备
KR20100098122A (ko) 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
RU2789447C1 (ru) Способ и устройство многоканальной видеозаписи
CN115150540B (zh) 拍摄方法、终端设备及计算机可读存储介质
KR101567668B1 (ko) 다중 초점 방식으로 영상을 생성하는 스마트폰 카메라 장치 및 방법
RU2822535C2 (ru) Способ и устройство многоканальной видеозаписи

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination