CN116723382A - 一种拍摄方法及相关设备 - Google Patents
一种拍摄方法及相关设备 Download PDFInfo
- Publication number
- CN116723382A CN116723382A CN202210185836.8A CN202210185836A CN116723382A CN 116723382 A CN116723382 A CN 116723382A CN 202210185836 A CN202210185836 A CN 202210185836A CN 116723382 A CN116723382 A CN 116723382A
- Authority
- CN
- China
- Prior art keywords
- state
- electronic device
- camera
- electronic equipment
- application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 72
- 230000004044 response Effects 0.000 claims abstract description 28
- 238000012544 monitoring process Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 6
- 208000033748 Device issues Diseases 0.000 claims description 5
- 230000008859 change Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 25
- 238000012545 processing Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 238000007726 management method Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 7
- 238000010295 mobile communication Methods 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
Abstract
本申请提供了一种拍摄方法及相关设备。电子设备可以检测到作用在相机应用的快门控件上的用户操作,响应于该用户操作,相机应用可以生成3A触发指令,并将该3A触发指令下发至相机HAL模块。相机HAL模块可以提供接口来实现3A算法。在3A算法执行的过程中,3A状态可能发生变化。在3A状态处于理想参数状态时,电子设备中的相机HAL模块可以将该状态上报至相机应用,然后由相机应用下发拍照指令,从而获取图像,并保存该图像。通过该方法,电子设备中的相机HAL模块无需等待3A状态变为参数锁定状态再上报当前3A状态。这种方式减少了快门延迟,使得电子设备的拍摄响应时间得以降低,响应速度变快,提升了用户的拍摄体验。
Description
技术领域
本申请涉及终端技术领域,尤其涉及一种拍摄方法及相关设备。
背景技术
快门延迟(即shutterlag)又称快门时滞,指的是快门按下后到照片拍摄完成的时间。在通过电子设备进行拍摄的过程中,快门延迟可以反映快门按下后到拍摄完成的这段时间内电子设备的处理速度。而快门延迟过长时,终端的响应速度较慢,会影响用户的拍摄体验。
因此,如何降低快门延迟是目前亟待解决的问题。
发明内容
本申请提供了一种拍摄方法及相关设备。根据该拍摄方法,在3A状态为理想参数状态,并且电子设备处于稳定状态的情况下,电子设备可以基于理想拍摄参数获取图像帧。其中,理想拍摄参数为电子设备在3A算法已收敛的情况下获取的拍摄参数。通过这种方式,电子设备无需等到3A状态由理想参数状态变为参数锁定状态之后,再基于理想拍摄参数获取图像帧。也就是说,电子设备可以更快地获取拍照图像。这种拍摄方式缩短了快门延迟,提升了电子设备的响应速度,同时,也提升了用户的拍照体验。
第一方面,本申请提供一种拍摄方法。该方法包括:电子设备显示第一界面;所述第一界面包括快门控件;所述第一界面为相机应用的拍照界面;响应于作用在所述快门控件上的第一操作,所述电子设备执行3A算法来调整拍摄参数,并对3A状态进行更新;所述3A状态用于表示所述3A算法的执行情况;若所述3A状态为理想参数状态,并且所述电子设备处于稳定状态,所述电子设备基于理想拍摄参数获取图像帧;所述理想参数状态表明3A算法已收敛;所述理想拍摄参数为所述电子设备在所述3A算法收敛时获取的拍摄参数。
在本申请提供的方案中,电子设备无需等到3A状态由理想参数状态变为参数锁定状态之后,再基于理想拍摄参数获取图像帧,而是在3A状态为理想参数状态,并且电子设备处于稳定状态的情况下,就可以基于理想拍摄参数获取图像帧。其中,理想拍摄参数为电子设备在3A算法已收敛的情况下获取的拍摄参数。这也就意味着,电子设备可以更快地获取拍照图像。上述拍摄方式缩短了快门延迟,提升了电子设备的响应速度,同时,也提升了用户的拍照体验。
在本申请的一些实施例中,第一操作可以为点击、声控、手势等操作,本申请对此不作限制。
在本申请的一些实施例中,图像帧可以为后述实施例中的第一图像。
结合第一方面,在第一方面的一种可能的实现方式中,在所述电子设备基于理想拍摄参数获取图像帧之前,所述方法还可以包括:所述电子设备基于陀螺仪传感器获取的状态监测数据判断所述电子设备是否处于所述稳定状态;所述状态监测数据包括所述电子设备围绕x轴、y轴和z轴的角速度和/或抖动角度。
在本申请提供的方案中,电子设备可以通过陀螺仪传感器获取的状态监测数据来判断电子设备的运动状态。具体地,电子设备中的相机HAL模块可以持续接收陀螺仪传感器传来的状态监测数据,并根据该状态监测数据判断电子设备是否处于稳定状态。在这种情况下,电子设备可以实时获取本设备的运动状态,无需等到处于3A状态变成理想参数状态后再根据获取的图像来判断电子设备是否处于稳定状态。通过这种方式,电子设备可以更快地响应拍照,提升了用户的拍摄体验。
在本申请的一些实施例中,状态监测数据包括所述电子设备围绕x轴、y轴和z轴的角速度和/或抖动角度。在这种情况下,电子设备可以通过比较该角速度与预设角速度之间的关系,和/或比较该抖动角度与预设角度之间的关系,来判断电子设备是否处于稳定状态。
示例性的,若电子设备围绕x轴、y轴和z轴的角速度分别都小于围绕x轴、y轴和z轴的预设角速度,则电子设备处于稳定状态。
示例性的,若电子设备的抖动角度小于预设抖动角度,则电子设备处于稳定状态。
示例性的,若电子设备围绕x轴、y轴和z轴的角速度和抖动角度都满足上述条件,则电子设备处于稳定状态。
结合第一方面,在第一方面的一种可能的实现方式中,所述电子设备基于陀螺仪传感器获取的状态监测数据判断所述电子设备是否处于所述稳定状态之后,所述方法还包括:若所述电子设备未处于所述稳定状态,所述电子设备接收所述陀螺仪传感器获取的新的状态监测数据,并根据所述新的状态监测数据重新判断所述电子设备是否处于稳定状态。
在本申请提供的方案中,电子设备可以根据陀螺仪传感器获取的状态监测数据持续判断电子设备的运动状态。可理解,若电子设备未处于稳定状态,电子设备再根据新的状态监测数据进行判断,直到电子设备处于稳定状态。通过这种方式,电子设备无需通过相机HAL模块下发拍摄数据来获取图像,也无需根据该图像来判断电子设备是否处于稳定状态,而是只需根据接收的状态监测数据判断即可,节省了时间(无需下发拍摄数据,也无需上传摄像头采集的图像),提升了电子设备的响应拍照的速度。
结合第一方面,在第一方面的一种可能的实现方式中,所述电子设备基于理想拍摄参数获取图像帧之前,所述方法还包括:所述电子设备获取N帧图像;若所述N帧图像中的M帧图像为3A稳定图像,则所述电子设备处于所述稳定状态;所述M与所述N的比值大于第一阈值;所述3A稳定图像为所述电子设备在置信度大于第二阈值时获取的图像;所述置信度用于衡量3A状态的稳定性;所述置信度越大,所述3A状态越稳定;所述M和所述N均为正整数。
在本申请提供的方案中,在3A状态为理想参数状态的情况下,电子设备可以根据获取的图像中的3A稳定图像的占比来判断3A状态的稳定性,从而判断电子设备是否处于稳定状态。可理解,3A状态由理想参数状态变为参数锁定状态的过程中,电子设备需要不断获取图像(这里指的是预览图像),直到获取的图像满足某个阈值后,3A状态才能由理想参数状态变为参数锁定状态。而这个过程会耗费不少时间。通过上述方式,电子设备无需等到3A状态变为参数锁定状态就可以获取拍照的图像帧,节省了时间,使得用户可以更快地得到拍照图像。
在本申请的一些实施例中,M与N的比值大于第一阈值,则电子设备处于稳定状态。
在本申请的一些实施例中,M的数量大于第一阈值,则电子设备处于稳定状态。
结合第一方面,在第一方面的一种可能的实现方式中,所述电子设备获取N帧图像之后,所述方法还包括:若所述N帧图像中不存在M帧图像为所述3A稳定图像,所述电子设备继续获取L帧图像,并根据所述L帧图像中所包括的所述3A稳定图像的帧数,来判断所述电子设备是否处于所述稳定状态。
在本申请提供的方案中,若电子设备根据N帧图像确定电子设备未处于稳定状态,可以继续获取L帧图像,并在该L帧图像所包括的3A稳定图像达到一定数目(或占比达到某个值)之后,确定电子设备处于稳定状态。通过这种方式,电子设备无需等到3A状态变为参数锁定状态就可以获取拍照的图像帧,节省了时间,使得用户可以更快地得到拍照图像。
结合第一方面,在第一方面的一种可能的实现方式中,所述响应于作用在所述快门控件上的第一操作之后,所述方法还包括:所述电子设备通过所述相机应用向硬件抽象HAL层下发3A触发指令;所述3A触发指令用于触发所述电子设备执行所述3A算法。
结合第一方面,在第一方面的一种可能的实现方式中,所述若所述3A状态为理想参数状态,并且所述电子设备处于稳定状态,所述电子设备基于理想拍摄参数获取图像帧,包括:若所述3A状态为所述理想参数状态,并且所述电子设备处于所述稳定状态,所述电子设备通过相机HAL模块向所述相机应用发送当前的3A状态;在所述相机应用确定所述当前的3A状态为所述理想参数状态的情况下,所述电子设备通过所述相机应用向所述相机HAL模块下发拍照请求;基于所述拍照请求,所述电子设备通过所述相机HAL模块下发所述理想拍摄参数至摄像头,并通过所述摄像头根据所述理想拍摄参数来采集所述图像帧。
结合第一方面,在第一方面的一种可能的实现方式中,所述电子设备基于理想拍摄参数获取图像帧之后,所述方法还包括:所述电子设备显示第二界面;所述第二界面包括图库快捷控件;所述图库快捷控件显示所述图像帧的缩略图。
在本申请提供的方案中,电子设备可以将获取的本次拍照图像保存至图库应用程序中。在这种情况下,拍照界面所包括的图库快捷控件可以显示该本次拍照图像的缩略图。
第二方面,本申请提供了一种电子设备。该电子设备可以包括显示屏、存储器、一个或多个处理器。其中,存储器可以存储计算机程序,而处理器可以调用所述计算机程序。具体的,显示器可以用于:显示第一界面;所述第一界面包括快门控件;所述第一界面为相机应用的拍照界面;处理器可以用于:响应于作用在所述快门控件上的第一操作,执行3A算法来调整拍摄参数,并对3A状态进行更新;所述3A状态用于表示所述3A算法的执行情况;若所述3A状态为理想参数状态,并且所述电子设备处于稳定状态,基于理想拍摄参数获取图像帧;所述理想参数状态表明3A算法已收敛;所述理想拍摄参数为所述电子设备在所述3A算法收敛时获取的拍摄参数。
结合第二方面,在第二方面的一种可能的实现方式中,所述处理器,在用于基于理想拍摄参数获取图像帧之前,还用于:基于陀螺仪传感器获取的状态监测数据判断所述电子设备是否处于所述稳定状态;所述状态监测数据包括所述电子设备围绕x轴、y轴和z轴的角速度和/或抖动角度。
结合第二方面,在第二方面的一种可能的实现方式中,所述处理器,在用于基于陀螺仪传感器获取的状态监测数据判断所述电子设备是否处于所述稳定状态之后,还用于:若所述电子设备未处于所述稳定状态,接收所述陀螺仪传感器获取的新的状态监测数据,并根据所述新的状态监测数据重新判断所述电子设备是否处于稳定状态。
结合第二方面,在第二方面的一种可能的实现方式中,所述处理器,在用于基于理想拍摄参数获取图像帧之前,还用于:获取N帧图像;若所述N帧图像中的M帧图像为3A稳定图像,则所述电子设备处于所述稳定状态;所述M与所述N的比值大于第一阈值;所述3A稳定图像为所述电子设备在置信度大于第二阈值时获取的图像;所述置信度用于衡量3A状态的稳定性;所述置信度越大,所述3A状态越稳定;所述M和所述N均为正整数。
结合第二方面,在第二方面的一种可能的实现方式中,所述处理器,在用于获取N帧图像之后,还用于:若所述N帧图像中不存在M帧图像为所述3A稳定图像,继续获取L帧图像,并根据所述L帧图像中所包括的所述3A稳定图像的帧数,来判断电子设备是否处于所述稳定状态。
结合第二方面,在第二方面的一种可能的实现方式中,所述处理器,在用于响应于作用在所述快门控件上的第一操作之后,还用于:通过所述相机应用向硬件抽象HAL层下发3A触发指令;所述3A触发指令用于触发所述电子设备执行所述3A算法。
结合第二方面,在第二方面的一种可能的实现方式中,所述处理器,在用于若所述3A状态为理想参数状态,并且所述电子设备处于稳定状态,基于理想拍摄参数获取图像帧时,具体用于:若所述3A状态为所述理想参数状态,并且所述电子设备处于所述稳定状态,通过相机HAL模块向所述相机应用发送当前的3A状态;在所述相机应用确定所述当前的3A状态为所述理想参数状态的情况下,通过所述相机应用向所述相机HAL模块下发拍照请求;基于所述拍照请求,通过所述相机HAL模块下发所述理想拍摄参数至摄像头。所述电子设备还可以设置有摄像头。所述摄像头,用于根据所述理想拍摄参数来采集所述图像帧。
结合第二方面,在第二方面的一种可能的实现方式中,在所述处理器用于基于理想拍摄参数获取图像帧之后,所述显示屏可以用于显示第二界面;所述第二界面包括图库快捷控件;所述图库快捷控件显示所述图像帧的缩略图。
第三方面,本申请提供一种计算机存储介质,包括指令,当该指令在电子设备上运行时,使得该电子设备执行上述第一方面中任一种可能的实现方式。
第四方面,本申请实施例提供一种芯片,该芯片应用于电子设备,该芯片包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行上述第一方面中任一种可能的实现方式。
第五方面,本申请实施例提供一种包含指令的计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行上述第一方面任一种可能的实现方式。
可以理解地,上述第二方面提供的电子设备、第三方面提供的计算机存储介质、第四方面提供的芯片,以及第五方面提供的计算机程序产品均用于执行上述第一方面中任一种可能的实现方式。因此,其所能达到的有益效果可参考上述第一方面中任一种可能的实现方式的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种快门延迟的示意图;
图2A-图2C为本申请实施例提供的一组用户界面;
图3为本申请实施例提供的一种拍摄方法的流程图;
图4为本申请实施例提供的一种电子设备的硬件结构示意图;
图5为本申请实施例提供的一种电子设备的软件结构示意图;
图6为本申请实施例提供的又一种快门延迟的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
应当理解,本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
随着科技的进步与发展,手机等电子设备可以实现的功能越来越强大。大部分电子设备可以通过3A算法来实现自动对焦、自动调节曝光参数,以及自动进行白平衡调节,从而实现图像对比度最大、改善主体拍摄物过曝光或曝光不足情况、使画面在不同光线照射下的色差得到补偿,进而呈现较高画质的图像信息。
可理解,电子设备可以为智能手机、智能电视、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、人工智能(artificial intelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备等。本申请实施例对该电子设备的具体类型不作特殊限制。
可理解,3A指的是自动对焦(autofocus,AF)、自动曝光(auto exposure,AE)和自动白平衡(autowhitebalance,AWB)。自动对焦即调节摄像头焦距自动得到清晰的图像的过程。自动曝光即自动调节曝光参数,使得感光器件获得合适的曝光量的过程。自动白平衡即自动调节白平衡增益,使得拍摄画面的颜色接近物体真实的颜色的过程。
需要说明的是,3A算法实际上是在电子设备的硬件抽象层实现的。电子设备通过相机应用进行拍摄时,位于应用层的相机应用需要与硬件抽象层(hardware abstractionlayer,HAL)进行交互,从而实现3A算法。也就是说,在拍摄过程中,电子设备不止需要花费时间执行3A算法,还需要花费时间完成相机应用与硬件抽象层的交互。
如图1所示,电子设备包括相机应用。相机应用的拍摄界面包括快门控件。电子设备可以检测到作用于快门控件上的用户操作。响应于该用户操作,相机应用可以生成3A触发指令。该3A触发指令用于触发3A算法。相机应用可以将该3A触发指令下发至HAL层。该3A触发指令下发至HAL层之后,进入缓冲器(即buffer)中暂时存放,并等待处理。相机HAL模块按照顺序处理指令,处理3A触发指令时,可以确定该指令中包括用于指示开启3A算法的信息(例如,TRIGGER_START条目),并提供接口来实现3A算法。此时,3A状态为参数调整状态。可理解,3A状态为参数调整状态时,电子设备不断调整拍摄参数,以获取理想参数,直到3A算法收敛。一旦3A算法收敛,电子设备将3A状态调整为理想参数状态。电子设备可以在处于理想参数状态时获取多帧图像。在3A状态保持稳定后,3A状态由理想参数状态调整为参数锁定状态。此时,相机HAL模块可以将当前3A状态(即参数锁定状态)上报给相机应用。相机应用获取当前3A状态之后,可以下发拍照请求。相机HAL模块接收相机应用下发的拍照请求,可以选帧及出帧。出帧完毕之后,电子设备可以生成3A取消指令,并将该3A取消指令下发至HAL层。该3A取消指令用于停止执行3A算法。该3A取消指令下发至HAL层之后,进入buffer中暂时存放,并等待处理。相机HAL模块处理该3A取消指令时,确定该指令中包括停止执行3A算法的信息(例如,TRIGGER_CANCEL条目),从而重置拍摄参数。即将调整后的拍摄参数恢复成默认值。
可理解,本申请所提及的拍摄参数包括对焦参数、曝光参数和白平衡参数。电子设备可以根据对焦参数来判断电子设备是否处于良好对焦状态。对焦参数可以包括焦距。曝光参数可以包括光圈大小、快门速度、感光度参数。白平衡参数可以包括RGB值。
可理解,上述过程中,快门延迟包含通路时延、3A算法执行时间和数据上报时延。其中,通路时延为3A触发指令到达HAL层后等待处理的时间,即图1所示的时延1。3A算法执行时间为将拍摄参数调整至理想参数所需的时间。数据上报时延为处于理想参数状态的时间,即图1所示的时延2。这也就意味着,电子设备的拍摄响应时间较长,响应速度较慢,影响了用户的拍摄体验。
为了降低快门延迟,本申请提供了一种拍摄方法及相关设备。根据该拍摄方法,电子设备可以检测到作用在相机应用的快门控件上的用户操作,响应于该用户操作,相机应用可以生成3A触发指令,并将该3A触发指令下发至相机HAL模块。相机HAL模块可以提供接口来实现3A算法。在3A算法执行的过程中,3A状态可能发生变化。在3A状态处于理想参数状态时,电子设备中的相机HAL模块可以直接将该状态上报至相机应用,然后由电子设备中的相机应用下发拍照指令,再通过相机HAL模块进行选帧,最后通过显示器显示所获取的图像。这种方式减少了快门延迟,使得电子设备的拍摄响应时间得以降低,响应速度变快,提升了用户的拍摄体验。
下面结合图2A-图2C介绍本申请实施例提供的一种拍摄场景。
可理解,本申请的说明书和权利要求书及附图中的术语“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic userinterface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
图2A示例性示出了电子设备的一种用户界面210。
用户界面210显示了一个放置有应用图标的页面,该页面可包括多个应用图标(例如,天气应用图标、日历应用图标、相册应用图标、便签应用图标、电子邮件应用图标、应用商店应用图标、设置应用图标等等)。上述多个应用图标下方还可显示有页面指示符,以表明当前显示的页面与其他页面的位置关系。页面指示符的下方有多个应用图标(例如,相机应用图标211、浏览器应用图标、信息应用图标、拨号应用图标)。应用图标在页面切换时保持显示。
可理解,相机应用图标211为相机应用程序的图标。相机应用图标21可以用于触发启动相机应用,即相机应用程序。相机应用程序是智能手机、平板电脑等电子设备上的一款图像拍摄的应用程序,本申请对该应用程序的名称不做限制。
电子设备可以检测到作用于相机应用图标211上的用户操作。响应于该用户操作,电子设备可以显示图2B所示的用户界面220。
用户界面220可包括:设置区域221、预览区域222、相机模式选项223、图库快捷控件224、快门控件225、摄像头翻转控件226。其中:
设置区域221可以包括设置控件和闪光灯控件。其中,设置控件可用于调整拍摄照片的参数(如分辨率、滤镜等)以及开启或关闭一些用于拍照的方式(如定时拍照、微笑抓拍、声控拍照等)等。可理解,设置控件还可以用于设置更多其他拍摄的功能,本申请实施例对此不作限定。闪光灯控件可用于开启或者关闭闪光灯。
预览区域222可用于显示摄像头实时采集的图像。电子设备可以实时刷新其中的显示内容,以便于用户预览摄像头当前的采集的图像。
相机模式选项223中可以显示有一个或多个拍摄模式选项。这一个或多个拍摄模式选项可以包括:夜景模式选项、人像模式选项、拍照模式选项、录像模式选项和更多选项。这一个或多个拍摄模式选项在界面上可以表现为文字信息,例如“夜景”、“人像”、“拍照”、“录像”、“更多”。不限于此,这一个或多个摄像选项在界面上还可以表现为图标或者其他形式的交互元素(interactive element,IE)。当检测到作用于拍摄模式选项上的用户操作,电子设备可以开启用户选择的拍摄模式。特别的,当检测到作用于更多选项的用户操作,电子设备可以进一步显示更多的其他拍摄模式选项,如慢动作拍摄模式选项等等,可以向用户展示更丰富的摄像功能。不限于图2B所示,相机模式选项中可以不显示更多选项,用户可以通过在相机模式选项中向左/右滑动来浏览其他拍摄模式选项。
图库快捷控件224可用于开启图库应用程序。响应于作用在图库快捷控件224上的用户操作,例如点击操作,电子设备可以开启图库应用程序。这样,用户可以便捷地查看拍摄的照片和视频,而无需先退出相机应用程序,再开启图库应用程序。图库应用程序是智能手机、平板电脑等电子设备上的一款图片管理的应用程序,又可以称为“相册”,本实施例对该应用程序的名称不做限制。图库应用程序可以支持用户对存储于电子设备上的图片进行各种操作,例如浏览、编辑、删除、选择等操作。
快门控件225可用于监听触发拍照的用户操作。电子设备可以检测到作用于快门控件225的用户操作,响应于该操作,电子设备可以通过摄像头获取图像,并将其保存为图库应用程序中的图片。另外,电子设备还可以在图库快捷控件224中显示所保存的图像的缩略图。也就是说,用户可以点击快门控件225来触发拍照。可理解,快门控件225可以是按钮或者其他形式的控件。
摄像头翻转控件226可用于监听触发翻转摄像头的用户操作。电子设备可以检测到作用于摄像头翻转控件226的用户操作,例如点击操作,响应于该操作,电子设备可以翻转摄像头,例如将后置摄像头切换为前置摄像头。此时,预览区域222中可以显示前置摄像头采集的图像。
电子设备可以检测到作用于快门控件225上的用户操作。响应于该用户操作,相机应用可以生成3A触发指令,并将该3A触发指令下发到HAL层,HAL层的相关模块可以对该3A触发指令进行处理,且提供接口以供电子设备的相关处理单元执行3A算法。在3A算法的执行过程中,电子设备的HAL层的相关模块可以更新3A状态。在3A状态为理想参数状态的情况下,电子设备的HAL层的相关模块可以将当前3A状态上报给相机应用。相机应用确定当前3A状态为理想参数状态后,可以下发拍照请求。电子设备可以通过摄像头获取图像,并将该图像保存至图库应用程序中。电子设备可以显示图2C所示的用户界面230。
用户界面230所包括的控件与用户界面220所包括的控件基本相同。不同的是,用户界面230中的预览区域231所显示的预览图像发生变化,且图库快捷控件232显示的图像发生变化。可理解,图库快捷控件232显示的图像为上述电子设备通过摄像头获取并保存在图库应用程序中的图像。
需要说明的是,图2A-图2C所示的用户界面仅为本申请提供的示例,不应视为对本申请的限制。也就是说,图2A-图2C所示的用户界面可以显示更多或更少的内容,本申请对此不作限定。
下面结合图3介绍本申请实施例提供的一种拍摄方法。
S301:电子设备显示第一界面。第一界面为相机应用的拍照界面。第一界面包括快门控件。
具体地,用户可以点击相机应用图标,响应于该点击操作,电子设备可以启动相机应用(即相机应用程序),并显示第一界面。可理解,第一界面为相机应用的拍照界面。第一界面包括快门控件。用户可以通过触发快门控件来实现拍照。
可理解,第一界面可以为图2B所示的用户界面220。
S302:电子设备检测到作用在快门控件上的用户操作,响应于该用户操作,相机应用生成3A触发指令。其中,3A触发指令用于触发电子设备执行3A算法。
具体地,用户可以点击快门控件。电子设备可以检测到作用在快门控件上的点击操作,响应于该点击操作,电子设备中的相机应用可以生成3A触发指令。
可理解,用户还可以通过声音、手势等触发快门控件,本申请对此不作限制。即本申请对用户操作的具体形式不作限制。
需要说明的是,3A触发指令用于触发电子设备执行3A算法。3A触发指令可以包括触发3A算法的指示信息。在本申请的一些实施例中,3A触发指令可以包括触发AF算法的启动指示信息。例如,3A触发指令可以包括ANDROID_CONTROL_AF_TRIGGER_START。ANDROID_CONTROL_AF_TRIGGER_START用于触发自动对焦扫描。
在本申请的一些实施例中,3A触发指令还可以包括3A模式。3A模式可以包括OFF模式(即关闭模式)、AUTO模式(即自动模式)等。在OFF模式下,单个的自动对焦(AF)、自动曝光(AE)和自动白平衡(AWB)模式都会有效地关闭,且任何拍摄控件都不会被3A例程覆盖。在AUTO模式下,AF、AE和AWB模式都会运行各自的独立算法,且具有自己的模式、状态和触发元数据条目。例如,3A触发指令可以包括AF_MODE_AUTO。
可理解,关于3A模式、3A状态、元数据条目的相关描述可参考相关技术文档,在此不展开说明。
S303:电子设备中的相机应用将3A触发指令下发至HAL层。
可理解,电子设备中的相机应用生成3A触发指令后,相机应用可以将该3A触发指令下发至电子设备的HAL层,以便HAL层的相关模块对其进行处理。
在本申请的一些实施例中,电子设备中的位于HAL层的相机HAL模块可以对3A触发指令进行处理。
需要说明的是,相机HAL模块按照顺序来处理请求。因此,3A触发指令传输至HAL层之后,需要进入缓冲器,排队等待相机HAL模块进行处理。
S304:电子设备中的相机HAL模块确定3A触发指令包括触发3A算法的指示信息,并提供接口来执行3A算法。
可理解,电子设备中的相机HAL模块可以按顺序处理下发至HAL层的相关请求。在处理3A触发指令的过程中,相机HAL模块可以确定该3A触发指令包括触发3A算法的指示信息,并提供相应接口来执行3A算法。
可理解,相机HAL模块可以将相机框架中的上层软件连接到底层的相机驱动程序和硬件。在本申请的一些实施例中,相机子系统可以包括相机管道组件中的实现,例如3A算法处理控件。而相机HAL模块提供了用于实现这些组件的接口。在本申请的而一些实施例中,相机HAL模块可以提供接口,以支持应用框架触发3A算法,进而调用内核层驱动,从而使得图像信号处理器(image signal processor,ISP)可以调度3A算法库,并执行3A算法,从而实现对拍摄参数的调整。
根据上文,3A算法包括AF算法、AE算法和AWB算法。本申请中所提及的拍摄参数包括对焦参数、曝光参数和白平衡参数。
S305:电子设备将3A状态更新为参数调整状态。其中,3A状态用于表示3A算法的执行情况。
可理解,电子设备中的相机HAL模块在确定3A触发指令包括触发3A算法的指示信息之后,可以提供接口以供处理单元(例如,ISP)执行3A算法,并将3A状态更新为参数调整状态。具体地,电子设备在确定3A触发指令包括触发3A算法的指示信息之后,可以提供接口来让ISP执行3A算法。ISP执行3A算法之前,拍摄参数为初始值。一旦ISP开始执行3A算法,3A状态变为参数调整状态。
可理解,参数调整状态表明3A算法处于运行状态,还未收敛。也就是说,3A状态为参数调整状态时,电子设备可以不断调节拍摄参数。
在本申请的一些实施例中,3A状态为参数调整状态时,自动对焦设置的元数据条目为AF_STATE_PASSIVE_SCAN,自动曝光设置的元数据条目为AE_STATE_SEARCHING,自动白平衡设置的元数据条目为AWB_STATE_SEARCHING。
S306:在3A算法处于收敛状态时,电子设备将3A状态更新为理想参数状态。
可理解,一旦3A算法收敛,电子设备中的相机HAL模块可以将3A状态由参数调整状态更新为理想参数状态。理想参数状态表明3A算法已收敛。也就是说,3A状态为理想参数状态时,电子设备已确定最佳的拍摄参数,即理想拍摄参数。
在本申请的一些实施例中,3A状态为理想参数状态时,自动对焦设置的元数据条目为_STATE_PASSIVE_FOCUSED,自动曝光设置的元数据条目为AE_STATE_CONVERGED,自动白平衡设置的元数据条目为AWB_STATE_CONVERGED。
S307:在3A状态为理想参数状态的情况下,电子设备中的相机HAL模块将当前3A状态上报给相机应用。
可理解,在3A状态为理想参数状态的情况下,电子设备中的相机HAL模块可以将当前3A状态上报给相机应用,以通知相机应用3A算法已经收敛,且拍摄参数已达到最佳。
在本申请的一些实施例中,3A状态为理想参数状态时,电子设备通过摄像头连续获取图像。若在理想参数状态下,电子设备通过摄像头获取的连续多帧图像的置信度较高,电子设备中的相机HAL模块可以将当前3A状态(即理想参数状态)上报给相机应用。也就是说,若在理想参数状态下,电子设备通过摄像头获取的3A稳定图像帧数达到第一阈值,电子设备中的相机HAL模块可以将当前3A状态(即理想参数状态)上报给相机应用。其中,3A稳定图像为置信度大于第二阈值时获取的图像。置信度用于衡量3A状态的稳定性。可理解,置信度越大,3A状态越稳定。3A状态不稳定时,3A状态可能会在不同状态下来回转换。例如,3A状态不断由参数调整状态变为理想参数状态,再不断由理想参数状态变为参数调整状态。而3A状态稳定时,3A状态基本稳定保持在一种状态下,不会在不同状态下来回转换。
可理解,第一阈值和第二阈值可以根据实际需求进行设置,本申请对此不作限制。在本申请的一些实施例中,若电子设备处于稳定状态,且3A状态为理想参数状态,电子设备中的相机HAL模块可以将当前3A状态(即理想参数状态)上报给相机应用。在本申请的一些实施例中,电子设备可以通过状态监测数据来判断电子设备是否稳定。其中,状态监测数据可以用于判断电子设备的运动状态。例如,状态监测数据可以为陀螺仪传感器发送的电子设备围绕三个轴(即,x,y和z轴)的角速度和/或抖动角度。再例如,陀螺仪传感器可以检测电子设备的运动状态,并将其运动状态发送给电子设备的相机HAL模块。即状态监测数据可以包括电子设备的运动状态。其中,电子设备的运动状态可以包括稳定状态(即静止状态)和抖动状态。
在本申请的一些实施例中,陀螺仪传感器持续向相机HAL模块发送状态监测数据。在本申请的又一些实施例中,3A触发指令下发至电子设备的HAL层之后,陀螺仪传感器再向相机HAL模块发送状态监测数据。
S308:电子设备中的相机应用确定当前3A状态为理想参数状态后,下发拍照请求,通过摄像头获取第一图像,并保存第一图像。其中,第一图像为拍照所得的图像。
可理解,电子设备中的相机HAL模块将当前3A状态上报给相机应用之后,电子设备中的相机应用可以确定当前3A状态为理想参数状态,并下发拍照请求,并通过摄像头获取第一图像,并将第一图像保存至图库应用程序中。可理解,下发拍照请求后,电子设备所获取的图像(即第一图像)为拍照图像,而非预览图像。
S309:电子设备显示第二界面。第二界面包括图库快捷控件。图库快捷控件可以显示第一图像的缩略图。
可理解,电子设备可以显示第二界面,第二界面可以包括图库快捷控件。电子设备可以通过图库快捷控件显示第一图像的缩略图。
可理解,第二界面可以为图2C所示的用户界面230。
下面介绍本申请实施例涉及的装置。
图4为本申请实施例提供的一种电子设备的硬件结构示意图。
电子设备可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(Universal Serial Bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(Subscriber Identification Module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(Application Processor,AP),调制解调处理器,图形处理器(Graphics Processingunit,GPU),图像信号处理器(即ISP),控制器,存储器,视频编解码器,数字信号处理器(Digital Signal Processor,DSP),基带处理器,和/或神经网络处理器(Neural-networkProcessing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
在本申请提供的实施例中,电子设备可以通过处理器110执行所述拍摄方法。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备充电,也可以用于电子设备与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。
电子设备的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
移动通信模块150可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(Low Noise Amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。
无线通信模块160可以提供应用在电子设备上的包括无线局域网(WirelessLocal Area Networks,WLAN)(如无线保真(Wireless Fidelity,Wi-Fi)网络),蓝牙(Bluetooth,BT),全球导航卫星系统(Global Navigation Satellite System,GNSS),调频(Frequency Modulation,FM),近距离无线通信技术(Near Field Communication,NFC),红外技术(Infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备可以通过无线通信技术与网络以及其他设备通信。
电子设备通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(Liquid Crystal Display,LCD),有机发光二极管(Organic Light-EmittingDiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-MatrixOrganic Light Emitting Diode的,AMOLED),柔性发光二极管(Flex Light-EmittingDiode,FLED),Mini LED,Micro LED,Micro-OLED,量子点发光二极管(Quantum Dot LightEmitting Diodes,QLED)等。在一些实施例中,电子设备可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现获取功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像或视频。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
在本申请的一些实施例中,ISP可以用于执行3A算法。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像或视频信号。ISP将数字图像或视频信号输出到DSP加工处理。DSP将数字图像或视频信号转换成标准的RGB,YUV等格式的图像或视频信号。
在一些实施例中,电子设备可以包括1个或N个摄像头193,N为大于1的正整数。例如,在一些实施例中,电子设备可以利用N个摄像头193获取多个曝光系数的图像,进而,在视频后处理中,电子设备可以根据多个曝光系数的图像,通过HDR技术合成HDR图像。
数字信号处理器用于处理数字信号,除了可以处理数字图像或视频信号,还可以处理其他数字信号。例如,当电子设备在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样,电子设备可以播放或录制多种编码格式的视频,例如:动态图像专家组(Moving Picture Experts Group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(Neural-Network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像视频播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据,电话本等)等。
电子设备可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。电子设备可以设置至少一个麦克风170C。
耳机接口170D用于连接有线耳机。
传感器模块180可以包括1个或多个传感器,这些传感器可以为相同类型或不同类型。可理解,图4所示的传感器模块180仅为一种示例性的划分方式,还可能有其他划分方式,本申请对此不作限制。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。当有触摸操作作用于显示屏194,电子设备根据压力传感器180A检测所述触摸操作强度。电子设备也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。
陀螺仪传感器180B可以用于确定电子设备的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。
气压传感器180C用于测量气压。在一些实施例中,电子设备通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备可以利用磁传感器180D检测翻盖皮套的开合。
加速度传感器180E可检测电子设备在各个方向上(一般为三轴)加速度的大小。当电子设备静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备通过发光二极管向外发射红外光。电子设备使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备附近有物体。当检测到不充分的反射光时,电子设备可以确定电子设备附近没有物体。
环境光传感器180L用于感知环境光亮度。电子设备可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备是否在口袋里,以防误触。
在本申请的一些实施例中,电子设备中的环境光传感器180L可以用于获取环境亮度并将其传送给相应的处理模块(例如,处理器110等)。
指纹传感器180H用于获取指纹。
温度传感器180J用于检测温度。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备可以接收按键输入,产生与电子设备的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备的接触和分离。电子设备可以支持1个或N个SIM卡接口,N为大于1的正整数。电子设备通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备中,不能和电子设备分离。
电子设备的软件结构可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。
图5为本申请实施例提供的一种电子设备的软件结构示意图。
如图5所示,本申请涉及的电子设备的软件框架可以包括应用程序层,应用程序框架层(framework,FWK)、系统库、安卓运行时、硬件抽象层和内核层(kernel)。
其中,应用程序层可以包括一系列应用程序包,例如相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序(也可以称为应用)。其中,相机用于获取图像和视频。关于应用程序层的其他应用,可以参考常规技术中的介绍和说明,本申请不展开说明。在本申请中,电子设备上的应用可以是原生的应用(如在电子设备出厂前,安装操作系统时安装在电子设备中的应用),也可以是第三方应用(如用户通过应用商店下载安装的应用),本申请实施例不予限定。
应用程序框架层为应用程序层的应用程序提供应用编程接口(ApplicationProgramming Interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图5所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话界面形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
运行时(Runtime)包括核心库和虚拟机。Runtime负责系统的调度和管理。
核心库包含两部分:一部分是编程语言(例如,java语言)需要调用的功能函数,另一部分是系统的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的编程文件(例如,java文件)执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(Surface Manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),二维图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了二维(2-Dimensional,2D)和三维(3-Dimensional,3D)图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现3D图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
硬件抽象层(HAL)是位于操作系统内核与上层软件之间的接口层,其目的在于将硬件抽象化。硬件抽象层是设备内核驱动的抽象接口,用于实现向更高级别的Java API框架提供访问底层设备的应用编程接口。HAL包含多个库模块,例如相机HAL模块、显示屏、蓝牙、音频等。其中每个库模块都为特定类型的硬件组件实现一个接口。当系统框架层API要求访问便携设备的硬件时,Android操作系统将为该硬件组件加载库模块。
内核层是Android操作系统的基础,Android操作系统最终的功能都是通过内核层完成。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动,虚拟卡驱动。
需要说明的是,本申请提供的图5所示的电子设备的软件结构示意图仅作为一种示例,并不限定Android操作系统不同分层中的具体模块划分,具体可以参考常规技术中对Android操作系统软件结构的介绍。另外,本申请提供的拍摄方法还可以基于其他操作系统实现,本申请不再一一举例。
以下实施例以图5所示的电子设备的软件结构为例,对本申请实施例提供的技术方案进行具体阐述。
请参考图6,图6为本申请实施例提供的一种快门延迟示意图。
如图6所示,电子设备可以包括相机应用。相机应用的拍摄界面包括快门控件。电子设备可以检测到作用于快门控件上的用户操作。响应于该用户操作,相机应用可以生成3A触发指令。该3A触发指令用于触发3A算法。相机应用可以将该3A触发指令下发至HAL层。该3A触发指令下发至HAL层之后,进入缓冲器(即buffer)中暂时存放,并等待处理。相机HAL模块按照顺序处理指令,处理3A触发指令时,可以确定该指令中包括用于指示开启3A算法的信息(例如,TRIGGER_START条目),并提供接口来实现3A算法。此时,3A状态为参数调整状态。一旦3A算法收敛,电子设备将3A状态调整为理想参数状态。相机HAL模块可以根据3A稳定图像的帧数以及状态监测数据来判断电子设备是否稳定(具体方式可以参考前述实施例)。若电子设备处于稳定状态,电子设备中的相机HAL模块可以将当前3A状态(即理想参数状态)上报给相机应用。相机应用获取当前3A状态之后,可以下发拍照请求。相机HAL模块接收该拍照请求后,可以进行选帧,以及后处理。可理解,后处理之后所得的图像即为本次拍照所得的图像。相机HAL模块可以将该图像上传至应用程序层。电子设备可以将其保存至图库应用程序中。获取该图像后,电子设备可以生成3A取消指令,并将该3A取消指令下发至HAL层。相机HAL模块处理该3A取消指令时,确定该指令中包括停止执行3A算法的信息(例如,TRIGGER_CANCEL条目),从而重置拍摄参数。即将调整后的拍摄参数恢复成默认值。
可理解,上述过程中,快门延迟包含时延1和3A算法执行时间。也就是说,电子设备中的相机HAL模块无需等待3A状态变为参数锁定状态再上报当前3A状态。这种方式减少了快门延迟,使得电子设备的拍摄响应时间得以降低,响应速度变快,提升了用户的拍摄体验。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种拍摄方法,其特征在于,所述方法包括:
电子设备显示第一界面;所述第一界面包括快门控件;所述第一界面为相机应用的拍照界面;
响应于作用在所述快门控件上的第一操作,所述电子设备执行3A算法来调整拍摄参数,并对3A状态进行更新;所述3A状态用于表示所述3A算法的执行情况;
若所述3A状态为理想参数状态,并且所述电子设备处于稳定状态,所述电子设备基于理想拍摄参数获取图像帧;所述理想参数状态表明3A算法已收敛;所述理想拍摄参数为所述电子设备在所述3A算法收敛时获取的拍摄参数。
2.如权利要求1所述的方法,其特征在于,所述电子设备基于理想拍摄参数获取图像帧之前,所述方法还包括:
所述电子设备基于陀螺仪传感器获取的状态监测数据判断所述电子设备是否处于所述稳定状态;所述状态监测数据包括所述电子设备围绕x轴、y轴和z轴的角速度和/或抖动角度。
3.如权利要求2所述的方法,其特征在于,所述电子设备基于陀螺仪传感器获取的状态监测数据判断所述电子设备是否处于所述稳定状态之后,所述方法还包括:
若所述电子设备未处于所述稳定状态,所述电子设备接收所述陀螺仪传感器获取的新的状态监测数据,并根据所述新的状态监测数据重新判断所述电子设备是否处于所述稳定状态。
4.如权利要求1所述的方法,其特征在于,所述电子设备基于理想拍摄参数获取图像帧之前,所述方法还包括:
所述电子设备获取N帧图像;
若所述N帧图像中的M帧图像为3A稳定图像,则所述电子设备处于所述稳定状态;所述M与所述N的比值大于第一阈值;所述3A稳定图像为所述电子设备在置信度大于第二阈值时获取的图像;所述置信度用于衡量3A状态的稳定性;所述置信度越大,所述3A状态越稳定;所述M和所述N均为正整数。
5.如权利要求4所述的方法,其特征在于,所述电子设备获取N帧图像之后,所述方法还包括:
若所述N帧图像中不存在所述M帧图像为所述3A稳定图像,所述电子设备继续获取L帧图像,并根据所述L帧图像中所包括的所述3A稳定图像的帧数,来判断所述电子设备是否处于所述稳定状态;所述L为正整数。
6.如权利要求1-5任一项所述的方法,其特征在于,所述响应于作用在所述快门控件上的第一操作之后,所述方法还包括:
所述电子设备通过所述相机应用向硬件抽象HAL层下发3A触发指令;所述3A触发指令用于触发所述电子设备执行所述3A算法。
7.如权利要求1-6任一项所述的方法,其特征在于,所述若所述3A状态为理想参数状态,并且所述电子设备处于稳定状态,所述电子设备基于理想拍摄参数获取图像帧,包括:
若所述3A状态为所述理想参数状态,并且所述电子设备处于所述稳定状态,所述电子设备通过相机HAL模块向所述相机应用发送当前的3A状态;
在所述相机应用确定所述当前的3A状态为所述理想参数状态的情况下,所述电子设备通过所述相机应用向所述相机HAL模块下发拍照请求;
基于所述拍照请求,所述电子设备通过所述相机HAL模块下发所述理想拍摄参数至摄像头,并通过所述摄像头根据所述理想拍摄参数来采集所述图像帧。
8.如权利要求1-7任一项所述的方法,其特征在于,所述电子设备基于理想拍摄参数获取图像帧之后,所述方法还包括:
所述电子设备显示第二界面;所述第二界面包括图库快捷控件;所述图库快捷控件显示所述图像帧的缩略图。
9.一种电子设备,包括显示屏、存储器,以及一个或多个处理器,其特征在于,所述存储器用于存储计算机程序;所述处理器用于调用所述计算机程序,使得所述电子设备执行权利要求1-8中任一项所述的方法。
10.一种计算机存储介质,其特征在于,包括:计算机指令;当所述计算机指令在电子设备上运行时,使得所述电子设备执行权利要求1-8中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210185836.8A CN116723382B (zh) | 2022-02-28 | 2022-02-28 | 一种拍摄方法及相关设备 |
PCT/CN2022/142907 WO2023160224A1 (zh) | 2022-02-28 | 2022-12-28 | 一种拍摄方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210185836.8A CN116723382B (zh) | 2022-02-28 | 2022-02-28 | 一种拍摄方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116723382A true CN116723382A (zh) | 2023-09-08 |
CN116723382B CN116723382B (zh) | 2024-05-03 |
Family
ID=87764662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210185836.8A Active CN116723382B (zh) | 2022-02-28 | 2022-02-28 | 一种拍摄方法及相关设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116723382B (zh) |
WO (1) | WO2023160224A1 (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0851571A (ja) * | 1994-08-03 | 1996-02-20 | Olympus Optical Co Ltd | 電子的撮像装置 |
US20150256756A1 (en) * | 2014-03-10 | 2015-09-10 | Panasonic Intellectual Property Management Co., Ltd. | Imaging apparatus |
US20160316122A1 (en) * | 2015-04-21 | 2016-10-27 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
CN106559615A (zh) * | 2015-09-29 | 2017-04-05 | 宁波舜宇光电信息有限公司 | 摄像模组光学防抖系统的校正设备及其校正方法 |
CN111246060A (zh) * | 2014-10-17 | 2020-06-05 | 索尼公司 | 飞行器设备的控制设备和控制方法 |
US20200267320A1 (en) * | 2019-02-19 | 2020-08-20 | Samsung Electronics Co., Ltd. | Electronic device for stabilizing image and method for operating same |
CN112532859A (zh) * | 2019-09-18 | 2021-03-19 | 华为技术有限公司 | 视频采集方法和电子设备 |
US20210105408A1 (en) * | 2019-10-04 | 2021-04-08 | Canon Kabushiki Kaisha | Image pickup apparatus, its control method, and storage medium |
CN113114933A (zh) * | 2021-03-30 | 2021-07-13 | 维沃移动通信有限公司 | 图像拍摄方法、装置、电子设备和可读存储介质 |
CN113497879A (zh) * | 2020-03-18 | 2021-10-12 | Oppo广东移动通信有限公司 | 一种拍照补光方法、装置、终端及存储介质 |
WO2021213341A1 (zh) * | 2020-04-24 | 2021-10-28 | 荣耀终端有限公司 | 视频拍摄方法及电子设备 |
WO2021218694A1 (zh) * | 2020-04-27 | 2021-11-04 | 华为技术有限公司 | 一种视频处理方法及移动终端 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101692399B1 (ko) * | 2010-10-14 | 2017-01-03 | 삼성전자주식회사 | 감성 기반의 영상을 얻을 수 있는 디지털 영상 처리 장치 및 디지털 영상 처리 방법 |
CN105827942A (zh) * | 2015-09-24 | 2016-08-03 | 维沃移动通信有限公司 | 一种快速拍照方法及电子设备 |
KR102407624B1 (ko) * | 2015-10-06 | 2022-06-10 | 삼성전자주식회사 | 전자 장치의 영상 처리 방법 및 그 전자 장치 |
CN106686305B (zh) * | 2016-12-22 | 2020-09-15 | 南昌黑鲨科技有限公司 | 电子设备的图像处理方法及电子设备 |
CN108777767A (zh) * | 2018-08-22 | 2018-11-09 | Oppo广东移动通信有限公司 | 拍照方法、装置、终端及计算机可读存储介质 |
CN112954201B (zh) * | 2021-01-28 | 2022-09-27 | 维沃移动通信有限公司 | 拍摄控制方法、装置和电子设备 |
CN113727016A (zh) * | 2021-06-15 | 2021-11-30 | 荣耀终端有限公司 | 一种拍摄方法及电子设备 |
CN113965693B (zh) * | 2021-08-12 | 2022-12-13 | 荣耀终端有限公司 | 一种视频拍摄方法、设备和存储介质 |
CN113727035B (zh) * | 2021-10-15 | 2023-05-12 | Oppo广东移动通信有限公司 | 图像处理方法、系统、电子设备及存储介质 |
-
2022
- 2022-02-28 CN CN202210185836.8A patent/CN116723382B/zh active Active
- 2022-12-28 WO PCT/CN2022/142907 patent/WO2023160224A1/zh unknown
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0851571A (ja) * | 1994-08-03 | 1996-02-20 | Olympus Optical Co Ltd | 電子的撮像装置 |
US20150256756A1 (en) * | 2014-03-10 | 2015-09-10 | Panasonic Intellectual Property Management Co., Ltd. | Imaging apparatus |
CN111246060A (zh) * | 2014-10-17 | 2020-06-05 | 索尼公司 | 飞行器设备的控制设备和控制方法 |
US20160316122A1 (en) * | 2015-04-21 | 2016-10-27 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
CN106559615A (zh) * | 2015-09-29 | 2017-04-05 | 宁波舜宇光电信息有限公司 | 摄像模组光学防抖系统的校正设备及其校正方法 |
US20200267320A1 (en) * | 2019-02-19 | 2020-08-20 | Samsung Electronics Co., Ltd. | Electronic device for stabilizing image and method for operating same |
CN112532859A (zh) * | 2019-09-18 | 2021-03-19 | 华为技术有限公司 | 视频采集方法和电子设备 |
US20210105408A1 (en) * | 2019-10-04 | 2021-04-08 | Canon Kabushiki Kaisha | Image pickup apparatus, its control method, and storage medium |
CN113497879A (zh) * | 2020-03-18 | 2021-10-12 | Oppo广东移动通信有限公司 | 一种拍照补光方法、装置、终端及存储介质 |
WO2021213341A1 (zh) * | 2020-04-24 | 2021-10-28 | 荣耀终端有限公司 | 视频拍摄方法及电子设备 |
WO2021218694A1 (zh) * | 2020-04-27 | 2021-11-04 | 华为技术有限公司 | 一种视频处理方法及移动终端 |
CN113114933A (zh) * | 2021-03-30 | 2021-07-13 | 维沃移动通信有限公司 | 图像拍摄方法、装置、电子设备和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023160224A9 (zh) | 2023-10-19 |
WO2023160224A1 (zh) | 2023-08-31 |
CN116723382B (zh) | 2024-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020168956A1 (zh) | 一种拍摄月亮的方法和电子设备 | |
US11669242B2 (en) | Screenshot method and electronic device | |
CN114157804B (zh) | 一种长焦拍摄的方法及电子设备 | |
CN111526314B (zh) | 视频拍摄方法及电子设备 | |
CN115866121B (zh) | 应用界面交互方法、电子设备和计算机可读存储介质 | |
KR102577396B1 (ko) | 녹화 프레임 레이트 제어 방법 및 관련 장치 | |
CN113132620A (zh) | 一种图像拍摄方法及相关装置 | |
US11949978B2 (en) | Image content removal method and related apparatus | |
CN113630558B (zh) | 一种摄像曝光方法及电子设备 | |
CN114125130A (zh) | 控制通信服务状态的方法、终端设备和可读存储介质 | |
CN117425065A (zh) | 一种拍摄方法及相关设备 | |
CN113723397B (zh) | 一种截屏方法及电子设备 | |
CN112532508B (zh) | 一种视频通信方法及视频通信装置 | |
CN116055868B (zh) | 一种拍摄方法及相关设备 | |
CN115442509B (zh) | 拍摄方法、用户界面及电子设备 | |
CN116723382B (zh) | 一种拍摄方法及相关设备 | |
CN115967851A (zh) | 快速拍照方法、电子设备及计算机可读存储介质 | |
CN116723383B (zh) | 一种拍摄方法及相关设备 | |
CN116055871B (zh) | 视频处理方法及其相关设备 | |
CN113179362B (zh) | 电子设备及其图像显示方法 | |
CN115460343B (zh) | 图像处理方法、设备及存储介质 | |
CN116887047B (zh) | 一种对焦方法、电子设备和存储介质 | |
CN116777740A (zh) | 一种截屏方法、电子设备及系统 | |
CN115633255A (zh) | 视频处理方法和电子设备 | |
CN117692693A (zh) | 多屏显示方法以及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |