CN117177052A - 图像获取方法、电子设备及计算机可读存储介质 - Google Patents
图像获取方法、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN117177052A CN117177052A CN202311454485.7A CN202311454485A CN117177052A CN 117177052 A CN117177052 A CN 117177052A CN 202311454485 A CN202311454485 A CN 202311454485A CN 117177052 A CN117177052 A CN 117177052A
- Authority
- CN
- China
- Prior art keywords
- image
- composition
- feature
- composition frame
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 117
- 239000000203 mixture Substances 0.000 claims abstract description 450
- 238000012545 processing Methods 0.000 claims abstract description 58
- 238000012216 screening Methods 0.000 claims description 41
- 230000002093 peripheral effect Effects 0.000 claims description 24
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004091 panning Methods 0.000 claims 4
- 238000000059 patterning Methods 0.000 abstract description 20
- 230000004044 response Effects 0.000 abstract description 4
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 25
- 230000006870 function Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 14
- 238000012549 training Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000013519 translation Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 229920001621 AMOLED Polymers 0.000 description 4
- 240000004282 Grewia occidentalis Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 101150041570 TOP1 gene Proteins 0.000 description 2
- 101150107801 Top2a gene Proteins 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
本申请实施例提供一种图像获取方法、电子设备及计算机可读存储介质,涉及图像处理技术领域。电子设备采集的第一图像包括至少一个第一特征对象,所述第一特征对象为人物对象或者物品对象。用户从所述至少一个第一特征对象中选择一个第一特征对象作为后续美学构图的特征对象。电子设备响应于第一操作,以第一预设方式显示所选择的第二特征对象。之后,电子设备为第二特征对象进行美学构图,匹配一个第一构图框。该第一构图框为通过美学构图得到的。最后,电子设备基于美学构图得到的第一构图框,根据其在第一图像中的第一图框,来获取一个新的图像即第二图像。提高了所获取的图像的美感,简化了用户构图的操作,提升了交互体验。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像获取方法、电子设备及计算机可读存储介质。
背景技术
构图是指拍照时根据拍摄题材和用户的想法,把视野范围内的背景和多个对象,适当的进行规划、组织和排列,并利用相机的成像技术特点进行渲染,使之形成一个协调、完整,具有一定艺术形式的画面,称之为构图。用户在使用电子设备的相机来拍摄图像时,不再仅满足于简单的图像采集功能,而是想通过合理构图等手段,获得更具美感的图像。
现有的构图操作都是基于用户在拍摄过程中针对预览图像进行手动裁切构图,依赖于用户的手动操作,操作较为繁琐。
发明内容
本申请实施例提供一种图像获取方法、电子设备及计算机可读存储介质,用于实现在采集图像过程中辅助用户进行美学构图,以获得图像美学评分更高的图像。
为达到上述目的,本申请的实施例采用如下技术方案:
第一方面,提供了一种图像获取方法,应用于电子设备,电子设备包括一个或多个摄像头,用于采集图像。电子设备在开启相机应用后,显示电子设备的第一界面,即电子设备的预览界面。电子设备采集的预览图像即第一预览图像,该第一图像包括至少一个第一特征对象,第一特征对象为人物对象或者物品对象。用户可以在第一界面施加第一操作,指示从至少一个第一特征对象中选择一个第一特征对象作为后续美学构图的特征对象。电子设备响应于第一操作,以第一预设方式显示所选择的第二特征对象。例如,电子设备可以在第一图像上添加遮挡层,在遮挡层之上显示所选择的第二特征对象,或者以添加标签的方式区分显示该第二特征对象与第一图像中的其他特征对象。之后,电子设备为第二特征对象进行美学构图,匹配一个第一构图框。该第一构图框不仅包括了第二特征对象的像素特征,还包括第二特征对象周边的其他像素特征,通过美学构图提升图像的美感。最后,电子设备基于美学构图得到的第一构图框,根据其在第一图像中的第一图框,来获取一个新的图像即第二图像。电子设备可以显示该第二图像,作为对第一图像进行美学构图得到的第二图像,第二图像的图像美学评分高于第一图像的图像美学评分。
这样,电子设备通过自动对用户采集的预览图像和选择的第二特征对象来进行美学构图,提高了所获取的图像的美感或者说是图像美学评分,并简化了用户构图的操作,提升了交互体验。
根据第一方面的一种可能实施方式,电子设备在第一界面显示第一图像时,还可以显示出该第一图像包含的第一特征对象,以及各第一特征对象的第一构图框,以提示用户可以从中选择一个第一特征对象作为后续美学构图的重点。电子设备为第一特征对象匹配的第一构图框,对应第一图像内的第二图块,第二图块包括对应的第一特征对象。
根据第一方面的一种可能实施方式,第二图块包括基于第一图像为第一特征对象美学构图得到的图像。电子设备为第一特征对象匹配第二构图框时基于美学构图进行,所显示给用户的第一特征对象的第二构图框已经进行了美学构图,一定程度上提升所获取图像的美感,且为用户从中选择第二特征对象提供了更多依据,进一步简化了用户的构图操作。
根据第一方面的一种可能实施方式,电子设备加载相机应用,响应于对相机应用的第二操作,显示电子设备拍摄的预览界面。在相机应用的第二界面内显示预设控件,预设控件用于触发电子设备针对预览图像中的特征对象进行美学构图。之后,电子设备即可响应于对预设控件的点击操作,显示第一界面。相机应用内显示预设控件,用户在需要电子设备自动进行美学构图时可以点击预设控件来触发美学构图流程,当然也可以不点击该预设控件仅进入其他的拍摄模式。这样,增加了用户按需选择的灵活性。
根据第一方面的一种可能实施方式,电子设备在第一界面上显示各第二构图框对应第二图块的图像美学评分,以提供给用户参考,使得用户可以根据自己的拍照需求和图像美学评分来综合选择第二特征对象,提升了美学构图的效果和用户体验。
根据第一方面的一种可能实施方式,电子设备也可以在确定第二特征对象最终的第一构图框时,在第三界面显示该第一构图框的图像美学评分。这样,用户可以直观地看到电子设备根据用户选择的第二特征对象进行美学构图的图像美学评分,了解各美学构图环节对图像美学评分的提升,进一步提升用户体验。
根据第一方面的一种可能实施方式,电子设备针对第一构图框未处于摄像头取景范围的中心区域的情况,还可以输出第一提示信息,以提示用户移动电子设备使第一构图框处于中心区域。这样,电子设备可以采集到更清晰的对应第一构图框的图像,提升最终获取的第二图像的质量。
根据第一方面的一种可能实施方式,电子设备为各第一特征对象匹配第二构图框的步骤包括:电子设备先确定第一特征对象的主体像素区域和第一特征对象的朝向,例如人脸朝向、人眼朝向、身体朝向、物品朝向等。电子设备再确定第一特征对象的周边像素区域。其中,第一特征对象的周边像素区域为在第一图像中,从第一特征对象的主体像素区域沿第一特征对象的朝向进行延伸切分得到的像素区域。之后,电子设备即可将包括第一特征对象的主体像素区域和第一特征对象的周边像素区域的构图框确定为该第一特征对象的第二构图框。沿第一特征对象的朝向进行切分来匹配构图框,符合构图学中的美学构图的理念,提升所匹配的第二构图框的美感。
根据第一方面的一种可能实施方式,电子设备确定第一特征对象对应的第二构图框,主要有三分构图法和中心构图法。其中,若第一特征对象为人物对象,且第一特征对象的身体类型为半身类型,则以第一特征对象的人眼位置为中心,对第一特征对象的主体像素区域和第一特征对象的周边像素区域执行三分构图处理,得到第二构图框。若第一特征对象为人物对象且第一特征对象的身体类型为全身类型,或者若第一特征对象为物品对象,则对第一特征对象的主体像素区域和第一特征对象的周边像素区域进行中心构图处理,得到第二构图框。结合三分构图法和中心构图法来匹配构图框,符合构图学中的美学构图的理念,提升所匹配的第二构图框的美感。
根据第一方面的一种可能实施方式,电子设备确定第一构图框的方式为,先基于第二特征对象的第二构图框,确定多个备选构图框,再从中选择一个构图框作为备选构图框。;其中,备选构图框为第二构图框在第一图像中移动之后得到的构图框,第二构图框在第一图像中对应的第二图块的像素特征与各备选构图框在第一图像中对应的第三图块包含的像素特征部分重合,第二图块和各第三图块均为第一图像的部分图块,第二图块和各第三图块均包括第二特征对象。第一构图框为第二构图框和多个备选构图框中图像美学评分最高的构图框,第一构图框的图像美学评分为第一构图框对应的第一图块的图像美学评分,第二构图框的图像美学评分为第二构图框对应的第二图块的图像美学评分,每个备选构图框的图像美学评分为对应的第三图块的图像美学评分。
根据第一方面的一种可能实施方式,电子设备基于第二特征对象的第二构图框,确定多个备选构图框的方式为,基于预先训练好的图框移动策略模型来获取,图框移动策略模型具备获取在第一图像上将第二构图框按照多个预设移动策略移动之后的构图框的能力。电子设备将第一图像和第二构图框输入预先训练好的图框移动策略模型,输出第一图像的多个备选构图框。
根据第一方面的一种可能实施方式,预设移动策略包括向左平移、向右平移、向上平移、向下平移、左下缩放、左上缩放、右下缩放、右上缩放和四角斜向缩放中的至少一种。
根据第一方面的一种可能实施方式,电子设备从第二构图框和多个备选构图框中选择一个构图框,作为第一构图框的方式包括,利用预先训练好的图像美学评分模型。电子设备将第二构图框对应的第二图块输入预先训练好的图像美学评分模型,获取第二构图框的图像美学评分,以及,将各备选构图框对应的第三图块分别输入图像美学评分模型,获取各述备选构图框的图像美学评分。之后,电子设备再根据第二构图框的图像美学评分和各备选构图框的图像美学评分,选择图像美学评分最高的构图框作为第一构图框。
根据第一方面的一种可能实施方式,电子设备显示第二图像的步骤之前,先判断第一构图框当前是否处于摄像头取景范围的中心区域。若第一构图框当前处于摄像头取景范围的中心区域,控制摄像头中的长焦镜头采集一帧第三图像,再根据第一构图框在第三图像中对应的第四图块,生成第二图像。切换为长焦镜头采集新的第三图像,来生成第二图像,清晰度更高。
根据第一方面的一种可能实施方式,所第一提示信息包括文字提示信息、语音提示信息、移动路径提示信息中的至少一种。
根据第一方面的一种可能实施方式,电子设备若判断第一构图框当前未处于摄像头取景范围的中心区域,对第一图块进行超分辨率重建处理,得到第二图像。在不需要采集新的图像的情况下,也能得到清晰度相对较高的第二图像。
根据第一方面的一种可能实施方式,电子设备获取第一图像的第一特征对象的具体方式包括:先识别第一图像包含的全部基础特征对象,之后在第一界面以第二预设方式显示至少一个第一特征对象。其中,至少一个第一特征对象为基于预设筛选方案从全部基础特征对象中选择的部分基础特征对象,预设筛选方案包括用户偏好筛选方案或者特征对象尺寸筛选方案。
根据第一方面的一种可能实施方式,上述预设筛选方案为用户偏好筛选方案;电子设备先获取电子设备关联的偏好特征对象的像素特征,根据各基础特征对象与电子设备关联的偏好特征对象的匹配度,从全部基础特征对象中筛选出第一特征对象。其中,偏好特征对象包括人物特征对象和/或物品特征对象,电子设备关联的偏好特征对象为对电子设备的历史图像进行像素特征分析所识别得到的全部特征对象中,出现频次高于预设频次的特征对象。基于用户的偏好特征对象来个性化推荐第一特征对象,更符合用户需求,获得用户想要的构图方案。
第二方面,提供了一种电子设备,包括:摄像头、处理器和存储器,摄像头和存储器均与处理器耦合;该存储器用于存储计算机执行指令,当该电子设备运行时,该处理器执行该存储器存储的该计算机执行指令,以使该电子设备执行如上述第一方面中任一项的图像获取方法。
根据第二方面的一种可能实施方式,处理器用于:
显示第一界面;第一界面是电子设备拍摄的预览界面,第一界面包括摄像头采集的第一图像,第一图像包括至少一个第一特征对象,第一特征对象为人物对象或者物品对象;
响应于第一操作,以第一预设方式显示第二特征对象;其中,第二特征对象是第一操作从至少一个第一特征对象中选择的;
显示第一构图框;其中,第一构图框对应第一图像内的第一图块,第一图块包括基于第一图像为第二特征对象美学构图得到的图像;
显示第二图像;其中,第二图像为基于第一图块获取的图像,第二图像包括第二特征对象。
根据第二方面的一种可能实施方式,第一界面还包括第一图像中各个第一特征对象的第二构图框,第二构图框对应第一图像内的第二图块,第二图块包括对应的第一特征对象。
根据第二方面的一种可能实施方式,第二图块包括基于第一图像为第一特征对象美学构图得到的图像。
根据第二方面的一种可能实施方式,处理器用于:
响应于对相机应用的第二操作,显示第二界面;其中,第二界面是电子设备拍摄的预览界面,第二界面包括预设控件,预设控件用于触发电子设备针对预览图像中的特征对象进行美学构图;
响应于对预设控件的点击操作,显示第一界面。
根据第二方面的一种可能实施方式,第一界面上还包括各第二构图框对应第二图块的图像美学评分。
根据第二方面的一种可能实施方式,处理器用于:
显示第三界面,第三界面包括第一构图框;其中,第三界面还包括第一构图框对应第一图块的图像美学评分。
根据第二方面的一种可能实施方式,处理器用于:
若第一构图框未处于摄像头取景范围的中心区域,输出第一提示信息;其中,第一提示信息用于提示用户移动电子设备使第一构图框处于中心区域。
根据第二方面的一种可能实施方式,第二构图框的获取步骤,包括:
确定第一特征对象的主体像素区域和第一特征对象的朝向;其中,第一特征对象的朝向包括人脸朝向、人眼朝向、身体朝向、物品朝向中的至少一种;
确定第一特征对象的周边像素区域;其中,第一特征对象的周边像素区域为在第一图像中,从第一特征对象的主体像素区域沿第一特征对象的朝向进行延伸切分得到的像素区域;
确定第一特征对象对应的第二构图框;其中,第二构图框的框选范围包括第一特征对象的主体像素区域和第一特征对象的周边像素区域。
根据第二方面的一种可能实施方式,处理器用于:
若第一特征对象为人物对象,且第一特征对象的身体类型为半身类型,则以第一特征对象的人眼位置为中心,对第一特征对象的主体像素区域和第一特征对象的周边像素区域执行三分构图处理,得到第二构图框;
若第一特征对象为人物对象且第一特征对象的身体类型为全身类型,或者若第一特征对象为物品对象,则对第一特征对象的主体像素区域和第一特征对象的周边像素区域进行中心构图处理,得到第二构图框。
根据第二方面的一种可能实施方式,处理器用于:
基于第二特征对象的第二构图框,确定多个备选构图框;其中,备选构图框为第二构图框在第一图像中移动之后得到的构图框,第二构图框在第一图像中对应的第二图块的像素特征与各备选构图框在第一图像中对应的第三图块包含的像素特征部分重合,第二图块和各第三图块均为第一图像的部分图块,第二图块和各第三图块均包括第二特征对象;
从第二构图框和多个备选构图框中选择一个构图框,作为第一构图框;其中,第一构图框为第二构图框和多个备选构图框中图像美学评分最高的构图框,第一构图框的图像美学评分为第一构图框对应的第一图块的图像美学评分,第二构图框的图像美学评分为第二构图框对应的第二图块的图像美学评分,每个备选构图框的图像美学评分为对应的第三图块的图像美学评分。
根据第二方面的一种可能实施方式,处理器用于:
将第一图像和第二构图框输入预先训练好的图框移动策略模型,输出第一图像的多个备选构图框;其中,图框移动策略模型具备获取在第一图像上将第二构图框按照多个预设移动策略移动之后的构图框的能力。
根据第二方面的一种可能实施方式,预设移动策略包括向左平移、向右平移、向上平移、向下平移、左下缩放、左上缩放、右下缩放、右上缩放和四角斜向缩放中的至少一种。
根据第二方面的一种可能实施方式,处理器用于:
将第二构图框对应的第二图块输入预先训练好的图像美学评分模型,获取第二构图框的图像美学评分,以及,将各备选构图框对应的第三图块分别输入图像美学评分模型,获取各述备选构图框的图像美学评分;
根据第二构图框的图像美学评分和各备选构图框的图像美学评分,选择图像美学评分最高的构图框作为第一构图框。
根据第二方面的一种可能实施方式,处理器用于:
判断第一构图框当前是否处于摄像头取景范围的中心区域;
若第一构图框当前处于摄像头取景范围的中心区域,控制摄像头中的长焦镜头采集一帧第三图像;
根据第一构图框在第三图像中对应的第四图块,生成第二图像。
根据第二方面的一种可能实施方式,所第一提示信息包括文字提示信息、语音提示信息、移动路径提示信息中的至少一种。
根据第二方面的一种可能实施方式,处理器用于:
若第一构图框当前未处于摄像头取景范围的中心区域,对第一图块进行超分辨率重建处理,得到第二图像。
根据第二方面的一种可能实施方式,方法还包括:
识别第一图像包含的全部基础特征对象;
在第一界面以第二预设方式显示至少一个第一特征对象;其中,至少一个第一特征对象为基于预设筛选方案从全部基础特征对象中选择的部分基础特征对象,预设筛选方案包括用户偏好筛选方案或者特征对象尺寸筛选方案。
根据第二方面的一种可能实施方式,预设筛选方案为用户偏好筛选方案;处理器用于:
获取电子设备关联的偏好特征对象的像素特征;其中,偏好特征对象包括人物特征对象和/或物品特征对象,电子设备关联的偏好特征对象为对电子设备的历史图像进行像素特征分析所识别得到的全部特征对象中,出现频次高于预设频次的特征对象;
根据各基础特征对象与电子设备关联的偏好特征对象的匹配度,从全部基础特征对象中筛选出第一特征对象。
第三方面,提供了一种电子设备,该电子设备具有实现上述第一方面的图像获取方法的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机可以执行上述第一方面中任一项的图像获取方法。
第五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机可以执行上述第二方面中任一项的图像获取方法。
第六方面,提供了一种控制装置(例如,该控制装置可以是芯片系统),该装置包括处理器,用于支持控制设备实现上述第一方面中所涉及的功能。在一种可能的设计中,该装置还包括存储器,该存储器,用于保存控制设备必要的程序指令和数据。该装置是芯片系统时,可以由芯片构成,也可以包含芯片和其他分立器件。
其中,第二方面至第六方面中任一种设计方式所带来的技术效果可参见第二方面中不同设计方式所带来的技术效果,此处不再赘述。
附图说明
图1为本申请实施例提供的图像获取方法所涉及的不同构图方案的图像对比示意图之一;
图2为本申请实施例提供的图像获取方法所涉及的不同构图方案的图像对比示意图之二;
图3为本申请实施例提供的图像获取方法所涉及的界面示意图之一;
图4为本申请实施例提供的图像获取方法所涉及的界面示意图之二;
图5为本申请实施例提供的图像获取方法的流程示意图之一;
图6为本申请实施例提供的图像获取方法所涉及的界面示意图之三;
图7为本申请实施例提供的图像获取方法所涉及的界面示意图之四;
图8为本申请实施例提供的图像获取方法所涉及的界面示意图之五;
图9为本申请实施例提供的图像获取方法所涉及的界面示意图之六;
图10为本申请实施例提供的图像获取方法所涉及的构图框的图块示意图一;
图11为本申请实施例提供的图像获取方法所涉及的构图框的图块示意图二;
图12为本申请实施例提供的图像获取方法所涉及的界面示意图之七;
图13为本申请实施例提供的图像获取方法所涉及的界面示意图之八;
图14为本申请实施例提供的图像获取方法所涉及的构图框的图块示意图之三;
图15为本申请实施例提供的图像获取方法所涉及的界面示意图之九;
图16为本申请实施例提供的图像获取方法所涉及的流程示意图之二;
图17为本申请实施例提供的图像获取方法所涉及的图框移动策略示意图;
图18为本申请实施例提供的图像获取方法所涉及的界面示意图之十;
图19为本申请实施例提供的图像获取方法所涉及的界面示意图之十一;
图20为本申请实施例提供的图像获取方法所涉及的界面示意图之十二;
图21为本申请实施例提供的图像获取方法所涉及的软件框架示意图;
图22为本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
为便于理解,先介绍本申请实施例涉及的部分技术常识。
电子设备具备一个或多个摄像头,执行拍摄、录像等功能。用户在使用电子设备的相机来拍摄图像或者录像时,想通过美学构图等手段,获得更具美感的图像。这里所说的更具美感的图像,通常是指从用户的主观感受来讲更具美感的图像,当然也可以是指符合现代的图像美学评分标准的图像。图像美学评分是指评估图像的主观美感的计算逻辑,该计算逻辑可以是通过一系列已有算法实现,也可以是通过预先训练好的具备美学评分功能的深度学习模型来实现。图像美学评分的覆盖面全,能涵盖不同的内容和风格。图像美学评分通常是对大规模的人类研究,在赋予美学分数时符合大部分人的审美认知。
图像美学评分中又进一步包括摄影美学特征,主要是指专属于摄影领域的特征,比如空间构图特征、前景与背景特征等。构图一般要遵循黄金分割法则、视觉平衡、三分法等,拍摄照片要能够突出主体,可以基于色调图计数特征来计算主体区域的色彩丰富程度,背景要足够简洁,具体可以通过统计背景的颜色分布、边缘特征来衡量。当然,图像美学评分的依据有多种,不再赘述。
如图1所示为不同构图方案的图像对比示意图之一。其中,图1中的(a)所示,可以为用户通过相机直接采集的一帧图像,该图像中包括大片的房屋墙面区域、地面区域和自行车。由于该图像的特征对象较多,且主次不分明,图像美感相对不是很明显,图像美学评分不是很高,可能不符合现代大多数人的主观审美认知。而图1中的(a)中存在一部分区域,即白色图框区域内的部分像素区域,包含了一个自行车和背景墙面区域,对象相对较少,主次分明。若按照此图框构图,即可得到图1中的(b)所示的图像。对比可以看出,图1中的(b)的构图方案的美感明显高于图1中的(a)的构图方案的美感,更符合大多数人的审美认知,也就是说,图1中的(b)的图像美学评分会高于图1中的(a)的图像美学评分。
为便于理解,增加图2再对构图的概念进一步解释。如图2所示为不同构图的图像对比示意图之二。其中,图2中的(a)所示,可以为用户通过相机直接采集的一帧图像,该图像的拍摄题材为大海,图像中包括大片的海面区域、天空区域和较多分散的海鸟。由于该图像的特征较多,且主次不分明,可能不符合现代大多数人的主观审美认知。而图2中的(a)中存在一部分区域,即白色图框区域内的部分像素区域,包含两个海鸟及背景区域,背景区域包括海天相接的区域,特征相对较少,主次分明,画面干净整洁,且能明确突出海鸟这一拍摄题材。若按照此图框构图,即可得到图2中的(b)所示的图像。对比可以看出,图2中的(b)的构图明显优于图2中的(a)的构图,更符合大多数人的审美认知,也就是说,图2中的(b)的图像美学评分会高于图2中的(a)的图像美学评分。
通过前述图1和图2的图像示意和分析可知,对相机的视野范围内的部分特征进行组织构图,可以得到图像美学评分更高的图像。需要说明的是,这里所说的对相机的视野范围内的部分特征进行组织构图,通常是指基于视野范围内已有的特征和特征之间的相对位置,进行选择构图,即选择保留视野范围内的部分已有特征和特征之间的相对位置;而不是增加新的特征或者调整特征之间的相对位置,不新增原先不存在的特征。现有的构图操作都是基于用户在拍摄过程中针对预览图像进行手动裁切构图,依赖于用户的手动操作,操作较为繁琐,且主观性较强。
本申请实施例提供一种图像获取方法,应用于电子设备。电子设备在采集图像的过程中,为用户进行美学构图推荐,辅助用户在拍摄的过程中进行构图选择,简化用户的手动操作,提高美学构图的自动化程度和所获取图像的图像美学评分。
电子设备可以为手机、平板电脑、可穿戴设备、车载设备、增强现实(AugmentedReality,AR)/虚拟现实(Virtual Reality,VR)设备、笔记本电脑、超级移动个人计算机(Ultra-Mobile Personal Computer,UMPC)、上网本、个人数字助理(Personal DigitalAssistant,PDA)等具备摄像头的电子设备,不作限制。
电子设备内装配有相机应用,该相机应用能够实现本申请实施例提供的图像获取方法。该相机应用可以是系统预配置的相机应用,也可以为电子设备加载的第三方的相机应用,相机应用能够调用电子设备的摄像头及相关控件,实现相机在拍摄或者录像等场景下的图像采集功能和辅助构图功能,实现本申请实施例提供的图像获取方法。
本实施例提供的图像获取方法在应用时,电子设备可以在采集图像的预览界面内进行构图推荐,使得最终采集的图像具备更高的图像美学评分。当然,电子设备也可以对已经获取的图像进行处理,以得到对应该图像中局部像素特征的特写图像,所得到的特写图像具备更高的图像美学评分。本申请实施例主要是在采集图像的预览界面中对预览界面内的图像进行美学构图,以获取图像美学评分更高的图像。
如图3所示,电子设备的桌面可以显示对应相机应用的图标。用户点击该相机应用的图标后,电子设备进入图像获取流程,显示第二界面。如图4所示,第二界面可以是电子设备拍摄的预览界面。第二界面可以显示一预设控件,该预设控件可以触发电子设备针对预览图像中的特征对象进行美学构图。
如图4中的(a)所示,预设控件可以是显示在拍摄模式控件列表中的一个控件,显示“构图”等文字信息或者其他的图示信息。这种情况下,构图模式为与拍照模式、录像模式等并列的一种拍摄模式。开启相机应用后,默认的拍摄模式为拍照模式,用户可以点击对应“构图”的预设控件,相机应用由默认的拍照模式进入构图模式,进入图像获取流程,显示电子设备的预览界面,定义为第一界面。
如图4中的(b)所示,预设控件还可以是显示在拍摄工具控件列表中的一个控件,显示“构图”等文字信息或者其他的图示信息。这种情况下,构图工具为与闪光灯等并列的拍摄工具,构图工具可以叠加到拍照模式、录像模式等任一拍摄模式下,在选中的拍摄模式中执行本实施例提供的图像获取方法来实现美学构图。如图4中的(b)所示,相机应用在默认的拍照模式下,用户可以点击构图工具,在拍照模式下进行美学构图。相机应用显示电子设备拍摄的预览界面,定义为第一界面。
如图5所示,为本申请实施例提供的一种图像获取方法的流程示意图。电子设备在相机应用采集到一帧图像后显示出该图像中包括的第一特征对象,供用户从中选择关注的一个或者多个第二特征对象,为该第二特征对象自动匹配第一构图框实现自动构图推荐,再基于第一构图框生成用户选择的第二特征对象的第二图像。这样,电子设备在图像获取过程中既能侧重用户关注的特征对象,又能基于用户关注的特征对象进行自动构图推荐,提升了用户体验,简化了用户进行构图选择的手动操作,基于图像美学评分提高了所获取的自动构图推荐方案的图像质量。
下面将结合图5所示的界面,解释图像获取方法的主要步骤。具体如下:
步骤S501,显示第一界面,第一界面包括摄像头采集的第一图像。
电子设备进入相机应用后,采集预览图像。如图4所示,电子设备检测到用户施加于相机应用内的预设控件的第二操作,此时电子设备的界面由第二界面切换为第一界面,该第一界面包括摄像头采集的第一图像(如图5中的(a)所示)。电子设备开始针对预览图像中的特征对象进行美学构图。
图6为本申请实施例提供的图像获取方法的界面示意图之三,图7为本申请实施例提供的图像获取方法的界面示意图之四。如图6中的(a)所示,或者,如图7中的(a)所示,用户点击相机应用显示第一界面,第一界面显示相机采集的第一图像。需要说明的是,本实施例中各实施方式为解释第一图像的不同处理方式,在不同附图中所指示的第一图像的内容可能会不同,但这并不能限定不同的处理方式只能应用于不同的第一图像。
如图6中的(a)所示,该第一图像内可能包括对应人物对象的像素特征,或者对应物品对象的像素特征,可以将对应人物对象的像素特征和对应物品对象的像素特征定义为特征对象,以及,将该第一图像中包括的特征对象定义为第一特征对象(如图5和图6中的A)。这里的特征对象,是指能够表征一个对象的像素特征的集合,例如,第一图像中的某一个人物对象的全部像素特征作为一个人物对象,或者,第一图像中的电线杆的全部像素特征作为电线杆这一物品特征对象。需要说明的是,这里的物品对象可以包括植物对象、动物对象、静物对象、景物对象等。
电子设备可以先对第一图像进行特征点识别和边缘像素点识别,识别出该第一图像中存在的各特征对象。例如,电子设备可以基于人体骨骼特征点或者人眼特征点,识别出人物对象。或者,电子设备可以基于边缘轮廓特征点,识别出物品对象。具体识别出特征对象的方式可以参见常用的图像特征点识别的方式,不再具体解释。
电子设备在显示第一图像时,还会将该第一图像内的第一特征对象显示给用户。为了使得用户可以更直观地查看该第一图像内的第一特征对象,电子设备可以第二预设方式来显示第一特征对象,使得该第一图像内的第一特征对象与该第一图像内的其它像素特征区分显示。电子设备控制第一图像内的第一特征对象与该第一图像内的其它像素特征区分显示的第二预设方式可以有多种。例如可以将第一特征对象与其它像素特征区分图层显示,或者给第一特征对象添加标签进行突出显示等,不作限定。
在一种实施方式中,电子设备可以在第一图像上显示至少一个第一特征对象,且控制该至少一个第一特征对象所在的第一图层高于第一图像所在的第二图层。图像显示时可以分为多个依次叠加的图层,上层图层的显示效果优先于在下的图层的显示效果。下层图层的像素特征可能会被上层图层的像素特征遮挡,但上层图层的像素特征不会被下层图层的像素特征遮挡。控制第一特征对象所在的第一图层高于第一图像所在的第二图层,这样,第一特征对象就能突出显示给用户。
更进一步的,如图5中的(b)所示,或者如图6中的(b)所示,电子设备还可以在第一图像所在的第二图层与第一特征对象所在的第一图层之间加入一个遮挡图层。该遮挡图层具备一定的透明度,使得第一图像所在的第一图层的像素特征能够显示给用户,被遮挡图层遮挡后的显示效果次于第一特征对象的正常显示,也就实现了第一特征对象的突出显示。
在其他实施方式中,如图7中的(b)所示,电子设备还可以通过给第一特征对象添加图框等标签的方式,使得第一特征对象在第一图像上突出显示。为便于区分描述,将为第一特征对象添加的图框定义为第二构图框(如图7中的C)。通常的,第二构图框能够框选第一图像中该第一特征对象的全部像素特征对象。
当然,也可以将上述两种显示方式叠加。继续如图7中的(b)所示,电子设备在第一图像所在的第二图层与第一特征对象所在的第一图层之间加入一个遮挡图层,且为各第一特征对象均添加一个第二构图框。
考虑到在实际拍摄时,实际采集的第一图像中包括的基础特征对象的数量可能非常多,而用户关注的第一特征对象可能只是一个或者少数的特征对象。电子设备可以将识别出的全部基础特征对象均作为第一特征对象进行突出显示,以供用户从全部第一特征对象中选择关注的第二特征对象。
当然,电子设备也可以先从识别出的全部特征对象中筛选出部分特征对象,将筛选出来的该部分特征对象作为第一特征对象进行突出显示,供用户从突出显示的该部分第一特征对象中选择想要的第二特征对象。具体的,电子设备先识别第一图像包含的全部基础特征对象,在第一界面以第二预设方式显示至少一个第一特征对象;其中,至少一个第一特征对象为基于预设筛选方案从全部基础特征对象中选择的部分基础特征对象,预设筛选方案包括用户偏好筛选方案或者特征对象尺寸筛选方案。
为了减少用户从显示的全部第一特征对象中选择出关注的第二特征对象的难度,可以限制从全部基础特征对象中筛选出来的第一特征对象的数量,例如筛选出1-3个特征对象,或者分别筛选出2个人物对象或者物品对象等,不作限定。
电子设备可以先识别第一图像包含的全部基础特征对象,再基于预设筛选方案从全部基础特征对象中选择出部分基础特征对象作为第一特征对象进行突出显示。筛选出第一特征队形的预设筛选方案可以有多种,例如用户偏好筛选方案或者特征对象尺寸筛选方案。
特征对象尺寸筛选方案是指,基于各特征对象在图像中的像素尺寸进行筛选,通常是筛选出像素尺寸相对较大的特征对象。当然在其他情况下,用户也可以指定从基础特征对象中筛选出第一特征对象所使用的临界像素尺寸或者类型等,不作限定。
具体实施时,电子设备可以根据各基础特征对象在整个第一图像中的像素尺寸、清晰度、景深、相对位置等方面的参数进行综合分析,从识别出的全部基础特征对象中选择部分特征对象进行显示。例如,电子设备从识别出的各特征对象中,筛选出满足清晰度相对较高、像素尺寸相对较大(例如大于图像尺寸的十分之一)、相对位置位于图像非边缘区域等条件的特征对象。当然,此处只是举例,并不造成对实施方案的限定。
用户偏好筛选方案是指基于用户拍照时对特征对象的偏好进行筛选,这里的用户可以是指电子设备的持有用户,也可以是登录相机应用执行构图操作的用户。电子设备可以直接将使用该相机应用的用户作为与该电子设备绑定的一个默认用户,在执行本实施例提供的图像获取方法时参考该默认用户的特征对象偏好进行构图推荐。当然,电子设备也可以在每次开启相机应用之前或者运行相机应用的过程中,提供登录用户账号的相关界面,使得当前使用相机应用的临时用户可以登录自己的用户账号,以获取或者录入该用户的特征对象偏好。
具体实施时,电子设备获取用户的特征对象偏好的方式可以有多种。例如,电子设备可以根据用户在历史拍照操作中分析用户的拍照偏好,或者根据相册分析用户的拍照偏好,根据分析获取的拍照偏好,选择部分特征图像。电子设备可以创建并维护一个偏好字典,用于记录用户的历史习惯偏好。当然,电子设备在对用户在历史拍照操作中分析用户的拍照偏好,或者根据相册分析用户的拍照偏好,根据分析获取的拍照偏好之前,先输出授权询问的提示信息,在获得用户的授权之后再对用户的图像进行偏好分析。
偏好字典记录的历史习惯偏好可以主要分为两类,一类是人物偏好,一类是物品偏好。电子设备在检测到拍照操作时,或者检测到相册内存储新增图像的操作时,分析所得图像中包含的特征对象的类型是人物对象还是物品对象,以及人物对象的像素特征或者物品特征的像素特征。这样,电子设备通过分析用户拍照的图像内或者从其他电子设备接收或者浏览器下载的图像中,分析出用户偏好的人物对象可能是自己(自拍图像)、家人或者朋友等,以及用户偏好的物品对象可能是小狗、摩天轮、花朵等。电子设备在进行图像分析时,可以尤其针对一些特写照片进行分析,特写照片更能体现用户偏好。
电子设备按照用户偏好筛选方案筛选第一特征对象的过程可以包括:电子设备先获取该电子设备关联的偏好特征对象的像素特征;其中,偏好特征对象包括人物特征对象和/或物品特征对象,电子设备关联的偏好特征对象为对电子设备的历史图像进行像素特征分析所识别得到的全部特征对象中,出现频次高于预设频次的特征对象。之后,电子设备根据各基础特征对象与电子设备关联的偏好特征对象的匹配度,从全部基础特征对象中筛选出第一特征对象。
电子设备可以在每次检测到用户开启构图模式后,对电子设备拍照所得图像或者对从其他终端获取的图像进行特征对象分析。通过对多次的图像进行特征对象分析,获取用户的偏好特征对象,将获取的偏好特征对象记录进用户偏好字典。为便于区分,可以根据偏好特征对象的类别是人物特征对象还是物品特征对象,分别记录进对应的人物对象偏好字典和物品对象偏好字典。此外,电子设备还可以在每次进行特征对象分析之后,根据所获取的偏好特征对象来更新人物对象偏好字典或者物品对象偏好字典,以使得偏好字典比较符合用户近段时间的偏好。
之后,电子设备在检测到用户开启构图模式后,对第一图像进行特征分析,获得包含的基础特征对象,如人物特征对象或者物品特征对象。电子设备针对第一图像分析得到的全部基础特征对象,根据该用户的偏好字典进行筛选,筛选出部分人物特征对象或者部分物品特征对象作为第一特征对象进行突出显示。
在一种具体实施方式中,基于人物对象偏好字典从第一图像包含的全部人物对象中筛选出部分人物对象作为第一特征对象的方案可以为:筛选出该第一图像中包含的全部人物对象中,位于人物对象偏好字典中排名前三的人物对象,或者筛选出在人物偏好字典中排名最靠前的两个人物对象。
如图8所示,电子设备在采集到一帧第一图像后,检测到该第一图像中包括人物对象A、人物对象B、人物对象C和人物对象D。其中,人物对象C是人物偏好字典中Top1的人物对象,人物对象D是人物偏好字典中Top2的人物对象。也就是说,第一图像包含的4个人物对象中,人物对象C和人物对象D是均位于前三(Top1-Top3)的人物对象。
那么,电子设备可以认为人物对象C和人物对象D是用户的偏好人物对象,人物对象A、人物对象B和人物对象D可能是路人。电子设备就可以将该人物对象C和人物对象D及各人物对象匹配的第二构图框进行突出显示,作为第一次构图推荐供用户选择。
在另一种具体实施方式中,基于物品偏好字典从第一图像包含的全部物品对象中筛选出部分物品对象进行第一次构图推荐的条件可以为:筛选出该第一图像中包含的全部物品对象中,位于物品偏好字典中排名前三的物品对象,或者筛选出在物品偏好字典中排名最靠前的两个物品对象。
如图9所示,电子设备在采集到一帧第一图像后,检测到该第一图像中包括物品对象a、物品对象b、物品对象c和物品对象d。其中,物品对象b是物品偏好字典中Top1的物品对象,物品对象c是物品偏好字典中Top5的物品对象,物品对象d是物品偏好字典中Top2的物品对象。也就是说,第一图像包含的4个物品对象中,物品对象b和物品对象d是位于前三(Top1-Top3)的物品对象。
那么,电子设备就可以认为物品对象b和物品对象d是用户的偏好物品对象。电子设备可以将该物品对象b和物品对象d及各物品对象匹配的第二构图框进行突出显示,作为第一次构图推荐供用户选择。
电子设备筛选出第一图像的各第一特征对象之后,为各第一特征对象匹配第二构图框。需要说明的是,该第二构图框可以是基于特征对象的边缘像素点匹配的最小覆盖图框,也可以是包含了该特征图像的全部像素点和部分周边区域像素点的图框,这种情况下匹配的图框大于最小覆盖图框。下面将针对为特征对象匹配第二构图框的可能实施方式进行具体解释。
在一种具体实施方式中,电子设备在第一界面显示与各第一特征对象匹配的第二构图框的步骤,可以具体包括:
确定第一特征对象的主体像素区域和第一特征对象的朝向;其中,第一特征对象的朝向包括人脸朝向、人眼朝向、身体朝向、物品朝向中的至少一种;
确定第一特征对象的周边像素区域;其中,第一特征对象的周边像素区域为在第一图像中,从第一特征对象的主体像素区域沿第一特征对象的朝向进行延伸切分得到的像素区域;
确定第二构图框;其中,第二构图框的框选范围包括第一特征对象的主体像素区域和第一特征对象的周边像素区域。
其中,电子设备确定第二构图框的步骤,可以包括:
若第一特征对象为人物对象,且第一特征对象的身体类型为半身类型,则以第一特征对象的人眼位置为中心,对第一特征对象的主体像素区域和第一特征对象的周边像素区域执行三分构图处理,得到第二构图框;
若第一特征对象为人物对象且第一特征对象的身体类型为全身类型,或者若第一特征对象为物品对象,则对第一特征对象的主体像素区域和第一特征对象的周边像素区域进行中心构图处理,得到第二构图框。
如图10所示,电子设备为第一图像匹配第二构图框的示意图。第一图像中存在一个人物对象,该人物对象位于第一图像的中央偏右侧的位置,且该人物对象为接近全身像,包括上半身像素特征和部分下半身像素特征。电子设备可以基于人眼、人脸、头部、躯干等特征点识别方法,结合中心构图原则或者三分构图原则,将该人物对象的上半身像素特征认定为该人物特征的像素特征(如图10中的F1所示),也可以将该人物对象的全部像素特征认定为该人物特征的像素特征(如图10中的F2所示)。
如图10中的F1和F2所示的第二构图框,为能够覆盖人物对象的最小覆盖图框。用这两类图框框选出来的图像中,人物对象几乎填满了全部区域,显得整个画面较为拥挤,这样的构图对应的图像美学评分相对较低。
电子设备还可以对人物对象的身体像素区域周边的部分像素区域进行切分,即利用切分出来部分周边像素区域和人物对象的身体像素区域组合构图。如图10中的F3所示,从人物对象所在的像素区域向右切分出部分周边区域,使得整个画面显得不至于过于拥挤,主次分明。当然,同时也可以向左切分出少部分的周边区域,避免人物对象过于贴合边缘区域导致感观较差。
如图10中的F4所示,还可以从人物对象所在的像素区域向左切分出部分周边区域,使得整个画面显得不至于过于拥挤,主次分明。当然,同时也可以向右切分出少部分的周边区域,避免人物对象过于贴合边缘区域导致感观较差。
从上述图10中的F3和F4可以看出,在人物对象朝向左侧的情况下,F4的感观相对F3更好,也就是说,向人物对象朝向的同侧切分,得到的构图的感观更好。那么,在为人物对象或者物品对象匹配第二构图框时,可以沿着人物对象或者物品对象的朝向的同侧进行切分,可以得到感观更好的构图,图像美学评分也就相对更高。
在具体实施时,电子设备可以通过人眼、人脸、身体前侧、手臂延伸方向等因素来确定特征对象的主要朝向,再根据特征对象的主要朝向来确定切分方向。例如图11中的(a)所示,如果第一图像中的人物对象是半身像,即可根据人物对象的人眼的位置进行三分构图,得到最终的第二构图框。或者如图11中的(b)所示,如果第一图像中的人物对象是全身像,即可根据全身的位置进行三分构图。当然,也可以使用其他的辅助构图方案,不作限定。
电子设备在实际操作时,可以在获取各基础特征对象之后,为各基础特征对象匹配第二构图框,并在筛选出第一特征对象之后,突出显示所筛选出来的第一特征对象及匹配的第二构图框,并不显示其他未被选作第一特征对象的基础特征对象的第二构图框。当然,电子设备也可以在获取基础特征对象时先不匹配第二构图框,而是在筛选出第一特征对象,仅为各第一特征对象匹配第二构图框并显示,这样可以减少匹配第二构图框的计算量。需要说明的是,图10和图11对人脸像素区域做了模糊化处理,不影响上述方案的解释和实施。
当然在其他情况下,电子设备也可以根据各基础特征对象对应的第二构图框,计算对应的图像美学评分,将图像美学评分较高的几个基础特征图像作为第一特征对象,并将筛选出来的第二特征对象以第二预设方式突出显示。
步骤S502,响应于第一操作,以第一预设方式显示第二特征对象。
电子设备显示的第一图像中包括多个第一特征对象,这多个第一特征对象中可能包括用户关注的特征对象,也可能包括用户不关注的特征对象。此时,需要用户从多个第一特征对象中选择想要拍摄的一个或者多个第一特征对象,再针对该用户选择出来的这一个或者多个第一特征对象进行自动构图。为便于区分描述,将用户选择出来的第一特征对象定义为第二特征对象。
如图6中的(b)所示,电子设备在第一界面内显示多个第一特征对象。用户可以在该第一界面上,通过点选的方式施加第一操作,从多个第一特征对象,选择想要的第二特征对象。用户的手指点击在想要的第一特征对象上,电子设备在检测到作用于该第一特征对象的第一操作时,将该第一特征对象作为第二特征对象。
当然,用户也可以通过语音输入的方式,从多个第一特征对象,选择想要的第二特征对象。例如,电子设备可以在预览界面内各第一特征对象边上备注各第一特征对象的编号或者名称,用户可以直接语音输出对应的第一特征对象的编号或者名称,电子设备通过语音识别出用户选择的第一特征图像作为第二特征对象。
如图5中的(c)所示,或者如图6中的(c)所示,电子设备在确定用户选择的第二特征对象之后,可以以第二预设方式将第二特征对象及匹配的第二构图框突出显示,以便于将将第二特征对象与第二构图框外其他区域的像素特征进行区分显示,以使得用户可以明确其选择的第二特征对象(如图5和图6中的B)。
在其他实施方式中,也可能存在用户想要选择的第二特征对象,在该第一图像包含的全部基础特征对象中,但并未包含在第一次构图推荐时筛选出来的第一特征对象中。这种情况下,用户也可以直接在第一图像中对应该特征对象的像素区域施加触控点选操作,手动选择想要的特征对象。电子设备基于用户的触控点选操作,将用户手动选择的特征对象作为第二特征对象,并将该第二特征对象及匹配的第二构图框进行突出显示。
如图12所示,电子设备先根据第一图像包含的全部基础特征对象(如图12中的(a)所示),基于人物对象偏好字典(如图12中的(b)所示),选择出部分人物对象并进行突出显示(如图12中的(c)所示)。若突出显示的这部分人物对象(人物对象C和人物对象D)中未包含用户想要的人物对象(人物对象B),用户可以直接通过触控点选操作来手动选择特征对象。如图12中的(d)所示,电子设备就可以取消自动筛选的人物对象(人物对象C和人物对象D)的突出显示,将用户手动选择的特征对象(人物对象B)作为第二特征对象进行突出显示。这样,增加了第一次自动构图推荐方案的用户自定义选择方案,还能保证用户能够根据个人实时的喜好自由选择新的特征对象进行拍摄,增加构图推荐方案的多样性。
将各第一特征对象及匹配的第二构图框突出显示。在用户选择出来第二特征对象后,再将该第二特征对象及匹配的第二构图框突出显示,并取消未被选作为第二特征对象的其他特征对象及匹配的第二构图框的突出显示,以进行区分。
当然在其他实施方式中,电子设备也可以在筛选出第一特征对象时,先不显示各第一特征对象匹配的第二构图框。在确定用户选择的第二特征对象之后,仅将该第二特征对象及匹配的第二头图框突出显示。
步骤S503,显示第一构图框。
其中,第一构图框对应第一图像内的第一图块,第一图块包括基于第一图像为第二特征对象美学构图得到的图像。
电子设备基于第一次构图推荐,确定用户选择的第二特征对象,及各第二特征对象的第二构图框,进入第二次构图推荐的流程。
考虑到不同的构图方案,图像美学评分不同,图像质量也就不同。电子设备可以基于该第二构图框中的第二特征对象,确定包含该第二特征对象的其他构图方案对应的构图框并进行第二次构图推荐,以筛选出图像美学评分更高的构图图像。为便于描述,可以将第二次构图推荐得到的其他构图方案对应的构图框定义为第一构图框(如图5和图6中的C)。
在一种实施方式中,如图5中的(b)所示,电子设备先从第一图像中识别出来的全部基础特征对象中确定筛选出来的部分第一特征对象,仅以第二预设方式突出显示第一特征对象,不显示各第一特征对象的第二构图框。如图5中的(c)所示,在用户选中第二特征对象后,以第一预设方式突出显示第二特征对象,不显示第二特征对象的第二构图框。如图5中的(d)所示,在为第二特征对象确定第一构图框之后,再将该第二特征对象的构图框突出显示。最后如图5中的(e),显示最后生成的第二图像。图6所示的显示逻辑同图5所示的显示逻辑,不再赘述。
在其他实施方式中,如图7中的(b)所示,电子设备先从第一图像中识别出来的全部基础特征对象中确定筛选出来的部分第一特征对象,以第二预设方式突出显示第一特征对象以及各第一特征对象的第二构图框。如图7中的(c)所示,在用户选中第二特征对象后,以第一预设方式突出显示第二特征对象及第二特征对象的第二构图框。如图7中的(d)所示,在为第二特征对象确定第一构图框之后,也可以继续以第一预设方式将该第二特征对象的第一构图框突出显示。
电子设备获取包含第二特征对象的其他构图方案对应的第一构图框的方案可以有多种。考虑到包含第二特征对象的其他构图方案的数量较多,其中,大部分的构图方案的图像美学评分都不太高,而基于前述第二构图框的动作微调策略获取的构图方案中,可能会存在图像美学评分较高的构图方案。为获得图像美学评分较高的构图方案,且尽可能地避免增加不必要的计算量,可以仅以缩放策略和平移策略这两种动作策略来为第二特征对象确定最终的第一构图框。
在一种具体实施方式中,电子设备可以先基于第二特征对象的第二构图框,将第二构图框在第一图像中移动之后得到多个构图框,作为备选构图框,再从多个备选构图框中选择一个第一构图框。各备选构图框为第二构图框在第一图像中对应的第二图块的像素特征与各备选构图框在第一图像中对应的第三图块包含的像素特征部分重合,第二图块和各第三图块均为第一图像的部分图块,第二图块和各第三图块均包括第二特征对象。
如图13中的(a)所示,电子设备显示第一图像中第二特征对象的第二构图框,当前的第二构图框为基于该第二特征对象及朝向进行第一次构图推荐得到的。如图13中的(b)所示,将第二构图框在第一图像中移动之后得到多个备选构图框。如图14所示,(a)为第二构图框在第一图像中对应的第二图块,(b)、(c)、(d)和(e)分别为图13中各备选构图框在第一图像中对应的第三图块。可以看出,不同构图框所包含的像素特征,包含的特征对象及特征对象之间的相对位置也不同,也就是不同构图框的构图方案不同,那么,对应的图像美学评分也就不同。基于图像获取方案对高图像美学评分的需求,电子设备可以选择图像美学评分最高的构图框作为最终的第一构图框。
在一种情况下,电子设备可以利用常规的图像美学评分算法可以计算出各构图框的图像美学评分。如图14所示,(a)的图像美学评分可能为80分,(b)的图像美学评分可能为90分,(c)的图像美学评分可能为82分,(d)的图像美学评分可能为78分,(e)的图像美学评分可能为85分。也就是说,(b)所示的备选构图框的图像美学评分高于第二构图框的图像美学评分,以(b)所示的备选构图框提供的构图方案采集的图像可能更具有美感。那么,电子设备就可以选择图13中的(b)所示的备选构图框作为第二特征对象的第一构图框,显示效果如图15所示。相对于图13中的(a)所示的第二特征对象对应的第二构图框,确实更具有美感,符合多数人的审美。
在另一种情况下,电子设备也可以利用预先训练好的图像美学评分模型来获取第一图像的第二构图框和各备选构图框的图像美学评分。图像美学评分模型可以是利用未经训练的神经网络,利用一定数量的样本数据进行多次迭代训练得到的。
在一种具体实施方式中,图像美学评分模型的迭代训练过程可以包括:获取多组样本数据,每组样本数据均包括一个输入样本(一帧样本图像和该样本图像中的各构图框)和一个输出样本(该样本图像中各构图框在样本图像中的图块对应的图像美学评分,或者说各构图框的图像美学评分)。将样本图像和样本图像中的各构图框作为输入值,将样本图像中各构图框的图像美学评分作为输出值,迭代训练神经网络直至收敛,得到的模型即可作为图像美学评分模型。实际应用中,需准备多组训练样本,并采用多组训练样本训练该图像美学评分模型,以提升模型精度。
电子设备将预先训练好的图像美学评分模型存储并运行,之后即可将第二构图框对应的第二图块输入预先训练好的图像美学评分模型,获取第二构图框的图像美学评分,以及,将各备选构图框对应的第三图块分别输入图像美学评分模型,获取各述备选构图框的图像美学评分。之后,电子设备再根据第二构图框的图像美学评分和各备选构图框的图像美学评分,选择图像美学评分最高的构图框作为第一构图框。
在其他实施方式中,也可以训练图像美学评分模型针对各构图框对应的图块单独获取图像美学评分的能力。那么,在迭代训练时,输入样本就可以为一个构图框对应的图块,对应的输出样本就是该构图框的图像美学评分。这种情况下,针对构图框较多的情况,就需要分别输入各构图框的图块来依次获取对应的图像美学评分,相对前一种批量获取多个构图框的图像美学评分的方案来说,单次的计算量少但计算次数较多,总体的计算时间较长。
电子设备基于第二特征对象获取多个备选构图框的步骤,也可以利用一个轻量的神经网络来实现,这样可以极大程度地减少第二次构图推荐过程中关于扩充构图框的计算量。如图16所示,电子设备可以一个预先训练好的图框移动策略模型,来获得对应第二构图框的多个备选构图框。图框移动策略模型具备获取在第一图像上将第二构图框按照多个预设移动策略移动之后的构图框的能力。其中,如图17所示,预设移动策略可以包括向左平移(a)、向右平移(b)、向上平移(c)、向下平移(d)、左下缩放(e)、左上缩放(f)、右下缩放(g)、右上缩放(h)和四角斜向缩放(i)中的至少一种。
如图16所示,电子设备利用预先训练好的图框移动策略模型来获取多个备选构图框。图框移动策略模型可以将未经训练的神经网络,利用一定数量的样本数据进行多次迭代训练得到的。如图16中所示,所使用的神经网络的主要结构层可以依次包括卷积层(Convolution Layer)、池化层(Pooling Layer)、三个全连接层(Fully connectedLayer)、归一化层,多层之间相互配合实现神经网络的特征学习和算法收敛。当然,神经网络的结构层也可以有其他实现方式,不作限定。
在一种具体实施方式中,图框移动策略模型的迭代训练过程可以包括:获取多组样本数据,每组样本数据均包括一个输入样本(一帧样本图像和该样本图像中的一个已有构图框)和一个输出样本(该样本图像中的多个备选构图框,备选构图框为已有构图框经过预设移动策略得到)。将样本图像和样本图像中的已有构图框作为输入值,将样本图像中各备选构图框作为输出值,迭代训练神经网络直至收敛,得到的模型即可作为图框移动策略模型。一组样本数据进行单次训练的过程可以包括:卷积层提取特征图(Feature Maps),池化层进行感兴趣区域池化处理(Region Of Interest Pooling),经由多个全连接层进行移动策略(Action History)归纳,再经由归一化层(Normalization Layer)得到图框计算结果。实际应用中,需准备多组训练样本,并采用多组训练样本训练该图框移动策略模型,以提升模型精度。
电子设备将预先训练好的图框移动策略模型存储并运行,之后即可将第一图像及第二特征的第二构图框输入预先训练好的图框移动策略模型,获取第一构图框的多个备选构图框。需要说明的是,第二构图框和备选构图框都是基于第一图像的图框,用于框选第一图像中部分像素区域的构图框,第二构图框与各备选构图框所框选的像素区域不同且存在部分重合,重合的像素区域通常为第二特征对象所在的像素区域。
本实施方式中,电子设备可以先通过图框移动策略网络来确定出第二特征对象关联的多个备选第二构图框,再基于图像美学评分模型获取各构图框的图像美学评分,并从中选择图像美学评分最高的第一构图框进行构图推荐。这样,电子设备既能获取图像美学评分最高的构图框,又可以极大程度地减少计算量,避免盲目地计算所有关联构图框导致的过多计算量,提高构图推荐效率。
如图18中的(a)所示,电子设备在为第二特征对象确定第一构图框(如图18中的A)之后,用户还可以手动调整该第一构图框,以调整第一构图框在第一图像上框选的第一图块的像素区域。如图18中的(b)所示,电子设备按照用户的手指对第一构图框的调整操作,显示调整后的第一构图框。在这个过程中,电子设备还可以持续显示调整前的第一构图框的图像美学评分和调整后的第一构图框的图像美学评分(如图18中的B),这样用户也能直观地看到调整后的第一构图框的图像美学评分更高还是更低了,便于进行更灵活地选择,增加了交互体验。
在前述各实施方式的基础上,电子设备在显示第一图像、第一图像上的各构图框或者第二图像时,都可以显示对应的图像美学评分。如图7中的E所示,或者如图18中的B所示,该第二提示信息可以包括对应各图像或者图框的构图方案的图像美学评分。电子设备所显示的第二提示信息,可以让用户更直观地感受到构图方案改进前后的图像美学方案的对比,增加图像获取方法的趣味性和交互体验。
步骤S504,显示第二图像。
其中,第二图像为基于第一图块获取的图像,第二图像包括第二特征对象。
如图5中的(d)所示,电子设备基于前述步骤获取用户选中的第二特征对象的第一构图框之后,即可根据该第一构图框在第一图像中对应的第三图块,生成一个新的图像,如图5中的(e)所示,或者如图6中的(d)所示。为便于区别显示,电子设备新生成的图像定义为第二图像,第二图像与第一图像相对应。电子设备基于第二构图框来获取一个第二图像的步骤,可以是电子设备基于预配置流程主动触发,例如在确定第一构图框之后即自动触发生成第二图像并显示的流程。当然,电子设备也可以基于用户作用于相机应用的预览界面内的拍摄控件来触发。例如图7中的(d)所示,电子设备确定第一构图框之后,用户可以在拍摄控件(如图7中所示的D)上点击,即触发获取第二图像并显示的操作,或者如图7中的(e)所示。电子设备检测到作用于拍摄控件的点击操作之后,运行3A逻辑(自动曝光(AutoExposure,AE)、自动对焦(Automatic Focus,AF)、自动白平衡(Automatic white balance,AWB)),进行图像采集操作。具体运行3A逻辑的过程可以参见常规拍摄的过程,不再赘述。
电子设备基于第一图像的第一构图框生成第二构图框的方式可以有多种。例如,电子设备可以直接从第一图像中第一构图框对应的第一图块裁切出来,作为第二图像。那么,该第二图像的尺寸就等于第一图像中第一构图框的尺寸,图像尺寸相对较小。
在其他实施方式中,电子设备也可以将从第一图像中第一构图框对应的第一图块进行超分辨率重建处理,得到与第一图像的尺寸相同的第二图像。其中,超分辨率(Super-Resolution,SR)重建处理是指利用光学及其相关光学知识,根据已知图像信息恢复图像细节和其他数据信息的过程,增大图像的分辨率,防止其图像质量下降。
在另一种实施方式中,电子设备在确定第一构图框之后,还可以增设切换摄像头来获取第二图像的方案。
电子设备配置的摄像头包括多个不同的镜头,例如主摄镜头、长焦镜头、景深镜头、广角镜头等。具体的,主摄镜头是具备一定分辨率的常规镜头。长焦镜头的视角小且焦距长,可以拍出更小范围的且举例更远的图像,保证图像的清晰度,长焦镜头的取景范围通常位于主摄镜头的取景范围的中央区域。广角镜头是指带有广角功能的镜头,广角镜头的视角比一般镜头广而焦距短,常用于拍摄面积很大的物体。广角镜头和长焦镜头能够弥补主摄镜头的不足,提高拍摄效果。景深镜头能够根据视场角范围内各物象的距离,来选择对部分物象所在图像区域做虚化处理等。相机模组还可以包括其他常用镜头,不作赘述。
通常情况下,相机应用开启后,默认启动的镜头是主摄镜头,主摄镜头的视角大于长焦镜头,且清晰度低于长焦镜头。而在前述基于第一图像的第一构图框获取第二图像的过程,取景范围缩小,且要求清晰度提高,那么,将主摄镜头切换为长焦镜头,就可以实现这个技术效果。另外,考虑到同一个电子设备的主摄镜头和长焦镜头,电子设备不移动的情况下,长焦镜头的取景范围位于主摄镜头的取景范围的中央区域。为了实现基于第一图像的第一构图框获取第二图像,还需要保证第一构图框尽量位于第一图像的中央区域,也就是长焦镜头当前的取景范围内。或者移动电子设备,使得第一构图内的第二特征对象及其他特征对象位于长焦镜头的取景范围内。
在一种具体实施方式中,电子设备在确定第二特征对象的第一构图框之后,可以先判断第二特征对象当前是否位于电子设备的长焦镜头的取景范围内,根据判断结果可以有三种处理方案:
第一种处理方案为,若第二特征对象位于电子设备的长焦镜头的取景范围内,则执行切换长焦镜头重新采集一帧新的图像的方案。
如图19中的(a)所示,电子设备在确定第二特征对象的第一构图框之后,若该第二特征对象当前已经位于长焦镜头的取景范围内,则电子设备可以直接将主摄镜头圈切换为长焦镜头,控制长焦镜头采集一帧新的图像,定义该新的图像为第三图像。如图19中的(b)所示,电子设备根据第一构图框在第三图像中对应的第四图块,生成第二图像。新生成的第二图像,构图方案与第一构图框的构图方案几乎相同,图像美学评分较高。另外,第二图像是由长焦镜头采集得到的,清晰度也比较高。
第二种处理方案为,若第二特征对象不长焦镜头的取景范围内,可以直接基于第一图像利用超分辨率重建处理的方案得到第二图像,无需采集一帧新的图像。
第三种处理方案为,若第二特征对象不位于长焦镜头的取景范围内,电子设备也可以输出第一提示信息,提示用户移动电子设备,以使得第二特征对象位于长焦镜头的取景范围。
如图19中的(c)所示,电子设备确定第一构图框不位于电子设备的长焦镜头的取景范围内,则输出第一提示信息;其中,第一提示信息用于提示用户调整长焦镜头的取景范围,以使得第二特征对象位于长焦镜头的取景范围内,第一提示信息包括文字提示信息和移动路径提示信息中的至少一种。
电子设备在输出第一提示信息之后,可以再次检测第二特征对象是否位于长焦镜头的取景范围内。若第二特征对象位于长焦镜头的取景范围内,则可以按照上述第一种处理方案获取第二图像。若第二特征对象仍不位于长焦镜头的取景范围内,则可以按照上述第二种处理方案获取第二图像。
在其他实施方式中,电子设备也可以设置一个等待时段,等待时段可以为系统预配置的等待时段,例如1秒或者3秒。在该等待时段结束时再次检测第二特征对象是否位于长焦镜头的取景范围内。如图20中的(a)、(b)和(c)中的A所示,在该等待时段内,电子设备也可以设置第三提示信息,该第三提示信息可以为等待时段的倒计时。
前述各实施例均是从电子设备的界面和交互上解释图像获取方法的具体实施过程,下面将提供一种实施方式,基于电子设备的内部软件框架,解释图像获取方法的具体实施过程。
如图21所示,为电子设备的内部软件框架的示意图。从电子设备的系统层面上,电子设备可以包括应用层、框架层、硬件抽象层和内核层。应用层运行有相机应用,框架层运行有相机服务,硬件抽象层运行有摄像头硬件调用模块,该摄像头硬件调用模块包括接口模块、传感器调用模块、图像处理模块、构图框获取模块、摄像头切换模块和图像超分辨率处理模块,配合实现图像获取功能。此外,内核层运行有摄像头驱动和摄像头传感器,基于硬件抽象层的调用,采集图像,并将采集的图像数据返回至硬件抽象层进行处理。电子设备基于构图推荐执行图像获取方法的过程为:
在应用层,相机应用接收用户的触控操作,此处所指的触控操作可以包括用户开启相机应用的操作,或者点击相机应用内的构图模式的操作。相机应用将触控操作所对应的操作参数发送至框架层。
在框架层,相机服务接收触控操作的操作参数,依据操作参数生成图像获取请求,该图像获取请求指示在图像获取过程中进行构图推荐,以获得图像评分更高的特写图像。相机服务将图像获取请求下发至硬件抽象层。
在硬件抽象层,接口模块将所接收的图像获取请求转发至传感器调用模块,由传感器调用模块确定调用的摄像头传感器及摄像头传感器关联的摄像头驱动。传感器调用模块调用各摄像头传感器对应的摄像头驱动,驱动对应的摄像头传感器按照确定的摄像头曝光时刻序列进行曝光,采集图像。此处所涉及的摄像头包括主摄镜头和长焦镜头,所调用的摄像头传感器和摄像头驱动也包括主摄镜头对应的摄像头传感器和摄像头驱动,以及长焦镜头对应的摄像头传感器和摄像头驱动。摄像头驱动将摄像头传感器采集的图像数据发送至硬件抽象层。
硬件抽象层内还包括图像处理模块和构图框获取模块。其中,图像处理模块接收摄像头驱动采集的图像数据,对图像数据进行处理,将初始采集的图像数据生成第一图像。图像处理模块将第一图像经由相机服务上传至相机应用,在相机应用的预览界面内进行显示。
此外,图像处理模块根据第一图像的像素特征,指示构图框获取模块获取各特征对象的构图框,例如获取第一特征对象的第二构图框。图像处理模块基于构图框获取模块获取的第一构图框,经由相机服务上传至相机应用,在第一图像上显示各第一特征对象的第二构图框。
相机应用还可以接收用户选择第二特征对象的触控操作,经由接口模块将选择第二特征对象的指示信息传输至图像处理模块。图像处理模块基于该选择第二特征对象的指示信息,将,控制构图框获取模块获取第二特征对象的第一构图框,并将该第一构图框经由相机服务传输至相机应用进行显示。
此外,硬件抽象层内还包括图像超分辨率处理模块,图像超分辨率处理模块与图像处理模块连接。图像处理模块在确定第二特征对象的第一构图框之后,可以控制图像超分辨率处理模块基于第一图像中的,第一构图框对象的第一图框进行超分辨率重建处理,得到第二图像。由图像处理模块将该第二图像镜头相机服务上传至相机应用内进行显示和存储。
在由主摄镜头切换为长焦镜头的图像获取方案中,图像处理模块还可以指示摄像头切换模块,将主摄镜头切换为长焦镜头。摄像头切换模块经由传感器调用模块,切换调用长焦镜头对应的摄像头传感器和摄像头驱动,控制长焦镜头采集图像。长焦镜头对应的摄像头驱动将采集的第三图像的图像数据发送至图像处理模块,图像处理模块处理得到第二图像,再经由相机服务上传至相机应用进行显示和存储。
当然,电子设备的软件框架内还有一些其他的辅助模块,例如辅助图像显示的显示模块、辅助存储的存储模块等,不再赘述。
此外,本申请实施例还提供一种电子设备,包括摄像头、存储器和处理器;
存储器存储计算机执行指令;
处理器执行存储器存储的计算机执行指令,使得电子设备执行上述实施例提供的图像获取方法。除此部分主要器件之外,电子设备还包括用于实现基础功能的元器件,下面将结合图22进行具体说明。
此外,本申请实施例还提供一种电子设备,包括摄像头、存储器和处理器,摄像头和存储器与处理器耦合;
存储器存储计算机执行指令;
处理器执行存储器存储的计算机执行指令,使得电子设备执行上述实施例提供的图像获取方法。除此部分主要器件之外,电子设备还包括用于实现基础功能的元器件,下面将结合图22进行具体说明。
如图22所示为本申请实施例提供的一种电子设备2200的结构示意图。其中,电子设备2200可以包括处理器2210,存储器2220,摄像头2230,显示器2240,通信模块2250,传感器2260等。其中传感器2260可以包括陀螺仪传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,触摸传感器,环境光传感器等。
本发明实施例示意的结构并不构成对电子设备2200的限定。可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器2210可以包括一个或多个处理单元。例如,处理器2210可以包括应用处理器(Application Processor,AP),调制解调处理器,图形处理器(Graphics ProcessingUnit,GPU),图像信号处理器(Image Signal Processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(Digital Signal Processor,DSP),基带处理器,和/或神经网络处理器(Neural-Network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
上述控制器可以是指挥电子设备2200的各个部件按照指令协调工作的决策者。是电子设备2200的神经中枢和指挥中心。控制器根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器2210中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器2210中的存储器为高速缓冲存储器,可以保存处理器2210刚用过或循环使用的指令或数据。如果处理器2210需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器2210的等待时间,因而提高了系统的效率。
在一些实施例中,处理器2210可以包括接口。接口可以包括集成电路(Inter-Integrated Circuit,I2C)接口,集成电路内置音频(Inter-Integrated Circuit Sound,I2S)接口,脉冲编码调制(Pulse Code Modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(Mobile Industry Processor Interface,MIPI),通用输入输出(General-PurposeInput/Output,GPIO)接口,SIM接口,和/或USB接口等。
本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备2200的结构限定。电子设备2200可以采用本发明实施例中不同的接口连接方式,或多种接口连接方式的组合。
电子设备还可以包括充电管理模块、电源管理模块和电池,配合为电子设备充电,为电子设备内的各功能模块提供电源信号。
电子设备2200的无线通信功能可以通过天线,天线,射频模块,通信模块2250,调制解调器以及基带处理器等实现。
天线和天线用于发射和接收电磁波信号。电子设备2200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将蜂窝网天线复用为无线局域网分集天线。在一些实施例中,天线可以和调谐开关结合使用。
调制解调器可以包括调制器和解调器。在一些实施例中,调制解调器可以独立于处理器2210,与射频模块或其他功能模块设置在同一个器件中。
通信模块2250可以提供应用在电子设备2200上的包括无线局域网(WirelessLocal Area Networks,WLAN)(如无线保真(Wireless Fidelity,Wi-Fi)网络),个人热点,蓝牙(Blue Tooth,BT),全球导航卫星系统(Global Navigation Satellite System,GNSS),调频(Frequency Fodulation,FM),近距离无线通信技术(Near FieldCommunication,NFC),红外技术(InFrared,IR)等无线通信的解决方案的通信处理模块。通信模块2250可以是集成至少一个通信处理模块的一个或多个器件。
在一些实施例中,电子设备2200的天线和射频模块耦合,天线和通信模块2250耦合,使得电子设备2200可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(Global System for Mobile communications,GSM),通用分组无线服务(General Packet Radio Service,GPRS),码分多址接入(Code DivisionMultiple Access,CDMA),宽带码分多址(Wideband Code Division Multiple Access,WCDMA),时分码分多址(Time-Division Code Division Multiple Access,TD-SCDMA),长期演进(Long Term Evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。GNSS可以包括全球卫星定位系统(satellite based Augmentation Systems,SBAS),全球导航卫星系统(GLObal NavigAtion Satellite System,GLONASS),北斗卫星导航系统(BeiDounavigation Satellite system,BDS),准天顶卫星系统(Quasi-Zenith SatelliteSystem,QZSS)和/或星基增强系统(Satellite Based Augmentation Systems,SBAS)。
电子设备2200通过GPU,显示器2240,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示器2240和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器2210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示器2240用于显示图像,视频等。显示器2240包括显示面板。显示面板可以采用液晶显示器(Liquid Crystal Display,LCD),有机发光二极管(Organic Light-EmittingDiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-MatrixOrganic Light Emitting Diode,AMOLED),柔性发光二极管(Flexible Light-EmittingDiode,FLED),Miniled,MicroLED,Micro-OLED,量子点发光二极管(Quantum dot LightEmitting Diodes,QLED)等。在一些实施例中,电子设备2200可以包括1个或N个显示器2240,N为大于1的正整数。
电子设备2200可以通过ISP,摄像头2230,视频编解码器,GPU,显示器以及应用处理器等实现拍摄功能。ISP 用于处理摄像头2230反馈的数据。
摄像头2230用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备2200可以包括1个或N个摄像头2230,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备2200在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备2200可以支持一种或多种视频编解码器。这样,电子设备2200可以播放或录制多种编码格式的视频,例如:动态图像专家组(Moving Picture Experts Group,MPEG)1,MPEG2,MPEGX,MPEG4等。
存储器2222可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器2210通过运行存储在内部存储器2222的指令,从而执行电子设备2200的各种功能应用以及数据处理。存储器2222可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备2200使用过程中所创建的数据(比如音频数据,电话本等)等。此外,存储器2222可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,其他易失性固态存储器件,通用闪存存储器(Universal FlashStorage,UFS)等。
电子设备2200可以通过音频模块,扬声器,受话器,麦克风,耳机接口,以及应用处理器等实现音频功能。例如音乐播放,录音等。
电子设备还可以包括按键,如开机键,音量键等。按键可以是机械按键。也可以是触摸式按键。电子设备2200接收按键输入,产生与电子设备2200的用户设置以及功能控制有关的键信号输入。
电子设备还可以包括马达,马达可以产生振动提示。马达可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示器2240不同区域的触摸操作,也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
前述实施例中的图像获取方法均可以在具有上述硬件结构的电子设备2200中实现。
本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行上述实施例提供的图像获取方法。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机可以执行如上述实施例提供的图像获取方法。
本申请实施例提供的电子设备及计算机可读存储介质,和包含指令的计算机程序产品的具体实施方式及其所带来的技术效果,可参见前述实施例提供的图像获取方法的具体实施过程及其所带来的技术效果,此处不再赘述。
在一些实施例中,通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本申请实施例的具体实施方式,但本申请实施例的保护范围并不局限于此,任何在本申请实施例揭露的技术范围内的变化或替换,都应涵盖在本申请实施例的保护范围之内。因此,本申请实施例的保护范围应以权利要求的保护范围为准。
Claims (20)
1.一种图像获取方法,其特征在于,应用于电子设备,所述电子设备包括一个或多个摄像头,所述方法包括:
显示第一界面;所述第一界面是所述电子设备拍摄的预览界面,所述第一界面包括所述摄像头采集的第一图像,所述第一图像包括至少一个第一特征对象,所述第一特征对象为人物对象或者物品对象;
响应于第一操作,以第一预设方式显示第二特征对象;其中,所述第二特征对象是所述第一操作从所述至少一个第一特征对象中选择的;
显示第一构图框;其中,所述第一构图框对应所述第一图像内的第一图块,所述第一图块包括基于所述第一图像为所述第二特征对象美学构图得到的图像;
显示第二图像;其中,所述第二图像为基于所述第一图块获取的图像,所述第二图像包括所述第二特征对象。
2.根据权利要求1所述的图像获取方法,其特征在于,所述第一界面还包括所述第一图像中各个第一特征对象的第二构图框,所述第二构图框对应所述第一图像内的第二图块,所述第二图块包括对应的第一特征对象。
3.根据权利要求2所述的图像获取方法,其特征在于,所述第二图块包括基于所述第一图像为所述第一特征对象美学构图得到的图像。
4.根据权利要求2或3所述的图像获取方法,其特征在于,所述显示第一界面的步骤,包括:
响应于对相机应用的第二操作,显示第二界面;其中,所述第二界面是所述电子设备拍摄的预览界面,所述第二界面包括预设控件,所述预设控件用于触发所述电子设备针对预览图像中的特征对象进行美学构图;
响应于对所述预设控件的点击操作,显示所述第一界面。
5.根据权利要求2或3所述的图像获取方法,其特征在于,所述第一界面上还包括各所述第二构图框对应第二图块的图像美学评分。
6.根据权利要求1-3中任一项所述的图像获取方法,其特征在于,所述显示第一构图框的步骤,包括:
显示第三界面,所述第三界面包括所述第一构图框;其中,所述第三界面还包括所述第一构图框对应第一图块的图像美学评分。
7.根据权利要求1-3中任一项所述的图像获取方法,其特征在于,所述方法还包括:
若所述第一构图框未处于所述摄像头取景范围的中心区域,输出第一提示信息;其中,所述第一提示信息用于提示用户移动所述电子设备使所述第一构图框处于所述中心区域。
8.根据权利要求2或3所述的图像获取方法,其特征在于,所述第二构图框的获取步骤,包括:
确定所述第一特征对象的主体像素区域和所述第一特征对象的朝向;其中,所述第一特征对象的朝向包括人脸朝向、人眼朝向、身体朝向、物品朝向中的至少一种;
确定所述第一特征对象的周边像素区域;其中,所述第一特征对象的周边像素区域为在所述第一图像中,从所述第一特征对象的主体像素区域沿所述第一特征对象的朝向进行延伸切分得到的像素区域;
确定所述第一特征对象对应的第二构图框;其中,所述第二构图框的框选范围包括所述第一特征对象的主体像素区域和所述第一特征对象的周边像素区域。
9.根据权利要求8所述的图像获取方法,其特征在于,所述确定所述第一特征对象对应的第二构图框的步骤,包括:
若所述第一特征对象为人物对象,且所述第一特征对象的身体类型为半身类型,则以所述第一特征对象的人眼位置为中心,对所述第一特征对象的主体像素区域和所述第一特征对象的周边像素区域执行三分构图处理,得到所述第二构图框;
若所述第一特征对象为人物对象且所述第一特征对象的身体类型为全身类型,或者若所述第一特征对象为物品对象,则对所述第一特征对象的主体像素区域和所述第一特征对象的周边像素区域进行中心构图处理,得到所述第二构图框。
10.根据权利要求2或3、9中任一项所述的图像获取方法,其特征在于,所述显示第一构图框的步骤之前,所述方法还包括:
基于所述第二特征对象的第二构图框,确定多个备选构图框;其中,所述备选构图框为所述第二构图框在所述第一图像中移动之后得到的构图框,所述第二构图框在所述第一图像中对应的第二图块的像素特征与各备选构图框在所述第一图像中对应的第三图块包含的像素特征部分重合,所述第二图块和各所述第三图块均为所述第一图像的部分图块,所述第二图块和各所述第三图块均包括所述第二特征对象;
从所述第二构图框和多个所述备选构图框中选择一个构图框,作为所述第一构图框;其中,所述第一构图框为所述第二构图框和多个所述备选构图框中图像美学评分最高的构图框,所述第一构图框的图像美学评分为所述第一构图框对应的所述第一图块的图像美学评分,所述第二构图框的图像美学评分为所述第二构图框对应的所述第二图块的图像美学评分,每个所述备选构图框的图像美学评分为对应的第三图块的图像美学评分。
11.根据权利要求10所述的图像获取方法,其特征在于,所述基于所述第二特征对象的第二构图框,确定多个备选构图框的步骤,包括:
将所述第一图像和所述第二构图框输入预先训练好的图框移动策略模型,输出所述第一图像的多个所述备选构图框;其中,所述图框移动策略模型具备获取在第一图像上将所述第二构图框按照多个预设移动策略移动之后的构图框的能力。
12.根据权利要求11所述的图像获取方法,其特征在于,所述预设移动策略包括向左平移、向右平移、向上平移、向下平移、左下缩放、左上缩放、右下缩放、右上缩放和四角斜向缩放中的至少一种。
13.根据权利要求11或12所述的图像获取方法,其特征在于,所述从所述第二构图框和多个所述备选构图框中选择一个构图框,作为所述第一构图框的步骤,包括:
将所述第二构图框对应的所述第二图块输入预先训练好的图像美学评分模型,获取所述第二构图框的图像美学评分,以及,将各所述备选构图框对应的所述第三图块分别输入所述图像美学评分模型,获取各述备选构图框的图像美学评分;
根据所述第二构图框的图像美学评分和各所述备选构图框的图像美学评分,选择图像美学评分最高的构图框作为所述第一构图框。
14.根据权利要求7所述的图像获取方法,其特征在于,所述显示第二图像的步骤之前,所述方法还包括:
判断所述第一构图框当前是否处于所述摄像头取景范围的中心区域;
若所述第一构图框当前处于所述摄像头取景范围的中心区域,控制所述摄像头中的长焦镜头采集一帧第三图像;
根据所述第一构图框在所述第三图像中对应的第四图块,生成所述第二图像。
15.根据权利要求14所述的图像获取方法,其特征在于,所述第一提示信息包括文字提示信息、语音提示信息、移动路径提示信息中的至少一种。
16.根据权利要求14或15所述的图像获取方法,其特征在于,所述判断所述第一构图框当前是否处于所述摄像头取景范围的中心区域的步骤之后,所述方法还包括:
若所述第一构图框当前未处于所述摄像头取景范围的中心区域,对所述第一图块进行超分辨率重建处理,得到所述第二图像。
17.根据权利要求1-3、9、11、12、14、15中任一项所述的图像获取方法,其特征在于,所述方法还包括:
识别所述第一图像包含的全部基础特征对象;
在所述第一界面以第二预设方式显示所述至少一个第一特征对象;其中,所述至少一个第一特征对象为基于预设筛选方案从所述全部基础特征对象中选择的部分基础特征对象,所述预设筛选方案包括用户偏好筛选方案或者特征对象尺寸筛选方案。
18.根据权利要求17所述的图像获取方法,其特征在于,所述预设筛选方案为用户偏好筛选方案;
所述在所述第一界面以第二预设方式显示所述至少一个第一特征对象的步骤之前,所述方法还包括:
获取所述电子设备关联的偏好特征对象的像素特征;其中,所述偏好特征对象包括人物特征对象和/或物品特征对象,所述电子设备关联的偏好特征对象为对所述电子设备的历史图像进行像素特征分析所识别得到的全部特征对象中,出现频次高于预设频次的特征对象;
根据各所述基础特征对象与所述电子设备关联的偏好特征对象的匹配度,从全部基础特征对象中筛选出所述第一特征对象。
19.一种电子设备,其特征在于,包括摄像头、存储器和处理器,所述摄像头、所述存储器均与所述处理器耦合;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,使得电子设备执行如权利要求1至18中任一项所述图像获取方法。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行如权利要求1至18中任一项所述的图像获取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311454485.7A CN117177052B (zh) | 2023-11-03 | 2023-11-03 | 图像获取方法、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311454485.7A CN117177052B (zh) | 2023-11-03 | 2023-11-03 | 图像获取方法、电子设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117177052A true CN117177052A (zh) | 2023-12-05 |
CN117177052B CN117177052B (zh) | 2024-05-14 |
Family
ID=88941736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311454485.7A Active CN117177052B (zh) | 2023-11-03 | 2023-11-03 | 图像获取方法、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117177052B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107743193A (zh) * | 2017-09-26 | 2018-02-27 | 深圳市金立通信设备有限公司 | 图片编辑方式的选择方法、终端及计算机可读存储介质 |
CN112866557A (zh) * | 2019-11-28 | 2021-05-28 | 荣耀终端有限公司 | 构图推荐方法和电子设备 |
CN113570626A (zh) * | 2021-09-27 | 2021-10-29 | 腾讯科技(深圳)有限公司 | 图像裁剪方法、装置、计算机设备及存储介质 |
CN114025099A (zh) * | 2021-11-25 | 2022-02-08 | 努比亚技术有限公司 | 一种拍摄图像构图调控方法、设备及计算机可读存储介质 |
CN114549830A (zh) * | 2020-11-25 | 2022-05-27 | 博泰车联网科技(上海)股份有限公司 | 图片获取方法及装置、电子设备、计算机存储介质 |
-
2023
- 2023-11-03 CN CN202311454485.7A patent/CN117177052B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107743193A (zh) * | 2017-09-26 | 2018-02-27 | 深圳市金立通信设备有限公司 | 图片编辑方式的选择方法、终端及计算机可读存储介质 |
CN112866557A (zh) * | 2019-11-28 | 2021-05-28 | 荣耀终端有限公司 | 构图推荐方法和电子设备 |
CN114549830A (zh) * | 2020-11-25 | 2022-05-27 | 博泰车联网科技(上海)股份有限公司 | 图片获取方法及装置、电子设备、计算机存储介质 |
CN113570626A (zh) * | 2021-09-27 | 2021-10-29 | 腾讯科技(深圳)有限公司 | 图像裁剪方法、装置、计算机设备及存储介质 |
CN114025099A (zh) * | 2021-11-25 | 2022-02-08 | 努比亚技术有限公司 | 一种拍摄图像构图调控方法、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117177052B (zh) | 2024-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102381713B1 (ko) | 촬영 방법, 촬영 장치, 및 이동 단말 | |
CN113556461B (zh) | 一种图像处理方法、电子设备及计算机可读存储介质 | |
WO2022042776A1 (zh) | 一种拍摄方法及终端 | |
CN106688227B (zh) | 多摄像装置、多摄像方法 | |
CN113542581A (zh) | 多路录像的取景方法、图形用户界面及电子设备 | |
CN110572584B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
WO2022001806A1 (zh) | 图像变换方法和装置 | |
CN112425156A (zh) | 一种基于连拍选择图像的方法及电子设备 | |
US11847769B2 (en) | Photographing method, terminal, and storage medium | |
CN112184722B (zh) | 图像处理方法、终端及计算机存储介质 | |
CN114466133B (zh) | 拍照方法及装置 | |
CN112866557A (zh) | 构图推荐方法和电子设备 | |
CN110581957B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
WO2022156672A1 (zh) | 拍照方法、装置、电子设备及可读存储介质 | |
CN113497880A (zh) | 一种拍摄图像的方法及电子设备 | |
CN114697530B (zh) | 一种智能取景推荐的拍照方法及装置 | |
CN117177052B (zh) | 图像获取方法、电子设备及计算机可读存储介质 | |
JP7128347B2 (ja) | 画像処理装置、画像処理方法及びプログラム、撮影装置 | |
CN115225756A (zh) | 确定目标对象的方法、拍摄方法和装置 | |
JP7169431B2 (ja) | 画像処理装置、画像処理方法及びプログラム、撮影装置 | |
US20230385993A1 (en) | Image processing method and apparatus, electronic device, storage medium and chip | |
CN115334240B (zh) | 图像拍摄方法、智能终端及存储介质 | |
CN117745620B (zh) | 一种图像处理方法及电子设备 | |
CN112188085B (zh) | 一种图像处理方法及手持云台相机 | |
RU2785789C1 (ru) | Фотографирование с использованием обработки режима ночной съемки и пользовательский интерфейс |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |