CN117135452A - 拍摄方法和电子设备 - Google Patents
拍摄方法和电子设备 Download PDFInfo
- Publication number
- CN117135452A CN117135452A CN202310363698.2A CN202310363698A CN117135452A CN 117135452 A CN117135452 A CN 117135452A CN 202310363698 A CN202310363698 A CN 202310363698A CN 117135452 A CN117135452 A CN 117135452A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- zoom magnification
- electronic device
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 108
- 238000012545 processing Methods 0.000 claims abstract description 59
- 230000004044 response Effects 0.000 claims abstract description 29
- 239000003550 marker Substances 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 347
- 230000015654 memory Effects 0.000 claims description 56
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 12
- 241001465754 Metazoa Species 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 39
- 241000282472 Canis lupus familiaris Species 0.000 description 33
- 238000004422 calculation algorithm Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 26
- 230000006870 function Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 13
- 241000282326 Felis catus Species 0.000 description 12
- 238000007726 management method Methods 0.000 description 10
- 238000010295 mobile communication Methods 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 5
- 229920001621 AMOLED Polymers 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及终端领域,提供了一种拍摄方法和电子设备,应用于电子设备,电子设备包括第一摄像头与第二摄像头,所述第二摄像头为可转动的摄像头,所述方法包括:开启相机应用程序;显示第一界面,第一界面包括预览窗和第一控件;检测到对第一标记的第一操作;响应于第一操作,转动第二摄像头并采集第二图像;基于第一拍摄对象的类别确定第二变焦倍率;基于第二变焦倍率对第二图像进行图像处理,得到第三图像;若第二变焦倍率大于或者等于第一预设变焦倍率,显示第二界面。基于本申请的方案,能够在扩大变焦范围的情况下,实现电子设备的智能变焦;提高用户的拍摄体验。
Description
技术领域
本申请涉及终端领域,具体地,涉及一种拍摄方法和电子设备。
背景技术
随着电子设备中拍照功能的发展,相机应用程序在电子设备中的应用越来越广泛。目前,在现有的拍摄模式下,用户通常需要通过双指滑动实现拍摄过程中的变焦;导致用户拍摄时的操作较繁琐,智能化较低;此外,由于摄像头的硬件限制,导致摄像头的视场角存在一定局限;由于摄像头的视场角在一定局限,使得电子设备的变焦范围是有限的,无法满足用户在不同场景的拍摄需要;导致用户的拍摄体验感较差。
因此,在扩大变焦范围的情况下,如何实现智能变焦成为一个亟需解决的问题。
发明内容
本申请提供了一种拍摄方法和电子设备,能够在扩大变焦范围的情况下,实现电子设备的智能变焦;提高用户的拍摄体验。
第一方面,提供了一种拍摄方法,应用于电子设备,所述电子设备包括第一摄像头与第二摄像头,所述第二摄像头为可转动的摄像头,所述方法包括:
开启相机应用程序;
显示第一界面,所述第一界面包括预览窗和第一控件,所述预览窗中显示第一图像,所述第一图像包括一个或多个标记与图像内容,所述一个或多个标记对应于所述第一图像中的一个或多个拍摄对象,所述一个或多个标记包括第一标记,所述第一标记对应所述第一图像中的第一拍摄对象,所述图像内容用于指示所述一个或者多个拍摄对象,所述第一图像为所述第一摄像头采集的图像,所述第一控件上显示第一变焦倍率;
检测到对所述第一标记的第一操作;
响应于所述第一操作,转动所述第二摄像头并采集第二图像;
基于所述第一拍摄对象的类别确定第二变焦倍率;
基于所述第二变焦倍率对所述第二图像进行图像处理,得到第三图像;
若第二变焦倍率大于或者等于第一预设变焦倍率,显示第二界面;其中,所述第二界面包括所述预览窗与第一窗口,所述第一窗口在所述预览窗中以画中画的形式显示,或者,所述第一窗口在所述预览窗口中以分屏的形式显示,所述预览窗中显示所述第三图像与所述第一控件,所述第一控件上显示所述第二变焦倍率,所述第一窗口显示第四图像,所述第四图像为基于第二预设变焦倍率对所述第二图像进行裁剪处理后的图像,所述第二预设变焦倍率小于所述第二变焦倍率,所述第三图像的图像内容为所述第四图像的图像内容中的部分,所述第四图像与所述第三图像包括所述第一拍摄对象。
在本申请的实施例中,电子设备包括第一摄像头与第二摄像头,第二摄像头为可转动的摄像头;由于电子设备中包括第一摄像头与可转动的摄像头;一方面,由于可转动的摄像头与不可转动的摄像头相比可转动的摄像头能够在一定程度上提高视场角的灵活性,使得电子设备在各种拍摄场景中的变焦范围较广;开启相机后,显示第一界面,第一界面中显示第一图像,第一图像为第一摄像头采集的图像;若电子设备检测到对第一标记的第一操作;第一标记对应第一图像中的第一拍摄对象,电子设备基于第一拍摄对象的类别确定第二变焦倍率;电子设备自动切换至第二变焦倍率的显示界面;若第二变焦倍率大于第一预设变焦倍率,电子设备可以显示第二界面,第二界面中包括预览窗与第一窗口预设变焦倍率;在本申请的方案中,在电子设备检测到对第一图像中第一拍摄对象的操作后,可以实现电子设备的自动智能变焦;可以理解为,在电子设备检测到对第一拍摄对象的点击操作后,即使未检测到用户的变焦操作,电子设备也能够进行自动智能变焦;因此,通过本申请的方案,能够在扩大变焦范围的情况下,实现电子设备的智能变焦;提高用户的拍摄体验。
此外,在本申请的实施例中,由于电子设备通过可转动的摄像头采集图像,并对图像进行处理得到变焦后的图像;与对第一摄像头采集的图像进行缩放处理,生成变焦后的图像的方案相比,本申请实施例的方案能够在一定程度上提高变焦后图像的图像质量。
应理解,图像内容包括但不限于:图像参数、图像颜色、图像对象、图像像素等。
还应理解,分屏显示可以是指第一窗口与预览窗直接拼接并排显示。
结合第一方面,在第一方面的某些实现方式中,还包括:
若所述第二变焦倍率小于第一预设变焦倍率,显示第三界面;其中,所述第三界面包括所述预览窗,所述预览窗中显示所述第三图像与所述第一控件,所述第一控件上显示所述第二变焦倍率。
在本申请的实施例中,若第二变焦倍率大于第一预设变焦倍率,电子设备可以显示第二界面,第二界面中包括预览窗与第一窗口;若第二变焦倍率小于第一预设变焦倍率,电子设备可以显示第三界面,第三界面中包括预览窗;可以根据第二变焦倍率与第一预设变焦倍率的比较,灵活地显示变焦后的显示界面。
结合第一方面,在第一方面的某些实现方式中,所述基于所述第一拍摄对象的类别确定第二变焦倍率,包括:
对所述第一图像进行图像检测,得到一个或者多个检测框,所述一个或多个检测框用于表征所述第一图像中的一个或多个拍摄对象的坐标信息,所述一个或者多个检测框与所述一个或多个标记一一对应,所述第一标记对应第一检测框;
若所述第一拍摄对象的类别为第一类别,基于所述第一检测框与所述第一图像的画面占比,确定所述第二变焦倍率,所述第一类别包括人、动物或者月亮。
结合第一方面,在第一方面的某些实现方式中,所述基于所述第一拍摄对象的类别确定第二变焦倍率,包括:
对所述第一图像进行图像检测,得到一个或者多个检测框,所述一个或多个检测框用于表征所述第一图像中的一个或多个拍摄对象的坐标信息,所述一个或者多个检测框与所述一个或多个标记一一对应,所述第一标记对应第一检测框;
若所述第一拍摄对象的类别为第二类别,所述第二变焦倍率为第三预设变焦倍率,所述第二类别包括风景或者建筑物。
结合第一方面,在第一方面的某些实现方式中,所述响应于所述第一操作,转动所述第二摄像头并采集第二图像,包括:
获取所述第一摄像头与所述第二摄像头的标定参数,所述标定参数用于标定所述第一摄像头的坐标与所述第二摄像头的坐标之间的偏移量;
基于所述第一标记对应的检测框与所述标定参数,转动所述第二摄像头至第一位置;其中,所述第二摄像头在所述第一位置的视场角中包括所述第一拍摄对象。
在本申请的实施例中,通过第一标记对应的检测框与标定参数控制可转动的摄像头转动,使得转动后摄像头的视场角与第一摄像头的视场角尽量一致,且第二摄像头的视场角中包括第一拍摄对象,从而确保摄像头切换前后显示图像的稳定性,避免图像跳变问题。
结合第一方面,在第一方面的某些实现方式中,所述基于所述第二变焦倍率对所述第二图像进行图像处理,得到第三图像,包括:
以所述第一标记对应的检测框的中心为基准,对所述第一摄像头采集的图像与所述第二图像进行图像配准处理,得到配准后的第二图像;
基于所述第二变焦倍率对所述第二图像进行裁剪处理,得到所述第三图像。
结合第一方面,在第一方面的某些实现方式中,还包括:
在开启所述相机应用程序时,开启所述第一摄像头与所述第二摄像头。
结合第一方面,在第一方面的某些实现方式中,还包括:
在检测到所述第一操作时,开启所述第二摄像头。
在本申请的实施例中,可以在检测到对第一图像中的第一标记的点击操作后,再开启第二摄像头,从而能够在一定程度上节约电子设备的功耗。
结合第一方面,在第一方面的某些实现方式中,所述第二摄像头转动后,所述第二摄像头的镜头的中心点与成像中心点之间存在第一偏移量。
结合第一方面,在第一方面的某些实现方式中,所述第一窗口中显示第二控件,所述第二控件用于退出所述第一窗口;还包括:
检测到对所述第二控件的第二操作,显示所述第一界面。
在本申请的实施例中,在检测到对第一窗口中第二控件的第二操作(例如,点击操作),电子设备可以退出智能变焦,显示第一界面。
结合第一方面,在第一方面的某些实现方式中,所述第一窗口中显示预览框,所述预览框对应的视场角与所述第三图像对应的视场角相同;还包括:
检测到对所述预览框的第三操作,显示所述第一界面。
在本申请的实施例中,在检测到对第一窗口中预览框的第三操作(例如,点击操作),电子设备可以退出智能变焦,显示第一界面。
结合第一方面,在第一方面的某些实现方式中,若所述第一拍摄对象移动,所述第一窗口中的所述预览框移动。
结合第一方面,在第一方面的某些实现方式中,所述第一摄像头为所述电子设备的主摄摄像头,所述第一变焦倍率为开启所述相机应用程序显示图像对应的变焦倍率。
在本申请的实施例中,开启相机后,主摄摄像头显示图像对应的变焦倍率可以为1×、1.1×、1.2×、0.99×、0.98×等,本申请对此不作任何限定。
结合第一方面,在第一方面的某些实现方式中,所述第一变焦倍率与所述第二变焦倍率相同。
结合第一方面,在第一方面的某些实现方式中,所述第一窗口与所述预览窗中的所述第一拍摄对象不重叠。
在本申请的实施例中,可以使得第一窗口和预览窗中的第一拍摄对象都可以被用户看到,不会出现第一拍摄对象被遮挡影响用户预览第一拍摄对象的情况。
结合第一方面,在第一方面的某些实现方式中,所述第一窗口中显示所述第一标记。
结合第一方面,在第一方面的某些实现方式中,所述第二摄像头包括可转动的长焦摄像头。
第二方面,提供了一种电子设备,电子设备包括一个或多个处理器、存储器、第一摄像头与第二摄像头,第二摄像头为可转动的摄像头;存储器与一个或多个处理器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,一个或多个处理器调用计算机指令以使得电子设备执行:
开启相机应用程序;
显示第一界面,所述第一界面包括预览窗和第一控件,所述预览窗中显示第一图像,所述第一图像包括一个或多个标记与图像内容,所述一个或多个标记对应于所述第一图像中的一个或多个拍摄对象,所述一个或多个标记包括第一标记,所述第一标记对应所述第一图像中的第一拍摄对象,所述图像内容用于指示所述一个或者多个拍摄对象,所述第一图像为所述第一摄像头采集的图像,所述第一控件上显示第一变焦倍率;
检测到对所述第一标记的第一操作;
响应于所述第一操作,转动所述第二摄像头并采集第二图像;
基于所述第一拍摄对象的类别确定第二变焦倍率;
基于所述第二变焦倍率对所述第二图像进行图像处理,得到第三图像;
若第二变焦倍率大于或者等于第一预设变焦倍率,显示第二界面;其中,所述第二界面包括所述预览窗与第一窗口,所述第一窗口在所述预览窗中以画中画的形式显示,或者,所述第一窗口在所述预览窗口中以分屏的形式显示,所述预览窗中显示所述第三图像与所述第一控件,所述第一控件上显示所述第二变焦倍率,所述第一窗口显示第四图像,所述第四图像为基于第二预设变焦倍率对所述第二图像进行裁剪处理后的图像,所述第二预设变焦倍率小于所述第二变焦倍率,所述第三图像的图像内容为所述第四图像的图像内容中的部分,所述第四图像与所述第三图像包括所述第一拍摄对象。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
若所述第二变焦倍率小于第一预设变焦倍率,显示第三界面;其中,所述第三界面包括所述预览窗,所述预览窗中显示所述第三图像与所述第一控件,所述第一控件上显示所述第二变焦倍率。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
对所述第一图像进行图像检测,得到一个或者多个检测框,所述一个或多个检测框用于表征所述第一图像中的一个或多个拍摄对象的坐标信息,所述一个或者多个检测框与所述一个或多个标记一一对应,所述第一标记对应第一检测框;
若所述第一拍摄对象的类别为第一类别,基于所述第一检测框与所述第一图像的画面占比,确定所述第二变焦倍率,所述第一类别包括人、动物或者月亮。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
对所述第一图像进行图像检测,得到一个或者多个检测框,所述一个或多个检测框用于表征所述第一图像中的一个或多个拍摄对象的坐标信息,所述一个或者多个检测框与所述一个或多个标记一一对应,所述第一标记对应第一检测框;
若所述第一拍摄对象的类别为第二类别,所述第二变焦倍率为第三预设变焦倍率,所述第二类别包括风景或者建筑物。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
获取所述第一摄像头与所述第二摄像头的标定参数,所述标定参数用于标定所述第一摄像头的坐标与所述第二摄像头的坐标之间的偏移量;
基于所述第一标记对应的检测框与所述标定参数,转动所述第二摄像头至第一位置;其中,所述第二摄像头在所述第一位置的视场角中包括所述第一拍摄对象。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
以所述第一标记对应的检测框的中心为基准,对所述第一摄像头采集的图像与所述第二图像进行图像配准处理,得到配准后的第二图像;
基于所述第二变焦倍率对所述第二图像进行裁剪处理,得到所述第三图像。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
在开启所述相机应用程序时,开启所述第一摄像头与所述第二摄像头。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
在检测到所述第一操作时,开启所述第二摄像头。
结合第二方面,在第二方面的某些实现方式中,所述第二摄像头转动后,所述第二摄像头的镜头的中心点与成像中心点之间存在第一偏移量。
结合第二方面,在第二方面的某些实现方式中,所述第一窗口中显示第二控件,所述第二控件用于退出所述第一窗口;所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
检测到对所述第二控件的第二操作,显示所述第一界面。
结合第二方面,在第二方面的某些实现方式中,所述第一窗口中显示预览框,所述预览框对应的视场角与所述第三图像对应的视场角相同;所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
检测到对所述预览框的第三操作,显示所述第一界面。
结合第二方面,在第二方面的某些实现方式中,若所述第一拍摄对象移动,所述第一窗口中的所述预览框移动。
结合第二方面,在第二方面的某些实现方式中,所述第一摄像头为所述电子设备的主摄摄像头,所述第一变焦倍率为开启所述相机应用程序显示图像对应的变焦倍率。
结合第二方面,在第二方面的某些实现方式中,所述第一变焦倍率与所述第二变焦倍率相同。
结合第二方面,在第二方面的某些实现方式中,所述第一窗口与所述预览窗中的所述第一拍摄对象不重叠。
结合第二方面,在第二方面的某些实现方式中,所述第一窗口中显示所述第一标记。
结合第二方面,在第二方面的某些实现方式中,所述第二摄像头包括可转动的长焦摄像头。
第三方面,提供了一种电子设备,包括用于执行第一方面或者第一方面中的任意一种实现方式中的拍摄方法的模块/单元。
第四方面,提供一种电子设备,所述电子设备包括一个或多个处理器和存储器与;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面或者第一方面中的任意一种实现方式中的拍摄方法。
第五方面,提供了一种芯片系统,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或第一方面中的任一种拍摄方法。
第六方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序代码,当所述计算机程序代码被电子设备运行时,使得该电子设备执行第一方面或者第一方面中的任意一种实现方式中的拍摄方法。
第七方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码被电子设备运行时,使得该电子设备执行第一方面或者第一方面中的任意一种实现方式中的拍摄方法。
在本申请的实施例中,电子设备包括第一摄像头与第二摄像头,第二摄像头为可转动的摄像头;由于电子设备中包括第一摄像头与可转动的摄像头;一方面,由于可转动的摄像头与不可转动的摄像头相比可转动的摄像头能够在一定程度上提高视场角的灵活性,使得电子设备在各种拍摄场景中的变焦范围较广;开启相机后,显示第一界面,第一界面中显示第一图像,第一图像为第一摄像头采集的图像;若电子设备检测到对第一标记的第一操作;第一标记对应第一图像中的第一拍摄对象,电子设备基于第一拍摄对象的类别确定第二变焦倍率;电子设备自动切换至第二变焦倍率的显示界面;若第二变焦倍率大于第一预设变焦倍率,电子设备可以显示第二界面,第二界面中包括预览窗与第一窗口;预设变焦倍率在本申请的方案中,在电子设备检测到对第一图像中第一拍摄对象的操作后,可以实现电子设备的自动智能变焦;可以理解为,在电子设备检测到对第一拍摄对象的点击操作后,即使未检测到用户的变焦操作,电子设备也能够进行自动智能变焦;因此,通过本申请的方案,能够在扩大变焦范围的情况下,实现电子设备的智能变焦;提高用户的拍摄体验。
此外,在本申请的实施例中,由于电子设备通过可转动的摄像头采集图像,并对图像进行处理得到变焦后的图像;与对第一摄像头采集的图像进行缩放处理,生成变焦后的图像的方案相比,本申请实施例的方案能够在一定程度上提高变焦后图像的图像质量。
附图说明
图1A是本申请实施例提供的一种用户界面示意图;
图1B是本申请实施例提供的另一种用户界面示意图;
图1C是本申请实施例提供的另一种用户界面示意图;
图1D是本申请实施例提供的另一种用户界面示意图;
图1E是本申请实施例提供的另一种用户界面示意图;
图1F是本申请实施例提供的另一种用户界面示意图;
图1G是本申请实施例提供的另一种用户界面示意图;
图1H是本申请实施例提供的另一种用户界面示意图;
图1I是本申请实施例提供的另一种用户界面示意图;
图1J是本申请实施例提供的另一种用户界面示意图;
图1K是本申请实施例提供的另一种用户界面示意图;
图1L是本申请实施例提供的另一种用户界面示意图;
图1M是本申请实施例提供的另一种用户界面示意图;
图1N是本申请实施例提供的另一种用户界面示意图;
图1O是本申请实施例提供的另一种用户界面示意图;
图1P是本申请实施例提供的另一种用户界面示意图;
图1Q是本申请实施例提供的另一种用户界面示意图;
图1R是本申请实施例提供的另一种用户界面示意图;
图1S是本申请实施例提供的另一种用户界面示意图;
图1T是本申请实施例提供的另一种用户界面示意图;
图1U是本申请实施例提供的另一种用户界面示意图;
图1V是本申请实施例提供的另一种用户界面示意图;
图1W是本申请实施例提供的另一种用户界面示意图;
图1X是本申请实施例提供的另一种用户界面示意图;
图1Y是本申请实施例提供的另一种用户界面示意图;
图1Z是本申请实施例提供的另一种用户界面示意图;
图1AA是本申请实施例提供的另一种用户界面示意图;
图1AB是本申请实施例提供的另一种用户界面示意图;
图1AC是本申请实施例提供的另一种用户界面示意图;
图1AD是本申请实施例提供的另一种用户界面示意图;
图1AE是本申请实施例提供的另一种用户界面示意图;
图1AF是本申请实施例提供的另一种用户界面示意图;
图1AG是本申请实施例提供的另一种用户界面示意图;
图1AH是本申请实施例提供的另一种用户界面示意图;
图2是本申请实施例提供的一种多个摄像头在电子设备上的排布示意图;
图3是本申请实施例提供的一种不同类型的摄像头对应的变焦倍率的示意图;
图4是本申请实施例提供的一种可转动的摄像头的结构示意图;
图5是本申请实施例提供的一种可转动的摄像头转动的示意图;
图6是本申请实施例提供的一种可转动的摄像头视场角的示意图
图7是本申请实施例提供的一种拍摄方法的示意性流程图;
图8是本申请实施例提供的另一种拍摄方法的示意性流程图;
图9是本申请实施例提供的另一种拍摄方法的示意性流程图;
图10是本申请实施例提供的主摄摄像头与可转动的摄像头的视场角的示意图;
图11是本申请实施例提供的另一种拍摄方法的示意性流程图;
图12是本申请实施例提供的一种裁剪策略的示意性流程图;
图13是本申请实施例提供的另一种拍摄方法的示意性流程图;
图14是本申请实施例提供的一种电子设备100的系统结构示意图;
图15是本申请实施例提供的一种电子设备100的硬件结构示意图;
图16是本申请实施例提供的一种电子设备100的结构示意图。
具体实施方式
在本申请的实施例中,以下术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
目前,在现有的拍摄模式下,用户通常需要通过双指滑动实现拍摄过程中的变焦;导致用户拍摄时的操作较繁琐,智能化较低;此外,由于硬件限制,在多摄连续变焦的过程,例如,由小倍率到高倍率的变焦过程,只能支持中心裁剪变焦,限制拍摄时的变焦拍摄场景;导致用户的拍摄体验感较差。
有鉴于此,本申请实施例提供了一种拍摄方法和电子设备,该拍摄方法可应用于手机、平板电脑等电子设备上。后续统一使用电子设备100指代上述电子设备。
示例性地,不限于手机、平板电脑,电子设备100还可以是桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、人工智能(artificial intelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备,本申请实施例对该电子设备的具体类型不作特殊限制。
下面对电子设备100实施本申请实施例提供的拍摄方法的用户界面示意图进行详细描述。
图1A示例性示出了电子设备100的主界面,用户界面11。如图1A所示,主界面可包括状态栏、页面指示符、常用应用程序托盘11和一般应用程序托盘12。
其中,状态栏可包括移动通信信号(又可称为蜂窝信号)的一个或多个信号强度指示符、无线高保真(wireless fidelity,Wi-Fi)信号强度指示符,电池状态指示符、时间指示符等。
常用应用程序托盘11和一般应用程序托盘12均用于承载应用程序图标。用户可用过点击应用程序图标启用该图标对应的应用程序。例如,常用应用程序托盘11中可包括相机应用图标、通讯录应用图标、电话应用图标、信息应用图标。一般应用程序托盘111可以包括设置应用图标、应用市场应用图标、图库应用图标、浏览器应用图标等。不限于上述图标,主界面还可包括其他应用程序图标,这里不再一一举例。任意一个应用程序的图标可放置在常用应用程序托盘11或一般应用程序托盘12。
多个应用程序图标可分布在多个页面。页面指示符可用于指示当前显示的页面与其他页面的位置关系。用户可以左滑/右滑的触控操作来浏览其他页面。常用应用程序托盘11中承载的应用程序图标不会随页面变化,即固定的;而一般应用程序托盘12中承载的应用程序图标会随着页面的变化而变化。
可以理解的,图1A及其后续介绍的用户界面仅仅示例性示出了以手机为例的电子设备100的一种可能的用户界面样式,不应构成对本申请实施例的限定。
在显示图1A所示的用户界面时,电子设备100可检测到作用于相机应用图标的用户操作。上述用户操作如点击操作。响应于上述用户操作,电子设备100可运行相机应用,同时,电子设备100可在屏幕中显示相机应用的主界面。相机应用程序是电子设备100上安装的能够调用摄像头提供拍摄服务的应用程序。不限于相机应用程序,电子设备100上可以安装的其他具备调用摄像头提供拍摄服务的应用程序也可以实施本申请提供的拍摄方法;本申请实施例对此不做限制。
图1B示例性示出了电子设备100开启摄像头执行拍摄动作的用户界面12。
如图1B所示,用户界面12可以包括菜单栏111、拍摄控件112、预览窗113、回看控件114、转换控件115。
菜单栏111中可显示有多个拍摄模式选项,例如夜景、录像、拍照、人像等拍摄模式。夜景模式可用于光线较暗的场景下拍摄照片,例如夜晚拍摄照片。录像模式可用于录制视频。拍照模式可用于日光场景下拍摄照片。人像模式可用于拍摄人物特写照片。
拍摄控件112可用于接收用户的拍摄操作。在拍照场景下(包括拍照模式、人像模式、夜景模式),上述拍摄操作即作用于拍摄控件112的控制拍照的操作。在录制视频的场景下(录像模式),上述拍摄操作包括作用于拍摄控件112的开始录制的操作和结束录制的操作。
预览窗113可用于实时地显示摄像头采集的图像帧序列。预览窗113中显示图像可称为原始图像。在本申请实施例中,在点击拍摄控件112开始录制视频后,用于显示图像的窗口也称为预览窗。
回看控件114可用于查看前一次拍摄的照片或视频。一般的,回看控件114可显示前一次拍摄的照片的缩略图或前一次拍摄的视频的首帧图像的缩略图。
转换控件115可用于切换正在使用的取景摄像头。若当前正在使用的采集图像的摄像头为前置摄像头,当检测到作用于转换控件115的用户操作后,响应于上述操作,终端设备100可启用后置摄像头采集图像。反之,若当前正在使用的采集图像的摄像头为后置摄像头,当检测到作用于转换控件115的用户操作后,响应于上述操作,电子设备100可启用前置摄像头采集图像。
用户界面12还可包括设置栏116。设置栏116中可显示有多个拍摄参数设置控件(拍摄控件)。一个拍摄控件用于设置摄像头的一类参数,从而改变摄像头采集到的图像。例如,设置栏116可显示有光圈1161、闪光灯1162、智能控件1163、滤镜1164与设置控件1165等拍摄控件。光圈1161可用于调整摄像头光圈大小,从而改变摄像头采集到的图像的画面亮度;闪光灯1162可用于开启或关闭闪光灯,从而改变摄像头采集到的图像的画面亮度;智能控件1163可用于开启智能图像处理算法;滤镜1164可用于选择滤镜风格,进而调整图像色彩;设置控件1165可用于提供更多的用于调整摄像头拍摄参数或图像优化参数的控件。
如图1B所示,在某一时刻摄像头采集的图像中包括人物1、人物2与狗3。电子设备100在接收到摄像头采集并生成的上述图像之后,在显示上述图像之前,可利用预设的对象识别算法识别图像中包括的对象。这里,对象识别算法可以包括:人脸识别算法、人体识别算法、月亮识别算法、猫脸识别算法、狗脸识别算法等。这时,电子设备100可识别到上述图像中包括人物1、人物2与狗3,这3个对象。
示例性地,电子设备100可在预览窗113中显示上述包括人物1、人物2与狗3的图像。同时,电子设备100还可在上述各个对象上显示检测框,例如,对应人物1的选择框121、对应人物2的选择框122、对应狗3的选择框123。
需要说明的是,电子设备在显示界面中显示选择框,选择框用于指示用于可以点击该选择框对应的拍摄对象;选择框是根据电子设备对图像进行图像检测得到的检测框与显示策略(例如,对检测框进行平移)在用户界面显示的标记位置。
示例性地,用户界面12(例如,拍摄模式拍摄界面)还可包括焦距控件126,焦距控件126可用于设置摄像头的焦距,以调整摄像头的取景范围。摄像头的取景范围变化时,预览窗中显示的图像会相应地变化。
示例性地,检测到对设置控件1165的点击操作,如图1C所示的用户界面13;在检测到对设置控件1165的点击操作后,显示设置界面,如图1D所示的用户界面14;用户界面14中包括智能变焦的控件1191与返回控件1192;其中,智能控件1191用于开启或者关闭智能变焦功能,智能变焦功能是指在拍照、录像模式下支持自动识别人物、猫、狗等进行自动变焦,点击可锁定任意对象变焦的功能;返回控件1192用于退出设置界面;检测到对智能变焦的控件1191的点击操作,如图1E所示的用户界面15;在检测到对智能变焦的控件1191的点击操作后,开启智能变焦的功能,显示如图1F所示的用户界面16;在开启智能变焦的功能后,检测到对返回控件1192的点击操作,如图1G所示的用户界面17;在电子设备开启智能变焦的功能后,触发电子设备执行本申请实施例提供的拍摄方法;例如,开启电子设备,在默认变焦倍率显示第一图像,对第一图像中进行图像检测,显示拍摄对象的检测框;电子设备检测到对第一图像的点击操作;根据点击操作的坐标信息与检测框的坐标,确定目标检测框;根据目标检测框可以确定最佳变焦倍率;电子设备自动调整至最佳变焦倍率,显示变焦后的图像。
示例性地,开启相机应用程序,电子设备显示主摄摄像头对应的默认变焦倍率的图像;电子设备检测对图像中拍摄对象1的点击操作;响应于点击操作,电子设备基于拍摄对象1的类别确定最佳变焦倍率;将默认变焦倍率调整为最佳变焦倍率,显示变焦后的图像;其中,若最佳变焦倍率大于或者等于第一预设变焦倍率(例如,15×),则电子设备显示第一显示界面,第一显示界面包括预览窗(例如,如图1I中的113),预览窗中包括小窗(例如,如图1I中的124),如图1I所示;在一种实现方式中,小窗中显示的图像的变焦倍率为第二预设变焦倍率(例如,10×);在另一种实现方式中,小窗中显示的图像的为默认变焦倍率的图像;若最佳变焦倍率小于第一预设变焦倍率(例如,15×),则电子设备显示第二显示界面,第二显示界面包括预览窗且不包括小窗(例如,如图1P中的预览窗113)。
示例性地,开启相机应用程序,电子设备显示主摄摄像头对应的默认变焦倍率的图像;电子设备检测到将默认变焦倍率调整为变焦倍率1的操作;若变焦倍率1大于或者等于第一预设变焦倍率(例如,15×),则电子设备显示第一显示界面,第一显示界面包括预览窗,预览窗中包括小窗;若变焦倍率1小于第一预设变焦倍率,则电子设备显示第二显示界面,第二显示界面包括预览窗;其中,若变焦倍率1大于或者等于第一预设变焦倍率,预览窗中可以显示目标对象变焦后的图像,小窗中可以显示目标对象在第二预设变焦倍率的图像,或者,小窗中可以显示主摄摄像头对应的默认变焦倍率的图像;目标对象可以为检测到图像中预设类别的拍摄对象,预设类别的拍摄对象包括但不限于:人、月亮或者动物(例如,猫或者狗)。
示例性地,开启相机应用程序,电子设备显示主摄摄像头对应的默认变焦倍率的图像;电子设备检测到将默认变焦倍率调整为变焦倍率1的操作;在变焦倍率1,显示变焦后的图像;电子设备检测到对图像中拍摄对象1的点击操作;响应于点击操作,电子设备基于拍摄对象1的类别确定最佳变焦倍率;将变焦倍率1调整为最佳变焦倍率,显示变焦后的图像;若最佳变焦倍率大于或者等于第一预设变焦倍率(例如,15×),则电子设备显示第一显示界面,第一显示界面包括预览窗;若最佳变焦倍率小于第一预设变焦倍率(例如,15×),则电子设备显示第二显示界面,第二显示界面包括预览窗。
应理解,开启相机后,主摄摄像头对应的默认变焦倍率可以为1×、1.1×、1.2×、0.99×、0.98×等,本申请对此不作任何限定。
示例一
示例性地,电子设备检测到对人物2的点击操作,如图1H所示的用户界面18;响应于点击操作,电子设备显示智能变焦后的用户界面19;由于最佳变焦倍率(例如,20×)大于第一预设变焦倍率(例如,15×),电子设备显示用户界面19,如图1I所示;在用户界面19中,焦距控件126中显示智能变焦后的倍率,例如“20×”;显示智能变焦的提示信息125与提示信息127;其中,提示信息125为“单击框可退出追踪”;提示信息127为“目标追踪成功”;在用户界面19中还显示小窗124;小窗124中用于显示第二预设变焦倍率(例如,10×)的预览图像;小窗124中包括退出控件1241和预览框1242;其中,退出控件1241可以用于退出智能变焦;预览框1242可以显示追踪的对象;可选地,智能变焦的提示信息127在显示预设时长后,可以消失;如图1J所示的用户界面21。可选地,电子设备检测到对预览框1242的点击操作,如图1K所示的用户界面22;响应于用户对预览框1242的点击操作,电子设备可以退出智能变焦,显示倍率为“1×”的用户界面23,如图1L所示。
可选地,电子设备检测到对人物2的点击操作,如图1H所示的用户界面18;响应于点击操作,电子设备显示智能变焦后的用户界面24,如图1M所示;在用户界面24中显示预览窗113,预览窗113中还显示小窗124;其中,预览窗113中显示在最佳变焦倍率(例如,20×)人物2对应的变焦后的图像;小窗124中用于显示主摄摄像头的默认倍率对应的预览图像。
在一个示例中,如图1N所示的用户界面25,在对人物2进行智能变焦的过程中,检测到对小窗124中狗3的点击操作,根据电子设备的算法能力进行变焦倍率的调整;例如,若电子设备能够检测到点击操作的对象为狗3,则电子设备可以调整变焦倍率至狗3对应的最佳变焦倍率的用户界面;或者,若电子设备无法检测到点击操作的对象为狗3,则电子设备可以调整变焦倍率,显示图1L所示的用户界面23。
示例二
示例性地,电子设备显示主摄摄像头的默认变焦倍率的预览图像,电子设备检测到对狗3的点击操作,如图1O所示的用户界面26;响应于点击操作,电子设备显示变焦后的用户界面27,如图1P所示;由于最佳变焦倍率小于第一预设变焦倍率,电子设备显示用户界面27,如图1P所示;在用户界面27中,预览窗113中显示提示信息125、焦距控件126与提示信息127;焦距控件126中显示智能变焦后的倍率,例如“14×”;可选地,智能变焦的提示信息127在显示预设时长后,可以消失;如图1Q所示的用户界面28;在变焦倍率为“14×”时,若狗3运动导致移动出视场角范围,显示用户界面29;在用户界面29中显示提示信息128;提示信息128为“目标算法丢失,算法检测中”,如图1R所示;可选地,若在预设时长(例如,3秒)内,狗3运动至视场角内,可以继续对狗3进行追踪。
示例三
示例性地,开启相机应用程序,电子设备显示主摄摄像头的默认变焦倍率的预览图像,如图1L所示的用户界面23;电子设备检测到对焦距控件126的滑动操作,如图1S所示的用户界面31;响应于滑动操作,电子设备显示如图1T所示的用户界面32;在用户界面32中显示预览窗113,预览窗113中显示的为“15×”变焦倍率的预览图像;预览窗中还显示小窗124,小窗124中显示第二预设变焦倍率(例如,10×)的预览图像;电子设备检测到对人物1的点击操作,如图1U所示的用户界面33;响应于点击操作,电子设备确定人物1的最佳变焦倍率为15×;由于最佳变焦倍率与第一预设变焦倍率相同,则电子设备可以显示如图1V所示的用户界面34。
可选地,在一种实现方式中,小窗124中显示开启相机后,主摄摄像头对应的默认变焦倍率的图像;例如,如图1W所示的用户界面35;在用户界面35中预览窗113中显示智能变焦后的图像(例如,15×)的图像,小窗124中显示开启相机后,主摄摄像头对应的默认变焦倍率(例如,1×)的图像。
示例四
示例性地,开启相机应用程序,电子设备显示主摄摄像头的默认变焦倍率的预览图像,如图1L所示的用户界面23;电子设备检测到对焦距控件126的滑动操作,如图1S所示的用户界面31;响应于滑动操作,电子设备显示如图1X所示的用户界面36;在用户界面36中显示预览窗113,预览窗113中显示的为“18×”变焦倍率的预览图像;预览窗中还显示小窗124,小窗124中显示第二预设变焦倍率(例如,10×)的预览图像;电子设备检测到对人物1的点击操作,如图1Y所示的用户界面37;响应于点击操作,电子设备确定人物1的最佳变焦倍率为15×;电子设备将变焦倍率(例如,18×)调整为最佳变焦倍率,显示变焦后的预览图像,如图1V所示的用户界面34。或者,电子设备检测到对人物1的点击操作,如图1Z所示的用户界面38;响应于点击操作,电子设备确定人物1的最佳变焦倍率为15×;电子设备将变焦倍率(例如,18×)调整为最佳变焦倍率,显示变焦后的预览图像,如图1W所示的用户界面35。
示例五
示例性地,开启相机应用程序,电子设备显示主摄摄像头的默认变焦倍率的预览图像,如图1AA所示的用户界面41;用户界面41中显示人物1与狗3的图像。同时,电子设备100还可在上述各个对象上显示检测框,例如,对应人物1的选择框121、对应狗3的选择框123;焦距控件126中显示的为“1×”;电子设备检测到对焦距控件126的滑动操作,如图1AB所示的用户界面42;响应于滑动操作,若滑动操作停止时的变焦倍率大于或者等于第一预设变焦倍率,电子设备显示如图1AC所示的用户界面43;在用户界面43中显示预览窗113,预览窗113中显示的为“15×”变焦倍率的预览图像;预览窗中还显示小窗124,小窗124中显示第二预设变焦倍率(例如,10×)的预览图像;或者,响应于滑动操作,若滑动操作停止时的变焦倍率大于第一预设变焦倍率,电子设备显示如图1AD所示的用户界面44;在用户界面44中显示预览窗113,预览窗113中显示的为“15×”变焦倍率的预览图像;预览窗中还显示小窗124,小窗124中显示主摄摄像头对应的默认变焦倍率(例如,1×)的图像。
需要说明的是,上述图1AC与图1AD所示的用户界面中的图像为采用中心裁剪方式(例如,以图1AA所示的用户界面41中的图像中心作为裁剪处理的中心点)得到的变焦后的用户界面;在一种实现方式中,还可以采用非中心裁剪方式得到变焦后用户界面;例如,电子设备识别到图1AA所示的用户界面41中显示的图像中包括人物,可以以人物为中心进行非中心裁剪处理,得到变焦处理后的用户界面;示例性地,如图1AE所示的用户界面45或者如图1AF所示的用户界面46;其中,用户界面45与用户界面46的区别在于,用户界面45中的小窗124中显示的为显示第二预设变焦倍率(例如,10×)的预览图像;用户界面46中的小窗124中显示的为主摄摄像头对应的默认变焦倍率(例如,1×)的图像。
示例性地,开启相机应用程序,电子设备显示主摄摄像头的默认变焦倍率的预览图像,如图1AA所示的用户界面41;用户界面41中显示人物1与狗3的图像。同时,电子设备100还可在上述各个对象上显示检测框,例如,对应人物1的选择框121、对应狗3的选择框123;焦距控件126中显示的为“1×”;电子设备检测到对焦距控件126的滑动操作,如图1AB所示的用户界面42;响应于滑动操作,若滑动操作停止时的变焦倍率(例如,12×)小于第一预设变焦倍率(例如,15×),若电子设备采用中心裁剪方式,即以图1AA所示的用户界面41中的图像中心作为裁剪处理的中心点,电子设备显示如图1AG所示的用户界面47;或者,若电子设备采用非中心裁剪方式,例如,电子设备识别到图1AA所示的用户界面41中显示的图像中包括人物,可以以人物为中心进行非中心裁剪处理,电子设备显示如图1AH所示的用户界面48。
应理解,上述图1A至图1AH所示的用户界面是以相机应用程序中拍摄模式的预览界面进行举例说明,本申请对此不作任何限定。
需要说明的是,上述以拍摄模式下进行智能变焦,或者,在拍摄模式下进行智能变焦与智能追焦的用户界面进行举例说明;本申请实施例提供的拍摄方法可以适用于电子设备的任意拍摄模式,拍摄模式包括但不限于:拍摄模式可以包括但不限于:夜景模式、拍照模式、人像模式、大光圈模式、专业模式等。
图2示出了摄像头在电子设备100的后盖上的排布示意图。
如图2中的(a)所示,3个摄像头排布在电子设备100的后盖的左上角。其中,主摄摄像头1931作为用户常用的摄像头,单独分布在靠近后盖上方的第一圆形区域中;广角摄像头1933和长焦摄像头1934这2个摄像头分布在靠近后盖下方的第二圆形区域中;此外,在靠近后盖下方的第二圆形区域中,还可设置闪光灯。
如图2中的(b)所示,3个摄像头排布在电子设备100的后盖中间的圆形区域中。其中,主摄摄像头1931作为用户常用的摄像头,设置在圆形区域的中心位置处,广角摄像头1933和长焦摄像头1934这2个摄像头分布在主摄摄像头1931的四周。此外,在该圆形区域中,还可以设置闪光灯。
如图2中的(c)所示,2个摄像头还可以以的阵列形式,排布在电子设备100的后盖的上半部分。其中,主摄摄像头1931作为用户常用的摄像头,设置在后盖的左上角位置,此外,在该3个摄像头的中心还可以设置闪光灯。
应理解,上述仅为三种排布方式的示例,也可以为其他的排布方式,具体排布方式可以根据需要进行设计和更改,本申请实施例对此不进行任何限制。
还应理解,若电子设备100具有4个摄像头,该4个摄像头分别为超广角摄像头、广角摄像头1933和长焦摄像头1934时,也可以按照如图2所示的三种排布方式进行排布,其中,广角摄像头1933的位置相当于上述主摄摄像头1931的位置,超广角摄像头的位置相当于上述广角摄像头1933的位置,长焦摄像头1934的对应位置不变。
示例性地,如图3所示,超广角摄像头的变焦倍数可以小于M倍变焦倍率;广角摄像头即主摄摄像头的变焦倍数范围可以为[M,N);长焦摄像头的变焦倍数可以大于或者等于N倍变焦倍率。
例如,M可以为1,N可以为3.5;则超广角摄像头的变焦倍数为小于1倍变焦倍率(1×);广角摄像头的变焦倍率范围为1倍变焦倍率至3.5倍变焦倍率[1×~3.5×);长焦摄像头的变焦倍率为大于或者等于3.5倍变焦倍率。
应理解,在电子设备拍摄的过程中,变焦倍率越大,则对应的视场角越小。
图4示例性示出了一种可转动的摄像头(例如,可转动的长焦摄像头)的结构示意图;其中,图4示出了可转动的长焦摄像头的侧视结构示意图;可转动的长焦摄像头可以包括光学镜头、OIS控制器、包括棱镜的马达组件和感光元件;其中,感光元件所在平面与光学镜头包括的透镜所在平面相互垂直;另外,马达组件中的棱镜呈倾斜状态设置,从而可以将光学镜头出射的光线折射到感光元件上;在此基础上,马达组件中的马达还可以通过控制棱镜转动,使得光学镜头出射的光路发生偏移,进而扩大拍摄的视场角范围;以图5中的(a)所示的坐标系为例,马达组件中的马达可以控制棱镜所在的立方体结构绕x轴上下转动,也即点头,以扩大在z轴方向上的视场角;以图5中的(b)所示的坐标系为例,马达组件中的马达可以控制棱镜所在的立方体结构绕y轴上下转动,也即点头,以扩大在z轴方向上的视场角。
示例性地,图6示出的可转动的辅助摄像头的视场角的示意图。
例如,如图6中的(a)所示,其中每一个位置上拍摄获得的FOV1的图像为辅助摄像头自身焦距的FOV,每一个FOV1的图像外侧的虚线框为实际拍摄的可能存在像旋的图像,通过将每一个FOV1的图像的FOV进行叠加,便可以得到如图6中的(b)所示的FOV2,即可转动的辅助摄像头所能实现的最大FOV。
此外,需要说明的是,所谓点头方向的运动,是指旋转方向在光路平面(XZ平面)内部的运动,通常对应着摄像头的Y轴(实际场景中取决于摄像头的摆放位置);所谓摇头运动,是指旋转方向垂直于光路平面的运动,通常对应着摄像头的X轴。
下面结合图7至图13对电子设备100在实现智能变焦时进行拍摄的算法流程进行详细描述。
图7示例性示出了一种电子设备100在智能变焦模式下进行拍摄的流程图。该方法200包括S201至S209,下面分别对S201至S209进行详细的描述。
S201、检测到开启相机应用程序的操作,响应于操作开启相机应用程序。
示例性地,用户可以通过单击“相机”应用程序的图标,指示电子设备开启相机应用;或者,电子设备处于锁屏状态时,用户可以通过在电子设备的显示屏上向右滑动的手势,指示电子设备开启相机应用。又或者,电子设备处于锁屏状态,锁屏界面上包括相机应用程序的图标,用户通过点击相机应用程序的图标,指示电子设备开启相机应用程序。又或者,电子设备在运行其他应用时,该应用具有调用相机应用程序的权限;用户通过点击相应的控件可以指示电子设备开启相机应用程序。例如,电子设备正在运行即时通信类应用程序时,用户可以通过选择相机功能的控件,指示电子设备开启相机应用程序等。
应理解,上述为对开启相机应用程序的操作的举例说明;还可以通过语音指示操作,或者其它操作的指示电子设备开启相机应用程序;本申请对此不作任何限定。
S202、主摄摄像头采集图像,基于第一变焦倍率显示第一图像。
示例性地,开启相机应用程序后,电子设备可以默认采集1倍变焦倍率(1×)显示预览图像;其中,主摄摄像头可以为电子设备100中的广角摄像头,主摄摄像头采集的图像可以是指主摄摄像头采集的原始Raw图像,第一变焦倍率可以是指1倍变焦倍率。
可选地,第一变焦倍率可以是指开启相机应用程序的默认倍率,上述以第一变焦倍率为“1×”进行举例说明;第一变焦倍率也可以为其他预先设置的倍率,本申请对第一变焦倍率的不作任何限定。
S203、对第一图像进行图像检测,得到检测结果。
应理解,可以对第一图像的图像内容进行检测,识别图像中各个图像区域中的拍摄对象。
其中,检测结果可以包括检测框的坐标信息与检测框中拍摄对象的类别标识信息。
可选地,若第一图像中包括一个拍摄对象所在的图像区域,则检测结果包括一个检测框与一个类别标识;若第一图像中包括多个拍摄对象所在的图像区域,则检测结果包括多个检测框与多个检测框中每个检测框对应的类别标识。
在本申请的实施例中,通过对第一图像的画面内容进行图像检测,可以识别第一图像的画面中的拍摄对象的类别;后续能够根据不同拍摄对象的类别计算不同的最佳变焦倍率,使得电子设备100在检测到用户对第一图像的点击操作后实现自动变焦;例如,对于风景、建筑物等,较小的变焦倍率;即对应更大的拍摄视场角,拍摄效果更好;对于人像、动物等,较大的变焦倍率;即对应更小的拍摄视场角,拍摄效果更好。
S204、检测到对第一图像的点击操作。
示例性地,电子设备的显示屏中显示第一图像,检测到用户对显示屏的点击操作;例如,点击操作可以是指检测到用户对显示屏的触碰操作(touch)。
S205、基于点击操作确定检测结果中的目标检测框。
示例性地,检测结果中包括第一图像中任意一个检测框的坐标信息与检测框中拍摄对象的类别标识信息;根据检测到的点击操作的坐标信息,可以确定点击操作的坐标位于检测结果中的某一个检测框的坐标信息中,该检测框为目标检测框。
可选地,若点击操作的坐标信息不属于检测结果中任意一个检测框的坐标信息,可以执行显著性目标检测算法,根据显著性目标检测算法的识别结果执行S206与S207;其中,显著性目标检测算法用于对图像进行识别,识别图像中的主体图像区域。
示例性地,可以根据显著性目标检测算法,确定最佳变焦倍率;例如,若显著性目标检测算法有输出结果,则根据输出结果中检测框的画面占比确定最佳变焦倍率;若显著性目标检测算法无输出结果,则最佳变焦倍率可以为预设变焦倍率;例如,3.5×。
可选地,在一种实现方式中,可以根据目标检测框的类别信息,确定最佳变焦倍率,如表1所示。
S206、基于目标检测框中拍摄对象的类别标识确定最佳变焦倍率。
示例性地,若检测到用户对第一图像中人像的点击操作(例如,touch),目标检测框为人像(例如,人脸,或者人脸与人体上半身,或者,人脸与人体全身)的检测框,可以根据人像的检测框的面积与画面的占比为0.618确定最佳变焦倍率,如表1所示。
类似地,若检测到用户对第一图像中猫或者狗的点击操作,目标检测框为猫的检测框或者狗的检测框,可以根据猫的检测框或者狗的检测框与画面的占比为0.618确定最佳变焦倍率。
示例性地,若检测到用户对第一图像中的月亮进行点击,目标检测框为月亮的检测框,可以根据月亮的检测框的面积与画面的占比为0.5确定最佳变焦倍率。
示例性地,若检测到用户对第一图像中天空或者建筑的点击操作,目标检测框为天空的检测框或者建筑的检测框,此时最佳变焦倍率可以为预设变焦倍率1;例如,最佳变焦倍率可以为0.5倍变焦倍率(0.5×)。
示例性地,若检测到用户对第一图像中其他类别拍摄对象的点击操作,目标检测框为其他类别拍摄对象的检测框,此时最佳变焦倍率可以为预设变焦倍率2;例如,最佳变焦倍率可以为3.5倍变焦倍率(3.5×)。
表1
示例性地,若检测到用户对第一图像中人像的点击操作(例如,touch),目标检测框为人像(或者,人像与人体)的检测框,可以根据人像的检测框的面积与画面的占比为0.618确定最佳变焦倍率。
类似地,若检测到用户对第一图像中猫或者狗的点击操作,目标检测框为猫的检测框或者狗的检测框,可以根据猫的检测框或者狗的检测框与画面的占比为0.618确定最佳变焦倍率。
示例性地,若检测到用户对第一图像中的月亮进行点击,目标检测框为月亮的检测框,可以根据月亮的检测框的面积与画面的占比为0.5确定最佳变焦倍率。
示例性地,若检测到用户对第一图像中天空或者建筑的点击操作,目标检测框为天空的检测框或者建筑的检测框,此时最佳变焦倍率可以为预设变焦倍率1;例如,最佳变焦倍率可以为0.5倍变焦倍率(0.5×)。
示例性地,若检测到用户对第一图像中其他类别拍摄对象的点击操作,目标检测框为其他类别拍摄对象的检测框,此时最佳变焦倍率可以为预设变焦倍率2;例如,最佳变焦倍率可以为3.5倍变焦倍率(3.5×)。
S207、控制辅助摄像头转动并采集图像。
情况一
示例性地,若检测到点击操作,且根据点击操作的坐标信息确定检测结果中的目标检测框,基于目标检测框与标定参数控制辅助摄像头转动,使得转动后辅助摄像头的视场角与主摄摄像头的视场角尽量一致,且辅助摄像头的视场角中包括目标检测框对应的拍摄对象;其中,通过标定参数可以使主摄摄像头的坐标系与辅助摄像头的坐标系相对应。
情况二
示例性地,若检测到点击操作,且根据点击操作的坐标信息未确定检测结果中的目标检测框,可以基于预设检测框(例如,5×5的检测框)与标定参数控制辅助摄像头转动,使得转动后辅助摄像头的视场角与主摄摄像头的视场角尽量一致,且辅助摄像头的视场角中包括预设检测框对应的拍摄对象;其中,通过标定参数可以使主摄摄像头的坐标系与辅助摄像头的坐标系相对应。
可选地,实现方式参见后续图8中S309的相关描述。
S208、基于最佳变焦倍率与变焦中心对辅助摄像头采集的图像进行裁剪处理,得到裁剪处理后的图像。
示例性地,若检测到目标检测框,可以以目标检测框的中心点为裁剪中心点,根据最佳变焦倍率对辅助摄像头采集的图像进行裁剪处理,得到裁剪处理后的图像。
示例性地,若未检测到目标检测框,通过进行显著性目标检测算法,得到识别结果;以识别结果的中心点为裁剪中心点,根据最佳变焦倍率对辅助摄像头采集的图像进行裁剪处理,得到裁剪处理后的图像。
示例性地,若未检测到目标检测框,通过进行显著性目标检测算法,未得到识别结果;以点击操作的点击点为裁剪中心点,根据最佳变焦倍率对辅助摄像头采集的图像进行裁剪处理,得到裁剪处理后的图像。
S209、将变焦倍率调整为最佳变焦倍率,并显示裁剪处理后的图像。
示例性地,响应于点击操作,电子设备可以执行S205至S209自动将变焦倍率调整为最佳变焦倍率,并显示裁剪处理后的图像;可以理解为,若电子设备检测到对第一图像的点击操作,即使电子设备未检测到调整变焦倍率的操作,电子设备可以根据点击操作实现自动智能变焦。
在本申请的实施例中,若电子设备检测到对图像的点击操作后,电子设备可以实现自动智能变焦;可以理解为,在电子设备检测到点击操作后,即使未检测到用户的变焦操作,电子设备也能够进行自动智能变焦;此外,由于电子设备中包括主摄摄像头与可转动的辅助摄像头;一方面,由于辅助摄像头为可转动的摄像头,与不可转动的摄像头相比可转动的摄像头能够在一定程度上提高视场角的灵活性,使得电子设备在各种拍摄场景中的变焦范围较广;另一方面,在本申请的实施例中,由于电子设备通过可转动的辅助摄像头采集图像,并对图像进行处理得到变焦后的图像;与对主摄摄像头采集的图像进行缩放处理,生成变焦后的图像的方案相比,本申请实施例的方案能够在一定程度上提高变焦后图像的图像质量。
实现方式一:对于静止拍摄对象,实现智能变焦。
应理解,静止拍摄对象可以是指完全静止的拍摄对象,或者,相对静止的拍摄对象;其中,完全静止的拍摄对象是指在拍摄过程中未运动的拍摄对象;相对静止的拍摄对象可以是指在拍摄过程中,拍摄对象相对于电子设备为静止状态;例如,在拍摄过程中,电子设备与拍摄对象以相同的速度运动,此时拍摄对象为相对静止的拍摄对象。
图8示例性示出了另一种电子设备100在智能变焦模式下进行拍摄的流程图。该方法300包括S301至S316,下面分别对S301至S316进行详细的描述。
S301、检测到开启相机应用程序的操作,响应于操作开启相机应用程序。
可选地,S301的实现方式可以参见图7中S201的相关描述,此处不再赘述。
S302、主摄摄像头采集图像,基于第一变焦倍率显示第一图像。
可选地,S302的实现方式可以参见图7中S202的相关描述,此处不再赘述。
S303、对第一图像进行图像检测,得到第一检测结果。
其中,第一检测结果包括第一检测框的坐标信息与第一检测框中拍摄对象的类别标识信息。
示例性地,如图10所示,图10中的(a)所示的图像为第一图像;对第一图像进行图像检测后,得到第一检测结果;第一检测结果包括:ID:0与ID:0的检测框;ID:1与ID:1的检测框;ID:2与ID:2的检测框;ID:3与ID:3的检测框,如图10中的(b)所示。
可选地,除上述描述外,S303的实现方式可以参见图7中S203的相关描述,此处不再赘述。
S304、是否检测到点击操作;若是,执行S306;若否,执行S305。
示例性地,是否检测到对第一图像的点击操作;可以理解为,在电子设备100的显示屏显示第一图像时,是否检测到对显示屏的点击操作。
S305、基于第一变焦倍率,显示第一图像。
示例性地,若电子设备100未检测到点击操作,则电子设备100采用1倍变焦倍率(1×)显示第一图像。
S306、是否检测到目标检测框;若是,执行S307;若否,执行S308。
示例性地,判断用户在第一图像上的点击操作的点击点的坐标信息是否属于S303第一检测结果中的任一检测框;若点击点的坐标信息位于所有检测框之外,则执行S308;若点击点的坐标信息位于检测结果的检测框中,则执行S307。
例如,若检测到点击操作,点击操作的点击点可以为A点,如图10中的(c)所示。
S307、基于目标检测框中拍摄对象的类别确定最佳变焦倍率。
可选地,S307的实现方式可以参见图7中S206的相关描述,此处不再赘述。
S308、获取预设变焦倍率与预设检测框。
示例性地,若未检测到目标检测框,则获取预设变焦倍率与预设检测框;电子设备可以获取预设变焦倍率与预设检测框,实现自动变焦。
S309、基于目标检测框或者预设检测框与标定参数,控制辅助摄像头转动。
示例性地,若检测到点击操作,且检测到目标检测框,基于目标检测框与标定参数控制辅助摄像头转动,使得转动后辅助摄像头的视场角与主摄摄像头的视场角尽量一致,且辅助摄像头的视场角中包括目标检测框对应的拍摄对象;其中,通过标定参数可以使主摄摄像头的坐标系与辅助摄像头的坐标系相对应。
示例性地,若检测到点击操作,且未检测到目标检测框,基于预设检测框(例如,5×5的检测框)与标定参数控制辅助摄像头转动,使得转动后辅助摄像头的视场角与主摄摄像头的视场角尽量一致,且辅助摄像头的视场角中包括预设检测框对应的拍摄对象;其中,通过标定参数可以使主摄摄像头的坐标系与辅助摄像头的坐标系相对应。
可选地,S309的实现方式可以参见图7中S207的相关描述,此处不再赘述。
S310、获取辅助摄像头采集的第二图像。
S311、对主摄摄像头采集的第一图像与辅助摄像头采集的第二图像进行图像内容匹配,得到处理后的第二图像。
示例性地,根据检测到的点击操作的坐标信息,可以在第一检测结果中确定目标检测框;以目标检测框的中心点为基准,对主摄摄像头采集的第一图像与辅助摄像头采集的第二图像进行配准处理,得到配准后的第二图像;可以理解为,对主摄摄像头采集的第一图像与辅助摄像头采集的第二图像进行坐标对齐,得到对齐后的第二图像。
在本申请的实施例中,通过执行S311图像内容匹配可以确保主摄摄像头与辅助摄像头进行平滑切换。
S312、对处理后的第二图像进行裁剪处理,得到裁剪处理后的图像。
可选地,若检测到目标检测框,以目标检测框的中心为裁剪中心点根据最佳变焦倍率对处理后的第二图像进行裁剪处理,得到裁剪处理后的图像。
示例性地,可以对处理后的第二图像进行图像检测,得到第二检测结果;可以将检测结果中检测框的中心点作为裁剪中心点,根据最佳变焦倍率对应的裁剪框大小对处理后的第二图像进行裁剪处理,得到裁剪后的图像。
例如,如图10所示,图10中的(d)所示的图像为处理后的第二图像;对第二图像进行图像检测后,得到第二检测结果;第二检测结果包括:ID:2’与ID:2’的检测框;ID:3’与ID:3’的检测框,如图10中的(e)所示;其中,ID:2’与ID:2相对应,ID:3’与ID:3相对应,根据点击操作的点击点A确定目标检测框为ID:3的检测框;如图10中的(f)所示,以ID:3’的检测框的中心B点为裁剪中心,最佳变焦倍率对应的裁剪框对处理后的第二图像进行裁剪处理,得到裁剪处理后的图像,如图10中的(g)所示。
可选地,由于根据第一图像的第一检测结果可以确定目标检测框的类别标识信息(例如,目标类别为人像);因此,在对处理后的第二图像进行图像检测时,可以进行目标类别的检测。
可选地,若未检测到目标检测框,以预设检测框的中心为裁剪中心点根据预设变焦倍率对处理后的第二图像进行裁剪处理,得到裁剪处理后的图像。
可选地,除上述描述之前,S312的实现方式可以参见图7中S208的相关描述,此处不再赘述。
S313、将变焦倍率调整为最佳变焦倍率或者预设变焦倍率,显示裁剪处理后的图像。
示例性地,若检测到点击操作且检测到目标检测框,将变焦倍率调整为最佳变焦倍率显示裁剪处理后的图像。
示例性地,若检测到点击操作且未检测到目标检测框,将变焦倍率调整为预设变焦倍率显示裁剪处理后的图像。
可选地,S313的实现方式可以参见图7中S209的相关描述,此处不再赘述。
S314、是否检测到退出智能变焦的操作。
示例性地,退出智能变焦的操作包括:双击操作,或者,点击预览窗中预览框的操作,或者,点击预览窗中退出控件的操作;其中,点击预览窗中预览框的操作可以为点击小窗124中预览框1242的操作;点击预览窗中退出控件的操作为点击小窗124中控件1241的操作,如图1I所示。
S315、基于第一变焦倍率,显示第一图像。
示例性地,若退出智能变焦,则电子设备显示主摄摄像头采集的第一图像。
S316、显示裁剪处理后的图像。
示例性地,若未退出智能变焦,则电子设备根据最佳变焦倍率显示裁剪处理后的图像。
示例性地,在上述方法300中以先执行S303再执行S304进行举例说明;即先对第一图像进行图像检测,识别第一图像中的检测框;若检测到对第一图像的点击操作,能够快速地根据点击操作确定检测框中的目标检测框,实现电子设备的快速智能变焦;可选地,上述方法300也可以先执行S304再执行S303;即先确定是否检测到对第一图像的点击操作;若检测到对第一图像的点击操作,则对第一图像进行图像检测,识别第一图像中的检测框;再根据点击操作确定检测框中的目标检测框;通过这种实现方式可以在一定程度上节约电子设备功耗。
在本申请的实施例中,若电子设备检测到对图像的点击操作后,电子设备可以实现自动智能变焦;可以理解为,在电子设备检测到点击操作后,即使未检测到用户的变焦操作,电子设备也能够进行自动智能变焦;此外,由于电子设备中包括主摄摄像头与可转动的辅助摄像头;一方面,由于辅助摄像头为可转动的摄像头,与不可转动的摄像头相比可转动的摄像头能够在一定程度上提高视场角的灵活性,使得电子设备在各种拍摄场景中的变焦范围较广;另一方面,在本申请的实施例中,由于电子设备通过可转动的辅助摄像头采集图像,并对图像进行处理得到变焦后的图像;与对主摄摄像头采集的图像进行缩放处理,生成变焦后的图像的方案相比,本申请实施例的方案能够在一定程度上提高变焦后图像的图像质量。
可选地,对于一些原距离拍摄的场景中,在相机应用程序为默认变焦倍率(例如,1×)时,电子设备在进行图像检测时可能无法检测到任意一个拍摄对象,即无法检测到检测框;此时,若电子设备检测到对第一图像的点击操作,电子设备无法较好的基于目标检测框进行智能变焦;在这种情况下,相机应用程序可以先自动调整至预设变焦倍率1(例如,3.5×),得到变焦后的图像;对变焦后的图像进行图像检测,得到检测结果;根据检测结果与点击操作确定目标检测框或者预设检测框,实现智能变焦;如图9所示。
例如,对于拍摄月亮的场景中,电子设备在变焦倍率为1×时,由于电子设备与月亮之间的距离较远,主摄摄像头采集的图像中可能无法检测到月亮的检测框;此时,电子设备可以先将变焦倍率调整为3.5×,显示3.5×的图像;对3.5×的图像进行图像检测,识别月亮所在的检测框;根据3.5×时月亮的检测框的画面占比确定最佳变焦倍率;将变焦倍率调整为最佳变焦倍率,显示最佳变焦倍率的图像,实现智能变焦。
图9示例性示出了另一种电子设备100在智能变焦模式下进行拍摄的流程图。该方法400包括S401至S418,下面分别对S401至S418进行详细的描述。
S401、检测到开启相机应用程序的操作,响应于操作开启相机应用程序。
可选地,S401的实现方式参见图7中S201的相关描述,此处不再赘述。
S402、基于第一变焦倍率,显示主摄摄像头采集的第一图像。
可选地,S402的实现方式参见图7中S202的相关描述,此处不再赘述。
S403、对第一图像进行图像检测,未识别到检测框。
示例性地,在远距离拍摄场景中,由于拍摄时对象与电子设备之间的距离较远;电子设备可能无法识别第一图像中的检测框;例如,拍摄月亮的场景,或者,远距离拍摄人的场景中。
S404、是否检测到点击操作;若是,执行S406;若否,执行S405。
可选地,S404的实现方式可以参见图8中S304的相关描述,此处不再赘述。
S405、基于第一变焦倍率,显示第一图像。
可选地,S405的实现方式可以参见图8中S305的相关描述,此处不再赘述。
S406、基于预设变焦倍率1,显示变焦后的图像。
示例性地,预设变焦倍率1与S308中的预设变焦倍率可以相同,也可以不同;例如,预设变焦倍率1可以为3.5×。
S407、对变焦后的图像进行图像检测,得到检测结果。
示例性地,对于远距离拍摄的场景中,若在第一图像中未检测到检测框,可以先调整变焦倍率;将变焦倍率调整为预设变焦倍率1,对变焦后的图像再次进行图像检测;在远距离拍摄的场景中,在1×时可能无法检测到检测框,可以将变焦倍率由1×调整至3.5×,在3.5×的图像中进行图像检测,得到检测结果。
S408、是否检测到目标检测框;若是,执行S409;若否,执行S 410。
可选地,S408的实现方式可以参见图8中S306的相关描述,此处不再赘述。
S409、基于目标检测框中拍摄对象的类别确定最佳变焦倍率。
示例性地,根据点击操作的坐标信息可以确定检测结果中的目标检测框;根据目标检测框与变焦后图像的画面占比,可以确定最佳变焦倍率。
可选地,S409的实现方式可以参见图8中S307的相关描述,此处不再赘述。
S410、获取预设变焦倍率与预设检测框。
可选地,S410的实现方式可以参见图8中S308的相关描述,此处不再赘述。
S411、基于目标检测框或者预设检测框与标定参数,控制辅助摄像头转动。
可选地,S411的实现方式可以参见图8中S309的相关描述,此处不再赘述。
S412、获取辅助摄像头采集的第二图像。
可选地,S412的实现方式可以参见图8中S310的相关描述,此处不再赘述。
S413、对主摄摄像头采集的图像与辅助摄像头采集的第二图像进行图像内容匹配,得到处理后的第二图像。
可选地,S413的实现方式可以参见图8中S311的相关描述,此处不再赘述。
S414、基于最佳变焦倍率或者预设变焦倍率与裁剪中心点对处理后的第二图像进行裁剪处理,得到裁剪处理后的图像。
可选地,S414的实现方式可以参见图8中S312的相关描述,此处不再赘述。
S415、将变焦倍率调整为最佳变焦倍率或者预设变焦倍率,显示裁剪处理后的图像。
可选地,S415的实现方式可以参见图8中S313的相关描述,此处不再赘述。
S416、是否检测到退出智能变焦的操作;若是,执行S417;若否,执行S418。
可选地,S416的实现方式可以参见图8中S314的相关描述,此处不再赘述。
S417、基于第一变焦倍率,显示第一图像。
可选地,S417的实现方式可以参见图8中S315的相关描述,此处不再赘述。
S418、显示裁剪处理后的图像。
可选地,S418的实现方式可以参见图8中S316的相关描述,此处不再赘述。
在本申请的实施例中,若电子设备检测到对图像的点击操作后,电子设备可以实现自动智能变焦;可以理解为,在电子设备检测到点击操作后,即使未检测到用户的变焦操作,电子设备也能够进行自动智能变焦;此外,由于电子设备中包括主摄摄像头与可转动的辅助摄像头;一方面,由于辅助摄像头为可转动的摄像头,与不可转动的摄像头相比可转动的摄像头能够在一定程度上提高视场角的灵活性,使得电子设备在各种拍摄场景中的变焦范围较广;另一方面,在本申请的实施例中,由于电子设备通过可转动的辅助摄像头采集图像,并对图像进行处理得到变焦后的图像;与对主摄摄像头采集的图像进行缩放处理,生成变焦后的图像的方案相比,本申请实施例的方案能够在一定程度上提高变焦后图像的图像质量。
实现方式二:对于运动的拍摄对象,实现智能变焦;或者,实现智能变焦与智能追焦。
可选地,在本申请的实施例中,在电子设备智能变焦的过程中,若电子设备当前为主角模式,或者,智能抓拍模式,电子设备还可以实现对拍摄场景中目标对象的智能追焦。
应理解,对运动的拍摄对象进行智能变焦拍摄的过程中,需要进行重识别(re-identification,ReID)检测;或者,在实现智能变焦与智能追焦的拍摄过程中,需要进行ReID检测;ReID检测是指利用计算机视觉技术来检索图像或者视频序列中是否存在相同对象(例如,同一行人,同一动物等)的算法;在本申请的实施例中,通过ReID检测能够实现预设时长内的出镜召回;或者,在实现智能变焦与智能追焦的拍摄过程中,通过ReID检测能够实现对目标对象的追焦;可选地,在本申请的方案中,ReID检测可以采用任意现有的算法,对此不作任何限定。
图11示例性示出了另一种电子设备100在智能变焦模式下进行智能追焦模的拍摄的流程图。该方法500包括S501至S522,下面分别对S501至S522进行详细的描述。
S501、检测到开启相机应用程序的操作,响应于操作开启相机应用程序。
可选地,S501的实现方式可以参见图7中S201的相关描述,此处不再赘述。
S502、基于第一变焦倍率,显示主摄摄像头采集的第一图像。
示例性地,开启相机应用程序后,电子设备可以默认采集1倍变焦倍率(1×)显示预览图像;其中,主摄摄像头可以为电子设备100中的广角摄像头,主摄摄像头采集的图像可以是指主摄摄像头采集的原始Raw图像,第一变焦倍率可以是指1倍变焦倍率。
S503、对第一图像进行图像检测,得到第一检测结果。
其中,第一检测结果包括第一检测框的坐标信息与第一检测框中拍摄对象的类别标识信息。
可选地,若第一图像中包括一个拍摄对象所在的图像区域,则检测结果包括一个检测框与一个类别标识;若第一图像中包括多个拍摄对象所在的图像区域,则检测结果包括多个检测框与多个检测框中每个检测框对应的类别标识。
在本申请的实施例中,通过对第一图像的画面内容进行图像检测,可以识别第一图像的画面中的拍摄对象的类别;后续能够根据不同拍摄对象的类别计算不同的最佳变焦倍率,使得电子设备100在检测到用户对第一图像的点击操作后实现自动变焦;例如,对于风景、建筑物等,较小的变焦倍率;即对应更大的拍摄视场角,拍摄效果更好;对于人像、动物等,较大的变焦倍率;即对应更小的拍摄视场角,拍摄效果更好。
S504、对第一图像进行ReID检测,得到ReID结果。
示例性地,若第一图像为主摄像摄像头采集的首帧图像进行显示的图像,则对第一图像进行ReID检测时对第一图像进行赋初始值处理;若第一图像不是主摄摄像头采集的首帧图像进行显示的图像,则对第一图像与第一图像的前一帧图像进行ReID检测,得到ReID结果。
在本申请的实施例中,进行ReID检测能够在第一图像的画面中包括多个同类别的拍摄对象时,区分同类别拍摄对象中的不同对象;此外,在对第一图像中的某一拍摄对象进行智能追焦时,通过ReID检测结果可以确保智能追焦的拍摄对象的准确性。
S505、是否检测到点击操作;若是,执行S507;若否,执行S506。
示例性地,是否检测到对第一图像的点击操作;可以理解为,在电子设备100的显示屏显示第一图像时,是否检测到对显示屏的点击操作。
S506、基于第一变焦倍率,显示主摄摄像头采集的第一图像。
示例性地,若电子设备100未检测到点击操作,则电子设备100采用1倍变焦倍率(1×)显示第一图像。
S507、是否检测到目标检测框;若是,执行S508;若否,执行S509。
示例性地,判断用户在第一图像上的点击操作的坐标信息是否属于S503检测结果中的任意一检测框;若点击操作的坐标信息位于所有检测框之外,则执行S509;若点击操作的坐标信息位于检测结果的检测框中,则执行S508。
例如,假设第一图像中包括人像、狗与书桌,若用户点击人像,则电子设备100检测到目标检测框为人像所在的检测框;若用户点击人像、狗与书桌之外的其他区域,则此时电子设备100未检测到任意一个检测框。
S508、基于目标检测框中拍摄对象的类别,确定最佳变焦倍率。
示例性地,若检测到用户对第一图像中人像的点击操作(例如,touch),目标检测框为人像(或者,人像与人体)的检测框,可以根据人像的检测框的面积与画面的占比为0.618确定第二倍率,如表1所示。
类似地,若检测到用户对第一图像中猫或者狗的点击操作,目标检测框为猫的检测框或者狗的检测框,可以根据猫的检测框或者狗的检测框与画面的占比为0.618确定第二倍率,如表1所示。
示例性地,若检测到用户对第一图像中的月亮进行点击,目标检测框为月亮的检测框,可以根据月亮的检测框的面积与画面的占比为0.5确定第二倍率,如表1所示。
示例性地,若检测到用户对第一图像中天空或者建筑的点击操作,目标检测框为天空的检测框或者建筑的检测框,此时第二倍率可以为预设变焦倍率1;例如,第二倍率可以为0.5倍变焦倍率(0.5×),如表1所示。
示例性地,若检测到用户对第一图像中其他类别拍摄对象的点击操作,目标检测框为其他类别拍摄对象的检测框,此时第二倍率可以为预设变焦倍率2;例如,第二倍率可以为3.5倍变焦倍率(3.5×),如表1所示。
表1
S509、获取预设变焦倍率、预设检测框与预设标识。
示例性地,若未检测到目标检测框,则获取预设变焦倍率、预设检测框与预设标识;例如,第一图像中包括人1、人2与狗,检测到用户对第一图像中除人1、人2、与狗之外的图像区域的点击操作,此时未检测到目标检测框;可以获取预设变焦倍率、预设检测框与预设标识,实现自动变焦。
S510、确定是否采用双路裁剪;若是,执行S512;若否,执行S511。
在本申请的实施例中,根据第二倍率的大小确定是否采用双路裁剪;双路裁剪可以理解为在主摄摄像头采集由广角摄像头切换为长焦摄像头或者超广角摄像头时,为了确保自动变焦前后图像的平滑性,根据广角摄像头与长焦摄像头采集的两路图像进行裁剪处理,或者,根据广角摄像头与超广角摄像头采集的两路图像进行裁剪处理;根据裁剪结果显示自动变焦后的图像。
例如,若主摄摄像头为广角摄像头,则主摄摄像头的变焦范围为1×~3.5×,若第二倍率大于或者等于3.5×,将主摄摄像头由广角摄像头切换为长焦摄像头,此时采用双路裁剪;或者,若第二倍率小于1×,将主摄摄像头由广角摄像头切换为超广角摄像头,此时采用双路裁剪。
情况一
示例性地,若显示第一图像时倍率在1×~3.5×,自动变焦后的倍率(例如,最佳变焦倍率或者预设变焦倍率)为1×~3.5×,采用单路裁剪;例如,采用广角摄像头采集的图像进行裁剪,根据裁剪结果显示自动变焦后的图像。
情况二
示例性地,若显示第一图像时倍率在3.5×以上,自动变焦后的倍率在3.5×以上,采用单路裁剪;例如,采用长焦摄像头采集的图像进行裁剪,根据裁剪结果显示自动变焦后的图像。
情况三
示例性地,若显示第一图像时倍率在1×~3.5×,自动变焦后的倍率在3.5×以上,采用双路裁剪;例如,采用广角摄像头采集的图像与长焦摄像头采集的图像这两路图像进行裁剪,根据采集结果显示自动变焦后的图像。
S511、对第一图像进行裁剪处理,得到待显示图像,并显示待显示图像。
示例性地,若不采用双路裁剪,则可以直接对第一图像进行裁剪处理,得到待显示图像。
情况一
示例性地,若执行S507,检测到目标检测框,在S511中可以根据最佳变焦倍率对第一图像进行裁剪处理,得到待显示图像,并显示待显示图像。
可选地,可以以检测到对第一图像的点击操作的坐标为裁剪中心点,根据最佳变焦倍率对第一图像进行裁剪处理。
可选地,可以以目标检测框的中心点为裁剪中心点,根据最佳变焦倍率对第一图像进行裁剪处理。
情况二
示例性地,若执行S507,未检测到目标检测框,在S511中可以根据预设变焦倍率对第一图像进行裁剪处理,得到待显示图像,并显示待显示图像。
可选地,可以以S509中预设检测框的中心点为裁剪中心点,根据预设变焦倍率对第一图像进行裁剪处理。
S512、基于点击操作获取目标检测框或者预设检测框。
可选地,若S507中检测到目标检测框,则S512为基于点击操作的坐标信息获取目标检测框的坐标。
可选地,若S507中未检测待目标检测框,则S512为基于点击操作的坐标获取预设检测框的坐标。
S513、基于目标检测框或者预设检测框与标定参数,控制辅助摄像头转动。
应理解,电子设备可以包括主摄摄像头(例如,广角摄像头)与辅助摄像头,辅助摄像头可以为可转动的长焦摄像头;例如,长焦摄像头可以包括光学镜头、OIS控制器、感光元件、棱镜与马达组件,如图4所示;由于主摄摄像头与辅助摄像头为了电子设备中的不同位置,为了确保辅助摄像头的视场角与主摄摄像头的视场角的尽量一致,可以根据主摄摄像头与辅助摄像头之间的标定参数,可以控制辅助摄像头转动。
示例性地,若检测到点击操作,且检测到目标检测框,基于目标检测框与标定参数控制辅助摄像头转动,使得转动后辅助摄像头的视场角与主摄摄像头的视场角尽量一致,且辅助摄像头的视场角中包括目标检测框对应的拍摄对象;其中,通过标定参数可以使主摄摄像头的坐标系与辅助摄像头的坐标系相对应。
示例性地,若检测到点击操作,且未检测到目标检测框,基于预设检测框(例如,5×5的检测框)与标定参数控制辅助摄像头转动,使得转动后辅助摄像头的视场角与主摄摄像头的视场角尽量一致,且辅助摄像头的视场角中包括预设检测框对应的拍摄对象;其中,通过标定参数可以使主摄摄像头的坐标系与辅助摄像头的坐标系相对应。
情况一
示例性地,在主摄摄像头采集第一图像时,可以开启辅助摄像头且不转动辅助摄像头,在执行S513时控制辅助摄像头转动。
情况二
示例性地,在主摄摄像头采集第一图像时,可以不开启辅助摄像头;在执行S513时可以开启辅助摄像头并控制辅助摄像头转动。
在本申请的实施例中,上述情况二与情况一相比,能够在一定程度上减少电子设备的整体功耗。
S514、获取辅助摄像头采集的第二图像。
示例性地,辅助摄像头可以为可转动的长焦摄像头,如图4所示。
S515、对主摄摄像头采集的第一图像与辅助摄像头采集的第二图像进行图像内容匹配,并基于最佳变焦倍率或者预设变焦倍率进行裁剪处理,得到处理后的第二图像。
示例性地,若检测到点击操作,且检测到目标检测框,以目标检测框的中心点为基准对主摄摄像头采集的第一图像的关键点与辅助摄像头采集的第二图像的关键点进行图像配准处理,得到配准后的第二图像;根据最佳变焦倍率对配准后的第二图像进行裁剪处理,得到处理后的第二图像。
示例性地,若检测到点击操作,且未检测到目标检测框,以预设检测框的中心点为基准对主摄摄像头采集的第一图像的关键点与辅助摄像头采集的第二图像的关键点进行图像配准处理,得到配准后的第二图像;根据预设变焦倍率对配准后的第二图像进行裁剪处理,得到处理后的第二图像。
S516、对处理后的第二图像进行图像检测,得到第二检测结果。
应理解,由于在执行S517中的ReID检测时,需要获取主摄摄像头采集的第一图像的检测结果与辅助摄像头采集的第二图像的检测结果,因此需要对处理后的第二图像进行图像检测。
可选地,S516的实现方式参见S503的相关描述,此处不再赘述。
S517、对主摄摄像头采集的第一图像与处理后的第二图像进行ReID检测,得到目标标识。
可选地,若处理后的第二图像的分辨率与第一图像的分辨率相同,S517中的ReID检测与S504中的ReID检测可以相同。
可选地,若处理后的第二图像的分辨率与第一图像的分辨率不相同,S517中的ReID检测可以采用目标特征点匹配算法。
示例性地,可以根据第一图像的检测框、第一图像中检测框对应的标识与处理后第二图像的检测框,得到处理后第二图像中检测框的标识;根据检测到对第一图像的点击操作的坐标信息,可以得到第一图像中的检测框的标识1;根据第一图像中检测框的标识1,可以匹配到处理后的第二图像中与标识1对应的检测框的标识,即目标标识。
S518、基于裁剪策略与目标标识对处理后的第二图像进行裁剪处理,得到目标对象的图像。
示例性地,目标对象可以是指检测框的目标标识对应的拍摄对象。
情况一
示例性地,裁剪策略为基于目标标识对应的裁剪框直接进行裁剪处理,得到目标对象的图像。
情况二
示例性地,裁剪策略为基于目标标识对应裁剪框与构图策略进行裁剪处理,得到目标对象的图像。
例如,假设目标标识为人的检测框的标识,人的检测框包括人脸图像区域与人体图像区域;根据主摄摄像头采集图像中人的检测框的面积占整个画面的比例大小,可以识别人与电子设备之间的拍摄距离(例如,物距);构图策略包括:若为远距离拍摄人,裁剪处理时可以保留人脸图像区域与完整的人体图像区域;若为中远距离拍摄人,裁剪处理时可以保留人脸图像区域与部分人体图像区域;若为近距离拍摄人,裁剪处理时可以保留人脸图像区域。
示例性地,若为远距离拍摄,则人像构图为小全景构图,如图12中的431所示;若为中距离拍摄,则人像构图为大中景构图(图12所示的432),中景构图(如图12所示的433)、或者小中景构图(如图12所示的434);若为近距离人像拍摄,则人像构图为近景构图(如图12所示的435)、特写构图(如图12所示的436)或者,面部特写构图(如图12所示的437)。
可选地,若对视频流进行处理,在S517中可以增加图像平滑处理;使得视频流中相邻两帧图像的图像跳变较小。
S519、显示目标对象的图像。
示例性地,以最佳变焦倍率或者预设变焦倍率为固定倍率,显示目标对象的图像;可以理解为,在确定智能变焦倍率后,该智能变焦倍率固定实现智能追焦。
示例性地,先以最佳变焦倍率或者预设变焦倍率为智能变焦倍率,显示目标对象的图像;若追焦的对象与电子设备之间的距离发生变化,可以重新确定新的智能变焦倍率,基于新的智能变焦倍率实现智能追焦。
可选地,若最佳变焦倍率或者预设变焦倍率为较高的变焦倍率(例如,10×以上),为了确保图像的图像质量,可以在S518与S519之间增加电子防抖处理;可以采用任意现有的电子防抖处理的方法。
S520、是否满足退出智能变焦的条件;若是,执行S521;若否,执行S522。
情况一
可选地,退出条件为追焦拍摄对象丢失的时长超过预设时长。
示例性地,在对拍摄对象进行追焦,若检测到拍摄对象出镜,且出镜时长大于预设时长,则退出智能变焦;可以理解为拍摄对象在移动且不在辅助摄像头的视场角内,并且未在视场角内出现的时长大于预设时长,此时电子设备可以退出智能变焦。
情况二
可选地,退出条件为检测到用户的点击操作;例如,自动变焦后,显示的预览界面为画中画显示界面,画中画显示界面中小窗中显示的为主摄摄像头采集的图像,画中画显示界面中大窗中显示的为自动变焦后辅助摄像头采集的图像;若检测到用户对小窗的点击操作,电子设备退出自动变焦。
S521、基于第一变焦倍率,显示主摄摄像头采集的第一图像。
示例性地,若退出智能变焦,则电子设备显示主摄摄像头采集的第一图像。
S522、显示目标对象的图像。
示例性地,若未退出智能变焦,则电子设备显示目标对象的图像。
在本申请的实施例中,若电子设备检测到对图像的点击操作后,电子设备可以实现自动智能变焦;可以理解为,在电子设备检测到点击操作后,即使未检测到用户的变焦操作,电子设备也能够进行自动智能变焦;此外,由于电子设备中包括主摄摄像头与可转动的辅助摄像头;一方面,由于辅助摄像头为可转动的摄像头,与不可转动的摄像头相比可转动的摄像头能够在一定程度上提高视场角的灵活性,使得电子设备在各种拍摄场景中的变焦范围较广;另一方面,在本申请的实施例中,由于电子设备通过可转动的辅助摄像头采集图像,并对图像进行处理得到变焦后的图像;与对主摄摄像头采集的图像进行缩放处理,生成变焦后的图像的方案相比,本申请实施例的方案能够在一定程度上提高变焦后图像的图像质量。
图13是本申请实施例提供的一种拍摄方法的示意性流程图。该方法600包括S610至S670,下面分别对S610至S670进行详细的描述。
S610、开启相机应用程序。
可选地,S610的实现方式可以参见图7中S201的相关描述,此处不再赘述。
S620、显示第一界面。
其中,第一界面包括预览窗和第一控件,预览窗中显示第一图像,第一图像上包括一个或多个标记与图像内容,一个或多个标记对应于第一图像中的一个或多个拍摄对象,一个或多个标记包括第一标记,第一标记对应第一图像中的第一拍摄对象,图像内容用于指示一个或者多个拍摄对象,第一图像为第一摄像头采集的图像,第一控件上显示第一变焦倍率。
示例性地,第一界面如图1C所示的用户界面13;用户界面13中包括预览窗为113和焦距控件126(例如,第一控件);预览窗113中显示的第一图像中包括3个标记,分别为选择框121、选择框122与选择框123;其中,选择框121用于标记人物1;选择框122用于标记人物2;选择框123用于标记狗3。
应理解,上述以第一界面为如图1C所示的用户界面13进行举例描述,本申请对比不作任何限定。
S630、检测到对第一标记的第一操作。
示例性地,如图1H所示的用户界面18,第一标记可以为人物2的选择框122;电子设备检测到对选择框122的点击操作。
应理解,上述以第一界面为如图1H所示的用户界面18进行举例描述,本申请对比不作任何限定。
S640、响应于第一操作,转动第二摄像头并采集第二图像。
可选地,转档摄像头并采集第二图像的实现方式可以参见图7中的S207,或者,图8中的S309,或者,图9中的S411,或者,图11中的S513的相关描述,此处不再赘述。
可选地,在一种实现方式中,响应于第一操作,转动第二摄像头并采集第二图像,包括:
获取第一摄像头与第二摄像头的标定参数,标定参数用于标定第一摄像头的坐标与第二摄像头的坐标之间的偏移量;基于第一标记对应的检测框与标定参数,转动第二摄像头至第一位置;其中,第二摄像头在第一位置的视场角中包括第一拍摄对象。
可选地,在一种实现方式中,还包括:
在开启相机应用程序时,开启第一摄像头与第二摄像头。
可选地,在一种实现方式中,还包括:
在检测到第一操作时,开启第二摄像头。
在本申请的实施例中,可以在检测到对第一图像中的第一标记的点击操作后,再开启第二摄像头,从而能够在一定程度上节约电子设备的功耗。
可选地,在一种实现方式中,第二摄像头转动后,第二摄像头的镜头的中心与成像中心之间存在第一偏移量。
可以理解的,转动摄像头包括在三维空间上转动摄像头,不只二维空间上的转动摄像头。示例性地,在第二摄像头转动后,第二摄像头的镜头的中心点与图像传感器的成像中心点之间发生偏移;可以理解为,在第二摄像头转动后,第二摄像头的视场角与转动前第二摄像头的视场角不同;可选地,第二摄像头的工作原理可以参见图4至图6的相关描述,此处不再赘述。
S650、基于第一拍摄对象的类别确定第二变焦倍率。
应理解,第二变焦倍率可以是指图7至图9、图11中的最佳变焦倍率。
可选地,在一种实现方式中,基于第一拍摄对象的类别确定第二变焦倍率,包括:
对第一图像进行图像检测,得到一个或者多个检测框,一个或多个检测框用于表征第一图像中的一个或多个拍摄对象的坐标信息,一个或者多个检测框与一个或多个标记一一对应,第一标记对应第一检测框;
若第一拍摄对象的类别为第一类别,基于第一检测框与第一图像的画面占比,确定第二变焦倍率,第一类别包括人、动物或者月亮。
可选地,在一种实现方式中,基于第一拍摄对象的类别确定第二变焦倍率,包括:
对第一图像进行图像检测,得到一个或者多个检测框,一个或多个检测框用于表征第一图像中的一个或多个拍摄对象的坐标信息,一个或者多个检测框与一个或多个标记一一对应,第一标记对应第一检测框;
若第一拍摄对象的类别为第二类别,第二变焦倍率为第三预设变焦倍率,第二类别包括风景或者建筑物。
可选地,确定第二变焦倍率的实现方式可以参加图7中的S206、图8中的S307与S308、图9中的S409,或者,图11中的S508的相关描述,此处不再赘述。
S660、基于第二变焦倍率对第二图像进行图像处理,得到第三图像。
可选地,在一种实现方式中,基于第二变焦倍率对第二图像进行图像处理,得到第三图像,包括:
以第一标记对应的检测框的中心为基准,对第一摄像头采集的图像与第二图像进行图像配准处理,得到配准后的第二图像;
基于第二变焦倍率对第二图像进行裁剪处理,得到第三图像。
可选地,S660的实现方式可以参见图7中的S209,或者,图8中的S313的相关描述,此处不再赘述。
S670、若第二变焦倍率大于或者等于第一预设变焦倍率,显示第二界面。
其中,第二界面包括预览窗与第一窗口,第一窗口在预览窗中以画中画的形式显示,或者,第一窗口在预览窗口中以分屏的形式显示,预览窗中显示第三图像与第一控件,第一控件上显示第二变焦倍率,第一窗口显示第四图像,第四图像为基于第二预设变焦倍率对第二图像进行裁剪处理后的图像,第二预设变焦倍率小于第二变焦倍率,第三图像的图像内容为第四图像的图像内容中的部分,第四图像与第三图像包括第一拍摄对象。
示例性地,第二界面如图1I所示的用户界面19;预览窗如用户界面19中的113所示,第一窗口如用户界面19中的124所示;第一控件如用户界面19中的126所示。
应理解,上述以第二界面为如图1I所示的用户界面19进行举例描述,本申请对此不作任何限定。
可选地,第一预设变焦倍率可以为15×、16×、17×、18×、19×或者20×等;本申请对第一预设变焦倍率的数值不作任何限定。
可选地,在一种实现方式中,第一窗口中显示第二控件,第二控件用于退出第一窗口;还包括:
检测到对第二控件的第二操作,显示第一界面。
示例性地,第一窗口如图1I所示的用户界面19中的124;第二控件如图1I所示用户界面19中的1241。可选地,在一种实现方式中,第一窗口中显示预览框,预览框对应的视场角与第三图像对应的视场角相同;还包括:
检测到对预览框的第三操作,显示第一界面。
示例性地,第一窗口如图1I所示的用户界面19中的124;预览框如图1I所示用户界面19中的1242。
需要说明的是,如图1I所示的用户界面19中,预览窗113中显示的预览图像的图像内容与小窗124中预览框1242中显示的预览图像的图像内容相同;两者的区别在于,图像分辨率大小不同。
可选地,在一种实现方式中,若第一拍摄对象移动,第一窗口中的预览框移动。
可选地,在一种实现方式中,还包括:
若第二变焦倍率小于第一预设变焦倍率,显示第三界面;其中,第三界面包括预览窗,预览窗中显示第三图像与第一控件,第一控件上显示第二变焦倍率。
示例性地,第三界面如图1P所示的用户界面27;预览窗如用户界面27中的113所示;第一控件如用户界面27中的焦距控件126所示。
应理解,上述以第二界面为如图1I所示的用户界面19进行举例描述,本申请对此不作任何限定。
在本申请的实施例中,可以根据第二变焦倍率与第一预设变焦倍率的比较,灵活地显示变焦后的显示界面;例如,若第二变焦倍率大于第一预设变焦倍率,电子设备可以显示第二界面,第二界面中包括预览窗与第一窗口;若第二变焦倍率小于第一预设变焦倍率,电子设备可以显示第三界面,第三界面中包括预览窗。
可选地,在一种实现方式中,第一摄像头为电子设备的主摄摄像头,第一变焦倍率为开启相机应用程序显示图像对应的变焦倍率。
可选地,在一种实现方式中,第一变焦倍率与第二变焦倍率相同。
示例性地,第一变焦倍率可以为检测到用户调整变焦倍率后的变焦倍率,第二变焦倍率为拍摄对象对应的最佳变焦倍率;在一种实现方式中,两者可以相等,如图1S至1V所示的用户界面的相关描述。
可选地,在一种实现方式中,第二预设变焦倍率小于第一预设变焦倍率;或者,第二预设变焦倍率等于第一变焦倍率。
在一种实现方式中,第一变焦倍率可以为开启相机主摄摄像头显示图像对应的变焦倍率;第一小窗中显示的图像的第二预设变焦倍率可以与第一变焦倍率相等;例如,开启相机后,显示如图1B所示的用户界面12,第一变焦倍率为1×;检测到对人物2的点击操作,确定人物2的第二变焦倍率大于第一预设变焦倍率;显示第二界面,如图1M中所示的用户界面24;第一窗口中显示第二预设变焦倍率(例如,1×)的预览图像,如图1M中所示的用户界面24中小窗124中显示的预览图像。
需要说明的是,开启相机后,主摄摄像头显示图像对应的变焦倍率可以为1×、1.1×、1.2×、0.99×、0.98×等,本申请对此不作任何限定。
在一种实现方式中,第一变焦倍率可以为开启相机主摄摄像头显示图像对应的变焦倍率;第一小窗中显示的图像的第二预设变焦倍率可以大于第一变焦倍率相等;例如,开启相机后,显示如图1B所示的用户界面12,第一变焦倍率为1×;检测到对人物2的点击操作,确定人物2的第二变焦倍率大于第一预设变焦倍率;显示第二界面,如图1I中所示的用户界面19;第一窗口中显示第二预设变焦倍率(例如,10×)的预览图像,如图1I中所示的用户界面19中小窗124中显示的预览图像。
可选地,在一种实现方式中,第一窗口中显示第一标记。
可选地,在一种实现方式中,第二摄像头包括可转动的长焦摄像头。
在本申请的实施例中,电子设备包括第一摄像头与第二摄像头,第二摄像头为可转动的摄像头;由于电子设备中包括第一摄像头与可转动的摄像头;一方面,由于可转动的摄像头与不可转动的摄像头相比可转动的摄像头能够在一定程度上提高视场角的灵活性,使得电子设备在各种拍摄场景中的变焦范围较广;开启相机后,显示第一界面,第一界面中显示第一图像,第一图像为第一摄像头采集的图像;若电子设备检测到对第一标记的第一操作;第一标记对应第一图像中的第一拍摄对象,电子设备基于第一拍摄对象的类别确定第二变焦倍率;电子设备自动切换至第二变焦倍率的显示界面;若第二变焦倍率大于第一预设变焦倍率,电子设备可以显示第二界面,第二界面中包括预览窗与第一窗口;预设变焦倍率在本申请的方案中,在电子设备检测到对第一图像中第一拍摄对象的操作后,可以实现电子设备的自动智能变焦;可以理解为,在电子设备检测到对第一拍摄对象的点击操作后,即使未检测到用户的变焦操作,电子设备也能够进行自动智能变焦;因此,通过本申请的方案,能够在扩大变焦范围的情况下,实现电子设备的智能变焦;提高用户的拍摄体验。
此外,在本申请的实施例中,由于电子设备通过可转动的摄像头采集图像,并对图像进行处理得到变焦后的图像;与对第一摄像头采集的图像进行缩放处理,生成变焦后的图像的方案相比,本申请实施例的方案能够在一定程度上提高变焦后图像的图像质量。
图14是本申请实施例提供的电子设备100的系统结构示意图。
示例性地,分层架构将系统分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将系统分为五层,从上至下分别为应用层,应用框架层、硬件抽象层、驱动层以及硬件层。
例如,应用层可以包括一系列应用程序包。在本申请实施例中,应用程序包可以包括相机应用程序;以及其他能够调用相机功能的应用程序;例如,即时通信应用程序;即时支付应用程序;视频会议应用程序;第三方相机应用程序等。
例如,应用框架层为应用层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用框架层包括一些预先定义的函数。在本申请实施例中,应用框架层可以包括相机访问接口,其中,相机访问接口可以包括相机管理以及相机设备。相机访问接口用于为相机应用提供应用编程接口和编程框架。
例如,硬件抽象层为位于应用框架层以及驱动层之间的接口层,为操作系统提供虚拟硬件平台。本申请实施例中,硬件抽象层可以包括相机硬件抽象层以及相机算法库。
其中,相机硬件抽象层可以提供相机设备1、相机设备2或更多的相机设备的虚拟硬件。相机算法库可包括实现本申请实施例提供的拍摄方法的运行代码和数据。
例如,驱动层为硬件和软件之间的层。驱动层包括各种硬件的驱动。驱动层可以包括相机设备驱动、数字信号处理器驱动以及图像处理器驱动等。
其中,相机设备驱动用于驱动摄像头的传感器采集图像以及驱动图像信号处理器对图像进行预处理。数字信号处理器驱动用于驱动数字信号处理器处理图像。图像处理器驱动用于驱动图形处理器处理图像。
硬件层包括相机模组,相机模组包括第一摄像头与第二摄像头;其中,第一摄像头可以是指本申请实施例中的主摄摄像头;第二摄像头包括可转动的长焦摄像头。
下面结合上述系统结构,对本申请实施例中的拍摄方法进行具体描述:
响应于用户打开相机应用的操作,例如点击相机应用图标的操作,相机应用调用应用框架层的相机访问接口,启动相机应用,进而通过调用相机硬件抽象层中的相机设备(相机设备1和/或其他相机设备)发送启动摄像头的指令。相机硬件抽象层将该指令发送到内核层的相机设备驱动。该相机设备驱动可以启动相应的摄像头传感器,并通过传感器采集图像光信号;相机硬件抽象层中的一个相机设备对应硬件层的一个摄像头传感器。
然后,摄像头传感器可将采集到的图像光信号传输到图像信号处理器进行预处理,得到图像电信号(原始图像),并将上述原始图像通过相机设备驱动传输至相机硬件抽象层。
相机硬件抽象层可将原始图像发送的相机算法库;相机算法库中存储有实现本申请实施例提供的拍摄方法的程序代码。基于数字信号处理器、图像处理器,相机算法库执行上述代码,可实现上述方法实施例中描述的智能变焦,或者,智能变焦与智能追焦的功能。
相机算法库可将识别到摄像头采集原始图像发送到相机硬件抽象层。然后,相机硬件抽象层可以将其进行送显。同时,相机算法库还可输出图像帧中的检测结果;根据检测结果与检测到的点击操作,可以得到目标对象的最佳变焦倍率。这样,若检测到对图像帧的点击操作,相机应用可以基于最佳变焦倍率实现自动智能变焦。
图15示出了一种适用于本申请的电子设备100的硬件系统。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器129,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器129,显示屏194,摄像头193,和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)。显示面板还可以采用有机发光二极管(organiclight-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode,AMOLED),柔性发光二极管(flexlight-emitting diode,FLED),miniled,microled,micro-oled,量子点发光二极管(quantum dot light emitting diodes,QLED)等制造。在一些实施例中,电子设备可以包括1个或N个显示屏194,N为大于1的正整数。
在本申请实施例中,电子设备100显示摄像头采集的原始图像、经过智能变焦后的变焦图像;或者,显示经过智能变焦与智能追焦后的图像;例如,显示图1A至图1T所示的用户界面的能力,依赖于上述GPU,显示屏194,以及应用处理器提供的显示功能。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
在本申请实施例中,电子设备100实施本申请实施例提供的拍摄方法,首先依赖于ISP,摄像头193采集的图像,其次还依赖于视频编解码器,GPU提供的图像计算与处理能力。其中,电子设备100可通过NPU提供的计算处理能力,实施人脸识别、人体识别、重识别(ReID)等神经网络算法。
内部存储器129可以包括一个或多个随机存取存储器(random access memory,RAM)和一个或多个非易失性存储器(non-volatile memory,NVM)。
随机存取存储器可以包括静态随机存储器(static random-access memory,SRAM)、动态随机存储器(dynamic random access memory,DRAM)、同步动态随机存储器(synchronous dynamic random access memory,SDRAM)、双倍资料率同步动态随机存取存储器(double data rate synchronous dynamic random access memory,DDR SDRAM,例如第五代DDR SDRAM一般称为DDR5 SDRAM)等。
非易失性存储器可以包括磁盘存储器件、快闪存储器(flash memory)。快闪存储器按照运作原理划分可以包括NOR FLASH、NAND FLASH、3D NAND FLASH等,按照存储单元电位阶数划分可以包括单阶存储单元(single-level cell,SLC)、多阶存储单元(multi-level cell,MLC)、三阶储存单元(triple-level cell,TLC)、四阶储存单元(quad-levelcell,QLC)等,按照存储规范划分可以包括通用闪存存储(英文:universal flashstorage,UFS)、嵌入式多媒体存储卡(embedded multi media Card,eMMC)等。
随机存取存储器可以由处理器110直接进行读写,可以用于存储操作系统或其他正在运行中的程序的可执行程序(例如机器指令),还可以用于存储用户及应用程序的数据等。非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等,可以提前加载到随机存取存储器中,用于处理器110直接进行读写。
在本申请实施例中,实现本申请实施例所述的拍摄方法的代码可存储在非易失性存储器上。在运行相机应用时,电子设备100可将非易失性存储器中存储的可执行代码加载到随机存取存储器。
外部存储器接口120可以用于连接外部的非易失性存储器,实现扩展电子设备100的存储能力。外部的非易失性存储器通过外部存储器接口120与处理器110通信,实现数据存储功能。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。耳机接口170D用于连接有线耳机。
在本申请实施例中,电子设备100在启用摄像头采集图像的过程中,可以同时启用麦克风170C采集声音信号,并将声音信号转换为电信号存储下来。这样,用户可以得到有声的视频。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
在本申请实施例中,电子设备100可利用触摸传感器180K检测用户作用于显示屏194上的点击操作等操作,以实现图1A至图1T所示的拍摄方法。
骨传导传感器180M可以获取振动信号。按键190包括开机键,音量键等。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口195用于连接SIM卡。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。
示例性地,图15所示的各硬件间的连接关系只是示意性说明,并不构成对电子设备100的各硬件间的连接关系的限定。可选地,电子设备100的各硬件也可以采用上述实施例中之外的其他连接方式。
图16是本申请实施例一种电子设备100的结构示意图。该电子设备100包括处理模块151与显示模块152。
需要说明的是,电子设备100中还包括第一摄像头与第二摄像头,第二摄像头为可转动的摄像头。
其中,所述处理模块151用于:开启相机应用程序;所述显示模块152用于:显示第一界面,所述第一界面包括预览窗和第一控件,所述预览窗中显示第一图像,所述第一图像包括一个或多个标记与图像内容,所述一个或多个标记对应于所述第一图像中的一个或多个拍摄对象,所述一个或多个标记包括第一标记,所述第一标记对应所述第一图像中的第一拍摄对象,所述图像内容用于指示所述一个或者多个拍摄对象,所述第一图像为所述第一摄像头采集的图像,所述第一控件上显示第一变焦倍率;所述处理模块151用于:检测到对所述第一标记的第一操作;响应于所述第一操作,转动所述第二摄像头并采集第二图像;基于所述第一拍摄对象的类别确定第二变焦倍率;基于所述第二变焦倍率对所述第二图像进行图像处理,得到第三图像;所述显示模块152用于:若第二变焦倍率大于或者等于第一预设变焦倍率,显示第二界面;其中,所述第二界面包括所述预览窗与第一窗口,所述第一窗口在所述预览窗中以画中画的形式显示,或者,所述第一窗口在所述预览窗口中以分屏的形式显示,所述预览窗中显示所述第三图像与所述第一控件,所述第一控件上显示所述第二变焦倍率,所述第一窗口显示第四图像,所述第四图像为基于第二预设变焦倍率对所述第二图像进行裁剪处理后的图像,所述第二预设变焦倍率小于所述第二变焦倍率,所述第三图像的图像内容为所述第四图像的图像内容中的部分,所述第四图像与所述第三图像包括所述第一拍摄对象。
可选地,作为一个实施例,所述处理模块151还用于:
若所述第二变焦倍率小于第一预设变焦倍率,显示第三界面;其中,所述第三界面包括所述预览窗,所述预览窗中显示所述第三图像与所述第一控件,所述第一控件上显示所述第二变焦倍率。
可选地,作为一个实施例,所述处理模块151具体用于:
对所述第一图像进行图像检测,得到一个或者多个检测框,所述一个或多个检测框用于表征所述第一图像中的一个或多个拍摄对象的坐标信息,所述一个或者多个检测框与所述一个或多个标记一一对应,所述第一标记对应第一检测框;
若所述第一拍摄对象的类别为第一类别,基于所述第一检测框与所述第一图像的画面占比,确定所述第二变焦倍率,所述第一类别包括人、动物或者月亮。
可选地,作为一个实施例,所述处理模块151具体用于:
对所述第一图像进行图像检测,得到一个或者多个检测框,所述一个或多个检测框用于表征所述第一图像中的一个或多个拍摄对象的坐标信息,所述一个或者多个检测框与所述一个或多个标记一一对应,所述第一标记对应第一检测框;
若所述第一拍摄对象的类别为第二类别,所述第二变焦倍率为第三预设变焦倍率,所述第二类别包括风景或者建筑物。
可选地,作为一个实施例,所述处理模块151具体用于:
获取所述第一摄像头与所述第二摄像头的标定参数,所述标定参数用于标定所述第一摄像头的坐标与所述第二摄像头的坐标之间的偏移量;
基于所述第一标记对应的检测框与所述标定参数,转动所述第二摄像头至第一位置;其中,所述第二摄像头在所述第一位置的视场角中包括所述第一拍摄对象。
可选地,作为一个实施例,所述处理模块151具体用于:
以所述第一标记对应的检测框的中心为基准,对所述第一摄像头采集的图像与所述第二图像进行图像配准处理,得到配准后的第二图像;
基于所述第二变焦倍率对所述第二图像进行裁剪处理,得到所述第三图像。
可选地,作为一个实施例,所述处理模块151还用于:
在开启所述相机应用程序时,开启所述第一摄像头与所述第二摄像头。
可选地,作为一个实施例,所述处理模块151还用于:
在检测到所述第一操作时,开启所述第二摄像头。
可选地,作为一个实施例,所述第二摄像头转动后,所述第二摄像头的镜头的中心点与成像中心点之间存在第一偏移量。
可选地,作为一个实施例,所述第一窗口中显示第二控件,所述第二控件用于退出所述第一窗口;所述处理模块151还用于:
检测到对所述第二控件的第二操作,显示所述第一界面。
可选地,作为一个实施例,所述第一窗口中显示预览框,所述预览框对应的视场角与所述第三图像对应的视场角相同;所述处理模块151还用于:
检测到对所述预览框的第三操作,显示所述第一界面。
可选地,作为一个实施例,若所述第一拍摄对象移动,所述第一窗口中的所述预览框移动。
可选地,作为一个实施例,所述第一摄像头为所述电子设备的主摄摄像头,所述第一变焦倍率为开启所述相机应用程序显示图像对应的变焦倍率。
可选地,作为一个实施例,所述第一变焦倍率与所述第二变焦倍率相同。
可选地,作为一个实施例,所述第一窗口与所述预览窗中的所述第一拍摄对象不重叠。
可选地,作为一个实施例,所述第一窗口中显示所述第一标记。
可选地,作为一个实施例,所述第二摄像头包括可转动的长焦摄像头。
需要说明的是,上述电子设备100以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现,对此不作具体限定。
例如,“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit,ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此,在本申请的实施例中描述的各示例的单元,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
可选地,本申请还提供了一种计算机程序产品,该计算机程序产品被处理器执行时实现本申请中任一方法实施例中的拍摄方法。
例如,该计算机程序产品可以存储在存储器中,例如是程序,程序经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器执行的可执行目标文件。
可选地,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机执行时实现本申请中任一方法实施例所述的拍摄方法。该计算机程序可以是高级语言程序,也可以是可执行目标程序。
例如,该计算机可读存储介质例如是存储器。存储器可以是易失性存储器或非易失性存储器,或者,存储器可以同时包括易失性存储器和非易失性存储器。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmableROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(randomaccess memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamicRAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的电子设备的实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
应理解,在本申请的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请的实施例的实施过程构成任何限定。
另外,本文中的术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准总之,以上所述仅为本申请技术方案的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (20)
1.一种拍摄方法,其特征在于,应用于电子设备,所述电子设备包括第一摄像头与第二摄像头,所述第二摄像头为可转动的摄像头,所述方法包括:
开启相机应用程序;
显示第一界面,所述第一界面包括预览窗和第一控件,所述预览窗中显示第一图像,所述第一图像包括一个或多个标记与图像内容,所述一个或多个标记对应于所述第一图像中的一个或多个拍摄对象,所述一个或多个标记包括第一标记,所述第一标记对应所述第一图像中的第一拍摄对象,所述图像内容用于指示所述一个或者多个拍摄对象,所述第一图像为所述第一摄像头采集的图像,所述第一控件上显示第一变焦倍率;
检测到对所述第一标记的第一操作;
响应于所述第一操作,转动所述第二摄像头并采集第二图像;
基于所述第一拍摄对象的类别确定第二变焦倍率;
基于所述第二变焦倍率对所述第二图像进行图像处理,得到第三图像;
若第二变焦倍率大于或者等于第一预设变焦倍率,显示第二界面;其中,所述第二界面包括所述预览窗与第一窗口,所述第一窗口在所述预览窗中以画中画的形式显示,或者,所述第一窗口在所述预览窗口中以分屏的形式显示,所述预览窗中显示所述第三图像与所述第一控件,所述第一控件上显示所述第二变焦倍率,所述第一窗口显示第四图像,所述第四图像为基于第二预设变焦倍率对所述第二图像进行裁剪处理后的图像,所述第二预设变焦倍率小于所述第二变焦倍率,所述第三图像的图像内容为所述第四图像的图像内容中的部分,所述第四图像与所述第三图像包括所述第一拍摄对象。
2.如权利要求1所述的拍摄方法,其特征在于,还包括:
若所述第二变焦倍率小于所述第一预设变焦倍率,显示第三界面;其中,所述第三界面包括所述预览窗,所述预览窗中显示所述第三图像与所述第一控件,所述第一控件上显示所述第二变焦倍率。
3.如权利要求1或2所述的拍摄方法,其特征在于,所述基于所述第一拍摄对象的类别确定第二变焦倍率,包括:
对所述第一图像进行图像检测,得到一个或者多个检测框,所述一个或多个检测框用于表征所述第一图像中的一个或多个拍摄对象的坐标信息,所述一个或者多个检测框与所述一个或多个标记一一对应,所述第一标记对应第一检测框;
若所述第一拍摄对象的类别为第一类别,基于所述第一检测框与所述第一图像的画面占比,确定所述第二变焦倍率,所述第一类别包括人、动物或者月亮。
4.如权利要求1或2所述的拍摄方法,其特征在于,所述基于所述第一拍摄对象的类别确定第二变焦倍率,包括:
对所述第一图像进行图像检测,得到一个或者多个检测框,所述一个或多个检测框用于表征所述第一图像中的一个或多个拍摄对象的坐标信息,所述一个或者多个检测框与所述一个或多个标记一一对应,所述第一标记对应第一检测框;
若所述第一拍摄对象的类别为第二类别,所述第二变焦倍率为第三预设变焦倍率,所述第二类别包括风景或者建筑物。
5.如权利要求1至4中任一项所述的拍摄方法,其特征在于,所述响应于所述第一操作,转动所述第二摄像头并采集第二图像,包括:
获取所述第一摄像头与所述第二摄像头的标定参数,所述标定参数用于标定所述第一摄像头的坐标与所述第二摄像头的坐标之间的偏移量;
基于所述第一标记对应的检测框与所述标定参数,转动所述第二摄像头至第一位置;其中,所述第二摄像头在所述第一位置的视场角中包括所述第一拍摄对象。
6.如权利要求1至5中任一项所述的拍摄方法,其特征在于,所述基于所述第二变焦倍率对所述第二图像进行图像处理,得到第三图像,包括:
以所述第一标记对应的检测框的中心为基准,对所述第一摄像头采集的图像与所述第二图像进行图像配准处理,得到配准后的第二图像;
基于所述第二变焦倍率对所述第二图像进行裁剪处理,得到所述第三图像。
7.如权利要求1至6中任一项所述的拍摄方法,其特征在于,还包括:
在开启所述相机应用程序时,开启所述第一摄像头与所述第二摄像头。
8.如权利要求1至6中任一项所述的拍摄方法,其特征在于,还包括:
在检测到所述第一操作时,开启所述第二摄像头。
9.如权利要求1至8中任一项所述的拍摄方法,其特征在于,所述第二摄像头转动后,所述第二摄像头的镜头的中心点与成像中心点之间存在第一偏移量。
10.如权利要求1至9中任一项所述的拍摄方法,其特征在于,所述第一窗口中显示第二控件,所述第二控件用于退出所述第一窗口;还包括:
检测到对所述第二控件的第二操作,显示所述第一界面。
11.如权利要求1至9中任一项所述的拍摄方法,其特征在于,所述第一窗口中显示预览框,所述预览框对应的视场角与所述第三图像对应的视场角相同;还包括:
检测到对所述预览框的第三操作,显示所述第一界面。
12.如权利要求11所述的拍摄方法,其特征在于,若所述第一拍摄对象移动,所述第一窗口中的所述预览框移动。
13.如权利要求1至12中任一项所述的拍摄方法,其特征在于,所述第一摄像头为所述电子设备的主摄摄像头,所述第一变焦倍率为开启所述相机应用程序显示图像对应的变焦倍率。
14.如权利要求1至12中任一项所述的拍摄方法,其特征在于,所述第一变焦倍率与所述第二变焦倍率相同。
15.如权利要求1至14中任一项所述的拍摄方法,其特征在于,所述第一窗口与所述预览窗中的所述第一拍摄对象不重叠。
16.如权利要求1至15中任一项所述的拍摄方法,其特征在于,所述第一窗口中显示所述第一标记。
17.如权利要求1至16中任一项所述的拍摄方法,其特征在于,所述第二摄像头包括可转动的长焦摄像头。
18.一种电子设备,其特征在于,包括:
一个或多个处理器、存储器、第一摄像头与第二摄像头;其中,所述第二摄像头为可转动的摄像头;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至17中任一项所述的拍摄方法。
19.一种芯片系统,其特征在于,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至17中任一项所述的拍摄方法。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储了计算机程序,当所述计算机程序被处理器执行时,使得所述处理器执行权利要求1至17中任一项所述的拍摄方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310363698.2A CN117135452A (zh) | 2023-03-31 | 2023-03-31 | 拍摄方法和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310363698.2A CN117135452A (zh) | 2023-03-31 | 2023-03-31 | 拍摄方法和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117135452A true CN117135452A (zh) | 2023-11-28 |
Family
ID=88855298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310363698.2A Pending CN117135452A (zh) | 2023-03-31 | 2023-03-31 | 拍摄方法和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117135452A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111010506A (zh) * | 2019-11-15 | 2020-04-14 | 华为技术有限公司 | 一种拍摄方法及电子设备 |
CN114205522A (zh) * | 2020-01-23 | 2022-03-18 | 华为技术有限公司 | 一种长焦拍摄的方法及电子设备 |
WO2022068537A1 (zh) * | 2020-09-29 | 2022-04-07 | 华为技术有限公司 | 一种图像处理方法及相关装置 |
WO2022228274A1 (zh) * | 2021-04-27 | 2022-11-03 | 华为技术有限公司 | 一种变焦拍摄场景下的预览图像显示方法与电子设备 |
CN115442516A (zh) * | 2019-12-25 | 2022-12-06 | 华为技术有限公司 | 一种长焦场景下的拍摄方法及终端 |
-
2023
- 2023-03-31 CN CN202310363698.2A patent/CN117135452A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111010506A (zh) * | 2019-11-15 | 2020-04-14 | 华为技术有限公司 | 一种拍摄方法及电子设备 |
CN114915726A (zh) * | 2019-11-15 | 2022-08-16 | 华为技术有限公司 | 一种拍摄方法及电子设备 |
CN115442516A (zh) * | 2019-12-25 | 2022-12-06 | 华为技术有限公司 | 一种长焦场景下的拍摄方法及终端 |
CN114205522A (zh) * | 2020-01-23 | 2022-03-18 | 华为技术有限公司 | 一种长焦拍摄的方法及电子设备 |
WO2022068537A1 (zh) * | 2020-09-29 | 2022-04-07 | 华为技术有限公司 | 一种图像处理方法及相关装置 |
WO2022228274A1 (zh) * | 2021-04-27 | 2022-11-03 | 华为技术有限公司 | 一种变焦拍摄场景下的预览图像显示方法与电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021093793A1 (zh) | 一种拍摄方法及电子设备 | |
EP4084450B1 (en) | Display method for foldable screen, and related apparatus | |
CN110072070B (zh) | 一种多路录像方法及设备、介质 | |
WO2020073959A1 (zh) | 图像捕捉方法及电子设备 | |
CN113132620B (zh) | 一种图像拍摄方法及相关装置 | |
WO2021213477A1 (zh) | 多路录像的取景方法、图形用户界面及电子设备 | |
US20220321797A1 (en) | Photographing method in long-focus scenario and terminal | |
CN114092364B (zh) | 图像处理方法及其相关设备 | |
WO2021143269A1 (zh) | 一种长焦场景下的拍摄方法及移动终端 | |
CN113556466B (zh) | 一种对焦方法和电子设备 | |
US11750926B2 (en) | Video image stabilization processing method and electronic device | |
CN106791390B (zh) | 广角自拍实时预览方法及用户终端 | |
CN114979457B (zh) | 一种图像处理方法及相关装置 | |
WO2021185374A1 (zh) | 一种拍摄图像的方法及电子设备 | |
CN115150542A (zh) | 一种视频防抖方法及相关设备 | |
CN115484383B (zh) | 拍摄方法及相关装置 | |
CN117135452A (zh) | 拍摄方法和电子设备 | |
CN116055867B (zh) | 一种拍摄方法和电子设备 | |
CN116055871B (zh) | 视频处理方法及其相关设备 | |
WO2022206783A1 (zh) | 拍摄方法、装置、电子设备及可读存储介质 | |
CN116414329A (zh) | 一种投屏显示方法、系统及电子设备 | |
CN117793245A (zh) | 拍摄模式的切换方法、电子设备及可读存储介质 | |
CN117880634A (zh) | 一种拍摄视频的方法及电子设备 | |
CN116055872A (zh) | 图像获取方法、电子设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |