CN114071009A - 一种拍摄方法及设备 - Google Patents

一种拍摄方法及设备 Download PDF

Info

Publication number
CN114071009A
CN114071009A CN202011296335.4A CN202011296335A CN114071009A CN 114071009 A CN114071009 A CN 114071009A CN 202011296335 A CN202011296335 A CN 202011296335A CN 114071009 A CN114071009 A CN 114071009A
Authority
CN
China
Prior art keywords
image
target
camera
shooting
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011296335.4A
Other languages
English (en)
Other versions
CN114071009B (zh
Inventor
吴亮
敖欢欢
郭勇
王妙锋
王军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to PCT/CN2021/109922 priority Critical patent/WO2022022726A1/zh
Publication of CN114071009A publication Critical patent/CN114071009A/zh
Application granted granted Critical
Publication of CN114071009B publication Critical patent/CN114071009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种拍摄方法及设备,涉及电子技术领域,能够参考视场角较大的第一摄像头采集的图像,使用视场角较小的第二摄像头拍摄图像并拼接获得视场角较大的目标图像,且目标图像的清晰度较高,细节清楚,拍摄效果较好。方案包括:电子设备启动拍照功能;检测到用户的拍照操作后,在拍摄界面上显示第一图像和引导框;第一图像根据第一摄像头采集的图像获得,引导框包括多个网格,单个网格与第二摄像头视场角的大小相对应;在拍摄界面上显示拼接信息,拼接信息用于指示拍摄进度;根据获取的多帧目标拍摄图像生成拼接图像;在拍摄结束后,根据拼接图像生成目标图像。本申请实施例用于拍摄图像。

Description

一种拍摄方法及设备
本申请要求于2020年7月31日提交国家知识产权局、申请号为202010757119.9、申请名称为“一种拍摄方法及设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请实施例涉及电子技术领域,尤其涉及一种拍摄方法及设备。
背景技术
目前,手机或手表等电子设备可以使用等效焦距较小的广角摄像头,拍摄获得视场角(field of view,FOV)较大的目标图像。然而,该目标图像上局部细节的清晰度较低。尤其地,当电子设备使用广角摄像头拍摄较大的场面或较远的风景时,用户可能无法清楚地看到目标图像上的细节内容。
发明内容
本申请实施例提供一种拍摄方法及设备,能够参考视场角较大的第一摄像头采集的图像,使用视场角较小的第二摄像头拍摄图像并拼接获得视场角较大的目标图像,且目标图像的清晰度较高,细节清楚,拍摄效果较好。
为达到上述目的,本申请实施例采用如下技术方案:
一方面,本申请实施例提供了一种拍摄方法,应用于电子设备,该电子设备包括第一摄像头和第二摄像头,第二摄像头的等效焦距大于第一摄像头的等效焦距。该方法包括:电子设备启动拍照功能;电子设备检测到用户的拍照操作后,在拍摄界面上显示第一图像,以及叠加在第一图像之上的引导框。其中,第一图像根据第一摄像头采集的图像获得,引导框包括多个网格,单个网格与第二摄像头视场角的大小相对应。电子设备在拍摄界面上显示拼接信息,拼接信息用于指示拍摄进度,拼接信息与引导框中的多个网格所匹配的多帧目标拍摄图像相对应,目标拍摄图像通过第二摄像头采集获得。电子设备根据多帧目标拍摄图像生成拼接图像。在拍摄结束后,电子设备根据拼接图像生成目标图像。
在该方案中,电子设备能够参考等效焦距较小、视场角较大的第一摄像头采集的第一图像,使用等效焦距较大、视场角较小的第二摄像头拍摄目标拍摄图像,并拼接获得视场角较大的目标图像,且目标图像的清晰度较高,细节清楚,拍摄效果较好。并且,在拍摄界面上,第一图像作为背景图像进行显示,第一图像上还可以叠加显示引导框,以指导第二摄像头移动来拍摄与引导框中的网格相匹配的目标拍摄图像。电子设备还可以在拍摄界面上显示拼接信息,以为用户实时指示当前的拍摄进度。
在一种可能的实现方式中,拍摄界面上还包括叠加在第一图像之上的图像框,图像框内第一图像的画面范围与第二图像的画面范围相对应,第二图像为第二摄像头采集的图像。
例如,图像框内第一图像的画面范围可以等于或略小于第二图像的画面范围。这样,电子设备可以通过图像框将第二摄像头实时的拍摄范围和画面范围提示给用户,以为用户呈现第二摄像头实时采集到的画面信息。
在另一种可能的实现方式中,拍摄界面上的每个网格,与网格内第一图像的内容之间的对应关系保持不变。
也就是说,在拍照过程中,网格内第一图像的内容与该网格是绑定的。
在另一种可能的实现方式中,第一图像为检测到用户的拍照操作后,第一摄像头采集到的第一帧图像;或者,第一图像为检测到用户的拍照操作后,第一摄像头采集到的Q帧图像融合后的图像,Q为大于1的整数。
这样,在拍照过程中,作为拍摄界面上的背景图像,第一图像是固定的,而不是实时刷新的。
在另一种可能的实现方式中,第一图像为检测到用户的拍照操作后,第一摄像头在拍照过程中采集获得的图像。
这样,在拍照过程中,作为拍摄界面上的背景图像,第一图像是实时刷新的。
在另一种可能的实现方式中,拼接信息为拼接图像缩略图,拼接图像缩略图根据下采样后的目标拍摄图像获得,或者拼接图像缩略图根据拼接图像下采样后获得;或者,拼接信息为拼接框,拼接框为拼接图像缩略图的边框;或者,拼接信息为拍照过程中已匹配的网格或已匹配的网格的边框。
也就是说,拍摄界面上用于指示拍摄进度的拼接信息,可以是拼接图像缩略图,该拼接图像缩略图可以通过多种方式获得。
在另一种可能的实现方式中,拼接信息为放大显示的拼接图像缩略图,拼接图像缩略图根据下采样后的目标拍摄图像获得,或者拼接图像缩略图根据拼接图像下采样后获得;或者,拼接信息为放大显示的拼接框,拼接框为拼接图像缩略图的边框;或者,拼接信息为放大显示的拍照过程中已匹配的网格或已匹配的网格的边框。
也就是说,拍摄界面上用于指示拍摄进度的拼接信息,可以是放大显示的拼接图像缩略图、拼接框、已匹配的网格或已匹配的网格的边框等多种形式。
在另一种可能的实现方式中,电子设备拍摄界面上显示第一图像,包括:电子设备在拍摄界面上放大显示第一图像上引导框对应的目标区域图像,目标区域图像的尺寸与引导框尺寸的比例r大于或者等于1。
在该方案中,电子设备在拍摄界面上不显示整个第一图像及相对应的引导框,而放大显示第一图像上引导框对应的目标区域图像,从而可以使得引导框中网格的尺寸较大,便于电子设备根据尺寸较大的网格进行移动拍摄和匹配。
在另一种可能的实现方式中,第二摄像头的等效焦距与第一摄像头的等效焦距之间的比例大于或者等于第一预设值。
其中,当第二摄像头的等效焦距与第一摄像头的等效焦距之间的比例大于或者等于第一预设值时,若显示整个第一图像则网格的尺寸较小;而放大显示第一图像上引导框对应的目标区域图像,则引导框和网格的尺寸较大。
在另一种可能的实现方式中,该方法还包括:电子设备在启动拍照功能后,在预览界面上显示第三图像,第三图像为第一摄像头采集的图像。
即,电子设备在预览界面上显示第一摄像头采集的图像。
在另一种可能的实现方式中,该方法还包括:电子设备在预览界面的第三图像上叠加显示引导框,引导框包括M行*N列个网格,第三图像对应R*R个网格,M和N均为小于或者等于R的正整数,且M和N中的至少一个大于1。其中,R为K1,K2,或K1与K2中的较大值,K1为第二摄像头的等效焦距与第一摄像头的等效焦距的比例向上或向下取整后的数值,K2为第一摄像头的视场角与第二摄像头的视场角的比例向上或向下取整后的数值。
也就是说,引导框中网格的划分与第一摄像头和第二摄像头的等效焦距和/或视场角相关。
在另一种可能的实现方式中,引导框位于第三图像的中间位置。
即,预览界面上的引导框可以默认位于第三图像的之间区域。
在另一种可能的实现方式中,该方法还包括:电子设备在预览界面上提示用户设置引导框。电子设备响应于用户的第一设置操作,获取引导框的位置和/或规格,规格包括M和N的值。电子设备在预览界面的第三图像上叠加显示引导框,包括:电子设备根据引导框的位置和/或规格,在预览界面的第三图像上叠加显示引导框。
也就是说,预览界面上的引导框可以是用户设置的。
在另一种可能的实现方式中,第一设置操作为用户基于第三图像的区域选择操作,引导框用于覆盖用户选择的区域;或者,第一设置操作为用户基于第三图像指定主体的操作,引导框用于覆盖主体;或者,第一设置操作为用户选择规格控件的操作,规格控件用于指示引导框的规格。
也就是说,用户可以通过多种方式来设置引导框。
在另一种可能的实现方式中,电子设备在预览界面上显示第三图像,包括:电子设备在预览界面上放大显示第三图像上引导框对应的目标区域图像,目标区域图像的尺寸与引导框尺寸的比例r大于或者等于1。
这样,与显示整个第三图像及相对应的引导框相比,放大显示第三图像上引导框对应的目标区域图像,可以使得引导框和网格的尺寸较大,方便用户查看。
在另一种可能的实现方式中,第二摄像头的等效焦距与第一摄像头的等效焦距之间的比例大于或者等于第一预设值。
其中,当第二摄像头的等效焦距与第一摄像头的等效焦距之间的比例大于或者等于第一预设值时,若显示整个第三图像则网格的尺寸较小;而放大显示第三图像上引导框对应的目标区域图像,则引导框和网格的尺寸较大。
在另一种可能的实现方式中,拍摄界面和/或预览界面上还包括第一提示信息,第一提示信息用于提示用户按照引导框中的网格进行拍摄。
这样,用户可以根据该提示信息,按照引导框中的网格进行拍摄。
在另一种可能的实现方式中,拍摄界面上还包括第二提示信息,第二提示信息用于指示引导框中网格的拍摄顺序。
这样,用户可以根据该拍摄顺序移动第二摄像头进行拍摄。
在另一种可能的实现方式中,该方法还包括:电子设备提示用户设置引导框中网格的拍摄顺序。电子设备响应于用户的第二设置操作,获取引导框中网格的拍摄顺序。
也就是说,引导框中网格的拍摄顺序可以是用户设置的。
在另一种可能的实现方式中,预览界面上还包括叠加在第三图像之上的图像框,图像框内第三图像的画面范围与第二图像的画面范围相对应,第二图像为第二摄像头采集的图像。
例如,图像框内第三图像的画面范围可以等于或略小于第二图像的画面范围。这样,电子设备可以通过图像框将第二摄像头实时的拍摄范围和画面范围提示给用户,以为用户呈现第二摄像头实时采集到的画面信息。
在另一种可能的实现方式中,该方法还包括:当第一目标拍摄图像与引导框中的第一网格匹配时,将第一网格区别于其他网格显示。
这样,电子设备可以将目标拍摄图像与引导框中网格的匹配进度提示给用户,还可以方便用户获知下一个待匹配的网格,指导用户移动第二摄像头的方向或路径。
在另一种可能的实现方式中,该方法还包括:当目标拍摄图像首次与引导框中的一个网格匹配时,电子设备在拍摄界面上显示首次匹配的目标拍摄图像的缩略图。
也就是说,电子设备可以将与网格首次匹配的目标拍摄图像的缩略图展示给用户,以方便用户查看。
在另一种可能的实现方式中,该方法还包括:当目标拍摄图像首次与引导框中的一个网格匹配时,在拍摄界面上放大显示首次匹配的目标拍摄图像的缩略图。
在该方案中,电子设备可以放大显示与网格首次匹配的目标拍摄图像的缩略图,以方便用户通过大图进行查看。
在另一种可能的实现方式中,电子设备根据多帧目标拍摄图像生成拼接图像,包括:在拍照过程中,在引导框中的网格未匹配完成时,电子设备根据已匹配网格对应的多帧目标拍摄图像生成拼接图像;或者,在引导框中的网格匹配完成后,电子设备根据与网格匹配的多帧目标拍摄图像生成拼接图像;或者,在拍摄结束后,电子设备根据已匹配网格对应的多帧目标拍摄图像生成拼接图像。
也就是说,在不同场景下,电子设备根据拼接图像生成目标图像的方式也不同。
在另一种可能的实现方式中,电子设备确定拍摄结束,包括:电子设备在引导框中的网格完成匹配后,确定拍摄结束。
在该方案中,若引导框中的网格完成匹配后,则电子设备可以自动确定拍摄结束。
在另一种可能的实现方式中,目标图像通过拼接图像裁剪获得,目标图像的边缘对齐;或者,目标图像根据第一图像,对拼接图像未对齐的边缘区域进行填充获得,目标图像的边缘对齐。
也就是说,电子设备可以对拼接图像的边缘进行裁剪或填充,以获得边缘对齐的目标图像。
在另一种可能的实现方式中,电子设备确定拍摄结束,包括:在引导框中的网格未完成匹配前,若检测到用户的停止拍照操作,则确定拍摄结束;或者,若电子设备的移动方向移动出引导框,则确定拍摄结束;或者,若电子设备的移动方向与引导框的指示方向的偏离范围大于或者等于第二预设值,则确定拍摄结束。
即,电子设备确定拍摄结束的方式可以有多种。
在另一种可能的实现方式中,目标图像根据已匹配的整行/列网格对应的拼接图像获得;或者,目标图像根据已匹配的网格对应的拼接图像,以及第一图像上未匹配网格对应的图像区域获得。
也就是说,电子设备可以根据整行/列网格对应的拼接图像获得目标图像,或者再结合第一图像上未匹配网格对应的图像区域进行填充或超分辨率处理等获得目标图像。
在另一种可能的实现方式中,该方法还包括:电子设备获取目标变焦倍率,引导框与目标变焦倍率相对应,目标变焦倍率大于第一摄像头的变焦倍率,且小于第二摄像头的变焦倍率。电子设备根据拼接图像生成目标图像,包括:电子设备对拼接图像进行裁剪生成目标图像,目标图像与目标变焦倍率相对应。
在该方案中,电子设备可以通过视场角较小的第二摄像头采集到的目标拍摄图像进行拼接,获得视场角较大、较为清晰的拼接图像,而后再对拼接图像进行裁剪得到目标变焦倍率对应的清晰的目标图像。并且,电子设备不需要通过数字变焦进行图像放大,因而可以保留第二摄像头的高分辨率和第二图像的高清晰度,实现光学变焦的变焦效果。
在另一种可能的实现方式中,目标图像的尺寸与目标变焦倍率的视场角对应的图像区域的尺寸一致。
也就是说,电子设备可以获得目标变焦倍率的视场角对应尺寸的目标图像。
在另一种可能的实现方式中,该方法还包括:电子设备在拍摄界面上显示目标框,目标框位于第三图像的中间位置,目标框的尺寸与目标变焦倍率的视场角对应的图像区域的尺寸一致。
这样,电子设备可以向用户提示目标变焦倍率的视场角对应的图像区域尺寸的位置和大小,方便用户获知根据目标变焦倍率可获得的目标图像的大小。
另一方面,本申请实施例提供了另一种拍摄方法,应用于电子设备,该电子设备包括第一摄像头和第二摄像头,第二摄像头的等效焦距大于第一摄像头的等效焦距。该方法包括:电子设备启动拍照功能。电子设备在预览界面上显示第三图像,并在第三图像上叠加显示图像框,第三图像为第一摄像头采集的图像,图像框内第三图像的画面范围与第二图像的画面范围相对应,第二图像为第二摄像头采集的图像。电子设备检测到用户的拍照操作后,在拍摄界面上显示第一图像和图像框,第一图像根据第一摄像头采集的图像获得。电子设备在拍摄界面上显示拼接信息,拼接信息用于指示拍摄进度,拼接信息与拍照过程中获取的多帧目标拍摄图像相对应,相邻目标拍摄图像之间相互匹配。电子设备根据多帧目标拍摄图像生成拼接图像。在拍摄结束后,电子设备根据拼接图像生成目标图像。
在该方案中,电子设备能够参考等效焦距较小、视场角较大的第一摄像头采集的第一图像,使用等效焦距较大、视场角较小的第二摄像头拍摄目标拍摄图像,并拼接获得视场角较大的目标图像,且目标图像的清晰度较高,细节清楚,拍摄效果较好。并且,电子设备在预览界面和拍摄界面上显示图像框,以方便用户根据第二摄像头的实时拍摄范围,移动第二摄像头。而且,电子设备还可以在拍摄界面上显示拼接信息,以为用户实时指示当前的拍摄进度。
在一种可能的实现方式中,电子设备确定拍摄结束,包括:电子设备检测到用户的停止拍照操作后,确定拍摄结束;或者,电子设备获取到预设帧数的目标拍摄图像后,确定拍摄结束。
即,电子设备可以通过多种方式确定结束拍摄。
在另一种可能的实现方式中,目标图像为规则形状;目标图像通过对拼接图像进行裁剪获得;或者,目标图像根据第一图像对拼接图像的边缘区域进行填充获得。
也就是说,目标图像可以对拼接图像裁剪或填充获得。
在另一种可能的实现方式中,该方法还包括:电子设备获取用户设置的目标图像范围,目标图像的尺寸与目标图像范围一致。
在该方案中,用户可以设置目标图像范围,电子设备可以根据目标图像范围对拼接图像进行处理,从而生成相应尺寸的目标图像。
另一方面,本申请实施例提供了一种拍摄装置,该装置包含在电子设备中。该装置具有实现上述方面及可能的设计中任一方法中电子设备行为的功能,使得电子设备执行上述方面任一项可能的设计中电子设备执行的拍摄方法。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如,该装置可以包括启动单元、检测单元、显示单元和生成单元等。
又一方面,本申请实施例提供了一种电子设备,包括:第一摄像头和第二摄像头,用于采集图像;屏幕,用于显示界面;一个或多个处理器;存储器;以及一个或多个计算机程序,一个或多个计算机程序被存储在存储器中,一个或多个计算机程序包括指令,当指令被电子设备执行时,使得电子设备执行上述方面任一项可能的设计中电子设备执行的拍摄方法。
又一方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;以及存储器,存储器中存储有代码。当代码被电子设备执行时,使得电子设备执行上述方面任一项可能的设计中电子设备执行的拍摄方法。
又一方面,本申请实施例提供了一种计算机可读存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述方面任一项可能的设计中的拍摄方法。
又一方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述方面任一项可能的设计中电子设备执行的拍摄方法。
又一方面,本申请实施例提供了一种芯片系统,该芯片系统应用于电子设备。该芯片系统包括一个或多个接口电路和一个或多个处理器;接口电路和处理器通过线路互联;接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,使得电子设备执行上述方面任一项可能的设计中的拍摄方法。
上述其他方面对应的有益效果,可以参见关于方法方面的有益效果的描述,此处不予赘述。
附图说明
图1为本申请实施例提供的一种电子设备的结构示意图;
图2为本申请实施例提供的一种拍摄方法的流程示意图;
图3A为本申请实施例提供的一组界面示意图;
图3B为本申请实施例提供的一种界面示意图;
图4为本申请实施例提供的另一种界面示意图;
图5为本申请实施例提供的另一组界面示意图;
图6为本申请实施例提供的又一组界面示意图;
图7A为本申请实施例提供的另一组界面示意图;
图7B为本申请实施例提供的又一组界面示意图;
图8为本申请实施例提供的另一组界面示意图;
图9A为本申请实施例提供的又一组界面示意图;
图9B为本申请实施例提供的一组拍摄顺序的示意图;
图10A为本申请实施例提供的一组界面示意图和手机移动效果示意图;
图10B为本申请实施例提供的一种界面示意图;
图11为本申请实施例提供的另一组界面示意图;
图12A为本申请实施例提供的又一组界面示意图;
图12B为本申请实施例提供的一组图像示意图;
图12C为本申请实施例提供的另一组图像示意图;
图12D为本申请实施例提供的又一组图像示意图;
图13A为本申请实施例提供的一种图像融合过程的示意图;
图13B为本申请实施例提供的另一种图像融合过程的示意图;
图13C为本申请实施例提供的一组界面示意图;
图14为本申请实施例提供的另一组界面示意图;
图15A为本申请实施例提供的又一组界面示意图;
图15B为本申请实施例提供的另一组界面示意图;
图15C为本申请实施例提供的一种界面示意图;
图15D为本申请实施例提供的又一组界面示意图;
图16为本申请实施例提供的另一种界面示意图;
图17为本申请实施例提供的一组图像示意图;
图18为本申请实施例提供的一组目标图像的标识的示意图;
图19为本申请实施例提供的另一种拍摄方法的流程示意图;
图20为本申请实施例提供的一组界面示意图;
图21为本申请实施例提供的另一组界面示意图;
图22为本申请实施例提供的又一组界面示意图;
图23A为本申请实施例提供的另一组界面示意图;
图23B为本申请实施例提供的一种界面示意图和目标图像示意图;
图24为本申请实施例提供的一种混合变焦方案的流程示意图;
图25为本申请实施例提供的一组界面示意图;
图26A为本申请实施例提供的一组引导框示意图和界面示意图;
图26B为本申请实施例提供的一种界面示意图;
图27为本申请实施例提供的一组界面示意图;
图28为本申请实施例提供的另一组界面示意图和目标图像示意图;
图29为本申请实施例提供的另一种界面示意图;
图30为本申请实施例提供的另一种电子设备的结构示意图。
具体实施方式
为了便于理解,示例的给出了部分与本申请实施例相关概念的说明以供参考。如下所示:
第一图像:拍摄界面上显示的背景图像,当第一摄像头为广角摄像头时,第一图像为广角图像。第一图像可以是固定不刷新的,比如为以下实施例中检测到用户的拍照操作后,广角摄像采集到的第一帧广角图像或以下初始广角图像。第一图像也可以是实时刷新的,比如为广角摄像头在拍照过程中实时采集到的广角图像。
第二图像:第二摄像头实时采集到的图像。例如,当第二摄像头为长焦摄像头时,第二图像为长焦图像。
目标拍摄图像:与引导框中的网格相匹配的第二图像。比如,当第二摄像头为长焦摄像头时,目标拍摄图像可以为与引导框中的网格相匹配的目标长焦图像。
第三图像:预览界面上显示的实时变化的图像,通过第一摄像头实时采集获得。例如,当第一摄像头为广角摄像头时,第三图像可以为以下实施例中预览界面上显示的广角图像。
拼接信息:用于指示拍照过程的拍摄进度,指示引导框中网格在拍照过程中的匹配进度。拼接信息与拍照过程中所述引导框中的网格匹配的多帧目标长焦图像相对应。比如,拼接信息可以为以下实施例中,拍摄界面上显示的拼接图像缩略图,拼接框,已匹配的网格或已匹配的网格的边框等。
图像框:用于指示第二摄像头的实时拍摄范围。例如,当第二摄像头为长焦摄像头时,图像框为以下实施例中的长焦框。
第一设置操作,用户设置引导框的位置和/或规格的操作。
第二设置操作,用户设置引导框中网格的拍摄顺序的操作。
第一目标长焦图像:拍照过程中获取到的一帧目标长焦图像。
第一网格:引导框中的一个网格,与第一目标长焦图像匹配。
第二目标长焦图像:拍照过程中获取到的另一帧目标长焦图像。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
目前,手机等电子设备使用广角摄像头拍摄获得的视场角较大的图像上,局部细节清晰度较低,用户可能无法清楚地看到图像上的细节内容。尤其地,当被拍摄物体距离电子设备较远时,广角摄像头远距离拍摄获得的图像的清晰度更低,被拍摄物体的细节内容难以清晰呈现。
本申请实施例提供了一种拍摄方法,可以应用于电子设备,能够参考视场角较大的第一摄像头采集的图像,使用视场角较小的第二摄像头(telephoto camera)拍摄图像并拼接获得视场角较大的目标图像,从而使得目标图像的清晰度和分辨率较高,局部细节清楚,主体突出,拍摄效果较好。
其中,第二摄像头的等效焦距较大,视场角较小,例如可以为长焦摄像头或超长焦摄像头等。区别于第二摄像头,本申请实施例涉及的第一摄像头可以是等效焦距较小且视场角较大的摄像头,例如可以为广角摄像头、超广角摄像头或全景摄像头等。例如,第二摄像头的等效焦距可以是240mm,视场角可以是10°。再例如,第二摄像头的等效焦距可以是125mm,视场角可以是20°。再例如,第二摄像头的等效焦距可以是80mm,视场角可以是30°。例如,第一摄像头的等效焦距可以是26mm,视场角可以是80°。再例如,第一摄像头的等效焦距可以是16mm,视场角可以是120°。
示例性的,第一摄像头为广角摄像头,第二摄像头为长焦摄像头;或者,第一摄像头为超广角摄像头,第二摄像头为长焦摄像头;或者,第一摄像头为广角摄像头,第二摄像头为超长焦摄像头。
在本申请实施例提供的拍摄方法中,第二摄像头拍摄图像及拼接获得的目标图像的视场角,小于或者等于第一摄像头的视场角。在一些实施例中,第二摄像头的等效焦距可以大于或者等于预设数值,这样第二摄像头的变焦倍率较大且视场角较小,图像分辨率较高;在另一些实施例中,第二摄像头与第一摄像头的等效焦距的比例可以大于或者等于预设值1,这样第二摄像头与第一摄像头的变焦倍率的比例较大,第一摄像头与第二摄像头的视场角的比例较大。示例性的,该预设值1可以为2或3等。这样,电子设备获得的目标图像的清晰度和分辨率更高,局部细节更为清楚,主体更为突出,拍摄效果也更好。
其中,等效焦距是指摄像头光电传感器芯片影像区域对角线的长度,等效成35mm照相机画幅对角线长度(42.27mm)时,摄像头的实际焦距所对应的35mm照相机镜头的焦距。变焦倍率描述的是相对的等效焦距的含义,比如定义广角摄像头的变焦倍率等于1,则其他摄像头(如长焦摄像头)的变焦倍率,等于长焦摄像头的等效焦距与作为基准的广角摄像头的等效焦距的比值。视场角的大小决定了摄像头的视野范围,视场角越大,视野就越大。等效焦距越大,则视场角越小。
在本申请的实施例中,第二摄像头拍摄的图像拼接获得的目标图像,可以是宽画幅(包括横画幅或竖画幅)、方画幅、超宽画幅或全景图等形式。比如,目标图像的宽高比可以是2:1、9:16、1:1或2.39:1等。其中,不同画幅的目标图像可以给用户以不同的视觉感受,因此针对不同的题材或主题时,可以采用恰当的画幅来进行拍摄。比如,风光主题可以采用横画幅来进行拍摄,以表现出场景宽阔、大气的特性。再比如,高楼大厦、高塔、高山等主题可以采用竖画幅来进行拍摄,以表现高耸、挺拔的画面效果。
本申请实施例提供的拍摄方法可以用于后置图像拍摄,也可以用于前置图像拍摄。
例如,该电子设备可以是手机、平板电脑、可穿戴设备(例如智能手表)、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或个人数字助理(personal digital assistant,PDA)等移动终端,也可以是专业的相机等设备,本申请实施例对电子设备的具体类型不作任何限制。
示例性的,图1示出了电子设备100的一种结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。在本申请的实施例中,显示屏194可以用于显示拍摄模式下的预览界面和拍摄界面等。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
摄像头193可以包括不同焦段的摄像头,例如短焦段的第一摄像头和长焦段的第二摄像头等。其中,第一摄像头的等效焦距较小(例如13mm、16mm、26mm、30mm或40mm等),视场角较大(例如视场角可以是80°、120°或150°等),可用于拍摄风景等较大的画面。比如,目前的广角摄像头、超广角摄像头和全景摄像头等视场角较大的摄像头均可以称为第一摄像头。第二摄像头的等效焦距较大(例如80mm、125mm、150mm或240mm等),视场角较小(例如视场角可以是10°、20°或30°等),可用于拍摄远处的物体,可拍摄到的区域较小。比如,目前的长焦摄像头和超长焦摄像头均可以称为第二摄像头。
在一些实施例中,第二摄像头是固定的,用户可以通过移动电子设备100来移动第二摄像头。在另一些实施例中,第二摄像头可独立移动,用户可以在不移动手机的情况下,通过某个按键、控件或操作来直接移动第二摄像头;或者,手机可以自动控制第二摄像头移动。当第二摄像头移动时,第二摄像头拍摄的画面内容也相应发生变化。
此外,摄像头193还可以包括用于测量待拍摄对象的物距的深度摄像,以及其他摄像头。例如,深度摄像头可以包括三维(3dimensions,3D)深感摄像头、飞行时间(time offlight,TOF)深度摄像头或双目深度摄像头等。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
在本申请的实施例中,处理器110通过运行存储在内部存储器121的指令,可以实现参考第一摄像头采集的图像,使用第二摄像头拍摄图像并拼接获得视场角较大的目标图像,以使得目标图像的清晰度较高,细节清楚,拍摄效果较好。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称触控屏。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
在本申请的实施例中,摄像头193中的第一摄像头和第二摄像头可以用于采集图像;显示屏194可以用于显示拍照时的预览界面和拍摄界面等;处理器110通过运行存储在内部存储器121的指令,可以实现参考视场角较大的第一摄像头采集的图像,使用视场角较小的第二摄像头拍摄图像并拼接获得视场角较大的目标图像,以使得目标图像的清晰度较高,细节清楚,拍摄效果较好。
以下将以电子设备为具有图1所示结构的手机为例,对本申请实施例提供的拍摄方法进行阐述。如图2所示,该方法可以包括:
200、手机启动拍照功能。
在本申请的实施例中,用户想要使用手机拍摄图像时,可以启动手机的拍照功能。例如,手机可以启动相机应用,或者启动具有拍摄功能的其他应用(比如抖音或河图cyberverse等AR应用),从而启动应用的拍照功能。
示例性的,手机检测到用户点击图3A中的(a)所示的相机图标301的操作后,启动相机应用的拍照功能,并显示如图3A中的(b)所示的预览界面。再示例性的,手机显示桌面或非相机应用的界面,检测到用户打开相机应用的语音指令后启动拍照功能,并显示如图3A中的(b)所示的预览界面。
需要说明的是,手机还可以响应于用户的其他触摸操作、语音指令或快捷手势等操作启动拍照功能,本申请实施例对触发手机启动拍照功能的操作不作限定。
在一些实施例中,手机在启动拍照功能后,即可通过本申请实施例提供的拍摄方法,采用视场角较小的第二摄像头采集多帧图像,并将多帧该图像拼接成视场角较大的目标图像。目标图像的清晰度和分辨率较高,局部细节清楚,主体突出,拍摄效果较好。
在另一些实施例中,手机在启动拍照功能并进入目标拍照模式后,才能通过本申请实施例提供的拍摄方法,采用视场角较小的第二摄像头采集多帧图像,并将多帧该图像拼接成视场角较大的目标图像。
在一些技术方案中,手机可以通过本申请实施例提供的拍摄方法,参考视场角较大的第一摄像头采集的图像,使用视场角较小的第二摄像头拍摄图像并拼接获得视场角较大的目标图像,从而使得目标图像的清晰度和分辨率较高,局部细节清楚,主体突出,拍摄效果较好。
举例来说,该目标拍照模式具体可以称为宽画幅模式、宽景模式或高清图模式等,本申请实施例对目标拍照模式的具体名称不予限定。
本申请以下实施例中以目标拍照模式为宽景模式为例进行说明。
示例性的,手机启动拍照功能后,若检测到用户点击图3A中的(b)所示的控件302的操作,则如图3A中的(c)所示进入宽景模式。再示例性的,手机检测到用户点击图3A中的(b)所示的控件303的操作后,显示如图3A中的(d)所示的界面;手机检测到用户点击控件304的操作后,如图3A中的(c)所示进入宽景模式。
再例如,手机在显示桌面或非相机应用界面的情况下,检测到用户进入宽景模式的语音指令后启动拍照功能,并如图3A中的(c)所示进入宽景模式。
需要说明的是,手机还可以响应于用户的其他触摸操作、语音指令或快捷手势等操作启动拍照功能并进入宽景模式,本申请实施例对触发手机进入宽景模式的具体操作不予限定。
在一些实施例中,手机可以在宽景模式下将该拍摄模式的功能通过显示信息或语音播报等方式提示给用户。示例性的,参见图3B,手机在预览界面上显示文字提示信息:宽景模式下可参考视场角较大的第一摄像头采集的图像,使用视场角较小的第二摄像头拍摄图像并拼接获得视场角较大的目标图像。
在一些实施例中,在宽景模式下,手机可以将第一摄像头和第二摄像头所采用的具体摄像头提示给用户。示例性的,参见图4,手机在预览界面上通过显示文字信息来提示用户,第一摄像头为广角摄像头,第二摄像头为长焦摄像头。
在一些技术方案中,宽景模式下的第一摄像头和第二摄像头为用户设置的摄像头,例如第一摄像头为用户设置的超广角摄像头,第二摄像头为用户设置的长焦摄像头。本申请实施例对用户设置第一摄像头和第二摄像头的具体方式不予限定。
在另一些技术方案中,宽景模式下的第一摄像头和第二摄像头为默认的摄像头,例如第一摄像头默认为广角摄像头,第二摄像头默认为长焦摄像头。用户还可以修改第一摄像头和第二摄像头的摄像头类型。
本申请以下实施例中将以第一摄像头为广角摄像头,第二摄像头为长焦摄像头为例进行说明。
201、手机在预览界面上显示广角图像。
手机启动拍照功能后进入预览状态。在预览状态下,手机可以根据预设的采集帧率1,通过广角摄像头来实时采集广角图像,并将获得的广角图像显示在预览界面上,以为用户呈现较大视场角内的全局画面(或称全景图像)。该广角摄像头为第一摄像头。
在一些实施例中,手机还可以在预览界面上显示用于引导长焦摄像头移动拍摄的引导框,以便长焦摄像头在拍照过程中根据引导框拍摄多帧图像。其中,引导框以透明悬浮框的方式叠加显示在广角图像之上。引导框的视场角小于或者等于广角摄像头的视场角。也就是说,手机根据引导框的指示生成的目标图像的视场角,小于或者等于广角摄像头的视场角。
其中,引导框最多可包括的网格数量为R*R,R与K1和/或K2相关。其中,K1为长焦摄像头的等效焦距和广角摄像头的等效焦距的比例,向上取整或向下取整后的数值。K2为广角摄像头的视场角和长焦摄像头的视场角的比例,向上取整或向下取整后的数值。在一些实施例中,R为K1;在另一些实施例中,R为K2;在另一些实施例中,R为K1和K2中的较大值。
在本申请实施例中,手机在引导界面上显示的引导框包括M(行)*N(列)个网格。其中,M≤R,N≤R,且M和N中的至少一个大于1。该M*N可以称为引导框的规格。也就是说,引导框的规格包括引导框中网格的数量以及网格的排列方式等。广角图像与具有最多网格数量的引导框相对应。例如,广角图像的尺寸和视场角,可以略大于或等于具有最多网格数量的引导框的尺寸和视场角,长焦摄像头的视场角与单个网格对应的视场角相对应。例如,长焦摄像头的视场角可以略大于或者等于单个网格对应的视场角。
举例来说,广角摄像头的等效焦距为125mm,长焦摄像头的等效焦距为25mm,两者等效焦距的比例K1为5,R=K1=5。这样,引导框每行网格的个数小于或者等于5,每列网格的个数也小于或者等于5。也就是说,引导框最多可以包括5*5(即5行5列)个网格;引导框也可以包括少于5*5个网格,例如可以包括3*3、3*4或4*5个网格。其中,广角摄像头的视场角与该5*5个网格对应,单个网格与长焦摄像头的视场角对应。
在一些实施例中,长焦摄像头的等效焦距与广角摄像头的等效焦距之间的比例小于或者等于预设值2。这样,引导框的尺寸与广角图像的尺寸相差较小,引导框和网格的尺寸较大,方便用户移动长焦摄像头以使得长焦图像与网格相匹配。示例性的,该预设值2可以为8或10等。
以下实施例中以引导框最多包括5*5个网格为例进行说明。
在一些实施例中,引导框默认显示在预览界面显示的图像的中间位置。引导框的规格为默认的规格,或者为手机上一次在宽景模式下采用的规格。
在另一些实施例中,手机在预览界面上显示的引导框的位置或规格可以是用户设置的。
例如,在一些技术方案中,在预览界面上,用户在广角图像上选择一个区域(例如划一个方框或者划一个圈)后,手机根据用户选择的区域确定相匹配的引导框。比如,手机确定的引导框对应的区域能够覆盖用户的选择区域,或者能够覆盖用户的选择区域的比例大于或者等于预设比例(比如90%),或者略大于用户的选择区域等。示例性的,参见图5中的(a),手机在预览界面上提示用户:请选择目标图像的范围,以显示对应的引导框。如图5中的(b)所示,手机检测到用户选定一个区域的操作后,确定用户想要拍摄的目标图像为该区域对应的大小。而后,手机根据该区域确定引导框的位置或规格。例如,引导框包括3*3个网格,并如图5中的(c)所示,在预览界面上显示该引导框501。
在另一些技术方案中,手机检测到用户点击如图6中的(a)所示的预览界面上的设置控件601的操作后,显示设置界面。如图6中的(b)所示,设置界面包括目标图像引导框的设置控件,手机检测到用户点击该控件的操作后,如图6中的(c)所示,显示最大引导框,该最大引导框包括最多数量的网格(例如上述5*5个网格)。手机检测到用户在最大引导框上进行框选并点击确定控件的操作后,确定用户框选操作对应的位置的范围即为引导框的位置和大小。如图6中的(d)所示,手机在预览界面上显示确定的包括2*3个网格的引导框602。
在另一些技术方案中,参见图7A中的(a),手机在预览界面上显示包括最多数量网格的最大引导框,并提示用户:请设置目标图像的引导框。如图7A中的(b)所示,用户在最大引导框上进行拖动以框选多个网格,手机确定用户框选操作对应的位置和范围即为引导框的位置和大小。如图7A中的(c)所示,手机在预览界面上显示确定的包括3*3个网格的引导框701,预览界面上还包括广角图像。
在另一些技术方案中,用户可以指示预览界面上的主体,手机根据用户指示的主体确定引导框的位置和规格,以使得引导框能够覆盖用户指示的主体。示例性的,参见图7B中的(a),手机可以在预览界面上提示用户,请选择待拍摄的主体。如图7B中的(b)所示,手机检测用户点击建筑的操作后,确定相连的整个建筑为待拍摄的主体,从而确定引导框为如图7B中的(c)所示的预览界面上能够覆盖相连的整个建筑的引导框703,共包括3*3个网格。
在另一些技术方案中,参见图8中的(a),手机在预览界面上显示多个规格控件,例如5*5,4*5,4*4,3*4或3*3等,手机根据用户选择的规格控件确定引导框包括的网格数量。例如,手机检测到用点击3*3的规格控件的操作后,如图8中的(b)所示,在预览界面上显示包括3*3个网格的引导框801,预览界面上还包括广角图像。
在本申请的一些实施例中,手机还可以根据用户的指示操作,确定引导框中网格的拍摄顺序。在拍照过程,用户可以按照该拍摄顺序移动长焦摄像头,以使得长焦摄像头与该顺序规定的网格依次匹配。
在一种可能的实现方式中,用户在通过以上实施例描述的方式(例如图5-8所示的方式)设置引导框的位置或规格时,还可以设置引导框中网格的拍摄顺序。
在另一种可能的实现方式中,手机确定引导框的规格后,可以显示该规格的引导框对应的多种顺序模式,手机可以根据用户的选择操作确定一种顺序模式。示例性的,引导框的规格为3*3,参见图9A中的(a),预览界面上包括多个顺序模式控件,例如控件901~903等。比如,手机检测到用户点击顺序模式控件901的操作后,确定拍摄顺序为先从左到右拍摄中间一行网格对应的图像,再从左到右拍摄上方一行网格的图像,而后再从左到右拍摄下方一行网格的图像。再比如,手机检测到用户点击顺序模式控件902的操作后,确定拍摄顺序为先从左到右拍摄中间一行网格的图像,再从右到左拍摄上方一行网格的图像,而后再从左到右拍摄下方一行网格的图像。再比如,手机检测到用户点击顺序模式控件903的操作后,确定拍摄顺序为从上到下按“之”字形轨迹进行拍摄。
在另一些实施例中,每种规格的引导框默认对应一种拍摄顺序,手机确定引导框的规格后采用默认的拍摄顺序进行拍摄。手机还可以根据用户的指示操作修改该拍摄顺序。
在本申请的一些实施例中,手机确定引导框对应的拍摄顺序后,可以提示用户按照该拍摄顺序进行拍摄。例如,手机可以在预览界面上显示拍摄顺序提示信息。示例性的,当用户选择顺序模式控件901对应的拍摄顺序后,参见图9A中的(b),手机可以在引导框上显示标号和带箭头的引导线,该标号用于表示不同行网格的先后拍摄顺序,引导线的箭头指示方向用于表示每行网格的拍摄顺序。再示例性的,当用户选择顺序模式控件902对应的拍摄顺序后,参见图9A中的(c),手机可以在引导框上显示带箭头的引导线,以指示不同网格对应的拍摄顺序。
可以理解的是,该拍摄顺序还可以包括其他顺序模式,比如还可以包括如图9B中的(a)-(d)所示的顺序模式等,本申请实施例对顺序模式的具体形式不予限定。
在其他一些实施例中,手机在获取引导框后,可以在拍摄界面上短暂显示引导框,在后续检测到用户的拍照操作后,再在拍摄界面上显示引导框。
在其他一些实施例中,手机并不在预览界面上显示引导框,而在检测到用户的拍照操作后,再在拍摄界面上显示引导框。
此外,在另一些实施例中,在预览状态下,手机还可以根据预设的采集帧率2,通过长焦摄像头来采集长焦图像。该长焦摄像头为第二摄像头。
在又一些实施例中,手机还可以通过长焦框将长焦摄像头实时的拍摄范围提示给用户,以为用户呈现长焦摄像头实时采集到的局部画面。其中,长焦框以透明悬浮框的方式叠加显示在广角图像之上。长焦框在广角图像上的位置和大小与长焦摄像头的拍摄范围相对应。长焦框内的广角图像的视场角可以等于或略小于长焦摄像头的拍摄范围和视场角。长焦框内广角图像的画面范围与长焦摄像头的画面范围相对应。例如,长焦框内广角图像的画面范围可以等于或略小于长焦摄像头采集的长焦图像的画面范围。其中,采集帧率2与采集帧率1可以相同或不同,不予限定。示例性的,参见图10A中的(a),预览界面上包括广角图像1001、长焦框1002和引导框1003。
其中,当用户移动手机或用户手抖等原因导致手机抖动时,预览界面上长焦框在广角图像上的相对位置和大小基本保持不变,具体与广角摄像头和长焦摄像头的镜头中心、拍摄的物距以及视场角的大小相关。示例性的,参见图10A中的(b),广角摄像头和长焦摄像头的镜头中心之间的距离是固定的,在物距一定的情况下,视场角的大小也是固定的,此时若移动手机则长焦摄像头和广角摄像头同时移动,但长焦摄像头的视场角与广角摄像头的视场角的相对关系是保持不变的,因而长焦框在广角图像上的相对位置和大小也基本保持不变。
在其他一些实施例中,当长焦摄像头的等效焦距与广角摄像头的等效焦距相差较大时,长焦摄像头的视场角与广角摄像头的视场角也相差较大,长焦摄像头的视场角较小,长焦框的尺寸较小,不便于用户查看长焦摄像头拍摄范围内的细节。因而,手机可以将长焦框和长焦框内的广角图像放大后显示在预览界面上,以方便用户获知长焦摄像头拍摄范围及细节。示例性的,参见图10A中的(c),预览界面上包括广角图像1004、放大显示的长焦框1005,以及引导框1006。
在另一些实施例中,手机在预览界面上显示广角图像上与引导框对应的目标区域图像,而不显示完整的广角图像。该目标区域图像的尺寸与引导框的尺寸的比例为r,且r≥1。该目标区域图像可以通过对完整的广角图像进行裁剪和放大获得。
尤其地,当长焦摄像头的等效焦距与广角摄像头的等效焦距相差较大时,长焦摄像头的视场角与广角摄像头的视场角也相差较大,长焦摄像头的视场角较小,长焦框的尺寸较小,不便于用户查看长焦摄像头拍摄范围内的细节。该种情况下,手机可以将目标区域图像和引导框等比例放大后显示在预览界面上,以方便用户获知长焦摄像头拍摄范围及细节。
例如,在预览状态下,若引导框的规格为默认的规格,则手机在采集到广角图像后,可以根据默认规格的引导框对广角图像进行裁剪从而获得目标区域图像,并将目标区域图像和引导框等比例放大后显示在预览界面上。若引导框的规格与用户选择的区域/主体相对应,则手机在采集到广角图像后,可以根据该引导框对广角图像进行裁剪从而获得目标区域图像,并将目标区域图像和引导框等比例放大后显示在预览界面上。
示例性的,图8中的(b)所示的预览界面上完整的广角图像可以替换为图10B所示的预览界面上广角图像中的目标区域图像1007。其中,与图8中的(b)所示的预览界面相比,在图10B所示的预览界面上,目标区域图像和引导框进行了等比例放大,且该目标区域图像的尺寸与引导框的尺寸的比例r大于1。
202、手机检测到用户的拍照操作后,在拍摄界面上显示广角图像,以及叠加在广角图像之上的引导框。
当用户想要开始拍摄目标图像时,可以触发拍照操作使得手机进入拍照过程。例如,手机检测到用户点击预览界面上拍摄控件的操作后,确定检测到用户的拍照操作,从而进入拍照过程。再例如,手机检测到用户语音指示开始拍照的操作后,确定检测到用户的拍照操作,从而进入拍照过程。可以理解的是,用于触发手机进入拍照过程的方式还可以有手势等多种其他方式,本申请实施例不予限定。
在拍照过程中,拍摄界面上显示有广角图像,该广角图像使用广角摄像头(即第一摄像头)采集获得。在一些实施例中,在拍照过程中,拍摄界面上的广角图像作为背景图像,用于向用户提供全景图像,用户根据广角图像的范围确定长焦摄像头的移动路径,从而生成多个长焦图像的拼接图像。在一种可能的实现方式中,该广角图像为检测到用户的拍照操作后广角摄像头采集到的第一帧图像,在拍照过程中,手机始终显示该第一帧图像,不对广角摄像头采集的图像进行刷新送显。在另一种可能的实现方式中,手机可以在检测到用户的拍照操作后采集Q(Q为大于1的整数)帧广角图像,从而将该Q帧广角图像融合成一张质量较好的初始广角图像作为背景图像。在拍照过程中,手机始终显示该初始广角图像,不对广角摄像头采集的图像进行刷新送显。也就是说,手机检测到用户的拍照操作后,在拍摄界面上显示的用于作为预览的广角图像保持不变。
在另一些实施例中,在拍照过程中,拍摄界面上作为背景图像的第一广角图像是变化的,是手机根据预设采集帧率3通过广角摄像头实时采集获得的图像。其中,该采集帧率3与采集帧率1可以相同或不同。
在拍照过程中,手机还可以在拍摄界面上显示上述引导框,该引导框以透明悬浮框的方式叠加在背景图像之上。在一些实施例中,手机可以在拍摄界面上持续显示整个引导框;在另一些实施例中,手机可以在拍摄界面上仅显示引导框中未匹配的网格,而不再持续显示整个引导框。
在拍照过程中,手机可以根据预设的采集帧率4,通过长焦摄像头采集长焦图像。该采集帧率4与采集帧率2可以相同或不同。
在拍照过程中,用户可以通过移动手机来移动长焦摄像头,或者用户可以直接移动长焦摄像头,或者手机可以自动控制长焦摄像头以预设的角度间隔进行移动。在一些实施例中,手机还可以在拍摄界面上显示长焦框。随着长焦摄像头的移动,长焦摄像头的拍摄范围发生变化,长焦摄像头采集的长焦图像的内容也相应变化,长焦框的位置也相应变化。长焦框可以在长焦摄像头的移动的过程中,将长焦摄像头拍摄范围的动态变化过程实时地提示给用户。在长焦摄像头的移动过程中,拍摄界面上的广角图像可以作为背景图像以向用户提供全景图像,从而引导用户移动长焦摄像头以使得将长焦框与引导框中的网格逐个匹配。
在另一些实施例中,若手机可以自动控制长焦摄像头移动,则手机可以根据引导框中网格的排列顺序,控制长焦摄像头按照网格顺序自动移动,以使得长焦摄像头与引导框中的网格逐个匹配,而不需要在拍摄界面上显示长焦框。并且,即使拍摄界面上作为背景图像的广角图像是变化的情况下,由于用户未专门移动手机,因而手机实时采集到的广角图像的画面基本不变或变化很小,引导框及网格在画面中的位置也基本不变,因此手机控制长焦摄像头按照网格顺序自动移动,仍可以使得长焦摄像头与引导框中的网格逐个匹配,而不需要显示长焦框。
203、手机根据获取的目标长焦图像生成拼接图像,并在拍摄界面上显示拼接图像缩略图。
在拍照过程中,随着长焦摄像头的移动,手机可以通过长焦摄像头采集与引导框中的网格相匹配的多帧目标长焦图像。手机可以对目标长焦图像进行拼接处理,从而生成目标图像。
其中,当长焦图像的内容与拍摄界面上引导框某个网格中广角图像的内容匹配时,该长焦图像与该网格匹配,该长焦图像可以称为目标长焦图像。长焦图像的内容与网格中广角图像的内容相匹配是指,长焦图像的内容与网格中广角图像的内容完全相同或基本相同。比如,长焦图像与网格中广角图像的相同内容的重叠比例大于或者等于预设值3(比如80%或90%等)。再比如,长焦图像与网格中广角图像的直方图的相似度大于或者等于预设值4。其中,这里的直方图可以是亮度等特征参数值的直方图。再比如,长焦图像与网格中的广角图像在同种变换域(例如快速傅里叶变换(fast fourier transform,FFT)、小波变换(wavelet transform,WT)或离散余弦变换(discrete cosine transform,DCT)等)的相似度大于或者等于预设值5。相似度的度量可以用不同值对应的比例系数的差值和。再比如,长焦图像与网格中广角图像的特征匹配度大于或者等于预设值6,例如该特征包括角点、卷积神经网络特征或SIFI特征等。
手机获得目标长焦图像的方式可以包括:方式1、手机确定某帧长焦图像与网格匹配后,拍摄获得与该网格匹配的目标长焦图像;方式2、手机在某帧长焦图像与网格匹配后,确定该帧长焦图像即为目标长焦图像。
在一些实施例中,手机检测到用户的拍照操作后,可以将引导框中网格的拍摄顺序提示给用户,以便用户在拍照过程中根据该拍摄顺序移动长焦摄像头。
若手机在预览状态下确定了引导框中网格的拍摄顺序,则手机可以在拍照过程中将该拍摄顺序提示给用户,以便用户可以根据该拍摄顺序移动手机或直接移动长焦摄像头,从而使得长焦摄像头采集的长焦图像按拍摄顺序与引导框中的网格进行匹配。在一种可能的实现方式中,手机可以将完整的拍摄顺序提示给用户。在另一种可能的实现方式中,手机可以根据拍摄情况仅提示当前需要的部分拍摄顺序,而不用将完整的拍摄顺序提示给用户。
若手机在预览状态下未确定引导框中网格的拍摄顺序,则用户可以根据自己的需求、习惯或意愿移动手机或直接移动长焦摄像头,使得长焦摄像头采集的长焦图像与引导框中的网格进行匹配。其中,对于同一行或同一列网格来说,长焦图像应尽量依次与该行/列中相邻的网格进行匹配。在拍照过程中,若某个网格已经匹配过,则该网格不再重复匹配。
其中,由于长焦摄像头实时采集的长焦图像的视场角较小,稍微移动手机或长焦摄像头就可能导致长焦摄像头的视角偏移较大,从而使得长焦图像的内容偏移较大,因而不容易与下一个待匹配网格的内容相匹配。在拍照过程中,拍摄界面上的广角图像可以为用户提供大的视场角内的全景图像,因而广角图像可以为用户移动手机或长焦摄像头提供参考,用户可以根据广角图像的内容,根据长焦图像的内容在广角图像上的对应位置,来准确控制手机或长焦摄像头的移动路径(例如移动方向和幅度)等,使得长焦图像能够快速、准确地与下一个网格相匹配。
并且,拍摄界面上可以实时显示长焦框,以引导用户将长焦摄像头的拍摄范围和长焦框移动到第一个待匹配的网格所在的位置。示例性的,第一个待匹配的网格为如图11中的(a)所示的中间一行左侧的第一个网格,预览界面上包括广角图像和引导框。手机检测到用户点击图11中的(a)所示的预览界面上的拍摄控件1100的操作后,进入目标图像的拍照过程并显示如图11中的(b)、(c)或(d)所示的拍摄界面,拍摄界面上包括广角图像、引导框以及长焦框1101。其中,图11中的(b)所示的拍摄界面上未显示有拍摄顺序的提示信息。图11中的(c)所示的拍摄界面上显示有完整的拍摄顺序的提示信息,图11中的(d)所示的拍摄界面上显示有部分拍摄顺序的提示信息。在一些实施例中,如图11中的(c)-(d)所示,手机还可以在拍摄界面上提示用户:请沿箭头方向移动手机并匹配网格。
以下将以图11中的(c)所示的拍摄顺序,且拍摄界面上显示部分拍摄顺序的提示信息为例,对拍照过程进行阐述。
在一些实施例中,手机可以根据参考广角图像,确定长焦摄像头采集不同网格对应的目标长焦图像时的配置参数。手机根据该配置参数对目标长焦图像进行自动曝光(automatic exposure,AE)配置、自动白平衡(automatic white balance,AWB)调节和动态范围校正(dynamic range correction,DRC)等配置,从而获得目标长焦图像。由于拼接图像是由多个目标长焦图像拼接获得的,每个目标长焦图像的拍摄环境有所差异,且只能拍摄局部范围的画面,无法兼顾大视野的全局画面的整体效果,因而整个拼接图像在亮度、动态范围或色彩等方面可能会不自然、突兀或不平滑。手机根据全局范围对应的参考广角图像,确定长焦摄像头采集不同网格对应的目标长焦图像时的配置参数,可以使得根据目标长焦图像获得的拼接图像整体的曝光效果、AWB效果和动态范围尽量与参考广角图像一致,使得拼接图像整体变化较为平滑且过渡自然。
其中,该参考广角图像用于在拍照过程中确定采集目标长焦图像的配置参数,该参考广角图像在拍照过程中为同一帧图像。例如,该参考广角图像可以为上述初始广角图像,或者为检测到用户的拍照操作后广角摄像头采集到的第一帧图像等。
在一些实施例中,为保证参考广角图像的质量较好(例如动态范围较高、色彩配置较好等),以便根据参考广角图像获得的长焦图像的拼接图像的质量也较好,参考广角图像可以为上述多帧图像融合获得的初始广角图像。
在一种可能的实现方式中,参考广角图像按照引导框的网格对应划分为多个图像块(patch),每个图像块对应引导框的一个网格。例如,网格1对应图像块1,网格2对应图像块2,网格3对应图像块3。手机根据参考广角图像每个图像块的亮度、色彩和动态范围等参数,设置图像块对应网格的目标长焦图像的AE、AWB或DRC等配置参数。手机根据该配置参数采集目标长焦图像,实现根据广角图像引导对应网格内的目标长焦图像进行AE、AWB和DRC等配置。
以第一个待匹配网格为网格1,网格1对应目标长焦图像1为例进行说明。对于上述方式1,手机可以先采集长焦图像,在确定长焦图像与网格1匹配后,根据参考广角图像上网格1对应的图像块1设置长焦摄像头的配置参数,以便长焦摄像头根据该配置参数采集获得与网格1对应的目标长焦图像1。对于上述方式2,手机可以根据参考广角图像上网格1对应的图像块1设置长焦摄像头的配置参数,以便长焦摄像头根据该配置参数采集长焦图像,直至某帧长焦图像与网格1匹配后,手机确定该帧长焦图像即为目标长焦图像1。
以下针对长焦摄像头的不同配置参数分别进行说明:
AE配置参数:
手机可以对参考广角图像上的图像块1进行测光,从而获得图像块1的亮度值、亮度平均值和最大值等亮度参数,该亮度参数可以反映环境亮度情况。手机中的曝光表预设有环境亮度与曝光参数之间的对应关系。手机可以根据广角图像上图像块1的亮度参数反应的环境亮度情况,结合长焦图像的曝光表确定网格1对应的待采集长焦图像的AE配置参数,例如确定长焦图像的曝光时间和ISO等曝光参数。手机采用该曝光参数对网格1对应的目标长焦图像1进行自动曝光,以提高目标长焦图像1的曝光效果。
由于参考广角图像整体的曝光效果较好,因而根据参考广角图像中图像块的曝光信息确定目标长焦图像的曝光参数,可以从全局出发使得根据不同目标长焦图像获得的拼接图像的曝光效果尽量与参考广角图像一致,从而使得拼接图像的整体曝光效果也较好。
此外,由于参考广角图像上不同图像块之间的亮度过渡较为自然,因而在一些实施例中,手机还可以根据图像块1的相邻图像块的亮度情况,调整图像块1对应的目标长焦图像1的曝光参数,使得目标长焦图像1的亮度与相邻目标长焦图像之间的亮度过渡较为自然,避免手机独立对每个网格对应的目标长焦图像进行自动曝光,导致的不同目标长焦图像曝光效果差异较大,拼接图像的亮度过程不够平滑和自然,以及拼接痕迹明显等问题,从而可以提高拼接图像的整体质量。例如,若图像块1较暗,图像块1相邻的图像块2较亮,则手机可以将根据图像块1确定的目标长焦图像1的曝光参数提高一个亮度档位,以使得目标长焦图像1与图像块2对应的目标长焦图像2之间的亮度过渡较为自然。
AWB配置参数:
手机可以根据参考广角图像上图像块1的色彩分布情况,确定网格1对应的目标长焦图像1的AWB配置参数,例如确定与网格1对应的目标长焦图像1的WB值,即RGB三原色的比例。手机依据该比例相应调整与网格1对应的目标长焦图像1的RGB比例,以提高目标长焦图像的色彩配置效果。
其中,由于参考广角图像整个图像的白平衡较好,且不同图像块之间的色彩过渡较为自然,因而根据参考广角图像的图像块的白平衡信息可以从全局出发,使得目标长焦图像的白平衡效果尽量与参考广角图像一致,从而使得拼接图像包括的不同目标长焦图像之间的色彩过渡也较为自然,避免手机单独针对每个网格对应的目标长焦图像进行自动白平衡调节,导致的不同目标长焦图像白平衡效果差异较大,拼接图像的色彩过渡不够平滑和自然,以及拼接痕迹明显等问题,从而可以提高拼接图像的整体质量。
DRC配置参数:
手机可以根据参考广角图像上图像块1的动态范围,确定网格1对应的目标长焦图像1的DRC配置参数,从而对应调整网格1对应的目标长焦图像1的动态范围,以使得目标长焦图像1的亮度分布情况与对应图像块的亮度分布情况较为一致。该动态范围可以包括图像上不同像素点的亮度分布情况,不同像素点之间的亮度差异情况等。例如,手机可以通过亮度直方图来统计图像块1的动态范围。举例来说,图像块1包括亮度低于100的多个像素点和亮度高于200的像素点。手机可以控制目标长焦图像的像素点的亮度,以使得目标长焦图像包括亮度低于100的多个像素点和亮度高于200的像素点,从而增大目标长焦图像的动态范围。
其中,由于参考广角图像的动态范围较大,因而根据参考广角图像上的图像块1的动态范围,调整网格1对应的目标长焦图像1的动态范围,可以增大目标长焦图像1的动态范围,使得目标长焦图像1的亮度范围更大,亮暗层次更为丰富,能够提供更多亮部和暗部的图像细节。手机根据参考广角图像的图像块的动态范围信息配置目标长焦图像的DRC参数,可以从全局出发使得拼接图像上不同目标长焦图像之间的亮度分布过渡较为自然,避免手机分别对每个网格对应的目标长焦图像进行DRC导致的不同目标长焦图像动态范围差异较大,拼接图像的动态范围较差,以及拼接痕迹明显等问题,从而可以提高拼接图像的整体质量。
在长焦图像与引导框中的网格1匹配后,长焦摄像头可以移动并继续采集长焦图像,以获取与下一个待匹配的网格2相匹配的目标长焦图像2。其中,为方便拼接与网格匹配的目标长焦图像,下一个待匹配的网格2与已匹配的至少一个网格(例如网格1)相邻。
后续,随着长焦摄像头的移动,手机还可以根据参考广角图像的图像块,配置长焦摄像头采集其他网格对应的目标长焦图像(例如网格2对应的目标长焦图像2,网格3对应的目标长焦图像3等)的配置参数,不再赘述。
在一些实施例中,手机在目标长焦图像与网格匹配后,还可以将该网格提示给用户,以方便用户获知当前匹配的网格所在的位置,获知当前的拍摄进度。其中,手机可以将所匹配的网格与其他网格进行差异化的显示,以提示用户当前所匹配的网格所在的位置,方便用户获知当前的拍摄进度以及后续的拍摄方向和长焦摄像头的移动方向。比如,当前匹配的网格可以高亮显示,加粗显示,以区别于其他网格的颜色显示,以特定颜色显示,或变换为不同于其他网格的线型进行显示等。
举例来说,在拍照过程中,用户移动手机或长焦摄像头,以使得目标长焦图像1与引导框中间一行最左边的网格1中广角图像的内容相匹配。如图12A中的(a)所示,网格1的边界由虚线变为粗实线,从而区别于其他网格进行显示,以方便用户获知当前匹配的是网格1,当前的拍摄进度与网格1相对应。当目标长焦图像2的内容与引导框中网格2中广角图像的内容相匹配时,手机还可以将网格2区别于其他网格显示,以方便用户获知当前匹配的是网格2,当前的拍摄进度与网格2相对应。
在本申请的一些实施例中,在拍照过程中,手机可以在每次获得新的目标长焦图像后即与之前获得的拼接图像进行拼接,从而生成新的拼接图像。也就是说,在引导框中的所有网格未匹配完成时,根据已匹配网格对应的多帧目标长焦图像生成拼接图像。在另一些实施例中,手机在获得与引导框中的所有网格均匹配的目标长焦图像后,或者在拍摄结束后,再根据目标长焦图像生成拼接图像。本申请实施例对拼接图像的拼接时机不予限定。
手机对不同目标长焦图像进行拼接生成拼接图像的过程,可以包括图像配准、图像匀光匀色以及图像融合等过程。其中,图像配准是指将不同图像进行匹配和叠加的过程。例如,手机可以对待配准的两帧图像进行特征提取得到特征点,通过进行相似性度量找到匹配的特征点对,然后通过匹配的特征点对得到图像空间坐标变换参数,最后由坐标变换参数进行图像配准。手机可以计算目标长焦图像2相对于目标长焦图像1的单应性矩阵,从而根据该单应性矩阵将目标长焦图像2与目标长焦图像1进行配准。例如,图像配准算法可以包括SURF特征匹配算法、SKB特征匹配算法、ORB特征匹配算法、网格配准算法、光流配准算法或卷积神经网络(人工智能(artificial intelligence,AI)网络)配准算法等,本申请实施例对图像配准算法的具体类型不予限定。
其中,图像匀光是指图像配准之后,对配准的图像进行亮度的均衡,使得相邻目标长焦图像之间的亮度过渡自然。图像拼接的亮度均衡是一个成熟的技术,在此不做限制。
图像匀光匀色是指图像配准之后,对于配准图像重叠的部分进行亮度直方图和颜色直方图的统计,通过曲线拟合(比如样条曲线),获得图像亮度和图像颜色的累计分布函数。可以以其中一张图像的亮度和颜色分布为准,根据它的亮度和颜色累计分布函数,对其他图像的亮度和颜色进行校正,达到匀光匀色的目的;也可以以多个图像的亮度和颜色参数作为共同优化目标,迭代优化,达到所有图像匀光匀色的目的。
图像融合是指将多帧图像经过图像处理和计算机技术等,最大限度的提取各图像中的相关信息,综合成高质量的图像的过程。例如,图像融合算法可以包括alpha融合算法、泊松融合算法或者卷积神经网络融合(AI融合)算法等。本申请实施例对图像融合算法的具体类型不予限定。
例如,手机在获得目标长焦图像2后,可以将目标长焦图像2与目标长焦图像1进行配准、匀光匀色和融合等处理,从而拼接成一幅视场角较大的拼接图像。
在一些实施例中,目标长焦图像2与目标长焦图像1可以根据图像配准算法直接进行配准和融合,从而生成拼接图像。该种情况下,待配准的目标长焦图像2与目标长焦图像1之间需要有一定的重叠比例(例如20%),这样才能保证配准结果较为准确。例如,手机可以根据预设的图像配准算法,分别对目标长焦图像1和目标长焦图像2提取特征,并根据两者之间的特征匹配对进行图像配准。
在另一些实施例中,目标长焦图像2与目标长焦图像1直接进行配准和融合,从而生成拼接图像。而后,手机还可以根据参考广角图像对配准后的图像或拼接图像进行修正,避免待配准目标长焦图像之间的特征点对较少导致的配准错误。例如,目标长焦图像2与目标长焦图像1直接进行配准和融合后生成的拼接图像上,部分图像内容可能存在畸变,手机可以按照参考广角图像上相同内容的坐标位置,调整拼接图像上发生畸变的图像内容的坐标,从而对该畸变进行修正,提高拼接图像的质量。
在另一些实施例中,目标长焦图像2和目标长焦图像1根据参考广角图像进行配准和融合。该种情况下,待配准的目标长焦图像2与目标长焦图像1之间的重叠比例可以较小(例如可以为10%或5%等);或者,即便目标长焦图像2与目标长焦图像1之间没有重叠,手机根据参考广角图像也可以准确地对目标长焦图像2与目标长焦图像1进行配准和融合。这样,待匹配的目标长焦图像的要求较为宽松,在用户移动手机或长焦摄像头的过程中,手机可以快速、容易地获得目标长焦图像,减少用户的拍摄时长,并且还可以避免待配准目标长焦图像之间的特征点对较少导致的配准错误。而且,若目标长焦图像之间的重叠比例较小或无重叠,则用户拍摄少数的目标长焦图像即可完成拍照过程,从而可以减少拍摄帧数和拍摄时长,提高拍摄效率和用户拍摄体验。
在一种可能的实现方式中,目标长焦图像2、目标长焦图像1和参考广角图像可以一起进行配准和融合。参见图13A,目标长焦图像2、目标长焦图像1和参考广角图像可以分别提取特征,两两匹配,在三者的重叠区域可以获得更多的特征匹配对。这样,手机可以获得更多更精确的特征匹配对,从而计算出更准确的单应性矩阵,根据单应性矩阵将目标长焦图像2变形,从而达到更好的配准、拼接和融合效果。
在另一种可能的实现方式中,目标长焦图像2和目标长焦图像1可以分别与参考广角图像进行配准和融合,目标长焦图像2与目标长焦图像1之间不用做配准和融合。例如,如图13B所示,目标长焦图像2和参考广角图像可以分别提取特征后进行匹配,从而计算出单应性矩阵,根据单应性矩阵将目标长焦图像2变形,从而与目标长焦图像1更好地融合。该种情况下,待配准的目标长焦图像2与目标长焦图像1之间的重叠比例可以较小(例如可以为10%或5%等)。或者,即便目标长焦图像2与目标长焦图像1之间没有重叠,由于有公共的广角图像,因此也可以实现很好的融合拼接效果。这样,待匹配的目标长焦图像的要求较为宽松,在用户移动手机或长焦摄像头的过程中,手机可以快速、容易地获得目标长焦图像,减少用户的拍摄时长。而且,若目标长焦图像之间的重叠比例较小或无重叠,则用户拍摄少数的目标长焦图像即可完成拍照过程,从而可以减少拍摄帧数和拍摄时长,提高拍摄效率和用户拍摄体验。
在又一种可能的实现方式中,目标长焦图像1可以按照参考广角图像的坐标系进行配准,即目标长焦图像1可以贴合到参考广角图像上相同内容的坐标位置。类似地,目标长焦图像2也可以按照参考广角图像的坐标系进行配准,即目标长焦图像2可以贴合到参考广角图像上相同内容所在的坐标位置。若贴合到参考广角图像上的目标长焦图像1和目标长焦图像2之间没有空洞,则目标长焦图像1和目标长焦图像2贴合后形成的整体即为拼接图像。
此外,由于用户手抖或手机旋转等原因可能导致长焦摄像头的采集角度发生偏转,从而使得目标长焦图像2与目标长焦图像1之间的图像偏移较大,容易使得目标长焦图像2与目标长焦图像1之间出现空洞,例如两帧图像之间存在空隙或者两帧图像在上/下边缘位置错位从而出现空边等。
其中,手机可以通过多种方法检测该空洞。比如,目标长焦图像1和目标长焦图像2可以均贴合到参考广角图像上相同内容所在的位置,以确定贴合后的目标长焦图像1和目标长焦图像2之间是否出现空隙,从而检测是否出现空洞。再比如,当目标长焦图像1和目标长焦图像2为左右分布时,目标长焦图像1和目标长焦图像2都匹配到广角图像的坐标系后,若右图最左边像素点的横坐标大于左图最右边像素点的横坐标,则手机可以确定检测到空洞。
除此之外,手机还可以通过手机的惯性测量单元(inertial measurement unit,IMU)(例如陀螺仪),测量和计算目标长焦图像1和目标长焦图像2拍摄时的空间位置关系,并依次来检测是否出现空洞。
手机在确定目标长焦图像2与目标长焦图像1之间存在空洞的情况下,可以将参考广角图像上相同位置的内容填充到目标长焦图像1和目标长焦图像2之间的空洞部分。这样,目标长焦图像1、目标长焦图像2以及填充部分形成的整体即为拼接图像。
这样,手机可以根据参考广角图像对待拼接目标长焦图像之间的空洞进行填充,而不会由于空洞导致目标长焦图像无法进行配准和拼接,也不需要依据空洞对目标长焦图像进行裁剪从而导致拼接时图像视场角和图像分辨率的损失,能够使得拼接图像具有较大的视场角和图像分辨率。而在目前已有的其他技术方案中,当由于手动旋转的采用角度问题使得待拼接的长焦图像出现上/下偏移时,以最小图像高度进行裁剪,从而会损失图像分辨率和图像视场角。
示例性的,参考广角图像可以参见图12B中的(a)所示的图像1210,目标长焦图像1可以参见图12B中的(a)所示的图像1211、目标长焦图像2可以参见图12B中的(b)所示的图像1212。目标长焦图像1和目标长焦图像2之间存在空洞1213,手机可以根据参考广角图像对应位置的内容对该空洞1213进行填充。这样,如图12B中的(b)所示,目标长焦图像1、目标长焦图像2以及填充部分形成的整体图像1214即为拼接图像。
此外,在手机确定目标长焦图像2与目标长焦图像1之间存在空洞的情况下,在另一些实施例中,手机可以引导用户补拍一帧新的目标长焦图像2,以填充该空洞。比如,在一种可能的实现方式中,在存在空洞的情况下,目标长焦图像2对应的网格2不会区别于其他网格显示,以引导用户再次拍摄一帧与网格2匹配的目标长焦图像2。在另一种可能的实现方式中,手机通过显示信息或语音播放等方式提示用户,请再次采集一帧目标长焦图像以与当前网格相对应。
其中,空洞填充采用的是广角图像上的信息,而周围其他区域是目标长焦图像2和目标长焦图像1融合拼接的结果,导致空洞填充区域在分辨率和解析力上与周围有明显差异。因此,手机可以对空洞区域进行图像超分辨率的处理,降低空洞填充区域与周围的分辨率差异,达到更好的用户体验。除此之外,手机还可以采用AI局部搜索的方法或者AI图像修复的方法,对空洞区域进行预测和填充。本申请实施例对于填充和图像超分辨率的具体方法不限制。
在本申请的一些实施例中,手机还可以在拼接过程中,对拍摄到的运动物体进行去鬼影处理。
在拍照过程中,由于多帧目标长焦图像的拍摄需要一定的时间,当拍摄范围内出现运动物体时,相邻N帧(N为大于2的整数)目标长焦图像上可能均出现了该物体的图像,从而导致拼接图像上出现运动物体的鬼影(或称重影、虚影等)。该种情况下,手机还可以在拍照过程中进行去鬼影处理。
以下以目标长焦图像2和目标长焦图像1的拼接场景为例,通过两种情况分别对去除运动物体鬼影的方法进行阐述。
(1)、慢速运动的物体
运动物体的运动速度较慢,运动物体在广角图像上未出现鬼影。运动物体在相邻目标长焦图像2和目标长焦图像1上均出现,不同目标长焦图像上运动物体的图像是相互区分、无连通的,这样容易导致拼接图像上出现运动物体的多个图像即鬼影。其中,鬼影区域(也可以称为运动区域)的检测是目前较为成熟的技术,例如可以通过光流法或者结合手机的陀螺仪数据来进行估计检测,这里不予细述。
该种情况下,手机可以先对运动物体的位置进行检测(可以使用光流法、物体检测和跟踪法、语义分割的方法以及亮度求差和膨胀腐蚀的方法等)。而后,手机可以在目标长焦图像2和目标长焦图像1的拼接图像上,保留目标长焦图像1、目标长焦图像2或广角图像上该运动物体的完整图像(也称无鬼影图像),删除其他区域运动物体的图像,并采用参考广角图像上删除的区域对应位置的内容对删除区域进行空洞填充,从而避免拼接图像上出现运动物体的鬼影。其中,用于进行空洞填充的广角图像可以是最近采集到的一帧广角图像,手机之前在拍照过程中采集到的某帧广角图像,或者参考广角图像等,本申请实施例不予限定。
比如,作为一种简单的实现方案,手机可以保留广角图像上该运动物体的完整图像。再比如,为了使得最终的目标图像上运动物体的位置和用户最后看到的更为接近,手机可以保留最后一帧目标长焦图像上该运动物体的完整图像。
这里提到的运动物体在目标长焦图像2、目标长焦图像1和广角图像三种图像上的位置可能不同,手机可以根据相应的测量确定保留某种图像上的运动物体的完整图像。
其中,当手机在目标长焦图像2和目标长焦图像1的拼接图像上,保留目标长焦图像1上该运动物体的完整图像时,手机可以删除目标长焦图像2上该运动物体的图像,并采用广角图像上对应位置的内容对删除区域进行空洞填充。
比如,手机可以在目标长焦图像1和目标长焦图像2进行配准之前,保留目标长焦图像1上该运动物体的完整图像,删除目标长焦图像2上该运动物体的图像。而后,手机可以对目标长焦图像1和进行删除处理后的目标长焦图像2进行配准和融合,采用参考广角图像上对应位置的内容对删除后的空白区域进行空洞填充,从而生成拼接图像。
再比如,手机可以先将目标长焦图像1和目标长焦图像2进行配准和融合生成拼接图像。而后,手机可以删除拼接图像上运动物体的图像(包括目标长焦图像1和目标长焦图像2上运动物体的图像)。手机将目标长焦图像1上该运动物体的完整图像,贴合到拼接图像上的相应位置。手机采用参考广角图像上对应位置的内容对拼接图像进行空洞填充,该空洞位置为目标长焦图像2上已删除的运动物体的图像所在的区域。
当手机在目标长焦图像2和目标长焦图像1的拼接图像上,保留目标长焦图像2上该运动物体的完整图像时,手机可以删除目标长焦图像1上该运动物体的图像,并采用广角图像上对应位置的内容对删除的区域进行空洞填充。
当手机在目标长焦图像2和目标长焦图像1的拼接图像上,保留广角图像上该运动物体的完整图像时,手机可以删除目标长焦图像1和目标长焦图像2上该运动物体的图像,并采用广角图像上对应位置的内容对删除的区域进行空洞填充。
示例性的,参考广角图像可以参见图12C中的(a)。目标长焦图像1可以参见图12C中的(b),包括运动物体的图像1221。目标长焦图像2可以参见图12C中的(c),包括运动物体的图像1222。手机删除目标长焦图像1和目标长焦图像2上该运动物体的图像,并采用参考广角图像上对应位置的内容对删除的区域进行空洞填充,从而得到如图12C中的(d)所示的拼接图像。
(2)、快速运动的物体
当运动物体的运动速度较快时,可能存在以下情况:
情况a、参考广角图像上未出现运动物体的鬼影。手机可以采用与上述慢速运动物体相同的方法进行去鬼影处理,采用参考广角图像上对应位置的内容对拼接图像上删除的鬼影区域进行空洞填充。
情况b、参考广角图像上出现了运动物体的鬼影,并且手机实时采集的多帧广角图像上出现了运动物体的鬼影。该种情况下,手机可以结合拍照过程中采集到的多帧广角图像进行运动矢量估计或者光流估计等处理,从而判断运动物体的运动轨迹,去除广角图像上的运动物体的连通区域得到完整的无鬼影的运动物体的图像。也就是说,手机可以直接得到或者经过处理后得到不具有运动物体的鬼影的广角图像。
当运动物体的运动速度较快时,运动物体在相邻目标长焦图像2和目标长焦图像1上均出现,且不同目标长焦图像上运动物体的图像相互连通,从而容易导致拼接图像上出现运动物体的鬼影。
该种情况下,在一些实施例中,手机可以将目标长焦图像1和目标长焦图像2贴合到无鬼影的广角图像上,从而标记出目标长焦图像1和目标长焦图像2贴合后的整体图像上运动物体图像的连通区域,即鬼影区域。其中,无鬼影的广角图像可以是某帧未出现鬼影的广角图像,或者进行去鬼影处理后获得的广角图像。当无鬼影的广角图像为参考广角图像时,手机可以在配准过程中将目标长焦图像1和目标长焦图像2贴合到无鬼影的广角图像上,并标记出连通区域。
在另一些实施例中,手机可以结合拍照过程中采集到的多帧广角图像进行运动矢量估计等处理,从而确定目标长焦图像2和目标长焦图像1上运动物体图像的连通区域。手机可以删除目标长焦图像2和目标长焦图像1的拼接图像上运动物体的图像区域,并根据无鬼影的广角图像上对应位置的内容对删除的区域进行空洞填充,以避免拼接图像上出现运动物体的鬼影。
示例性的,参考广角图像可以参见图12D中的(a)。目标长焦图像1可以参见图12D中的(b),包括运动物体的鬼影1231。目标长焦图像2可以参见图12D中的(c),包括运动物体的鬼影1232。手机删除目标长焦图像1和目标长焦图像2上运动物体的鬼影,并采用参考广角图像上对应位置的内容对删除的区域进行空洞填充,从而得到如图12D中的(d)所示的拼接图像。
这样,手机可以在拍照过程中,消除目标长焦图像的拼接图像上运动物体的鬼影,在拍摄界面上为用户呈现清晰、无鬼影的拼接图像,提高拍照过程中的图像展示效果。
以上是以鬼影出现在目标长焦图像1和目标长焦图像2上为例进行说明的。可以理解的是,鬼影也可能出现在连续多帧目标长焦图像上,比如连续多帧目标长焦图像上的鬼影区域为一只身体拖的很长的猫。
以上是以目标长焦图像2与目标长焦图像1进行拼接,从而获得拼接图像为例进行说明的。类似地,手机可以采用相同的拼接方法将后续的目标长焦图像k(k为大于2的整数),与之前生成的拼接图像进行拼接,从而生成新的拼接图像。例如,手机在根据目标长焦图像2与目标长焦图像1获得拼接图像之后,可以将目标长焦图像3与之前生成的拼接图像进行拼接,从而生成新的拼接图像。其中,目标长焦图像3与之前的拼接图像进行拼接,也可以理解为目标长焦图像3与之前的拼接图像中,与目标长焦图像3相邻的目标长焦图像2进行拼接。此处对后续目标长焦图像的拼接过程不再详细说明。
其中,对于非首帧目标长焦图像可以与一个或多个相邻目标长焦图像进行拼接。例如,对于引导框中第一行第一列的网格对应的目标长焦图像,可以仅与第一行第二列的网格对应的目标长焦图像进行配准和拼接,还可以与所有与其相邻目标长焦图像进行配准和拼接。
在本申请的一些实施例中,手机在获得与网格1(即第一个待匹配的网格)相匹配的目标长焦图像1后,可以将目标长焦图像1的缩略图与作为背景图像的广角图像进行匹配融合后,在拍摄界面上显示目标长焦图像1的缩略图,以便用户看到与网格1匹配的目标长焦图像1的真实画面。目标长焦图像1的缩略图贴合在广角图像上与目标长焦图像1具有相同图像内容的区域之上。其中,目标长焦图像1的缩略图的位置和大小与所匹配的网格1可能会存在一些偏差,也可能与所匹配的网格1的位置和大小刚好一致。示例性的,参见图12A中的(b)所示的拍摄界面,目标长焦图像1的缩略图覆盖在广角图像相同图像内容的区域之上。
其中,目标长焦图像1的缩略图是长焦摄像头采集的目标长焦图像1下采样后得到的图像。手机在预览界面和拍摄界面上显示的广角图像,通常也是对广角摄像头采集的图像下采样后得到的图像。由于目标长焦图像的缩略图与界面上显示的广角图像来自于不同的摄像头和数据源,因而目标长焦图像的缩略图贴合前后,界面的显示效果也可能有所区别。
在一些实施例中,在拍照过程中,手机可以在拍摄界面上显示拼接图像缩略图,以方便用户获知当前实时的拍摄进度。例如,手机可以将拼接图像缩略图与作为背景图像的广角图像进行匹配融合后,将拼接图像缩略图贴合在广角图像与拼接图像缩略图具有相同图像内容的区域之上。
其中,该拼接图像缩略图可以采用不同的方式来获得。在一种实现方式中,手机对下采样后的相邻目标长焦图像进行配准和拼接后获得拼接图像缩略图,并将拼接图像缩略图贴合在广角图像与拼接图像缩略图具有相同图像内容的区域之上。在该实现方式中,基于下采样后分辨率较低的目标长焦图像,手机获得拼接图像缩略图的处理过程较为简单,处理时长较短,可以实时获得拼接图像缩略图并及时显示在拍摄界面上,避免出现卡顿。手机获得拼接图像缩略图的过程,与手机获得拼接图像的过程是并行处理的。
需要说明的是,根据以上描述可知,拼接图像可以在拍照过程中实时拼接获得;也可以在获得与所有网格匹配的目标长焦图像或拍摄结束后再统一拼接获得。而在拍摄界面上显示拼接图像缩略图的方案中,为方便用户获知拍摄进度,手机可以在拍照过程中根据每次获得的目标长焦图像实时获得拼接图像缩略图并显示。
在另一种实现方式中,手机对拼接图像进行下采样从而获得拼接图像缩略图,并将拼接图像缩略图贴合在广角图像上与拼接图像缩略图具有相同图像内容的区域之上。在拍摄界面上,拼接图像缩略图的位置和大小,可能与已匹配的多个网格的位置和大小存在一些偏差,也可能与已匹配的多个网格的位置和大小刚好一致。手机在拍摄界面的广角图像上贴合拼接图像缩略图,可以让用户感受到真实的、实时的拼接过程和拼接进度。
以下针对背景图像固定和不固定两种情况下,对拼接图像缩略图在拍摄界面上的显示情况分别进行说明。
情况1、背景图像固定为参考广角图像
在本申请的实施例中,用户可以通过移动手机来移动长焦摄像头,或者用户可以直接移动长焦摄像头,或者手机可以自动控制长焦摄像头移动。在情况1中,拍摄界面上的背景图像固定为参考广角图像,引导框与背景图像的相对位置保持不变,每个网格对应的背景图像的内容也保持不变,长焦框相对于背景图像的位置可以实时变化。
示例性的,按照图11中的(c)所示的拍摄顺序,手机在拍照过程中先匹配引导框中间一行的网格,再匹配引导框上方一行的网格,然后再匹配引导框下方一行的网格。在手机获得中间一行中间网格对应的目标长焦图像后,显示有拼接图像缩略图的拍摄界面可以参见图12A中的(c)。而后,长焦摄像头继续移动,如图12A中的(c)所示,手机在拍摄界面上显示长焦摄像头的拍摄范围对应的实时的长焦框。在手机获得引导框上方一行最右侧的网格匹配的目标长焦图像后,显示有拼接图像缩略图的拍摄界面可以参见图12A中的(d)。在手机获得引导框下方一行最左侧的网格匹配的目标长焦图像后,显示有拼接图像缩略图的拍摄界面可以参见图12A中的(e)。在手机获得引导框中的最后一个网格匹配的目标长焦图像后,显示有拼接图像缩略图的拍摄界面可以参见图12A中的(f),手机生成与3*3的网格对应的拼接图像缩略图。再示例性的,在拍摄界面显示有拍摄顺序提示信息的情况下,拍摄界面的示意图可以参见图14中的(a)-(e)。
情况2、背景图像不固定且为手机实时采集的广角图像
该种情况下,当用户移动手机来同步移动广角摄像头和长焦摄像头时,每个网格对应的背景图像的内容不变,但由于背景图像不固定且是实时变化的,因而引导框与背景图像的相对位置会随着背景图像内容的变化而实时变化。可以理解的是,由于长焦框的位置是由广角摄像头和长焦摄像头的镜头中心、拍摄的物距以及视场角的大小决定的,因而在物距基本不变的情况下,鉴于广角摄像头和长焦摄像头的镜头中心的相对位置不变,长焦框与背景图像的相对位置也基本不变。例如,在拍照过程中,长焦框始终位于背景图像靠近中间的位置。
在拍照过程中,当手机移动时,广角摄像头也随之移动,作为背景图像的广角图像的内容也随之变化,但每个网格对应的背景图像的内容保持不变。也可以理解为,在拍照过程中,网格与网格内广角图像的内容之间的对应关系保持不变,网格与作为背景图像的广角图像的内容是绑定的。
手机可以通过多种方式来实现网格与广角图像内容的绑定。例如,手机可以记录检测到拍照操作后每个网格对应的广角图像的内容;在后续的拍照过程中,手机可以采用图像匹配的方式,将网格与实时获取的广角图像的内容进行匹配,从而实现网格与广角图像内容的绑定。再例如,手机可以记录检测到拍照操作后每个网格及对应的广角图像内容的坐标位置;在后续的拍照过程中,手机可以根据陀螺仪等惯性测量单元的数据,确定手机的平移量和/旋转量,从而根据该平移量和/旋转量计算每个网格及对应的广角图像内容新的坐标位置,实现网格与广角图像内容的绑定。
举例来说,当手机向右移动时,广角摄像头和长焦摄像头同时向右移动,广角图像的视场角和图像内容向右移动,引导框在屏幕上的位置随着广角图像内容的右移而向左偏移,长焦框相对于广角图像的位置基本保持不变。示例性的,在背景图像为手机实时采集的广角图像的情况下,在中间一行最左侧的网格匹配后,拍摄界面的示意图可以参见图13C中的(a),拍摄界面上显示有目标长焦图像1的缩略图;在中间一行中间的网格匹配后,拍摄界面的示意图可以参见图13C中的(b),拍摄界面上显示有拼接图像缩略图;在中间一行最右侧的网格匹配后,拍摄界面的示意图可以参见图13C中的(c),拍摄界面上显示有拼接图像缩略图。如图13C中的(a)-(c)所示,广角图像向右偏移,引导框向左偏移,且长焦框的基本位于广角图像的中间位置。
需要说明的是,图12A是以目标长焦图像的缩略图与已匹配网格的边缘基本对齐为例进行说明的。在拍照过程中,如图13C中的(a)-(c)所示,当目标长焦图像的缩略图与网格的位置有所偏差时,拼接图像的边缘可能是参差不齐的,并不与已匹配网格的边缘基本对齐。
此外,在用户直接移动长焦摄像头或手机自动控制长焦摄像头移动的情况下,长焦摄像头与广角摄像头可以不同步移动。在背景图像不固定且为手机实时采集的广角图像的情况下,比如背景图像由于手机的抖动等原因实时变化时,引导框与背景图像的相对位置会随着背景图像内容的变化而实时变化,每个网格对应的背景图像的内容基本保持不变,长焦框与背景图像的相对位置可随着长焦摄像头的而移动而实时变化。
在本申请的实施例中,拼接图像缩略图与广角图像被覆盖的图像尺寸、位置以及内容基本相同。拼接图像缩略图的尺寸较小,不便于用户查看图像细节。在一些实施例中,手机可以响应于用户的点击或长按等预设操作,在拍摄界面上放大显示拼接图像缩略图,以便用户随时清楚地看到长焦摄像头采集的目标长焦拼接图像上物体的具体细节。
示例性的,如图15A中的(a)所示,手机检测到用户在拍摄界面上点击拼接图像缩略图的操作后,如图15A中的(b)所示在拍摄界面上放大显示拼接图像缩略图。手机检测到用户再次点击拼接图像的操作或者检测到用户的返回操作后,恢复显示如图15A中的(a)所示的拼接图像缩略图。
在另一些实施例中,为避免拼接图像缩略图的尺寸较小(尤其在长焦摄像头与广角摄像头的等效焦距差别较大时,比如等效焦距的比例大于某个预设值),导致用户不便于查看图像细节,手机可以在拍摄界面上自动放大显示拼接图像缩略图。类似地,手机也可以在拍摄界面上放大显示目标长焦图像1的缩略图。该放大显示的倍数可以是默认值,也可以和广角摄像头与长焦摄像头等效焦距的比例相关,还可以是用户设置的数值,不予限定。
为方便引导用户移动手机或长焦摄像头,放大显示后的目标长焦图像1的缩略图或拼接图像缩略图不能遮挡待匹配的网格。示例性的,参见图15B中的(a)-(b),当按照从左往右的网格顺序拍摄时,拍摄界面上放大后的目标长焦图像1的缩略图以及拼接图像缩略图的右侧与最近已匹配的网格的右侧对齐,即与待匹配网格的左侧对齐,避免目标长焦图像1的缩略图以及拼接图像缩略图遮挡右侧待匹配的网格。当按照从上往下的网格顺序拍摄时,放大后的目标长焦图像1的缩略图或拼接图像缩略图的下侧与最近已匹配的网格的下侧对齐,即与待匹配网格的上侧对齐,避免目标长焦图像1的缩略图以及拼接图像缩略图遮挡下侧待匹配的网格。再比如,引导框中间一行的网格通常对应用户最想要拍摄的图像内容,因而目标长焦图像1的缩略图以及拼接图像缩略图尽量不遮挡中间一行未匹配的网格。
在其他一些实施例中,手机在拍摄界面上显示广角图像上与引导框对应的目标区域图像,而不显示完整的广角图像。该目标区域图像的尺寸与引导框的尺寸的比例为r,且r≥1。该目标区域图像可以通过对完整的广角图像进行裁剪和放大获得。这样,拍摄界面上显示的引导框和网格的尺寸较大,便于手机根据尺寸较大的网格进行移动拍摄和匹配。
尤其地,当长焦摄像头的等效焦距与广角摄像头的等效焦距相差较大时,若在拍摄界面上显示完整的广角图像以及相应显示引导框,则引导框、网格、目标长焦图像1的缩略图/拼接图像缩略图的尺寸较小,不便于用户查看。手机可以将目标区域图像、引导框、目标长焦图像1的缩略图/拼接图像缩略图等比例放大后显示在拍摄界面上,以方便用户查看尺寸较大的目标长焦图像1的缩略图/拼接图像缩略图的具体内容。
示例性的,上述图12A中的(d)所示的拍摄界面上完整的广角图像可以替换为图15C所示的拍摄界面上广角图像中的目标区域图像1500。其中,与图12A中的(d)所示的拍摄界面相比,在图15C所示的拍摄界面上,目标区域图像、引导框和拼接图像缩略图进行了等比例的放大,且该目标区域图像的尺寸与引导框的尺寸的比例r大于1。
在以上实施例描述的方案中,在拍照过程中,手机在拍摄界面上显示目标长焦图像1的缩略图和拼接图像缩略图。在其他一些实施例中,在拍照过程中,手机可以不显示目标长焦图像1的缩略图和拼接图像缩略图,而仅在广角图像上以显示拼接框,该拼接框为目标长焦图像1的缩略图的边框,或者拼接图像缩略图的边框。这样,手机可以通过拼接框提示用户当前的拍摄进度,且不需要获取目标长焦图像1的缩略图和拼接图像缩略图并显示,可以减少手机的处理负载。在另一些实施例中,在拍照过程中,手机可以不显示目标长焦图像1的缩略图和拼接图像缩略图,而仅突出显示(例如高亮或加粗显示)已匹配的网格或已匹配的网格的边框。这样,手机可以通过突出显示已拼接的网格提示用户当前的拍摄进度,且不需要获取目标长焦图像1的缩略图和拼接图像缩略图并显示,可以减少手机的处理负载。
此外,在一些实施例中,在拍照过程中,手机还可以根据当前实时地拍摄情况给用户以相应的提示。例如,当手机移动过快,长焦图像来不及与网格匹配时,手机可以提示用户请缓慢移动手机。再例如,当手机的移动方向与拍摄顺序指示方向相反,或者手机向已匹配网格的方向移动时,手机可以提示用户请沿指示方向移动手机。或者,手机直接终止拍摄过程,根据已获取的目标长焦图像生成最终的目标图像。再例如,当长焦框偏离待匹配网格的上方较远时。手机可以提示用户请向下移动手机;当长焦框偏离待匹配网格的下方较远时,手机可以提示用户请向上移动手机。
值得注意的是,在拍照过程中,对于手机实时采集的广角图像,一方面可以用于在背景图像不固定的情况下,作为背景图像进行显示;另一方面还可以用于对运动物体进行运动矢量估计,从而确定运动物体的连通区域,辅助去除鬼影。而在拍照过程中,质量较好的参考广角图像可以用于作为参考来对目标长焦图像进行AE、AWB和DRC配置,用于作为参考来配准和融合多帧目标长焦图像,以及用于作为参考来进行空洞填充等处理。
204、手机确定拍摄结束后,根据拼接图像生成目标图像。
手机在确定拍摄结束后,可以根据多帧目标长焦图像获得的拼接图像生成目标图像。
在一些实施例中,手机在拍摄结束之后,根据拼接图像生成目标图像之前,还可以对拼接图像进行去鬼影、动态范围增强或空洞填充等处理,以提高拼接图像的质量,从而根据处理后的拼接图像生成目标图像,提高目标图像的质量。
去鬼影:
如果手机在拍照过程中未对运动物体进行去鬼影处理,则手机可以在拍摄结束之后,且根据拼接图像生成目标图像之前,对拼接图像进行去鬼影处理,从而根据去鬼影后的拼接图像生成目标图像。例如,当相邻多帧目标图像上均出现运动物体时,手机可以一起对拍摄结束后获得的拼接图像上的鬼影进行处理。在一种可能的实现方案中,为了使得最终的目标图像上运动物体的位置和用户最后看到的更为接近,手机可以保留最后一帧目标长焦图像上该运动物体的完整图像。再例如,当手机在拍摄结束后才生成拼接图像时,手机可以一起对拼接图像上的鬼影进行处理。
该种情况下,与上述拍照过程中去鬼影的方法类似,对于慢速运动的物体,手机可以在拼接图像上删除运动物体的图像,保留某帧目标长焦图像或某帧广角图像上该运动物体的完整图像,并采用广角图像上对应位置的内容进行空洞填充。对于快速运动的物体,手机可以根据多帧广角图像进行运动矢量估计,从而去除广角图像上的运动物体的连通区域得到无鬼影的完整的运动物体的图像。手机删除拼接图像上运动物体的图像区域,并采用无鬼影的广角图像上对应位置的内容对删除区域进行空洞填充。
本申请实施例对去鬼影处理在拍摄过程中执行还是在拍摄结束后执行不予限定。
动态范围增强:
在本申请的实施例中,多帧目标长焦图像的拼接图像的动态范围可能较小,明亮层次较少,亮度范围较小,亮暗对比不充分,暗部和亮部细节不够充分。在一些实施例中,手机在拍摄结束后,在根据拼接图像生成目标图像之前,可以增强整个拼接图像的动态范围,比如采用一种增强拍摄照片的动态范围的方法(HDRnet),使得拼接图像明亮层次更加丰富,亮暗范围更大,而后再根据动态范围增强后的拼接图像生成目标图像。
例如,在增强动态范围的过程中,手机可以通过卷积神经网络(AI网络)对拼接图像进行处理,直接获得高动态范围的效果,从而获得具有高动态范围的目标图像。
在增强动态范围的过程中,手机还可以根据参考广角图像的亮度分布情况调整拼接图像的亮度分布,增大拼接图像的亮度范围,从而增强拼接图像的动态范围。举例来说,由参考广角图像与拼接图像的亮度直方图可知,参考广角图像与拼接图像对应区域内的亮度值范围为30-250,拼接图像的亮度值范围为180-230。手机可以将拼接图像上亮度值靠近180的部分像素点(例如随机选取的像素点或边缘部分的像素点等)的亮度值调整到30-180之间;将拼接图像上亮度值靠近230的部分像素点的亮度值调整到230-250之间;从而增大拼接图像的亮度范围,增强拼接图像的动态范围。
此外,手机还可以提取参考广角图像的高频分量图像,将高频分量图像和拼接图像进行融合,以增加拼接图像的高频细节(也可以称为高频分量融合)。比如,该高频分量图像包括参考广角图像上边缘部分的像素点或不同物体边缘的过渡部分的像素点等。手机可以采用小波变换或者深度学习等方法提取参考广角图像的高频分量图像,从而提取频率和纹理变化较大的高频细节并叠加在拼接图像上,以增强拼接图像的高频细节,增强拼接图像和目标图像的清晰度和细节。
在增强动态范围的过程中,手机还可以对多帧广角图像进行高动态范围的合成,并将合成的高动态范围效果通过匀光匀色的算法,作用到拼接图像上,即根据合成的高动态范围信息对拼接图像进行匀光匀色处理,从而增强拼接图像的动态范围。除此之外,手机还可以将拼接图像的细节回叠到具有高动态范围效果的广角图像上,最终获得具有高动态范围、丰富纹理细节的目标图像。
例如,在有些实施例中,手机可以利用多帧广角图像的不同曝光,合成具有高动态范围的广角图像,然后以广角图像的高动态范围为基础,对拼接图像进行匀光匀色的处理或者风格迁移的处理,从而让拼接图像也拥有高动态范围的效果。
例如,在有些实施例中,手机可以利用多帧广角图像的不同曝光,合成具有高动态范围的广角图像。然后,手机可以提取拼接图像中的细节和纹理,回叠到具有高动态范围的广角图像上,进行细节、颜色和亮度的融合,最终获得具有高动态范围和高清细节的目标图像。
其中,增强动态范围的算法不限于传统的算法或者卷积神经网络的算法。多帧广角图像合成具有高动态范围的广角图像的算法也不限于传统的算法或者卷积神经网络的算法。
空洞填充:
在本申请的实施例中,拼接图像上的不同目标长焦图像之间可能存在一些空洞。在一些实施例中,手机还可以对拼接图像进行空洞填充,而后再根据空洞填充后的拼接图像生成目标图像。由于目标长焦图像之间可能有错位,拼接图像的边缘可能不够平滑,来自不同目标长焦图像的图像部分之间可能存在空边,因而手机还可以根据参考广角图像对空边进行空洞填充,以获得整齐、美观的矩形或方形拼接图像。这样,手机根据参考广角图像的对应内容对空边进行填充,而不需要依据空边对目标长焦图像进行裁剪从而导致拼接时图像视场角和图像分辨率的损失,能够使得拼接图像具有较大的视场角和图像分辨率,因而能够使得根据拼接图像生成的目标图像具有较大的视场角和图像分辨率。除此之外,对于空洞和空边的填充,手机可以采用多帧广角图像的相应区域进行高分辨率的合成,也可以使用图像超分辨率算法对单帧参考广角图像的相应区域进行处理,使得空洞和空边的填充能拥有较高的分辨率,提升用户体验。
示例性的,手机根据多帧目标长焦图像得到的,存在空边的拼接图像可以参见图15D中的(a)所示的实线框起来的图像,手机根据参考广角图像进行空洞填充处理后,得到的拼接图像可以参见图15D中的(b)所示的实线框起来的图像。
需要说明的是,在拍照过程中,质量较好的参考广角图像用于作为参考来对目标长焦图像进行AE、AWB调节、DRC配置,用于作为参考来配准和融合多帧目标长焦图像,用于作为参考来进行空洞填充,用于在拍摄结束后作为参考来增强整个拼接图像的动态范围等处理。并且,在整个拍照过程中,各帧目标长焦图像均根据相同的参考广角图像来进行这些处理,可以使得各目标长焦图像的效果与参考广角图像尽量保持一致,从而使得最终的拼接图像和目标图像的整体效果与参考广角图像的图像效果较为一致,使得最终的拼接图像和目标图像整体较为自然、过渡平滑且质量较好。
此外,由于手机根据拼接图像生成目标图像的过程中,可能需要花费一定的时间进行动态范围增强等处理。因而,在一些实施例中,手机在该处理过程中可以提示用户正在处理生成目标图像,避免用户误认为手机发生了卡顿或其他异常情况。比如,手机可以通过文字提示、语音提示、或转动的圆圈标识等方式来提示用户。示例性的,参见图16,手机可以通过文字信息:正在处理,请稍后;以及转动的圆圈标识,来提示用户当前正在处理生成目标图像。
其中,手机确定拍摄结束的方法可以有多种,手机根据拼接图像生成目标图像的方法也可以有多种。
在一些情况下,在引导框中的网格未完成拍摄(即引导框中的网格未完成匹配)前,手机检测到用户的停止拍照操作后确定拍摄结束。示例性的,手机检测到用户点击如图12A中的(e)所示的停止拍照控件1200的操作后,确定拍摄结束。可以理解的是,该停止拍照操作还可以是其他手势操作或用户语音指示操作等,本申请实施例对触发手机结束拍照过程的操作不予限定。在另一些情况下,在引导框中的网格未完成拍摄前,若手机移动方向严重偏离引导框的指示方向(例如移动方向与引导框的指示方向的偏离范围大于或者等于某个预设值)或者移动出了引导框,则自动结束拍摄。
在一些实施例中,若手机在引导框中的网格未完成拍摄前确定拍摄结束,则从参考广角图像上截取与引导框对应的部分生成目标图像。
在另一些实施例中,若手机在引导框中的网格未完成拍摄前确定拍摄结束,且拍照过程中是按网格的行进行拍摄的,则手机舍去拼接图像上未完成整行网格拍摄的部分,根据已拍摄的整行网格对应的拼接图像生成目标图像,以使得目标图像为整行网格对应的图像。示例性的,在图12A中的(e)所示的情况下,若手机检测到用户的停止拍照操作,则根据引导框的中间一行和上方一行的网格对应的拼接图像生成如图17中的(a)所示的目标图像。
类似地,若手机在引导框中的网格未完成拍摄前确定拍摄结束,且拍照过程中是按网格的列进行拍摄的,则手机去掉拼接图像上未完成整列网格拍摄的部分,根据已拍摄的整列网格对应的拼接图像生成目标图像,以使得目标图像为整列网格对应的图像。
在另一些实施例中,若手机在引导框中的网格未完成拍摄前确定拍摄结束,且拍照过程中是按网格的行进行拍摄的,则手机在拼接图像上根据参考广角图像补充完最新一行网格对应的图像,从而生成目标图像。类似地,若手机在引导框中的网格未完成拍摄前确定拍摄结束,且拍照过程中是按网格的列进行拍摄的,则手机在拼接图像上根据参考广角图像补充完最新一列网格对应的图像,从而生成目标图像。
在其他一些实施例中,若手机在引导框中的网格未完成拍摄前确定拍摄结束,则拍照过程异常,手机不生成目标图像。并且,手机还可以提示用户拍摄中止或拍摄异常等。
在另一些情况下,在引导框中的网格都拍摄完成后,手机自动结束拍摄,并根据拼接图像生成目标图像。在一些实施例中,目标图像的尺寸可以与引导框的尺寸相同。若由于拼接时目标长焦图像之间有错位等原因,使得拼接图像的尺寸与引导框的尺寸不一致,则手机可以根据引导框的尺寸对拼接图像进行裁剪或空洞填充(根据参考广角图像进行填充),从而使得拼接图像的尺寸与引导框的尺寸相一致。示例性的,手机生成的目标图像可以参见图17中的(b)。在另一些实施例中,若由于拼接时目标长焦图像之间有错位等原因,使得拼接图像的边缘未对齐,则手机可以根据参考广角图像对拼接图像进行填充,从而获得矩形或方形等规则形状的目标图像,目标图像的位置和尺寸与引导框的位置和尺寸可能有所差异。
其中,广角摄像头采集的广角图像的分辨率和长焦摄像头采集的长焦图像的分辨率均较大。由于广角摄像头的视场角远大于长焦摄像头的视场角,因而长焦图像在单位视场角内对应的像素点的数量远大于广角图像在单位视场角内对应的像素点的数量。例如,广角摄像头采集的广角图像的分辨率为4000*3000,即1200万像素,长焦摄像头采集的长焦图像的分辨率为3264*2448,即800万像素。若广角摄像头的视场角是长焦摄像头的视场角的5倍,则长焦图像在单位视场角内对应的像素点的数量,是广角图像在单位视场角内对应的像素点的数量的5倍。即,在单位视场角内长焦图像的分辨率是广角图像的分辨率的800/(1200/5)=3.33倍。也就是说,在单位视场角内长焦图像的分辨率大于广角图像的分辨率,与广角图像相比,长焦图像更为清晰,细节更为清楚。
由于在单位视场角内长焦图像的分辨率大于广角图像的分辨率,因而手机根据多帧目标长焦图像的拼接图像生成的目标图像,比广角图像的清晰度更高,细节更清楚,拍摄效果更好。并且,手机通过多帧目标长焦图像进行拼接可以获得视场角较大的高清晰目标图像。
还需要说明的是,前述实施例中的长焦图像为长焦摄像头采集到的单帧图像。在其他一些实施例中,前述实施例中涉及的长焦图像也可以是长焦摄像头采集到的多帧(例如2帧或3帧等)长焦图像进行配准融合后生成的质量较好的一帧图像。
在本申请的一些实施例中,手机在图库中保存的,根据目标长焦图像拼接获得的目标图像可以区别于其他图像而特别标识,以方便用户直观地获知该种类型的图像。比如,参见图18中的(a),手机获得的目标图像上显示有“cp”的文字标识1801。再比如,参见图18中的(b),手机获得的目标图像上显示有特定的符号标识1802。
不显示引导框的方案:
以上实施例描述的拍摄方法可以称为显示引导框的方案。本申请其他一些实施例提供了另一种拍摄方法,与上述实施例不同,手机在预览界面和拍摄界面上并不显示引导框。
以下主要对与上述显示引导框的方案的不同之处进行具体阐述,而对于相同之处则不再细述。如图19所示,该拍摄方法可以包括:
1900、手机启动拍照功能。
在一些实施例中,手机在启动拍照功能后,即可以通过本申请实施例提供的不显示引导框的方案进行拍照。
在另一些实施例中,手机启动拍照功能并进入目标拍照模式后,可以通过本申请实施例提供的不显示引导框的方案进行拍照。例如,目标拍照模式为上述宽景模式。
关于步骤1900的其他相关说明可以参见上述步骤200中的描述,此处不予赘述。
1901、手机在预览界面上显示广角图像和长焦框。
在不显示引导框的方案中,手机在预览界面上显示广角图像。与上述显示引导框的方案不同,在不显示引导框的方案中,手机在预览界面上显示长焦框,以方便用户获知长焦摄像头的实时拍摄范围;并且,手机在预览界面上不显示引导框。并且,在不显示引导框的方案中,手机在预览界面上。示例性的,参见图20中的(a),预览界面上包括广角图像和长焦框。
关于步骤1901中的其他相关说明可以参见上述步骤201中的描述,这里不再赘述。
1902、手机检测到用户的拍照操作后,在拍摄界面上显示广角图像,以及叠加在广角图像之上的长焦框。
与上述显示引导框的方案不同,在步骤1902中,手机检测到用户的拍照操作后,并不在拍摄界面上显示引导框,手机在拍摄界面上显示广角图像和长焦框。
关于步骤1902中的其他相关说明可以参见上述步骤202中的描述,这里不再赘述。
1903、手机根据获取的目标长焦图像生成拼接图像,并在拍摄界面上显示拼接图像缩略图。
在不显示引导框的方案中,用户想要拍摄目标图像时,可以参考预览界面上的广角图像移动手机或长焦摄像头进行构图,以使得长焦摄像头的拍摄范围和长焦框位于用户想要拍摄的区域的起始位置。而后,用户可以触发拍照操作。手机检测到用户的拍照操作后,可以根据长焦摄像头的拍摄范围对应的参考广角图像的图像块,确定长焦摄像头的配置参数,比如该配置参数可以包括AE、AWB或DRC等的配置参数。手机根据AE、AWB或DRC等配置参数通过长焦摄像头采集长焦图像,并获得第一帧目标长焦图像,即目标长焦图像1。关于手机确定AE、AWB和DRC等配置参数的过程,可以参见上述显示引导框的方案中的相关描述,这里不再赘述。
需要说明的是,不同于显示引导框的方案中目标长焦图像要与网格相匹配,在不显示引导框的方案中,由于拍摄界面上未显示引导框,因而目标长焦图像不与引导框的网格相匹配。比如,当手机采集到的某帧长焦图像与目标长焦图像1匹配时,该帧长焦图像可以为目标长焦图像2。其中,目标长焦图像2与目标长焦图像1匹配包括:目标长焦图像2的横坐标范围与目标长焦图像1的横坐标范围之间的偏差小于或者等于预设阈值1,或者目标长焦图像2的纵坐标范围与目标长焦图像1的纵坐标范围之间的偏差小于或者等于预设阈值2。也就是说,目标长焦图像2与目标长焦图像1基本呈左右并列分布或基本呈上下并列分布。
目标长焦图像2与目标长焦图像1匹配还包括:目标长焦图像2与目标长焦图像1之间的重叠区域大于或者等于预设值8,或者目标长焦图像2与目标长焦图像1之间的空隙小于或者等于预设值9等。比如,手机在确定采集的长焦图像与参考广角图像上的匹配内容,与目标长焦图像1在参考广角图像上的匹配内容的相似度大于或者等于预设值8时,确定获得与目标长焦图像1匹配的目标长焦图像2。
在不显示引导框的方案中,由于拍摄界面上未显示引导框,因而用户无法根据引导框的指示来移动手机或长焦摄像头。该种情况下,用户可以根据已获得的目标长焦图像1的图像内容相对于全局范围的广角图像的位置,以及自己的需求、习惯或意愿移动手机或直接移动长焦摄像头。在长焦摄像头的移动过程中,手机可以根据长焦摄像头的拍摄范围对应的参考广角图像的图像块,实时调整长焦摄像头的配置参数,从而根据该配置参数采集目标长焦图像,从而根据广角图像引导目标长焦图像进行AE、AWB和DRC等配置。
在一些实施例中,手机可以在拍照过程中,在每次获得新的目标长焦图像后即与之前获得的拼接图像进行拼接,从而生成新的拼接图像。例如,手机可以将目标长焦图像1和目标长焦图像2进行拼接获得拼接图像。后续,在某帧长焦图像与已获得的目标长焦图像匹配后,手机获得新的目标长焦图像,可以将新的目标长焦图像与之前已获得的拼接图像进行拼接获得新的拼接图像。在另一些实施例中,手机在拍摄结束后,再根据目标长焦图像生成拼接图像。本申请实施例对拼接图像的拼接时机不予限定。其中,图像拼接过程可以参考上述显示引导框的方案中的描述,这里不再赘述。
在本申请的一些实施例中,与显示引导框的方案类似,手机在获得目标长焦图像1后,可以在拍摄界面上显示目标长焦图像1的缩略图。示例性的,显示有目标长焦图像1的缩略图的拍摄界面可以参见图20中的(b)。在拍照过程中,手机可以在拍摄界面上显示拼接图像缩略图,以向用户提示当前实时的拍摄进度。示例性的,显示有拼接图像缩略图的拍摄界面可以参见图20中的(c)-(d)。在其他一些实施例中,在拍照过程中,手机在拍摄界面上显示拼接框。在另一些实施例中,为避免拼接图像缩略图的尺寸较小,不便于用户查看图像细节,手机可以在拍摄界面上自动放大显示目标长焦图像1的缩略图和拼接图像缩略图。示例性的,放大显示目标长焦图像1的缩略图的拍摄界面可以参见图21中的(a),放大显示拼接图像缩略图的拍摄界面可以参见图21中的(b)-(c)。在其他一些实施例中,手机在拍摄界面上显示广角图像上与引导框对应的目标区域图像,而不显示完整的广角图像。该目标区域图像的尺寸与引导框的尺寸的比例为r,且r≥1。该目标区域图像可以通过对完整的广角图像进行裁剪和放大获得。
1904、手机确定拍摄结束后,根据拼接图像生成目标图像。
与上述步骤204类似,在步骤1904中,手机在拍摄结束之后,根据拼接图像生成目标图像之前,还可以对拼接图像进行去鬼影、动态范围增强或空洞填充等处理,以提高拼接图像的质量,从而根据处理后的拼接图像生成目标图像,提高目标图像的质量,这里不予赘述。
在不显示引导框的方案中,手机检测到用户的停止拍照操作后结束拍摄。或者,手机可以预设一个最大拍摄帧数,手机获取到预设帧数的目标长焦图像后自动结束拍摄。手机在结束拍摄后根据目标长焦图像的拼接图像生成目标图像。
在一些实施例中,若拼接图像的边缘未对齐,则手机可以对拼接图像的边缘进行最小限度地裁剪,以得到矩形或方形等规则形状的拼接图像,从而根据该拼接图像生成目标图像。示例性的,手机根据目标长焦摄像头得到的拼接图像缩略图的示意图可以参见图22中的(a),手机进行裁剪后得到的新的拼接图像缩略图的示意图可以参见图22中的(b)。
在另一些实施例中,若拼接图像的边缘未对齐,则对于空缺部分,手机可以根据参考广角图像上对应位置的内容进行空洞填充,以得到矩形或方形等规则形状的拼接图像,从而根据该拼接图像生成目标图像。示例性的,手机根据目标长焦摄像头得到的拼接图像缩略图的示意图可以参见图23A中的(a),手机根据参考广角图像进行空洞填充后得到的新的拼接图像缩略图的示意图可以参见图23A中的(b)。
在另一些实施例中,无论拼接图像的边缘是否对齐,手机均根据拼接图像生成目标图像,目标图像的尺寸与拼接图像的尺寸相一致。
在其他一些实施例中,在不显示引导框的方案中,手机获得的目标图像的尺寸可能并不是用户想要的尺寸。因而,在一种可能的技术方案中,用户还可以对图库中已生成的目标图像进行编辑,以获得理想尺寸的目标图像。
在另一种可能的技术方案中,用户还可以对拼接图像进行编辑,以获得理想尺寸的拼接图像,从而生成理想尺寸的目标图像。示例性的,参见图23B中的(a),手机在拍摄结束后可以在拍摄界面上提示用户,请在拼接图像上设置目标图像的范围。手机检测到用户设置虚线框2300的操作并点击确定控件后,根据虚线框2300对拼接图像进行裁剪,从而生成如图23B中的(b)所示的用户指示范围内的目标图像。
在不显示引导框的方案中,由于在单位视场角内长焦图像的分辨率大于广角图像的分辨率,因而手机根据多帧目标长焦图像的拼接图像生成的目标图像,比广角图像的清晰度更高,细节更清楚,拍摄效果更好。并且,手机通过多帧目标长焦图像进行拼接可以获得视场角较大的高清晰目标图像。
并且,在不显示引导框的方案中,用户可以根据自身需求移动手机或长焦摄像头来采集长焦图像,从而获得用户想要位置的目标长焦图像,进而根据用户想要位置的目标长焦图像获得用户想要的任意尺寸或形状的拼接图像。手机根据该任意规格的拼接图像能够获得相应尺寸或形状的目标图像,可以方便用户拍摄获得各种尺寸的宽画幅、方画幅或全景画幅的目标图像。
混合变焦方案:
本申请其他一些实施例还提供了一种拍摄方法,可以通过视场角较小的长焦图像进行拼接,获得视场角较大、较为清晰的拼接图像,而后再对拼接图像进行裁剪得到不同目标变焦倍率对应的清晰的目标图像。在该方案中,手机不需要通过数字变焦进行图像放大,因而可以保留长焦摄像头的高分辨率和长焦图像的高清晰度,实现光学变焦的变焦效果。该方案结合了长焦图像的拼接和裁剪处理,也可以称为混合变焦方案。
以下主要对与上述显示引导框的方案的不同之处进行具体阐述,而对于相同之处则不再细述。如图24所示,该混合变焦方案可以包括:
2400、手机启动拍照功能。
在一些实施例中,手机在启动拍照功能后,即可以通过本申请实施例提供的混合变焦方法进行处理。
在另一些实施例中,手机启动拍照功能并进入目标拍照模式后,可以通过本申请实施例提供的混合变焦方法进行处理。
以下实施例中以目标拍照模式为混合变焦模式为例进行说明。
关于步骤2400的其他相关说明可以参见上述步骤200中的描述,这里不再赘述。
2401、手机在预览界面上显示广角图像。
与上述显示引导框的方案不同,在混合变焦模式的步骤2401中,手机可以先不在预览界面上显示引导框,而在后续获取目标变焦倍率后,再在预览界面上显示目标变焦倍率对应的引导框。
在一些实施例中,手机在预览界面上不显示长焦框。在另一些实施例中,手机在预览界面上持续显示长焦框。在另一些实施例中,手机先不在预览界面上显示长焦框,而在后续获取目标变焦倍率后,再在预览界面上显示长焦框。
2402、手机获取目标变焦倍率。
其中,该目标变焦倍率大于广角摄像头(即第一摄像头)的变焦倍率,且小于长焦摄像头(即第二摄像头)的变焦倍率。该目标变焦倍率为基于目标长焦图像的拼接图像可获得的目标图像的变焦倍率,是用户想要拍摄获得的最终图像的变焦倍率,而并不是作为背景图像的广角图像的变焦倍率。在用户设置目标变焦倍率前、后,作为背景图像的广角图像的变焦倍率并不发生变化。
在一些实施例中,目标变焦倍率为用户设置的变焦倍率。在一种可能的实现方式中,手机可以通过显示信息或语音播放等方式,提示用户设置目标变焦倍率。示例性的,参见图25中的(a)-(c),手机在预览界面上提示用户:在该模式下,您可以设置变焦倍率,以拍摄获得该变焦倍率对应的高清晰图像。
在本申请的实施例中,用户设置目标变焦倍率的方式可以有多种。示例性的,参见图25中的(a),手机的预览界面上包括多个可选的变焦倍率控件,例如1.5X控件、2X控件、2.5X控件、3X控件、3.5X控件、4X控件和4.5X控件等,手机根据用户选择的变焦倍率控件,确定相应的目标变焦倍率。
再示例性的,手机检测到用户点击预览界面上的变焦倍率设置控件的操作后,可以显示设置界面,用户基于设置页面可设置目标变焦倍率。
再示例性的,如图25中的(b)所示,手机检测到用户在预览界面上的缩/放操作后,获取缩/放操作后对应的目标变焦倍率。
再示例性的,如图25中的(c)所示,手机检测到用户在变焦倍率调节杆上的拖动操作后,获取拖动操作后的对应的目标变焦倍率。
再示例性的,手机检测到用户设置变焦倍率的语音指令后,获取用户语音设置的目标变焦倍率。
需要说明的是,在目标变焦倍率大于广角摄像头的变焦倍率,且小于长焦摄像头的变焦倍率的情况下,手机可以采用本申请实施例提供的混合变焦方法进行处理。若目标变焦倍率小于或者等于广角摄像头的变焦倍率,则手机可以不采用该混合变焦方案,而直接根据广角摄像头或超广角摄像头采集的图像,来生成目标变焦倍率对应的目标图像。若目标变焦倍率大于或者等于长角摄像头的变焦倍率,则手机也可以不采用该混合变焦方案,而直接根据长焦摄像头或超长焦摄像头采集的图像,来生成目标变焦倍率对应的目标图像。
在其他一些实施例中,目标变焦倍率也可以为默认的变焦倍率(例如默认为广角摄像头的变焦倍率)或者上次使用的变焦倍率。手机还可以根据用户的操作修改目标变焦倍率。
在本申请的一些实施例中,手机在预览界面的广角图像上,叠加显示目标变焦倍率对应的引导框。与上述显示引导框的方案中手机显示的引导框不同,混合变焦方案中的引导框与目标变焦倍率相对应,是包括目标变焦倍率的视场角对应的图像区域尺寸的最小规格的引导框。
在本申请的实施例中,目标变焦倍率的视场角对应的图像区域,默认位于广角图像的中间位置。举例来说,广角摄像头的变焦倍率为1X,长焦摄像头的变焦倍率为5X,引导框最多可以包括5*5个网格。若目标变焦倍率为2.5X,则目标变焦倍率的视场角对应图像区域2601;目标变焦倍率2.5X对应的引导框,可以参见图26A中的(a)所示的虚线引导框2602,该引导框2602包括3*3个网格,网格的尺寸与长焦摄像头的视场角对应;目标变焦倍率的视场角对应的图像区域尺寸为网格尺寸的2.5倍。示例性的,当目标变焦倍率为2.5X时,预览界面的示意图可以参见图26A中的(c),包括目标变焦倍率对应的引导框2604。若目标变焦倍率为3X,则目标变焦倍率3X对应的图像区域与引导框的尺寸大小一致,目标变焦倍率3X对应的引导框可以参见图26A中的(b)所示的虚线引导框2603,该引导框2603包括3*3个网格,目标变焦倍率的视场角对应的图像尺寸为网格尺寸的3倍。
在一些实施例中,在预览状态下,手机可以通过显示信息、语音播报等方式提示用户,在拍照过程中请按引导框进行拍摄,以便对生成的拼接图像进行裁剪,获得符合目标变焦倍率的目标图像。示例性的,参见图26A中的(d),手机在预览界面上可以通过显示信息提示用户:请在拍照过程中按虚线引导框拍摄获得拼接图像,该拼接图像用于裁剪获得您指示的变焦倍率对应的图像!
在一些实施例中,手机还可以持续在预览界面的广角图像上,叠加显示目标变焦倍率对应的目标框。该目标框的位置和尺寸,与目标变焦倍率的视场角对应的图像区域的位置和尺寸一致。手机获取目标变焦倍率后,可以在预览界面上显示目标变焦倍率对应的目标框,以向用户提示当前目标变焦倍率的视场角对应的图像区域尺寸的位置和大小,方便用户获知根据当前目标变焦倍率可获得的目标图像的大小。引导框为包括目标框的最小规格的引导框。引导框的尺寸大于或者等于目标框的尺寸,即大于或者等于目标变焦倍率的视场角对应的图像尺寸。
在本申请的一些实施例中,目标框默认位于广角图像的中间位置。举例来说,广角摄像头的变焦倍率为1X,长焦摄像头的变焦倍率为5X,引导框最多可以包括5*5个网格。若目标变焦倍率为2.5X,则目标变焦倍率2.5X对应的目标框可以参见图26A中的(b)所示的实线矩形框2601。若目标变焦倍率为3X,则目标变焦倍率3X对应的目标框的尺寸与引导框的边框尺寸大小一致。示例性的,当目标变焦倍率为2.5X时,预览界面的示意图可以参见图26B,包括目标变焦倍率对应的引导框2604和目标变焦倍率对应的目标框2605。
在本申请的实施例中,预览界面上的目标框默认位于广角图像的中间位置。在一些技术方案中,用户还可以移动目标框的位置,引导框的位置也随着目标框位置的变化而相应变化。示例性的,在图27中的(a)所示的预览界面上,若手机检测到用户向右拖动目标框的操作,则如图27中的(b)所示,目标框和引导框均向右移动。或者,用户可以移动引导框的位置,目标框的位置也相应变化。
在其他一些实施例中,手机在获取目标变焦倍率后,在预览界面上短暂显示一下目标框,以向用户提示当前目标变焦倍率的视场角对应的图像尺寸的大小,便于用户确定当前的目标变焦倍率是否合适,而后便停止显示该目标框。在一些技术方案中,手机可以记录该目标框的位置和尺寸。手机确定拍摄结束后,可以根据记录的目标框的位置和尺寸对拼接图像进行裁剪,从而获得目标图像。
2403、手机检测到用户的拍照操作后,在拍摄界面上显示广角图像,以及叠加在广角图像之上的引导框,该引导框与目标变焦倍率对应。
在拍摄界面上,手机可以显示广角图像,以及叠加在广角图像之上的引导框。
在一些实施例中,手机还可以在拍摄界面上显示长焦框。
可选地,手机还可以在拍摄界面上显示目标框。
在一些实施例中,在拍照过程中,手机可以通过显示信息、语音播报等方式短暂地或持续地提示用户,在拍照过程中请按引导框进行拍摄,以便对拍摄获得的拼接图像进行裁剪,得到符合目标变焦倍率的目标图像。
在一些实施例中,如上所述,在混合变焦方案中,手机在预览界面和拍摄界面上显示采集到的完整的广角图像。在其他一些实施例中,与上述显示引导框的方案类似,手机可以将预览界面和拍摄界面上显示的完整的广角图像,替换为广角图像上与引导框对应的目标区域图像。
2404、手机根据获取的目标长焦图像生成拼接图像,并在拍摄界面上显示拼接图像缩略图。
关于步骤2404的相关说明可以参见步骤203中的描述,这里不予赘述。示例性的,参见图28中的(a),拍摄界面上显示有目标长焦图像1的缩略图,以及广角图像、引导框和长焦框。参见图28中的(b)-(c),拍摄界面上显示有拼接图像缩略图,以及广角图像、引导框和长焦框。
2405、手机确定拍摄结束后,对拼接图像进行裁剪从而生成目标图像。
与上述步骤204类似,在步骤2405中,手机在拍摄结束之后,根据拼接图像生成目标图像之前,还可以对拼接图像进行去鬼影、动态范围增强或空洞填充等处理,以提高拼接图像的质量,从而根据处理后的拼接图像生成目标图像,提高目标图像的质量,这里不予赘述。
其中,手机确定拍摄结束的情况有多种。例如,在第一种情况下,在引导框中的网格都拍摄完成后,手机自动结束拍摄,将拼接图像裁剪为目标框的大小从而生成目标图像。其中,在引导框的尺寸与目标框的尺寸相同的情况下,手机不需要对拼接图像进行裁剪,而可以直接根据拼接图像生成目标图像。示例性的,在图28中的(c)所示的情况下,手机生成的目标图像可以参见图28中的(d)。
在第二种情况下,在引导框中的网格未完成拍摄前,手机检测到用户的停止拍照操作后确定拍摄结束。该种情况下,手机对参考广角图像或广角图像进行裁剪和放大,从而通过数字变焦生成目标变焦倍率的图像。若拍摄界面未显示目标框,则手机确定拍摄结束后,可以根据目标变焦倍率确定目标框的位置和尺寸,从而根据目标框对参考广角图像或广角图像进行裁剪获得目标图像。
其中,在拍摄界面未显示目标框的情况下,手机在确定拍摄结束后可以确定目标变焦倍率的视场角对应的图像区域的位置和尺寸,从而根据该图像区域的位置和尺寸,对拼接图像进行裁剪获得目标图像。或者,在拍摄界面未显示目标框的情况下,手机在确定拍摄结束后可以根据目标变焦倍率确定目标框的位置和尺寸,从而根据目标框的位置和尺寸对拼接图像进行裁剪获得目标图像。或者,在拍摄界面未显示目标框的情况下,手机在获取目标变焦倍率后,可以根据目标变焦倍率确定目标框的位置和尺寸,并记录目标框的位置和尺寸,从而在拍摄结束后,根据目标框的位置和尺寸对拼接图像进行裁剪获得目标图像。其中,目标变焦倍率的视场角对应的图像区域的位置和尺寸,即为目标框的位置和尺寸。
与通过广角图像和数字变焦实现目标变焦倍率对应的目标图像相比,上述第一种情况对应的方案通过对分辨率较高、较为清晰的小视场角的长焦图像进行拼接和裁剪,来获得目标变焦倍率对应的大视场角的目标图像,目标图像的分辨率和清晰度也更高,图像质量更好,能够实现光学变焦的变焦效果。
目前还存在另一种变焦方案,即使用不同FOV大小的两个摄像头采集的图像融合后进行裁剪来实现变焦。其中,小FOV的图像位于中间区域,可以改善目标图像画面中间的清晰度,但画面边缘的清晰度较差。而本申请实施例上述第一种情况对应的方案,可以使得整个目标图像的清晰度均较高,达到光学变焦的变焦效果。
此外,在以上各实施例描述的拍摄方法中,长焦框内不显示实时采集到的长焦图像,仅用于指示长焦摄像头对应的实时的拍摄范围。在其他一些实施例中,长焦框内显示长焦摄像头实时采集到的长焦图像经过下采样处理后的图像,以为用户呈现长焦摄像头实时采集到的长焦图像。并且,长焦图像的位置与广角图像上相同内容所在的位置相对。在另一些实施例中,长焦框内显示长焦摄像头实时采集到的长焦图像。在另一些实施例中,长焦框位于界面上的预设位置,例如位于界面的左下角或右下角等位置。示例性的,参见图29中,长焦框2900位于界面的左下角。
以上是以第一摄像头为广角摄像头,第二摄像头为长焦摄像头为例进行说明的,当第一摄像头和/或第二摄像头为其他摄像头时,仍可以采用以上实施例提供的拍摄方法拍摄获得目标图像,本申请实施例不再赘述。
以上是以电子设备为手机为例进行说明的,当电子设备为平板电脑或智能手表等其他设备时,仍可以采用以上实施例提供的拍摄方法拍摄获得目标图像,本申请实施例不再赘述。
可以理解的是,为了实现上述功能,电子设备包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
本申请实施例还提供一种电子设备,包括一个或多个处理器以及一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备执行上述相关方法步骤实现上述实施例中的拍摄方法。
本申请实施例还提供一种电子设备,如图30所示,包括:显示屏(或称屏幕)3001,一个或多个处理器3002,多个摄像头3003,存储器3004,以及一个或多个计算机程序3005,上述各器件可以通过一个或多个通信总线3006连接。其中该一个或多个计算机程序3005被存储在上述存储器3004中并被配置为被该一个或多个处理器3002执行,该一个或多个计算机程序3005包括指令,上述指令可以用于执行上述实施例中的各个步骤。其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应实体器件的功能描述,在此不再赘述。
示例性的,上述处理器3002具体可以为图1所示的处理器110,上述存储器3004具体可以为图1所示的内部存储器121,上述摄像头3003具体可以为图1所示的摄像头193,上述显示屏3001具体可以为图1所示的显示屏194。
本申请的实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的拍摄方法。
本申请的实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中电子设备执行的拍摄方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中电子设备执行的拍摄方法。
其中,本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (38)

1.一种拍摄方法,应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,所述第二摄像头的等效焦距大于所述第一摄像头的等效焦距,其特征在于,所述方法包括:
启动拍照功能;
检测到用户的拍照操作后,在拍摄界面上显示第一图像,以及叠加在所述第一图像之上的引导框;其中,所述第一图像根据所述第一摄像头采集的图像获得,所述引导框包括多个网格,单个所述网格与所述第二摄像头视场角的大小相对应;
在所述拍摄界面上显示拼接信息,所述拼接信息用于指示拍摄进度,所述拼接信息与所述引导框中的多个网格所匹配的多帧目标拍摄图像相对应,所述目标拍摄图像通过所述第二摄像头采集获得;
根据所述多帧目标拍摄图像生成拼接图像;
在拍摄结束后,根据所述拼接图像生成目标图像。
2.根据权利要求1所述的方法,其特征在于,所述拍摄界面上还包括叠加在所述第一图像之上的图像框,所述图像框内所述第一图像的画面范围与第二图像的画面范围相对应,所述第二图像为所述第二摄像头采集的图像。
3.根据权利要求1或2所述的方法,其特征在于,所述拍摄界面上的每个所述网格,与所述网格内所述第一图像的内容之间的对应关系保持不变。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述第一图像为检测到用户的拍照操作后,所述第一摄像头采集到的第一帧图像;
或者,所述第一图像为检测到用户的拍照操作后,所述第一摄像头采集到的Q帧图像融合后的图像,Q为大于1的整数。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述第一图像为检测到用户的拍照操作后,所述第一摄像头在拍照过程中采集获得的图像。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述拼接信息为拼接图像缩略图,所述拼接图像缩略图根据下采样后的所述目标拍摄图像获得,或者所述拼接图像缩略图根据所述拼接图像下采样后获得;
或者,所述拼接信息为拼接框,所述拼接框为所述拼接图像缩略图的边框;
或者,所述拼接信息为拍照过程中已匹配的网格或已匹配的网格的边框。
7.根据权利要求1-5任一项所述的方法,其特征在于,所述拼接信息为放大显示的拼接图像缩略图,所述拼接图像缩略图根据下采样后的所述目标拍摄图像获得,或者所述拼接图像缩略图根据所述拼接图像下采样后获得;
或者,所述拼接信息为放大显示的拼接框,所述拼接框为所述拼接图像缩略图的边框;
或者,所述拼接信息为放大显示的拍照过程中已匹配的网格或已匹配的网格的边框。
8.根据权利要求1-6任一项所述的方法,其特征在于,所述在所述拍摄界面上显示第一图像,包括:
在所述拍摄界面上放大显示所述第一图像上所述引导框对应的目标区域图像,所述目标区域图像的尺寸与所述引导框尺寸的比例r大于或者等于1。
9.根据权利要求7或8所述的方法,其特征在于,所述第二摄像头的等效焦距与所述第一摄像头的等效焦距之间的比例大于或者等于第一预设值。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述方法还包括:
在所述启动拍照功能后,在预览界面上显示第三图像,所述第三图像为所述第一摄像头采集的图像。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
在所述预览界面的所述第三图像上叠加显示所述引导框,所述引导框包括M行*N列个网格,所述第三图像对应R*R个网格,M和N均为小于或者等于R的正整数,且M和N中的至少一个大于1;
其中,R为K1,K2,或K1与K2中的较大值,K1为所述第二摄像头的等效焦距与所述第一摄像头的等效焦距的比例向上或向下取整后的数值,K2为所述第一摄像头的视场角与所述第二摄像头的视场角的比例向上或向下取整后的数值。
12.根据权利要求11所述的方法,其特征在于,所述引导框位于所述第三图像的中间位置。
13.根据权利要求11所述的方法,其特征在于,所述方法还包括:
在所述预览界面上提示用户设置所述引导框;
响应于所述用户的第一设置操作,获取所述引导框的位置和/或规格,所述规格包括所述M和N的值;
所述在所述预览界面的所述第三图像上叠加显示所述引导框,包括:
根据所述引导框的位置和/或规格,在所述预览界面的所述第三图像上叠加显示所述引导框。
14.根据权利要求13所述的方法,其特征在于,所述第一设置操作为所述用户基于所述第三图像的区域选择操作,所述引导框用于覆盖所述用户选择的区域;
或者,所述第一设置操作为所述用户基于所述第三图像指定主体的操作,所述引导框用于覆盖所述主体;
或者,所述第一设置操作为所述用户选择规格控件的操作,所述规格控件用于指示所述引导框的规格。
15.根据权利要求10-14任一项所述的方法,其特征在于,所述在预览界面上显示第三图像,包括:
在所述预览界面上放大显示所述第三图像上所述引导框对应的目标区域图像,所述目标区域图像的尺寸与所述引导框尺寸的比例r大于或者等于1。
16.根据权利要求15所述的方法,其特征在于,所述第二摄像头的等效焦距与所述第一摄像头的等效焦距之间的比例大于或者等于第一预设值。
17.根据权利要求11-16任一项所述的方法,其特征在于,所述拍摄界面和/或所述预览界面上还包括第一提示信息,所述第一提示信息用于提示用户按照所述引导框中的网格进行拍摄。
18.根据权利要求11-16任一项所述的方法,其特征在于,所述拍摄界面上还包括第二提示信息,所述第二提示信息用于指示所述引导框中网格的拍摄顺序。
19.根据权利要求11-18任一项所述的方法,其特征在于,所述方法还包括:
提示用户设置所述引导框中网格的拍摄顺序;
响应于所述用户的第二设置操作,获取所述引导框中网格的拍摄顺序。
20.根据权利要求10-19任一项所述的方法,其特征在于,所述预览界面上还包括叠加在所述第三图像之上的图像框,所述图像框内所述第三图像的画面范围与第二图像的画面范围相对应,所述第二图像为所述第二摄像头采集的图像。
21.根据权利要求1-20任一项所述的方法,其特征在于,所述方法还包括:
当第一目标拍摄图像与所述引导框中的第一网格匹配时,将所述第一网格区别于其他网格显示。
22.根据权利要求1-21任一项所述的方法,其特征在于,所述方法还包括:
当目标拍摄图像首次与所述引导框中的一个网格匹配时,在所述拍摄界面上显示首次匹配的所述目标拍摄图像的缩略图。
23.根据权利要求1-21任一项所述的方法,其特征在于,所述方法还包括:
当目标拍摄图像首次与所述引导框中的一个网格匹配时,在所述拍摄界面上放大显示首次匹配的所述目标拍摄图像的缩略图。
24.根据权利要求1-23任一项所述的方法,其特征在于,根据所述多帧目标拍摄图像生成拼接图像,包括:
在拍照过程中,在所述引导框中的网格未匹配完成时,根据已匹配网格对应的多帧目标拍摄图像生成所述拼接图像;
或者,在所述引导框中的网格匹配完成后,根据与所述网格匹配的多帧目标拍摄图像生成所述拼接图像;
或者,在拍摄结束后,根据已匹配网格对应的多帧目标拍摄图像生成所述拼接图像。
25.根据权利要求1-24任一项所述的方法,其特征在于,所述确定拍摄结束,包括:
在所述引导框中的网格完成匹配后,确定拍摄结束。
26.根据权利要求25所述的方法,其特征在于,
所述目标图像通过所述拼接图像裁剪获得,所述目标图像的边缘对齐;
或者,所述目标图像根据所述第一图像,对所述拼接图像未对齐的边缘区域进行填充获得,所述目标图像的边缘对齐。
27.根据权利要求1-24任一项所述的方法,其特征在于,所述确定拍摄结束,包括:
在所述引导框中的网格未完成匹配前,若检测到用户的停止拍照操作,则确定拍摄结束;
或者,若所述电子设备的移动方向移动出所述引导框,则确定拍摄结束;
或者,若所述电子设备的移动方向与所述引导框的指示方向的偏离范围大于或者等于第二预设值,则确定拍摄结束。
28.根据权利要求27所述的方法,其特征在于,所述目标图像根据已匹配的整行/列网格对应的所述拼接图像获得;
或者,所述目标图像根据已匹配的网格对应的所述拼接图像,以及所述第一图像上未匹配网格对应的图像区域获得。
29.根据权利要求1-24任一项所述方法,其特征在于,所述方法还包括:
获取目标变焦倍率,所述引导框与所述目标变焦倍率相对应,所述目标变焦倍率大于所述第一摄像头的变焦倍率,且小于所述第二摄像头的变焦倍率;
所述根据所述拼接图像生成目标图像,包括:
对所述拼接图像进行裁剪生成所述目标图像,所述目标图像与所述目标变焦倍率相对应。
30.根据权利要求29所述的方法,其特征在于,所述目标图像的尺寸与所述目标变焦倍率的视场角对应的图像区域的尺寸一致。
31.根据权利要求29或30所述的方法,其特征在于,所述方法还包括:
在所述拍摄界面上显示目标框,所述目标框位于所述第三图像的中间位置,所述目标框的尺寸与所述目标变焦倍率的视场角对应的图像区域的尺寸一致。
32.一种拍摄方法,应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,所述第二摄像头的等效焦距大于所述第一摄像头的等效焦距,其特征在于,所述方法包括:
启动拍照功能;
在预览界面上显示第三图像,并在所述第三图像上叠加显示图像框,所述第三图像为所述第一摄像头采集的图像,所述图像框内所述第三图像的画面范围与第二图像的画面范围相对应,所述第二图像为所述第二摄像头采集的图像;
检测到用户的拍照操作后,在拍摄界面上显示第一图像和所述图像框,所述第一图像根据所述第一摄像头采集的图像获得;
在所述拍摄界面上显示拼接信息,所述拼接信息用于指示拍摄进度,所述拼接信息与拍照过程中获取的多帧目标拍摄图像相对应,相邻所述目标拍摄图像之间相互匹配;
根据所述多帧目标拍摄图像生成拼接图像;
在拍摄结束后,根据所述拼接图像生成目标图像。
33.根据权利要求32所述的方法,其特征在于,所述确定拍摄结束,包括:
检测到用户的停止拍照操作后,确定拍摄结束;
或者,获取到预设帧数的所述目标拍摄图像后,确定拍摄结束。
34.根据权利要求32或33所述的方法,其特征在于,所述目标图像为规则形状;
所述目标图像通过对所述拼接图像进行裁剪获得;
或者,所述目标图像根据所述第一图像对所述拼接图像的边缘区域进行填充获得。
35.根据权利要求32或33所述的方法,其特征在于,所述方法还包括:
获取用户设置的目标图像范围,所述目标图像的尺寸与所述目标图像范围一致。
36.一种电子设备,其特征在于,包括:
第一摄像头和第二摄像头,用于采集图像;
屏幕,用于显示界面;
一个或多个处理器;
存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述电子设备执行时,使得所述电子设备执行如权利要求1-35中任一项所述的拍摄方法。
37.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在计算机上运行时,使得所述计算机执行如权利要求1-35中任一项所述的拍摄方法。
38.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1-35中任一项所述的拍摄方法。
CN202011296335.4A 2020-07-31 2020-11-18 一种拍摄方法及设备 Active CN114071009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/109922 WO2022022726A1 (zh) 2020-07-31 2021-07-30 一种拍摄方法及设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2020107571199 2020-07-31
CN202010757119 2020-07-31

Publications (2)

Publication Number Publication Date
CN114071009A true CN114071009A (zh) 2022-02-18
CN114071009B CN114071009B (zh) 2023-04-18

Family

ID=80233185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011296335.4A Active CN114071009B (zh) 2020-07-31 2020-11-18 一种拍摄方法及设备

Country Status (1)

Country Link
CN (1) CN114071009B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117714849A (zh) * 2023-08-31 2024-03-15 上海荣耀智慧科技开发有限公司 一种图像拍摄方法及相关设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1118003A (ja) * 1997-06-19 1999-01-22 Sony Corp パノラマ撮像装置
US20080192125A1 (en) * 2007-02-14 2008-08-14 Samsung Electronics Co., Ltd. Panoramic photography method and apparatus
JP2014036415A (ja) * 2012-08-10 2014-02-24 Kddi Corp パノラマ画像生成装置
CN103685945A (zh) * 2013-11-28 2014-03-26 宇龙计算机通信科技(深圳)有限公司 全景拍照的方法及其移动终端
CN104364712A (zh) * 2012-06-08 2015-02-18 苹果公司 用于捕获全景图像的方法和装置
US20170372449A1 (en) * 2016-06-24 2017-12-28 Intel Corporation Smart capturing of whiteboard contents for remote conferencing
CN107749944A (zh) * 2017-09-22 2018-03-02 华勤通讯技术有限公司 一种拍摄方法及装置
CN107948394A (zh) * 2016-10-12 2018-04-20 Lg 电子株式会社 移动终端
CN110771140A (zh) * 2018-08-23 2020-02-07 深圳市大疆创新科技有限公司 云台系统及其图像处理方法、无人机
CN111010510A (zh) * 2019-12-10 2020-04-14 维沃移动通信有限公司 一种拍摄控制方法、装置及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1118003A (ja) * 1997-06-19 1999-01-22 Sony Corp パノラマ撮像装置
US20080192125A1 (en) * 2007-02-14 2008-08-14 Samsung Electronics Co., Ltd. Panoramic photography method and apparatus
CN104364712A (zh) * 2012-06-08 2015-02-18 苹果公司 用于捕获全景图像的方法和装置
JP2014036415A (ja) * 2012-08-10 2014-02-24 Kddi Corp パノラマ画像生成装置
CN103685945A (zh) * 2013-11-28 2014-03-26 宇龙计算机通信科技(深圳)有限公司 全景拍照的方法及其移动终端
US20170372449A1 (en) * 2016-06-24 2017-12-28 Intel Corporation Smart capturing of whiteboard contents for remote conferencing
CN107948394A (zh) * 2016-10-12 2018-04-20 Lg 电子株式会社 移动终端
CN107749944A (zh) * 2017-09-22 2018-03-02 华勤通讯技术有限公司 一种拍摄方法及装置
CN110771140A (zh) * 2018-08-23 2020-02-07 深圳市大疆创新科技有限公司 云台系统及其图像处理方法、无人机
CN111010510A (zh) * 2019-12-10 2020-04-14 维沃移动通信有限公司 一种拍摄控制方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117714849A (zh) * 2023-08-31 2024-03-15 上海荣耀智慧科技开发有限公司 一种图像拍摄方法及相关设备

Also Published As

Publication number Publication date
CN114071009B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
WO2022022715A1 (zh) 一种拍摄方法及设备
US10311649B2 (en) Systems and method for performing depth based image editing
WO2022022726A1 (zh) 一种拍摄方法及设备
CN114071010B (zh) 一种拍摄方法及设备
JP5567235B2 (ja) 画像処理装置、撮影装置、プログラム及び画像処理方法
CN113747050B (zh) 一种拍摄方法及设备
US20160301868A1 (en) Automated generation of panning shots
US20110242395A1 (en) Electronic device and image sensing device
WO2021223500A1 (zh) 一种拍摄方法及设备
US9195880B1 (en) Interactive viewer for image stacks
KR20120022512A (ko) 전자 카메라, 화상 처리 장치 및 화상 처리 방법
US20130076941A1 (en) Systems And Methods For Editing Digital Photos Using Surrounding Context
CN113905182B (zh) 一种拍摄方法及设备
WO2022161260A1 (zh) 对焦方法、装置、电子设备及介质
JP2022103020A (ja) 写真撮影の方法及び装置、端末、記憶媒体
CN112991245A (zh) 双摄虚化处理方法、装置、电子设备和可读存储介质
CN112422798A (zh) 拍照方法、装置、电子设备和存储介质
JP2011223294A (ja) 撮像装置
CN114071009B (zh) 一种拍摄方法及设备
JP5519376B2 (ja) 電子機器
WO2018196854A1 (zh) 一种拍照方法、拍照装置及移动终端
CN106878606B (zh) 一种基于电子设备的图像生成方法和电子设备
CN114697530B (zh) 一种智能取景推荐的拍照方法及装置
CN114979458B (zh) 一种图像的拍摄方法及电子设备
JP2011193066A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant