CN113612919A - 图像拍摄方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像拍摄方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113612919A
CN113612919A CN202110695079.4A CN202110695079A CN113612919A CN 113612919 A CN113612919 A CN 113612919A CN 202110695079 A CN202110695079 A CN 202110695079A CN 113612919 A CN113612919 A CN 113612919A
Authority
CN
China
Prior art keywords
auxiliary
images
image
frames
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110695079.4A
Other languages
English (en)
Other versions
CN113612919B (zh
Inventor
王涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Kuangshi Jinzhi Technology Co ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Shenzhen Kuangshi Jinzhi Technology Co ltd
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Kuangshi Jinzhi Technology Co ltd, Beijing Megvii Technology Co Ltd filed Critical Shenzhen Kuangshi Jinzhi Technology Co ltd
Priority to CN202110695079.4A priority Critical patent/CN113612919B/zh
Publication of CN113612919A publication Critical patent/CN113612919A/zh
Application granted granted Critical
Publication of CN113612919B publication Critical patent/CN113612919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种图像拍摄方法、装置、电子设备及计算机可读存储介质,其中,该方法:通过基准摄像头采集其对应曝光值的至少两帧基准图像,同时通过至少一个辅助摄像头分别采集其对应曝光值的至少两帧辅助图像;对至少两帧基准图像进行图像配准,以及对配准后的至少两帧基准图像进行融合;根据图像配准参数分别对至少一个辅助摄像头其对应曝光值的至少两帧辅助图像进行配准,以及对至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行融合;对基准融合图像和至少一个辅助融合图像进行融合,获得融合图像。能够缩短不同曝光值的图像的采集时间,以及缩短多帧图像的配准时间,提高图像的成像效果及质量。

Description

图像拍摄方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种图像拍摄方法、装置、电子设备及计算机可读存储介质。
背景技术
随着移动终端技术的发展,用户对拍照的质量要求也变得越来越高,夜景拍照作为一个亮点功能,也受到了很多用户关注和喜爱,同时,用户对图像的呈现效果要求也越来越高,不再满足于未经过图像处理的原始图像。但是夜景拍照通常需要多帧堆叠,来做到图像清晰度噪声良好效果,并且还需要保持高动态范围,这又需要夜景图像需要使用到多个不同曝光值(Exposure Value,EV)图像融合;高动态范围(High-Dynamic Range,HDR)图像可以通过合成不同曝光度的图像来提供更多动态范围和图像细节。现有的算法中经常使用的是对相同场景下具有不同曝光值的图像进行融合,但由于不同曝光值的图像之间存在明显巨大的亮度差异,并且在高光或者暗区中特征信息可能完全不一致,这很容易出现图像配准失败、成像质量不佳的情况;另外,由于需要分别采集不同曝光值的多帧图像,导致采图时间太长,对运动物体的拍摄效果不佳,影响成像质量。
发明内容
本申请实施例的目的在于提供一种图像拍摄方法、装置、电子设备及计算机可读存储介质,能够缩短不同曝光值的图像的采集时间,以及缩短多帧图像的配准时间,在配准和融合的过程中能够改善图像的运动鬼影问题,提高图像的成像效果及质量。
第一方面,本申请实施例提供了一种图像拍摄方法,所述方法包括:
通过基准摄像头采集其对应曝光值的至少两帧基准图像,同时通过所述至少一个辅助摄像头分别采集其对应曝光值的至少两帧辅助图像;所述基准摄像头和所述至少一个辅助摄像头采集图像时的焦点一致;
对所述至少两帧基准图像进行图像配准,获得图像配准参数和配准后的至少两帧基准图像,以及对所述配准后的至少两帧基准图像进行融合,获得基准融合图像;
根据所述图像配准参数分别对所述至少一个辅助摄像头其对应曝光值的所述至少两帧辅助图像进行配准,获得所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像,以及对所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行融合,获得至少一个辅助融合图像;
对所述基准融合图像和所述至少一个辅助融合图像进行融合,获得融合图像。
在上述实现过程中,通过基准摄像头和至少一个辅助摄像头同时采集各自对应曝光值的至少两帧图像,可以大幅度缩短不同曝光值的图像的采集时间;对基准摄像头对应曝光值的至少两帧基准图像进行图像配准,获得图像配准参数,并将获得的图像配准参数提供给其它辅助摄像头配准使用,可根据该图像配准参考对其它辅助摄像头对应的不同曝光值的至少两帧辅助图像进行配准,实现了不同曝光值的图像之间的直接配准,可以缩短辅助摄像头对应曝光值的图像形成时间,解决现有技术中不同曝光值图像之间的图像配准存在误差的问题,同时在配准和融合的过程中能够改善图像的运动鬼影问题,提高图像的成像效果及质量,特别是夜景的成像质量。
进一步地,在所述通过基准摄像头采集其对应曝光值的至少两帧基准图像之前,还包括:根据目标对焦策略对所述基准摄像头和所述至少一个辅助摄像头进行对焦设置。
在上述实现过程中,根据目标对焦策略对基准摄像头和至少一个辅助摄像头进行对焦设置,可以将所有摄像头同步到相同的对焦位置,保证所有摄像头对焦到相同位置,避免出现对焦导致的视角(FOV)不一致的情况。
进一步地,所述根据目标对焦策略对所述基准摄像头和所述至少一个辅助摄像头进行对焦设置,包括:
对所述基准摄像头进行对焦计算,获得对焦点;
根据所述对焦点对所述至少一个辅助摄像头进行对焦设置。
在上述实现过程中,先对基准摄像头进行对焦,再根据对焦点对其它辅助摄像头进行对焦设置,将所有摄像头的焦点同步到相同的对焦位置,保证所有摄像头对焦到相同位置,避免出现对焦导致的视角(FOV)不一致的情况。
进一步地,所述通过基准摄像头采集其对应曝光值的至少两帧基准图像,同时通过所述至少一个辅助摄像头分别采集其对应曝光值的至少两帧辅助图像,包括:
通过所述基准摄像头采集其对应曝光值的至少两帧基准图像中的每一帧的同时,通过所述至少一个辅助摄像头分别采集其对应曝光值的至少两帧辅助图像中与每一帧基准图像对应的每一帧辅助图像。
在上述实现过程中,在基准摄像头采集其对应曝光值的每一帧基准图像时,通过所有辅助摄像头分别采集其对应曝光值的与每一帧基准图像对应的每一帧辅助图像,可以保证基准摄像头与辅助摄像头采集图像的同步性,保证采集到的每一帧基准图像与每一帧辅助图像相对应,以便后续图像的配准,以及提高配准的准确性。
进一步地,在所述对所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行融合之前,还包括:
对所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行修正,获得修正后的至少两帧辅助图像;
所述对所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行融合,获得至少一个辅助融合图像,包括:
对所述修正后的至少两帧辅助图像进行融合,获得修正后的所述至少一个辅助融合图像。
在上述实现过程中,在对配准后的至少两帧辅助图像进行融合之前,先对配准后的至少两帧辅助图像进行修正,经过配准修正后再进行图像融合,可以在配准过程中对图像起到去噪的效果,提高融合后的辅助融合图像的精度及质量。
进一步地,在所述对所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行融合,获得至少一个辅助融合图像之后,还包括:
对所述至少一个辅助融合图像进行修正,获得修正后的至少一个辅助融合图像;
所述对所述基准融合图像和所述至少一个辅助融合图像进行融合,获得融合图像,包括:
对所述基准融合图像和所述修正后的至少一个辅助融合图像进行融合,获得融合图像。
在上述实现过程中,待配准后的至少两帧辅助图像进行融合后,再对辅助融合图像进行修正,获得修正后的辅助融合图像,最后将基准融合图像和修正后的至少一个辅助融合图像进行融合,可以减少对辅助图像修正的次数,缩短图像配准的时间,降低辅助融合图像配准的误差。
进一步地,所述对所述每个曝光值所对应的配准后的至少两帧辅助图像进行修正,获得修正后的至少两帧辅助图像,包括:
获取所述基准摄像头与所述至少一个辅助摄像头的像素偏移关系;
根据所述像素偏移关系对所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行修正,获得修正后的至少两帧辅助图像。
在上述实现过程中,根据基准摄像头与辅助摄像头之间的像素偏移关系对辅助图像进行修正,可以实现将辅助图像快速配准到基准摄像头,可以缩短配准时间。
进一步地,所述对所述至少一个辅助融合图像进行修正,获得修正后的至少一个辅助融合图像,包括:
获取所述基准摄像头与所述至少一个辅助摄像头的像素偏移关系;
根据所述像素偏移关系对所述至少一个辅助融合图像进行修正,获得修正后的至少一个辅助融合图像。
在上述实现过程中,根据基准摄像头与辅助摄像头之间的像素偏移关系对辅助融合图像进行修正,可以减少在辅助图像阶段进行不同曝光值之间图像配准的次数,可以进一步缩短配准的时间,以及提高配准的有效性。
进一步地,所述对所述至少两帧基准图像进行图像配准,获得图像配准参数和配准后的至少两帧基准图像的步骤包括:
选取所述至少两帧基准图像中的一帧基准图像作为基准参考帧,其余基准图像为待配准基准帧;
将所述待配准基准帧配准到所述基准参考帧,获得所述图像配准参数和配准后的至少两帧基准图像。
在上述实现过程中,通过将待基准参考帧配准到基准参考帧的方式,可以提高基准图像配准的速度及准确性,同时,在配准过程中,去除图像的噪声,直到很好的去噪效果。
进一步地,所述根据所述图像配准参数分别对所述至少一个辅助摄像头其对应曝光值的所述至少两帧辅助图像进行配准,获得所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像,包括:
选取所述至少两帧辅助图像中与所述基准参考帧对应的一帧辅助图像作为辅助参考帧,其余辅助图像为待配准辅助帧;
根据所述图像配准参数将所述待配准辅助帧配准到所述辅助参考帧,获得所述配准后的至少两帧辅助图像。
在上述实现过程中,将辅助参考帧和基准参考帧形成对应,方便将基准图像的图像配准参数供辅助图像的配准使用,以达到不同曝光值中多帧图像的快速配准,以及提高辅助图像中多帧图像配准的准确性,同时,在配准过程中,去除图像的噪声,直到很好的去噪效果。
第二方面,本发明实施例还提供一种图像拍摄装置,所述装置包括:
采集模块,用于通过基准摄像头采集其对应曝光值的至少两帧基准图像,同时通过所述至少一个辅助摄像头分别采集其对应曝光值的至少两帧辅助图像;所述基准摄像头和所述至少一个辅助摄像头采集图像时的焦点一致;
配准模块,用于对所述至少两帧基准图像进行图像配准,获得图像配准参数和配准后的至少两帧基准图像;以及根据所述图像配准参数分别对所述至少一个辅助摄像头其对应曝光值的所述至少两帧辅助图像进行配准,获得所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像;
融合模块,用于对所述配准后的至少两帧基准图像进行融合,获得基准融合图像;以及对所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行融合,获得至少一个辅助融合图像;以及对所述基准融合图像和所述至少一个辅助融合图像进行融合,获得融合图像。
在上述实现过程中,通过基准摄像头和至少一个辅助摄像头同时采集各自对应曝光值的至少两帧图像,可以大幅度缩短不同曝光值的图像的采集时间;对基准摄像头对应曝光值的至少两帧基准图像进行图像配准,获得图像配准参数,并将获得的图像配准参数提供给其它辅助摄像头配准使用,可根据该图像配准参考对其它辅助摄像头对应的不同曝光值的至少两帧辅助图像进行配准,实现了不同曝光值的图像之间的直接配准,可以缩短辅助摄像头对应曝光值的图像形成时间,解决现有技术中不同曝光值图像之间的图像配准存在误差的问题,同时在配准和融合的过程中能够改善图像的运动鬼影问题,提高图像的成像效果及质量,特别是夜景的成像质量。
第三方面,本申请实施例还提供了一种电子设备,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行第一方面所述的图像拍摄方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的图像拍摄方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的图像拍摄方法的流程示意图;
图2为本申请实施例提供的图像拍摄装置的结构组成示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例一
本申请实施例的拍摄方法可应用但不局限于移动终端,如图1所示,该图像拍摄方法包括:
S11,通过基准摄像头采集其对应曝光值的至少两帧基准图像,同时通过至少一个辅助摄像头分别采集其对应曝光值的至少两帧辅助图像;基准摄像头和至少一个辅助摄像头采集图像时的焦点一致;
S12,对至少两帧基准图像进行图像配准,获得图像配准参数和配准后的至少两帧基准图像,以及对配准后的至少两帧基准图像进行融合,获得基准融合图像;
S13,根据图像配准参数分别对至少一个辅助摄像头其对应曝光值的至少两帧辅助图像进行配准,获得至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像,以及对至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行融合,获得至少一个辅助融合图像;
S14,对基准融合图像和至少一个辅助融合图像进行融合,获得融合图像。
本申请实施例的方法可基于一个基准摄像头和至少一个辅助摄像头,在实施例中不做具体数量的限制。在本实施例中,使用EV+1、EV0、EV-1、EV-2等不同曝光值对应的摄像头的方式实现该方法,另外,采用其它曝光值(如EV+2、EV-3等)对应的摄像头进行采集也是可以的。因此在实现过程中,本实施例采用了一个基准摄像头和三个辅助摄像头的配置,设置基准摄像头采集EV+1对应的至少两帧基准图像,其它三个辅助摄像头分别拍摄EV0、EV-1、EV-2对应的至少两帧辅助图像。需要说明的是,基准摄像头所采集的图像也可以是EV0、EV-1、EV-2任意一种,只要保证其它基准摄像头分别采集不同曝光值的至少两帧辅助图像即可。具体地,采用多个参数相同(具体地,可以理解是硬件配置相同)的摄像头实现,可以解决不同摄像头存在采集图像时图像缩放不一致的问题。
S11进一步包括:
通过基准摄像头采集其对应曝光值的至少两帧基准图像中的每一帧的同时,通过至少一个辅助摄像头分别采集其对应曝光值的至少两帧辅助图像中与每一帧基准图像对应的每一帧辅助图像。
本申请实施例的至少两帧可以理解包括两帧及两帧以上,本实施例仅以每个曝光值对应的三帧图像为例,两帧及其它多帧均同理,不再展开说明。
在具体实施中,假设每个曝光值对应的摄像头均需要采集三帧图像,则通过基准摄像头采集EV+1对应的三帧图像,同时,通过三个辅助摄像头分别采集EV0、EV-1、EV-2对应的图像,这里需要说明的是,基准摄像头在采集EV+1对应的三帧基准图像时,其中一个辅助摄像头采集EV0对应的三帧辅助图像,与三帧基准图像分别对应,其它辅助摄像头采集不同曝光值的三帧辅助图像同样与三帧基准图像分别对应。例如,在基准摄像头采集EV+1对应的第一帧基准图像时,多个辅助头分别采集EV0、EV-1、EV-2各自对应的第一帧辅助图像,待所有第一帧图像采集完后,继续采集各自曝光值对应的下一帧图像。同时,由于EV+1、EV0、EV-1、EV-2对应图像的采集时间会依次变小(EV+1对应图像的曝光时间明显长于EV-2),因此,在EV+1对应的基准摄像头开始采集图像时,EV0、EV-1、EV-2对应的辅助摄像头同时进行图像采集,在EV+1对应的基准摄像头发出下一次采集图像的信号后,多个辅助摄像头继续采集下一帧图像,保证每组不同曝光值对应的多帧图像中每一帧图像的采集时间相同。同理,在本申请中,也可以由需要采集时间较短的摄像头发出采集信号,只要等待采集时间最长的摄像头采集完该帧图像,保持不同曝光值对应的摄像头采集图像的同时性即可。
在本实施例中,多个摄像头同时采集图像,可以大幅度降低图像的采集时间,由于图像采集的缩短及一致,不同曝光值对应的图像的运动区域位置几乎一致,出现的运动鬼影问题也得到较大改善。
进一步地,在S11之前,还包括:根据目标对焦策略对基准摄像头和至少一个辅助摄像头进行对焦设置。
具体地,对基准摄像头进行对焦计算,获得对焦点;根据对焦点对至少一个辅助摄像头进行对焦设置。在具体实施中,先对基准摄像头进行对焦,再根据对焦点对其它辅助摄像头进行对焦设置,将所有摄像头的焦点同步到相同的对焦位置,保证所有摄像头对焦到相同位置,避免出现对焦导致的视角(FOV)不一致的情况。
本申请实施例对图像配准的配准方法没有作特别限定,在S12中,基于灰度信息法、变换域法、特征点匹配算法中的任意一种对至少两帧基准图像进行图像配准,获得图像配准参数,这里的图像配准参数为两帧基准图像之间的像素偏移关系,包括图像之间平移多少像素、旋转多少像素等关系。
具体实施中,选取至少两帧基准图像中的一帧基准图像作为基准参考帧,其余基准图像为待配准基准帧;
将待配准基准帧配准到基准参考帧,获得图像配准参数。
参考帧的选取可以根据至少两帧基准图像的清晰度,可以选取其中清晰度最佳的一帧图像作为基准参考帧,其余基准图像为待配准基准帧。
S13进一步包括:
选取至少两帧辅助图像中与基准参考帧对应的一帧辅助图像作为辅助参考帧,其余辅助图像为待配准辅助帧;
根据图像配准参数将待配准辅助帧配准到辅助参考帧,获得配准后的至少两帧辅助图像。
在上述实现过程中,比如选取EV0对应的至少两帧基准图像中的一帧基准图像作为基准参考帧,则在选取辅助参考帧时,分别选取各EV对应的各一帧辅助图像作为辅助参考帧。
需要说明的是,若在实施过程中每个不同曝光值对应的图像只有两帧,则在配准过程中,选取一帧图像为参考帧,另一帧图像为待配准帧,配准后可获得两帧图像,处理过程中只需要将待配准帧配准到参考帧,获得配准后的图像,同时,也可以将参考帧配准到参考帧理解为其中一个配准过程,当然,在实际操作中,可以省略这一过程。同理地,两帧以上的图像配准过程也是如此,这里不再赘述。
在一实施方式中,在对至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行融合之前,还包括:
对至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行修正,获得修正后的至少两帧辅助图像;
对至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行融合,获得至少一个辅助融合图像,包括:
对修正后的至少两帧辅助图像进行融合,获得修正后的至少一个辅助融合图像。
其中,对每个曝光值所对应的配准后的至少两帧辅助图像进行修正,获得修正后的至少两帧辅助图像,包括:
获取基准摄像头与至少一个辅助摄像头的像素偏移关系;
根据像素偏移关系对至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行修正,获得修正后的至少两帧辅助图像。
在本实施例中,基准摄像头与至少一个辅助摄像头的像素偏移关系可根据基准摄像头与至少一个辅助摄像头的物理位置关系获得,根据像素偏移关系将至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像配准到基准摄像头,可对辅助摄像头的所有辅助图像进行修正,再对至少一个辅助摄像头其对应曝光值的修正后的至少两帧辅助图像进行图像融合,获得辅助融合图像,以供最后的图像融合使用,可提高辅助图像配准的准确性。
在另一实施方式中,在对至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行融合,获得至少一个辅助融合图像之后,还包括:
对至少一个辅助融合图像进行修正,获得修正后的至少一个辅助融合图像;
对基准融合图像和至少一个辅助融合图像进行融合,获得融合图像,包括:
对基准融合图像和修正后的至少一个辅助融合图像进行融合,获得融合图像。
其中,对至少一个辅助融合图像进行修正,获得修正后的至少一个辅助融合图像,包括:
获取基准摄像头与至少一个辅助摄像头的像素偏移关系;
根据像素偏移关系对至少一个辅助融合图像进行修正,获得修正后的至少一个辅助融合图像。
在上述过程中,可将至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行融合后,对获得的至少一个辅助融合图像进行修正,获得修正后的至少一个辅助融合图像。基准摄像头与至少一个辅助摄像头的像素偏移关系可根据基准摄像头与至少一个辅助摄像头的物理位置关系获得,根据像素偏移关系将至少一个辅助融合图像配准到基准摄像头,可对辅助摄像头的所有辅助融合图像进行修正,这样可以在所有辅助基准图像完成配准和融合之后进行辅助摄像头与基准摄像头之间的图像修正,可以减少辅助摄像头与基准摄像头之间不同曝光值图像修正的次数,节省了时间,降低辅助融合图像配准的误差。
在本申请实施例中,所述及的图像融合方法所采用的算法包括但不局限于结合图像的平均值、熵值、标准偏差、平均梯度等。
上述方法实施例可应用于移动终端、平板、相机等终端设备,本申请中不作限制。在本发明实施例方法中,通过基准摄像头和至少一个辅助摄像头同时采集各自对应曝光值的至少两帧图像,可以大幅度缩短不同曝光值的图像的采集时间;对基准摄像头对应曝光值的至少两帧基准图像进行图像配准,获得图像配准参数,并将获得的图像配准参数提供给其它辅助摄像头配准使用,可根据该图像配准参考对其它辅助摄像头对应的不同曝光值的至少两帧辅助图像进行配准,实现了不同曝光值的图像之间的直接配准,可以缩短辅助摄像头对应曝光值的图像形成时间,解决现有技术中不同曝光值图像之间的图像配准存在误差的问题,同时在配准和融合的过程中能够改善图像的运动鬼影问题,提高图像的成像效果及质量,特别是夜景的成像质量。
实施例二
为了执行上述实施例一对应的方法,以实现相应的功能和技术效果,下面提供一种图像拍摄装置。本申请实施例的图像拍摄装置可以是移动终端、平板、相机等终端设备。
如图2所示,本申请实施例的图像拍摄装置包括:
采集模块1,用于通过基准摄像头采集其对应曝光值的至少两帧基准图像,同时通过至少一个辅助摄像头分别采集其对应曝光值的至少两帧辅助图像;基准摄像头和至少一个辅助摄像头采集图像时的焦点一致;
配准模块2,用于对至少两帧基准图像进行图像配准,获得图像配准参数和配准后的至少两帧基准图像;以及根据图像配准参数分别对至少一个辅助摄像头其对应曝光值的至少两帧辅助图像进行配准,获得至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像;
融合模块3,用于对配准后的至少两帧基准图像进行融合,获得基准融合图像;以及对至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行融合,获得至少一个辅助融合图像;以及对基准融合图像和至少一个辅助融合图像进行融合,获得融合图像。
进一步地,该装置还包括:对焦模块,用于根据目标对焦策略对基准摄像头和至少一个辅助摄像头进行对焦设置。
该对焦模块还用于对基准摄像头进行对焦计算,获得对焦点;根据对焦点对至少一个辅助摄像头进行对焦设置。
进一步地,采集模块1还用于通过基准摄像头采集其对应曝光值的至少两帧基准图像中的每一帧的同时,通过至少一个辅助摄像头分别采集其对应曝光值的至少两帧辅助图像中与每一帧基准图像对应的每一帧辅助图像。
进一步地,配准模块2还用于选取至少两帧基准图像中的一帧基准图像作为基准参考帧,其余基准图像为待配准基准帧;将待配准基准帧配准到基准参考帧,获得图像配准参数和配准后的至少两帧基准图像。
另一方面,配准模块2还用于选取至少两帧辅助图像中与基准参考帧对应的一帧辅助图像作为辅助参考帧,其余辅助图像为待配准辅助帧;根据图像配准参数将待配准辅助帧配准到辅助参考帧,获得配准后的至少两帧辅助图像。
在一实施方式中,配准模块2还用于对至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行修正,获得修正后的至少两帧辅助图像;融合模块3还用于对修正后的至少两帧辅助图像进行融合,获得修正后的至少一个辅助融合图像。
进一步地,配准模块2还用于获取基准摄像头与至少一个辅助摄像头的像素偏移关系;根据像素偏移关系对至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行修正,获得修正后的至少两帧辅助图像。
在另一实施方式中,配准模块2还用于对至少一个辅助融合图像进行修正,获得修正后的至少一个辅助融合图像;融合模块3还用于对基准融合图像和修正后的至少一个辅助融合图像进行融合,获得融合图像。
进一步地,配准模块2还用于获取基准摄像头与至少一个辅助摄像头的像素偏移关系;根据像素偏移关系对至少一个辅助融合图像进行修正,获得修正后的至少一个辅助融合图像。
上述的图像拍摄装置可实施上述实施例一的图像拍摄方法。上述实施例一中的可选项也适用于本实施例,这里不再详述。
本实施例的图像拍摄装置中各功能模块所具有的功能实现可参见实施例一关于图像拍摄方法的描述。
在本发明装置实施例中,通过基准摄像头和至少一个辅助摄像头同时采集各自对应曝光值的至少两帧图像,可以大幅度缩短不同曝光值的图像的采集时间;对基准摄像头对应曝光值的至少两帧基准图像进行图像配准,获得图像配准参数,并将获得的图像配准参数提供给其它辅助摄像头配准使用,可根据该图像配准参考对其它辅助摄像头对应的不同曝光值的至少两帧辅助图像进行配准,实现了不同曝光值的图像之间的直接配准,可以缩短辅助摄像头对应曝光值的图像形成时间,解决现有技术中不同曝光值图像之间的图像配准存在误差的问题,同时在配准和融合的过程中能够改善图像的运动鬼影问题,提高图像的成像效果及质量,特别是夜景的成像质量。
实施例三
本申请实施例提供一种电子设备,包括存储器及处理器,该存储器用于存储计算机程序,该处理器运行计算机程序以使电子设备执行实施例一的图像拍摄方法。
可选地,上述电子设备可以是服务器。
另外,本申请实施例还提供一种计算机可读存储介质,其存储有计算机程序,该计算机程序被处理器执行时实现实施例一的图像拍摄方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (13)

1.一种图像拍摄方法,其特征在于,所述方法包括:
通过基准摄像头采集其对应曝光值的至少两帧基准图像,同时通过所述至少一个辅助摄像头分别采集其对应曝光值的至少两帧辅助图像;所述基准摄像头和所述至少一个辅助摄像头采集图像时的焦点一致;
对所述至少两帧基准图像进行图像配准,获得图像配准参数和配准后的至少两帧基准图像,以及对所述配准后的至少两帧基准图像进行融合,获得基准融合图像;
根据所述图像配准参数分别对所述至少一个辅助摄像头其对应曝光值的所述至少两帧辅助图像进行配准,获得所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像,以及对所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行融合,获得至少一个辅助融合图像;
对所述基准融合图像和所述至少一个辅助融合图像进行融合,获得融合图像。
2.根据权利要求1所述的图像拍摄方法,其特征在于,在所述通过基准摄像头采集其对应曝光值的至少两帧基准图像之前,还包括:根据目标对焦策略对所述基准摄像头和所述至少一个辅助摄像头进行对焦设置。
3.根据权利要求2所述的图像拍摄方法,其特征在于,所述根据目标对焦策略对所述基准摄像头和所述至少一个辅助摄像头进行对焦设置,包括:
对所述基准摄像头进行对焦计算,获得对焦点;
根据所述对焦点对所述至少一个辅助摄像头进行对焦设置。
4.根据权利要求1-3任一所述的图像拍摄方法,其特征在于,所述通过基准摄像头采集其对应曝光值的至少两帧基准图像,同时通过所述至少一个辅助摄像头分别采集其对应曝光值的至少两帧辅助图像,包括:
通过所述基准摄像头采集其对应曝光值的至少两帧基准图像中的每一帧基准图像的同时,通过所述至少一个辅助摄像头分别采集其对应曝光值的至少两帧辅助图像中与所述每一帧基准图像对应的每一帧辅助图像。
5.根据权利要求1-4任一所述的图像拍摄方法,其特征在于,在所述对所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行融合之前,还包括:
对所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行修正,获得修正后的至少两帧辅助图像;
所述对所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行融合,获得至少一个辅助融合图像,包括:
对所述修正后的至少两帧辅助图像进行融合,获得修正后的所述至少一个辅助融合图像。
6.根据权利要求1-5任一所述的图像拍摄方法,其特征在于,在所述对所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行融合,获得至少一个辅助融合图像之后,还包括:
对所述至少一个辅助融合图像进行修正,获得修正后的至少一个辅助融合图像;
所述对所述基准融合图像和所述至少一个辅助融合图像进行融合,获得融合图像,包括:
对所述基准融合图像和所述修正后的至少一个辅助融合图像进行融合,获得融合图像。
7.根据权利要求5所述的图像拍摄方法,其特征在于,所述对所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行修正,获得修正后的至少两帧辅助图像,包括:
获取所述基准摄像头与所述至少一个辅助摄像头的像素偏移关系;
根据所述像素偏移关系对所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行修正,获得修正后的至少两帧辅助图像。
8.根据权利要求6所述的图像拍摄方法,其特征在于,所述对所述至少一个辅助融合图像进行修正,获得修正后的至少一个辅助融合图像,包括:
获取所述基准摄像头与所述至少一个辅助摄像头的像素偏移关系;
根据所述像素偏移关系对所述至少一个辅助融合图像进行修正,获得修正后的至少一个辅助融合图像。
9.根据权利要求1-8任一所述的图像拍摄方法,其特征在于,所述对所述至少两帧基准图像进行图像配准,获得图像配准参数和配准后的至少两帧基准图像,包括:
选取所述至少两帧基准图像中的一帧基准图像作为基准参考帧,其余基准图像为待配准基准帧;
将所述待配准基准帧配准到所述基准参考帧,获得所述图像配准参数和配准后的至少两帧基准图像。
10.根据权利要求9所述的图像拍摄方法,其特征在于,所述根据所述图像配准参数分别对所述至少一个辅助摄像头其对应曝光值的所述至少两帧辅助图像进行配准,获得所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像,包括:
选取所述至少两帧辅助图像中与所述基准参考帧对应的一帧辅助图像作为辅助参考帧,其余辅助图像为待配准辅助帧;
根据所述图像配准参数将所述待配准辅助帧配准到所述辅助参考帧,获得所述配准后的至少两帧辅助图像。
11.一种图像拍摄装置,其特征在于,所述装置包括:
采集模块,用于通过基准摄像头采集其对应曝光值的至少两帧基准图像,同时通过所述至少一个辅助摄像头分别采集其对应曝光值的至少两帧辅助图像;所述基准摄像头和所述至少一个辅助摄像头采集图像时的焦点一致;
配准模块,用于对所述至少两帧基准图像进行图像配准,获得图像配准参数和配准后的至少两帧基准图像;以及根据所述图像配准参数分别对所述至少一个辅助摄像头其对应曝光值的所述至少两帧辅助图像进行配准,获得所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像;
融合模块,用于对所述配准后的至少两帧基准图像进行融合,获得基准融合图像;以及对所述至少一个辅助摄像头其对应曝光值的配准后的至少两帧辅助图像进行融合,获得至少一个辅助融合图像;以及对所述基准融合图像和所述至少一个辅助融合图像进行融合,获得融合图像。
12.一种电子设备,其特征在于,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至10中任一项所述的图像拍摄方法。
13.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的图像拍摄方法。
CN202110695079.4A 2021-06-22 2021-06-22 图像拍摄方法、装置、电子设备及计算机可读存储介质 Active CN113612919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110695079.4A CN113612919B (zh) 2021-06-22 2021-06-22 图像拍摄方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110695079.4A CN113612919B (zh) 2021-06-22 2021-06-22 图像拍摄方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113612919A true CN113612919A (zh) 2021-11-05
CN113612919B CN113612919B (zh) 2023-06-30

Family

ID=78303641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110695079.4A Active CN113612919B (zh) 2021-06-22 2021-06-22 图像拍摄方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113612919B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277387A (zh) * 2017-07-26 2017-10-20 维沃移动通信有限公司 高动态范围图像拍摄方法、终端及计算机可读存储介质
CN108012080A (zh) * 2017-12-04 2018-05-08 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110430370A (zh) * 2019-07-30 2019-11-08 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112087580A (zh) * 2019-06-14 2020-12-15 Oppo广东移动通信有限公司 图像采集方法和装置、电子设备、计算机可读存储介质
CN112188082A (zh) * 2020-08-28 2021-01-05 努比亚技术有限公司 高动态范围图像拍摄方法、拍摄装置、终端及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277387A (zh) * 2017-07-26 2017-10-20 维沃移动通信有限公司 高动态范围图像拍摄方法、终端及计算机可读存储介质
CN108012080A (zh) * 2017-12-04 2018-05-08 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112087580A (zh) * 2019-06-14 2020-12-15 Oppo广东移动通信有限公司 图像采集方法和装置、电子设备、计算机可读存储介质
CN110430370A (zh) * 2019-07-30 2019-11-08 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112188082A (zh) * 2020-08-28 2021-01-05 努比亚技术有限公司 高动态范围图像拍摄方法、拍摄装置、终端及存储介质

Also Published As

Publication number Publication date
CN113612919B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN109089047B (zh) 控制对焦的方法和装置、存储介质、电子设备
US11570376B2 (en) All-in-focus implementation
CN111915505B (zh) 图像处理方法、装置、电子设备及存储介质
EP2494524A2 (en) Algorithms for estimating precise and relative object distances in a scene
JP5569357B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN111986129A (zh) 基于多摄图像融合的hdr图像生成方法、设备及存储介质
CN111652829B (zh) 图像融合方法、装置、电子设备及存储介质
CN109493283A (zh) 一种高动态范围图像鬼影消除的方法
JP2013030895A (ja) 信号処理装置、撮像装置、信号処理方法およびプログラム
CN106296624B (zh) 一种图像融合方法及装置
CN112215875A (zh) 图像处理方法、装置和电子系统
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
CN110276714B (zh) 快速扫描式全景图图像合成方法及装置
CN105791659B (zh) 图像处理方法和电子设备
CN113612919B (zh) 图像拍摄方法、装置、电子设备及计算机可读存储介质
JP2006049949A (ja) 画像処理装置、画像処理方法およびプログラム
CN112543286A (zh) 一种用于终端的图像生成方法及装置、存储介质、终端
CN114842046A (zh) 运动目标高动态场景图像的测量装置及方法
JP2009118434A (ja) ぶれ補正装置及び撮像装置
US20210067693A1 (en) Image processing apparatus, image processing method, and storage medium
CN109582811B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN113596341B (zh) 一种图像拍摄方法、图像处理方法、装置、电子设备
CN113870300A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN112822404B (zh) 一种图像处理方法及装置、存储介质
CN114095643B (zh) 一种多主体融合成像的方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant