CN111866370A - 合成全景深图像方法、装置、设备、介质及摄像头阵列和组件 - Google Patents

合成全景深图像方法、装置、设备、介质及摄像头阵列和组件 Download PDF

Info

Publication number
CN111866370A
CN111866370A CN202010471201.5A CN202010471201A CN111866370A CN 111866370 A CN111866370 A CN 111866370A CN 202010471201 A CN202010471201 A CN 202010471201A CN 111866370 A CN111866370 A CN 111866370A
Authority
CN
China
Prior art keywords
depth
camera
cameras
field
focusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010471201.5A
Other languages
English (en)
Inventor
唐金伟
梁钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202010471201.5A priority Critical patent/CN111866370A/zh
Publication of CN111866370A publication Critical patent/CN111866370A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种合成全景深图像方法、装置、设备、介质及摄像头阵列和组件,旨在提高全景深图像的合成质量。所述合成全景深图像方法包括:控制摄像头阵列中的多个摄像头执行拍摄操作,获得多个摄像头各自拍摄的图像,其中,所述多个摄像头在执行拍摄操作时,各自的景深范围互不相同,且相邻两个景深范围部分重叠;基于所述多个摄像头各自拍摄的图像,合成全景深图像。采用所述合成全景深图像的方法,可以一次性拍摄多张不同景深范围的图像,对用户的拍摄技巧要求不高,并显著缩短了多张图像的获得时间,降低了拍摄环境在拍摄期间产生变化的可能性,从而能获得更统一的多张图像。基于这些图像所合成的全景深图像具有更高的图像质量。

Description

合成全景深图像方法、装置、设备、介质及摄像头阵列和组件
技术领域
本申请实施例涉及图像处理技术领域,具体而言,涉及一种合成全景深图像方法、装置、设备、介质及摄像头阵列和组件。
背景技术
近年来,随着手机、相机、平板电脑等具有拍摄功能的电子设备的普及,越来越多的用户热衷于利用这些电子设备拍摄和记录图像。其中,全景深图像因具有较高的整体清晰度,包含的细节内容更丰富,受到部分摄影爱好者的追捧。然后由于摄像头的凸透镜在成像时,凸透镜本身的特性会导致拍摄出的图像中仅主体清晰,而前景和背景模糊,因此并不能通过简单的拍摄技巧就能获得全景深图像。
相关技术中,为了获得一张全景深图像,通常需要执行以下步骤:
1)将摄像头对准目标物所在方向,并固定摄像头;
2)将摄像头的景深范围调节至第一范围,并拍摄第一张图像,再将摄像头的景深范围调节至第二范围,并拍摄第二张图像,以此类推,拍摄到多张不同景深范围的图像;
3)将多张不同景深范围的图像合成一张全景深图像。
可见,上述方法需要用户具有较高超的摄影技巧,并且由于拍摄期间需要多次调节摄像头的景深范围并多次执行拍摄操作,因此需要较长的拍摄时间。然而实际操作时,由于用户的拍摄技巧难以保证,并且由于拍摄时间较长,在拍摄不同图片期间,拍摄环境和被拍摄物本身容易产生变化,导致拍摄出的不同图像之间除了景深范围不同以外,还具有其他明显差异。如此,最终合成的全景深图像的图像质量普遍偏低。
发明内容
本申请实施例提供一种合成全景深图像方法、装置、设备、介质及摄像头阵列和组件,旨在提高全景深图像的合成质量。
本申请实施例第一方面提供一种合成全景深图像的方法,所述方法包括:
控制摄像头阵列中的多个摄像头执行拍摄操作,获得多个摄像头各自拍摄的图像,其中,所述多个摄像头在执行拍摄操作时,各自的景深范围互不相同,且相邻两个景深范围部分重叠;
基于所述多个摄像头各自拍摄的图像,合成全景深图像。
本申请实施例第二方面提供一种摄像头组件,所述摄像头组件包括控制单元和摄像头阵列;
所述控制单元用于向所述摄像头阵列发出拍摄指令,所述摄像头阵列在接收到所述拍摄指令时,所述摄像头阵列中的多个摄像头一次性执行拍摄操作,得到多张不同景深范围的图像,每张图像中均包含公共视场的图像;
其中,所述摄像头阵列中的多个摄像头在执行拍摄操作时,所述多个摄像头具有所述公共视场,所述多个摄像头各自的景深范围互不相同,且范围相邻的两个景深范围之间具有重叠。
本申请实施例第三方面提供一种合成全景深图像的装置,所述装置包括:
摄像头控制模块,用于控制摄像头阵列中的多个摄像头执行拍摄操作,获得多个摄像头各自拍摄的图像,其中,所述多个摄像头在执行拍摄操作时,各自的景深范围互不相同,且相邻两个景深范围部分重叠;
图像合成模块,用于基于所述多个摄像头各自拍摄的图像,合成全景深图像。
本申请实施例第四方面提供一种可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现如本申请第一方面所述的方法中的步骤。
本申请实施例第五方面提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现本申请第一方面所述的方法的步骤。
采用本申请提供的合成全景深图像的方法,由于摄像头阵列中的多个摄像头各自的景深范围互不相同,且相邻两个景深范围部分重叠,因此控制该摄像头阵列中的多个摄像头执行拍摄操作时,可以一次性拍摄多张不同景深范围的图像。一方面,该方法对用户的拍摄技巧要求不高;另一方面,该方法显著缩短了多张图像的获得时间,降低了拍摄环境和被拍摄物体在拍摄期间产生变化的可能性,从而能获得更统一的多张图像。基于这些图像所合成的全景深图像具有更高的图像质量。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提出的合成全景深图像的方法的流程图;
图2(a)是本申请一实施例提出的摄像头阵列的景深范围示意图;
图2(b)是通过图2(a)中的摄像头阵列所拍摄出的三张图像的示意图;
图2(c)是基于图2(b)中的三张图像合成的全景深图像的示意图;
图3是本申请另一实施例提出的合成全景深图像的方法的流程图;
图4是本申请一实施例提出的预设景深范围表的示意图;
图5是本申请一实施例提出的摄像头阵列的示意图;
图6是本申请一实施例提出的摄像头组件的示意图;
图7是本申请一实施例提出的合成全景深图像的装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在图像处理技术领域,全景深图像因具有较高的整体清晰度,包含的细节内容更丰富,受到部分摄影爱好者的追捧。然后由于摄像头的凸透镜在成像时,凸透镜本身的特性会导致拍摄出的图像中仅主体清晰,而前景和背景模糊,因此并不能通过简单的拍摄技巧就能获得全景深图像。
相关技术中,为了获得一张全景深图像,通常需要执行以下步骤:(1)将摄像头对准目标物所在方向,并固定摄像头;(2)将摄像头的景深范围调节至第一范围,并拍摄第一张图像,再将摄像头的景深范围调节至第二范围,并拍摄第二张图像,以此类推,拍摄到多张不同景深范围的图像;(3)将多张不同景深范围的图像合成一张全景深图像。
可见,上述方法需要用户具有较高超的摄影技巧,并且由于拍摄期间需要多次调节摄像头的景深范围并多次执行拍摄操作,因此需要较长的拍摄时间。然而实际操作时,由于用户的拍摄技巧难以保证,并且由于拍摄时间较长,在拍摄不同图片期间,拍摄环境和被拍摄物本身容易产生变化,导致拍摄出的不同图像之间除了景深范围不同以外,还具有其他明显差异。如此,最终合成的全景深图像的图像质量普遍偏低。
本申请从降低拍摄难度和缩短拍摄时间的角度,解决全景深图像的合成质量偏低的问题。参考图1,图1是本申请一实施例提出的合成全景深图像的方法的流程图。如图1所示,该方法包括以下步骤:
步骤S11:控制摄像头阵列中的多个摄像头执行拍摄操作,获得多个摄像头各自拍摄的图像,其中,所述多个摄像头在执行拍摄操作时,各自的景深范围互不相同,且相邻两个景深范围部分重叠。
为便于理解,示例地,摄像头阵列中包括三个摄像头,分别为摄像头A、摄像头B和摄像头C。参考图2(a),图2(a)是本申请一实施例提出的摄像头阵列的景深范围示意图。如图2(a)所示,摄像头A的景深范围是0.205m-0.322m,摄像头B的景深范围是0.295m-0.625m,摄像头C的景深范围是0.550m-无穷远。可见这三个摄像头各自的景深范围互不相同,且相邻景深范围部分重叠。例如摄像头A的景深范围与摄像头B的景深范围之间的重叠部分为0.295m-0.322m,又例如摄像头B的景深范围与摄像头C的景深范围之间的重叠部分为0.550m-0.625m。
为便于理解景深范围的含义,以摄像头A为例,摄像头A的景深范围等于0.205m-0.322m代表:距离摄像头A前方0.205m-0.322m范围内的物体能被摄像头A清晰拍摄到,而距离摄像头A前方0.205m以内或0.322m以外的物体不能被清晰拍摄到。
由于多个摄像头各自的景深范围互不相同,且相邻两个景深范围部分重叠,因此获得的多张图像各自的景深范围也不相同,且相邻两个景深范围部分重叠。为便于理解,示例地,参考图2(b),图2(b)是通过图2(a)中的摄像头阵列所拍摄出的三张图像的示意图。如图2(b)所示,通过摄像头A所拍摄的图像A中,0.205m-0.322m范围内的物体清晰,而0.205m-0.322m范围外的物体模糊。通过摄像头B所拍摄的图像B中,0.295m-0.625m范围内的物体清晰,而0.295m-0.625m范围外的物体模糊。通过摄像头C所拍摄的图像C中,0.550m-无穷远范围内的物体清晰,而0.550m-无穷远范围外的物体模糊。
需要说明的是,在本申请的一些实施例中,多个摄像头各自的景深范围可以是固定而不可调节的。例如手机后置摄像头阵列中包括四个摄像头,这四个摄像头的景深范围分别是:0.170m-0.243m、0.205m-0.322m、0.295m-0.625m、0.550m-无穷远。这四个摄像头各自的景深范围不可调节,固定为上述四种景深范围。
在本申请的另一些实施例中,多个摄像头各自的景深范围是可调节的。具体可以根据用户的拍摄需要,提前将多个摄像头各自的景深范围自动调节至相应范围,再执行上述步骤S11。本申请通过下述一些实施例介绍景深范围的自动调节方式,在此暂不赘述。
具体执行上述步骤S11时,在检测到用户触发拍摄操作后,控制摄像头阵列中的多个摄像头一次性地执行拍摄操作。
其中,用户触发拍摄操作,包括但不限于以下几种触发方式:(1)用户点击电子设备屏幕上显示的快门图标;(2)用户按压电子设备外壳上的快门功能按键;(3)用户向电子设备输入用于控制快门的预设语音(例如用户说“请拍摄”);(4)用户向电子设备输入用于控制快门的预设手势(例如用户在手机的前置摄像头前方比划OK手势)。
其中,控制摄像头阵列中的多个摄像头一次性地执行拍摄操作,包括但不限于以下几种控制方式:(1)控制时刻执行拍摄操作;(2)控制多个摄像头在预设时间段(例如1秒)之内先后完成拍摄操作;(3)多个摄像头在先后执行拍摄操作时,控制先后次序相邻的两个摄像头分别执行拍摄操作的时间间隔不超过预设阈值(例如0.5秒)。
本申请中,由于用户一次触发拍摄操作后,多个摄像头能一次性地拍摄到多张图像不同景深范围的图像。因此,一方面可以显著地简化用户操作,便于拍摄技巧不高的用户获得多张图像不同景深范围的图像,另一方面,可以显著缩短拍摄多张图像的所需时间,甚至可以在一瞬间同时拍摄多张图像,从而可以降低了拍摄环境和被拍摄物体在拍摄期间产生变化的可能性,进而获得更统一的多张图像。
步骤S12:基于所述多个摄像头各自拍摄的图像,合成全景深图像。
由于多个摄像头各自拍摄的图像的景深范围互不相同、且相邻景深范围部分重叠,因此可基于这些图像合成全景深图像。为便于理解,参考图2(c),图2(c)是基于图2(b)中的三张图像合成的全景深图像的示意图。
在本申请的一些实施例中,上述步骤S12可包括以下子步骤:
步骤S12-1:将各张图像中的物体缩放至相同大小。
由于不同摄像头的景深范围不同,相应地,不同摄像头向前伸出的长度不同,因此不同摄像头所拍摄的不同图像中,同一物体的大小不同。例如不同摄像头均拍摄到书桌上的水杯,但是由于不同摄像头向前伸出的长度不同,因此在不同摄像头各自拍摄的图像中,水杯的大小存在微小差异。
为此,需要通过上述步骤S12-1,将各张图像中的物体缩放至相同大小,其中,所述物体可以是各张图像中的同一目标物。具体实现时,假设多张图像中均包括水杯,则以其中一张图像中的水杯为依据,对其他图像进行缩放,使缩放后的其他图像中的水杯大小,等于作为依据的该张图像中的水杯大小。
步骤S12-2:确定各张缩放后的图像的公共区域,并针对每张缩放后的图像,从该图像中截取出所述公共区域。
具体实现时,可以将各张缩放后图像的FOV(Filed of View)图像确定为各张缩放后的图像的公共区域,并针对每张缩放后的图像,从该图像中截取出所述公共区域。
步骤S12-3:将截取出的多个公共区域合成全景深图像。
具体实现时,首先将截取出的多个公共区域图像进行像素级对齐,并将各个公共区域图像的亮度调整为一致,然后采用生成全景深图像的融合算法,将多个公共区域图像合成全景深图像。示例地,具体可采用基于引导滤波器(guided Filter)的多聚焦图像融合算法,将多个公共区域图像合成全景深图像。
通过执行上述包括步骤S11和步骤S12的合成全景深图像的方法,由于摄像头阵列中的多个摄像头各自的景深范围互不相同,且相邻两个景深范围部分重叠,因此控制该摄像头阵列中的多个摄像头执行拍摄操作时,可以一次性拍摄多张不同景深范围的图像。一方面,该方法对用户的拍摄技巧要求不高;另一方面,该方法显著缩短了多张图像的获得时间,降低了拍摄环境和被拍摄物体在拍摄期间产生变化的可能性,从而能获得更统一的多张图像。基于这些图像所合成的全景深图像具有更高的图像质量。
如前所述,在本申请的一些实施例中,多个摄像头各自的景深范围是可调节的。具体可以根据用户的拍摄需要,提前将多个摄像头各自的景深范围自动调节至相应范围,然后再执行上述步骤S11和步骤S12。在这些实施例中,摄像头阵列具有更高的灵活性,更能适应用户的各种要求。
为实现上述目标,参考图3,图3是本申请另一实施例提出的合成全景深图像的方法的流程图。如图3所示,该方法包括以下步骤:
步骤S10-1:确定所述多个摄像头中的第一摄像头对目标物体对焦后的景深范围。
其中,第一摄像头对目标物体对焦是指:电子设备的拍照功能被用户打开,电子设备的摄像头阵列被用户对准需要拍摄的目标物体后,摄像头阵列中的第一摄像头对焦该目标物体,电子设备的屏幕上清晰显示该目标物体。
为便于理解,以用户通过安装在手机上的摄像头阵列进行拍照为例,当用户开启拍照功能,并将手机的摄像头阵列对准需要拍摄的目标物体(例如水杯)后,手机屏幕上显示的画面中包含水杯的影像。如果画面中的水杯影像是清晰的,则摄像头阵列中的第一摄像头已经完成对水杯的对焦。如果画面中的水杯影像是模糊的,用户可以通过点触画面中的水杯影像,使得水杯影像变清晰,如此,摄像头阵列中的第一摄像头完成对水杯的对焦。
其中,第一摄像头可以是多个摄像头中的任一摄像头,也可以是多个摄像头中预先定义的主摄像头。需要说明的是,本申请对第一摄像头具体是多个摄像头中的哪个摄像头不做限定。
在本申请的一些实施例中,为了确定第一摄像头对目标物体对焦后的景深范围,可以首先获得所述第一摄像头对所述目标物体对焦后的物距;然后根据所述第一摄像头的对焦后的物距和所述第一摄像头的镜头参数,确定所述第一摄像头对目标物体对焦后的景深范围。
其中,在获得第一摄像头对所述目标物体对焦后的物距时,具体地,可以首先获得第一摄像头对焦所述目标物体时的对焦编码值,该对焦编码值表征所述第一摄像头对焦所述目标物体时的位移量;然后根据所述第一摄像头的远景镜头标定位置和近景镜头标定位置之间的差值、所述第一摄像头的近景对焦编码标定值和远景对焦编码标定值之间的差值、所述第一摄像头对焦所述目标物体时的对焦编码值与所述远景对焦编码标定值之间的差值、以及所述第一摄像头的焦距,确定所述第一摄像头的的物距。
上述获得物距的方式可表示为如下公式1和公式2:
Figure BDA0002514354110000081
Figure BDA0002514354110000082
其中,codenow表示第一摄像头对焦目标物体时的对焦编码值,SF表示第一摄像头的远景镜头标定位置,SN表示第一摄像头的近景镜头标定位置,codeN表示第一摄像头的近景对焦编码标定值,codeF表示第一摄像头的远景对焦编码标定值,f表示第一摄像头的焦距,v表示第一摄像头的像距,u表示第一摄像头的物距。
codenow与第一摄像头对焦期间的摄像头马达电流相关。例如摄像头马达电流介于0-100mA之间,摄像头马达电流的大小与摄像头马达驱动摄像头向前的位移量相对应。对焦编码值介于0-1023之间,对焦编码值与摄像头马达电流之间具有映射关系。第一摄像头对焦目标物体时的对焦编码值(即codenow)可以直接获得。例如第一摄像头对焦目标物体时的摄像头马达电流为25mA,相应的codenow为256。
SF和SN是第一摄像头的固定参数。例如在第一摄像头出厂前,可以利用镭射激光仪等测距设备测量第一摄像头对焦到无穷远时的镜头表面位置,得到第一摄像头的远景镜头标定位置SF。利用镭射激光仪等测距设备测量第一摄像头对焦到微距(例如10cm)时的镜头表面位置,得到第一摄像头的近景镜头标定位置SN
codeN和codeF也是第一摄像头的固定参数。codeN是第一摄像头对焦到无穷远时的对焦编码值,codeF是第一摄像头对焦到微距时的对焦编码值。
可见,在第一摄像头对所述目标物体对焦后,获得第一摄像头对焦时的对焦编码值codenow,并将其带入上述公式1和公式2,即可换算出第一摄像头对所述目标物体对焦后的物距u。
在获得第一摄像头对所述目标物体对焦后的物距u之后,根据物距u和第一摄像头的镜头参数,可以最终确定第一摄像头对目标物体对焦后的景深范围。具体可通过如下公式3和公式4确定景深范围:
Figure BDA0002514354110000091
Figure BDA0002514354110000092
其中,ΔL1表示第一摄像头的前景深,ΔL2表示第一摄像头的后景深,F表示第一摄像头的拍摄光圈值,δ表示第一摄像头的容许弥散圆直径,u表示第一摄像头的物距,f表示第一摄像头的焦距。
F、δ和f是第一摄像头的镜头参数,可以直接获取到。u也已经通过前述公式计算出,因此可以确定出第一摄像头的前景深ΔL1和后景深ΔL2,处于第一摄像头的前景深ΔL1和后景深ΔL2之间的景深(包括ΔL1和ΔL2),即是第一摄像头的景深范围。
除了可以通过上述公式1至公式4实时计算出第一摄像头对目标物体对焦后的景深范围,在本申请的另一些实施例中,也可以通过查表的方式快速确定出第一摄像头对目标物体对焦后的景深范围。具体地,首先获得所述第一摄像头对所述目标物体对焦后的物距;然后根据所述第一摄像头对所述目标物体对焦后的物距,从预设景深范围表中确定与所述物距相对应的景深范围,作为所述第一摄像头对目标物体对焦后的景深范围,其中,所述预设景深范围表中包括摄像头的不同物距分别对应的景深范围。
其中,在获得第一摄像头对所述目标物体对焦后的物距时,具体地,可参考上述实施例中提出的物距u确定方式(即上述公式1和公式2对应的物距u确定方式),本申请在此不做赘述。
其中,预设景深范围表是预先存入电子设备(例如手机)中的。参考图4,图4是本申请一实施例提出的预设景深范围表的示意图。如图4所示,预设景深范围表中的每一行数据包括物距、前景深以及后景深等三个数据,其中前景深和后景深形成景深范围,该景深范围与该物距相对应。为了提前获得图4所示的预设景深范围表,可以将多种物距中的每种物距,带入上述公式3和公式4,得到每种物距各自对应的前景深ΔL1和后景深ΔL2,从而形成图4所示的预设景深范围表。然后将该预设景深范围表存入电子设备(例如手机)中。
在获得第一摄像头对所述目标物体对焦后的物距u之后,可以通过查询预设景深范围表,以确定第一摄像头对目标物体对焦后的景深范围。具体实现时,可以从预设景深范围表中查询与第一摄像头的物距u最接近的物距,然后将该物距对应的景深范围,确定为第一摄像头对目标物体对焦后的景深范围。为便于理解,假设通过上述公式1和公式2计算出的第一摄像头的物距u等于0.41m,通过查询图4所示的预设景深范围表,确定预设景深范围表中的物距0.40m与计算出的物距u最接近。如此,将第一摄像头对目标物体对焦后的景深范围确定为0.295m-0.625m。
此外,由于第一摄像头对目标物体对焦后的景深范围被确定为0.295m-0.625m,此时第一摄像头对应的物距应该等于0.40m。然而第一摄像头当前实际的物距等于0.41m,因此第一摄像头当前实际的景深范围与0.295m-0.625m存在微小差异。如此,可以将第一摄像头的物距由0.41m自动调整至0.40m。当第一摄像头的物距由0.41m自动调整至0.40m之后,第一摄像头的景深范围也相应地被自动调整至0.295m-0.625m。
步骤S10-2:根据所述对焦后的景深范围,确定所述多个摄像头中除所述第一摄像头以外的其它摄像头的目标景深范围。
其中,其他摄像头的目标景深范围是指:其他摄像头在后续被调节之后,需要达到的景深范围。由于本申请中,其他摄像头在被调节之后,摄像头阵列中的多个摄像头各自的景深范围互不相同,且相邻两个景深范围部分重叠。因此为其他摄像头确定出的目标景深范围与第一摄像头对焦后的景深范围之间,也具有景深范围互不相同,且相邻两个景深范围部分重叠的关系。
考虑到摄像头阵列中包括的摄像头数量为多个,在其中的第一摄像头的景深范围确定后,需要首先确定其他摄像头的景深范围与第一摄像头的景深范围之间的排序关系,然后再根据该排序关系确定其他摄像头各自的景深范围,才能确定出一个更合理的景深范围组合。
为便于理解,假设摄像头阵列中包括三个摄像头,其中第一摄像头的景深范围已经确定,其余摄像头1和其余摄像头2的目标景深范围需要确定。在此情况下,存在以下三种候选的景深范围组合:
(1)景深范围由近及远的排序为:第一摄像头的景深范围、其余摄像头1的目标景深范围、其余摄像头2的目标景深范围;
(2)景深范围由近及远的排序为:其余摄像头1的目标景深范围、第一摄像头的景深范围、其余摄像头2的目标景深范围;
(3)景深范围由近及远的排序为:其余摄像头1的目标景深范围、其余摄像头2的目标景深范围、第一摄像头的景深范围。
不同景深范围组合的总景深范围覆盖度不同,为了获得总景深范围覆盖度较大的景深范围组合,本申请在为其它摄像头确定目标景深范围时,具体地,可以确定所述第一摄像头对焦后的景深范围与所述第一摄像头之间的远近程度;根据所述远近程度,确定所述第一摄像头对焦后的景深范围与其他摄像头的景深范围之间的排序;根据所述排序和所述第一摄像头对焦后的景深范围,从预设景深范围表中为所述其他摄像头确定目标景深范围,其中,所述预设景深范围表中包括摄像头的不同物距分别对应的景深范围。
示例地,仍以摄像头阵列中包括三个摄像头为例,在第一摄像头对焦后的景深范围与第一摄像头之间的远近程度为“近”的情况下,可以选择上述第(1)种景深范围组合;在第一摄像头对焦后的景深范围与第一摄像头之间的远近程度为“中”的情况下,可以选择上述第(2)种景深范围组合;在第一摄像头对焦后的景深范围与第一摄像头之间的远近程度为“远”的情况下,可以选择上述第(3)种景深范围组合。
具体实现时,如图4所示,可以将预设景深范围表中的物距划分为三个档次,其中小于或等于0.20m的物距被划分近档,介于0.25m-1.0m之间的物距被划分为中档,等于或大于1.1m的物距被划分为远档。
假设通过上述公式1和公式2计算出的第一摄像头的物距u等于0.41m,通过查询图4所示的预设景深范围表,确定预设景深范围表中的物距0.40m与计算出的物距u最接近。如此,将第一摄像头对目标物体对焦后的景深范围确定为0.295m-0.625m,第一摄像头的物距被调整为0.40m。如图4所示,由于第一摄像头的物距0.40m属于中档,也即第一摄像头对焦后的景深范围与第一摄像头之间的远近程度为“中”,因此选择上述第(2)种景深范围组合。如图4所示,可以将其余摄像头1的目标景深范围确定为0.205m-0.322m,将其余摄像头2的目标景深范围确定为0.55m-无穷远。
或者假设通过上述公式1和公式2计算出的第一摄像头的物距u等于0.128m,通过查询图4所示的预设景深范围表,确定预设景深范围表中的物距0.13m与计算出的物距u最接近。如此,将第一摄像头对目标物体对焦后的景深范围确定为0.117m-0.147m,第一摄像头的物距被调整为0.13m。由于第一摄像头的物距0.13m属于近档,也即第一摄像头对焦后的景深范围与第一摄像头之间的远近程度为“近”,因此选择上述第(1)种景深范围组合。可以将其余摄像头1的目标景深范围确定为0.133m-0.173m,将其余摄像头2的目标景深范围确定为0.170m-0.243m。为简化附图,该段所述的景深范围组合未在图4中示出。
或者假设通过上述公式1和公式2计算出的第一摄像头的物距u等于1.23m,通过查询图4所示的预设景深范围表,确定预设景深范围表中的物距1.2m与计算出的物距u最接近。如此,将第一摄像头对目标物体对焦后的景深范围确定为0.57m-无穷远,第一摄像头的物距被调整为1.2m。由于第一摄像头的物距1.2m属于远档,也即第一摄像头对焦后的景深范围与第一摄像头之间的远近程度为“远”,因此选择上述第(3)种景深范围组合。可以将其余摄像头1的目标景深范围确定为0.295m-0.625m,将其余摄像头2的目标景深范围确定为0.205m-0.322m。为简化附图,该段所述的景深范围组合未在图4中示出。
步骤S10-3:根据所述其它摄像头的目标景深范围,对所述其它摄像头进行调节。
本申请中,在所述其它摄像头被调节后,所述多个摄像头各自的景深范围互不相同,且相邻两个景深范围部分重叠。
具体实现时,可以根据所述其他摄像头的目标景深范围,确定所述其他摄像头的目标物距;根据所述其他摄像头的目标物距,确定所述其他摄像头的目标对焦编码值,所述目标对焦编码值表征:调节所述其他摄像头时,所述其他摄像头的位移量;基于所述目标对焦编码值,对所述其他摄像头的位置进行调节。
为便于理解,沿用图4所示的示例,其余摄像头1的目标景深范围为0.205m-0.322m,根据图4所示的预设景深范围表,可确定其余摄像头1的目标物距为0.25m。将其余摄像头1的目标物距0.25m作为u,带入上述公式1和公式2,反算出其余摄像头1的codenow,作为其余摄像头1的目标对焦编码值。然后基于计算出的codenow,对其他摄像头1的位置进行调节。经过调节后的其他摄像头1的景深范围恰好等于0.205m-0.322m。
同理地,其余摄像头2的目标景深范围为0.55m-无穷远,根据图4所示的预设景深范围表,可确定其余摄像头2的目标物距为1.1m。将其余摄像头2的目标物距1.1m作为u,带入上述公式1和公式2,反算出其余摄像头2的codenow,作为其余摄像头2的目标对焦编码值。然后基于计算出的codenow,对其他摄像头2的位置进行调节。经过调节后的其他摄像头2的景深范围恰好等于0.55m-无穷远。
步骤S11:控制摄像头阵列中的多个摄像头执行拍摄操作,获得多个摄像头各自拍摄的图像,其中,所述多个摄像头在执行拍摄操作时,各自的景深范围互不相同,且相邻两个景深范围部分重叠。
步骤S12:基于所述多个摄像头各自拍摄的图像,合成全景深图像。
针对步骤S11和步骤S12的具体说明,可参见上文。为避免重复,本申请在此不赘述。
基于同一发明构思,本申请一实施例提供一种摄像头组件。参考图5和图6,图5是本申请一实施例提出的摄像头阵列的示意图,图6是本申请一实施例提出的摄像头组件的示意图。如5和图6所示,所述摄像头组件包括控制单元62和摄像头阵列61。
所述控制单元62用于向所述摄像头阵列61发出拍摄指令,所述摄像头阵列61在接收到所述拍摄指令时,所述摄像头阵列61中的多个摄像头6101一次性执行拍摄操作,得到多张不同景深范围的图像,每张图像中均包含公共视场的图像。
其中,所述摄像头阵列61中的多个摄像头6101在执行拍摄操作时,所述多个摄像头6101具有所述公共视场,所述多个摄像头6101各自的景深范围互不相同,且范围相邻的两个景深范围之间具有重叠。
其中,多个摄像头6101一次性执行拍摄操作,包括但不限于以下几种拍摄方式:(1)多个摄像头6101在同一时刻执行拍摄操作;(2)多个摄像头6101在预设时间段(例如1秒)之内先后完成拍摄操作;(3)多个摄像头6101在先后执行拍摄操作时,先后次序相邻的两个摄像头分别执行拍摄操作的时间间隔不超过预设阈值(例如0.5秒)。
采用本申请提供的摄像头组件,由于其中的摄像头阵列中的多个摄像头各自的景深范围互不相同,且相邻两个景深范围部分重叠,因此控制该摄像头阵列中的多个摄像头执行拍摄操作时,可以一次性拍摄多张不同景深范围的图像。一方面,该摄像头组件对用户的拍摄技巧要求不高;另一方面,该摄像头组件显著缩短了多张图像的获得时间,降低了拍摄环境和被拍摄物体在拍摄期间产生变化的可能性,从而能获得更统一的多张图像。基于这些图像所合成的全景深图像具有更高的图像质量。
可选地,所述控制单元62还用于在发出所述拍摄指令之前,确定所述摄像头阵列61中的第一摄像头对目标物体对焦后的景深范围,并根据所述对焦后的景深范围,确定所述摄像头阵列中除所述第一摄像头以外的其它摄像头的目标景深范围,以及根据所述其它摄像头的目标景深范围,对所述其它摄像头进行调节;其中,在所述其它摄像头被调节后,所述摄像头阵列61中的多个摄像头各自的景深范围互不相同,且相邻两个景深范围部分重叠。
其中,第一摄像头可以是多个摄像头中的任一摄像头,也可以是多个摄像头中预先定义的主摄像头。需要说明的是,本申请对第一摄像头具体是多个摄像头中的哪个摄像头不做限定。
或者,所述摄像头阵列61中的多个摄像头各自的景深范围是预先设置的固定景深范围。
换言之,在一些实施方式中,摄像头阵列中各个摄像头的景深范围可调节。具体地,控制单元在控制摄像头阵列执行拍摄操作之前,可以根据摄像头阵列中一个摄像头的景深范围,自动调节摄像头阵列中其他摄像头的景深范围。调节后的摄像头阵列中,多个摄像头各自的景深范围互不相同,且范围相邻的两个景深范围之间具有重叠。
在另一些实施例中,摄像头阵列中各个摄像头的景深范围不可调节,例如摄像头阵列在生产时或出厂前,已经预先固定了各个摄像头的景深范围。景深范围固定后的多个摄像头满足以下条件:多个摄像头各自的景深范围互不相同,且范围相邻的两个景深范围之间具有重叠。
可选地,以摄像头阵列中各个摄像头的景深范围可调节为例,所述控制单元在确定所述多个摄像头中的第一摄像头对目标物体对焦后的景深范围时,具体用于:
获得所述第一摄像头对所述目标物体对焦后的物距;根据所述第一摄像头的对焦后的物距和所述第一摄像头的镜头参数,确定所述第一摄像头对目标物体对焦后的景深范围。
可选地,以摄像头阵列中各个摄像头的景深范围可调节为例,所述控制单元在确定所述多个摄像头中的第一摄像头对目标物体对焦后的景深范围时,具体用于:
获得所述第一摄像头对所述目标物体对焦后的物距;根据所述第一摄像头对所述目标物体对焦后的物距,从预设景深范围表中确定与所述物距相对应的景深范围,作为所述第一摄像头对目标物体对焦后的景深范围,其中,所述预设景深范围表中包括摄像头的不同物距分别对应的景深范围。
可选地,以摄像头阵列中各个摄像头的景深范围可调节为例,所述控制单元在获得所述第一摄像头对所述目标物体对焦后的物距时,具体用于:
获得第一摄像头对焦所述目标物体时的对焦编码值,该对焦编码值表征所述第一摄像头对焦所述目标物体时的位移量;根据所述第一摄像头的远景镜头标定位置和近景镜头标定位置之间的差值、所述第一摄像头的近景对焦编码标定值和远景对焦编码标定值之间的差值、所述第一摄像头对焦所述目标物体时的对焦编码值与所述远景对焦编码标定值之间的差值、以及所述第一摄像头的焦距,确定所述第一摄像头的的物距。
可选地,以摄像头阵列中各个摄像头的景深范围可调节为例,所述控制单元在根据所述对焦后的景深范围,确定所述多个摄像头中的其它摄像头的目标景深范围时,具体用于:
确定所述第一摄像头对焦后的景深范围与所述第一摄像头之间的远近程度;根据所述远近程度,确定所述第一摄像头对焦后的景深范围与其他摄像头的景深范围之间的排序;根据所述排序和所述第一摄像头对焦后的景深范围,从预设景深范围表中为所述其他摄像头确定目标景深范围,其中,所述预设景深范围表中包括摄像头的不同物距分别对应的景深范围。
可选地,以摄像头阵列中各个摄像头的景深范围可调节为例,所述控制单元在根据所述其它摄像头的目标景深范围,对所述其它摄像头进行调节时,具体用于:
根据所述其他摄像头的目标景深范围,确定所述其他摄像头的目标物距;根据所述其他摄像头的目标物距,确定所述其他摄像头的目标对焦编码值,所述目标对焦编码值表征:调节所述其他摄像头时,所述其他摄像头的位移量;基于所述目标对焦编码值,对所述其他摄像头的位置进行调节。
基于同一发明构思,本申请一实施例提供一种合成全景深图像的装置。参考图7,图7是本申请一实施例提出的合成全景深图像的装置的示意图。
如图7所示,该装置包括:
摄像头控制模块71,用于控制摄像头阵列中的多个摄像头执行拍摄操作,获得多个摄像头各自拍摄的图像,其中,所述多个摄像头在执行拍摄操作时,各自的景深范围互不相同,且相邻两个景深范围部分重叠;
图像合成模块72,用于基于所述多个摄像头各自拍摄的图像,合成全景深图像。
可选地,所述装置还包括:
景深范围确定模块,用于在控制摄像头阵列中的多个摄像头执行拍摄操作之前,确定所述多个摄像头中的第一摄像头对目标物体对焦后的景深范围;
目标景深范围确定模块,用于根据所述对焦后的景深范围,确定所述多个摄像头中除所述第一摄像头以外的其它摄像头的目标景深范围;
摄像头调节模块,用于根据所述其它摄像头的目标景深范围,对所述其它摄像头进行调节;
在所述其它摄像头被调节后,所述多个摄像头各自的景深范围互不相同,且相邻两个景深范围部分重叠。
可选地,所述景深范围确定模块包括:
物距获得单元,用于获得所述第一摄像头对所述目标物体对焦后的物距;
景深范围确定单元,用于根据所述第一摄像头的对焦后的物距和所述第一摄像头的镜头参数,确定所述第一摄像头对目标物体对焦后的景深范围。
可选地,或者所述景深范围确定模块包括:
物距获得单元,用于获得所述第一摄像头对所述目标物体对焦后的物距;
景深范围表查询单元,用于根据所述第一摄像头对所述目标物体对焦后的物距,从预设景深范围表中确定与所述物距相对应的景深范围,作为所述第一摄像头对目标物体对焦后的景深范围,其中,所述预设景深范围表中包括摄像头的不同物距分别对应的景深范围。
可选地,所述物距获得单元在获得所述第一摄像头对所述目标物体对焦后的物距时,具体用于:
获得第一摄像头对焦所述目标物体时的对焦编码值,该对焦编码值表征所述第一摄像头对焦所述目标物体时的位移量;
根据所述第一摄像头的远景镜头标定位置和近景镜头标定位置之间的差值、所述第一摄像头的近景对焦编码标定值和远景对焦编码标定值之间的差值、所述第一摄像头对焦所述目标物体时的对焦编码值与所述远景对焦编码标定值之间的差值、以及所述第一摄像头的焦距,确定所述第一摄像头的的物距。
可选地,所述目标景深范围确定模块包括:
远景程度确定单元,用于确定所述第一摄像头对焦后的景深范围与所述第一摄像头之间的远近程度;
排序确定单元,用于根据所述远近程度,确定所述第一摄像头对焦后的景深范围与其他摄像头的景深范围之间的排序;
景深范围表查询单元,用于根据所述排序和所述第一摄像头对焦后的景深范围,从预设景深范围表中为所述其他摄像头确定目标景深范围,其中,所述预设景深范围表中包括摄像头的不同物距分别对应的景深范围。
可选地,所述摄像头调节模块包括:
目标物距确定单元,用于根据所述其他摄像头的目标景深范围,确定所述其他摄像头的目标物距;
目标对焦编码值确定单元,用于根据所述其他摄像头的目标物距,确定所述其他摄像头的目标对焦编码值,所述目标对焦编码值表征:调节所述其他摄像头时,所述其他摄像头的位移量;
位置调节单元,用于基于所述目标对焦编码值,对所述其他摄像头的位置进行调节。
可选地,所述图像合成模块在基于所述多个摄像头各自拍摄的图像,合成全景深图像时,具体用于:
将各张图像中的物体缩放至相同大小;
确定各张缩放后的图像的公共区域,并针对每张缩放后的图像,从该图像中截取出所述公共区域;
将截取出的多个公共区域合成全景深图像。
基于同一发明构思,本申请另一实施例提供一种可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请上述任一实施例所述的合成全景深图像的方法中的步骤。
基于同一发明构思,本申请另一实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行时实现本申请上述任一实施例所述的合成全景深图像的方法中的步骤。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种合成全景深图像方法、装置、设备、介质及摄像头阵列和组件,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种合成全景深图像的方法,其特征在于,所述方法包括:
控制摄像头阵列中的多个摄像头执行拍摄操作,获得多个摄像头各自拍摄的图像,其中,所述多个摄像头在执行拍摄操作时,各自的景深范围互不相同,且相邻两个景深范围部分重叠;
基于所述多个摄像头各自拍摄的图像,合成全景深图像。
2.根据权利要求1所述的方法,其特征在于,在控制摄像头阵列中的多个摄像头执行拍摄操作之前,所述方法还包括:
确定所述多个摄像头中的第一摄像头对目标物体对焦后的景深范围;
根据所述对焦后的景深范围,确定所述多个摄像头中除所述第一摄像头以外的其它摄像头的目标景深范围;
根据所述其它摄像头的目标景深范围,对所述其它摄像头进行调节;
在所述其它摄像头被调节后,所述多个摄像头各自的景深范围互不相同,且相邻两个景深范围部分重叠。
3.根据权利要求2所述的方法,其特征在于,确定所述多个摄像头中的第一摄像头对目标物体对焦后的景深范围的步骤,包括:
获得所述第一摄像头对所述目标物体对焦后的物距;
根据所述第一摄像头的对焦后的物距和所述第一摄像头的镜头参数,确定所述第一摄像头对目标物体对焦后的景深范围。
4.根据权利要求2所述的方法,其特征在于,确定所述多个摄像头中的第一摄像头对目标物体对焦后的景深范围的步骤,包括:
获得所述第一摄像头对所述目标物体对焦后的物距;
根据所述第一摄像头对所述目标物体对焦后的物距,从预设景深范围表中确定与所述物距相对应的景深范围,作为所述第一摄像头对目标物体对焦后的景深范围,其中,所述预设景深范围表中包括摄像头的不同物距分别对应的景深范围。
5.根据权利要求3或4所述的方法,其特征在于,获得所述第一摄像头对所述目标物体对焦后的物距的步骤,包括:
获得第一摄像头对焦所述目标物体时的对焦编码值,该对焦编码值表征所述第一摄像头对焦所述目标物体时的位移量;
根据所述第一摄像头的远景镜头标定位置和近景镜头标定位置之间的差值、所述第一摄像头的近景对焦编码标定值和远景对焦编码标定值之间的差值、所述第一摄像头对焦所述目标物体时的对焦编码值与所述远景对焦编码标定值之间的差值、以及所述第一摄像头的焦距,确定所述第一摄像头的的物距。
6.根据权利要求2所述的方法,其特征在于,根据所述对焦后的景深范围,确定所述多个摄像头中的其它摄像头的目标景深范围,包括:
确定所述第一摄像头对焦后的景深范围与所述第一摄像头之间的远近程度;
根据所述远近程度,确定所述第一摄像头对焦后的景深范围与其他摄像头的景深范围之间的排序;
根据所述排序和所述第一摄像头对焦后的景深范围,从预设景深范围表中为所述其他摄像头确定目标景深范围,其中,所述预设景深范围表中包括摄像头的不同物距分别对应的景深范围。
7.根据权利要求2所述的方法,其特征在于,根据所述其它摄像头的目标景深范围,对所述其它摄像头进行调节的步骤,包括:
根据所述其他摄像头的目标景深范围,确定所述其他摄像头的目标物距;
根据所述其他摄像头的目标物距,确定所述其他摄像头的目标对焦编码值,所述目标对焦编码值表征:调节所述其他摄像头时,所述其他摄像头的位移量;
基于所述目标对焦编码值,对所述其他摄像头的位置进行调节。
8.根据权利要求1至4任一所述的方法,其特征在于,基于所述多个摄像头各自拍摄的图像,合成全景深图像的步骤,包括:
将各张图像中的物体缩放至相同大小;
确定各张缩放后的图像的公共区域,并针对每张缩放后的图像,从该图像中截取出所述公共区域;
将截取出的多个公共区域合成全景深图像。
9.一种摄像头组件,其特征在于,包括控制单元和摄像头阵列;
所述控制单元用于向所述摄像头阵列发出拍摄指令,所述摄像头阵列在接收到所述拍摄指令时,所述摄像头阵列中的多个摄像头一次性执行拍摄操作,得到多张不同景深范围的图像,每张图像中均包含公共视场的图像;
其中,所述摄像头阵列中的多个摄像头在执行拍摄操作时,所述多个摄像头具有所述公共视场,所述多个摄像头各自的景深范围互不相同,且范围相邻的两个景深范围之间具有重叠。
10.根据权利要求9所述的摄像头组件,其特征在于,所述控制单元还用于在发出所述拍摄指令之前,确定所述摄像头阵列中的第一摄像头对目标物体对焦后的景深范围,并根据所述对焦后的景深范围,确定所述摄像头阵列中除所述第一摄像头以外的其它摄像头的目标景深范围,以及根据所述其它摄像头的目标景深范围,对所述其它摄像头进行调节;其中,在所述其它摄像头被调节后,所述摄像头阵列中的多个摄像头各自的景深范围互不相同,且相邻两个景深范围部分重叠;
或者,
所述摄像头阵列中的多个摄像头各自的景深范围是预先设置的固定景深范围。
11.一种合成全景深图像的装置,其特征在于,所述装置包括:
摄像头控制模块,用于控制摄像头阵列中的多个摄像头执行拍摄操作,获得多个摄像头各自拍摄的图像,其中,所述多个摄像头在执行拍摄操作时,各自的景深范围互不相同,且相邻两个景深范围部分重叠;
图像合成模块,用于基于所述多个摄像头各自拍摄的图像,合成全景深图像。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现如权利要求1至8任一所述的方法中的步骤。
13.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现如权利要求1至8任一所述的方法的步骤。
CN202010471201.5A 2020-05-28 2020-05-28 合成全景深图像方法、装置、设备、介质及摄像头阵列和组件 Pending CN111866370A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010471201.5A CN111866370A (zh) 2020-05-28 2020-05-28 合成全景深图像方法、装置、设备、介质及摄像头阵列和组件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010471201.5A CN111866370A (zh) 2020-05-28 2020-05-28 合成全景深图像方法、装置、设备、介质及摄像头阵列和组件

Publications (1)

Publication Number Publication Date
CN111866370A true CN111866370A (zh) 2020-10-30

Family

ID=72985292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010471201.5A Pending CN111866370A (zh) 2020-05-28 2020-05-28 合成全景深图像方法、装置、设备、介质及摄像头阵列和组件

Country Status (1)

Country Link
CN (1) CN111866370A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112492212A (zh) * 2020-12-02 2021-03-12 维沃移动通信有限公司 拍照方法、装置、电子设备及存储介质
CN112532881A (zh) * 2020-11-26 2021-03-19 维沃移动通信有限公司 图像处理方法、装置和电子设备
CN112822402A (zh) * 2021-01-08 2021-05-18 重庆创通联智物联网有限公司 图像拍摄方法、装置、电子设备和可读存储介质
CN113014820A (zh) * 2021-03-15 2021-06-22 联想(北京)有限公司 一种处理方法、装置及电子设备
CN115022481A (zh) * 2022-06-06 2022-09-06 中亿启航数码科技(北京)有限公司 一种图像优化的线性扫描装置
CN115052077A (zh) * 2022-06-13 2022-09-13 中亿启航数码科技(北京)有限公司 一种扫描装置及方法
CN115065761A (zh) * 2022-06-13 2022-09-16 中亿启航数码科技(北京)有限公司 一种多镜头扫描装置及其扫描方法
CN116132791A (zh) * 2023-03-10 2023-05-16 创视微电子(成都)有限公司 一种获取多运动物体多景深清晰图像的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595919A (zh) * 2013-11-15 2014-02-19 深圳市中兴移动通信有限公司 手动对焦方法和拍摄装置
CN104780315A (zh) * 2015-04-08 2015-07-15 广东欧珀移动通信有限公司 摄像装置拍摄的方法和系统
CN105282443A (zh) * 2015-10-13 2016-01-27 哈尔滨工程大学 一种全景深全景图像成像方法
CN108701361A (zh) * 2017-11-30 2018-10-23 深圳市大疆创新科技有限公司 深度值确定方法和装置
CN110365887A (zh) * 2019-07-30 2019-10-22 歌尔股份有限公司 成像方法、装置、设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595919A (zh) * 2013-11-15 2014-02-19 深圳市中兴移动通信有限公司 手动对焦方法和拍摄装置
CN104780315A (zh) * 2015-04-08 2015-07-15 广东欧珀移动通信有限公司 摄像装置拍摄的方法和系统
CN105282443A (zh) * 2015-10-13 2016-01-27 哈尔滨工程大学 一种全景深全景图像成像方法
CN108701361A (zh) * 2017-11-30 2018-10-23 深圳市大疆创新科技有限公司 深度值确定方法和装置
CN110365887A (zh) * 2019-07-30 2019-10-22 歌尔股份有限公司 成像方法、装置、设备及计算机可读存储介质

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112532881A (zh) * 2020-11-26 2021-03-19 维沃移动通信有限公司 图像处理方法、装置和电子设备
CN112492212A (zh) * 2020-12-02 2021-03-12 维沃移动通信有限公司 拍照方法、装置、电子设备及存储介质
CN112492212B (zh) * 2020-12-02 2022-05-06 维沃移动通信有限公司 拍照方法、装置、电子设备及存储介质
WO2022116885A1 (zh) * 2020-12-02 2022-06-09 维沃移动通信有限公司 拍照方法、装置、电子设备及存储介质
CN112822402A (zh) * 2021-01-08 2021-05-18 重庆创通联智物联网有限公司 图像拍摄方法、装置、电子设备和可读存储介质
CN113014820A (zh) * 2021-03-15 2021-06-22 联想(北京)有限公司 一种处理方法、装置及电子设备
CN115022481A (zh) * 2022-06-06 2022-09-06 中亿启航数码科技(北京)有限公司 一种图像优化的线性扫描装置
CN115022481B (zh) * 2022-06-06 2023-08-22 中亿启航数码科技(北京)有限公司 一种图像优化的线性扫描装置
CN115052077A (zh) * 2022-06-13 2022-09-13 中亿启航数码科技(北京)有限公司 一种扫描装置及方法
CN115065761A (zh) * 2022-06-13 2022-09-16 中亿启航数码科技(北京)有限公司 一种多镜头扫描装置及其扫描方法
CN115065761B (zh) * 2022-06-13 2023-09-12 中亿启航数码科技(北京)有限公司 一种多镜头扫描装置及其扫描方法
CN115052077B (zh) * 2022-06-13 2023-09-22 中亿启航数码科技(北京)有限公司 一种扫描装置及方法
CN116132791A (zh) * 2023-03-10 2023-05-16 创视微电子(成都)有限公司 一种获取多运动物体多景深清晰图像的方法及装置

Similar Documents

Publication Publication Date Title
CN111866370A (zh) 合成全景深图像方法、装置、设备、介质及摄像头阵列和组件
US9521311B2 (en) Quick automatic focusing method and image acquisition apparatus
US9456141B2 (en) Light-field based autofocus
US6476868B1 (en) Image pickup apparatus provided with enlargement process means for enlarging image signals output from an image pickup device
US9781334B2 (en) Control method, camera device and electronic equipment
JP7071227B2 (ja) 電子機器およびその制御方法
EP2065741B1 (en) Auto-focus apparatus, image- pickup apparatus, and auto- focus method
US20160173762A1 (en) Image-capturing apparatus
CN101350889A (zh) 图像拾取设备及其控制方法
JP2019082646A (ja) レンズ制御装置、該レンズ制御装置を備える撮像装置、及びレンズ制御方法
CN105245768A (zh) 一种焦距调节方法、装置和终端
US5838370A (en) Image pickup apparatus
JP4241460B2 (ja) 電子撮像装置
JP6727453B2 (ja) 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
CN107517345B (zh) 拍摄预览方法及拍摄设备
JP2018097253A (ja) 焦点調節装置および焦点調節方法
US10880536B2 (en) Three-dimensional image capturing device and method
CN104580899A (zh) 物体成像的控制方法及成像装置
JP2020144158A (ja) 撮像装置及びその制御装置
JP2019219584A (ja) 電子機器およびその制御方法
JP2016142924A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
CN113840084A (zh) 一种基于球机ptz回传技术实现全景云台操控的方法
KR100579135B1 (ko) 수렴형 3차원 다시점 영상 획득 방법
JP2013061584A (ja) 光学機器
KR100395530B1 (ko) 피사체에 대한 부가정보를 표시할 수 있는 디지털 카메라및 그 표시방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201030

RJ01 Rejection of invention patent application after publication