CN104486537A - 光场采集控制方法和装置 - Google Patents

光场采集控制方法和装置 Download PDF

Info

Publication number
CN104486537A
CN104486537A CN201410584615.3A CN201410584615A CN104486537A CN 104486537 A CN104486537 A CN 104486537A CN 201410584615 A CN201410584615 A CN 201410584615A CN 104486537 A CN104486537 A CN 104486537A
Authority
CN
China
Prior art keywords
lens
sub
precision
heavily
focusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410584615.3A
Other languages
English (en)
Other versions
CN104486537B (zh
Inventor
杜琳
周梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Tech Co Ltd
Original Assignee
Beijing Zhigu Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Tech Co Ltd filed Critical Beijing Zhigu Tech Co Ltd
Priority to CN201410584615.3A priority Critical patent/CN104486537B/zh
Publication of CN104486537A publication Critical patent/CN104486537A/zh
Priority to US15/520,125 priority patent/US10257502B2/en
Priority to PCT/CN2015/089298 priority patent/WO2016065991A1/en
Application granted granted Critical
Publication of CN104486537B publication Critical patent/CN104486537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例公开了一种光场采集控制方法和装置,其中一种光场采集控制方法包括:至少根据光场相机的子透镜阵列中影响第一区成像的至少一子透镜,确定待调节的至少一第一子透镜,所述第一区为待摄场景的局部;确定所述待摄场景的光场图像中经所述第一子透镜采集的光场图像部分的目标重对焦精度;根据所述目标重对焦精度调节所述第一子透镜的光场采集参数;基于调节后的所述光场相机进行所述待摄场景的光场采集。该方案可实现对应所述待摄场景的不同区域的各光场图像部分的重对焦精度呈现差异化分布,更好满足用户的实际应用需求。

Description

光场采集控制方法和装置
技术领域
本申请涉及光场采集技术领域,特别是涉及一种光场采集控制方法和装置。
背景技术
光场相机是一种利用子透镜阵列来记录和再现三维场景的成像技术,其通常是在主透镜和如CCD等图像传感器之间放置一子透镜阵列,通过子透镜阵列将三维场景不同方向的光场信息在子透镜阵列的焦平面上进行记录。
与传统相机的二维图像采集方式不同,光场相机通过单次曝光可以记录三维场景的空间、视角等四维光场信息,支持“先拍摄后调焦”(即拍摄时不需要对焦),拍摄后的光场图像在围绕拍摄时的对焦平面的一个特定范围称为该光场图像的重对焦点调节深度范围。所述光场相机的重对焦点调节深度范围根据该光场相机各元件的特性及相对位置等因素,可预先计算获得。
在该重对焦点调节深度范围内,距离一定深度步长值即可确定一个新的重对焦点,可从所述光场图像中获取一副基于该重对焦点的重对焦图像。重对焦精度,也可称为重对焦空间深度分辨率,表示所述重对焦点调节深度范围内相邻两个重对焦点相距的步长值的大小,如果重对焦精度较大,则在所述重对焦点调节深度范围内距离一个较小的步长值即可获取一新的重对焦点;反之,如果重对焦精度较小,则在所述重对焦点调节深度范围内距离一个较大的步长值方可获取一新的重对焦点。
发明内容
在下文中给出了关于本申请的简要概述,以便提供关于本申请的某些方面的基本理解。应当理解,这个概述并不是关于本申请的穷举性概述。它并不是意图确定本申请的关键或重要部分,也不是意图限定本申请的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
本申请提供一种光场采集控制方法和装置。
一方面,本申请实施例提供了一种光场采集控制方法,包括:
至少根据光场相机的子透镜阵列中影响第一区成像的至少一子透镜,确定待调节的至少一第一子透镜,所述第一区为待摄场景的局部;
确定所述待摄场景的光场图像中经所述第一子透镜采集的光场图像部分的目标重对焦精度;
根据所述目标重对焦精度调节所述第一子透镜的光场采集参数;
基于调节后的所述光场相机进行所述待摄场景的光场采集。
结合本申请一方面的任一种实施方式,确定所述目标重对焦精度,可包括:确定经所述第一子透镜采集的光场图像部分的缺省重对焦精度;根据所述缺省重对焦精度确定所述目标重对焦精度,其中,所述目标重对焦精度大于所述缺省重对焦精度。
结合本申请一方面的任一种实施方式,所述第一子透镜的光场采集参数可包括以下至少之一:所述第一子透镜的焦距、所述第一子透镜与所述图像传感器之间的距离。
结合本申请一方面的任一种实施方式,根据所述目标重对焦精度调节所述第一子透镜的焦距,可包括:根据所述目标重对焦精度减小所述第一子透镜的焦距。
结合本申请一方面的任一种实施方式,根据所述目标重对焦精度调节所述第一子透镜与所述图像传感器之间的距离,可包括:根据所述目标重对焦精度增加所述第一子透镜与所述图像传感器之间的距离。
结合本申请一方面的任一种实施方式,基于调节后的所述光场相机进行所述待摄场景的光场采集之前,所述方法还可包括:确定待调节的至少一第二子透镜,所述第二子透镜为所述子透镜阵列中除所述至少一子透镜之外的一其他子透镜;采用与所述第一子透镜的光场采集参数反向的调节方式,调节所述第二子透镜的光场采集参数。
结合本申请一方面的任一种实施方式,所述第二子透镜的光场采集参数可包括以下至少之一:所述第二子透镜的焦距、所述第二子透镜与所述图像传感器之间的距离。
结合本申请一方面的任一种实施方式,采用与所述第一子透镜的光场采集参数反向的调节方式,调节所述第二子透镜的焦距,可包括:在减小所述第一子透镜的焦距的情形下,增加所述第二子透镜的焦距。
结合本申请一方面的任一种实施方式,采用与所述第一子透镜的光场采集参数反向的调节方式,调节所述第二子透镜与所述图像传感器之间的距离,可包括:在增加所述第一子透镜与所述图像传感器之间的距离的情形下,减小所述第二子透镜与所述图像传感器之间的距离。
结合本申请一方面的任一种实施方式,基于调节后的所述光场相机进行所述待摄场景的光场采集之前,所述方法还可包括:调节所述第二子透镜的光轴方向,以移动所述图像传感器上与所述第二子透镜对应的成像区域的中心,由此减小调节的所述第二子透镜和与其相邻的子透镜对应的成像区域之间的间距。
结合本申请一方面的任一种实施方式,确定所述至少一第一子透镜,可包括:根据所述至少一子透镜、所述光场相机容许采集的光场图像的重对焦点调节深度范围和所述第一区的深度信息,确定所述至少一第一子透镜。
结合本申请一方面的任一种实施方式,根据所述至少一子透镜、所述重对焦点调节深度范围和所述第一区的深度信息,确定所述至少一第一子透镜,可包括:确定所述第一区的深度信息与所述重对焦点调节深度范围的重叠深度范围;确定所述至少一子透镜中影响所述重叠深度范围成像的一个或多个子透镜,为所述至少一第一子透镜。
结合本申请一方面的任一种实施方式,所述方法还可包括:确定所述第一区。
结合本申请一方面的任一种实施方式,确定所述第一区,可包括:基于所述光场相机关于所述待摄场景的预览图像获取感兴趣区确定信息;确定所述待摄场景中与所述感兴趣区确定信息对应的区域为所述第一区。
结合本申请一方面的任一种实施方式,确定所述第一区,包括:对所述光场相机关于所述待摄场景的预览图像进行图像分析;根据所述图像分析结果确定所述第一区。
另一方面,本申请实施例还提供了一种光场采集控制装置,包括:
一第一子透镜确定模块,用于至少根据光场相机的子透镜阵列中影响第一区成像的至少一子透镜,确定待调节的至少一第一子透镜,所述第一区为待摄场景的局部;
一目标重对焦精度确定模块,用于确定所述待摄场景的光场图像中经所述第一子透镜采集的光场图像部分的目标重对焦精度;
一第一子透镜调节模块,用于根据所述目标重对焦精度调节所述第一子透镜的光场采集参数;
一光场采集模块,用于基于调节后的所述光场相机进行所述待摄场景的光场采集。
结合本申请另一方面的任一种实施方式,所述目标重对焦精度确定模块可包括:一缺省重对焦精度确定子模块,用于确定经所述第一子透镜采集的光场图像部分的缺省重对焦精度;一目标重对焦精度确定子模块,用于根据所述缺省重对焦精度确定所述目标重对焦精度,其中,所述目标重对焦精度大于所述缺省重对焦精度。
结合本申请另一方面的任一种实施方式,所述第一子透镜调节模块可包括:一第一子透镜调节子模块,用于根据所述目标重对焦精度调节所述第一子透镜的的焦距和/或所述第一子透镜与所述图像传感器之间的距离。
结合本申请另一方面的任一种实施方式,所述第一子透镜调节子模块可包括:一第一子透镜焦距调节单元,用于根据所述目标重对焦精度减小所述第一子透镜的焦距。
结合本申请另一方面的任一种实施方式,所述第一子透镜调节子模块可包括:一第一子透镜距离调节单元,用于根据所述目标重对焦精度增加所述第一子透镜与所述图像传感器之间的距离。
结合本申请另一方面的任一种实施方式,所述装置还可包括:一第二子透镜确定模块,用于确定待调节的至少一第二子透镜,所述第二子透镜为所述子透镜阵列中除所述至少一子透镜之外的一其他子透镜;一第二子透镜调节模块,用于采用与所述第一子透镜的光场采集参数反向的调节方式,调节所述第二子透镜的光场采集参数。
结合本申请另一方面的任一种实施方式,所述第二子透镜调节模块包括:一第二子透镜调节子模块,用于采用与所述第一子透镜的光场采集参数反向的调节方式,调节所述第二子透镜的焦距和/或所述第二子透镜与所述图像传感器之间的距离。
结合本申请另一方面的任一种实施方式,所述第二子透镜调节子模块,可包括:一第二子透镜焦距调节单元,用于在减小所述第一子透镜的焦距的情形下,增加所述第二子透镜的焦距。
结合本申请另一方面的任一种实施方式,所述第二子透镜调节子模块,可包括:一第二子透镜距离调节单元,用于在增加所述第一子透镜与所述图像传感器之间的距离的情形下,减小所述第二子透镜与所述图像传感器之间的距离。
结合本申请另一方面的任一种实施方式,所述装置还可包括:一第二子透镜光轴调节模块,用于调节所述第二子透镜的光轴方向,以移动所述图像传感器上与所述第二子透镜对应的成像区域的中心,由此减小调节的所述第二子透镜和与其相邻的子透镜对应的成像区域之间的间距。
结合本申请另一方面的任一种实施方式,所述第一子透镜确定模块,可包括:一第一子透镜确定子模块,用于根据所述至少一子透镜、所述光场相机容许采集的光场图像的重对焦点调节深度范围和所述第一区的深度信息,确定所述至少一第一子透镜。
结合本申请另一方面的任一种实施方式,所述第一子透镜确定子模块,可包括:一重叠深度范围确定单元,用于确定所述第一区的深度信息与所述重对焦点调节深度范围的重叠深度范围;一第一子透镜确定单元,用于确定所述至少一子透镜中影响所述重叠深度范围成像的一个或多个子透镜,为所述至少一第一子透镜。
结合本申请另一方面的任一种实施方式,所述装置还可包括:一第一区确定模块,用于确定所述第一区。
结合本申请另一方面的任一种实施方式,所述第一区确定模块,可包括:一感兴趣区确定信息获取子模块,用于基于所述光场相机关于所述待摄场景的预览图像获取感兴趣区确定信息;一感兴趣区确定子模块,用于确定所述待摄场景中与所述感兴趣区确定信息对应的区域为所述第一区。
结合本申请另一方面的任一种实施方式,所述第一区确定模块,可包括:一图像分析子模块,用于对所述光场相机关于所述待摄场景的预览图像进行图像分析;一第一区确定子模块,用于根据所述图像分析结果确定所述第一区。
采用本申请实施例提供的技术方案,可确定待摄场景的第一区的光场图像部分的目标重对焦精度,根据所述目标重对焦精度对影响待摄场景的第一区至少局部成像的第一子透镜进行光场采集参数的调节,并基于调节后的光场相机进行待摄图像的光场采集,由此得到的光场图像对应所述待摄场景不同区域的各光场图像部分的重对焦精度呈现差异化分布,相对所述待摄场景的其他部分而言,所述待摄场景的第一区对应的光场图像部分的重对焦精度相对缺省重对焦精度有所改变,对应所述第一区的光场图像部分的实际重对焦精度,尽可能接近或等于所述目标重对焦精度,由此实现对应所述待摄场景的不同区域的各光场图像部分的重对焦精度呈现差异化分布,更好满足用户的实际应用需求。
通过以下结合附图对本申请的可选实施例的详细说明,本申请的这些以及其它的优点将更加明显。
附图说明
本申请可以通过参考下文中结合附图所给出的描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明本申请的可选实施例和解释本申请的原理和优点。在附图中:
图1为本申请实施例提供的一种光场采集控制方法的流程图;
图2为本申请实施例提供的一种光场相机的可选光路结构示意图;
图3a为本申请实施例提供的一种光场相机各子透镜调节之前,各子透镜与图像传感器的成像区域之间的对应关系的可选示例;
图3b为本申请实施例提供的光场相机调节后的子透镜和成像区域对应关系的一个可选示例;
图3c为本申请实施例提供的光场相机调节后的子透镜和成像区域对应关系的另一个可选示例;
图3d为本申请实施例提供的光场相机调节后的子透镜和成像区域对应关系的又一个可选示例;
图4为本申请实施例提供的第一种光场采集控制装置的逻辑框图;
图5为本申请实施例提供的第二种光场采集控制装置的逻辑框图;
图6为本申请实施例提供的第三种光场采集控制装置的逻辑框图;
图7为本申请实施例提供的一种第一子透镜的可选逻辑框图;
图8为本申请实施例提供的第四种光场采集控制装置的逻辑框图;
图9为本申请实施例提供的第五种光场采集控制装置的逻辑框图。
本领域技术人员应当理解,附图中的元件仅仅是为了简单和清楚起见而示出的,而且不一定是按比例绘制的。例如,附图中某些元件的尺寸可能相对于其他元件放大了,以便有助于提高对本申请实施例的理解。
具体实施方式
在下文中将结合附图对本申请的示范性实施例进行详细描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与系统及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本申请,在附图和说明中仅仅描述了与根据本申请的方案密切相关的装置结构和/或处理步骤,而省略了对与本申请关系不大的、本领域普通技术人员已知的部件和处理的表示和描述。
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例,对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请,但不用来限制本申请的范围。
本领域技术人员可以理解,本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
本申请发明人在实践本申请实施例的过程中发现,在基于光场相机对待摄场景进行光场采集的情形下,所述待摄场景的不同区域可经过所述光场相机的子透镜阵列的不同子透镜进行光场采集,经各子透镜分别采集到的光场图像部分的整体即为所述待摄场景的光场图像。对于所述光场相机采集到的光场图像而言,所述光场图像的重对焦点深度调节范围通常是围绕光场采集时的对焦平面的一个特定范围,重对焦精度通常为一常数(不妨称为缺省重对焦精度),均可预先获取,也就是说,通常所述待摄场景的光场图像中经所述光场相机的不同子透镜所采集到的各光场图像部分的重对焦精度均相同,即所述待摄场景的不同区域对应的各光场图像部分的重对焦精度均相同。然而在某些情形下,待摄场景的不同区域通常对用户而言具有不同的意义和/或重要性,即用户对待摄场景不同区域的光场图像部分的重对焦精度的要求不尽相同。例如:在人物拍摄场景下,用户对场景中人脸的感兴趣程度要高于场景中的景物,故对人脸的光场图像部分的重对焦精度等要求较高;等等。为此,本申请实施例提供了一种光场采集控制方法,可对待摄场景的不同区域的光场图像部分的重对焦精度进行差异化调节,由此更好满足用户多样化的实际应用需求。下面结合附图进一步说明技术方案。
图1为本申请实施例提供的一种光场采集控制方法的流程图。本申请实施例提供的光场采集控制方法的执行主体可为某一光场采集控制装置,所述光场采集控制装置可在但不限于拍照、摄像、摄影、视频监控等应用过程中通过执行该光场采集控制方法进行静态或动态的光场采集控制。所述光场采集控制装置的设备表现形式不受限制,例如所述光场采集控制装置可为某一独立的部件,该部件与光场相机配合通信;或者,所述光场采集控制装置可作为某一功能模块集成在一包括有光场相机的图像采集设备中,本申请实施例对此并不限制。
具体如图1所示,本申请实施例提供的一种光场采集控制方法包括:
S101:至少根据光场相机的子透镜阵列中影响第一区成像的至少一子透镜,确定待调节的至少一第一子透镜,所述第一区为待摄场景的局部。
所述光场相机通常包括依次设置的主透镜、子透镜阵列和图像传感器,所述子透镜阵列包括多个阵列分布的子透镜。所述待摄场景为三维场景。来自所述待摄场景不同对象的不同方向光线经主透镜汇聚到所述子透镜阵列的至少一个子透镜上,经所述至少一个子透镜对主透镜汇聚的光线进行分离,分离的光线通过图像传感器进行光线强弱、方向等信息的记录,由此采集得到所述待摄场景多个视角方向的成像信息(即光场信息),采集到的光场信息可表现为相互穿插排列的多幅视差图像的叠加,不妨称之为光场图像。
在基于光场相机进行待摄场景的光场采集的情形下,影响所述待摄场景不同区域成像的子透镜可能不同,本申请确定出光场相机的子透镜阵列中影响所述第一区成像的至少一子透镜,并从确定的所述至少一子透镜中确定部分或全部子透镜作为待调节的第一子透镜。也就是说,影响所述第一区成像的所有子透镜中可能只有部分子透镜是待调节的,也有可能全部是待调节的,具体可根据实际需要确定。
S102:确定所述待摄场景的光场图像中经所述第一子透镜采集的光场图像部分的目标重对焦精度。
经所述第一子透镜采集的光场图像部分的目标重对焦精度,通常用来表征用户或设备对于所述第一区位于重对焦深度调节范围内的至少局部所对应的光场图像部分的重对焦精度的相对预期。实际应用中,可根据用户或设备对所述第一区的重对焦精度要求灵活确定所述目标重对焦精度,确定的所述目标重对焦精度与缺省重对焦精度不同,例如,所述目标重对焦精度大于所述缺省重对焦精度,或者,所述目标重对焦精度小于所述缺省重对焦精度。S103:根据所述目标重对焦精度调节所述第一子透镜的光场采集参数。
本申请发明人在实践本申请实施例过程中发现,在所述光场相机中,对子透镜阵列的各子透镜的光学采集参数(如子透镜的焦距、子透镜与图像传感器之间的距离,等等)进行调节,对经各子透镜采集到的光场图像部分的重对焦精度会产生影响。具体而言,在光场相机对焦进行光场采集过程中,不同子透镜采集到的各光场图像部分的重对焦精度,与各子透镜对应的图像传感器的成像区域所包括的像素点数量存在一定的对应关系,如果子透镜对应的图像传感器的成像区域所包括的像素点数量较多,则该子透镜采集到的光场图像部分的重对焦精度较大,反之亦然。而调节子透镜的光场采集参数可改变该子透镜对应的图像传感器的成像面积,如果该子透镜对应的图像传感器的成像区域变大(即增加了成像面积),则该子透镜对应的图像传感器的像素点数量也增加了,据此进行光场采集,可提高该子透镜采集到的光场图像部分的重对焦精度;反之,如果该子透镜对应的图像传感器的成像区域变小(即减小了成像面积),则该子透镜对应的图像传感器的像素点数量也减小了,据此进行光场采集,可降低该子透镜采集到的光场图像部分的重对焦精度。
实际应用中,本申请实施例可根据经所述第一子透镜采集的光场图像部分的目标重对焦精度,确定所述第一子透镜对应的图像传感器的目标成像面积,根据所述目标成像面积调节所述第一子透镜的光场采集参数,使得调节后所述第一子透镜对应的所述图像传感器的实际成像面积,尽可能接近或等于所述目标成像面积,进而使得经所述第一子透镜采集到的光场图像部分的实际重对焦精度尽可能接近或等于目标重对焦精度。
S104:基于调节后的所述光场相机进行所述待摄场景的光场采集。
所述光场相机对所述第一子透镜进行调节后,所述图像传感器对应所述子透镜阵列的不同子透镜的成像面积不尽相同。例如,通过根据所述目标重对焦精度调节所述第一子透镜的光场采集参数之后,所述图像传感器对应所述第一子透镜的成像面积,大于所述图像传感器对应所述子透镜阵列中除所述第一子透镜之外的其他子透镜的成像面积,该情形下,所述图像传感器对应所述第一子透镜的成像面积较大、像素点较多。由于所述第一子透镜是影响所述第一区成像的子透镜,因此,在基于调节后的光场相机对所述待摄场景进行光场采集时,所述图像传感器上的更多像素点用于采集所述第一区的光场信息,提高了所述第一区对应的光场图像部分的重对焦精度。
可见,采用本申请实施例提供的技术方案,所述光场图像对应所述待摄场景不同区域的各光场图像部分的重对焦精度呈现差异化分布,相对所述待摄场景的其他部分而言,所述待摄场景的第一区对应的光场图像部分的重对焦精度相对缺省重对焦精度有所改变,对应所述第一区的光场图像部分的实际重对焦精度,尽可能接近或等于所述目标重对焦精度,由此实现对应所述待摄场景的不同区域的各光场图像部分的重对焦精度呈现差异化分布,更好满足用户的实际应用需求。
本申请实施例提供的技术方案中,所述目标重对焦精度的确定方式非常灵活,本申请实施例对此并不限制,例如,可确定经所述第一子透镜采集的光场图像部分的缺省重对焦精度;根据所述缺省重对焦精度确定所述目标重对焦精度,其中,所述目标重对焦精度大于所述缺省重对焦精度。
其中,所述缺省重对焦精度可预先获取,或者,可根据光学相机的光学特性计算获取,本申请实施例对此并不限定。根据经典几何光学理论,光场相机的光路图可以等效为子透镜对主透镜成的实像或虚像在该子透镜对应的成像子区域上进行成像,如图2所示,因此,在图像传感器的不同成像位置的像素可以存储待摄场景不同深度上的对象信息,所述待摄场景某局部区域(如所述第一区)的对象经子透镜阵列中的至少一个子透镜后在所述图像传感器的一定成像区域成像,该成像区域的像素点记录所述第一区不同深度的信息,由此得到对应所述第一区的光场图像部分。
某子透镜采集到的待摄场景不同深度的对象的光场信息,在图像传感器不同弥散圆半径内的成像区域内成像,弥散圆半径可采用下式计算:
d = Afu f u f - f ( 1 u f - 1 u ) . . . ( 1 )
其中:d表示弥散圆半径,等于图像传感器与该子透镜对应的成像区域中的某像素点到该子透镜光轴之间的距离;A为该子透镜半径;f为该子透镜的焦距;uf表示子透镜对焦平面到子透镜中心距离,u表示待摄场景的某对象经主透镜所成的实像或虚像到该子透镜中心的距离(实像,u为正值;虚像,u为负值)。
主透镜的成像公式:
1 F = 1 U + 1 V = 1 U + 1 L - u . . . ( 2 )
其中:F表示主透镜焦距,U表示待摄场景的某对象到主透镜的物距,L表示主透镜光心到该子透镜光心的距离。
子透镜的成像公式:
1 f = 1 u f + 1 v . . . ( 3 )
其中:v表示子透镜到图像传感器之间的距离。
结合式(1)、式(2)和式(3),可得:
d = Afu f u f - f ( 1 u f - 1 u ) = Av ( 1 f - 1 u ) - A . . . ( 4 )
对应一子透镜(如所述第一子透镜)的图像传感器的最大成像面积可通过最大弥散圆半径来表征,即:
d max = Av ( 1 f - 1 u max ) - A = A - Av ( 1 f - 1 u min ) . . . ( 5 )
其中,dmax表示最大弥散圆半径,等于图像传感器与一子透镜对应的成像区域中的各像素点位置,分别与该子透镜光轴的各距离中的最大值;A为该子透镜半径;f为该子透镜的焦距;u表示待摄场景的某对象经主透镜所成的实像或虚像到该子透镜中心的距离(实像,u为正值;虚像,u为负值),其中,umax为待摄场景在重对焦点调节深度范围内、相对主透镜最大物距Umax的对象经主透镜所成实像或虚像到该子透镜中心的距离,umin为待摄场景在重对焦点调节深度范围内、相对主透镜最小物距Umin的对象经主透镜所成实像或虚像到该子透镜中心的距离。其中,待摄场景中的对象相对主透镜的物距U与该对象经主透镜所成的实像或虚像到该子透镜中心的距离u之间满足下式:
1 U max = 1 F + 1 1 1 f - 1 v ( 1 + d max A ) - L = 1 F + 1 u max - L 1 U min = 1 F + 1 1 1 f - 1 v ( 1 - d max A ) - L = 1 F + 1 u min - L . . . ( 6 )
其中,F表示主透镜的焦距,L表示主透镜光心到该子透镜光心之间的距离,(Umin,Umax)表征所述光场相机的重对焦点调节深度范围,该重对焦点调节深度范围可根据现有技术预先获取。根据式(6),可计算得到umax或umin,之后,再根据式(5),可计算得到dmax,该dmax对应的重对焦精度即为本申请实施例所述的缺省重对焦精度。
在获取所述缺省重对焦精度之后,可根据用户或设备对所述第一区对应的光场图像部分的重对焦精度要求,确定所述目标重对焦精度。确定的所述目标重对焦精度与所述缺省重对焦精度不同,可选的,确定的所述目标重对焦精度大于所述缺省重对焦精度,该情形下,所述目标重对焦精度对应的图像传感器的成像面积,大于所述缺省重对焦精度对应的图像传感器的成像面积,也就是说,所述目标重对焦精度对应的图像传感器的成像区域的目标最大弥散圆半径dmax',大于所述缺省重对焦精度对应的图像传感器的成像区域的最大弥散圆半径dmax
可选的,所述第一子透镜的光场采集参数包括以下至少之一:所述第一子透镜的焦距f、所述第一子透镜与所述图像传感器之间的距离v。根据式(5)可知,确定好dmax'之后,可通过所述第一子透镜调节f和/或v,使得调节后所述第一子透镜对应的所述图像传感器的成像区域的实际最大弥散圆半径尽可能接近或等于dmax',由此使得经调节后的所述第一子透镜采集的光场图像部分的重对焦精度尽可能接近或等于所述目标重对焦精度。
例如,根据所述目标重对焦精度调节所述第一子透镜的焦距,包括:根据所述目标重对焦精度减小所述第一子透镜的焦距。该方案可通过减小所述第一子透镜的焦距,来增加所述第一子透镜对应的所述图像传感器的成像区域的实际最大弥散圆半径,使得调节后所述第一子透镜对应的所述图像传感器的成像区域的实际最大弥散圆半径尽可能接近或等于dmax',由此使得经调节后的所述第一子透镜采集的光场图像部分的重对焦精度尽可能接近或等于所述目标重对焦精度。
又例如,根据所述目标重对焦精度调节所述第一子透镜与所述图像传感器之间的距离,包括:根据所述目标重对焦精度增加所述第一子透镜与所述图像传感器之间的距离。该方案可通过增加所述第一子透镜与所述图像传感器之间的距离,来增加所述第一子透镜对应的所述图像传感器的成像区域的实际最大弥散圆半径,使得调节后所述第一子透镜对应的所述图像传感器的成像区域的实际最大弥散圆半径尽可能接近或等于dmax',由此使得经调节后的所述第一子透镜采集的光场图像部分的重对焦精度尽可能接近或等于所述目标重对焦精度。
再例如,根据所述目标重对焦精度调节所述第一子透镜与所述图像传感器之间的距离,包括:根据所述目标重对焦精度减小所述第一子透镜的焦距、以及增加所述第一子透镜与所述图像传感器之间的距离。该方案可通过减小所述第一子透镜的焦距、以及增加所述第一子透镜与所述图像传感器之间的距离,来增加所述第一子透镜对应的所述图像传感器的成像区域的实际最大弥散圆半径,使得调节后所述第一子透镜对应的所述图像传感器的成像区域的实际最大弥散圆半径尽可能接近或等于dmax',由此使得经调节后的所述第一子透镜采集的光场图像部分的重对焦精度尽可能接近或等于所述目标重对焦精度。
此外,结合式(5)和式(6)可知,理论上可忽略调节所述第一子透镜的f和/或v对所述光场相机的重对焦点调节深度范围(Umin,Umax)的影响,调节后所述光场相机的重对焦点调节深度范围(Umin,Umax)基本保持不变,这样,经所述子透镜阵列的不同子透镜采集的各光场图像部分具有相同的重对焦点调节深度范围,各子透镜在该重对焦点调节深度范围内可采集到待摄场景不同区域不同丰富程度的光场信息,如此有利于在不同子透镜采集到的不同光场图像部分的重对焦精度存在差异的情形下,提高基于所述待摄场景的光场图像获取的重对焦图像质量。
在本申请上述任一实施例技术方案的基础上,还可辅助调节所述子透镜阵列中除影响所述第一区成像的子透镜之外的至少一个其他子透镜的光场采集参数,以充分利用图像传感器的现有像素实现经不同子透镜采集的各光场图像部分的重对焦精度的差异化调节。
可选的,基于调节后的所述光场相机进行所述待摄场景的光场采集之前,所述方法还包括:确定待调节的至少一第二子透镜,所述第二子透镜为所述子透镜阵列中除所述至少一子透镜之外的一其他子透镜;采用与所述第一子透镜的光场采集参数反向的调节方式,调节所述第二子透镜的光场采集参数。其中,“与所述第一子透镜的光场采集参数反向的调节方式”,是指所述第二子透镜的光场采集参数的调节趋势与所述第一子透镜的光场采集参数的调节趋势相反,但调节的幅度可以有所差异。
具体而言,所述第二子透镜的光场采集参数包括以下至少之一:所述第二子透镜的焦距、所述第二子透镜与所述图像传感器之间的距离。该方案可在所述第二子透镜的调节过程中使所述光场相机的重对焦点调节深度范围尽可能保持不变。
采用与所述第一子透镜的光场采集参数反向的调节方式,调节所述第二子透镜的光场采集参数,例如,在减小所述第一子透镜的焦距的情形下,增加所述第二子透镜的焦距。光场相机各子透镜调节之前,各子透镜与图像传感器的成像区域之间的对应关系的可选示例如图3a所示,其中,各子透镜对应图像传感器的各成像区域相同。光场相机调节后的子透镜和成像区域对应关系的一个可选示例如图3b所示,假设自上而下的第三个子透镜为影响所述第一区光场采集且待调节的所述第一子透镜,经所述第一子透镜采集的光场图像部分的目标重对焦精度相对缺省重对焦精度较大,则根据所述目标重对焦精度减小所述第一子透镜的焦距,使得调节后所述第一子透镜对应的图像传感器的成像面积增加了,该情形下,为了降低相邻子透镜各自对应的成像区域发生混叠的概率,可将自上而下的第二个子透镜和第四个子透镜,分别作为待调节的第二子透镜,增加所述第二子透镜的焦距,使得调节后的所述第二子透镜对应的图像传感器面积减小了。这里只要所述第一子透镜和所述第二子透镜焦距调节的趋势相反即可,对焦距调节的幅度可根据实际可能产生的成像区域的混叠程度灵活确定。该方案可降低相邻子透镜的成像区域发生混叠的概率,由此提高了基于调节后的光场相机获取的光场图像的整体质量。
采用与所述第一子透镜的光场采集参数反向的调节方式,调节所述第二子透镜的光场采集参数,例如,在增加所述第一子透镜与所述图像传感器之间的距离的情形下,可减小所述第二子透镜与所述图像传感器之间的距离。光场相机调节后的子透镜和成像区域对应关系的另一个可选示例如图3c所示,假设自上而下的第三个子透镜为影响所述第一区光场采集且待调节的所述第一子透镜,经所述第一子透镜采集的光场图像部分的目标重对焦精度相对缺省重对焦精度较大,则根据所述目标重对焦精度增加所述第一子透镜与所述图像传感器之间的距离,使得调节后所述第一子透镜对应的图像传感器的成像面积增加了,该情形下,为了降低相邻子透镜各自对应的成像区域发生混叠的概率,可将自上而下的第二个子透镜和第四个子透镜,分别作为待调节的第二子透镜,减小所述第二子透镜与所述图像传感器之间的距离,使得调节后的所述第二子透镜对应的图像传感器面积减小了。这里只要所述第一子透镜与所述图像传感器之间的距离、和所述第二子透镜和所述图像传感器之间的距离调节的趋势相反即可,对距离调节的幅度可根据实际可能产生的成像区域的混叠程度灵活确定。该方案可降低相邻子透镜的成像区域发生混叠的概率,由此提高了基于调节后的光场相机获取的光场图像的整体质量。
对于所述第一子透镜的焦距、以及所述第一子透镜和所述图像传感器之间的距离都进行了调节的情形下,也采用与所述第一子透镜的光场采集参数反向的调节方式,相应调节第二子透镜的焦距、以及所述第二子透镜和所述图像传感器之间的距离,由此来降低相邻子透镜的成像区域发生混叠的概率,提高基于调节后的光场相机获取的光场图像的整体质量,在此不再赘述。
进一步的,基于调节后的所述光场相机进行所述待摄场景的光场采集之前,所述方法还包括:调节所述第二子透镜的光轴方向。例如,参考图3b,对自上而下的第二、第三和第四个子透镜的焦距调节之后,这三个子透镜对应所述图像传感器的成像区域发生了变化,第一个子透镜和第二个子透镜分别对应的成像区域之间可能存在一定的间距,位于该间距内的像素点无法进行光场采集。为了提高光场采集过程中图像传感器的像素利用率,可将第二个子透镜作为本申请所述的待调节的所述第二子透镜,调节所述第二子透镜的光轴方向,如图3d所示,以移动所述图像传感器上与所述第二子透镜对应的成像区域的中心,由此减小调节的所述第二子透镜和与其相邻的子透镜对应的成像区域之间的间距。
本申请实施例提供的技术方案中,可根据实际需要确定光场相机的子透镜阵列中影响第一区成像的至少一子透镜中的部分或全部子透镜,为待调节的第一子透镜。为了提高所述第一子透镜确定的准确性,可根据所述至少一子透镜、所述光场相机容许采集的光场图像的重对焦点调节深度范围和所述第一区的深度信息,确定所述至少一第一子透镜。具体的,可确定所述第一区的深度信息与所述重对焦点调节深度范围的重叠深度范围;确定所述至少一子透镜中影响所述重叠深度范围成像的一个或多个子透镜,为所述至少一第一子透镜。可选的,可确定所述第一区的深度信息与所述重对焦点调节深度范围的重叠深度范围;确定所述至少一子透镜中影响所述重叠深度范围成像的一个或多个子透镜,为所述至少一第一子透镜。该方案可调节影响所述第一区落入所述重对焦点调节深度范围的部分光场采集的子透镜,由此提高所述第一区对应的光场采集图像部分的重对焦精度。
在上述任一技术方案的基础上,可选的,所述光场采集控制方法还可包括:确定所述第一区。该方案可根据实际需要预先确定当前待摄场景的局部(如重对焦精度要求较高的区域,等等)为所述第一区,可更好满足用户或设备等主体个性化的应用需求。
所述第一区的确定方式非常灵活,本申请实施例对此并不限制。例如,所述光场相机通常包括有一取景器来显示当前待摄场景某一视角的预览图像,本申请实施例可基于所述预览图像确定所述第一区,来提高用户使用的方便性。
基于所述预览图像确定所述第一区的具体实现方式也非常灵活。
例如,可根据所述预览图像的感兴趣区(Region of Interest,简称ROI)信息确定所述第一区,即:基于所述光场相机关于所述待摄场景的预览图像获取感兴趣区确定信息;确定所述待摄场景中与所述感兴趣区确定信息对应的区域为所述第一区。所述感兴趣区可包括但不限于以下一种或多种:用户选择的所述预览图像的至少一个区域(即所述预览图像的用户选择区)、用户注视的所述预览图像的至少一个区域(即所述预览图像的用户注视区)、光场采集设备对所述预览图像自动检测得到的感兴趣区。该方案根据所述预览图像的感兴趣区确定待摄场景中与之对应的局部为所述第一区,使得所述第一区的确定与实际用户需求更为吻合,可更好满足用户个性化的应用需求。
又例如,可根据所述预览图像的图像分析结果自动确定所述第一区,即:对所述光场相机关于所述待摄场景的预览图像进行图像分析;根据所述图像分析结果确定所述第一区。一种可选的场景中,可对所述预览图像进行人脸识别,根据识别结果将人脸区确定为所述第一区。该方案可根据所述预览图像的图像分析结果确定待摄场景中与之对应的区域为所述第一区,使得所述第一区的确定更为智能,提高所述第一区确定的效率和普适性。
本领域技术人员可以理解,在本申请具体实施方式的上述任一方法中,各步骤的序号大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本申请具体实施方式的实施过程构成任何限定。
图4为本申请实施例提供的一种光场采集控制装置的逻辑框图。如图4所示,本申请实施例提供的一种光场采集控制装置包括:一第一子透镜确定模块41、一目标重对焦精度确定模块42、一第一子透镜调节模块43和一光场采集模块44。
第一子透镜确定模块41用于至少根据光场相机的子透镜阵列中影响第一区成像的至少一子透镜,确定待调节的至少一第一子透镜,所述第一区为待摄场景的局部。
目标重对焦精度确定模块42用于确定所述待摄场景的光场图像中经所述第一子透镜采集的光场图像部分的目标重对焦精度。
第一子透镜调节模块43用于根据所述目标重对焦精度调节所述第一子透镜的光场采集参数。
光场采集模块44用于基于调节后的所述光场相机进行所述待摄场景的光场采集。
采用本申请实施例提供的技术方案,可确定待摄场景的第一区的光场图像部分的目标重对焦精度,根据所述目标重对焦精度对影响待摄场景的第一区至少局部成像的第一子透镜进行光场采集参数的调节,并基于调节后的光场相机进行待摄图像的光场采集,由此得到的光场图像对应所述待摄场景不同区域的各光场图像部分的重对焦精度呈现差异化分布,相对所述待摄场景的其他部分而言,所述待摄场景的第一区对应的光场图像部分的重对焦精度相对缺省重对焦精度有所改变,对应所述第一区的光场图像部分的实际重对焦精度,尽可能接近或等于所述目标重对焦精度,由此实现对应所述待摄场景的不同区域的各光场图像部分的重对焦精度呈现差异化分布,更好满足用户的实际应用需求。
所述光场采集控制装置的设备表现形式不受限制,例如所述光场采集控制装置可为某一独立的部件,该部件与光场相机配合通信;或者,所述光场采集控制装置可作为某一功能模块集成在一包括有光场相机的图像采集设备中,本申请实施例对此并不限制。
可选的,如图5所示,所述目标重对焦精度确定模块42包括:一缺省重对焦精度确定子模块421和一目标重对焦精度确定子模块422。缺省重对焦精度确定子模块421用于确定经所述第一子透镜采集的光场图像部分的缺省重对焦精度;目标重对焦精度确定子模块422用于根据所述缺省重对焦精度确定所述目标重对焦精度,其中,所述目标重对焦精度大于所述缺省重对焦精度。该方案根据所述目标重对焦精度调节所述第一子透镜的光场采集参数,可使经所述第一子透镜采集的光场图像部分的重对焦精度,大于经图像传感器其他子透镜的采集的光场图像部分的重对焦精度。
可选的,如图5所示,所述第一子透镜调节模块43包括:一第一子透镜调节子模块431。第一子透镜调节子模块431用于根据所述目标重对焦精度调节所述第一子透镜的的焦距和/或所述第一子透镜与所述图像传感器之间的距离。该方案可使得所述光场相机调节前后的重对焦点调节深度范围基本保持不变,有利于在不同子透镜采集到的不同光场图像部分的重对焦精度存在差异的情形下,提高基于所述待摄场景的光场图像获取的重对焦图像质量。
可选的,所述第一子透镜调节子模块431包括:一第一子透镜焦距调节单元4311。第一子透镜焦距调节单元4311用于根据所述目标重对焦精度减小所述第一子透镜的焦距。该方案通过对所述第一子透镜的焦距调节之后所采集的光场图像部分的重对焦精度尽可能接近或等于所述目标重对焦精度。
可选的,所述第一子透镜调节子模块431包括:一第一子透镜距离调节单元4312。第一子透镜距离调节单元4312用于根据所述目标重对焦精度增加所述第一子透镜与所述图像传感器之间的距离。该方案通过对所述第一子透镜和所述图像传感器之间的距离调节之后,所采集的光场图像部分的重对焦精度尽可能接近或等于所述目标重对焦精度。
可选的,如图6所示,所述光场采集控制装置还包括:一第二子透镜确定模块45和一第二子透镜调节模块46。第二子透镜确定模块45用于确定待调节的至少一第二子透镜,所述第二子透镜为所述子透镜阵列中除所述至少一子透镜之外的一其他子透镜;第二子透镜调节模块46用于采用与所述第一子透镜的光场采集参数反向的调节方式,调节所述第二子透镜的光场采集参数。该方案可充分利用图像传感器的现有像素实现经不同子透镜采集的各光场图像部分的重对焦精度的差异化调节。
可选的,所述第二子透镜调节模块46包括:一第二子透镜调节子模块461。第二子透镜调节子模块461用于采用与所述第一子透镜的光场采集参数反向的调节方式,调节所述第二子透镜的焦距和/或所述第二子透镜与所述图像传感器之间的距离。该方案可在所述第二子透镜的调节过程中使所述光场相机的重对焦点调节深度范围尽可能保持不变,并降低相邻子透镜的成像区域发生混叠的概率。
可选的,所述第二子透镜调节子模块461包括:一第二子透镜焦距调节单元4611。第二子透镜焦距调节单元4611用于在减小所述第一子透镜的焦距的情形下,增加所述第二子透镜的焦距。该方案可通过对所述第一子透镜和所述第二子透镜的焦距调节,降低相邻子透镜的成像区域发生混叠的概率,由此提高了基于调节后的光场相机获取的光场图像的整体质量。
可选的,所述第二子透镜调节子模块461包括:一第二子透镜距离调节单元4612。第二子透镜距离调节单元4612用于在增加所述第一子透镜与所述图像传感器之间的距离的情形下,减小所述第二子透镜与所述图像传感器之间的距离。该方案可通过对所述第一子透镜和所述第二子透镜各自相对所述图像传感器的距离调节,降低相邻子透镜的成像区域发生混叠的概率,由此提高了基于调节后的光场相机获取的光场图像的整体质量。
可选的,所述光场采集控制装置还包括:一第二子透镜光轴调节模块47。第二子透镜光轴调节模块47用于调节所述第二子透镜的光轴方向,以移动所述图像传感器上与所述第二子透镜对应的成像区域的中心,由此减小调节的所述第二子透镜和与其相邻的子透镜对应的成像区域之间的间距。
可选的,如图7所示,所述第一子透镜确定模块41包括:一第一子透镜确定子模块411。第一子透镜确定子模块411用于根据所述至少一子透镜、所述光场相机容许采集的光场图像的重对焦点调节深度范围和所述第一区的深度信息,确定所述至少一第一子透镜。该方案提高了所述第一子透镜确定的准确性。
可选的,所述第一子透镜确定子模块411包括:一重叠深度范围确定单元4111和一第一子透镜确定单元4112。重叠深度范围确定单元4111用于确定所述第一区的深度信息与所述重对焦点调节深度范围的重叠深度范围;第一子透镜确定单元4112用于确定所述至少一子透镜中影响所述重叠深度范围成像的一个或多个子透镜,为所述至少一第一子透镜。该方案可调节影响所述第一区落入所述重对焦点调节深度范围的部分光场采集的子透镜,由此提高所述第一区对应的光场采集图像部分的重对焦精度。
可选的,如图8所示,所述光场采集控制装置还包括:一第一区确定模块48。第一区确定模块48用于确定所述第一区。该方案可根据实际需要预先确定当前待摄场景的局部为所述第一区,可更好满足用户或设备等主体个性化的应用需求。
一种可选的实现方式中,所述第一区确定模块48包括:一感兴趣区确定信息获取子模块481和一感兴趣区确定子模块482。感兴趣区确定信息获取子模块481用于基于所述光场相机关于所述待摄场景的预览图像获取感兴趣区确定信息;感兴趣区确定子模块482用于确定所述待摄场景中与所述感兴趣区确定信息对应的区域为所述第一区。该方案使得所述第一区的确定与实际用户需求更为吻合,可更好满足用户个性化的应用需求。
另一种可选的实现方式中,所述第一区确定模块48包括:一图像分析子模块483和一第一区确定子模块484。图像分析子模块483用于对所述光场相机关于所述待摄场景的预览图像进行图像分析;第一区确定子模块484用于根据所述图像分析结果确定所述第一区。该方案使得所述第一区的确定更为智能,提高所述第一区确定的效率和普适性。
图9为本申请实施例提供的又一种光场采集控制装置的结构框图,本申请具体实施例并不对光场采集控制装置900的具体实现方式做限定。如图9所示,光场采集控制装置900可以包括:
处理器(Processor)910、通信接口(Communications Interface)920、存储器(Memory)930、以及通信总线940。其中:
处理器910、通信接口920、以及存储器930通过通信总线940完成相互间的通信。
通信接口920,用于与比如具有通信功能的设备、外部光源等通信。
处理器910,用于执行程序932,具体可以执行上述任一光场采集控制方法实施例中的相关步骤。
例如,程序932可以包括程序代码,所述程序代码包括计算机操作指令。
处理器910可能是一个中央处理器(Central Processing Unit,简称CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器930,用于存放程序932。存储器930可能包含随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(Non-volatile memory),例如至少一个磁盘存储器。
例如,在一种可选的实现方式中,处理器910通过执行程序932可执行以下步骤:至少根据光场相机的子透镜阵列中影响第一区成像的至少一子透镜,确定待调节的至少一第一子透镜,所述第一区为待摄场景的局部;确定所述待摄场景的光场图像中经所述第一子透镜采集的光场图像部分的目标重对焦精度;根据所述目标重对焦精度调节所述第一子透镜的光场采集参数;基于调节后的所述光场相机进行所述待摄场景的光场采集。
在其他可选的实现方式中,处理器910通过执行程序932还可执行上述其他任一实施例提及的步骤,在此不再赘述。
程序932中各步骤的具体实现可以参见上述实施例中的相应步骤、模块、子模块、单元中对应的描述,在此不再赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
在本申请上述各实施例中,实施例的序号和/或先后顺序仅仅便于描述,不代表实施例的优劣。对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。有关装置、设备或系统实施例的实施原理或过程的相关描述,可参见相应方法实施例的记载,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的装置、方法、系统等实施例中,显然,各部件(系统、子系统、模块、子模块、单元、子单元等)或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本申请的等效方案。同时,在上面对本申请具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
最后应说明的是:以上实施方式仅用于说明本申请,而并非对本申请的限制,有关技术领域的普通技术人员,在不脱离本申请的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本申请的范畴,本申请的专利保护范围应由权利要求限定。

Claims (10)

1.一种光场采集控制方法,其特征在于,包括:
至少根据光场相机的子透镜阵列中影响第一区成像的至少一子透镜,确定待调节的至少一第一子透镜,所述第一区为待摄场景的局部;
确定所述待摄场景的光场图像中经所述第一子透镜采集的光场图像部分的目标重对焦精度;
根据所述目标重对焦精度调节所述第一子透镜的光场采集参数;
基于调节后的所述光场相机进行所述待摄场景的光场采集。
2.根据权利要求1所述的光场采集控制方法,其特征在于,确定所述目标重对焦精度,包括:
确定经所述第一子透镜采集的光场图像部分的缺省重对焦精度;
根据所述缺省重对焦精度确定所述目标重对焦精度,其中,所述目标重对焦精度大于所述缺省重对焦精度。
3.根据权利要求1或2所述的光场采集控制方法,其特征在于,所述第一子透镜的光场采集参数包括以下至少之一:所述第一子透镜的焦距、所述第一子透镜与所述图像传感器之间的距离。
4.根据权利要求3所述的光场采集控制方法,其特征在于,根据所述目标重对焦精度调节所述第一子透镜的焦距,包括:
根据所述目标重对焦精度减小所述第一子透镜的焦距。
5.根据权利要求3或4所述的光场采集控制方法,其特征在于,根据所述目标重对焦精度调节所述第一子透镜与所述图像传感器之间的距离,包括:
根据所述目标重对焦精度增加所述第一子透镜与所述图像传感器之间的距离。
6.一种光场采集控制装置,其特征在于,包括:
一第一子透镜确定模块,用于至少根据光场相机的子透镜阵列中影响第一区成像的至少一子透镜,确定待调节的至少一第一子透镜,所述第一区为待摄场景的局部;
一目标重对焦精度确定模块,用于确定所述待摄场景的光场图像中经所述第一子透镜采集的光场图像部分的目标重对焦精度;
一第一子透镜调节模块,用于根据所述目标重对焦精度调节所述第一子透镜的光场采集参数;
一光场采集模块,用于基于调节后的所述光场相机进行所述待摄场景的光场采集。
7.根据权利要求6所述的光场采集控制装置,其特征在于,所述目标重对焦精度确定模块包括:
一缺省重对焦精度确定子模块,用于确定经所述第一子透镜采集的光场图像部分的缺省重对焦精度;
一目标重对焦精度确定子模块,用于根据所述缺省重对焦精度确定所述目标重对焦精度,其中,所述目标重对焦精度大于所述缺省重对焦精度。
8.根据权利要求6或7所述的光场采集控制装置,其特征在于,所述第一子透镜调节模块包括:
一第一子透镜调节子模块,用于根据所述目标重对焦精度调节所述第一子透镜的的焦距和/或所述第一子透镜与所述图像传感器之间的距离。
9.根据权利要求8所述的光场采集控制装置,其特征在于,所述第一子透镜调节子模块包括:
一第一子透镜焦距调节单元,用于根据所述目标重对焦精度减小所述第一子透镜的焦距。
10.根据权利要求8或9所述的光场采集控制装置,其特征在于,所述第一子透镜调节子模块包括:
一第一子透镜距离调节单元,用于根据所述目标重对焦精度增加所述第一子透镜与所述图像传感器之间的距离。
CN201410584615.3A 2014-10-27 2014-10-27 光场采集控制方法和装置 Active CN104486537B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410584615.3A CN104486537B (zh) 2014-10-27 2014-10-27 光场采集控制方法和装置
US15/520,125 US10257502B2 (en) 2014-10-27 2015-09-10 Methods and apparatus for controlling light field capture
PCT/CN2015/089298 WO2016065991A1 (en) 2014-10-27 2015-09-10 Methods and apparatus for controlling light field capture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410584615.3A CN104486537B (zh) 2014-10-27 2014-10-27 光场采集控制方法和装置

Publications (2)

Publication Number Publication Date
CN104486537A true CN104486537A (zh) 2015-04-01
CN104486537B CN104486537B (zh) 2018-09-04

Family

ID=52761037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410584615.3A Active CN104486537B (zh) 2014-10-27 2014-10-27 光场采集控制方法和装置

Country Status (3)

Country Link
US (1) US10257502B2 (zh)
CN (1) CN104486537B (zh)
WO (1) WO2016065991A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016065991A1 (en) * 2014-10-27 2016-05-06 Beijing Zhigu Tech Co., Ltd. Methods and apparatus for controlling light field capture
WO2016169507A1 (en) * 2015-04-22 2016-10-27 Beijing Zhigu Rui Tuo Tech Co., Ltd. Image capture control methods and apparatuses
CN106161921A (zh) * 2015-04-22 2016-11-23 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN106303210A (zh) * 2015-08-31 2017-01-04 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN106303209A (zh) * 2015-08-31 2017-01-04 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN106303208A (zh) * 2015-08-31 2017-01-04 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN106375694A (zh) * 2015-12-31 2017-02-01 北京智谷睿拓技术服务有限公司 光场显示控制方法和装置、光场显示设备
CN106375653A (zh) * 2015-12-03 2017-02-01 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN106791335A (zh) * 2017-01-25 2017-05-31 浙江大学 一种紧凑的大视野光场采集系统及其分析优化方法
CN106961557A (zh) * 2016-01-08 2017-07-18 中强光电股份有限公司 光场相机及其影像处理方法
CN107707807A (zh) * 2015-08-31 2018-02-16 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
EP3340600A4 (en) * 2015-08-18 2019-05-15 Hangzhou Hikrobot Technology Co., Ltd OBJECTIVE, CAMERA, PACKAGE INSPECTION SYSTEM, AND IMAGE PROCESSING METHOD
CN111175990A (zh) * 2020-02-19 2020-05-19 京东方科技集团股份有限公司 光场显示系统
CN111624782A (zh) * 2020-06-29 2020-09-04 京东方科技集团股份有限公司 光场调节模组及其控制方法、光场显示装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10545215B2 (en) * 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
JP2019168479A (ja) * 2018-03-22 2019-10-03 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
US10477076B1 (en) * 2018-09-14 2019-11-12 Gopro, Inc. Systems and methods for synchronizing visual content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101562701A (zh) * 2009-03-25 2009-10-21 北京航空航天大学 一种用于光场成像的数字对焦方法及装置
WO2013080551A1 (ja) * 2011-11-30 2013-06-06 パナソニック株式会社 撮像装置
CN104079827A (zh) * 2014-06-27 2014-10-01 中国科学院自动化研究所 一种光场成像自动重对焦方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4572616A (en) 1982-08-10 1986-02-25 Syracuse University Adaptive liquid crystal lens
AU2005267561A1 (en) 2004-03-31 2006-02-02 The Regents Of The University Of California Fluidic adaptive lens
WO2006039486A2 (en) * 2004-10-01 2006-04-13 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
KR101699920B1 (ko) * 2009-10-07 2017-01-25 삼성전자주식회사 깊이 조절 방법 및 장치
KR101608970B1 (ko) * 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
US20130076966A1 (en) * 2011-09-22 2013-03-28 John Norvold Border Digital imaging system with refocusable imaging mode
US8791403B2 (en) 2012-06-01 2014-07-29 Omnivision Technologies, Inc. Lens array for partitioned image sensor to focus a single image onto N image sensor regions
US20130329068A1 (en) * 2012-06-08 2013-12-12 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US9451147B2 (en) * 2012-06-11 2016-09-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
TW201426018A (zh) * 2012-12-19 2014-07-01 Ind Tech Res Inst 影像處理裝置及影像再對焦方法
CN103888655B (zh) 2012-12-21 2017-07-25 联想(北京)有限公司 一种拍照方法及电子设备
CN104486537B (zh) * 2014-10-27 2018-09-04 北京智谷技术服务有限公司 光场采集控制方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101562701A (zh) * 2009-03-25 2009-10-21 北京航空航天大学 一种用于光场成像的数字对焦方法及装置
WO2013080551A1 (ja) * 2011-11-30 2013-06-06 パナソニック株式会社 撮像装置
CN104079827A (zh) * 2014-06-27 2014-10-01 中国科学院自动化研究所 一种光场成像自动重对焦方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周文晖等: "Lytro相机的光场图像校正与重对焦方法", 《中国图象图形学报》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016065991A1 (en) * 2014-10-27 2016-05-06 Beijing Zhigu Tech Co., Ltd. Methods and apparatus for controlling light field capture
US10257502B2 (en) 2014-10-27 2019-04-09 Beijing Zhigu Tech Co., Ltd. Methods and apparatus for controlling light field capture
CN106161922B (zh) * 2015-04-22 2019-05-14 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN106161921B (zh) * 2015-04-22 2019-08-13 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN106161922A (zh) * 2015-04-22 2016-11-23 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
WO2016169507A1 (en) * 2015-04-22 2016-10-27 Beijing Zhigu Rui Tuo Tech Co., Ltd. Image capture control methods and apparatuses
US10582110B2 (en) 2015-04-22 2020-03-03 Beijing Zhigu Rui Tuo Tech Co., Ltd Image incline and capture methods and apparatuses
CN106161921A (zh) * 2015-04-22 2016-11-23 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
US10616462B2 (en) 2015-04-22 2020-04-07 Beijing Zhigu Rui Tuo Tech Co., Ltd Image capture control methods and apparatuses
US10386632B2 (en) 2015-08-18 2019-08-20 Hangzhou Hikrobot Technology Co., Ltd Lens, camera, package inspection system and image processing method
EP3340600A4 (en) * 2015-08-18 2019-05-15 Hangzhou Hikrobot Technology Co., Ltd OBJECTIVE, CAMERA, PACKAGE INSPECTION SYSTEM, AND IMAGE PROCESSING METHOD
CN106303208A (zh) * 2015-08-31 2017-01-04 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN107707807A (zh) * 2015-08-31 2018-02-16 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN106303209A (zh) * 2015-08-31 2017-01-04 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN107707807B (zh) * 2015-08-31 2020-01-03 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN106303210A (zh) * 2015-08-31 2017-01-04 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN106303208B (zh) * 2015-08-31 2019-05-21 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN106303209B (zh) * 2015-08-31 2019-06-21 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN106303210B (zh) * 2015-08-31 2019-07-12 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN106375653A (zh) * 2015-12-03 2017-02-01 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN106375653B (zh) * 2015-12-03 2019-05-21 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN106375694A (zh) * 2015-12-31 2017-02-01 北京智谷睿拓技术服务有限公司 光场显示控制方法和装置、光场显示设备
CN106375694B (zh) * 2015-12-31 2019-04-23 北京智谷睿拓技术服务有限公司 光场显示控制方法和装置、光场显示设备
US10708576B2 (en) 2015-12-31 2020-07-07 Beijing Zhigu Riu Tech Co., Ltd. Light field display control method and apparatus, and light field display device
CN106961557A (zh) * 2016-01-08 2017-07-18 中强光电股份有限公司 光场相机及其影像处理方法
CN106791335B (zh) * 2017-01-25 2019-05-14 浙江大学 一种紧凑的大视野光场采集系统及其分析优化方法
CN106791335A (zh) * 2017-01-25 2017-05-31 浙江大学 一种紧凑的大视野光场采集系统及其分析优化方法
CN111175990A (zh) * 2020-02-19 2020-05-19 京东方科技集团股份有限公司 光场显示系统
CN111624782A (zh) * 2020-06-29 2020-09-04 京东方科技集团股份有限公司 光场调节模组及其控制方法、光场显示装置
CN111624782B (zh) * 2020-06-29 2022-03-18 京东方科技集团股份有限公司 光场调节模组及其控制方法、光场显示装置

Also Published As

Publication number Publication date
CN104486537B (zh) 2018-09-04
US10257502B2 (en) 2019-04-09
WO2016065991A1 (en) 2016-05-06
US20170324950A1 (en) 2017-11-09

Similar Documents

Publication Publication Date Title
CN104486537A (zh) 光场采集控制方法和装置
CN104410784A (zh) 光场采集控制方法和装置
CN104506762A (zh) 光场采集控制方法和装置、光场采集设备
Favaro et al. Shape from defocus via diffusion
CN107087107B (zh) 基于双摄像头的图像处理装置及方法
US10552964B2 (en) Object tracking device and a control method for object tracking device
US9501834B2 (en) Image capture for later refocusing or focus-manipulation
CN101377815B (zh) 摄像装置及其程序
US10375292B2 (en) Image pickup apparatus and method for generating image having depth information
CN104469147B (zh) 光场采集控制方法和装置、光场采集设备
CN105335950A (zh) 图像处理方法和图像处理装置
CN104038690A (zh) 图像处理装置、图像拍摄装置及图像处理方法
CN103986854B (zh) 图像处理设备、摄像设备和控制方法
CN102282590A (zh) 光场相机图像、文件和配置数据以及对其进行使用、存储和传递的方法
CN104243823A (zh) 光场采集控制方法和装置、光场采集设备
JP5540762B2 (ja) 撮像装置、画像表示装置及び画像表示プログラム
CN105472233A (zh) 光场采集控制方法和装置、光场采集设备
CN101841653A (zh) 拍摄装置以及视场角调节方法
US9485406B2 (en) Focus detection apparatus, focus detection method and program, and imaging apparatus
CN106161922A (zh) 图像采集控制方法和装置
CN104144295A (zh) 成像控制方法和装置及成像设备
EP1798961A1 (en) Method for focus control
CN106254855A (zh) 一种基于变焦测距的三维建模方法及系统
CN106303208A (zh) 图像采集控制方法和装置
CN106375648A (zh) 图像采集控制方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant