CN106375648B - 图像采集控制方法和装置 - Google Patents

图像采集控制方法和装置 Download PDF

Info

Publication number
CN106375648B
CN106375648B CN201510546296.1A CN201510546296A CN106375648B CN 106375648 B CN106375648 B CN 106375648B CN 201510546296 A CN201510546296 A CN 201510546296A CN 106375648 B CN106375648 B CN 106375648B
Authority
CN
China
Prior art keywords
lens
sub
expectation
blur
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510546296.1A
Other languages
English (en)
Other versions
CN106375648A (zh
Inventor
周梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201510546296.1A priority Critical patent/CN106375648B/zh
Publication of CN106375648A publication Critical patent/CN106375648A/zh
Application granted granted Critical
Publication of CN106375648B publication Critical patent/CN106375648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)

Abstract

本申请公开了一种图像采集控制方法和装置,所述方法包括:确定场景的期望清晰成像空间区域;相对光场相机的成像面倾斜至少一第一子透镜,以减小至少一第一部分在至少一第一成像区域上成像的平均弥散圆,其中:所述至少一第一子透镜为所述光场相机的子透镜阵列中影响所述期望清晰成像空间区域图像采集的至少一子透镜,所述至少一第一部分为所述场景中位于所述期望清晰成像空间区域的至少一部分,所述至少第一成像区域为所述成像面中与所述至少一第一子透镜对应的至少一成像区域;经调整后的光场相机对所述场景进行图像采集。本申请有利于实现场景中期望清晰成像空间区域的定制化图像采集,可更好满足多样化的实际应用需求。

Description

图像采集控制方法和装置
技术领域
本申请涉及一种终端技术领域,特别是涉及一种图像采集控制方法和装置。
背景技术
随着图像采集技术的不断发展,支持图像采集的设备不断推陈出新,人们对采集图像的个性化需求也越来越多。
与传统相机不同,光场相机通常是在主透镜和如CCD等图像传感器之间放置一子透镜阵列,通过子透镜阵列将场景不同方向的光场信息在子透镜阵列的焦平面上进行记录,通过单次曝光可以记录三维场景的空间、视角等四维光场信息,支持“先拍摄后调焦”,通过对拍摄后的图像进行处理即可以生成丰富的图像效果,可满足例如数字重对焦、视角变化、深度图像、三维重构等多种成像应用。目前,基于光场相机的图像采集技术的研究引起业内人士愈加广泛的关注。
发明内容
在下文中给出了关于本申请的简要概述,以便提供关于本申请的某些方面的基本理解。应当理解,这个概述并不是关于本申请的穷举性概述。它并不是意图确定本申请的关键或重要部分,也不是意图限定本申请的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
本申请实施例提供一种图像采集控制方法和装置。
第一方面,本申请实施例提供了一种图像采集控制方法,包括:
确定场景的期望清晰成像空间区域;
相对光场相机的成像面倾斜至少一第一子透镜,以减小至少一第一部分在至少一第一成像区域上成像的平均弥散圆,其中:所述至少一第一子透镜为所述光场相机的子透镜阵列中影响所述期望清晰成像空间区域图像采集的至少一子透镜,所述至少一第一部分为所述场景中位于所述期望清晰成像空间区域的至少一部分,所述至少第一成像区域为所述成像面中与所述至少一第一子透镜对应的至少一成像区域;
经调整后的所述光场相机对所述场景进行图像采集。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述确定场景的期望清晰成像空间区域,包括:确定所述光场相机获取的所述场景的预览图像的局部为期望清晰区;确定所述期望清晰区对应的至少一第一部分在所述场景中的第一空间分布信息;根据所述第一空间分布信息确定所述期望清晰成像空间区域。
结合本申请实施例提供的任一种图像采集控制方法,可选的,确定所述光场相机获取的所述场景的预览图像的局部为期望清晰区,包括:获取对所述预览图像的选择信息;至少根据所述选择信息确定所述预览图像的相应局部为所述期望清晰区。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述选择信息包括:选择方向信息,或者,选择区域信息,或者,选择对象信息。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述至少一第一子透镜中任一第一子透镜相对所述成像面倾斜之后,与所述第一子透镜对应的第一部分在与所述第一子透镜对应的第一成像区域上成像的平均弥散圆小于或等于一容许弥散圆。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述经调整后的所述光场相机对所述场景进行图像采集之前,还包括:确定所述期望清晰成像空间区域覆盖的最大深度子区;对所述光场相机进行对焦调整,以使所述光场相机调整后的对焦面位于所述最大深度子区内。
结合本申请实施例提供的任一种图像采集控制方法,可选的,相对所述成像面倾斜所述至少一第一子透镜中的任一第一子透镜,以减小与所述第一子透镜相应的第一部分在与所述第一子透镜相应的第一成像区域上成像的平均弥散圆,包括:根据所述第一子透镜的焦距、所述第一子透镜的光心沿垂直所述成像面的方向到拟合面的距离、以及所述拟合面和所述成像面之间的夹角,确定所述第一子透镜的期望倾斜角度,其中,所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面;至少根据所述期望倾斜角度相对所述成像面倾斜所述第一子透镜,以减小相应的所述第一部分在相应的所述第一成像区域上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制方法,可选的,至少根据所述期望倾斜角度相对所述成像面倾斜所述第一子透镜之前,还包括:将所述期望倾斜角度与一子透镜倾斜调节角度阈值进行比较;响应于所述期望倾斜角度超过所述子透镜倾斜调节角度阈值,调远所述光场相机的对焦位置。
结合本申请实施例提供的任一种图像采集控制方法,可选的,相对所述成像面倾斜所述至少一第一子透镜中的任一第一子透镜,以减小与所述第一子透镜相应的第一部分在与所述第一子透镜相应的第一成像区域上成像的平均弥散圆,包括:确定所述第一子透镜相对所述成像面的容许夹角范围;至少根据所述容许夹角范围相对所述成像面倾斜所述第一子透镜,以减小相应的所述第一部分在相应的所述第一成像区域上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制方法,可选的,确定所述第一子透镜相对所述成像面的容许夹角范围,包括:根据所述第一子透镜的焦距、所述第一子透镜的光心沿垂直所述成像面的方向到拟合面的距离、以及所述拟合面和所述成像面之间的夹角,确定所述第一子透镜的期望倾斜角度,其中,所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面;至少根据所述期望倾斜角度确定所述容许夹角范围。
结合本申请实施例提供的任一种图像采集控制方法,可选的,相对所述成像面倾斜所述至少一第一子透镜中的任一第一子透镜,以减小与所述第一子透镜相应的第一部分在与所述第一子透镜相应的第一成像区域上成像的平均弥散圆,包括:相对所述成像面沿减小相应的所述第一部分经拟合面与所述第一子透镜所在平面之间的夹角的方向倾斜所述第一子透镜,以减小相应的所述第一部分在相应的所述第一成像区域上成像的平均弥散圆,其中,所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面。
结合本申请实施例提供的任一种图像采集控制方法,可选的,相对所述成像面倾斜所述至少一第一子透镜之前,还包括:根据所述至少一第一部分在所述场景中的第一空间分布信息,确定所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息;根据所述第二空间分布信息确定所述拟合面。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述各像分别到所述拟合面的距离之和最小。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述相对光场相机的成像面倾斜至少一第一子透镜之前,还包括:确定所述子透镜阵列中待倾斜的所述至少一第一子透镜。
结合本申请实施例提供的任一种图像采集控制方法,可选的,确定所述子透镜阵列中待倾斜的所述至少一第一子透镜,包括:确定所述子透镜阵列中与所述场景的预览图像的期望清晰区对应的至少一子透镜,为待倾斜的所述至少一第一子透镜。
第二方面,本申请实施例还提供了一种图像采集控制装置,包括:
一期望清晰成像空间区域确定模块,用于确定场景的期望清晰成像空间区域;
一子透镜倾斜控制模块,用于相对光场相机的成像面倾斜至少一第一子透镜,以减小至少一第一部分在至少一第一成像区域上成像的平均弥散圆,其中:所述至少一第一子透镜为所述光场相机的子透镜阵列中影响所述期望清晰成像空间区域图像采集的至少一子透镜,所述至少一第一部分为所述场景中位于所述期望清晰成像空间区域的至少一部分,所述至少第一成像区域为所述成像面中与所述至少一第一子透镜对应的至少一成像区域;
一图像采集控制模块,用于经调整后的所述光场相机对所述场景进行图像采集。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述期望清晰成像空间区域确定模块包括:一期望清晰区确定子模块,用于确定所述光场相机获取的所述场景的预览图像的局部为期望清晰区;一第一空间分布信息确定子模块,用于确定所述期望清晰区对应的至少一第一部分在所述场景中的第一空间分布信息;一期望清晰成像空间区域确定子模块,用于根据所述第一空间分布信息确定所述期望清晰成像空间区域。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述期望清晰区确定子模块包括:一选择信息获取单元,用于获取对所述预览图像的选择信息;一期望清晰区获取单元,用于至少根据所述选择信息确定所述预览图像的相应局部为所述期望清晰区。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述选择信息包括:选择方向信息,或者,选择区域信息,或者,选择对象信息。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述至少一第一子透镜中任一第一子透镜相对所述成像面倾斜之后,与所述第一子透镜对应的第一部分在与所述第一子透镜对应的第一成像区域上成像的平均弥散圆小于或等于一容许弥散圆。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述装置还包括:一最大深度子区确定模块,用于确定所述期望清晰成像空间区域覆盖的最大深度子区;一第一对焦调整模块,用于对所述光场相机进行对焦调整,以使所述光场相机调整后的对焦面位于所述最大深度子区内。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述子透镜倾斜控制模块包括:一期望倾斜角度确定子模块,用于根据任一所述第一子透镜的焦距、所述第一子透镜的光心沿垂直所述成像面的方向到拟合面的距离、以及所述拟合面和所述成像面之间的夹角,确定所述第一子透镜的期望倾斜角度,其中,所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面;一倾斜角度倾斜控制子模块,用于至少根据所述期望倾斜角度相对所述成像面倾斜所述第一子透镜,以减小相应的所述第一部分在相应的所述第一成像区域上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述装置还包括:一角度比较模块,用于将所述期望倾斜角度与一子透镜倾斜调节角度阈值进行比较;一第二对焦调整模块,用于响应于所述期望倾斜角度超过所述子透镜倾斜调节角度阈值,调远所述光场相机的对焦位置。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述子透镜倾斜控制模块包括:一容许夹角范围确定子模块,用于确定任一所述第一子透镜相对所述成像面的容许夹角范围;一范围倾斜控制子模块,用于至少根据所述容许夹角范围相对所述成像面倾斜所述第一子透镜,以减小相应的所述第一部分在相应的所述第一成像区域上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述容许夹角范围确定子模块包括:一期望倾斜角度确定单元,用于根据所述第一子透镜的焦距、所述第一子透镜的光心沿垂直所述成像面的方向到拟合面的距离、以及所述拟合面和所述成像面之间的夹角,确定所述第一子透镜的期望倾斜角度,其中,所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面;一容许夹角范围确定单元,用于至少根据所述期望倾斜角度确定所述容许夹角范围。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述子透镜倾斜控制模块包括:一方向倾斜控制子模块,用于相对所述成像面沿减小相应的所述第一部分经拟合面与所述第一子透镜所在平面之间的夹角的方向倾斜任一所述第一子透镜,以减小相应的所述第一部分在相应的所述第一成像区域上成像的平均弥散圆,其中,所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述装置还包括:一第二空间分布信息确定模块,用于根据所述至少一第一部分在所述场景中的第一空间分布信息,确定所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息;一拟合面确定模块,用于根据所述第二空间分布信息确定所述拟合面。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述各像分别到所述拟合面的距离之和最小。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述装置还包括:一第一子透镜确定模块,用于确定所述子透镜阵列中待倾斜的所述至少一第一子透镜。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述第一子透镜确定模块包括:一第一子透镜确定子模块,用于确定所述子透镜阵列中与所述场景的预览图像的期望清晰区对应的至少一子透镜,为待倾斜的所述至少一第一子透镜。
第三方面,本申请实施例还提供了另一种图像采集控制装置,包括:
一处理器、一通信接口、一存储器以及一通信总线;所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一指令;所述指令使所述处理器执行以下操作:
确定场景的期望清晰成像空间区域;
相对光场相机的成像面倾斜至少一第一子透镜,以减小至少一第一部分在至少一第一成像区域上成像的平均弥散圆,其中:所述至少一第一子透镜为所述光场相机的子透镜阵列中影响所述期望清晰成像空间区域图像采集的至少一子透镜,所述至少一第一部分为所述场景中位于所述期望清晰成像空间区域的至少一部分,所述至少第一成像区域为所述成像面中与所述至少一第一子透镜对应的至少一成像区域;
经调整后的所述光场相机对所述场景进行图像采集。
本申请实施例提供的技术方案可确定场景的期望清晰成像空间区域,通过倾斜影响所述期望清晰成像空间区域图像采集的至少一第一子透镜的方式,使得所述场景中位于所述期望清晰成像空间区域的至少一第一部分在所述光场相机中与所述至少第一子透镜对应的至少一第一成像区域上成像的平均弥散圆的大小有所减小,由此改善所述第一部分的成像质量。此外,采用本申请实施例提供的技术方案进行场景图像的光学采集期间,由于所述场景的期望清晰成像空间区域可根据实际需要确定,并通过倾斜光场相机相应的至少一第一子透镜的方式可提高对所述至少一第一部分进行光学采集的成像质量,因此,有利于实现场景中需要较高成像质量的期望清晰成像空间区域的定制化图像采集,可更好满足多样化的图像采集应用以及基于光学采集信息的后交互应用等需求。
通过以下结合附图对本申请的可选实施例的详细说明,本申请的这些以及其它的优点将更加明显。
附图说明
本申请可以通过参考下文中结合附图所给出的描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明本申请的可选实施例和解释本申请的原理和优点。在附图中:
图1为本申请实施例提供的一种图像采集控制方法流程图;
图2为本申请实施例提供的光场相机获取的场景的预览图像示例;
图3为本申请实施例提供的场景深度方向的示意图;
图4为本申请实施例提供的拟合面确定以及第一子透镜倾斜示例;
图5为本申请实施例提供的沙姆定律相关的三个平面的延长面相交示例一;
图6为本申请实施例提供的沙姆定律相关的三个平面的延长面相交示例二;
图7为本申请实施例提供的第一子透镜倾斜方向示例;
图8为本申请实施例提供的光场相机结构示例;
图9为本申请实施例提供的第一种图像采集控制装置的逻辑框图;
图10为本申请实施例提供的第二种图像采集控制装置的逻辑框图;
图11为本申请实施例提供的第三种图像采集控制装置的逻辑框图;
图12为本申请实施例提供的第四种图像采集控制装置的逻辑框图。
本领域技术人员应当理解,附图中的元件仅仅是为了简单和清楚起见而示出的,而且不一定是按比例绘制的。例如,附图中某些元件的尺寸可能相对于其他元件放大了,以便有助于提高对本申请实施例的理解。
具体实施方式
在下文中将结合附图对本申请的示范性实施例进行详细描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与系统及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本申请,在附图和说明中仅仅描述了与根据本申请的方案密切相关的装置结构和/或处理步骤,而省略了对与本申请关系不大的、本领域普通技术人员已知的部件和处理的表示和描述。
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例,对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请,但不用来限制本申请的范围。
本领域技术人员可以理解,本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
图1为本申请实施例提供的一种图像采集控制方法的流程图。本申请实施例提供的图像采集控制方法的执行主体可为某一图像采集控制装置。所述图像采集控制装置的设备表现形式不受限制,例如所述图像采集控制装置可为某一独立的部件;或者,所述图像采集控制装置可作为某一功能模块集成在一成像设备中,所述成像设备可包括但不限于光场相机或包括有光场相机的手机、平板电脑等,本申请实施例对此并不限制。具体如图1所示,本申请实施例提供的一种图像采集控制方法包括:
S101:确定场景的期望清晰成像空间区域。
S102:相对光场相机的成像面倾斜至少一第一子透镜,以减小至少一第一部分在至少一第一成像区域上成像的平均弥散圆,其中:所述至少一第一子透镜为所述光场相机的子透镜阵列中影响所述期望清晰成像空间区域图像采集的至少一子透镜,所述至少一第一部分为所述场景中位于所述期望清晰成像空间区域的至少一部分,所述至少第一成像区域为所述成像面中与所述至少一第一子透镜对应的至少一成像区域。
S103:经调整后的所述光场相机对所述场景进行图像采集。
对象经如光场相机等成像设备进行成像时,理想状况下是物面和像面是点与点一一对应的,但在实际应用过程中,由于光波性质、像差等因素的影响,对象上的点的成像光束通常不能汇聚于一点,而是在像平面上形成一个扩散的正圆形、椭圆形或其他类圆形的投影,称为弥散圆(circle of confusion),也可称为弥散圈、弥散环、散光圈、模糊圈、散射圆盘等。如果弥散圆的尺寸较小,通常该弥散圆对应的对象的成像相对较为清晰;相应的,如果弥散圆的尺寸超过一定的容许范围,则该弥散圆对应的对象的成像相对模糊。
通常,光场相机包括沿深度方向依次设置的主透镜、子透镜阵列和图像传感器。光场相机处于未进行本申请实施例提及的子透镜等倾斜操作的状态时,光场相机的子透镜阵列中各子透镜通常位于垂直于深度方向的同一平面,各子透镜的光轴与深度方向平行,图像传感器所在的平面为光场相机的成像面,该成像面平行于子透镜阵列所在的平面且该成像面垂直深度方向。根据经典几何光学理论,光场相机的光路图可以等效为各子透镜对主透镜所成的像(如实像或虚像)在该子透镜对应的成像区域上再成像,在成像区域上不同位置的像素点可以存储场景中不同深度的对象的光场信息,对应于场景中某对象的至少局部经某一子透镜在图像传感器的某像素点成像的弥散圆为:
上式中:c表示弥散圆的等效直径;f表示该子透镜的焦距;v表示该对象的至少局部依次经主透镜和该子透镜后所成的像与该子透镜中心的距离,该距离相当于该子透镜的像距;vn表示子透镜阵列平面与图像传感器平面之间的距离;N表示光圈值(f-number)。
基于光场相机进行图像采集的应用场景中,通常图像传感器与该子透镜对应的成像区域包括多个阵列分布的像素点,并非该成像区域的所有像素点参与实际的图像采集,而是部分像素点参与实际的图像采集,成像区域中实际记录有该对象图像信息的各像素点的弥散圆的均值,可视为该对象在该成像区域的平均弥散圆的大小。在子透镜倾斜前后,该成像区域参与该对象实际图像采集的像素点和/或像素点数量可能相同或不同。可将该子透镜倾斜前该成像区域中实际记录有该对象图像信息的各像素点的弥散圆的均值,作为该子透镜倾斜之前的平均弥散圆的大小;将该子透镜倾斜后该成像区域中实际记录有该对象图像信息的各像素点的弥散圆的均值,作为该子透镜倾斜之后的平均弥散圆的大小。
光场相机的子透镜阵列中各子透镜可视为一薄透镜,薄透镜的光学成像公式如下:
上式中:u表示子透镜的物距,即对象经光场相机的主透镜所成的像与该子透镜的距离;v表示子透镜的像距;f表示子透镜的焦距。
结合公式(1)和(2)可知,本申请实施例可通过倾斜子透镜的方式来改变子透镜的物距u以引起子透镜的像距v发生相应变化,进而引起相应弥散圆的改变,同时,将子透镜倾斜后的平均弥散圆小于子透镜倾斜前的平均弥散圆,作为子透镜倾斜控制的收敛条件,使得子透镜相对成像面采用某种方式倾斜之后可达到相应的平均弥散圆相对子透镜倾斜前对应的平均弥散圆有所减小。
可见,本申请实施例可确定场景的期望清晰成像空间区域,通过倾斜影响所述期望清晰成像空间区域图像采集的至少一第一子透镜的方式,使得所述场景中位于所述期望清晰成像空间区域的至少一第一部分在所述光场相机中与所述至少第一子透镜对应的至少一第一成像区域上成像的平均弥散圆的大小有所减小,由此改善所述第一部分的成像质量。此外,光场相机通过高维度信息采集可带给用户更为灵活的后交互能力,然而通过后交互计算能够实现成像效果与通过光学采集直接获得的信息有关,采用本申请实施例提供的技术方案进行场景图像的光学采集期间,由于所述场景的期望清晰成像空间区域可根据实际需要确定,并通过倾斜光场相机相应的至少一第一子透镜的方式可提高对所述至少一第一部分进行光学采集的成像质量,因此,有利于实现场景中需要较高成像质量的期望清晰成像空间区域的定制化图像采集,可更好满足多样化的图像采集应用以及基于光学采集信息的后交互应用等需求。
本申请实施例提供的技术方案中,所述期望清晰成像空间区域的确定方式非常灵活,可满足多样化的实际应用需求。例如,如果对场景中的某一局部空间区域较为关注,可确定场景相应的局部空间区域为所述期望清晰成像空间区域,以通过倾斜相应第一子透镜的方式来改善场景中位于所述期望清晰成像空间区域内的至少一部分的成像质量;或者,如果对场景中的某对象较为关注,可确定所述场景中该对象的空间分布区域为所述期望清晰成像空间区域,以通过倾斜相应第一子透镜的方式来改善该对象的成像质量;等等。可以理解,本申请实施例提及的部分可包括场景中的某一完整对象,或者场景中某一对象的局部,等等。
可选的,所述确定场景的期望清晰成像空间区域,包括:确定所述光场相机获取的所述场景的预览图像的局部为期望清晰区;确定所述期望清晰区对应的至少一第一部分在所述场景中的第一空间分布信息;根据所述第一空间分布信息确定所述期望清晰成像空间区域。例如,可识别所述预览图像,根据识别结果将用户或设备感兴趣的局部确定为所述期望清晰区,或者,可通过光场相机外部对所述预览图像的触控等操作信息,确定所述预览图像的局部为期望清晰区等,将所述期望清晰区结合场景中各部分的空间分布,确定所述期望清晰成像空间区域。该方案基于所述场景的预览图像选择所述场景的期望清晰成像空间区域,方案简单易实现。
进一步可选的,确定所述光场相机获取的所述场景的预览图像的局部为期望清晰区,包括:获取对所述预览图像的选择信息;至少根据所述选择信息确定所述预览图像的相应局部为所述期望清晰区。可通过但不限于手指触控、触控笔触控、鼠标选择等方式在所述预览图像的二维画面上进行选择,并根据选择信息确定所述预览图像的相应局部为所述期望清晰区;在确定所述期望清晰区之后,可结合场景中各部分的空间分布信息,确定该场景的期望清晰成像空间区域。该方案可提高所述期望清晰区或所述场景的期望清晰成像空间区域确定的交互方便性和灵活性,改善用户体验。所述光场相机的预览图像为所述场景某一视角的二维图像;对所述预览图像的选择信息可包括但不限于:选择方向信息,或者,选择区域信息,或者,选择对象信息等,以提供丰富的交互方式,提高用户使用的方便性。可选的交互方式:例如,所述选择信息可包括选择方向信息,用户可在预览图像显示屏上通过手指任意划出一道其期望清晰成像的方向,图像采集控制装置在该方向确定一预定大小的空间区域为期望清晰区,结合所述期望清晰区和场景中各部分的空间分布信息,可确定所述场景的期望清晰成像空间区域;又例如,所述选择信息可包括选择区域信息,如图2所示,用户可在预览图像显示屏上通过手指划出一定大小的二维区域,划出的二维区域可直接作为所述期望清晰区,或者,也可对二维区域进行缩放、旋转、修正等调整并将调整后的二维区域作为所述期望清晰区,可获得预览图像中对应场景中各对象的像在所述期望清晰区的部分的一组像点的二维坐标{x_i,y_i},之后,结合所述期望清晰区和场景中各部分的空间分布信息(如图3所示),如根据场景中各部分的深度分布信息,可确定与该组像点对应的一组深度坐标{z_i},根据第一空间分布信息(所述第一空间分布信息包括二维坐标组{x_i,y_i}和深度坐标组{z_i},可表示为一组{x_i,y_i,z_i}),可确定所述场景的期望清晰成像空间区域;再例如,所述选择信息可包括选择对象信息,用户可在预览图像显示屏上通过手指触选某对象,根据该对象在场景中的空间分布信息,确定所述场景的期望清晰成像区域。
本申请实施例提供的技术方案中,可选的,所述经调整后的所述光场相机对所述场景进行图像采集之前,还包括:确定所述期望清晰成像空间区域覆盖的最大深度子区;对所述光场相机进行对焦调整,以使所述光场相机调整后的对焦面位于所述最大深度子区内。
景深(Depth of Field,简称DoF)通常是指摄像镜头对所拍摄的场景能够清晰成像的物距范围,也就是说,在深度方向上相对摄像镜头的对焦物面前后的一定深度范围可清晰成像。当光场相机光圈调整、对焦等操作完成之后,该光场相机的景深范围通常也随之确定,该景深范围为深度方向上相对光场相机主透镜的一定物距范围。通过光场相机的一次光学采集,场景中位于景深范围内的部分成像的弥散圆尺寸较小,通常可清晰成像,而场景中位于景深范围外的部分成像的弥散圆尺寸较大,成像通常较为模糊。该方案通过确定所述期望清晰成像空间区域覆盖的最大深度子区,也就是获取所述场景中位于所述期望清晰成像空间区域内的各部分在深度方向上的最大深度和最小深度,最大深度和最小深度之间的深度范围为所述最大深度子区,可将所述光场相机的对焦位置调整为介于所述最大深度子区内的某一位置,如调整为所述最大深度子区内的中心位置或者中心位置之前的某一深度位置等等,使得所述光场相机的景深范围在所述最大深度子区内有所分布,提高所述期望清晰成像区域内位于所述景深范围内的部分的成像质量。
本申请实施例提供的技术方案中,可根据减小相应平均弥散圆的收敛条件对待倾斜的第一子透镜相对成像面进行倾斜控制,实现方式非常灵活。
可选的,所述至少一第一子透镜中任一第一子透镜相对所述成像面倾斜之后,与所述第一子透镜对应的第一部分在与所述第一子透镜对应的第一成像区域上成像的平均弥散圆小于或等于一容许弥散圆。如果弥散圆小于或等于某一容许弥散圆(permissiblecircle of confusion),可视为拍摄的相应部分合焦成像;相应的,如果弥散圆大于该容许弥散圆,可视为拍摄的相应部分失焦成像。所述容许弥散圆的大小与物距、放大倍率等因素有关,可预先确定容许弥散圆大小,例如所述容许弥散圆大小为1/30mm等等。该方案相当于在第一子透镜倾斜控制过程中,将第一子透镜倾斜后的平均弥散圆小于或等于一容许弥散圆作为第一子透镜倾斜控制的收敛条件,也就是说,在第一子透镜倾斜控制过程中,如果第一子透镜位于某一倾斜状态且对应该倾斜状态下、与该第一子透镜对应的第一成像单元上所成的像的平均弥散圆小于或等于所述容许弥散圆,则可完成第一子透镜的倾斜控制,每个第一子透镜的倾斜均可采用上述方式控制,这样,经调整后的光场相机对场景进行图像采集,有利于获得所述至少一第一部分较高的成像质量,实现场景中需要较高成像质量的局部空间区域的定制化图像采集。
可选的,相对所述成像面倾斜所述至少一第一子透镜中的任一第一子透镜,以减小与所述第一子透镜相应的第一部分在与所述第一子透镜相应的第一成像区域上成像的平均弥散圆,包括:根据所述第一子透镜的焦距、所述第一子透镜的光心沿垂直所述成像面的方向到拟合面的距离、以及所述拟合面和所述成像面之间的夹角,确定所述第一子透镜的期望倾斜角度;至少根据所述期望倾斜角度相对所述成像面倾斜所述第一子透镜,以减小相应的所述第一部分在相应的所述第一成像区域上成像的平均弥散圆。该方案可提高所述第一子透镜倾斜控制的效率。
其中,所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面,通过该平面来反应所述至少一第一部分经主透镜所成的像的各像点的空间分布的主要或重要分布趋势。所述拟合面可在相对所述成像面倾斜所述至少一第一子透镜之前确定,且所述拟合面的确定方式非常灵活,例如,可根据所述至少一第一部分在所述场景中的第一空间分布信息,确定所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息;根据所述第二空间分布信息确定所述拟合面。可选的,根据所述场景中位于所述期望清晰成像区域内的至少一部分的各物点坐标{x_i,y_i,z_i},可得到所述至少一部分经主透镜所成的像的各像点坐标{x_i′,y_i′,z_i′}(即第二空间分布信息),可根据主成分分析(Principal Component Analysis,简称PCA)算法模型可确定包围这些像点的最小包围盒(minimal bounding box),如图4所示,之后再根据随机抽样一致性(Random Sample Consensus,简称RANSAC)算法模型确定所述最小包围盒内的某一平面,使得所述最小包围盒内的各像点分别到该平面的距离之和最小,如此得到的平面即为所述拟合面。采用该方案确定拟合面,方案简单易实现。
光场相机中,某一所述第一子透镜相对成像面(所述成像面为光场相机的图像传感器所在的平面)倾斜之后,所述第一子透镜所在平面与光场相机的成像面不再平行。参考沙姆定律(Scheimpflug principle),当所述拟合面的延长面、所述第一子透镜倾斜后所在平面的延长面、所述光场相机的成像面的延长面,三者相交与一直线时,如图5所示,与所述第一子透镜相应的所述第一部分可获得清晰成像的区域最大。满足上述定律的第一子透镜的倾斜角度可为本申请实施例所述的该第一子透镜的期望倾斜角度。
可选的,如图6所示,所述第一子透镜的期望倾斜角度可采用下式计算:
上式中:θ表示第一子透镜相对成像面的倾斜角度,即第一子透镜的期望倾斜角度;f表示第一子透镜的焦距;表示光场相机的成像面和拟合面之间的夹角;u表示第一子透镜的光心沿垂直所述成像面的方向到拟合面的距离,该距离即为第一子透镜的光心到拟合面的物距。至少根据该方案确定的期望倾斜角度相对所述成像面倾斜所述第一子透镜(所述第一子透镜可绕其光心倾斜),使得所述第一子透镜所在平面相对所述成像面的倾斜角度尽可能接近甚至等于所述期望倾斜角度,并且在第一子透镜处于倾斜后的状态下进行图像采集时,所述第一部分在所述第一成像区域上成像的平均弥散圆尽可能小。该方案提高了第一子透镜倾斜控制的效率。
根据沙姆定律,沿光心倾斜第一子透镜平面(lens plane),让其和成像面(imageplane)、拟合面的延长面交于一条直线,拟合面能够达到最大清晰度;本方案对应的场景中,沿垂直方向分布的多个第一子透镜对应的成像面和拟合面之间的夹角相同,但是光心不同的垂直坐标位置,使得所述多个第一子透镜各自的光心到拟合面的物距有所不同,造成了不同的第一子透镜需要倾斜不同的角度让拟合面清晰;倾斜的角度大小和透镜光心和沙姆交线间的相对位置有关系,具体来说,第一子透镜的光心到沙姆交线的距离越大,需要倾斜角度越小,反之越大。
如图4所示,在实际应用过程中,与拟合面和成像面的交线的距离不同的第一子透镜,要满足上述沙姆定律所需倾斜的角度有所不同,如距离拟合面和成像面的交线较近的第一子透镜A(该第一子透镜A的光心到拟合面的物距ua较小)倾斜的角度θ1,大于距离拟合面和成像面的交线较远的第一子透镜B(该第一子透镜B的光心到拟合面的物距ub较大)倾斜的角度θ2,因此,进一步可选的,至少根据所述期望倾斜角度相对所述成像面倾斜所述第一子透镜之前,所述图像采集控制方法还可包括:将所述期望倾斜角度与一子透镜倾斜调节角度阈值进行比较;响应于所述期望倾斜角度超过所述子透镜倾斜调节角度阈值,调远所述光场相机的对焦位置。光学相机中,子透镜的倾斜调节会受到机械、光学等结构的限制,使得子透镜的倾斜存在一定的能力限制,可根据子透镜允许倾斜的能力确定子透镜倾斜调节角度阈值,将所述期望倾斜角度和该子透镜倾斜调节角度阈值进行比较,如果所述期望倾斜角度大于该子透镜倾斜调节角度阈值,则可将光学相机的对焦位置调远,即增加主透镜的物距,根据薄透镜的成像公式,主透镜物距增加,会减小主透镜的像距,由于主透镜和子透镜之间的距离一定,也就相当于增加了子透镜的物距,即一定程度上相当于增加了拟合面与子透镜之间的距离,使得拟合面和成像面的交线距离子透镜的距离有所增加,这样,第一子透镜倾斜一较小的角度后所在的平面与该交线相交即可能相交,基于调节后的光场相机采集场景的图像则有利于提高相应的第一部分的成像质量。
可选的,相对所述成像面倾斜所述至少一第一子透镜中的任一第一子透镜,以减小与所述第一子透镜相应的第一部分在与所述第一子透镜相应的第一成像区域上成像的平均弥散圆,包括:确定所述第一子透镜相对所述成像面的容许夹角范围;至少根据所述容许夹角范围相对所述成像面倾斜所述第一子透镜,以减小相应的所述第一部分在相应的所述第一成像区域上成像的平均弥散圆。采用该方案相对所述成像面倾斜所述第一子透镜,倾斜后的所述第一子透镜所在平面与所述成像面之间的夹角落入所述容许夹角范围。该方案提高了第一子透镜倾斜控制的效率。对每个第一子透镜的倾斜均可采用上述方式控制,这样,经调整后的光场相机对场景进行图像采集,有利于获得所述至少一第一部分较高的成像质量,实现场景中需要较高成像质量的局部空间区域的定制化图像采集。
其中,所述容许夹角范围可根据透镜倾斜后能够带来相应平均弥散圆减小的要求下灵活确定,本申请实施例对此并不限制。例如,所述容许夹角范围可根据子透镜倾斜后能够带来相应平均弥散圆减小的要求下预先确定,确定的方法可包括但不限于采用实验手段、模拟仿真、公式推导等方式确定。可选的,确定所述第一子透镜的光轴相对所述成像面的容许夹角范围,包括:根据所述第一子透镜的焦距、所述第一子透镜的光心沿垂直所述成像面的方向到拟合面的距离、以及所述拟合面和所述成像面之间的夹角,确定所述第一子透镜的期望倾斜角度;至少根据所述期望倾斜角度确定所述容许夹角范围。所述期望倾斜角度的确定方法可参考上文的记载,在确定了所述期望倾斜角度之后,可结合考虑第一子透镜倾斜调节精度限制、对第一部分成像质量要求等因素,将期望倾斜角度在一定容许误差范围内的角度范围作为所述容许夹角范围。采用该方案确定的所述容许夹角范围较为合理,基于该容许夹角范围进行第一子透镜相对成像面的倾斜控制,效率高且较易实现。
可选的,相对所述成像面倾斜所述至少一第一子透镜中的任一第一子透镜,以减小与所述第一子透镜相应的第一部分在与所述第一子透镜相应的第一成像区域上成像的平均弥散圆,包括:相对所述成像面沿减小相应的所述第一部分经拟合面与所述第一子透镜所在平面之间的夹角的方向倾斜所述第一子透镜,以减小相应的所述第一部分在相应的所述第一成像区域上成像的平均弥散圆。如图7所示,第一子透镜倾斜前所在的平面与拟合面之间的夹角为A1,可沿减小该夹角的方向使所述第一子透镜相对成像面倾斜,如第一子透镜倾斜后所在的平面与拟合面之间的夹角为A2,A2小于A1,可见,所述第一子透镜朝该方向倾斜后其所在的平面的延长面、拟合面的延长面、以及所述成像面所在的平面三者相交同一直线的概率明显增加了,由此可减小第一部分在所述成像面的第一成像区域所成的像的平均弥散圆,提高所采集的图像中所述第一部分的成像质量。对每个第一子透镜的倾斜均可采用上述方式控制,这样,经调整后的光场相机对场景进行图像采集,有利于获得所述至少一第一部分较高的成像质量,实现场景中需要较高成像质量的局部空间区域的定制化图像采集。
进一步的,如果将该倾斜方向和所述期望倾斜角度共同作为所述第一子透镜倾斜控制的依据,则可进一步提高第一子透镜倾斜控制的效率;或者,如果将该倾斜方向和所述容许夹角范围共同作为所述第一子透镜倾斜控制的依据,则可进一步提高第一子透镜倾斜控制的效率。
可选的,相对光场相机的成像面倾斜第一子透镜之前,还包括:确定所述子透镜阵列中待倾斜的所述至少一第一子透镜。采用该方案可在光场相机的子透镜阵列中确定出影响所述期望清晰成像空间区域图像采集的至少一子透镜,为待倾斜的所述第一子透镜,之后相对成像面倾斜所述至少一第一子透镜,使得所述场景位于所述期望清晰成像空间区域内的至少一部分在所述成像面相应的至少一第一成像区域上成像的平均弥散圆有所减小,由此提高所述至少一第一部分的成像质量。影响所述期望清晰成像空间区域图像采集的第一子透镜可能为一个或多个,可对确定的每个第一子透镜分别相对所述成像面进行倾斜,并将所述第一部分在倾斜后的相应子透镜对应的成像区域上所成的像的平均弥散圆有所减小作为相应子透镜倾斜控制的收敛条件,由此提高所述至少一第一部分的成像质量。
进一步可选的,确定所述子透镜阵列中待倾斜的所述至少一第一子透镜,包括:确定所述子透镜阵列中与所述场景的预览图像的期望清晰区对应的至少一子透镜,为待倾斜的所述至少一第一子透镜。所述至少一第一子透镜的确定方式非常灵活,本申请实施例对此并不限制。一种可选的实现方式,所述光场相机中,如图8所示,所述子透镜阵列包括的各子透镜的焦距相同,成像面(如所述图像传感器所在的面)与所述子透镜阵列的距离等于所述子透镜的焦距;基于该光场相机采集场景某一视角的图像(如所述预览图像)的空间分辨率与所述子透镜阵列的子透镜分布对应,每个子透镜对应所述图像传感器的某一成像区域,每个成像区域包括阵列分布多个像素,通过该成像区域记录该子透镜对来自所述场景的某部的不同方向的光线信息,也即,该光场相机中,所述预览图像的像素分布与所述子透镜阵列的子透镜分布之间存在对应的关系,因此,可确定所述子透镜阵列中与所述场景的预览图像的期望清晰区对应的至少一子透镜,为待倾斜的所述至少一第一子透镜。采用该方案确定所述第一子透镜,方法简单易实现。
本领域技术人员可以理解,在本申请具体实施方式的上述任一方法中,各步骤的序号大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本申请具体实施方式的实施过程构成任何限定。
图9为本申请实施例提供的第一种图像采集控制装置的逻辑框图。如图9所示,本申请实施例提供的第一种图像采集控制装置包括:一期望清晰成像空间区域确定模块91、一子透镜倾斜控制模块92和一图像采集控制模块93。
期望清晰成像空间区域确定模块91用于确定场景的期望清晰成像空间区域。
子透镜倾斜控制模块92用于相对光场相机的成像面倾斜至少一第一子透镜,以减小至少一第一部分在至少一第一成像区域上成像的平均弥散圆,其中:所述至少一第一子透镜为所述光场相机的子透镜阵列中影响所述期望清晰成像空间区域图像采集的至少一子透镜,所述至少一第一部分为所述场景中位于所述期望清晰成像空间区域的至少一部分,所述至少第一成像区域为所述成像面中与所述至少一第一子透镜对应的至少一成像区域。
图像采集控制模块93用于经调整后的所述光场相机对所述场景进行图像采集。
本申请实施例提供的图像采集控制装置可确定场景的期望清晰成像空间区域,通过倾斜影响所述期望清晰成像空间区域图像采集的至少一第一子透镜的方式,使得所述场景中位于所述期望清晰成像空间区域的至少一第一部分在所述光场相机中与所述至少第一子透镜对应的至少一第一成像区域上成像的平均弥散圆的大小有所减小,由此改善所述第一部分的成像质量。此外,采用本申请实施例提供的技术方案进行场景图像的光学采集期间,由于所述场景的期望清晰成像空间区域可根据实际需要确定,并通过倾斜光场相机相应的至少一第一子透镜的方式可提高对所述至少一第一部分进行光学采集的成像质量,因此,有利于实现场景中需要较高成像质量的期望清晰成像空间区域的定制化图像采集,可更好满足多样化的图像采集应用以及基于光学采集信息的后交互应用等需求。
所述图像采集控制装置的设备表现形式不受限制,例如所述图像采集控制装置可为某一独立的部件;或者,所述图像采集控制装置可作为某一功能模块集成在一成像设备中,所述成像设备可包括但不限于光场相机或包括有光场相机的手机、平板电脑等,本申请实施例对此并不限制。
可选的,如图10所示,所述期望清晰成像空间区域确定模块91包括:一期望清晰区确定子模块911、一第一空间分布信息确定子模块912和一期望清晰成像空间区域确定子模块913。期望清晰区确定子模块911用于确定所述光场相机获取的所述场景的预览图像的局部为期望清晰区;第一空间分布信息确定子模块912用于确定所述期望清晰区对应的至少一第一部分在所述场景中的第一空间分布信息;期望清晰成像空间区域确定子模块913用于根据所述第一空间分布信息确定所述期望清晰成像空间区域。该方案基于所述场景的预览图像选择所述场景的期望清晰成像空间区域,方案简单易实现。
可选的,所述期望清晰区确定子模块911包括:一选择信息获取单元9111和一期望清晰区获取单元9112。选择信息获取单元9111用于获取对所述预览图像的选择信息;期望清晰区获取单元9112用于至少根据所述选择信息确定所述预览图像的相应局部为所述期望清晰区。该方案可提高所述期望清晰区或所述场景的期望清晰成像空间区域确定的交互方便性和灵活性,改善用户体验。所述光场相机的预览图像为所述场景某一视角的二维图像;对所述预览图像的选择信息可包括但不限于:选择方向信息,或者,选择区域信息,或者,选择对象信息等,以提供丰富的交互方式,提高用户使用的方便性。
可选的,所述图像采集控制装置还包括:一最大深度子区确定模块94和一第一对焦调整模块95。最大深度子区确定模块94用于确定所述期望清晰成像空间区域覆盖的最大深度子区;第一对焦调整模块95用于对所述光场相机进行对焦调整,以使所述光场相机调整后的对焦面位于所述最大深度子区内。该方案通过将所述光场相机的对焦位置调整为介于所述最大深度子区内的某一位置,使得所述光场相机的景深范围在所述最大深度子区内有所分布,提高所述期望清晰成像区域内位于所述景深范围内的部分的成像质量。
可选的,所述至少一第一子透镜中任一第一子透镜相对所述成像面倾斜之后,与所述第一子透镜对应的第一部分在与所述第一子透镜对应的第一成像区域上成像的平均弥散圆小于或等于一容许弥散圆。每个第一子透镜的倾斜均可采用上述方式控制,这样,经调整后的光场相机对场景进行图像采集,有利于获得所述至少一第一部分较高的成像质量,实现场景中需要较高成像质量的局部空间区域的定制化图像采集。
可选的,如图11所示,所述子透镜倾斜控制模块92包括:一期望倾斜角度确定子模块921和一倾斜角度倾斜控制子模块922。期望倾斜角度确定子模块921用于根据任一所述第一子透镜的焦距、所述第一子透镜的光心沿垂直所述成像面的方向到拟合面的距离、以及所述拟合面和所述成像面之间的夹角,确定所述第一子透镜的期望倾斜角度,其中,所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面;倾斜角度倾斜控制子模块922用于至少根据所述期望倾斜角度相对所述成像面倾斜所述第一子透镜,以减小相应的所述第一部分在相应的所述第一成像区域上成像的平均弥散圆。该方案提高了第一子透镜倾斜控制的效率。
可选的,所述图像采集控制装置还包括:一角度比较模块96和一第二对焦调整模块97。角度比较模块96用于将所述期望倾斜角度与一子透镜倾斜调节角度阈值进行比较;第二对焦调整模块97用于响应于所述期望倾斜角度超过所述子透镜倾斜调节角度阈值,调远所述光场相机的对焦位置。该方案提高了第一子透镜倾斜一较小的角度后所在的平面的延长面、拟合面的延长面、成像面的延长面向相交的概率,基于调节后的光场相机采集场景的图像则有利于提高相应的第一部分的成像质量。
可选的,所述子透镜倾斜控制模块92包括:一容许夹角范围确定子模块923和一范围倾斜控制子模块924。容许夹角范围确定子模块923用于确定任一所述第一子透镜相对所述成像面的容许夹角范围;范围倾斜控制子模块924用于至少根据所述容许夹角范围相对所述成像面倾斜所述第一子透镜,以减小相应的所述第一部分在相应的所述第一成像区域上成像的平均弥散圆。该方案提高了第一子透镜倾斜控制的效率。对每个第一子透镜的倾斜均可采用上述方式控制,这样,经调整后的光场相机对场景进行图像采集,有利于获得所述至少一第一部分较高的成像质量,实现场景中需要较高成像质量的局部空间区域的定制化图像采集。
可选的,所述容许夹角范围确定子模块923包括:一期望倾斜角度确定单元9231和一容许夹角范围确定单元9232。期望倾斜角度确定单元9231用于根据所述第一子透镜的焦距、所述第一子透镜的光心沿垂直所述成像面的方向到拟合面的距离、以及所述拟合面和所述成像面之间的夹角,确定所述第一子透镜的期望倾斜角度,其中,所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面;容许夹角范围确定单元9232用于至少根据所述期望倾斜角度确定所述容许夹角范围。采用该方案确定的所述容许夹角范围较为合理,基于该容许夹角范围进行第一子透镜相对成像面的倾斜控制,效率高且较易实现。
可选的,所述子透镜倾斜控制模块92包括:一方向倾斜控制子模块925。方向倾斜控制子模块925用于相对所述成像面沿减小相应的所述第一部分经拟合面与所述第一子透镜所在平面之间的夹角的方向倾斜任一所述第一子透镜,以减小相应的所述第一部分在相应的所述第一成像区域上成像的平均弥散圆,其中,所述拟合面为根据所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息拟合而得的平面。对每个第一子透镜的倾斜均可采用上述方式控制,这样,经调整后的光场相机对场景进行图像采集,有利于获得所述至少一第一部分较高的成像质量,实现场景中需要较高成像质量的局部空间区域的定制化图像采集。
进一步的,如果将该倾斜方向和所述期望倾斜角度共同作为所述第一子透镜倾斜控制的依据,则可进一步提高第一子透镜倾斜控制的效率;或者,如果将该倾斜方向和所述容许夹角范围共同作为所述第一子透镜倾斜控制的依据,则可进一步提高第一子透镜倾斜控制的效率。
可选的,所述图像采集控制装置还包括:一第二空间分布信息确定模块98和一拟合面确定模块99。第二空间分布信息确定模块98用于根据所述至少一第一部分在所述场景中的第一空间分布信息,确定所述至少一第一部分经所述光场相机的主透镜所成的各像的第二空间分布信息;拟合面确定模块99用于根据所述第二空间分布信息确定所述拟合面。可选的,所述各像分别到所述拟合面的距离之和最小。采用该方案确定拟合面,方案简单易实现。
可选的,所述图像采集控制装置还包括:一第一子透镜确定模块910。第一子透镜确定模块910用于确定所述子透镜阵列中待倾斜的所述至少一第一子透镜。
可选的,所述第一子透镜确定模块910包括:一第一子透镜确定子模块9101。第一子透镜确定子模块9101用于确定所述子透镜阵列中与所述场景的预览图像的期望清晰区对应的至少一子透镜,为待倾斜的所述至少一第一子透镜。采用该方案确定所述第一子透镜,方法简单易实现。
图12为本申请实施例提供的第四种图像采集控制装置的结构示意图,本申请具体实施例并不对图像采集控制装置1200的具体实现方式做限定。如图12所示,图像采集控制装置1200可以包括:
处理器(Processor)1210、通信接口(Communications Interface)1220、存储器(Memory)1230、以及通信总线1240。其中:
处理器1210、通信接口1220、以及存储器1230通过通信总线1240完成相互间的通信。
通信接口1220,用于与比如可变形的图像传感器等通信。
处理器1210,用于执行程序1232,具体可以执行上述任一方法实施例中的相关步骤。
例如,程序1232可以包括程序代码,所述程序代码包括计算机操作指令。
处理器1210可能是一个中央处理器(Central Processing Unit,简称CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器1230,用于存放程序1232。存储器1230可能包含随机存取存储器(RandomAccess Memory,简称RAM),也可能还包括非易失性存储器(Non-volatile memory),例如至少一个磁盘存储器。
例如,在一种可选的实现方式中,处理器1210通过执行程序1232可执行以下步骤:确定场景的期望清晰成像空间区域;相对光场相机的成像面倾斜至少一第一子透镜,以减小至少一第一部分在至少一第一成像区域上成像的平均弥散圆,其中:所述至少一第一子透镜为所述光场相机的子透镜阵列中影响所述期望清晰成像空间区域图像采集的至少一子透镜,所述至少一第一部分为所述场景中位于所述期望清晰成像空间区域的至少一部分,所述至少第一成像区域为所述成像面中与所述至少一第一子透镜对应的至少一成像区域;经调整后的所述光场相机对所述场景进行图像采集。在其他可选的实现方式中,处理器1210通过执行程序1232还可执行上述其他任一实施例提及的步骤,在此不再赘述。
程序1232中各步骤的具体实现可以参见上述实施例中的相应步骤、模块、子模块、单元中对应的描述,在此不再赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
在本申请上述各实施例中,实施例的序号和/或先后顺序仅仅便于描述,不代表实施例的优劣。对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。有关装置、设备或系统实施例的实施原理或过程的相关描述,可参见相应方法实施例的记载,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的装置、方法、系统等实施例中,显然,各部件(系统、子系统、模块、子模块、单元、子单元等)或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本申请的等效方案。同时,在上面对本申请具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
最后应说明的是:以上实施方式仅用于说明本申请,而并非对本申请的限制,有关技术领域的普通技术人员,在不脱离本申请的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本申请的范畴,本申请的专利保护范围应由权利要求限定。

Claims (10)

1.一种图像采集控制方法,其特征在于,包括:
确定场景的期望清晰成像空间区域;
相对光场相机的成像面倾斜至少一第一子透镜,以减小至少一第一部分在至少一第一成像区域上成像的平均弥散圆,其中:所述至少一第一子透镜为所述光场相机的子透镜阵列中影响所述期望清晰成像空间区域图像采集的至少一子透镜,所述至少一第一部分为所述场景中位于所述期望清晰成像空间区域的至少一部分,所述至少第一成像区域为所述成像面中与所述至少一第一子透镜对应的至少一成像区域;
经调整后的所述光场相机对所述场景进行图像采集。
2.根据权利要求1所述的方法,其特征在于,所述确定场景的期望清晰成像空间区域,包括:
确定所述光场相机获取的所述场景的预览图像的局部为期望清晰区;
确定所述期望清晰区对应的至少一第一部分在所述场景中的第一空间分布信息;
根据所述第一空间分布信息确定所述期望清晰成像空间区域。
3.根据权利要求2所述的方法,其特征在于,确定所述光场相机获取的所述场景的预览图像的局部为期望清晰区,包括:
获取对所述预览图像的选择信息;
至少根据所述选择信息确定所述预览图像的相应局部为所述期望清晰区。
4.根据权利要求3所述的方法,其特征在于,所述选择信息包括:选择方向信息,或者,选择区域信息,或者,选择对象信息。
5.根据权利要求1-4任一所述的方法,其特征在于,所述至少一第一子透镜中任一第一子透镜相对所述成像面倾斜之后,与所述第一子透镜对应的第一部分在与所述第一子透镜对应的第一成像区域上成像的平均弥散圆小于或等于一容许弥散圆。
6.一种图像采集控制装置,其特征在于,包括:
一期望清晰成像空间区域确定模块,用于确定场景的期望清晰成像空间区域;
一子透镜倾斜控制模块,用于相对光场相机的成像面倾斜至少一第一子透镜,以减小至少一第一部分在至少一第一成像区域上成像的平均弥散圆,其中:所述至少一第一子透镜为所述光场相机的子透镜阵列中影响所述期望清晰成像空间区域图像采集的至少一子透镜,所述至少一第一部分为所述场景中位于所述期望清晰成像空间区域的至少一部分,所述至少第一成像区域为所述成像面中与所述至少一第一子透镜对应的至少一成像区域;
一图像采集控制模块,用于经调整后的所述光场相机对所述场景进行图像采集。
7.根据权利要求6所述的装置,其特征在于,所述期望清晰成像空间区域确定模块包括:
一期望清晰区确定子模块,用于确定所述光场相机获取的所述场景的预览图像的局部为期望清晰区;
一第一空间分布信息确定子模块,用于确定所述期望清晰区对应的至少一第一部分在所述场景中的第一空间分布信息;
一期望清晰成像空间区域确定子模块,用于根据所述第一空间分布信息确定所述期望清晰成像空间区域。
8.根据权利要求7所述的装置,其特征在于,所述期望清晰区确定子模块包括:
一选择信息获取单元,用于获取对所述预览图像的选择信息;
一期望清晰区获取单元,用于至少根据所述选择信息确定所述预览图像的相应局部为所述期望清晰区。
9.根据权利要求8所述的装置,其特征在于,所述选择信息包括:选择方向信息,或者,选择区域信息,或者,选择对象信息。
10.一种图像采集控制装置,其特征在于,包括:
一处理器、一通信接口、一存储器以及一通信总线;所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一指令;所述指令使所述处理器执行以下操作:
确定场景的期望清晰成像空间区域;
相对光场相机的成像面倾斜至少一第一子透镜,以减小至少一第一部分在至少一第一成像区域上成像的平均弥散圆,其中:所述至少一第一子透镜为所述光场相机的子透镜阵列中影响所述期望清晰成像空间区域图像采集的至少一子透镜,所述至少一第一部分为所述场景中位于所述期望清晰成像空间区域的至少一部分,所述至少第一成像区域为所述成像面中与所述至少一第一子透镜对应的至少一成像区域;
经调整后的所述光场相机对所述场景进行图像采集。
CN201510546296.1A 2015-08-31 2015-08-31 图像采集控制方法和装置 Active CN106375648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510546296.1A CN106375648B (zh) 2015-08-31 2015-08-31 图像采集控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510546296.1A CN106375648B (zh) 2015-08-31 2015-08-31 图像采集控制方法和装置

Publications (2)

Publication Number Publication Date
CN106375648A CN106375648A (zh) 2017-02-01
CN106375648B true CN106375648B (zh) 2019-05-21

Family

ID=57880442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510546296.1A Active CN106375648B (zh) 2015-08-31 2015-08-31 图像采集控制方法和装置

Country Status (1)

Country Link
CN (1) CN106375648B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110530889A (zh) * 2018-05-25 2019-12-03 上海翌视信息技术有限公司 一种适用于工业生产线的光学检测方法
CN113126111B (zh) * 2019-12-30 2024-02-09 Oppo广东移动通信有限公司 飞行时间模组和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685378A (zh) * 2011-03-10 2012-09-19 佳能株式会社 图像拾取设备和图像拾取光学系统
CN104303494A (zh) * 2012-05-21 2015-01-21 株式会社理光 成像装置、成像系统和成像方法
CN204258928U (zh) * 2014-11-03 2015-04-08 北京蚁视科技有限公司 光场成像系统
CN104735360A (zh) * 2013-12-18 2015-06-24 华为技术有限公司 光场图像处理方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101643607B1 (ko) * 2009-12-30 2016-08-10 삼성전자주식회사 영상 데이터 생성 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685378A (zh) * 2011-03-10 2012-09-19 佳能株式会社 图像拾取设备和图像拾取光学系统
CN104303494A (zh) * 2012-05-21 2015-01-21 株式会社理光 成像装置、成像系统和成像方法
CN104735360A (zh) * 2013-12-18 2015-06-24 华为技术有限公司 光场图像处理方法和装置
CN204258928U (zh) * 2014-11-03 2015-04-08 北京蚁视科技有限公司 光场成像系统

Also Published As

Publication number Publication date
CN106375648A (zh) 2017-02-01

Similar Documents

Publication Publication Date Title
CN104506762B (zh) 光场采集控制方法和装置、光场采集设备
CN104410784B (zh) 光场采集控制方法和装置
CN104486537B (zh) 光场采集控制方法和装置
CN106161922B (zh) 图像采集控制方法和装置
WO2022127225A1 (zh) 图像拼接方法、装置、设备和存储介质
CN108769462A (zh) 自由视角场景漫游方法及装置
CN110290324A (zh) 设备成像方法、装置、存储介质及电子设备
US20200106959A1 (en) Panoramic light field capture, processing, and display
CN103188434A (zh) 一种图像采集方法和设备
CN110493514B (zh) 图像处理方法、存储介质及电子设备
CN107490842A (zh) 摄像模组、成像设备和图像处理方法
CN110166680A (zh) 设备成像方法、装置、存储介质及电子设备
CN106375648B (zh) 图像采集控制方法和装置
CN106254804B (zh) 光场显示控制方法和装置、光场显示设备
CN106303208B (zh) 图像采集控制方法和装置
CN106254753B (zh) 光场显示控制方法和装置、光场显示设备
CN115170383A (zh) 一种图像虚化方法、装置、存储介质及终端设备
CN105898145A (zh) 一种拍照方法及终端
CN106303209B (zh) 图像采集控制方法和装置
US9723216B2 (en) Method and system for generating an image including optically zoomed and digitally zoomed regions
An et al. Construction of a flexible and scalable 4D light field camera array using Raspberry Pi clusters
CN106254750B (zh) 图像采集控制方法和装置
CN111382753A (zh) 光场语义分割方法、系统、电子终端及存储介质
CN107707807B (zh) 图像采集控制方法和装置
Zhao et al. Panoramic light field from hand-held video and its sampling for real-time rendering

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant