CN106254750B - 图像采集控制方法和装置 - Google Patents
图像采集控制方法和装置 Download PDFInfo
- Publication number
- CN106254750B CN106254750B CN201510546218.1A CN201510546218A CN106254750B CN 106254750 B CN106254750 B CN 106254750B CN 201510546218 A CN201510546218 A CN 201510546218A CN 106254750 B CN106254750 B CN 106254750B
- Authority
- CN
- China
- Prior art keywords
- imaging unit
- district
- sub
- depth distribution
- distribution sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Studio Devices (AREA)
Abstract
本申请公开了一种图像采集控制方法和装置,所述方法包括:确定场景的局部深度分布子区为第一深度分布子区;相对与光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小第一部分在第一成像单元上成像的平均弥散圆,其中:所述第一成像单元为所述光场相机的成像单元阵列中用于对所述第一深度分布子区进行图像采集的成像单元,所述第一部分为所述场景中位于所述第一深度分布子区的部分;经调整后的所述光场相机对所述场景进行图像采集。本申请有利于实现场景中需要较高成像质量的深度分布子区的定制化图像采集,可更好满足多样化的图像采集应用需求。
Description
技术领域
本申请涉及一种终端技术领域,特别是涉及一种图像采集控制方法和装置。
背景技术
随着图像采集技术的不断发展,支持图像采集的设备不断推陈出新,人们对采集图像的个性化需求也越来越多。
与传统相机不同,光场相机通常是在主透镜和如CCD等图像传感器之间放置一子透镜阵列,通过子透镜阵列将场景不同方向的光场信息在子透镜阵列的焦平面上进行记录,通过单次曝光可以记录三维场景的空间、视角等四维光场信息,支持“先拍摄后调焦”,通过对拍摄后的图像进行处理即可以生成丰富的图像效果,可满足例如数字重对焦、视角变化、深度图像、三维重构等多种成像应用。目前,基于光场相机的图像采集技术的研究引起业内人士愈加广泛的关注。
发明内容
在下文中给出了关于本申请的简要概述,以便提供关于本申请的某些方面的基本理解。应当理解,这个概述并不是关于本申请的穷举性概述。它并不是意图确定本申请的关键或重要部分,也不是意图限定本申请的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
本申请实施例提供一种图像采集控制方法和装置。
第一方面,本申请实施例提供了一种图像采集控制方法,包括:
确定场景的局部深度分布子区为第一深度分布子区;
相对与光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小第一部分在第一成像单元上成像的平均弥散圆,其中:所述第一成像单元为所述光场相机的成像单元阵列中用于对所述第一深度分布子区进行图像采集的成像单元,所述第一部分为所述场景中位于所述第一深度分布子区的部分;
经调整后的所述光场相机对所述场景进行图像采集。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述确定场景的局部深度分布子区为第一深度分布子区,包括:确定所述场景中第一部分的深度分布子区为所述第一深度分布子区。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述第一深度分布子区为所述光场相机的景深范围的一子集。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述经调整后的所述光场相机对所述场景进行图像采集之前,还包括:相对与主透镜平行的平面至少倾斜第二成像单元,以增大第二部分在第二成像单元上成像的平均弥散圆,其中:所述第二成像单元为所述成像单元阵列中用于对所述第二深度分布子区进行图像采集的成像单元,所述第二深度分布子区与所述第一深度分布子区不同,所述第二部分为所述场景中位于所述第二深度分布子区的部分。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述第二深度分布子区为所述景深范围除所述第一深度分布子区之外的其他深度分布子区。
结合本申请实施例提供的任一种图像采集控制方法,可选的,至少所述第一成像单元相对与主透镜平行的平面倾斜之后,所述第一部分在所述第一成像单元上成像的平均弥散圆小于或等于一容许弥散圆。
结合本申请实施例提供的任一种图像采集控制方法,可选的,至少所述第二成像单元相对所述与主透镜平行的平面倾斜之后,所述第二部分在所述第二成像单元上成像的平均弥散圆大于一容许弥散圆。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述相对与光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小第一部分在第一成像单元上成像的平均弥散圆,包括:根据第一子透镜的焦距、所述第一部分经所述主透镜所成的像所在的平面和与主透镜平行的平面之间的夹角、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一部分经所述主透镜所成的像所在平面的距离,确定所述第一成像单元的期望倾斜角度,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜;至少根据所述期望倾斜角度相对所述与主透镜平行的平面倾斜所述第一成像单元,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述相对与光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小第一部分在第一成像单元上成像的平均弥散圆,包括:确定所述第一成像单元相对与主透镜平行的平面的容许夹角范围;至少根据所述容许夹角范围相对所述与主透镜平行的平面倾斜所述第一成像单元,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制方法,可选的,确定所述第一成像单元相对所述与主透镜平行的平面的容许夹角范围,包括:根据第一子透镜的焦距、所述第一部分经所述主透镜所成的像所在的平面和所述与主透镜平行的平面之间的夹角、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一部分经所述主透镜所成的像所在平面的距离,确定所述第一成像单元的期望倾斜角度,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜;根据所述期望倾斜角度确定所述容许夹角范围。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述相对与光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小第一部分在第一成像单元上成像的平均弥散圆,包括:相对与主透镜平行的平面沿增加所述第一部分经所述光场相机的主透镜所成的像与所述第一成像单元所在的平面之间的夹角的方向,倾斜所述第一成像单元,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述相对与光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小第一部分在第一成像单元上成像的平均弥散圆,包括:相对与主透镜平行的平面倾斜所述第一成像单元和第一子透镜,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜。
结合本申请实施例提供的任一种图像采集控制方法,可选的,相对所述与主透镜平行的平面倾斜所述第一成像单元和第一子透镜,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆,包括:根据所述第一子透镜的焦距、所述第一部分经所述主透镜所成的像所在的平面和所述与主透镜平行的平面之间的夹角、所述第一子透镜的光心经垂直与所述主透镜平行的平面的方向到所述第一部分经所述主透镜所成的像所在的平面的距离、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一成像单元的距离,确定所述第一成像单元的第一倾斜角度和所述第一子透镜的第二倾斜角度;根据所述第一倾斜角度相对所述与主透镜平行的平面倾斜所述第一成像单元、以及根据所述第二倾斜角度相对所述与主透镜平行的平面倾斜所述第一子透镜,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述相对与光场相机的主透镜平行的平面至少倾斜第二成像单元,以增大第二部分在第二成像单元上成像的平均弥散圆,包括:相对与主透镜平行的平面沿减小所述第二部分经所述光场相机的主透镜所成的像与所述第二成像单元所在的平面之间的夹角的方向,倾斜所述第二成像单元,以增大所述第二部分在所述第二成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述相对与光场相机的主透镜平行平面至少倾斜第二成像单元,以增加第二部分在第二成像单元上成像的平均弥散圆,包括:相对与主透镜平行的平面倾斜所述第二成像单元和第二子透镜,以增大所述第二部分经所述主透镜所成的像在所述第二成像单元上成像的平均弥散圆,其中,所述第二子透镜为所述光场相机的子透镜阵列中与所述第二成像单元对应的子透镜。
结合本申请实施例提供的任一种图像采集控制方法,可选的,倾斜所述第一成像单元之前,还包括:确定所述成像单元阵列中待倾斜的所述第一成像单元。
结合本申请实施例提供的任一种图像采集控制方法,可选的,确定所述成像单元阵列中待倾斜的所述第一成像单元,包括:根据所述光场相机获取的所述场景的预览图像中与所述第一深度分布子区对应的部分,确定影响所述第一深度分布子区图像采集的第一子透镜;根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系,确定与所述第一子透镜对应的所述第一成像单元。
结合本申请实施例提供的任一种图像采集控制方法,可选的,倾斜所述第二成像单元之前,还包括:确定所述成像单元阵列中待倾斜的所述第二成像单元。
结合本申请实施例提供的任一种图像采集控制方法,可选的,确定所述成像单元阵列中待倾斜的所述第二成像单元,包括:根据所述光场相机获取的所述场景的预览图像中与所述第二深度分布子区对应的部分,确定影响所述第二深度分布子区图像采集的第二子透镜;根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系,确定与所述第二子透镜对应的所述第二成像单元。
第二方面,本申请实施例还提供了一种图像采集控制装置,包括:
一第一深度分布子区确定模块,用于确定场景的局部深度分布子区为第一深度分布子区;
一第一倾斜控制模块,用于相对与光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小第一部分在第一成像单元上成像的平均弥散圆,其中:所述第一成像单元为所述光场相机的成像单元阵列中用于对所述第一深度分布子区进行图像采集的成像单元,所述第一部分为所述场景中位于所述第一深度分布子区的部分;
一图像采集控制模块,用于经调整后的所述光场相机对所述场景进行图像采集。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述第一深度分布子区确定模块包括:一第一深度分布子区确定子模块,用于确定所述场景中第一部分的深度分布子区为所述第一深度分布子区。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述第一深度分布子区为所述光场相机的景深范围的一子集。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述装置还包括:一第二倾斜控制模块,用于相对与主透镜平行的平面至少倾斜第二成像单元,以增大第二部分在第二成像单元上成像的平均弥散圆,其中:所述第二成像单元为所述成像单元阵列中用于对所述第二深度分布子区进行图像采集的成像单元,所述第二深度分布子区与所述第一深度分布子区不同,所述第二部分为所述场景中位于所述第二深度分布子区的部分。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述第二深度分布子区为所述景深范围除所述第一深度分布子区之外的其他深度分布子区。
结合本申请实施例提供的任一种图像采集控制装置,可选的,至少所述第一成像单元相对与主透镜平行的平面倾斜之后,所述第一部分在所述第一成像单元上成像的平均弥散圆小于或等于一容许弥散圆。
结合本申请实施例提供的任一种图像采集控制装置,可选的,至少所述第二成像单元相对与主透镜平行的平面倾斜之后,所述第二部分在所述第二成像单元上成像的平均弥散圆大于一容许弥散圆。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述第一倾斜控制模块包括:一期望倾斜角度确定子模块,用于根据第一子透镜的焦距、所述第一部分经所述主透镜所成的像所在的平面和与主透镜平行的平面之间的夹角、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一部分经所述主透镜所成的像所在平面的距离,确定所述第一成像单元的期望倾斜角度,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜;一期望角度倾斜控制子模块,用于至少根据所述期望倾斜角度相对所述与主透镜平行的平面倾斜所述第一成像单元,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述第一倾斜控制模块包括:一容许夹角范围确定子模块,用于确定所述第一成像单元相对与主透镜平行的平面的容许夹角范围;一夹角范围倾斜控制子模块,用于至少根据所述容许夹角范围相对所述与主透镜平行的平面倾斜所述第一成像单元,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述容许夹角范围确定子模块包括:一期望倾斜角度确定单元,用于根据第一子透镜的焦距、所述第一部分经所述主透镜所成的像所在的平面和所述与主透镜平行的平面之间的夹角、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一部分经所述主透镜所成的像所在平面的距离,确定所述第一成像单元的期望倾斜角度,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜;一容许夹角范围确定单元,用于根据所述期望倾斜角度确定所述容许夹角范围。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述第一倾斜控制模块包括:一方向倾斜控制子模块,用于相对与主透镜平行的平面沿增加所述第一部分经所述光场相机的主透镜所成的像与所述第一成像单元所在的平面之间的夹角的方向,倾斜所述第一成像单元,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述第一倾斜控制模块包括:一第一相关元件倾斜控制子模块,用于相对与主透镜平行的平面倾斜所述第一成像单元和第一子透镜,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述相关元件倾斜控制子模块包括:一倾斜角度确定单元,用于根据所述第一子透镜的焦距、所述第一部分经所述主透镜所成的像所在的平面和所述与主透镜平行的平面之间的夹角、所述第一子透镜的光心经垂直与所述主透镜平行的平面的方向到所述第一部分经所述主透镜所成的像所在的平面的距离、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一成像单元的距离,确定所述第一成像单元的第一倾斜角度和所述第一子透镜的第二倾斜角度;一角度倾斜控制单元,用于根据所述第一倾斜角度相对所述与主透镜平行的平面倾斜所述第一成像单元、以及根据所述第二倾斜角度相对所述与主透镜平行的平面倾斜所述第一子透镜,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述第二倾斜控制模块包括:一第二倾斜控制子模块,用于相对所述与主透镜平行的平面沿减小所述第二部分经所述光场相机的主透镜所成的像与所述第二成像单元所在的平面之间的夹角的方向,倾斜所述第二成像单元,以增大所述第二部分在所述第二成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述第二倾斜控制模块包括:一第二相关元件倾斜控制子模块,用于相对所述与主透镜平行的平面倾斜所述第二成像单元和第二子透镜,以增大所述第二部分经所述主透镜所成的像在所述第二成像单元上成像的平均弥散圆,其中,所述第二子透镜为所述光场相机的子透镜阵列中与所述第二成像单元对应的子透镜。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述装置还包括:一第一成像单元确定模块,用于确定所述成像单元阵列中待倾斜的所述第一成像单元。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述第一成像单元确定模块包括:一第一子透镜确定子模块,用于根据所述光场相机获取的所述场景的预览图像中与所述第一深度分布子区对应的部分,确定影响所述第一深度分布子区图像采集的第一子透镜;一第一成像单元确定子模块,用于根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系,确定与所述第一子透镜对应的所述第一成像单元。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述装置还包括:一第二成像单元确定模块,用于确定所述成像单元阵列中待倾斜的所述第二成像单元。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述第二成像单元确定模块包括:一第二子透镜确定子模块,用于根据所述光场相机获取的所述场景的预览图像中与所述第二深度分布子区对应的部分,确定影响所述第二深度分布子区图像采集的第二子透镜;一第二成像单元确定子模块,用于根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系,确定与所述第二子透镜对应的所述第二成像单元。
第三方面,本申请实施例还提供了另一种图像采集控制装置,包括:
一处理器、一通信接口、一存储器以及一通信总线;所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一指令;所述指令使所述处理器执行以下操作:
确定场景的局部深度分布子区为第一深度分布子区;
相对与光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小第一部分在第一成像单元上成像的平均弥散圆,其中:所述第一成像单元为所述光场相机的成像单元阵列中用于对所述第一深度分布子区进行图像采集的成像单元,所述第一部分为所述场景中位于所述第一深度分布子区的部分;
经调整后的所述光场相机对所述场景进行图像采集。
本申请实施例提供的技术方案可确定场景的局部深度分布子区(即“第一深度分布子区”),通过至少倾斜影响所述第一深度分布子区图像采集的成像单元(即“第一成像单元”)的方式,使得所述场景中位于所述第一深度分布子区的部分(即“第一部分”)在所述第一成像单元上成像的平均弥散圆的大小有所减小,由此改善所述第一部分的成像质量。由于所述第一深度分布子区可根据实际需要确定,并通过至少倾斜光场相机相应第一成像单元的方式可提高对所述第一深度分布子区对应的第一部分进行光学采集的成像质量,因此,本申请实施例提供的技术方案有利于实现场景中需要较高成像质量的深度分布子区的定制化图像采集,可更好满足多样化的图像采集应用需求。
通过以下结合附图对本申请的可选实施例的详细说明,本申请的这些以及其它的优点将更加明显。
附图说明
本申请可以通过参考下文中结合附图所给出的描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明本申请的可选实施例和解释本申请的原理和优点。在附图中:
图1为本申请实施例提供的一种图像采集控制方法流程图;
图2a为本申请实施例提供的部分成像单元倾斜的示例一;
图2b为本申请实施例提供的部分成像单元和子透镜倾斜的示例一;
图2c为本申请实施例提供的部分成像单元倾斜的示例二;
图2d为本申请实施例提供的部分成像单元和子透镜倾斜的示例二;
图3为本申请实施例提供的沙姆定律相关的三个平面的延长面相交示例;
图4为本申请实施例提供的第一成像单元倾斜示例一;
图5为本申请实施例提供的第一成像单元倾斜示例二;
图6为本申请实施例提供的第一成像单元和第一子透镜倾斜示例;
图7为本申请实施例提供的各深度分布子区与景深范围深度分布关系的示例之深度连续分布;
图8为本申请实施例提供的光场相机结构示例;
图9为本申请实施例提供的第一种图像采集控制装置的逻辑框图;
图10为本申请实施例提供的第二种图像采集控制装置的逻辑框图;
图11为本申请实施例提供的第三种图像采集控制装置的逻辑框图;
图12为本申请实施例提供的第四种图像采集控制装置的逻辑框图。
本领域技术人员应当理解,附图中的元件仅仅是为了简单和清楚起见而示出的,而且不一定是按比例绘制的。例如,附图中某些元件的尺寸可能相对于其他元件放大了,以便有助于提高对本申请实施例的理解。
具体实施方式
在下文中将结合附图对本申请的示范性实施例进行详细描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与系统及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本申请,在附图和说明中仅仅描述了与根据本申请的方案密切相关的装置结构和/或处理步骤,而省略了对与本申请关系不大的、本领域普通技术人员已知的部件和处理的表示和描述。
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例,对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请,但不用来限制本申请的范围。
本领域技术人员可以理解,本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
图1为本申请实施例提供的一种图像采集控制方法的流程图。本申请实施例提供的图像采集控制方法的执行主体可为某一图像采集控制装置。所述图像采集控制装置的设备表现形式不受限制,例如所述图像采集控制装置可为某一独立的部件;或者,所述图像采集控制装置可作为某一功能模块集成在一成像设备中,所述成像设备可包括但不限于光场相机或包括有光场相机的手机、平板电脑等,本申请实施例对此并不限制。具体如图1所示,本申请实施例提供的一种图像采集控制方法包括:
S101:确定场景的局部深度分布子区为第一深度分布子区。
S102:相对与光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小第一部分在第一成像单元上成像的平均弥散圆,其中:所述第一成像单元为所述光场相机的成像单元阵列中用于对所述第一深度分布子区进行图像采集的成像单元,所述第一部分为所述场景中位于所述第一深度分布子区的部分。
S103:经调整后的所述光场相机对所述场景进行图像采集。
对象经如光场相机等成像设备进行成像时,理想状况下是物面和像面是点与点一一对应的,但在实际应用过程中,由于光波性质、像差等因素的影响,对象上的点的成像光束通常不能汇聚于一点,而是在像平面上形成一个扩散的正圆形、椭圆形或其他类圆形的投影,称为弥散圆(circle of confusion),也可称为弥散圈、弥散环、散光圈、模糊圈、散射圆盘等。如果弥散圆的尺寸较小,通常该弥散圆对应的对象的成像相对较为清晰,肉眼可被视为该点的合焦成像;相应的,如果弥散圆的尺寸超过一定的容许范围,则该弥散圆对应的对象的成像相对模糊。
通常,光场相机包括沿深度方向依次设置的主透镜、子透镜阵列和成像单元阵列,光场相机处于未进行本申请实施例提及的成像单元和/或子透镜等倾斜操作的状态时,主透镜所在的平面、子透镜阵列所在的平面以及成像单元阵列所在的平面相互平行、且分别垂直于深度方向,子透镜阵列中各子透镜位于垂直于深度方向的同一平面,各子透镜的光轴与深度方向平行,成像单元阵列中每个成像单元(可视为一图像传感器或图像传感单元)包括阵列分布的多个像素,各成像单元也位于垂直于深度方向的同一平面,且各成像单元的法线与深度方向平行。本申请实施例所述的与主透镜平行的平面包括但不限于:主透镜所在的平面、子透镜处于未倾斜的初始状态时所在的平面、成像单元处于未倾斜的初始状态时所在的平面、或者平行于主透镜所在平面的其他平面。
根据经典几何光学理论,光场相机的光路图可以等效为各子透镜对主透镜所成的像(如实像或虚像)在该子透镜对应的成像区域上再成像,在成像区域上不同位置的像素点可以存储场景中不同深度的对象的光场信息,对应于场景中某对象的至少局部经某一子透镜在成像单元阵列中某像素点成像的弥散圆为:
上式中:c表示弥散圆的等效直径;f表示该子透镜的焦距;v表示该对象的至少局部依次经主透镜和该子透镜后所成的像与该子透镜中心的距离,该距离相当于该子透镜的像距;vn表示子透镜阵列平面与图像传感器平面之间的距离;N表示光圈值(f-number)。
基于光场相机进行图像采集的应用场景中,成像单元阵列中的每个成像单元包括多个阵列分布的像素点,通常并非成像单元的所有像素点参与实际的图像采集,而是部分像素点参与实际的图像采集。成像单元中实际记录有该对象图像信息的各像素点的弥散圆的均值,可视为该对象在该成像单元的平均弥散圆的大小。本申请实施例提供的技术方案中,可通过至少倾斜所述第一成像单元的方式,来改变所述第一深度分布子区的第一部分在所述第一成像单元成像的平均弥散圆。
(一)一种可选的实现方式,可通过倾斜所述第一成像单元的方式,来改变所述第一深度分布子区的部分(即第一部分)在所述第一成像单元成像的平均弥散圆,即:相对与光场相机的主透镜平行的平面倾斜第一成像单元,以减小第一部分在第一成像单元上成像的平均弥散圆。
所述第一成像单元中实际记录有所述第一部分图像信息的各像素点的弥散圆的均值,可视为所述第一部分在所述第一成像单元的平均弥散圆的大小。在所述第一成像单元倾斜前后,所述第一成像单元参与所述第一部分实际图像采集的像素点和/或像素点数量可能相同或不同。可将所述第一成像单元倾斜前,所述第一成像单元中实际记录有所述第一部分图像信息的各像素点的弥散圆的均值,作为所述第一成像单元倾斜前相同部分成像的平均弥散圆的大小;将所述第一成像单元倾斜后所述第一成像单元中实际记录有所述第一部分图像信息的各像素点的弥散圆的均值,作为所述第一成像单元倾斜之后相同部分成像的平均弥散圆的大小。
通过弥散圆的成像公式来看,本申请实施例可通过倾斜所述第一成像单元的方式来改变所述第一成像单元和与所述第一成像单元对应的子透镜(即所述第一子透镜)之间的距离v,进而引起相应弥散圆的改变,同时,将所述第一成像单元倾斜后的平均弥散圆小于所述第一成像单元倾斜前的平均弥散圆,作为所述第一成像单元倾斜控制的收敛条件,使得所述第一成像单元相对所述与主透镜平行的平面采用某种方式倾斜之后可达到相应的平均弥散圆相对所述第一成像单元倾斜前对应的平均弥散圆有所减小。可以理解,所述第一成像单元倾斜之前所在的平面,即为成像单元阵列倾斜前所在的平面,与所述主透镜所在的平面平行,所述第一成像单元相对所述第一成像单元倾斜之前所在的平面或所述第一成像单元相对成像单元阵列倾斜前所在的平面倾斜,相当于所述第一成像单元相对所述与主透镜平行的平面倾斜。
可见,本申请实施例可确定场景的局部深度分布子区(即“第一深度分布子区”),通过倾斜影响所述第一深度分布子区图像采集的成像单元(即“第一成像单元”)的方式,可选示例如图2a所示,使得所述场景中位于所述第一深度分布子区的部分(即“第一部分”)在所述第一成像单元上成像的平均弥散圆的大小有所减小,由此改善所述第一部分的成像质量。由于所述第一深度分布子区可根据实际需要确定,并通过倾斜光场相机相应第一成像单元的方式可提高对所述第一深度分布子区对应的第一部分进行光学采集的成像质量,因此,本申请实施例提供的技术方案有利于实现场景中需要较高成像质量的深度分布子区的定制化图像采集,可更好满足多样化的图像采集应用需求。
本申请实施例提供的技术方案中,可根据减小相应平均弥散圆(甚至小于或等于容许弥散圆)的收敛条件对所述第一成像单元相对所述与主透镜平行的平面进行倾斜控制,实现方式非常灵活。
可选的,所述相对与光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小第一部分在第一成像单元上成像的平均弥散圆,包括:根据第一子透镜的焦距、所述第一部分经所述主透镜所成的像所在的平面和所述与主透镜平行的平面之间的夹角、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一部分经所述主透镜所成的像所在平面的距离,确定所述第一成像单元的期望倾斜角度,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜;至少根据所述期望倾斜角度相对所述与主透镜平行的平面倾斜所述第一成像单元,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆。
光场相机中,所述第一成像单元倾斜之后,所述第一成像单元所在的平面与所述第一子透镜所在的平面不再平行。参考沙姆定律(Scheimpflug principle),当所述第一深度分布子区内的第一部分经光场相机的主透镜所成的像所在平面的延长面、所述第一子透镜所在平面的延长面、所述第一成像单元倾斜后所在平面的延长面,三者相交与一直线时,如图3所示,所述第一部分可获得清晰成像的区域最大,该情形下,所述第一部分经主透镜所成的像所在的平面相当于一对焦平面(Plane of Focus),所述第一部分在所述第一成像单元成像的平均弥散圆最小。满足上述定律的所述第一成像单元的倾斜角度即为本申请实施例所述的期望倾斜角度。
当所述第一部分经主透镜所成的像所在的平面的延长面、所述第一子透镜所在平面的延长面、所述第一成像单元倾斜后所在平面的延长面,三者相交与一直线时,所述第一部分在所述第一成像单元成像的平均弥散圆最小,所述第一成像单元相对所述与主透镜平行的平面的夹角即为本申请实施例所述的期望倾斜角度。
可选的,如图4所示,所述第一成像单元的期望倾斜角度可采用下式计算:
上式中:θ表示所述第一成像单元的期望倾斜角度;f表示第一子透镜的焦距、表示所述第一部分经主透镜所成的像所在的平面与所述与主透镜平行的平面(如所述第一成像单元倾斜前所在的平面)之间的夹角、u表示所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一部分经所述主透镜所成的像所在平面的距离。至少根据该方案确定的期望倾斜角度相对所述与主透镜平行的平面倾斜所述第一成像单元,使得所述第一成像单元相对所述与主透镜平行的平面的倾斜角度,尽可能接近甚至等于所述期望倾斜角度,并且在所述第一成像单元处于倾斜后的状态下进行图像采集时,所述第一部分在所述第一成像单元成像的平均弥散圆尽可能小。该方案提高了第一成像单元倾斜控制的效率。
可选的,所述相对与光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小第一部分在第一成像单元上成像的平均弥散圆,包括:确定所述第一成像单元相对所述与主透镜平行的平面的容许夹角范围;至少根据所述容许夹角范围相对所述与主透镜平行的平面倾斜所述第一成像单元,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆。采用该方案相对所述与主透镜平行的平面倾斜所述第一成像单元,倾斜后的所述第一成像单元所在平面和所述与主透镜平行的平面之间的夹角落入所述容许夹角范围。其中,所述容许夹角范围可根据成像单元倾斜后能够带来相应平均弥散圆减小的要求下灵活确定,本申请实施例对此并不限制。该方案提高了第一成像单元倾斜控制的效率。
所述容许夹角范围可根据所述第一成像单元倾斜后能够带来相应平均弥散圆减小的要求下预先确定,确定的方法可包括但不限于采用实验手段、模拟仿真、公式推导等方式确定。可选的,确定所述第一成像单元所在的平面相对所述与主透镜平行的平面的容许夹角范围,包括:根据第一子透镜的焦距、所述第一部分经所述主透镜所成的像所在的平面与所述与主透镜平行的平面之间的夹角、以及所述第一部分经所述主透镜所成的像相对所述第一子透镜的距离,确定所述第一成像单元的期望倾斜角度;根据所述期望倾斜角度确定所述容许夹角范围。所述期望倾斜角度的确定方法可参考上文的记载,在确定了所述期望倾斜角度之后,可结合考虑所述第一成像单元倾斜调节精度限制、对所述第一部分成像质量要求等因素,将期望倾斜角度在一定容许误差范围内的角度范围作为所述容许夹角范围。采用该方案确定的所述容许夹角范围较为合理,基于该容许夹角范围进行所述第一成像单元相对所述与主透镜平行的平面的倾斜控制,效率高且较易实现。
可选的,所述相对光场相机的主透镜平面至少倾斜第一成像单元,以减小第一部分在第一成像单元上成像的平均弥散圆,包括:相对所述与主透镜平行的平面沿增加所述第一部分经所述光场相机的主透镜所成的像与所述第一成像单元所在的平面之间的夹角的方向,倾斜所述第一成像单元,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆。参考沙姆定律,当第一部分经光场相机的主透镜所成的像所在平面的延长面、所述第一子透镜倾斜后所在平面的延长面、所述第一成像单元所在的面的延长面,三者相交与一直线时,所述第一部分可获得清晰成像的区域最大。如图5所示,第一成像单元倾斜前所在的平面,与第一部分经光场相机的主透镜所成的像所在的面之间的夹角为A1,可沿增大该夹角的方向使所述第一成像单元相对与主透镜平行的平面(如所述第一成像单元倾斜前所在的平面)倾斜,第一成像单元倾斜后所在的平面,与第一部分经光场相机的主透镜所成的像所在的面之间的夹角为A2,A2大于A1,可见,所述第一成像单元朝该方向倾斜后其所在的平面、与第一部分经光场相机的主透镜所成的像所在的面、以及所述成像面所在的平面三者相交同一直线的概率明显增加了,由此可减小第一部分在所述第一成像单元所成的像的平均弥散圆,提高所采集的图像中所述第一部分的成像质量。进一步的,如果将该倾斜方向和所述期望倾斜角度共同作为所述第一成像单元倾斜控制的依据,则可进一步提高所述第一成像单元倾斜控制的效率;或者,如果将该倾斜方向和所述容许夹角范围共同作为所述第一成像单元倾斜控制的依据,则可进一步提高所述第一成像单元倾斜控制的效率。
(二)另一种可选的实现方式,可通过倾斜所述第一成像单元和光场相机的子透镜阵列中与所述第一成像单元对应的子透镜的方式,来改变所述第一部分在所述第一成像单元成像的平均弥散圆,即:相对所述与主透镜平行的平面倾斜所述第一成像单元和第一子透镜,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜。
所述第一成像单元中实际记录有所述第一部分图像信息的各像素点的弥散圆的均值,可视为所述第一部分在所述第一成像单元的平均弥散圆的大小。在所述第一成像单元和所述第一子透镜倾斜前后,所述第一成像单元参与所述第一部分实际图像采集的像素点和/或像素点数量可能相同或不同。可将所述第一成像单元和所述第一子透镜倾斜前,所述第一成像单元中实际记录有所述第一部分图像信息的各像素点的弥散圆的均值,作为所述第一成像单元和所述第一子透镜倾斜前相同部分成像的平均弥散圆的大小;将所述第一成像单元和所述第一子透镜倾斜后,所述第一成像单元中实际记录有所述第一部分图像信息的各像素点的弥散圆的均值,作为所述第一成像单元和所述第一子透镜倾斜之后相同部分成像的平均弥散圆的大小。
光场相机的子透镜阵列中各子透镜可视为一薄透镜,薄透镜的光学成像公式如下:
上式中:u表示子透镜的物距,即部分经光场相机的主透镜所成的像与该子透镜的距离;v表示子透镜的像距;f表示子透镜的焦距。
结合公式(1)和(3)可知,本申请实施例可通过倾斜所述第一子透镜的方式来改变所述第一子透镜的物距u以引起第一子透镜的像距vn发生相应变化,和/或,通过倾斜所述第一子透镜和/或所述第一成像单元的方式来改变二者之间的距离v,进而引起相应弥散圆的改变,同时,将所述第一成像单元和所述第一子透镜倾斜后的平均弥散圆小于所述第一成像单元和所述第一子透镜倾斜前的平均弥散圆,作为所述第一成像单元和所述第一子透镜倾斜控制的收敛条件,使得所述第一成像单元和所述第一子透镜相对所述与主透镜平行的平面采用某种方式倾斜之后,可达到相应的平均弥散圆相对所述第一成像单元和所述第一子透镜倾斜前对应的平均弥散圆有所减小。
可见,本申请实施例可确定场景的局部深度分布子区(即“第一深度分布子区”),通过倾斜影响所述第一深度分布子区图像采集的成像单元(即“第一成像单元”)和子透镜(即“第一子透镜”)的方式,可选示例如图2b所示,使得所述场景中位于所述第一深度分布子区的部分(即“第一部分”)在所述第一成像单元上成像的平均弥散圆的大小有所减小,由此改善所述第一部分的成像质量。由于所述第一深度分布子区可根据实际需要确定,并通过倾斜光场相机相应第一成像单元和第一子透镜的方式可提高对所述第一深度分布子区对应的第一部分进行光学采集的成像质量,因此,本申请实施例提供的技术方案有利于实现场景中需要较高成像质量的深度分布子区的定制化图像采集,可更好满足多样化的图像采集应用需求。
可选的,至少所述第一成像单元相对所述与主透镜平行的平面倾斜(包括倾斜所述第一成像单元或者倾斜所述第一成像单元和所述第一子透镜等)之后,所述第一部分在所述第一成像单元上成像的平均弥散圆小于或等于一容许弥散圆。如果弥散圆小于或等于某一容许弥散圆(permissible circle of confusion),可视为该对象合焦成像;相应的,如果弥散圆大于该容许弥散圆,可视为该对象失焦成像。所述容许弥散圆的大小与物距、放大倍率等因素有关,可预先确定容许弥散圆大小,例如所述容许弥散圆大小为1/30mm等等。该方案相当于在影响所述第一深度分布子区图像采集的相应元件(包括所述第一成像单元,或者,所述第一成像单元和所述第一子透镜)倾斜控制过程中,将影响所述第一深度分布子区图像采集的相应元件倾斜后的平均弥散圆小于或等于一容许弥散圆,作为影响所述第一深度分布子区图像采集的相应元件倾斜控制的收敛条件,也就是说,在影响所述第一深度分布子区图像采集的相应元件倾斜控制过程中,如果影响所述第一深度分布子区图像采集的相应元件位于某倾斜状态、且对应该倾斜状态下的平均弥散圆小于或等于所述容许弥散圆,则可完成影响所述第一深度分布子区图像采集的相应元件的倾斜控制,这样,经调整后的光场相机获取场景的图像采集可获得第一部分较高的成像质量,由此有利于实现场景中需要较高成像质量的深度分布子区的定制化图像采集。
本申请实施例提供的技术方案中,可根据减小相应平均弥散圆(甚至小于或等于容许弥散圆)的收敛条件对所述第一成像单元和所述第一子透镜相对所述与主透镜平行的平面进行倾斜控制,实现方式非常灵活。
可选的,相对所述与主透镜平行的平面倾斜所述第一成像单元和第一子透镜,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆,包括:根据所述第一子透镜的焦距、所述第一部分经所述主透镜所成的像所在的平面和所述与主透镜平行的平面之间的夹角、所述第一部分经所述主透镜所成的像相对所述第一子透镜的距离、以及所述第一子透镜和所述第一成像单元之间的距离,确定所述第一成像单元的第一倾斜角度和所述第一子透镜的第二倾斜角度;根据所述第一倾斜角度相对所述与主透镜平行的平面倾斜所述第一成像单元、以及根据所述第二倾斜角度相对所述与主透镜平行的平面倾斜所述第一子透镜,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆。
光场相机中,所述第一成像单元和所述第一子透镜分别倾斜之后,所述第一成像单元所在的平面与所述第一子透镜所在的平面可能不再平行。参考沙姆定律,当所述第一部分经主透镜所成的像所在的平面的延长面、所述第一子透镜倾斜后所在平面的延长面、所述第一成像单元倾斜后所在平面的延长面,三者相交与一直线时,所述第一部分可获得清晰成像的区域最大,该情形下,所述第一部分经主透镜所成的像所在的平面相当于一对焦平面,所述第一部分在所述第一成像单元成像的平均弥散圆最小。满足上述定律的所述第一成像单元的倾斜角度即为本申请实施例所述的第一倾斜角度,满足上述定律的所述第一子透镜的倾斜角度即为本申请实施例所述的第二倾斜角度。
所述第一成像单元和所述第一子透镜倾斜后,所述第一部分经主透镜所成的像经子透镜再次成像的可选成像光路示例如图6所示,根据图6可得以下关系式:
v=v1+v2..........................................(6)
根据公式(4)至(9)、以及图6所示光路中的角度关系,可得:
其中:α表示所述第一成像单元的第一倾斜角;β表示所述第一子透镜的第二倾斜角;f表示第一子透镜的焦距;表示所述第一部分经主透镜所成的像所在的平面和与主透镜平行的平面(如所述第一成像单元倾斜前所在的平面)之间的夹角;u表示所述第一子透镜的光心经垂直与所述主透镜平行的平面(如所述第一子透镜倾斜前所在的平面)的方向到所述第一部分经所述主透镜所成的像所在的平面的距离;v表示所述第一子透镜的光心沿垂直所述与主透镜平行的平面(如所述第一子透镜倾斜前所在的平面,或者,所述第一成像单元倾斜前所在的平面)的方向到所述第一成像单元的距离,例如所述第一子透镜倾斜前后的光心保持不变、所述第一成像单元倾斜前后的中心保持不变,则所述第一子透镜的光心和所述第一成像单元的中心之间的距离,即为所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一成像单元的距离。
根据该方案确定的第一倾斜角和第二倾斜角分别倾斜所述第一成像单元和所述第一子透镜,并在所述光场相机处于该倾斜状态下进行图像采集时,所述第一部分在所述第一成像单元成像的平均弥散圆尽可能小。该方案提高了所述第一成像单元和所述第一子透镜共同倾斜控制的效率,且经调整后的光场相机进行图像采集可获得所述第一部分较高质量的成像。
本申请实施例提供的技术方案中,所述第一深度分布子区的确定方式非常灵活,可满足多样化的实际应用需求。例如,如果对某一深度分布子区较为关注,可确定场景相应的深度分布子区为所述第一深度分布子区,以通过倾斜相应元件(所述相应元件包括所述第一成像单元,或者所述相应元件包括所述第一成像单元和所述第一子透镜)的方式来改善场景中位于第一深度分布子区内的部分的成像质量;或者,如果对场景中的某待摄内容(如第一部分)较为关注,可确定所述场景中第一部分的深度分布子区为所述第一深度分布子区,以通过倾斜相应元件(所述相应元件包括所述第一成像单元,或者所述相应元件包括所述第一成像单元和所述第一子透镜)的方式来改善所述第一部分的成像质量;等等。可以理解,本申请实施例提及的部分可包括完整的一对象,或者某一完整的对象的局部,等等。
可选的,所述第一深度分布子区为所述光场相机的景深范围的一子集,也就是说,所述第一深度分布子区对应的深度范围位于所述景深范围之内。景深(Depth of Field,简称DoF)通常是指摄像镜头对场景能够清晰成像的物距范围,也就是说,在深度方向上相对摄像镜头的对焦物面前后的一定深度范围可清晰成像。当光场相机光圈调整、对焦等操作完成之后,该光场相机的景深范围通常也随之确定,该景深范围为深度方向上相对光场相机主透镜的一定物距范围。通过光场相机的一次光学采集,场景中位于景深范围内的部分成像的弥散圆尺寸较小,通常可清晰成像,而位于景深范围外的部分成像的弥散圆尺寸较大,成像通常较为模糊。该方案可确定场景位于光场相机景深范围内的一子集为所述第一深度分布子区,通过倾斜相应第一子透镜的方式进一步提高第一深度分布子区对应的第一部分的成像质量。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述经调整后的所述光场相机对所述场景进行图像采集之前,还包括:相对所述与主透镜平行的平面至少倾斜第二成像单元,以增大第二部分在第二成像单元上成像的平均弥散圆,其中:所述第二成像单元为所述成像单元阵列中用于对所述第二深度分布子区进行图像采集的成像单元,所述第二深度分布子区与所述第一深度分布子区不同,所述第二部分为所述场景中位于所述第二深度分布子区的部分。某些应用场景中人们希望光场采集到的图像的主题突出,为此,一方面可通过提高用户所关注的主题(如所述第一部分)的成像质量,另一方面,也可通过降低用户不关注的其他部分(如所述第二部分)的成像质量,具体而言,可通过至少倾斜影响所述第二部分图像采集的成像单元(即第二成像单元)的方式,来增加所述第二部分在所述第二成像单元成像的平均弥散圆,由此降低所述第二部分的成像质量。
例如,如图2c所示,可通过倾斜所述第二成像单元的方式,来改变所述第二深度分布子区的部分(即第二部分)在所述第一成像单元成像的平均弥散圆,即:相对与主透镜平行的平面倾斜第二成像单元,以增加第二部分在第二成像单元上成像的平均弥散圆。该方案可使得光场相机对场景采集到的整体图像中,所述第一部分的成像质量和所述第二部分的成像质量形成一定程度的比较,由此造成所述第一部分在整体图像中的更为突出的视觉效果。
实际应用过程中,可根据增大相应平均弥散圆(甚至大于容许弥散圆)的收敛条件对所述第二成像单元相对所述与主透镜平行的平面进行倾斜控制,实现方式非常灵活。
可选的,所述相对光场相机的主透镜平面至少倾斜第二成像单元,以增大第二部分在第二成像单元上成像的平均弥散圆,包括:相对所述与主透镜平行的平面沿减小所述第二部分经所述光场相机的主透镜所成的像与所述第二成像单元所在的平面之间的夹角的方向,倾斜所述第二成像单元,以增大所述第二部分在所述第二成像单元上成像的平均弥散圆。参考沙姆定律,当第二部分经光场相机的主透镜所成的像所在平面的延长面、所述第二子透镜倾斜后所在平面的延长面、所述光场相机的成像面的延长面,三者相交与一直线时,所述第二部分可获得清晰成像的区域最大,为了降低所述第二部分的成像质量,使所述第二部分看起来较为模糊,可降低上述三者相交于一直线的概率。具体而言,假设第二子透镜倾斜前所在的平面,与第二部分经光场相机的主透镜所成的像所在的面之间的夹角为B1,可沿增大该夹角的方向使所述第二成像单元相对与主透镜平行的平面(如所述第二成像单元倾斜前所在的平面)倾斜,倾斜方向可与如图5箭头所示的成像单元倾斜方向相反,如第二成像单元倾斜前所在的平面,与第二部分经光场相机的主透镜所成的像所在的面之间的夹角为B2,B2大于B1,可见,所述第二子透镜朝该方向倾斜后其所在的平面、与第二部分经光场相机的主透镜所成的像所在的面、以及所述成像面所在的平面三者相交同一直线的概率降低了,由此可增加第二部分在所述第二成像单元所成的像的平均弥散圆,降低所采集的图像中所述第二部分的成像质量。
又例如,如图2d所示,可通过倾斜所述第二成像单元和光场相机的子透镜阵列中与所述第二成像单元对应的子透镜的方式,来改变所述第二部分在所述第二成像单元成像的平均弥散圆,即:相对所述与主透镜平行的平面倾斜所述第二成像单元和第二子透镜,以增加所述第二部分在所述第二成像单元上成像的平均弥散圆,其中,所述第二子透镜为所述光场相机的子透镜阵列中与所述第二成像单元对应的子透镜。该方案可使得光场相机对场景采集到的整体图像中,所述第一部分的成像质量和所述第二部分的成像质量形成一定程度的比较,由此造成所述第一部分在整体图像中的更为突出的视觉效果。
可选的,至少所述第二成像单元相对所述与主透镜平行的平面倾斜(包括倾斜所述第二成像单元或者倾斜所述第二成像单元和所述第二子透镜等)之后,所述第二部分在所述第二成像单元上成像的平均弥散圆大于一容许弥散圆。如果弥散圆小于或等于某一容许弥散圆(permissible circle of confusion),可视为该对象合焦成像;相应的,如果弥散圆大于该容许弥散圆,可视为该对象失焦成像。所述容许弥散圆的大小与物距、放大倍率等因素有关,可预先确定容许弥散圆大小,例如所述容许弥散圆大小为1/30mm等等。该方案相当于在影响所述第二深度分布子区图像采集的相应元件(包括所述第二成像单元,或者,所述第二成像单元和所述第二子透镜)倾斜控制过程中,将影响所述第二深度分布子区图像采集的相应元件倾斜后的平均弥散圆,大于一容许弥散圆作为影响所述第二深度分布子区图像采集的相应元件倾斜控制的收敛条件,也就是说,在影响所述第二深度分布子区图像采集的相应元件倾斜控制过程中,如果影响所述第二深度分布子区图像采集的相应元件位于某倾斜状态、且对应该倾斜状态下的平均弥散圆大于所述容许弥散圆,则可完成影响所述第二深度分布子区图像采集的相应元件的倾斜控制,这样,经调整后的光场相机获取场景的图像采集获得的第二部分成像质量有所降低,由此有利于与所述第一部分的成像质量形成反差,使得所述第一部分的图像主题更为突出,有利于获得所述第一部分的浅景深图像。
可选的,所述第二深度分布子区为所述景深范围除所述第一深度分布子区之外的其他深度分布子区。例如,如图7所示,所述景深范围中的某一子集为第一深度分布子区、其他部分为第二深度分布子区,可通过倾斜影响第一深度分布子区图像采集的相关元件(如倾斜所述第一成像单元,或者,倾斜所述第一成像单元和所述第一子透镜)来提高第一部分的成像质量(如减小第一部分成像的平均弥散圆以提高清晰度),同时,通过倾斜影响第二深度分布子区图像采集的相关元件(如倾斜所述第二成像单元,或者,倾斜所述第二成像单元和所述第二子透镜)来降低第二部分的成像质量(如降低第二部分成像的平均弥散圆以降低清晰度),由此使得所述第一部分的成像主题更为突出。此外,某些应用场景需要获取浅景深的图像采集,通常可使用大光圈来获取浅景深的图像采集,然而,大光圈成本昂贵,并且在某些情形下,用户关注的对象(如第一部分)的深度分布范围小,甚至小于光圈调整极限下的景深范围(即第一深度分布子区小于景深范围),而该情形下,如果倾斜影响第一深度分布子区图像采集的相关元件(倾斜第一成像单元,或者,倾斜第一成像单元和第一子透镜)以减小所述第一部分在第一成像单元成像的平均弥散圆、倾斜影响第二深度分布子区图像采集的相关元件(倾斜第二成像单元,或者,倾斜第二成像单元和第二子透镜)以增加所述第二部分在第二成像单元成像的平均弥散圆,可使得景深范围内的关注部分(如第一深度分布子区对应的第一部分)更为清晰、而景深范围内未关注部分(如第二深度分布子区对应的第二部分)的清晰度有所降低,由此增加了景深范围内这二部分成像质量的对比,等效于增大了有效光圈、缩小了原有景深范围,即使在光场相机不更换大光圈的情形下,也可获得第一部分主题更为突出、景深更浅的图像采集效果,有利于降低成本,更好满足多样化的图像采集应用需求。
本申请实施例提供的各技术方案中,深度分布子区(如第一深度分布子区或第二深度分布子区)包括的深度范围和数量可根据所述场景的深度信息灵活确定,以满足多样化的应用需求。例如,可根据所述场景的整体深度图确定连通的各像素点,计算各连通的像素点的法线方向,并基于各像素点的法线方向,对这些像素点进行分组,如依据法线方向相对深度方向的夹角进行分组,将法线方向与深度方向夹角为135度至150度为一组,和/或,将法线方向与深度方向夹角为45度至60度等,由此各组各自包括的像素点分别对应的深度范围,分别作为一深度分布子区,等等,采用该方案确定的深度分布子区有利于确定该深度分布子区包括的部分经主透镜所成的像所在的平面,以作为相应子透镜倾斜控制的依据之一。
结合本申请实施例提供的任一种技术方案,倾斜所述第一成像单元之前,还可包括:确定所述成像单元阵列中待倾斜的所述第一成像单元。采用该方案可在光场相机的成像单元阵列中确定用于对所述第一深度分布子区进行图像采集的成像单元,作为待倾斜的所述第一成像单元,之后通过将确定出的所述第一成像单元相对所述与主透镜平行的平面进行倾斜调整,使得所述第一部分在所述第一成像单元上成像的平均弥散圆有所减小,由此提高所述第一部分的成像质量。影响所述第一部分图像采集的成像单元可能为一个或多个,可对确定的每个成像单元分别相对所述与主透镜平行的平面进行倾斜,并将所述第一部分在倾斜后的相应成像单元上的平均弥散圆有所减小作为成像单元倾斜控制的收敛条件,由此提高所述第一部分的整体成像质量。
进一步可选的,确定所述成像单元阵列中待倾斜的所述第一成像单元,包括:根据所述光场相机获取的所述场景的预览图像中与所述第一深度分布子区对应的部分,确定影响所述第一深度分布子区图像采集的第一子透镜;根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系,确定与所述第一子透镜对应的所述第一成像单元。一种可选的实现方式,所述光场相机中,如图8所示,所述子透镜阵列包括的各子透镜的焦距相同,所述成像单元阵列与所述子透镜阵列的距离等于所述子透镜的焦距;在光场相机的成像单元和子透镜均处于未倾斜的状态下,基于该光场相机采集场景某一视角的图像(如所述预览图像)的空间分辨率与所述子透镜阵列的子透镜分布对应,每个子透镜对应所述成像单元阵列中的某一成像单元,每个成像单元包括阵列分布多个像素,通过该成像单元记录该子透镜对来自所述场景的某部的不同方向的光线信息,也即,该光场相机中,所述预览图像的像素分布与所述子透镜阵列的子透镜分布之间存在对应的关系、所述子透镜阵列的子透镜和所述成像单元阵列中的成像单元存在对应关系,因此,可根据所述光场相机获取的所述场景的预览图像中与所述深度分布子区对应的部分,确定影响所述第一深度分布子区图像采集的第一子透镜,再根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系,确定与所述第一子透镜对应的所述第一成像单元。采用该方案可确定所述第一成像单元和所述第一子透镜,方法简单易实现。
结合本申请实施例提供的任一种技术方案,倾斜所述第二成像单元之前,还可包括:确定所述成像单元阵列中待倾斜的所述第二成像单元。采用该方案可在光场相机的成像单元阵列中确定用于对所述第二深度分布子区进行图像采集的成像单元,作为待倾斜的所述第二成像单元,之后通过将确定出的所述第二成像单元相对所述与主透镜平行的平面进行倾斜调整,使得所述第二部分在所述第二成像单元上成像的平均弥散圆有所增大,由此降低所述第二部分的成像质量。影响所述第二部分图像采集的成像单元可能为一个或多个,可对确定的每个成像单元分别相对所述与主透镜平行的平面进行倾斜,并将所述第二部分在倾斜后的相应成像单元上的平均弥散圆有所增大作为成像单元倾斜控制的收敛条件,由此降低所述第二部分的整体成像质量。
进一步可选的,确定所述成像单元阵列中待倾斜的所述第二成像单元,包括:根据所述光场相机获取的所述场景的预览图像中与所述第二深度分布子区对应的部分,确定影响所述第二深度分布子区图像采集的第二子透镜;根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系,确定与所述第二子透镜对应的所述第二成像单元。采用该方案可确定所述第二成像单元和所述第二子透镜,方法简单易实现。
本领域技术人员可以理解,在本申请具体实施方式的上述任一方法中,各步骤的序号大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本申请具体实施方式的实施过程构成任何限定。
图9为本申请实施例提供的第一种图像采集控制装置的逻辑框图。如图9所示,本申请实施例提供的第一种图像采集控制装置包括:一第一深度分布子区确定模块91、一第一倾斜控制模块92和一图像采集控制模块93。
第一深度分布子区确定模块91用于确定场景的局部深度分布子区为第一深度分布子区。
第一倾斜控制模块92用于相对与光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小第一部分在第一成像单元上成像的平均弥散圆,其中:所述第一成像单元为所述光场相机的成像单元阵列中用于对所述第一深度分布子区进行图像采集的成像单元,所述第一部分为所述场景中位于所述第一深度分布子区的部分。
图像采集控制模块93用于经调整后的所述光场相机对所述场景进行图像采集。
本申请实施例提供的技术方案可确定场景的局部深度分布子区(即“第一深度分布子区”),通过至少倾斜影响所述第一深度分布子区图像采集的成像单元(即“第一成像单元”)的方式,使得所述场景中位于所述第一深度分布子区的部分(即“第一部分”)在所述第一成像单元上成像的平均弥散圆的大小有所减小,由此改善所述第一部分的成像质量。由于所述第一深度分布子区可根据实际需要确定,并通过至少倾斜光场相机相应第一成像单元的方式可提高对所述第一深度分布子区对应的第一部分进行光学采集的成像质量,因此,本申请实施例提供的技术方案有利于实现场景中需要较高成像质量的深度分布子区的定制化图像采集,可更好满足多样化的图像采集应用需求。
所述图像采集控制装置的设备表现形式不受限制,例如所述图像采集控制装置可为某一独立的部件;或者,所述图像采集控制装置可作为某一功能模块集成在一成像设备中,所述成像设备可包括但不限于光场相机或包括有光场相机的手机、平板电脑等,本申请实施例对此并不限制。
可选的,如图10所示,所述第一深度分布子区确定模块91包括:一第一深度分布子区确定子模块911。第一深度分布子区确定子模块911用于确定所述场景中第一部分的深度分布子区为所述第一深度分布子区。如果对场景中的某待摄内容(如第一部分)较为关注,可确定所述场景中第一部分的深度分布子区为所述第一深度分布子区,以通过至少倾斜相应第一成像单元的方式来改善所述第一部分的成像质量。
可选的,所述第一深度分布子区为所述光场相机的景深范围的一子集。该方案可确定场景位于光场相机景深范围内的一子集为所述第一深度分布子区,通过至少倾斜相应第一成像单元的方式进一步提高第一深度分布子区对应的第一部分的成像质量。
可选的,所述图像采集控制装置还包括:一第二倾斜控制模块94。一第二倾斜控制模块94用于相对所述与主透镜平行的平面至少倾斜第二成像单元,以增大第二部分在第二成像单元上成像的平均弥散圆,其中:所述第二成像单元为所述成像单元阵列中用于对所述第二深度分布子区进行图像采集的成像单元,所述第二深度分布子区与所述第一深度分布子区不同,所述第二部分为所述场景中位于所述第二深度分布子区的部分。某些应用场景中人们希望光场采集到的图像的主题突出,为此,一方面可通过提高用户所关注的主题(如所述第一部分)的成像质量,另一方面,也可通过降低用户不关注的其他部分(如所述第二部分)的成像质量,使得光场相机对场景采集到的整体图像中,所述第一部分的成像质量和所述第二部分的成像质量形成一定程度的比较,由此造成所述第一部分在整体图像中的更为突出的视觉效果。
可选的,所述第二深度分布子区为所述景深范围除所述第一深度分布子区之外的其他深度分布子区。该方案可使得景深范围内的关注部分(如第一深度分布子区对应的第一部分)更为清晰、而景深范围内未关注部分(如第二深度分布子区对应的第二部分)的清晰度有所降低,由此增加了景深范围内这二部分成像质量的对比,等效于增大了有效光圈、缩小了原有景深范围,即使在光场相机不更换大光圈的情形下,也可获得第一部分主题更为突出、景深更浅的图像采集效果,有利于降低成本,更好满足多样化的图像采集应用需求。
可选的,至少所述第一成像单元相对所述与主透镜平行的平面倾斜之后,所述第一部分在所述第一成像单元上成像的平均弥散圆小于或等于一容许弥散圆。在影响所述第一深度分布子区图像采集的相关元件(至少包括所述第一成像单元)倾斜控制过程中,如果影响所述第一深度分布子区图像采集的相关元件位于某一倾斜状态、且对应该倾斜状态下的平均弥散圆小于或等于所述容许弥散圆,则可完成影响所述第一深度分布子区图像采集的相关元件的倾斜控制,这样,经调整后的光场相机获取场景的图像采集可获得第一部分较高的成像质量,由此有利于实现场景中需要较高成像质量的深度分布子区的定制化图像采集。
可选的,至少所述第二成像单元相对所述与主透镜平行的平面倾斜之后,所述第二部分在所述第二成像单元上成像的平均弥散圆大于一容许弥散圆。在影响所述第二深度分布子区图像采集的相关元件(至少包括所述第二成像单元)倾斜控制过程中,如果影响所述第二深度分布子区图像采集的相关元件位于某一倾斜状态、且对应该倾斜状态下的平均弥散圆大于所述容许弥散圆,则可完成影响所述第二深度分布子区图像采集的相关元件的倾斜控制,这样,经调整后的光场相机获取场景的图像采集获得的第二部分成像质量有所降低,由此有利于与所述第一部分的成像质量形成反差,使得所述第一部分的图像主题更为突出,有利于获得所述第一部分的浅景深图像。
可选的,如图11所示,所述第一倾斜控制模块92包括:一期望倾斜角度确定子模块921和一期望角度倾斜控制子模块922。期望倾斜角度确定子模块921用于根据第一子透镜的焦距、所述第一部分经所述主透镜所成的像所在的平面与所述与主透镜平行的平面之间的夹角、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一部分经所述主透镜所成的像所在平面的距离,确定所述第一成像单元的期望倾斜角度,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜;期望角度倾斜控制子模块922用于至少根据所述期望倾斜角度相对所述与主透镜平行的平面倾斜所述第一成像单元,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆。该方案提高了第一成像单元倾斜控制的效率。
可选的,所述第一倾斜控制模块92包括:一容许夹角范围确定子模块923和一夹角范围倾斜控制子模块924。容许夹角范围确定子模块923用于确定所述第一成像单元相对所述与主透镜平行的平面的容许夹角范围;夹角范围倾斜控制子模块924用于至少根据所述容许夹角范围相对所述与主透镜平行的平面倾斜所述第一成像单元,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆。该方案提高了第一成像单元倾斜控制的效率。
可选的,所述容许夹角范围确定子模块923包括:一期望倾斜角度确定单元9231和一容许夹角范围确定单元9232。期望倾斜角度确定单元9231用于根据第一子透镜的焦距、所述第一部分经所述主透镜所成的像所在的平面与所述与主透镜平行的平面之间的夹角、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一部分经所述主透镜所成的像所在平面的距离,确定所述第一成像单元的期望倾斜角度,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜;容许夹角范围确定单元9232用于根据所述期望倾斜角度确定所述容许夹角范围。采用该方案确定的所述容许夹角范围较为合理,基于该容许夹角范围进行第一成像单元相对成像面的倾斜控制,效率高且较易实现。
可选的,所述第一倾斜控制模块92包括:一方向倾斜控制子模块925。方向倾斜控制子模块925用于相对所述与主透镜平行的平面沿增加所述第一部分经所述光场相机的主透镜所成的像与所述第一成像单元所在的平面之间的夹角的方向,倾斜所述第一成像单元,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆。该方案可提高所采集的图像中所述第一部分的成像质量,提高第一成像单元倾斜控制的效率。
可选的,所述第一倾斜控制模块92包括:一第一相关元件倾斜控制子模块926。第一相关元件倾斜控制子模块926用于相对所述与主透镜平行的平面倾斜所述第一成像单元和第一子透镜,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜。该方案通过倾斜影响所述第一深度分布子区图像采集的成像单元(即“第一成像单元”)和子透镜(即“第一子透镜”)的方式,使得所述场景中位于所述第一深度分布子区的部分(即“第一部分”)在所述第一成像单元上成像的平均弥散圆的大小有所减小,由此改善所述第一部分的成像质量。由于所述第一深度分布子区可根据实际需要确定,并通过倾斜光场相机相应第一成像单元和第一子透镜的方式可提高对所述第一深度分布子区对应的第一部分进行光学采集的成像质量,因此,该方案有利于实现场景中需要较高成像质量的深度分布子区的定制化图像采集,可更好满足多样化的图像采集应用需求。
可选的,所述相关元件倾斜控制子模块926包括:一倾斜角度确定单元9261和一角度倾斜控制单元9262。倾斜角度确定单元9261用于根据所述第一子透镜的焦距、所述第一部分经所述主透镜所成的像所在的平面与所述与主透镜平行的平面之间的夹角、所述第一子透镜的光心经垂直与所述主透镜平行的平面的方向到所述第一部分经所述主透镜所成的像所在的平面的距离、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一成像单元的距离,确定所述第一成像单元的第一倾斜角度和所述第一子透镜的第二倾斜角度;角度倾斜控制单元9262用于根据所述第一倾斜角度相对所述与主透镜平行的平面倾斜所述第一成像单元、以及根据所述第二倾斜角度相对所述与主透镜平行的平面倾斜所述第一子透镜,以减小所述第一部分在所述第一成像单元上成像的平均弥散圆。该方案可提高第一成像单元和第一子透镜共同倾斜控制的效率。
可选的,如图10所示,所述第二倾斜控制模块94包括:一第二倾斜控制子模块941。第二倾斜控制子模块941用于相对所述与主透镜平行的平面沿减小所述第二部分经所述光场相机的主透镜所成的像与所述第二成像单元所在的平面之间的夹角的方向,倾斜所述第二成像单元,以增大所述第二部分在所述第二成像单元上成像的平均弥散圆。所述第二成像单元朝该方向倾斜后其所在的平面、与第二部分经光场相机的主透镜所成的像所在的面、以及所述第二子透镜所在的平面三者相交同一直线的概率降低了,由此可增加第二部分在所述第二成像单元所成的像的平均弥散圆,降低所采集的图像中所述第二部分的成像质量。
可选的,所述第二倾斜控制模块94包括:一第二相关元件倾斜控制子模块942。第二相关元件倾斜控制子模块942用于相对所述与主透镜平行的平面倾斜所述第二成像单元和第二子透镜,以增大所述第二部分经所述主透镜所成的像在所述第二成像单元上成像的平均弥散圆,其中,所述第二子透镜为所述光场相机的子透镜阵列中与所述第二成像单元对应的子透镜。该方案可通过第二成像单元和第二子透镜共同倾斜控制的方式,增加第二部分在所述第二成像单元所成的像的平均弥散圆,降低所采集的图像中所述第二部分的成像质量。
可选的,所述图像采集控制装置还包括:一第一成像单元确定模块95。第一成像单元确定模块95用于确定所述成像单元阵列中待倾斜的所述第一成像单元。采用该方案可在光场相机的成像单元阵列中确定出影响所述第一深度分布子区图像采集的成像单元,即为所述第一成像单元,之后通过至少将确定出的第一成像单元相对与主透镜平行的平面进行倾斜调整,使得所述第一部分在所述第一成像单元上成像的平均弥散圆有所减小,由此提高所述第一部分的成像质量。
可选的,所述第一成像单元确定模块95包括:一第一子透镜确定子模块951和一第一成像单元确定子模块952。第一子透镜确定子模块951用于根据所述光场相机获取的所述场景的预览图像中与所述第一深度分布子区对应的部分,确定影响所述第一深度分布子区图像采集的第一子透镜;第一成像单元确定子模块952用于根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系,确定与所述第一子透镜对应的所述第一成像单元。采用该方案确定所述第一成像单元和所述第一子透镜,方法简单易实现。
可选的,所述图像采集控制装置还包括:一第二成像单元确定模块96。第二成像单元确定模块96用于确定所述成像单元阵列中待倾斜的所述第二成像单元。采用该方案可在光场相机的成像单元阵列中确定出影响所述第二深度分布子区图像采集的成像单元,即为所述第二成像单元,之后通过至少将确定出的第二成像单元相对与主透镜平行的平面进行倾斜调整,使得所述第二部分在所述第二成像单元上成像的平均弥散圆有所增大,由此降低所述第二部分的成像质量。
可选的,所述第二成像单元确定模块96包括:一第二子透镜确定子模块961和一第二成像单元确定子模块962。第二子透镜确定子模块961用于根据所述光场相机获取的所述场景的预览图像中与所述第二深度分布子区对应的部分,确定影响所述第二深度分布子区图像采集的第二子透镜;第二成像单元确定子模块962用于根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系,确定与所述第二子透镜对应的所述第二成像单元。采用该方案确定所述第二成像单元和所述第二子透镜,方法简单易实现。
图12为本申请实施例提供的第四种图像采集控制装置的结构示意图,本申请具体实施例并不对图像采集控制装置1200的具体实现方式做限定。如图12所示,图像采集控制装置1200可以包括:
处理器(Processor)1210、通信接口(Communications Interface)1220、存储器(Memory)1230、以及通信总线1240。其中:
处理器1210、通信接口1220、以及存储器1230通过通信总线1240完成相互间的通信。
通信接口1220,用于与比如可变形的图像传感器等通信。
处理器1210,用于执行程序1232,具体可以执行上述任一方法实施例中的相关步骤。
例如,程序1232可以包括程序代码,所述程序代码包括计算机操作指令。
处理器1210可能是一个中央处理器(Central Processing Unit,简称CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器1230,用于存放程序1232。存储器1230可能包含随机存取存储器(RandomAccess Memory,简称RAM),也可能还包括非易失性存储器(Non-volatile memory),例如至少一个磁盘存储器。
例如,在一种可选的实现方式中,处理器1210通过执行程序1232可执行以下步骤:确定场景的局部深度分布子区为第一深度分布子区;相对光场相机的与主透镜平行的平面至少倾斜第一成像单元,以减小第一部分在第一成像单元上成像的平均弥散圆,其中:所述第一成像单元为所述光场相机的成像单元阵列中用于对所述第一深度分布子区进行图像采集的成像单元,所述第一部分为所述场景中位于所述第一深度分布子区的部分;经调整后的所述光场相机对所述场景进行图像采集。
在其他可选的实现方式中,处理器1210通过执行程序1232还可执行上述其他任一实施例提及的步骤,在此不再赘述。
程序1232中各步骤的具体实现可以参见上述实施例中的相应步骤、模块、子模块、单元中对应的描述,在此不再赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
在本申请上述各实施例中,实施例的序号和/或先后顺序仅仅便于描述,不代表实施例的优劣。对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。有关装置、设备或系统实施例的实施原理或过程的相关描述,可参见相应方法实施例的记载,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的装置、方法、系统等实施例中,显然,各部件(系统、子系统、模块、子模块、单元、子单元等)或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本申请的等效方案。同时,在上面对本申请具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
最后应说明的是:以上实施方式仅用于说明本申请,而并非对本申请的限制,有关技术领域的普通技术人员,在不脱离本申请的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本申请的范畴,本申请的专利保护范围应由权利要求限定。
Claims (10)
1.一种图像采集控制方法,其特征在于,包括:
确定场景的局部深度分布子区为第一深度分布子区;
相对与光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小第一部分在第一成像单元上成像的平均弥散圆,其中:所述第一成像单元为所述光场相机的成像单元阵列中用于对所述第一深度分布子区进行图像采集的成像单元,所述第一部分为所述场景中位于所述第一深度分布子区的部分;
经调整后的所述光场相机对所述场景进行图像采集。
2.根据权利要求1所述的方法,其特征在于,所述确定场景的局部深度分布子区为第一深度分布子区,包括:
确定所述场景中第一部分的深度分布子区为所述第一深度分布子区。
3.根据权利要求1所述的方法,其特征在于,所述第一深度分布子区为所述光场相机的景深范围的一子集。
4.根据权利要求1-3任一所述的方法,其特征在于,所述经调整后的所述光场相机对所述场景进行图像采集之前,还包括:
相对与主透镜平行的平面至少倾斜第二成像单元,以增大第二部分在第二成像单元上成像的平均弥散圆,其中:所述第二成像单元为所述成像单元阵列中用于对第二深度分布子区进行图像采集的成像单元,所述第二深度分布子区与所述第一深度分布子区不同,所述第二部分为所述场景中位于所述第二深度分布子区的部分。
5.根据权利要求4所述的方法,其特征在于,所述第二深度分布子区为所述光场相机的景深范围除所述第一深度分布子区之外的其他深度分布子区。
6.一种图像采集控制装置,其特征在于,包括:
一第一深度分布子区确定模块,用于确定场景的局部深度分布子区为第一深度分布子区;
一第一倾斜控制模块,用于相对与光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小第一部分在第一成像单元上成像的平均弥散圆,其中:所述第一成像单元为所述光场相机的成像单元阵列中用于对所述第一深度分布子区进行图像采集的成像单元,所述第一部分为所述场景中位于所述第一深度分布子区的部分;
一图像采集控制模块,用于经调整后的所述光场相机对所述场景进行图像采集。
7.根据权利要求6所述的装置,其特征在于,所述第一深度分布子区确定模块包括:
一第一深度分布子区确定子模块,用于确定所述场景中第一部分的深度分布子区为所述第一深度分布子区。
8.根据权利要求6所述的装置,其特征在于,所述第一深度分布子区为所述光场相机的景深范围的一子集。
9.根据权利要求6-8任一所述的装置,其特征在于,还包括:
一第二倾斜控制模块,用于相对与主透镜平行的平面至少倾斜第二成像单元,以增大第二部分在第二成像单元上成像的平均弥散圆,其中:所述第二成像单元为所述成像单元阵列中用于对第二深度分布子区进行图像采集的成像单元,所述第二深度分布子区与所述第一深度分布子区不同,所述第二部分为所述场景中位于所述第二深度分布子区的部分。
10.一种图像采集控制装置,其特征在于,包括:
一处理器、一通信接口、一存储器以及一通信总线;所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一指令;所述指令使所述处理器执行以下操作:
确定场景的局部深度分布子区为第一深度分布子区;
相对与光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小第一部分在第一成像单元上成像的平均弥散圆,其中:所述第一成像单元为所述光场相机的成像单元阵列中用于对所述第一深度分布子区进行图像采集的成像单元,所述第一部分为所述场景中位于所述第一深度分布子区的部分;
经调整后的所述光场相机对所述场景进行图像采集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510546218.1A CN106254750B (zh) | 2015-08-31 | 2015-08-31 | 图像采集控制方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510546218.1A CN106254750B (zh) | 2015-08-31 | 2015-08-31 | 图像采集控制方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106254750A CN106254750A (zh) | 2016-12-21 |
CN106254750B true CN106254750B (zh) | 2019-04-26 |
Family
ID=57626431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510546218.1A Active CN106254750B (zh) | 2015-08-31 | 2015-08-31 | 图像采集控制方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106254750B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018127377A1 (en) * | 2017-01-03 | 2018-07-12 | Philips Lighting Holding B.V. | Camera sensor hidden behind luminaire optics |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103997599A (zh) * | 2013-02-14 | 2014-08-20 | 佳能株式会社 | 图像处理设备、图像拾取设备以及图像处理方法 |
CN104159038A (zh) * | 2014-08-26 | 2014-11-19 | 北京智谷技术服务有限公司 | 浅景深效果图像的成像控制方法和装置及成像设备 |
CN104410784A (zh) * | 2014-11-06 | 2015-03-11 | 北京智谷技术服务有限公司 | 光场采集控制方法和装置 |
CN104506762A (zh) * | 2014-12-25 | 2015-04-08 | 北京智谷睿拓技术服务有限公司 | 光场采集控制方法和装置、光场采集设备 |
CN104580877A (zh) * | 2013-10-29 | 2015-04-29 | 华为技术有限公司 | 图像获取的装置及方法 |
CN104580869A (zh) * | 2013-10-10 | 2015-04-29 | 华为技术有限公司 | 一种光场相机 |
WO2015100105A1 (en) * | 2013-12-24 | 2015-07-02 | Lytro, Inc. | Improving plenoptic camera resolution |
-
2015
- 2015-08-31 CN CN201510546218.1A patent/CN106254750B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103997599A (zh) * | 2013-02-14 | 2014-08-20 | 佳能株式会社 | 图像处理设备、图像拾取设备以及图像处理方法 |
CN104580869A (zh) * | 2013-10-10 | 2015-04-29 | 华为技术有限公司 | 一种光场相机 |
CN104580877A (zh) * | 2013-10-29 | 2015-04-29 | 华为技术有限公司 | 图像获取的装置及方法 |
WO2015100105A1 (en) * | 2013-12-24 | 2015-07-02 | Lytro, Inc. | Improving plenoptic camera resolution |
CN104159038A (zh) * | 2014-08-26 | 2014-11-19 | 北京智谷技术服务有限公司 | 浅景深效果图像的成像控制方法和装置及成像设备 |
CN104410784A (zh) * | 2014-11-06 | 2015-03-11 | 北京智谷技术服务有限公司 | 光场采集控制方法和装置 |
CN104506762A (zh) * | 2014-12-25 | 2015-04-08 | 北京智谷睿拓技术服务有限公司 | 光场采集控制方法和装置、光场采集设备 |
Also Published As
Publication number | Publication date |
---|---|
CN106254750A (zh) | 2016-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104410784B (zh) | 光场采集控制方法和装置 | |
CN104506762B (zh) | 光场采集控制方法和装置、光场采集设备 | |
CN104486537B (zh) | 光场采集控制方法和装置 | |
CN106254859B (zh) | 光场显示控制方法和装置、光场显示设备 | |
CN106375694B (zh) | 光场显示控制方法和装置、光场显示设备 | |
CN106161922B (zh) | 图像采集控制方法和装置 | |
CN108769462A (zh) | 自由视角场景漫游方法及装置 | |
CN112468796B (zh) | 注视点生成方法、系统及设备 | |
CN110099220A (zh) | 一种全景拼接方法及装置 | |
CN106375650B (zh) | 对焦方法和装置、图像采集设备 | |
CN106254804B (zh) | 光场显示控制方法和装置、光场显示设备 | |
Yokoya et al. | Extended depth of field catadioptric imaging using focal sweep | |
CN106303208B (zh) | 图像采集控制方法和装置 | |
CN106375651B (zh) | 对焦方法和装置、图像采集设备 | |
CN106254753B (zh) | 光场显示控制方法和装置、光场显示设备 | |
EP3350772A1 (en) | An apparatus and a method for calibrating an optical acquisition system | |
CN106254750B (zh) | 图像采集控制方法和装置 | |
CN106375648B (zh) | 图像采集控制方法和装置 | |
CN106303209B (zh) | 图像采集控制方法和装置 | |
US9196020B2 (en) | Systems and methods for digital correction of aberrations produced by tilted plane-parallel plates or optical wedges | |
JP2015104113A (ja) | 画像処理装置、撮像装置および画像処理方法 | |
JP7014175B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
CN106303210B (zh) | 图像采集控制方法和装置 | |
CN106254858B (zh) | 光场显示控制方法和装置、光场显示设备 | |
CN111382753A (zh) | 光场语义分割方法、系统、电子终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |