CN106161922A - 图像采集控制方法和装置 - Google Patents

图像采集控制方法和装置 Download PDF

Info

Publication number
CN106161922A
CN106161922A CN201510194907.0A CN201510194907A CN106161922A CN 106161922 A CN106161922 A CN 106161922A CN 201510194907 A CN201510194907 A CN 201510194907A CN 106161922 A CN106161922 A CN 106161922A
Authority
CN
China
Prior art keywords
lens
image sensing
sensing cell
image
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510194907.0A
Other languages
English (en)
Other versions
CN106161922B (zh
Inventor
杜琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201510194907.0A priority Critical patent/CN106161922B/zh
Priority to US15/567,598 priority patent/US10616462B2/en
Priority to PCT/CN2016/079963 priority patent/WO2016169507A1/en
Publication of CN106161922A publication Critical patent/CN106161922A/zh
Application granted granted Critical
Publication of CN106161922B publication Critical patent/CN106161922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像采集控制方法和装置,所述方法包括:使至少一透镜相对各自的初始光轴倾斜,以改变一成像系统中与所述至少一透镜对应的至少一图像传感单元的有效区域内沿二个方向分布的像素比;所述有效区域为经所述透镜的光线在相应图像传感单元成像的区域;所述二个方向包括分别与所述初始光轴方向垂直且相互正交的第一方向和第二方向;所述图像传感单元包括阵列分布的多个像素,所述多个像素用于记录待摄场景相同对象多方向的视角信息;经所述成像系统采集所述待摄场景的图像。本申请可改变至少一图像传感单元在所述第一方向和所述第二方向实际记录的视差信息的比重,实现不同方向视角信息的差异化采集。

Description

图像采集控制方法和装置
技术领域
本申请涉及一种终端技术领域,特别是涉及一种图像采集控制方法和装置。
背景技术
光场相机支持单次曝光采集场景中的空间和视角等信息,采集的信息可用于计算生成例如数字重对焦、多视角(Multiview)、3D重构等丰富的图像效果,具有广泛的应用前景。
目前,光场相机主要使用多个透镜呈正方形或六边形排列而成的子透镜阵列,经子透镜阵列中的每个透镜的光线在与各透镜对应的图像传感单元成像的区域为圆形,该圆形的区域内沿各方向分布的像素数量相同。
发明内容
在下文中给出了关于本申请的简要概述,以便提供关于本申请的某些方面的基本理解。应当理解,这个概述并不是关于本申请的穷举性概述。它并不是意图确定本申请的关键或重要部分,也不是意图限定本申请的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
本申请实施例提供一种图像采集控制方法和装置。
第一方面,本申请实施例提供了一种图像采集控制方法,包括:
使至少一透镜相对各自的初始光轴倾斜,以改变一成像系统中与所述至少一透镜对应的至少一图像传感单元的有效区域内沿二个方向分布的像素比;所述有效区域为经所述透镜的光线在相应图像传感单元成像的区域;所述二个方向包括分别与所述初始光轴方向垂直且相互正交的第一方向和第二方向;所述图像传感单元包括阵列分布的多个像素,所述多个像素用于记录待摄场景相同对象多方向的视角信息;
经所述成像系统采集所述待摄场景的图像。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述成像系统包括一光场相机,所述光场相机包括依次设置的一主透镜、一子透镜阵列和一图像传感器,所述子透镜阵列包括阵列分布的多个所述透镜,所述图像传感器包括阵列分布的多个所述图像传感单元。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述成像系统包括一相机阵列,所述相机阵列包括阵列分布的多个相机,所述相机包括依次设置的所述透镜和所述图像传感单元。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述第二方向为垂直所述初始光轴的垂直方向。
结合本申请实施例提供的任一种图像采集控制方法,可选的,经所述成像系统采集所述待摄场景的图像之前,还包括:沿所述初始光轴平移所述透镜,以增大经所述透镜的光线在相应的所述图像传感单元成像的有效区域。
结合本申请实施例提供的任一种图像采集控制方法,可选的,经所述成像系统采集所述待摄场景的图像之前,还包括:调整所述透镜的焦距,以增大经所述透镜的光线在相应的所述图像传感单元成像的有效区域。
结合本申请实施例提供的任一种图像采集控制方法,可选的,经所述成像系统采集所述待摄场景的图像之前,还包括:使所述至少一图像传感单元绕各自的法线旋转,以增加所述有效区域沿所述第一方向允许改变的像素数量的最大值。
结合本申请实施例提供的任一种图像采集控制方法,可选的,使至少一透镜相对各自的初始光轴倾斜,以改变一成像系统中与所述至少一透镜对应的至少一图像传感单元的有效区域内沿二个方向分布的像素比,包括:使所述至少一透镜各自相对所述第二方向倾斜一角度,以改变相应所述有效区域的形状,由此减小相应所述有效区域沿所述第二方向分布的像素数量。
结合本申请实施例提供的任一种图像采集控制方法,可选的,形状改变后的所述有效区域为短轴平行于所述第二方向的椭圆形。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述成像系统中至少二个所述透镜相对所述第二方向的倾斜方向和/或倾斜角度相同或不同。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述成像系统中至少二个所述透镜相对所述第二方向的倾斜方向和倾斜角度均相同。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述成像系统中至少二个相邻的所述透镜相对所述第二方向的倾斜方向相反且倾斜角度相同。
结合本申请实施例提供的任一种图像采集控制方法,可选的,经所述成像系统采集所述待摄场景的图像之前,还包括:沿所述第二方向平移所述至少一透镜和/或与所述至少一透镜对应的所述图像传感单元。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述使至少一透镜相对各自的初始光轴倾斜之前,还包括:确定所述第一方向。
结合本申请实施例提供的任一种图像采集控制方法,可选的,确定所述第二方向,包括:根据所述成像系统的图像采集模式,确定所述第二方向。
结合本申请实施例提供的任一种图像采集控制方法,可选的,根据所述成像系统的图像采集模式确定所述第二方向,包括:根据图像采集模式和参考方向的映射关系,确定与所述成像系统的图像采集模式对应的参考方向为所述第二方向。
结合本申请实施例提供的任一种图像采集控制方法,可选的,确定所述第二方向,包括:根据所述待摄场景的图像分析结果,确定所述第二方向。
第二方面,本申请实施例还提供了一种图像采集控制装置,包括:
一倾斜控制模块,用于使至少一透镜相对各自的初始光轴倾斜,以改变一成像系统中与所述至少一透镜对应的至少一图像传感单元的有效区域内沿二个方向分布的像素比;所述有效区域为经所述透镜的光线在相应图像传感单元成像的区域;所述二个方向包括分别与所述初始光轴方向垂直且相互正交的第一方向和第二方向;所述图像传感单元包括阵列分布的多个像素,所述多个像素用于记录待摄场景相同对象多方向的视角信息;
一图像采集模块,用于经所述成像系统采集所述待摄场景的图像。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述成像系统包括一光场相机,所述光场相机包括依次设置的一主透镜、一子透镜阵列和一图像传感器,所述子透镜阵列包括阵列分布的多个所述透镜,所述图像传感器包括阵列分布的多个所述图像传感单元。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述成像系统包括一相机阵列,所述相机阵列包括阵列分布的多个相机,所述相机包括依次设置的所述透镜和所述图像传感单元。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述第二方向为垂直所述初始光轴的垂直方向。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述装置还包括:一第一平移控制模块,用于沿所述初始光轴平移所述透镜,以增大经所述透镜的光线在相应的所述图像传感单元成像的有效区域。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述装置还包括:一焦距调整模块,用于调整所述透镜的焦距,以增大经所述透镜的光线在相应的所述图像传感单元成像的有效区域。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述装置还包括:一旋转控制模块,用于使所述至少一图像传感单元绕各自的法线旋转,以增加所述有效区域沿所述第一方向允许改变的像素数量的最大值。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述倾斜控制模块包括:一倾斜控制子模块,用于使所述至少一透镜各自相对所述第二方向倾斜一角度,以改变相应所述有效区域的形状,由此减小相应所述有效区域沿所述第二方向分布的像素数量。
结合本申请实施例提供的任一种图像采集控制装置,可选的,形状改变后的所述有效区域为短轴平行于所述第二方向的椭圆形。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述成像系统中至少二个所述透镜相对所述第二方向的倾斜方向和/或倾斜角度相同或不同。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述成像系统中至少二个所述透镜相对所述第二方向的倾斜方向和倾斜角度均相同。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述成像系统中至少二个相邻的所述透镜相对所述第二方向的倾斜方向相反且倾斜角度相同。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述装置还包括:一第二平移控制模块,用于沿所述第二方向平移所述至少一透镜和/或与所述至少一透镜对应的所述图像传感单元。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述装置还包括:一方向确定模块,用于确定所述第二方向,并根据确定结果使能所述倾斜控制模块。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述方向确定模块包括:一模式方向确定子模块,用于根据所述成像系统的图像采集模式,确定所述第一方向。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述模式方向确定子模块包括:一方向确定单元,用于根据图像采集模式和参考方向的映射关系,确定与所述成像系统的图像采集模式对应的参考方向为所述第二方向。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述方向确定模块包括:一场景方向确定子模块,用于根据所述待摄场景的图像分析结果,确定所述第二方向。
本申请实施例提供的技术方案可使至少一透镜相对各自的初始光轴倾斜,以改变所述至少一透镜对应的图像传感单元各自的有效区域内沿二个方向分布的像素比,也就是说,透镜倾斜后,与该透镜对应的图像传感单元的有效区域沿所述二个方向分布的像素数量不同,像素比不等于1,这样,经透镜倾斜后的成像系统进行待摄场景的图像采集,可改变所述图像传感单元在所述第一方向和所述第二方向实际记录的视差信息的比重,实现不同方向视角信息的差异化采集。
通过以下结合附图对本申请的可选实施例的详细说明,本申请的这些以及其它的优点将更加明显。
附图说明
本申请可以通过参考下文中结合附图所给出的描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明本申请的可选实施例和解释本申请的原理和优点。在附图中:
图1为本申请实施例提供的一种图像采集控制方法流程图;
图2a为本申请实施例提供的基于未倾斜的透镜的光路示例;
图2b为本申请实施例提供的一种基于倾斜的透镜的光路示例;
图2c为本申请实施例提供的透镜倾斜角度和有效区域中平行第二方向的轴长变化关系的一种可选数值仿真曲线;
图2d为本申请实施例提供的透镜倾斜角度和有效区域中平行第二方向的轴长变化关系的另一种可选数值仿真曲线;
图3为本申请实施例提供的对应未倾斜的透镜的图像传感单元有效区域示例;
图4为本申请实施例提供的对应倾斜透镜的图像传感单元有效区域示例;
图5为本申请实施例提供的图像传感单元旋转示例;
图6为本申请实施例提供的相机阵列的结构示意图;
图7为本申请实施例提供的光场相机的结构示意图;
图8a为本申请实施例提供的一种倾斜多个透镜的示例;
图8b为本申请实施例提供的另一种倾斜多个透镜的示例;
图8c为本申请实施例提供的光场相机的光路示例;
图9a为本申请实施例提供的横拍模式示例;
图9b为本申请实施例提供的竖拍模式示例;
图10为本申请实施例提供的第一种图像采集控制装置的逻辑框图;
图11为本申请实施例提供的第二种图像采集控制装置的逻辑框图;
图12为本申请实施例提供的第三种图像采集控制装置的逻辑框图。
本领域技术人员应当理解,附图中的元件仅仅是为了简单和清楚起见而示出的,而且不一定是按比例绘制的。例如,附图中某些元件的尺寸可能相对于其他元件放大了,以便有助于提高对本申请实施例的理解。
具体实施方式
在下文中将结合附图对本申请的示范性实施例进行详细描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与系统及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本申请,在附图和说明中仅仅描述了与根据本申请的方案密切相关的装置结构和/或处理步骤,而省略了对与本申请关系不大的、本领域普通技术人员已知的部件和处理的表示和描述。
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例,对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请,但不用来限制本申请的范围。
本领域技术人员可以理解,本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
图1为本申请实施例提供的一种图像采集控制方法的流程图。本申请实施例提供的图像采集控制方法的执行主体可为某一图像采集控制装置。所述图像采集控制装置的设备表现形式不受限制,例如所述图像采集控制装置可为某一独立的部件;或者,所述图像采集控制装置可作为某一功能模块集成在一成像设备中,所述成像设备可包括但不限于相机、摄像机、手机、平板电脑、具有拍照或摄像功能的电子设备等,本申请实施例对此并不限制。具体如图1所示,本申请实施例提供的一种图像采集控制方法包括:
S101:使至少一透镜相对各自的初始光轴倾斜,以改变一成像系统中与所述至少一透镜对应的至少一图像传感单元的有效区域内沿二个方向分布的像素比;所述有效区域为经所述透镜的光线在相应图像传感单元成像的区域;所述二个方向包括分别与所述初始光轴方向垂直且相互正交的第一方向和第二方向;所述图像传感单元包括阵列分布的多个像素,所述多个像素用于记录待摄场景相同对象多方向的视角信息。
S102:经所述成像系统采集所述待摄场景的图像。
本申请实施例中所述透镜的初始光轴为所述透镜处于未倾斜状态时的光轴方向,通常,透镜和图像传感单元对应设置,所述透镜的初始光轴与所述图像传感单元的法线平行,所述初始和所述法线平行水平面。
与所述透镜对应的所述图像传感单元包括阵列分布的多个像素,经所述透镜的光线(所述光线可来自但不限于待摄场景的某一对象或某一对象的实像或虚像)在所述图像传感单元成像的区域通常为圆形,所述图像传感单元位于该圆形区域内的各像素记录了这些光线对应的多方向视角等信息,而所述图像传感单元位于该圆形区域之外的各像素则没有实际记录光线信息,因此,本申请将经透镜的光线在相应图像传感单元成像的区域(如上述圆形区域)称为该图像传感单元的有效区域,所述图像传感单元除所述有效区域之外的其他区域为无效区域。
本申请发明人在实践本申请实施例过程中发现,通常,所述图像传感单元的有效区域为圆形区域,所述图像传感单元在所述有效区域内不同方向分布的像素数量相等,所述有效区域内沿不同方向分布的像素数量的比值(即像素比)为1,如所述有效区域内沿分别与透镜的初始光轴(所述初始光轴与所述图像传感单元的法线平行)垂直且相互正交的二方向(第一方向和第二方向)分布的像素数量相等、像素比等于1,所述有效区域为所述二方向的视差信息记录提供了相同比重的像素数量,所述有效区域采集到视角信息中所述二方向的信息量比重相等。
然而,在某些情形下,如在多视角信息图像生成、3D重构等情形下,不同方向的视角信息对实际应用而言具有不同的意义和/或作用。例如,在利用所述成像系统采集到的图像信息生成多视角信息图像的场景中,可能对某一方向的视角信息较为关注,期望生成较多幅该方向的不同视角图像,而对于该方向垂直方向的视角信息关注较弱。又例如,在利用所述成像系统采集到的图像信息进行3D重构的场景中,由于人眼对水平方向的视角较为敏感,期望得到较丰富的水平方向的不同视差的图像以重构3D场景,而对垂直方向的视角较不敏感,等等。采用传统的方式进行图像采集,可获得不同方向相同比重的视角信息,该采集方式未能充分利用图像传感单元的像素资源来满足对不同方向的视角信息比重的差异化需求。
为此,本申请实施例提供了相应的解决方案,具体的,可使至少一透镜相对各自的初始光轴倾斜,以改变所述至少一透镜对应的图像传感单元各自的有效区域内沿二个方向分布的像素比,也就是说,透镜倾斜后,与该透镜对应的图像传感单元的有效区域沿所述二个方向分布的像素数量不同,像素比不等于1,这样,经透镜倾斜后的成像系统进行待摄场景的图像采集,可改变所述图像传感单元在所述第一方向和所述第二方向实际记录的视差信息的比重,实现不同方向视角信息的差异化采集。
经透镜的光线在传输过程中形成类似圆锥体的包络空间,所述圆锥体的顶点可为待摄场景的某一对象或某一对象的实像或虚像;经透镜的光线到达图像传感单元成像的区域(有效区域),可以看作是图像传感单元在该圆锥体截的一个切面。
在所述透镜处于未倾斜状态时,如图2a所示,所述透镜的光轴为其初始光轴,垂直于图像传感单元所在的平面,经所述透镜的光线在所述图像传感单元成像的区域为圆形,即所述图像传感单元的有效区域的形状为圆形,所述有效区域内沿所述第一方向和所述第二方向分布的像素比等于1。
在所述透镜相对其初始光轴倾斜一角度后,与该透镜对应的图像传感单元对经倾斜后的透镜的光线形成的光锥的切面的形状发生了变化,也就是说经倾斜后的透镜的光线到达图像传感单元成像的区域(有效区域)的形状发生了变化,所述有效区域的形状由圆形变为了椭圆形,形状改变后的所述有效区域内沿所述第一方向和所述第二方向的像素数量发生了改变。
除了相对所述透镜的初始光轴倾斜所述透镜之外,改变所述透镜和与之相应的图像传感单元之间的间距、改变所述透镜的焦距、旋转所述图像传感单元等等一种或多种因素共同作用,都可能导致所述有效区域的改变。形状改变后的所述有效区域的像素分布特点,与所述透镜相对其初始光轴倾斜的方式和角度等角度有关,所述透镜的倾斜的方式和角度可灵活控制,以使形状改变后的所述有效区域二个方向分布的像素比满足实际应用需求。例如,可使所述至少一透镜各自相对所述第二方向倾斜一角度,以改变相应图像传感单元的有效区域的形状,由此增加或减小相应所述有效区域沿某一方向(如所述第一方向或所述第二方向)分布的像素数量,等等。下面举例说明透镜相对其初始光轴倾斜而可能产生的有效区域的像素分布特点。
一种可选的情形是形状改变后的所述有效区域内沿所述第一方向分布的像素数量不变、而沿所述第二方向分布的像素数量减小,由此改变了所述有效区域内沿二个方向分布的像素比。该情形可减少所述第二方向的视觉信息采集量,实现所述二个方向的视觉信息的差异化采集,减少所述第二方向的视觉信息的输出和处理数据量,在如对第二方向的视觉信息关注或需求度较低等场景中,由此节省处理所述第二方向的视觉信息所需的资源,提高资源的实际利用率。
例如,可通过倾斜透镜的方式改变所述有效区域的形状,如图2b所示,假设在透镜倾斜前后,待摄对象位置不变,根据光学成像公式可得:
1 F = 1 U + 1 V 1 1 F = 1 U 2 ′ + 1 V 2 ′ = 1 cos β · U + 1 cos β · V 2 . . . ( 1 )
上式中,U表示透镜倾斜前的物距,V1表示透镜倾斜前的像距,F表示透镜焦距,β表示透镜倾斜的角度,U′2表示透镜倾斜后的物距,V′2表示透镜倾斜后的像距。根据式(1),可得:
1 V 1 - 1 V 2 = 1 F ( 1 - cos β ) . . . ( 2 )
故V2≥V1。进一步,根据余弦定理,可得到经倾斜前后的透镜的光线在与该透镜对应的图像传感单元成像的有效区域满足:
d 1 = 2 r ( L V 1 - 1 ) d 2 = r cos β ( L - V 2 ) ( 1 V 2 - r sin β + 1 V 2 + r sin β ) . . . ( 3 )
其中,d1表示经倾斜前的透镜的光线在图像传感单元成像的有效区域沿第二方向的轴的长度,d2表示经倾斜后的透镜的光线在图像传感单元成像的有效区域沿第二方向的轴的长度,r表示透镜的半径,L表示透镜的光心与图像传感单元之间的距离(假设在透镜倾斜前后,该距离保持不变)。结合公式(2)和(3),可得:
d 1 = 2 r ( L V 1 - 1 ) d 2 = 2 r ( L V 2 - 1 ) cos β 1 - ( r sin β V 2 ) 2 . . . ( 4 )
当β=0时,cosβ=1,可得d1≡d2
当β≠0且很小时,sinβ≈0,可得由于cosβ<1且V2≥V1,可得d2<d1
当β≠0时,例如一成像系统中参数可选配置为:
L = F V 1 = 4 r L = 2 V 1 . . . ( 5 )
可得:
d 1 = 2 r d 2 = A &CenterDot; 2 r . . . ( 6 )
其中A可以表示:
A = 64 cos 2 &beta; 64 - sin 2 &beta; ( 1 + cos &beta; ) 2 . . . ( 7 )
如图2c所示,通过数值仿真可得公式(7)所述的A的值在透镜倾斜不同角度的情形的值都小于1,因此d2<d1
当β≠0时,又例如一成像系统中参数可选配置为:
L = 4 F L = 2 V 1 V 1 = 2 r . . . ( 8 )
可得:
d 1 = 2 r d 2 = A &CenterDot; 2 r . . . ( 9 )
其中A可以表示:
A = ( 4 cos &beta; - 3 ) cos &beta; 1 - sin 2 &beta; ( cos &beta; - 0.5 ) 2 . . . ( 10 )
如图2d所示,通过数值仿真可得公式(10)所述的A的值在透镜倾斜不同角度的情形的值都小于1,因此d2<d1
通过上述理论推导和模拟仿真可知,在成像系统中使透镜相对其初始光轴倾斜,可改变经该透镜的光线在与该透镜相应的图像传感单元成像的有效区域的形状,如具有上述可选配置的成像系统,使透镜相对其初始光轴倾斜,可减小所述有效区域沿第二方向的轴的长度,所述有效区域沿第一方向的轴的长度没有变化,这相当于所述有效区域的形状由对应倾斜前透镜的圆形改变为了对应倾斜后透镜的椭圆形,即形状改变后的有效区域为短轴平行于所述第二方向的椭圆形,由于椭圆形的有效区域沿所述第一方向和所述第二方向分布的像素比不同,故基于透镜倾斜后的成像系统可实现对所述第一方向和所述第二方向的视角信息的差异化采集,此外,由于形状改变后的有效区域沿所述第二方向的长度d2小于形状改变前的有效区域的直径d1,因此,该情形可减少所述第二方向的视觉信息采集量,减少所述第二方向的视觉信息的输出和处理数据量,在如对第二方向的视觉信息关注或需求度较低等场景中,该情形可节省处理所述第二方向的视觉信息所需的资源,提高资源的实际利用率。
另一种可选的情形,形状改变后的所述有效区域内沿所述第一方向分布的像素数量增加、而沿所述第二方向分布的像素数量不变,由此改变了所述有效区域内沿二个方向分布的像素比。该情形可增加所述第一方向的视觉信息采集量,实现所述二个方向的视觉信息的差异化采集。此外,所述图像传感单元包括多个阵列分布的像素,通常,所述有效区域包括了所述图像传感单元的部分像素,也就是说,所述图像传感单元分布在所述有效区域之外的无效区域的像素在图像采集过程中没有实际记录光线信息,由此使得所述图像传感单元的像素未得到充分的利用,而该情形可使形状改变后的所述有效区域可增加在所述第一方向分布的像素,减少了所述图像传感单元的无效像素比重,由此提高了所述图像传感单元像素的实际利用率。
再一种可选的情形是形状改变后的所述有效区域内沿所述第一方向分布的像素数量增加、而沿所述第二方向分布的像素数量减小,由此改变了所述有效区域内沿二个方向分布的像素比。该情形可结合上述两种情形的优势,提高资源的实际利用率。
可选的情形还可包括,形状改变后的所述有效区域内沿二个方向分布的像素数量都增加但增加数量不同而导致二个方向分布的像素比发生改变,或者,可选的情形还可包括,形状改变后的所述有效区域内沿二个方向分布的像素数量都减小但增加数量不同而导致二个方向分布的像素比发生改变,等等,由此通过像素比的改变实现二个方向的视觉信息的差异性采集。
本申请实施例提供的技术方案中,经倾斜后的透镜的光线在与该图像传感单元的有效区域,除了形状可能发生变化之外,有效区域在图像传感单元中的位置也相应有所偏移,例如,所述透镜绕其光心相对第二方向顺时针倾斜一定角度后,经倾斜后的透镜的光线在图像传感单元所在平面的成像位置沿所述第二方向下移;或者,所述透镜绕其光心相对第二方向逆时针倾斜一定角度后,经倾斜后的透镜的光线在图像传感单元所在平面的成像位置沿所述第二方向上移;等等。如果所述偏移较小或所述偏移对图像采集影响较小等,则不进行调整;如果需要进行调整,则所述图像采集控制方法可在经所述成像系统采集所述待摄场景的图像之前,沿所述第二方向平移所述至少一透镜和/或与所述至少一透镜对应的所述图像传感单元,使得经倾斜后的透镜的光线在与该透镜对应的图像传感单元所在平面的成像位置,位于所述图像传感单元内。也就是说,可将所述透镜沿所述第二方向上移或下移,或者,可将所述图像传感单元下移或上移,或者,所述透镜和所述图像传感单元在所述第二方向上配合移动,使得经倾斜后的透镜的光线在与该透镜对应的图像传感单元所在平面的成像位置,位于所述图像传感单元内。进一步的,通过控制所述透镜和/或所述图像传感单元沿所述第二方向平移的距离,可使得经倾斜后的透镜的光线在与该透镜对应的图像传感单元所在平面的成像在所述图像传感单元内对称分布,以更好采集光线不同方向的视角信息。
此外,本申请实施例提供的技术方案中,所述第一方向和所述第二方向满足分别垂直透镜的初始光轴相互正交的关系下灵活确定,本申请对此并不限制。可选的,如图3所示,所述第一方向为垂直所述初始光轴的水平方向,所述第二方向为分别与所述初始光轴和所述第一方向垂直的方向。研究表明,人眼(左眼和右眼)呈水平分布,这一定程度上造成人眼视觉对水平方向的视角信息较为敏感、而对垂直方向的视角信息较不敏感,这使得在图像采集过程中水平方向和垂直方向的视觉信息对如在3D重构等场景应用中对人眼视觉影响不同,对水平方向的视觉信息的关注度或需求量,比对垂直方向的视觉信息的关注度或需求量来得到大,而确定与初始光轴分别垂直的水平方向和垂直方向分别为所述第一方向和所述第二方向,可实现图像传感单元不同方向视觉信息的差异化采集,在图像传感单元采集的图像信息中增加第一方向(水平方向)视觉信息的比重,和/或,在图像传感单元采集的图像信息中减少第二方向(垂直方向)视觉信息的比重,形状改变后的所述有效区域为短轴平行于所述第二方向的椭圆形(可选示例如图4所示),由此提高资源的实际利用效率,更好满足多样化的实际应用需求。
通常,所述有效区域为所述图像传感单元的局部,也就是说,所述有效区域并未包括所述图像传感单元的所有像素,如果能使所述有效区域尽可能包括所述图像传感单元的像素,则会有更多的像素参与图像采集,提高像素的实际利用率。
可选的,经所述成像系统采集所述待摄场景的图像之前,还包括:沿所述初始光轴平移所述透镜,以增大经所述透镜的光线在相应的所述图像传感单元成像的有效区域。将所述透镜沿所述初始光轴移动,会改变经所述透镜的光线在图像传感单元上成像的有效区域的大小,例如,沿所述初始光轴将所述透镜向增加所述图像传感单元与所述透镜之间的距离的方向平移,也即沿所述初始光轴将所述透镜向远离所述图像传感单元的方向平移,则增大经所述透镜的光线在图像传感单元上的成像的有效区域。由于该方案通过沿所述初始光轴平移所述透镜,来增大经所述透镜的光线在所述图像传感单元成像的有效区域,使得所述有效区域内沿所述第一方向和所述第二方向分布的像素比的最大可变范围也相应增加,由此增加了调整上述二个方向分布的像素比的灵活度,增加方案的普适性,更好满足多样化的实际应用需求。可以理解,沿所述初始光轴平移所述透镜的操作,可在倾斜和/或沿所述第一方向平移所述透镜、和/或旋转所述图像传感单元的操作之前或之后进行,实现方式非常灵活。此外,所述透镜沿所述初始光轴平移可能导致所述成像系统进行图像采集时的对焦状态发生变化,该情形下可根据实际需要确定是否需要进行对焦补偿。例如,如果需要进行对焦补偿,可采用但不限于调整所述透镜的焦距等方式,使得调整后的对焦位置尽可能接近甚至重合于调整前的对焦位置或者使得调整后的对焦位置落入所述成像系统调整前允许的重对焦范围;在某些情形下,如对焦位置的调整对图像采集影响不大或者调整后的对焦位置仍落入所述成像系统调整前允许的重对焦范围等,则也可无需进行对焦补偿。
可选的,经所述成像系统采集所述待摄场景的图像之前,还包括:调整所述透镜的焦距,以增大经所述透镜的光线在相应的所述图像传感单元成像的有效区域。调整所述透镜的焦距,会改变经所述透镜的光线在图像传感单元上成像的有效区域的大小,例如,调整所述透镜的焦距,使得经焦距调整后的所述透镜的光线在相应的所述图像传感单元成像的有效区域,相对经焦距调整前的所述透镜的光线在相应的所述图像传感单元成像的有效区域有所增加。采用该方案可使得所述有效区域内沿所述第一方向和所述第二方向分布的像素比的最大可变范围也相应增加,由此增加了调整上述二个方向分布的像素比的灵活度,增加方案的普适性,更好满足多样化的实际应用需求。可以理解,调整所述透镜焦距的操作,可在倾斜和/或沿所述第一方向平移所述透镜、和/或旋转所述图像传感单元的操作之前或之后进行,实现方式非常灵活。此外,调整所述透镜的焦距可能导致所述成像系统进行图像采集时的对焦状态发生变化,该情形下可根据实际需要确定是否需要进行对焦补偿。例如,如果需要进行对焦补偿,可采用但不限于沿所述透镜的初始光轴平移所述透镜等方式调整对焦位置,使得调整后的对焦位置尽可能接近甚至重合于调整前的对焦位置或者使得调整后的对焦位置落入所述成像系统调整前允许的重对焦范围;在某些情形下,如对焦位置的调整对图像采集影响不大或者调整后的对焦位置仍落入所述成像系统调整前允许的重对焦范围等,则也可无需进行对焦补偿。
本申请实施例提供的技术方案中,将透镜相对其初始光轴倾斜,可改变经倾斜后的透镜的光线在与该透镜对应的图像传感单元的有效区域的形状和大小,而有效区域实际改变的像素数量和图像传感单元的像素数量及相对位置有关。通过增大所述有效区域,可增大沿所述第一方向和所述第二方向分布的像素比的最大可变范围,然而,所述有效区域沿某方向允许增加的像素的数量,和所述图像传感单元在相应方向实际分布的像素数量有关。可选的,经所述成像系统采集所述待摄场景的图像之前,还包括:使所述至少一图像传感单元绕各自的法线旋转,以增加所述有效区域沿所述第一方向允许改变的像素数量的最大值。例如,如图5所示,可将图像传感单元绕其法线旋转45度,使得旋转后的图像传感单元相对图像传感单元旋转之前,所述有效区域沿所述第一方向允许改变的像素数量的最大值增加了,相当于增加了所述有效区域沿所述第一方向可变的最大边界,有利于在图像传感单元的现有像素中用更多的像素采集所述第一方向的视觉信息,增加图像传感单元所采集图像的信息中所述第一方向视觉信息的比重,实现不同方向差异化的视觉信息采集,尽可能提高资源的实际利用率。需要说明的是,旋转图像传感单元的操作,可在倾斜透镜(和/或沿所述第二方向平移透镜、和/或沿所述初始光轴平移透镜、和/或旋转所述第二图像传感单元)之前进行,也可在倾斜透镜(和/或沿所述第二方向平移透镜、和/或沿所述初始光轴平移透镜、和/或旋转所述第二图像传感单元)之后进行,实现方式非常灵活,本申请实施例对此并不限制。
本申请实施例提供的技术方案可应用的成像系统,具有采用多个像素记录待摄场景相同对象不同方向的视觉信息特点。
可选的,所述成像系统包括一相机阵列,如图6所示,所述相机阵列包括阵列分布的多个相机,所述相机包括依次设置的所述透镜和所述图像传感单元。每个相机的图像传感单元包括的阵列分布的多个像素,用于记录待摄场景相同对象的不同方向的视觉信息。不同相机的图像传感单元对应的待摄场景的对象可能不同。所述相机阵列中可对一个或多个相机的透镜进行倾斜调整,以实现与所述一个或多个相机的透镜对应的各图像传感单元对待摄对象不同方向的视觉信息的差异化采集,由此满足多样化的实际应用需求。
可选的,所述成像系统可包括一光场相机,如图7所示,所述光场相机包括依次设置的一主透镜、一子透镜阵列和一图像传感器,所述子透镜阵列包括阵列分布的多个所述透镜,所述图像传感器包括阵列分布的多个所述图像传感单元。所述子透镜阵列中的透镜与所述图像传感器中的图像传感单元对应设置,每个图像传感单元包括的阵列分布的多个像素,用于记录待摄场景相同对象的不同方向的视觉信息。不同图像传感单元对应的待摄场景的对象可能不同。所述光场相机中可对子透镜阵列中的一个或多个透镜进行倾斜调整,以实现与所述一个或多个相机的透镜对应的各图像传感单元对待摄对象不同方向的视觉信息的差异化采集,由此满足多样化的实际应用需求。
在存在对多个透镜进行倾斜控制的情形下,所述成像系统中至少二个所述透镜相对所述第二方向的倾斜方向和/或倾斜角度相同或不同。具体而言:倾斜方向方面,所述成像系统中至少二个所述透镜相对所述第二方向的倾斜方向相同,或者,所述成像系统中至少二个所述透镜相对所述第二方向的倾斜方向不同;倾斜角度方面,所述成像系统中至少二个所述透镜相对所述第二方向的倾斜角度相同,或者,所述成像系统中至少二个所述透镜相对所述第二方向的倾斜角度不同;倾斜方向和倾斜角度等方面也可结合进行考虑,以实现成像系统灵活的控制,更好满足多样化的实际应用需求。
可选的,所述成像系统中至少二个所述透镜相对所述第二方向的倾斜方向和倾斜角度均相同。例如,如图8a所示,光场相机中,可将子透镜阵列的至少二个透镜相对所述第二方向的相同方向倾斜相同角度。该方案控制简单易实现,有利于对与所述至少二个透镜分别对应的图像传感单元的不同方向的差异化视觉信息采集,实现统一控制。
可选的,所述成像系统中至少二个相邻的所述透镜相对所述第二方向的倾斜方向相反且倾斜角度相同。例如,如图8b所示,光场相机中,可将子透镜阵列中二个相邻的透镜为一组,将该组中二个相邻的透镜相对所述第二方向的相反方向倾斜相同角度,如将二个相邻的透镜A和B中,其中一个透镜A以其光心为支点相对所述第二方向以顺时针方向倾斜一角度、另一个透镜B以其光心为支点相对所述第二方向以逆时针方向倾斜相同角度,倾斜后的二透镜各自对应的图像传感单元的有效区域的形状由原来的圆形改变为椭圆形,不考虑有效区域整体沿所述第二方向上下平移等因素,所述椭圆形的中心与经所述透镜的光心的光线的成像点并不重合,而是存在一定的偏移,所述椭圆形相对所述经所述透镜的光心的光线的成像点是偏心分布的,故从单个图像传感单元来看,所述椭圆形的有效区域内,沿第一方向在所述经所述透镜的光心的光线的成像点的一侧的像素数量和在所述经所述透镜的光心的光线的成像点中的另一侧的像素数量不等,这使得采集到的第一方向不同视角的图像信息的分辨率存在差异。二个相邻的图像传感单元对应的待摄场景的对象差距不大,该方案将至少二个相邻的透镜以对称的方式进行倾斜,使得二个相邻的透镜分别对应的图像传感单元改变后的椭圆形的有效区域呈对称的偏心分布,由此从二个相邻的图像传感单元的整体来看,二个有效区域内沿第一方向分布的像素尽可能均匀,由此对所述第一方向不同视角信息的分辨率进行相互补充,有利于获得较为均衡的所述第一方向不同视角信息的分辨率。
在对所述至少一透镜进行倾斜控制的情形下,是以透镜为粒度,使各所述透镜的倾斜控制是相对其各自的初始光轴倾斜,并非以子透镜阵列为粒度而控制子透镜阵列整体倾斜。如此处理的好处在于,提高控制的灵活性,在对具有一定深度分布的待摄场景进行图像采集时,使各所述透镜的倾斜控制是相对其各自的初始光轴倾斜,有利于使得与不同透镜对应的不同图像传感单元各自采集到的光场信息的景深范围重叠范围存在一定程度的重叠。不妨结合光场相机的一种可选的结构为例进行说明,如图8c所示,光场相机的光路图可以等效为各子透镜对主透镜所成的实像或虚像在子透镜阵列的透镜对应的图像传感单元上进行成像,因此在图像传感单元上不同位置的像素点可以存储场景中不同深度对象的光场信息。假设在成像区域上像素点位置到透镜光轴的距离为d,则对应于场景中不同深度的对象在图像传感器成像的弥散圆半径为:
d = A fu f u f - f ( 1 u f - 1 u ) . . . ( 11 )
上式中,A为透镜的半径,f为透镜的焦距,uf为透镜对焦平面到透镜中心的距离,u为实像或虚像到透镜中心的距离(实像为正值,虚像为负值)。
1 F = 1 U + 1 V = 1 U + 1 L - u . . . ( 12 )
其中:U为待摄场景的实际对象到主透镜的物距,也就是基于光场图像可获取的某一重对焦图像的重对焦点所在平面(重对焦平面)到主透镜的距离;F为主透镜焦距,L为主透镜光心到透镜光心的距离。
单个透镜的成像公式:
1 f = 1 u f + 1 v . . . ( 13 )
其中,v为图像传感单元中与该透镜对应的有效区域的某像素点到该透镜的距离。
根据公式(11)、(12)和(13),可得:
1 U = 1 F + 1 1 1 f - 1 v ( 1 + d A ) - L . . . ( 14 )
可见,当光场相机的光学参数确定之后,U和d之间存在一定的对应关系,不同物距(即不同深度)的物点的光场信息可通过一透镜对应的一有效区域内弥散圆半径为d的子成像区域内的各像素记录。如果将子透镜阵列整体绕其中心相对其初始光轴方向进行倾斜,则不同像素与相应透镜之间的距离v差异较大,导致不同图像传感单元各自采集到的光场信息的景深范围重叠范围过小甚至不重叠,由此可能影响后期对采集到的光场信息进行重对焦图像生成等应用。本申请实施例提供的技术方案中,使所述至少一透镜中各所述透镜的倾斜控制是相对其各自的初始光轴倾斜,控制灵活,还有利于避免图像传感器上不同像素与子透镜阵列平面的距离差异过大,使得不同图像传感单元各自采集到的光场信息的景深范围重叠范围存在一定程度的重叠,进而有利于后期对采集到的光场信息进行重对焦图像生成等应用。
进一步,结合本申请实施例提供的任一种图像采集控制方法,可选的,所述使至少一透镜相对各自的初始光轴倾斜之前,还包括:确定所述第二方向。确定了所述第二方向之后,根据所述第一方向和所述第二方向的相互关系,也就确定了所述第一方向,在所述第一方向和所述第二方向上实现差异化的视角信息采集。该方案可根据实际需求确定待差异化视角信息采集的方向,实现方式灵活,可满足多样化的实际应用需求。
可选的,确定所述第二方向,包括:根据所述成像系统的图像采集模式,确定所述第二方向。采用不同的图像采集模式对应的图像采集信息的扫描输出方式可能存在差异,为了便于扫描输出差异化的视角信息采集,可至少根据所述成像系统的图像采集模式,确定所述第二方向。例如,所述图像采集模式可包括但不限于横拍模式和竖拍模式,如相机等图像采集装置处于横拍模式时,与人眼较不敏感的垂直方向(或对人眼较为敏感的水平方向)所对应的图像传感单元的相对方向,与相机处于竖拍模式时与人眼较不敏感的垂直方向(或对人眼较为敏感的水平方向)所对应的图像传感单元的相对方向不同,可根据图像采集模式和参考方向的映射关系,确定与所述成像系统的图像采集模式对应的参考方向为所述第一方向。该方案使得所述第二方向的确定与图像采集模式适配。如图9a和图9b所示,可预先确定横拍模式对应的参考方向平行图像传感单元的像素列方向,竖拍模式对应的参考方向平行图像传感单元的像素行方向,所述图像传感单元的像素行方向和像素列方向相互垂直并且分别垂直其法线,所述图像传感单元的法线与所述透镜的初始光轴平行,因此,所述图像传感单元的像素行方向和像素列方向分别垂直于所述透镜的初始光轴。之后,所述图像采集控制方法在倾斜至少一透镜之前,可根据相机当前的图像采集模式确定与此对应的参考方向为所述第二方向,该方案结合图像传感单元在不同图像采集模式下其位置的变化确定所述第二方向,使得所述第二方向的确定更具针对性,获得如水平和垂直方向等二个不同方向的视角信息的差异化采集。
可选的,确定所述第二方向,包括:根据所述待摄场景的图像分析结果,确定所述第二方向。自然界中,所述待摄场景的对象分布通常呈现一定的规律,例如,在重力作用下,待摄场景(如“山”)可能出现下大上小等的分布规律,该分布规律有助于确定水平方向和垂直方向,以此作为所述第二方向的确定依据,实现如水平方向和垂直方向等二个方向视角信息的差异化采集。
本领域技术人员可以理解,在本申请具体实施方式的上述任一方法中,各步骤的序号大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本申请具体实施方式的实施过程构成任何限定。
图10为本申请实施例提供的第一种图像采集控制装置的逻辑框图。如图10所示,本申请实施例提供的第一种图像采集控制装置包括:一倾斜控制模块101和一图像采集模块102。
倾斜控制模块101用于使至少一透镜相对各自的初始光轴倾斜,以改变一成像系统中与所述至少一透镜对应的至少一图像传感单元的有效区域内沿二个方向分布的像素比;所述有效区域为经所述透镜的光线在相应图像传感单元成像的区域;所述二个方向包括分别与所述初始光轴方向垂直且相互正交的第一方向和第二方向;所述图像传感单元包括阵列分布的多个像素,所述多个像素用于记录待摄场景相同对象多方向的视角信息。
图像采集模块102用于经所述成像系统采集所述待摄场景的图像。
本申请实施例提供的技术方案可使至少一透镜相对各自的初始光轴倾斜,以改变所述至少一透镜对应的图像传感单元各自的有效区域内沿二个方向分布的像素比,也就是说,透镜倾斜后,与该透镜对应的图像传感单元的有效区域沿所述二个方向分布的像素数量不同,像素比不等于1,这样,经透镜倾斜后的成像系统进行待摄场景的图像采集,可改变所述图像传感单元在所述第一方向和所述第二方向实际记录的视差信息的比重,实现不同方向视角信息的差异化采集。
所述图像采集控制装置的设备表现形式不受限制,例如所述图像采集控制装置可为某一独立的部件;或者,所述图像采集控制装置可作为某一功能模块集成在一成像设备中,所述成像设备可包括但不限于相机、摄像机、手机、平板电脑、具有拍照或摄像功能的电子设备等,本申请实施例对此并不限制。
所述第一方向和所述第二方向满足分别垂直透镜的初始光轴且相互正交的关系下灵活确定,本申请对此并不限制。可选的,所述第一方向为垂直所述初始光轴的水平方向。该方案可实现图像传感单元不同方向视觉信息的差异化采集,在图像传感单元采集的图像信息中增加第一方向(水平方向)视觉信息的比重,和/或,在图像传感单元采集的图像信息中减少第二方向(垂直方向)视觉信息的比重,形状改变后的所述有效区域为长轴平行于所述第一方向的椭圆形,由此提高资源的实际利用效率,更好满足多样化的实际应用需求。
可选的,如图11所示,所述图像采集控制装置还包括:一第一平移控制模块106。第一平移控制模块106用于沿所述初始光轴平移所述透镜,以增大经所述透镜的光线在相应的所述图像传感单元成像的有效区域。该方案可使得所述有效区域内沿所述第一方向和所述第二方向分布的像素比的最大可变范围相应增加,由此增加了调整上述二个方向分布的像素比的灵活度,增加方案的普适性,更好满足多样化的实际应用需求。
可选的,所述图像采集控制装置还包括:一焦距调整模块107。焦距调整模块107用于调整所述透镜的焦距,以增大经所述透镜的光线在相应的所述图像传感单元成像的有效区域。该方案可使得所述有效区域内沿所述第一方向和所述第二方向分布的像素比的最大可变范围相应增加,由此增加了调整上述二个方向分布的像素比的灵活度,增加方案的普适性,更好满足多样化的实际应用需求。
可选的,所述图像采集控制装置还包括:一旋转控制模块103。旋转控制模块103用于用于使所述至少一图像传感单元绕各自的法线旋转,以增加所述有效区域沿所述第一方向允许改变的像素数量的最大值。用该方案可实现不同方向差异化的视觉信息采集,尽可能提高资源的实际利用率。
可选的,所述倾斜控制模块101包括:一倾斜控制子模块1011。倾斜控制子模块1011用于使所述至少一透镜各自相对所述第二方向倾斜一角度,以改变相应所述有效区域的形状,由此减小相应所述有效区域沿所述第二方向分布的像素数量,改变所述有效区域内沿所述第一方向和所述第二方向分布的像素比,提高所述第一方向的视角信息的采集比重。可选的,形状改变后的所述有效区域为短轴平行于所述第二方向的椭圆形,该方案提高尽可能提高所述第一方向的视角信息采集比重,减少所述第二方向的视角信息的采集、输出和/或处理量,提高资源的实际利用效率。
可选的,如图6所示,所述成像系统包括一相机阵列,所述相机阵列包括阵列分布的多个相机,所述相机包括依次设置的所述透镜和所述图像传感单元。所述相机阵列中可对一个或多个相机的透镜进行倾斜调整,以实现与所述一个或多个相机的透镜对应的各图像传感单元对待摄对象不同方向的视觉信息的差异化采集,由此满足多样化的实际应用需求。
可选的,如图7所示,所述成像系统包括一光场相机,所述光场相机包括依次设置的一主透镜、一子透镜阵列和一图像传感器,所述子透镜阵列包括阵列分布的多个所述透镜,所述图像传感器包括阵列分布的多个所述图像传感单元。所述光场相机中可对子透镜阵列中的一个或多个透镜进行倾斜调整,以实现与所述一个或多个相机的透镜对应的各图像传感单元对待摄对象不同方向的视觉信息的差异化采集,由此满足多样化的实际应用需求
可选的,所述成像系统中至少二个所述透镜相对所述第二方向的倾斜方向和/或倾斜角度相同或不同。该方案可单独或结合考虑倾斜方向和倾斜角度等方面,以实现成像系统灵活的控制,更好满足多样化的实际应用需求。
可选的,所述成像系统中至少二个所述透镜相对所述第二方向的倾斜方向和倾斜角度均相同。该方案控制简单易实现,有利于对至少二个所述图像传感单元的不同方向的差异化视觉信息采集实现统一控制。
可选的,所述成像系统中至少二个相邻的所述透镜相对所述第二方向的倾斜方向相反且倾斜角度相同。该方案将至少二个相邻的透镜对称的方式进行倾斜,使得二个相邻的透镜倾斜后,其各自对应的图像传感单元改变后的椭圆形的有效区域相对透镜光心的成像位置呈对称的偏心分布,由此从二个相邻的图像传感单元的整体来看,二个有效区域内沿第一方向分布的像素尽可能均匀,由此对所述第一方向不同视角信息的分辨率进行相互补充,有利于获得较为均衡的所述第一方向不同视角信息的分辨率。
可选的,所述图像采集控制装置还包括:一第二平移控制模块105。第二平移控制模块105用于沿所述第二方向平移所述至少一透镜和/或与所述至少一透镜对应的所述图像传感单元。该方案可通过控制所述透镜和所述图像传感单元至少之一沿所述第二方向平移,使得经倾斜后的透镜的光线在与该透镜对应的图像传感单元所在平面的成像位置,位于所述图像传感单元内。进一步的,通过控制所述透镜和/或所述图像传感单元沿所述第二方向平移的距离,可使得经倾斜后的透镜的光线在与该透镜对应的图像传感单元所在平面的成像在所述图像传感单元内对称分布,以更好采集光线不同方向的视角信息。
可选的,所述图像采集控制装置还包括:一方向确定模块104。方向确定模块104用于确定所述第二方向,并根据确定结果使能所述倾斜控制模块101。该方案可根据实际需求确定待差异化视角信息采集的方向,实现方式灵活,可满足多样化的实际应用需求。
可选的,所述方向确定模块104包括:一模式方向确定子模块1041。模式方向确定子模块1041用于根据所述成像系统的图像采集模式,确定所述第二方向。该方案结合图像传感单元在不同图像采集模式下其位置的变化确定所述第二方向,使得所述第二方向的确定更具针对性,获得如水平和垂直方向等二个不同方向的视角信息的差异化采集。进一步,可选的,所述模式方向确定子模块1041包括:一方向确定单元10411。方向确定单元10411用于根据图像采集模式和参考方向的映射关系,确定与所述成像系统的图像采集模式对应的参考方向为所述第二方向。该方案简单易实现。
可选的,所述方向确定模块104包括:一场景方向确定子模块1042。场景方向确定子模块1042用于根据所述待摄场景的图像分析结果,确定所述第二方向。该方案可通过图像分析手段确定待摄场景的对象分布规律,并以此作为所述第一方向的确定依据,实现如水平方向和垂直方向等二个方向视角信息的差异化采集。
图12为本申请实施例提供的第三种图像采集控制装置的结构示意图,本申请具体实施例并不对图像采集控制装置1200的具体实现方式做限定。如图12所示,图像采集控制装置1200可以包括:
处理器(Processor)1210、通信接口(Communications Interface)1220、存储器(Memory)1230、以及通信总线1240。其中:
处理器1210、通信接口1220、以及存储器1230通过通信总线1240完成相互间的通信。
通信接口1220,用于与比如可变形的图像传感器等通信。
处理器1210,用于执行程序1232,具体可以执行上述任一方法实施例中的相关步骤。
例如,程序1232可以包括程序代码,所述程序代码包括计算机操作指令。
处理器1210可能是一个中央处理器(Central Processing Unit,简称CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器1230,用于存放程序1232。存储器1230可能包含随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(Non-volatile memory),例如至少一个磁盘存储器。
例如,在一种可选的实现方式中,处理器1210通过执行程序1232可执行以下步骤:使至少一透镜相对各自的初始光轴倾斜,以改变一成像系统中与所述至少一透镜对应的至少一图像传感单元的有效区域内沿二个方向分布的像素比;所述有效区域为经所述透镜的光线在相应图像传感单元成像的区域;所述二个方向包括分别与所述初始光轴方向垂直且相互正交的第一方向和第二方向;所述图像传感单元包括阵列分布的多个像素,所述多个像素用于记录待摄场景相同对象多方向的视角信息;经所述成像系统采集所述待摄场景的图像。在其他可选的实现方式中,处理器1210通过执行程序1232还可执行上述其他任一实施例提及的步骤,在此不再赘述。
程序1232中各步骤的具体实现可以参见上述实施例中的相应步骤、模块、子模块、单元中对应的描述,在此不再赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
在本申请上述各实施例中,实施例的序号和/或先后顺序仅仅便于描述,不代表实施例的优劣。对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。有关装置、设备或系统实施例的实施原理或过程的相关描述,可参见相应方法实施例的记载,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的装置、方法、系统等实施例中,显然,各部件(系统、子系统、模块、子模块、单元、子单元等)或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本申请的等效方案。同时,在上面对本申请具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
最后应说明的是:以上实施方式仅用于说明本申请,而并非对本申请的限制,有关技术领域的普通技术人员,在不脱离本申请的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本申请的范畴,本申请的专利保护范围应由权利要求限定。

Claims (10)

1.一种图像采集控制方法,其特征在于,包括:
使至少一透镜相对各自的初始光轴倾斜,以改变一成像系统中与所述至少一透镜对应的至少一图像传感单元的有效区域内沿二个方向分布的像素比;所述有效区域为经所述透镜的光线在相应图像传感单元成像的区域;所述二个方向包括分别与所述初始光轴方向垂直且相互正交的第一方向和第二方向;所述图像传感单元包括阵列分布的多个像素,所述多个像素用于记录待摄场景相同对象多方向的视角信息;
经所述成像系统采集所述待摄场景的图像。
2.根据权利要求1所述的方法,其特征在于,所述成像系统包括一光场相机,所述光场相机包括依次设置的一主透镜、一子透镜阵列和一图像传感器,所述子透镜阵列包括阵列分布的多个所述透镜,所述图像传感器包括阵列分布的多个所述图像传感单元。
3.根据权利要求1所述的方法,其特征在于,所述成像系统包括一相机阵列,所述相机阵列包括阵列分布的多个相机,所述相机包括依次设置的所述透镜和所述图像传感单元。
4.根据权利要求1-3任一所述的方法,其特征在于,所述第二方向为垂直所述初始光轴的垂直方向。
5.根据权利要求1-4任一所述的方法,其特征在于,经所述成像系统采集所述待摄场景的图像之前,还包括:
沿所述初始光轴平移所述透镜,以增大经所述透镜的光线在相应的所述图像传感单元成像的有效区域。
6.一种图像采集控制装置,其特征在于,包括:
一倾斜控制模块,用于使至少一透镜相对各自的初始光轴倾斜,以改变一成像系统中与所述至少一透镜对应的至少一图像传感单元的有效区域内沿二个方向分布的像素比;所述有效区域为经所述透镜的光线在相应图像传感单元成像的区域;所述二个方向包括分别与所述初始光轴方向垂直且相互正交的第一方向和第二方向;所述图像传感单元包括阵列分布的多个像素,所述多个像素用于记录待摄场景相同对象多方向的视角信息;
一图像采集模块,用于经所述成像系统采集所述待摄场景的图像。
7.根据权利要求6所述的装置,其特征在于,所述成像系统包括一光场相机,所述光场相机包括依次设置的一主透镜、一子透镜阵列和一图像传感器,所述子透镜阵列包括阵列分布的多个所述透镜,所述图像传感器包括阵列分布的多个所述图像传感单元。
8.根据权利要求6所述的装置,其特征在于,所述成像系统包括一相机阵列,所述相机阵列包括阵列分布的多个相机,所述相机包括依次设置的所述透镜和所述图像传感单元。
9.根据权利要求6-8任一所述的装置,其特征在于,所述第二方向为垂直所述初始光轴的垂直方向。
10.根据权利要求6-9任一所述的装置,其特征在于,还包括:
一第一平移控制模块,用于沿所述初始光轴平移所述透镜,以增大经所述透镜的光线在相应的所述图像传感单元成像的有效区域。
CN201510194907.0A 2015-04-22 2015-04-22 图像采集控制方法和装置 Active CN106161922B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510194907.0A CN106161922B (zh) 2015-04-22 2015-04-22 图像采集控制方法和装置
US15/567,598 US10616462B2 (en) 2015-04-22 2016-04-22 Image capture control methods and apparatuses
PCT/CN2016/079963 WO2016169507A1 (en) 2015-04-22 2016-04-22 Image capture control methods and apparatuses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510194907.0A CN106161922B (zh) 2015-04-22 2015-04-22 图像采集控制方法和装置

Publications (2)

Publication Number Publication Date
CN106161922A true CN106161922A (zh) 2016-11-23
CN106161922B CN106161922B (zh) 2019-05-14

Family

ID=57143755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510194907.0A Active CN106161922B (zh) 2015-04-22 2015-04-22 图像采集控制方法和装置

Country Status (3)

Country Link
US (1) US10616462B2 (zh)
CN (1) CN106161922B (zh)
WO (1) WO2016169507A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047430A (zh) * 2019-04-26 2019-07-23 京东方科技集团股份有限公司 光场数据重构方法、光场数据重构器件及光场显示装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6259132B2 (ja) * 2015-01-20 2018-01-10 日立オートモティブシステムズ株式会社 車載用カメラ装置
KR102328539B1 (ko) * 2017-07-27 2021-11-18 삼성전자 주식회사 복수의 카메라를 이용하여 영상을 획득하기 위한 전자 장치 및 이를 이용한 영상 처리 방법
CN110824454B (zh) * 2018-08-08 2023-11-03 宁波舜宇车载光学技术有限公司 镜头系统及其构建方法
US11885884B2 (en) * 2019-03-11 2024-01-30 Lg Innotek Co., Ltd. Camera module
CN112468684A (zh) * 2019-09-09 2021-03-09 北京小米移动软件有限公司 摄像头模组和具有该摄像头模组的移动终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110157387A1 (en) * 2009-12-30 2011-06-30 Samsung Electronics Co., Ltd. Method and apparatus for generating image data
CN102739945A (zh) * 2012-05-24 2012-10-17 上海理工大学 光场成像装置及方法
CN104486537A (zh) * 2014-10-27 2015-04-01 北京智谷技术服务有限公司 光场采集控制方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101624654B1 (ko) * 2010-03-15 2016-05-26 삼성전자주식회사 초점 조절 장치 및 초점 조절 방법
GB2482290A (en) 2010-07-26 2012-02-01 St Microelectronics Res & Dev Autofocus method using tilted focal plane
JP2012205111A (ja) 2011-03-25 2012-10-22 Casio Comput Co Ltd 撮像装置
US8958005B1 (en) 2012-08-30 2015-02-17 Google Inc. Single pixel camera
CN105378503B (zh) * 2013-07-04 2018-08-10 飞利浦灯具控股公司 确定取向
EP3075140B1 (en) * 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
WO2015132831A1 (ja) * 2014-03-03 2015-09-11 パナソニックIpマネジメント株式会社 撮像装置
JP5881777B2 (ja) * 2014-06-24 2016-03-09 オリンパス株式会社 顕微鏡
JP6503907B2 (ja) * 2015-06-12 2019-04-24 リコーイメージング株式会社 撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110157387A1 (en) * 2009-12-30 2011-06-30 Samsung Electronics Co., Ltd. Method and apparatus for generating image data
CN102739945A (zh) * 2012-05-24 2012-10-17 上海理工大学 光场成像装置及方法
CN104486537A (zh) * 2014-10-27 2015-04-01 北京智谷技术服务有限公司 光场采集控制方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047430A (zh) * 2019-04-26 2019-07-23 京东方科技集团股份有限公司 光场数据重构方法、光场数据重构器件及光场显示装置
CN110047430B (zh) * 2019-04-26 2020-11-06 京东方科技集团股份有限公司 光场数据重构方法、光场数据重构器件及光场显示装置

Also Published As

Publication number Publication date
US10616462B2 (en) 2020-04-07
US20180115692A1 (en) 2018-04-26
WO2016169507A1 (en) 2016-10-27
CN106161922B (zh) 2019-05-14

Similar Documents

Publication Publication Date Title
CN106161922A (zh) 图像采集控制方法和装置
CN104486537B (zh) 光场采集控制方法和装置
CN104506762B (zh) 光场采集控制方法和装置、光场采集设备
CN104463949B (zh) 一种基于光场数字重聚焦的快速三维重建方法及其系统
CN102026011B (zh) 获得光场数据的设备以及处理光场数据的设备和方法
US8400555B1 (en) Focused plenoptic camera employing microlenses with different focal lengths
CN106254859B (zh) 光场显示控制方法和装置、光场显示设备
CN104410784A (zh) 光场采集控制方法和装置
CN102783162A (zh) 摄像装置
TWI527434B (zh) 利用光場相機產生立體影像的方法及光場相機
CN103828344A (zh) 图像处理设备、图像处理方法和程序、以及包括该设备的摄像设备
CN106297610B (zh) 显示控制方法和装置
US20180054556A1 (en) Image processing apparatus and image processing method
CN104106003A (zh) 摄像装置
CN114926612A (zh) 空中全景图像处理与沉浸式显示系统
CN106254804A (zh) 光场显示控制方法和装置、光场显示设备
CN106303208A (zh) 图像采集控制方法和装置
US10306146B2 (en) Image processing apparatus and image processing method
CN106161921A (zh) 图像采集控制方法和装置
CN106297611A (zh) 显示控制方法和装置
CN106161920A (zh) 图像采集控制方法和装置
CN106375648A (zh) 图像采集控制方法和装置
CN106254858B (zh) 光场显示控制方法和装置、光场显示设备
TW201537975A (zh) 利用光場相機產生全景深影像的方法及光場相機
CN106254750A (zh) 图像采集控制方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant