CN106161921A - 图像采集控制方法和装置 - Google Patents

Abstract

本申请公开了一种图像采集控制方法和装置，所述方法包括：使至少一图像传感单元相对各自的初始法线倾斜，以改变所述至少一图像传感单元各自的有效区域内沿二个方向分布的像素比；所述有效区域为经一成像系统中与所述图像传感单元对应的透镜的光线在所述图像传感单元成像的区域；所述二个方向包括分别与所述初始法线垂直且相互正交的第一方向和第二方向；所述图像传感单元包括阵列分布的多个像素，所述多个像素用于记录待摄场景相同对象多方向的视角信息；经所述成像系统采集所述待摄场景的图像。本申请可改变至少一图像传感单元在所述第一方向和所述第二方向实际记录的视差信息的比重，实现不同方向视角信息的差异化采集。

Description

图像采集控制方法和装置

技术领域

本申请涉及一种终端技术领域，特别是涉及一种图像采集控制方法和装置。

背景技术

光场相机支持单次曝光采集场景中的空间和视角等信息，采集的信息可用于计算生成例如数字重对焦、多视角(Multiview)、3D重构等丰富的图像效果，具有广泛的应用前景。

目前，光场相机主要使用多个透镜呈正方形或六边形排列而成的子透镜阵列，经子透镜阵列中的每个透镜的光线在与各透镜对应的图像传感单元成像的区域为圆形，该圆形的区域内沿各方向分布的像素数量相同。

发明内容

在下文中给出了关于本申请的简要概述，以便提供关于本申请的某些方面的基本理解。应当理解，这个概述并不是关于本申请的穷举性概述。它并不是意图确定本申请的关键或重要部分，也不是意图限定本申请的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本申请实施例提供一种图像采集控制方法和装置。

第一方面，本申请实施例提供了一种图像采集控制方法，包括：

使至少一图像传感单元相对各自的初始法线倾斜，以改变所述至少一图像传感单元各自的有效区域内沿二个方向分布的像素比；所述有效区域为经一成像系统中与所述图像传感单元对应的透镜的光线在所述图像传感单元成像的区域；所述二个方向包括分别与所述初始法线垂直且相互正交的第一方向和第二方向；所述图像传感单元包括阵列分布的多个像素，所述多个像素用于记录待摄场景相同对象多方向的视角信息；

经所述成像系统采集所述待摄场景的图像。

结合本申请实施例提供的任一种图像采集控制方法，可选的，所述成像系统包括一光场相机，所述光场相机包括依次设置的一主透镜、一子透镜阵列和一图像传感器，所述子透镜阵列包括阵列分布的多个所述透镜，所述图像传感器包括阵列分布的多个所述图像传感单元。

结合本申请实施例提供的任一种图像采集控制方法，可选的，所述成像系统包括一相机阵列，所述相机阵列包括阵列分布的多个相机，所述相机包括依次设置的所述透镜和所述图像传感单元。

结合本申请实施例提供的任一种图像采集控制方法，可选的，所述第一方向为垂直所述初始法线的水平方向。

结合本申请实施例提供的任一种图像采集控制方法，可选的，经所述成像系统采集所述待摄场景的图像之前，还包括：使所述至少一图像传感单元绕各自的所述初始法线旋转，以增加所述有效区域沿所述第一方向允许改变的像素数量的最大值。

结合本申请实施例提供的任一种图像采集控制方法，可选的，使至少一图像传感单元相对各自的初始法线倾斜，以改变所述至少一图像传感单元各自的有效区域内沿二个方向分布的像素比，包括：使所述至少一图像传感单元各自相对所述第一方向倾斜一角度，以改变相应所述有效区域的形状，由此增加相应所述有效区域沿所述第一方向分布的像素数量。

结合本申请实施例提供的任一种图像采集控制方法，可选的，形状改变后的所述有效区域为长轴平行于所述第一方向的椭圆形。

结合本申请实施例提供的任一种图像采集控制方法，可选的，所述成像系统中至少二个所述图像传感单元相对所述第一方向的倾斜方向和/或倾斜角度相同或不同。

结合本申请实施例提供的任一种图像采集控制方法，可选的，所述成像系统中至少二个所述图像传感单元相对所述第一方向的倾斜方向和倾斜角度均相同。

结合本申请实施例提供的任一种图像采集控制方法，可选的，所述成像系统中至少二个相邻的所述图像传感单元相对所述第一方向的倾斜方向相反且倾斜角度相同。

结合本申请实施例提供的任一种图像采集控制方法，可选的，经所述成像系统采集所述待摄场景的图像之前，还包括：沿所述初始法线平移所述图像传感单元，以增大经相应的所述透镜的光线在所述图像传感单元成像的有效区域。

结合本申请实施例提供的任一种图像采集控制方法，可选的，所述使至少一图像传感单元相对各自的初始法线倾斜之前，还包括：确定所述第一方向。

结合本申请实施例提供的任一种图像采集控制方法，可选的，确定所述第一方向，包括：根据所述成像系统的图像采集模式，确定所述第一方向。

结合本申请实施例提供的任一种图像采集控制方法，可选的，根据所述成像系统的图像采集模式确定所述第一方向，包括：根据图像采集模式和参考方向的映射关系，确定与所述成像系统的图像采集模式对应的参考方向为所述第一方向。

结合本申请实施例提供的任一种图像采集控制方法，可选的，确定所述第一方向，包括：根据所述待摄场景的图像分析结果，确定所述第一方向。

第二方面，本申请实施例还提供了一种图像采集控制装置，包括：

一倾斜控制模块，用于使至少一图像传感单元相对各自的初始法线倾斜，以改变所述至少一图像传感单元各自的有效区域内沿二个方向分布的像素比；所述有效区域为经一成像系统中与所述图像传感单元对应的透镜的光线在所述图像传感单元成像的区域；所述二个方向包括分别与所述初始法线垂直且相互正交的第一方向和第二方向；所述图像传感单元包括阵列分布的多个像素，所述多个像素用于记录待摄场景相同对象多方向的视角信息；

一图像采集模块，用于经所述成像系统采集所述待摄场景的图像。

结合本申请实施例提供的任一种图像采集控制装置，可选的，所述成像系统包括一光场相机，所述光场相机包括依次设置的一主透镜、一子透镜阵列和一图像传感器，所述子透镜阵列包括阵列分布的多个所述透镜，所述图像传感器包括阵列分布的多个所述图像传感单元。

结合本申请实施例提供的任一种图像采集控制装置，可选的，所述成像系统包括一相机阵列，所述相机阵列包括阵列分布的多个相机，所述相机包括依次设置的所述透镜和所述图像传感单元。

结合本申请实施例提供的任一种图像采集控制装置，可选的，所述第一方向为垂直所述初始法线的水平方向。

结合本申请实施例提供的任一种图像采集控制装置，可选的，所述装置还包括：一旋转控制模块，用于使所述至少一图像传感单元绕各自的所述初始法线旋转，以增加所述有效区域沿所述第一方向允许改变的像素数量的最大值。

结合本申请实施例提供的任一种图像采集控制装置，可选的，所述倾斜控制模块包括：一倾斜控制子模块，用于使所述至少一图像传感单元各自相对所述第一方向倾斜一角度，以改变相应所述有效区域的形状，由此增加相应所述有效区域沿所述第一方向分布的像素数量。

结合本申请实施例提供的任一种图像采集控制装置，可选的，形状改变后的所述有效区域为长轴平行于所述第一方向的椭圆形。

结合本申请实施例提供的任一种图像采集控制装置，可选的，所述成像系统中至少二个所述图像传感单元相对所述第一方向的倾斜方向和/或倾斜角度相同或不同。

结合本申请实施例提供的任一种图像采集控制装置，可选的，所述成像系统中至少二个所述图像传感单元相对所述第一方向的倾斜方向和倾斜角度均相同。

结合本申请实施例提供的任一种图像采集控制装置，可选的，所述成像系统中至少二个相邻的所述图像传感单元相对所述第一方向的倾斜方向相反且倾斜角度相同。

结合本申请实施例提供的任一种图像采集控制装置，可选的，所述装置还包括：一平移控制模块，用于沿所述初始法线平移所述图像传感单元，以增大经相应的所述透镜的光线在所述图像传感单元成像的有效区域。

结合本申请实施例提供的任一种图像采集控制装置，可选的，所述装置还包括：一方向确定模块，用于确定所述第一方向，并根据确定结果使能所述倾斜控制模块。

结合本申请实施例提供的任一种图像采集控制装置，可选的，所述方向确定模块包括：一模式方向确定子模块，用于根据所述成像系统的图像采集模式，确定所述第一方向。

结合本申请实施例提供的任一种图像采集控制装置，可选的，所述模式方向确定子模块包括：一方向确定单元，用于根据图像采集模式和参考方向的映射关系，确定与所述成像系统的图像采集模式对应的参考方向为所述第一方向。

结合本申请实施例提供的任一种图像采集控制装置，可选的，所述方向确定模块包括：一场景方向确定子模块，用于根据所述待摄场景的图像分析结果，确定所述第一方向。

本申请实施例提供的技术方案，可使至少一图像传感单元相对各自的初始法线倾斜，以改变所述至少一图像传感单元各自的有效区域内沿二个方向分布的像素比，也就是说，图像传感单元倾斜后其有效区域沿所述二个方向分布的像素数量不同，像素比不等于1，这样，经图像传感单元倾斜后的成像系统进行待摄场景的图像采集，可改变所述图像传感单元在所述第一方向和所述第二方向实际记录的视差信息的比重，实现不同方向视角信息的差异化采集。

通过以下结合附图对本申请的可选实施例的详细说明，本申请的这些以及其它的优点将更加明显。

附图说明

本申请可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本申请的可选实施例和解释本申请的原理和优点。在附图中：

图1为本申请实施例提供的一种图像采集控制方法流程图；

图2a为本申请实施例提供的基于未倾斜的图像传感单元的光路示例；

图2b为本申请实施例提供的一种基于倾斜的图像传感单元的光路示例；

图2c为本申请实施例提供的另一种基于倾斜的图像传感单元的光路示例；

图3为本申请实施例提供的未倾斜的图像传感单元有效区域示例；

图4为本申请实施例提供的倾斜的图像传感单元有效区域示例；

图5为本申请实施例提供的图像传感单元旋转示例；

图6为本申请实施例提供的相机阵列的结构示意图；

图7为本申请实施例提供的光场相机的结构示意图；

图8a为本申请实施例提供的一种倾斜多个图像传感单元的示例；

图8b为本申请实施例提供的另一种倾斜多个图像传感单元的示例；

图8c为本申请实施例提供的光场相机的光路示例；

图9a为本申请实施例提供的横拍模式示例；

图9b为本申请实施例提供的竖拍模式示例；

图10为本申请实施例提供的第一种图像采集控制装置的逻辑框图；

图11为本申请实施例提供的第二种图像采集控制装置的逻辑框图；

图12为本申请实施例提供的第三种图像采集控制装置的逻辑框图。

本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本申请实施例的理解。

具体实施方式

在下文中将结合附图对本申请的示范性实施例进行详细描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本申请，在附图和说明中仅仅描述了与根据本申请的方案密切相关的装置结构和/或处理步骤，而省略了对与本申请关系不大的、本领域普通技术人员已知的部件和处理的表示和描述。

下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请，但不用来限制本申请的范围。

本领域技术人员可以理解，本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

图1为本申请实施例提供的一种图像采集控制方法的流程图。本申请实施例提供的图像采集控制方法的执行主体可为某一图像采集控制装置。所述图像采集控制装置的设备表现形式不受限制，例如所述图像采集控制装置可为某一独立的部件；或者，所述图像采集控制装置可作为某一功能模块集成在一成像设备中，所述成像设备可包括但不限于相机、摄像机、手机、平板电脑、具有拍照或摄像功能的电子设备等，本申请实施例对此并不限制。具体如图1所示，本申请实施例提供的一种图像采集控制方法包括：

S101：使至少一图像传感单元相对各自的初始法线倾斜，以改变所述至少一图像传感单元各自的有效区域内沿二个方向分布的像素比；所述有效区域为经一成像系统中与所述图像传感单元对应的透镜的光线在所述图像传感单元成像的区域；所述二个方向包括分别与所述初始法线垂直且相互正交的第一方向和第二方向；所述图像传感单元包括阵列分布的多个像素，所述多个像素用于记录待摄场景相同对象多方向的视角信息。

S102：经所述成像系统采集所述待摄场景的图像。

本申请实施例中所述图像传感单元的初始法线为所述图像传感单元处于未倾斜状态时的法线方向，通常，透镜和图像传感单元对应设置，所述图像传感单元的初始法线与所述透镜的光轴平行，所述初始法线和所述光轴平行水平面。

所述图像传感单元包括阵列分布的多个像素，经所述透镜的光线(所述光线可来自但不限于待摄场景的某一对象或某一对象的实像或虚像)在所述图像传感单元成像的区域通常为圆形，所述图像传感单元位于该圆形区域内的各像素记录了这些光线对应的多方向视角等信息，而所述图像传感单元位于该圆形区域之外的各像素则没有实际记录光线信息，因此，本申请将经透镜的光线在相应图像传感单元成像的区域(如上述圆形区域)称为该图像传感单元的有效区域，所述图像传感单元除所述有效区域之外的其他区域为无效区域。

本申请发明人在实践本申请实施例过程中发现，通常，所述图像传感单元的有效区域为圆形区域，所述图像传感单元在所述有效区域内不同方向分布的像素数量相等，所述有效区域内沿不同方向分布的像素数量的比值(即像素比)为1，如所述有效区域内沿分别与所述初始法线垂直且相互正交的二方向(第一方向和第二方向)分布的像素数量相等、像素比等于1，所述有效区域为所述二方向的视差信息记录提供了相同比重的像素数量，所述有效区域采集到视角信息中所述二方向的信息量比重相等。

然而，在某些情形下，如在多视角信息图像生成、3D重构等情形下，不同方向的视角信息对实际应用而言具有不同的意义和/或作用。例如，在利用所述成像系统采集到的图像信息生成多视角信息图像的场景中，可能对某一方向的视角信息较为关注，期望生成较多幅该方向的不同视角图像，而对于该方向垂直方向的视角信息关注较弱。又例如，在利用所述成像系统采集到的图像信息进行3D重构的场景中，由于人眼对水平方向的视角较为敏感，期望得到较丰富的水平方向的不同视差的图像以重构3D场景，而对垂直方向的视角较不敏感，等等。采用传统的方式进行图像采集，可获得不同方向相同比重的视角信息，该采集方式未能充分利用图像传感单元的像素资源来满足对不同方向的视角信息比重的差异化需求。

为此，本申请实施例提供了相应的解决方案，具体的，可使至少一图像传感单元相对各自的初始法线倾斜，以改变所述至少一图像传感单元各自的有效区域内沿二个方向分布的像素比，也就是说，图像传感单元倾斜后其有效区域沿所述二个方向分布的像素数量不同，像素比不等于1，这样，经图像传感单元倾斜后的成像系统进行待摄场景的图像采集，可改变所述图像传感单元在所述第一方向和所述第二方向实际记录的视差信息的比重，实现不同方向视角信息的差异化采集。

如图2a-图2c所示，经透镜的光线在传输过程中形成类似圆锥体的包络空间，所述圆锥体的顶点可为待摄场景的某一对象或某一对象的实像或虚像；经透镜的光线到达图像传感单元成像的区域(有效区域)，可以看作是图像传感单元在该圆锥体截的一个切面。

在所述图像传感单元处于未倾斜状态时，如图2a所示，图像传感单元垂直其初始法线，所述初始法线与透镜的光轴平行，经所述透镜的光线在所述图像传感单元成像的区域为圆形，即所述图像传感单元的有效区域的形状为圆形，所述有效区域内沿所述第一方向和所述第二方向分布的像素比等于1。

在所述图像传感单元相对其初始法线倾斜一角度后，如图2b或图2c所示，图像传感单元在该圆锥体截的一个切面的形状发生了变化，也就是说经透镜的光线到达图像传感单元成像的区域(有效区域)的形状发生了变化，所述有效区域的形状由圆形变为了椭圆形，形状改变后的所述有效区域内沿所述第一方向和所述第二方向的像素数量发生了改变。

形状改变后的所述有效区域的像素分布特点，与所述图像传感相对其初始法线倾斜的方式和角度有关，所述图像传感单元的倾斜的方式和角度可灵活控制，以使形状改变后的所述有效区域二个方向分布的像素比满足实际应用需求。例如，可使所述至少一图像传感单元各自相对所述第一方向倾斜一角度，以改变相应所述有效区域的形状，由此增加相应所述有效区域沿所述第一方向分布的像素数量，或者，可使所述至少一图像传感单元各自相对所述第一方向倾斜一角度，以改变相应所述有效区域的形状，由此增加相应所述有效区域沿所述第二方向分布的像素数量，等等。下面举例说明图像传感单元相对其初始法线倾斜而可能产生的有效区域的像素分布特点。

一种可选的情形，形状改变后的所述有效区域内沿所述第一方向分布的像素数量增加、而沿所述第二方向分布的像素数量不变，由此改变了所述有效区域内沿二个方向分布的像素比。该情形可增加所述第一方向的视觉信息采集量，实现所述二个方向的视觉信息的差异化采集。此外，所述图像传感单元包括多个阵列分布的像素，通常，所述有效区域包括了所述图像传感单元的部分像素，也就是说，所述图像传感单元分布在所述有效区域之外的无效区域的像素在图像采集过程中没有实际记录光线信息，由此使得所述图像传感单元的像素未得到充分的利用，而该情形可使形状改变后的所述有效区域可增加在所述第一方向分布的像素，减少了所述图像传感单元的无效像素比重，由此提高了所述图像传感单元像素的实际利用率。

另一种可选的情形是形状改变后的所述有效区域内沿所述第一方向分布的像素数量不变、而沿所述第二方向分布的像素数量减小，由此改变了所述有效区域内沿二个方向分布的像素比。该情形可减少所述第二方向的视觉信息采集量，实现所述二个方向的视觉信息的差异化采集，减少所述第二方向的视觉信息的输出和处理数据量，在如对第二方向的视觉信息关注或需求度较低等场景中，该情形可节省处理所述第二方向的视觉信息所需的资源，提高资源的实际利用率。

再一种可选的情形是形状改变后的所述有效区域内沿所述第一方向分布的像素数量增加、而沿所述第二方向分布的像素数量减小，由此改变了所述有效区域内沿二个方向分布的像素比。该情形可结合上述两种情形的优势，提高资源的实际利用率。

可选的情形还可包括，形状改变后的所述有效区域内沿二个方向分布的像素数量都增加但增加数量不同而导致二个方向分布的像素比发生改变，或者，可选的情形还可包括，形状改变后的所述有效区域内沿二个方向分布的像素数量都减小但增加数量不同而导致二个方向分布的像素比发生改变，等等，由此通过像素比的改变实现二个方向的视觉信息的差异性采集。

本申请实施例提供的技术方案中，所述第一方向和所述第二方向满足分别垂直所述初始法线且相互正交的关系下灵活确定，本申请对此并不限制。可选的，如图3所示，所述第一方向为垂直所述初始法线的水平方向，所述第二方向为分别与所述初始法线和所述第一方向垂直的方向。研究表明，人眼(左眼和右眼)呈水平分布，这一定程度上造成人眼视觉对水平方向的视角信息较为敏感、而对垂直方向的视角信息较不敏感，这使得在图像采集过程中水平方向和垂直方向的视觉信息对如在3D重构等场景应用中对人眼视觉影响不同，对水平方向的视觉信息的关注度或需求量，比对垂直方向的视觉信息的关注度或需求量来得到大，而采用如图3所示的方式确定所述第一方向和所述第二方向，可实现图像传感单元不同方向视觉信息的差异化采集，在图像传感单元采集的图像信息中增加第一方向(水平方向)视觉信息的比重，和/或，在图像传感单元采集的图像信息中减少第二方向(垂直方向)视觉信息的比重，形状改变后的所述有效区域为长轴平行于所述第一方向的椭圆形(可选示例如图4所示)，由此提高资源的实际利用效率，更好满足多样化的实际应用需求。

本申请实施例提供的技术方案中，将图像传感单元相对其初始法线倾斜，可改变图像传感单元的有效区域的形状和大小，而有效区域实际改变的像素数量和图像传感单元的像素数量及相对位置有关。可选的，经所述成像系统采集所述待摄场景的图像之前，还包括：使所述至少一图像传感单元绕各自的所述初始法线旋转，以增加所述有效区域沿所述第一方向允许改变的像素数量的最大值。例如，如图5所示，可将图像传感单元绕其初始法线旋转45度，使得旋转后的图像传感单元相对图像传感单元旋转之前，所述有效区域沿所述第一方向允许改变的像素数量的最大值增加了，相当于增加了所述有效区域沿所述第一方向可变的最大边界，有利于在图像传感单元的现有像素中用更多的像素采集所述第一方向的视觉信息，增加图像传感单元所采集图像的信息中所述第一方向视觉信息的比重，实现不同方向差异化的视觉信息采集，尽可能提高资源的实际利用率。需要说明的是，旋转图像传感单元的操作，可在倾斜图像传感单元之前进行，也可在倾斜图像传感单元之后进行，实现方式非常灵活，本申请实施例对此并不限制。

本申请实施例提供的技术方案可应用的成像系统，具有采用多个像素记录待摄场景相同对象不同方向的视觉信息特点。

可选的，所述成像系统包括一相机阵列，如图6所示，所述相机阵列包括阵列分布的多个相机，所述相机包括依次设置的所述透镜和所述图像传感单元。每个相机的图像传感单元包括的阵列分布的多个像素，用于记录待摄场景相同对象的不同方向的视觉信息。不同相机的图像传感单元对应的待摄场景的对象可能不同。所述相机阵列中可对一个或多个相机的图像传感单元进行倾斜调整，以实现各相应图像传感单元对相应对象不同方向的视觉信息的差异化采集，由此满足多样化的实际应用需求。

可选的，所述成像系统可包括一光场相机，如图7所示，所述光场相机包括依次设置的一主透镜、一子透镜阵列和一图像传感器，所述子透镜阵列包括阵列分布的多个所述透镜，所述图像传感器包括阵列分布的多个所述图像传感单元。所述子透镜阵列中的透镜与所述图像传感器中的图像传感单元对应设置，每个图像传感单元包括的阵列分布的多个像素，用于记录待摄场景相同对象的不同方向的视觉信息。不同图像传感单元对应的待摄场景的对象可能不同。所述光场相机中可对图像传感的一个或多个图像传感单元进行倾斜调整，以实现各相应图像传感单元对相应对象不同方向的视觉信息的差异化采集，由此满足多样化的实际应用需求。

在存在对多个图像传感单元进行倾斜控制的情形下，所述成像系统中至少二个所述图像传感单元相对所述第一方向的倾斜方向和/或倾斜角度相同或不同。具体而言：倾斜方向方面，所述成像系统中至少二个所述图像传感单元相对所述第一方向的倾斜方向相同，或者，所述成像系统中至少二个所述图像传感单元相对所述第一方向的倾斜方向不同；倾斜角度方面，所述成像系统中至少二个所述图像传感单元相对所述第一方向的倾斜角度相同，或者，所述成像系统中至少二个所述图像传感单元相对所述第一方向的倾斜角度不同；倾斜方向和倾斜角度等方面也可结合进行考虑，以实现光学系统灵活的控制，更好满足多样化的实际应用需求。

可选的，所述成像系统中至少二个所述图像传感单元相对所述第一方向的倾斜方向和倾斜角度均相同。例如，如图8a所示，光场相机中，可将图像传感器的多个图像传感单元相对所述第一方向的相同方向倾斜相同角度。该方案控制简单易实现，有利于对至少二个所述图像传感单元的不同方向的差异化视觉信息采集实现统一控制。

可选的，所述成像系统中至少二个相邻的所述图像传感单元相对所述第一方向的倾斜方向相反且倾斜角度相同。例如，如图8b所示，光场相机中，可将图像传感器中二个相邻的图像传感单元为一组，将该组中二个相邻的图像传感单元相对所述第一方向的相反方向倾斜相同角度，如将二个相邻的图像传感单元A和B中，其中一个图像传感单元A以其中心为支点相对所述第一方向以顺时针方向倾斜一角度、另一个图像传感单元B以其中心为支点相对所述第一方向以逆时针方向倾斜相同角度，倾斜后各图像传感单元的有效区域的形状由原来的圆形改变为椭圆形，所述椭圆形的中心与所述圆形的中心并不重合，而是存在一定的偏移，所述椭圆形相对所述圆形的中心是偏心分布的，故从单个图像传感单元来看，所述椭圆形的有效区域内沿第一方向在所述圆形的中心的一侧的像素数量和在所述圆形中的另一侧的像素数量不等，这使得采集到的第一方向不同视角的图像信息的分辨率存在差异。二个相邻的图像传感单元对应的待摄场景的对象差距不大，该方案将至少二个相邻的图像传感单元以对称的方式进行倾斜，使得二个相邻的图像传感单元改变后的椭圆形的有效区域呈对称的偏心分布，由此从二个相邻的图像传感单元的整体来看，二个有效区域内沿第一方向分布的像素尽可能均匀，由此对所述第一方向不同视角信息的分辨率进行相互补充，有利于获得较为均衡的所述第一方向不同视角信息的分辨率。

在对所述至少一图像传感单元进行倾斜控制的情形下，是以图像传感单元为粒度，使各所述图像传感单元的倾斜控制是相对其各自的初始法线倾斜，并非以图像传感器为粒度而控制图像传感器整体倾斜。如此处理的好处在于，提高控制的灵活性，在对具有一定深度分布的待摄场景进行图像采集时，使各所述图像传感单元的倾斜控制是相对其各自的初始法线倾斜，有利于使得不同图像传感单元各自采集到的光场信息的景深范围重叠范围存在一定程度的重叠。不妨结合光场相机的一种可选的结构为例进行说明，如图8c所示，光场相机的光路图可以等效为各子透镜对主透镜所成的实像或虚像在子透镜阵列的透镜对应的图像传感单元上进行成像，因此在图像传感单元上不同位置的像素点可以存储场景中不同深度对象的光场信息。假设在成像区域上像素点位置到透镜光轴的距离为d，则对应于场景中不同深度的对象在图像传感器成像的弥散圆半径为：

$d=\frac{A{\mathrm{fu}}_f}{u_f-f}(\frac{1}{u_f}-\frac{1}{u})...\left(1\right)$

上式中，A为透镜的半径，f为透镜的焦距，u_f为透镜对焦平面到透镜中心的距离，u为实像或虚像到透镜中心的距离(实像为正值，虚像为负值)。

主透镜的成像公式：

$\frac{1}{F}=\frac{1}{U}+\frac{1}{V}=\frac{1}{U}+\frac{1}{L-u}...\left(2\right)$

其中：U为待摄场景的实际对象到主透镜的物距，也就是基于光场图像可获取的某一重对焦图像的重对焦点所在平面(重对焦平面)到主透镜的距离；F为主透镜焦距，L为主透镜光心到透镜光心的距离。

单个透镜的成像公式：

$\frac{1}{f}=\frac{1}{u_f}+\frac{1}{v}...\left(3\right)$

其中，v为图像传感单元中与该透镜对应的有效区域的某像素点到该透镜的距离。

根据公式(1)、(2)和(3)，可得：

$\frac{1}{U}=\frac{1}{F}+\frac{1}{\frac{1}{\frac{1}{f}-\frac{1}{v}(1+\frac{d}{A})}-L}...\left(4\right)$

可见，当光场相机的光学参数确定之后，U和d之间存在一定的对应关系，不同物距(即不同深度)的物点的光场信息可通过一透镜对应的一有效区域内弥散圆半径为d的子成像区域内的各像素记录。如果将图像传感器整体相对其初始法线进行倾斜，则不同像素与相应透镜之间的距离v差异较大，导致不同图像传感单元各自采集到的光场信息的景深范围重叠范围过小甚至不重叠，由此可能影响后期对采集到的光场信息进行重对焦图像生成等应用。本申请实施例提供的技术方案中，使所述至少一图像传感单元中各所述图像传感单元的倾斜控制是相对其各自的初始法线倾斜，控制灵活，还有利于避免图像传感器上不同像素与子透镜阵列平面的距离差异过大，使得不同图像传感单元各自采集到的光场信息的景深范围存在一定程度的重叠，进而有利于后期对采集到的光场信息进行重对焦图像生成等应用。

结合本申请实施例提供的任一种图像采集控制方法，可选的，经所述成像系统采集所述待摄场景的图像之前，还包括：沿所述初始法线平移所述图像传感单元，以增大经相应的所述透镜的光线在所述图像传感单元成像的有效区域。将所述图像传感单元沿所述初始法线移动，会改变经与所述图像传感单元相应的透镜的光线在图像传感单元上成像的有效区域的大小，例如，沿所述初始法线将所述图像传感单元向增加所述图像传感单元与相应的透镜之间的距离的方向平移，也即沿所述初始法线将所述图像传感单元向远离所述透镜的方向平移，则增大经所述透镜的光线在图像传感单元上的成像的有效区域。由于该方案通过沿所述初始法线平移所述图像传感单元，来增大经相应的所述透镜的光线在所述图像传感单元成像的有效区域，使得所述有效区域内沿所述第一方向和所述第二方向分布的像素比的最大可变范围也相应增加，由此增加了调整上述二个方向分布的像素比的灵活度，增加方案的普适性，更好满足多样化的实际应用需求。可以理解，沿所述初始法线平移所述图像传感单元的操作，可在倾斜和/或旋转所述图像传感单元的操作之前或之后进行，实现方式非常灵活。此外，所述图像传感单元沿所述初始法线平移可能导致所述成像系统进行图像采集时的对焦状态发生变化，该情形下可根据实际需要确定是否需要进行对焦补偿。例如，如果需要进行对焦补偿，可采用但不限于调整所述透镜的焦距等方式，使得调整后的对焦位置尽可能接近甚至重合于调整前的对焦位置或者使得调整后的对焦位置落入所述成像系统调整前允许的重对焦范围；在某些情形下，如对焦位置的调整对图像采集影响不大或者调整后的对焦位置仍落入所述成像系统调整前允许的重对焦范围等，则也可无需进行对焦补偿。

进一步，结合本申请实施例提供的任一种图像采集控制方法，可选的，所述使至少一图像传感单元相对各自的初始法线倾斜之前，还包括：确定所述第一方向。确定了所述第一方向之后，根据所述第一方向和所述第二方向的相互关系，也就确定了所述第二方向，在所述第一方向和所述第二方向上实现差异化的视角信息采集。该方案可根据实际需求确定待差异化视角信息采集的方向，实现方式灵活，可满足多样化的实际应用需求。

可选的，确定所述第一方向，包括：根据所述成像系统的图像采集模式，确定所述第一方向。采用不同的图像采集模式对应的图像采集信息的扫描输出方式可能存在差异，为了便于扫描输出差异化的视角信息采集，可至少根据所述成像系统的图像采集模式，确定所述第一方向。例如，所述图像采集模式可包括但不限于横拍模式和竖拍模式，如相机等图像采集装置处于横拍模式时，与对人眼较为敏感的水平方向所对应的图像传感单元的相对方向，与相机处于竖拍模式是对人眼较为敏感的水平方向所对应的图像传感单元的相对方向不同，可根据图像采集模式和参考方向的映射关系，确定与所述成像系统的图像采集模式对应的参考方向为所述第一方向。该方案使得所述第一方向的确定与图像采集模式适配。如图9a和图9b所示，可预先确定横拍模式对应的参考方向平行图像传感单元的初始行方向(所述初始行方向为未倾斜的图像传感单元自身的像素行方向)，竖拍模式对应的参考方向平行图像传感单元的初始列方向(所述初始行方向为未倾斜的图像传感单元自身的像素列方向)，之后，在倾斜图像传感单元之前，可根据相机当前的图像采集模式确定与此对应的参考方向为所述第一方向，该方案结合图像传感单元在不同图像采集模式下其位置的变化确定所述第一方向，使得所述第一方向的确定更具针对性，获得如水平和垂直方向等二个不同方向的视角信息的差异化采集。

可选的，确定所述第一方向，包括：根据所述待摄场景的图像分析结果，确定所述第一方向。自然界中，所述待摄场景的对象分布通常呈现一定的规律，例如，在重力作用下，待摄场景(如“山”)可能出现下大上小等的分布规律，该分布规律有助于确定水平方向和垂直方向，以此作为所述第一方向的确定依据，实现如水平方向和垂直方向等二个方向视角信息的差异化采集。

本领域技术人员可以理解，在本申请具体实施方式的上述任一方法中，各步骤的序号大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请具体实施方式的实施过程构成任何限定。

图10为本申请实施例提供的第一种图像采集控制装置的逻辑框图。如图10所示，本申请实施例提供的第一种图像采集控制装置包括：一倾斜控制模块101和一图像采集模块102。

倾斜控制模块101用于使至少一图像传感单元相对各自的初始法线倾斜，以改变所述至少一图像传感单元各自的有效区域内沿二个方向分布的像素比；所述有效区域为经一成像系统中与所述图像传感单元对应的透镜的光线在所述图像传感单元成像的区域；所述二个方向包括分别与所述初始法线垂直且相互正交的第一方向和第二方向；所述图像传感单元包括阵列分布的多个像素，所述多个像素用于记录待摄场景相同对象多方向的视角信息。

图像采集模块102用于经所述成像系统采集所述待摄场景的图像。

本申请实施例提供的技术方案，可使至少一图像传感单元相对各自的初始法线倾斜，以改变所述至少一图像传感单元各自的有效区域内沿二个方向分布的像素比，也就是说，图像传感单元倾斜后其有效区域沿所述二个方向分布的像素数量不同，像素比不等于1，这样，经图像传感单元倾斜后的成像系统进行待摄场景的图像采集，可改变所述图像传感单元在所述第一方向和所述第二方向实际记录的视差信息的比重，实现不同方向视角信息的差异化采集。

所述图像采集控制装置的设备表现形式不受限制，例如所述图像采集控制装置可为某一独立的部件；或者，所述图像采集控制装置可作为某一功能模块集成在一成像设备中，所述成像设备可包括但不限于相机、摄像机、手机、平板电脑、具有拍照或摄像功能的电子设备等，本申请实施例对此并不限制。

所述第一方向和所述第二方向满足分别垂直所述初始法线且相互正交的关系下灵活确定，本申请对此并不限制。可选的，所述第一方向为垂直所述初始法线的水平方向。该方案可实现图像传感单元不同方向视觉信息的差异化采集，在图像传感单元采集的图像信息中增加第一方向(水平方向)视觉信息的比重，和/或，在图像传感单元采集的图像信息中减少第二方向(垂直方向)视觉信息的比重，形状改变后的所述有效区域为长轴平行于所述第一方向的椭圆形，由此提高资源的实际利用效率，更好满足多样化的实际应用需求。

可选的，如图11所示，所述图像采集控制装置还包括：一旋转控制模块103。旋转控制模块103用于使所述至少一图像传感单元绕各自的所述初始法线旋转，以增加所述有效区域沿所述第一方向允许改变的像素数量的最大值。采用该方案可实现不同方向差异化的视觉信息采集，尽可能提高资源的实际利用率。

可选的，所述倾斜控制模块101包括：一倾斜控制子模块1011。倾斜控制子模块1011用于使所述至少一图像传感单元各自相对所述第一方向倾斜一角度，以改变相应所述有效区域的形状，由此增加相应所述有效区域沿所述第一方向分布的像素数量，改变沿所述第一方向和所述第二方向分布的像素比，提高所述第一方向的视角信息的采集比重。

可选的，所述图像采集控制装置还包括：一平移控制模块105。平移控制模块105用于沿所述初始法线平移所述图像传感单元，以增大经相应的所述透镜的光线在所述图像传感单元成像的有效区域。该方案可使得所述有效区域内沿所述第一方向和所述第二方向分布的像素比的最大可变范围也相应增加，由此增加了调整上述二个方向分布的像素比的灵活度，增加方案的普适性，更好满足多样化的实际应用需求。

可选的，如图6所示，所述成像系统包括一相机阵列，所述相机阵列包括阵列分布的多个相机，所述相机包括依次设置的所述透镜和所述图像传感单元。所述相机阵列中可对一个或多个相机的图像传感单元进行倾斜调整，以实现各相应图像传感单元对相应对象不同方向的视觉信息的差异化采集，由此满足多样化的实际应用需求。

可选的，如图7所示，所述成像系统包括一光场相机，所述光场相机包括依次设置的一主透镜、一子透镜阵列和一图像传感器，所述子透镜阵列包括阵列分布的多个所述透镜，所述图像传感器包括阵列分布的多个所述图像传感单元。所述光场相机中可对图像传感的一个或多个图像传感单元进行倾斜调整，以实现各相应图像传感单元对相应对象不同方向的视觉信息的差异化采集，由此满足多样化的实际应用需求。

可选的，所述成像系统中至少二个所述图像传感单元相对所述第一方向的倾斜方向和/或倾斜角度相同或不同。该方案可单独或结合考虑倾斜方向和倾斜角度等方面，以实现光学系统灵活的控制，更好满足多样化的实际应用需求。

可选的，所述成像系统中至少二个所述图像传感单元相对所述第一方向的倾斜方向和倾斜角度均相同。该方案控制简单易实现，有利于对至少二个所述图像传感单元的不同方向的差异化视觉信息采集实现统一控制。

可选的，所述成像系统中至少二个相邻的所述图像传感单元相对所述第一方向的倾斜方向相反且倾斜角度相同。该方案将至少二个相邻的图像传感单元以对称的方式进行倾斜，使得二个相邻的图像传感单元改变后的椭圆形的有效区域呈对称的偏心分布，由此从二个相邻的图像传感单元的整体来看，二个有效区域内沿第一方向分布的像素尽可能均匀，由此对所述第一方向不同视角信息的分辨率进行相互补充，有利于获得较为均衡的所述第一方向不同视角信息的分辨率。

可选的，所述图像采集控制装置还包括：一方向确定模块104。方向确定模块104用于确定所述第一方向，并根据确定结果使能所述倾斜控制模块101。该方案可根据实际需求确定待差异化视角信息采集的方向，实现方式灵活，可满足多样化的实际应用需求。

可选的，所述方向确定模块104包括：一模式方向确定子模块1041。模式方向确定子模块1041用于根据所述成像系统的图像采集模式，确定所述第一方向。该方案结合图像传感单元在不同图像采集模式下其位置的变化确定所述第一方向，使得所述第一方向的确定更具针对性，获得如水平和垂直方向等二个不同方向的视角信息的差异化采集。进一步，可选的，所述模式方向确定子模块1041包括：一方向确定单元10411。方向确定单元10411用于根据图像采集模式和参考方向的映射关系，确定与所述成像系统的图像采集模式对应的参考方向为所述第一方向。该方案简单易实现。

可选的，所述方向确定模块104包括：一场景方向确定子模块1042。场景方向确定子模块1042用于根据所述待摄场景的图像分析结果，确定所述第一方向。该方案可通过图像分析手段确定待摄场景的对象分布规律，并以此作为所述第一方向的确定依据，实现如水平方向和垂直方向等二个方向视角信息的差异化采集。

图12为本申请实施例提供的第三种图像采集控制装置的结构示意图，本申请具体实施例并不对图像采集控制装置1200的具体实现方式做限定。如图12所示，图像采集控制装置1200可以包括：

处理器(Processor)1210、通信接口(Communications Interface)1220、存储器(Memory)1230、以及通信总线1240。其中：

处理器1210、通信接口1220、以及存储器1230通过通信总线1240完成相互间的通信。

通信接口1220，用于与比如可变形的图像传感器等通信。

处理器1210，用于执行程序1232，具体可以执行上述任一方法实施例中的相关步骤。

例如，程序1232可以包括程序代码，所述程序代码包括计算机操作指令。

处理器1210可能是一个中央处理器(Central Processing Unit，简称CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。

存储器1230，用于存放程序1232。存储器1230可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(Non-volatile memory)，例如至少一个磁盘存储器。

例如，在一种可选的实现方式中，处理器1210通过执行程序1232可执行以下步骤：使至少一图像传感单元相对各自的初始法线倾斜，以改变所述至少一图像传感单元各自的有效区域内沿二个方向分布的像素比；所述有效区域为经一成像系统中与所述图像传感单元对应的透镜的光线在所述图像传感单元成像的区域；所述二个方向包括分别与所述初始法线垂直且相互正交的第一方向和第二方向；所述图像传感单元包括阵列分布的多个像素，所述多个像素用于记录待摄场景相同对象多方向的视角信息；经所述成像系统采集所述待摄场景的图像。在其他可选的实现方式中，处理器1210通过执行程序1232还可执行上述其他任一实施例提及的步骤，在此不再赘述。

程序1232中各步骤的具体实现可以参见上述实施例中的相应步骤、模块、子模块、单元中对应的描述，在此不再赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

在本申请上述各实施例中，实施例的序号和/或先后顺序仅仅便于描述，不代表实施例的优劣。对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。有关装置、设备或系统实施例的实施原理或过程的相关描述，可参见相应方法实施例的记载，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请的装置、方法、系统等实施例中，显然，各部件(系统、子系统、模块、子模块、单元、子单元等)或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本申请的等效方案。同时，在上面对本申请具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

最后应说明的是：以上实施方式仅用于说明本申请，而并非对本申请的限制，有关技术领域的普通技术人员，在不脱离本申请的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请的范畴，本申请的专利保护范围应由权利要求限定。

Claims (10)

1.一种图像采集控制方法，其特征在于，包括：

使至少一图像传感单元相对各自的初始法线倾斜，以改变所述至少一图像传感单元各自的有效区域内沿二个方向分布的像素比；所述有效区域为经一成像系统中与所述图像传感单元对应的透镜的光线在所述图像传感单元成像的区域；所述二个方向包括分别与所述初始法线垂直且相互正交的第一方向和第二方向；所述图像传感单元包括阵列分布的多个像素，所述多个像素用于记录待摄场景相同对象多方向的视角信息；

经所述成像系统采集所述待摄场景的图像。

2.根据权利要求1所述的方法，其特征在于，所述成像系统包括一光场相机，所述光场相机包括依次设置的一主透镜、一子透镜阵列和一图像传感器，所述子透镜阵列包括阵列分布的多个所述透镜，所述图像传感器包括阵列分布的多个所述图像传感单元。

3.根据权利要求1所述的方法，其特征在于，所述成像系统包括一相机阵列，所述相机阵列包括阵列分布的多个相机，所述相机包括依次设置的所述透镜和所述图像传感单元。

4.根据权利要求1-3任一所述的方法，其特征在于，所述第一方向为垂直所述初始法线的水平方向。

5.根据权利要求1-4任一所述的方法，其特征在于，经所述成像系统采集所述待摄场景的图像之前，还包括：

使所述至少一图像传感单元绕各自的所述初始法线旋转，以增加所述有效区域沿所述第一方向允许改变的像素数量的最大值。

6.一种图像采集控制装置，其特征在于，包括：

一倾斜控制模块，用于使至少一图像传感单元相对各自的初始法线倾斜，以改变所述至少一图像传感单元各自的有效区域内沿二个方向分布的像素比；所述有效区域为经一成像系统中与所述图像传感单元对应的透镜的光线在所述图像传感单元成像的区域；所述二个方向包括分别与所述初始法线垂直且相互正交的第一方向和第二方向；所述图像传感单元包括阵列分布的多个像素，所述多个像素用于记录待摄场景相同对象多方向的视角信息；

一图像采集模块，用于经所述成像系统采集所述待摄场景的图像。

7.根据权利要求6所述的装置，其特征在于，所述成像系统包括一光场相机，所述光场相机包括依次设置的一主透镜、一子透镜阵列和一图像传感器，所述子透镜阵列包括阵列分布的多个所述透镜，所述图像传感器包括阵列分布的多个所述图像传感单元。

8.根据权利要求6所述的装置，其特征在于，所述成像系统包括一相机阵列，所述相机阵列包括阵列分布的多个相机，所述相机包括依次设置的所述透镜和所述图像传感单元。

9.根据权利要求6-8任一所述的装置，其特征在于，所述第一方向为垂直所述初始法线的水平方向。

10.根据权利要求6-9任一所述的装置，其特征在于，还包括：

一旋转控制模块，用于使所述至少一图像传感单元绕各自的所述初始法线旋转，以增加所述有效区域沿所述第一方向允许改变的像素数量的最大值。