CN105323454B - 多相机图像撷取系统与图像重组补偿方法 - Google Patents

Abstract

本公开提供一种多相机图像撷取系统与图像重组补偿方法，多相机图像撷取系统主要元件有由多镜头模块与多传感器模块组成的图像撷取模块，以及自动调整多镜头模块与多传感器模块的间距的间距调整单元，间距调整单元用于补偿多相机图像撷取系统的焦距因为温度产生的改变。多相机图像撷取系统还设有感测多镜头模块与多传感器模块之间的位移或间距变化的位置感测模块，系统将根据此位移或间距变化提供对应的图像重组参数。

Description

多相机图像撷取系统与图像重组补偿方法

技术领域

本发明涉及一种多相机图像撷取系统与图像重组补偿方法，特别涉及根据系统内多镜头模块与多传感器模块间位移或间距变化产生图像重组参数的多相机图像撷取系统与图像重组补偿方法。

背景技术

图1示意显示为现有技术中的阵列式相机，阵列式相机由多个相机组成，每个相机为一个镜头与一个对应的图像传感器的组成，阵列式相机即包括多镜头模块与多传感器模块。此类阵列式相机设有如图中显示阵列形式排列的镜头101，下方设有对应各镜头101的多个阵列排列的图像传感器(图未示)，以及外部承载机构10。

从图1显示的多镜头模块可知，各个镜头101之间有一定的间距，因此拍摄同一个场景时，多个相机取得多个图像，场景可具有至少一个景物，同一景物于多个感测图像中存在着视差，将通过后端软件或硬件执行重组多个图像，获得融合图像，重组图像时会利用到校正多个景物成像位置与成像范围的重组参数，使得融合图像具有正确而更良好的图像品质，此外此类相机可以具有更小的体积。

在相机对焦系统的领域中，镜头与图像传感器之间具有一个可以清楚成像的间距，根据光学成像公式(1/u+1/v＝1/f)，其中物距(u)为镜头与景物的距离，像距(v)为镜头与成像位置的距离，公式表示焦距(f)的倒数等于物距的倒数加上像距的倒数。在一般情况下，物距相对于像距为极大，根据成像公式，像距因此近似焦距。

对焦正确的相机可以取得清楚成像的相片，也就是在适当的像距上呈现清楚的图像。然而，镜头可能因为外在因素造成焦距产生变化。比如温度变化对镜头热胀冷缩的效应产生了变化，或是温度改变对镜头产生折射率的变化等，镜头焦距因此产生改变，使得成像有误差。于是现有技术提出一些温度补偿的技术，应用在相机中，可以补偿相机的焦距因为温度所产生的变化，根据焦距与像距的关系，因此通过修正像距让通过镜头的图像仍可以清楚成像于图像传感器上。

此温度补偿的机制包括一种可以随着温度改变而有外观形态变化的物体。若是相机载有此物体，通过机构的设计，可以藉此物体补偿因为温度改变而产生镜头与图像传感器焦距变化的问题。

此类物体材料有随着热而变化外观形态的特性，比如因为温度上升产生外观曲线改变，又因为温度下降而产生反方向曲线改变，因此可以藉此特性带动机构，作为修正镜头与图像传感器的间距的机制。

举例来说，此具有温度补偿特性的物体如以复合材料置做的装置，其中有至少两种材料，两种材料因为温度改变而有不同的热胀冷缩效应，因此材料产生一个方向的曲度，藉此可以作为一种补偿机构。

现有技术中采用温度补偿机构的镜头模块应用中，在镜筒外且连接于所述镜筒与镜座之间设有多个可以随着温度变化而弯曲的补偿片，藉此可以带动镜筒沿光轴方向移动，使镜头模块的成像面保持在预定平面。此为一种利用材料特性而补偿温度所造成改变的技术之一。

发明内容

为了提供一种解决在阵列式相机内针对图像撷取模块因焦距改变造成景物于图像传感器上的成像位置改变的问题，本专利申请公开一种多相机图像撷取系统与图像重组补偿方法，能够根据镜头模块位移的距离或与图像传感器之间的位移或间距而提供对应的图像重组参数。

阵列式相机内的图像撷取模块焦距改变，主因包括因温度改变使得镜头折射率变化，或因镜头热胀冷缩效应而影响焦距改变，现有方案中已提出了补偿此温度造成对焦失误的问题，补偿即造成镜头模块位移，影响阵列式相机中多传感器模块与多镜头模块间的间距(关联到镜头成像的像距)。但此焦距与像距一旦改变也随之造成景物于图像传感器中的成像位置或是成像范围产生改变，因此若沿用阵列式相机原本的重组参数，将无法正确地重组图像，于是本专利申请提供的图像重组补偿方法即提供对应镜头模块位移或间距的图像重组参数，提供阵列式相机的图像重组之用。

本专利申请所公开的多相机图像撷取系统为了实现因为焦距补偿而修正重组参数的目的，其中主要元件为图像撷取模块，设有多镜头模块与多传感器模块，其中多镜头模块由多个镜头排列组成，多传感器模块由多个图像传感器排列组成，多个图像传感器的位置是一对一对应到多个镜头的排列位置。系统还设有一间距调整单元，是为针对温度影响造成焦距改变的一温度补偿机构，比如温度变化产生镜头的折射率变化或热涨冷缩而改变了焦距，因应此变化，间距调整单元即用以调整多镜头模块与多传感器模块的间距；系统再包括一位置感测模块，用以感测多镜头模块与多传感器模块之间的位移或间距变化，因此系统能根据位置感测模块所感测到多镜头模块与多传感器模块的位移或间距变化而对应产生一组图像重组参数，以进行重组图像。

在多相机图像撷取系统的图像重组补偿方法的实施例之一，方法包括取得多相机图像撷取系统中多镜头模块与多传感器模块之间的位移或间距改变，当中若侦测到位移或间距改变，比如补偿因为温度改变造成焦距改变所调整的间距，即取得一组图像重组参数，用以进行图像重组。在一实施例中，系统提供一查找表，查找表记载多镜头模块与多传感器模块之间的位移或间距与图像重组参数的对应关系，可以据此取得某位移或间距所对应到的图像重组参数。

为了能更进一步了解本发明为实现既定目的所采取的技术、方法及功效，请参阅以下有关本发明的详细说明、附图，相信本发明的目的、特征与特点，当可由此得以深入且具体的了解，然而说明书与附图仅提供参考与说明用，并非用来对本发明加以限制者。

附图说明

图1显示现有技术阵列式相机的多镜头模块示意图；

图2A显示多相机图像撷取系统聚焦正确的状态示意图；

图2B显示多相机图像撷取系统对焦不正确的状态示意图；

图2C显示多相机图像撷取系统调整间距后的状态示意图；

图3A所示为多相机图像撷取系统中采用温度补偿机构的结构示意图之一；

图3B所示为多相机图像撷取系统中采用温度补偿机构的结构示意图之二；

图4A与图4B所示为多相机图像撷取系统因为焦距变化致使成像改变的示意图；

图5显示本发明多相机图像撷取系统实施例的功能方块图；

图6显示的流程描述本发明多相机图像撷取系统的图像重组补偿步骤实施例。

附图标记说明：

承载机构10 镜头101

镜头单元22,22’ 图像传感器20

入射光线201

折射光线203 入射光线201’

折射光线203’ 入射光线201”

折射光线203” 间距调整单元24

图像撷取模块承载机构30 多传感器模块32

图像传感器302 多镜头模块34

镜头304 温度补偿机构36

霍尔效应传感器303 磁性元件301

移动部位35

人脸401,401’ 爱心402,402’

图像撷取模块50 多镜头模块501

多传感器模块502 间距调整单元52

位置感测模块54 图像重组参数产生单元56

图像重组模块58 承载机构503

步骤S601～S609图像重组补偿步骤

具体实施方式

阵列式相机(camera array)是采用多个相机合并而成的相机装置，其中多个相机中每一个镜头单元对应到一个图像感应元件(如CCD,CMOS)，使得形成多颗小型相机合并组成一个相机，阵列式相机也倚赖后端通过固件或是软件方法重组图像，将多个相机个别所撷取到的图像信号重组获得一融合图像。

本专利申请所公开的多相机图像撷取系统的图像撷取模块采用阵列式镜头(lensarray)，其中多镜头模块中设有多个以特定阵列形式排列的镜头，对应多镜头模块的位置上的多传感器模块中也设有位置一对一对应各个镜头的多个图像传感器。

多相机图像撷取系统中多镜头模块可参考图1显示的结构示意图，在原始的设计中，其中多镜头模块与多传感器模块的间距定义出一能清楚成像的像距。根据成像公式，焦距的倒数等于像距的倒数加上物距的倒数，因此在物距相对于像距为极大的一般情况下，焦距的改变将主要导致像距的变化。

图2A显示多相机图像撷取系统正常聚焦的状态，示意以多镜头模块中的一个镜头单元22对应多传感器模块的一图像传感器20来说明。镜头单元22与图像传感器20间具有一像距，入射光线201经此镜头单元22后预设能够正确对焦在对应位置上的图像传感器20上，如所示的折射光线203，图像因此可以清楚成像在图像传感器20上。

当图示中的多相机图像撷取系统的多镜头模块(以一镜头单元22’为例)的焦距因为温度的影响下产生变化，比如因为镜头热胀冷缩效应或镜头随着外界温度产生折射率改变，于是产生对焦误差的现象，如图2B所示的示意图。

在图2B中，同样以多镜头模块内的单一镜头单元22’来说明，入射光线201’经多镜头模块镜头单元22’折射后，形成折射光线203’，此例是因温度上升导致折射率下降，故镜头焦距拉长而产生成像对焦不正确的情况，使得焦点偏离图像传感器20。

图2C显示为调整间距后的状态。此例的镜头单元22’上设有间距调整单元24，间距调整单元24主要带动了整个多镜头模块进行温度补偿而位移，通过改变像距而使得镜头单元22’正确对焦在图像传感器20上。如此图显示进入系统的入射光线201”，折射后形成折射光线203”，因为间距调整单元24而能使得光线能正确聚焦于图像传感器20上。

举例来说，针对温度变化造成对焦误差的问题，上述的间距调整单元24在现有技术中曾采用特定温度补偿机构，通过材料随着温度变化而产生形变的特性，修正系统中的多镜头模块(此例以镜头单元22’为例)与多传感器模块20的间距，使得经多镜头模块的镜头单元22’的景物光线可以清楚成像于多传感器模块20上，如图2C所示。

根据本专利申请所公开实施例，经前述间距调整后，图像撷取模块中多镜头模块将产生位移，此位移显示多镜头模块与多传感器模块之间像距已经改变，因此景物经多镜头模块于多传感器模块上成像的位置与/或范围已经改变，示意图可参阅图4A与图4B，于是本发明提供了校正因为修正焦距变化而牵动多镜头模块于多传感器模块的间距(可对应到所述的像距)变化的图像重组技术。

而取得像距或多镜头模块与多传感器模块的间距改变的信息前，本发明说明书提供的多相机图像撷取系统先侦测出多镜头模块的相对位移。可继续参阅图3A与图3B所公开的实施态样。

在图3A所示的多相机图像撷取系统的结构示意图中，图像撷取模块承载机构30如阵列式相机模块的主体外框结构，为一固定整个装置的机构，此固定部位内部设置多相机图像撷取系统的图像撷取模块，包括多传感器模块32，多传感器模块32由多个图像传感器302排列组成。图3A还示意表示承载机构30另以移动部位35承载并带动多镜头模块34，多镜头模块34由多个镜头304排列组成，其中多个图像传感器302的位置是一对一对应到多个镜头304的排列位置，其中镜头304具有至少一镜片。

系统内焦距的改变是因温度改变造成镜头热胀冷缩造成，或因温度改变直接造成多个镜头本身折射率改变所造成。当多镜头模块34内多个镜头304因为温度造成焦距改变，因此通过图像撷取模块中所设的温度补偿机构36带动移动部位35上的多镜头模块34进行补偿位移，使得改变多镜头模块34与多传感器模块32的间距，目的是让光线能够清楚聚焦于多传感器模块32上，运作方式亦如前述图2C的间距调整单元(24)。

此类温度补偿机构36实施方式之一可由多种材质迭构而成，各材质具有不同的膨胀系数，因此结合的机构将可以根据温度改变而有一定曲度的变化，藉此作为机构上的补偿用途。温度补偿机构36的初始状态示意显示如图3A，一端连结着承载机构30的固定部位，另一端则是连结承载机构的移动部位35。多镜头模块34与多传感器模块32有一初始间距，之后经过温度补偿之后，温度补偿机构36可能有曲率的物理变化，因此带动移动部位35连同多镜头模块34移动，使得与多传感器模块32之间有了另一间距，如图3B所示。

然而，经间距调整后，图像可以正确地成像于传感器上，同时也造成成像在传感器上的成像位置或范围也产生了变化，因此原本用于多相机图像撷取系统的图像重组参数同样需要修正，本发明系统即先取得多镜头模块34相对于多传感器模块32的位移距离，实施例之一将于此多相机图像撷取系统中设置有一位置感测模块(301,303)，用以感测多镜头模块34与多传感器模块32之间的位移或间距变化。之后再根据此位移或间距提供对应的图像重组参数。

实施例同样可参阅图3A与图3B，位置感测模块的实施例之一可以在多相机图像撷取系统中的固定结构上，如图像撷取模块承载机构30，设有一组霍尔效应传感器(Halleffect sensor)303，以及在可被温度补偿机构36带动的多镜头模块34的相关结构上设有一个作为指标用的磁性元件301。根据实施例之一，霍尔效应传感器303可设于承载机构30的固定部位，磁性元件301则可设于承载机构30的移动部位35，使得霍尔效应传感器303可以根据侦测到因为磁性元件301移动所产生的磁场变化，进而判断出位移的量。

在另一实施例中，位置感测模块可为一应变传感器(strain gauge)，其可以直接设于温度补偿结构上，用以测量温度补偿机构的应变量，藉此判断出位移量。

图4A与图4B所示的状态示意图用以表示上述系统在传感器上的成像因为温度补偿产生的位移而变化。

图4A显示多相机图像撷取系统拍摄一个场景时，场景有两个景物，景物于系统内的一相机的传感器成像，如人脸401与爱心402。接着如图4B所示，此例显示温度上升造成焦距变长的情况，因为温度造成焦距改变后的补偿措施，使得多镜头模块与多传感器模块的间距随之变化，补偿措施可使景物图像清楚的地成像于传感器上，但镜头与传感器间距变化与焦距变化让景象于某一传感器的成像位置与/或范围也产生改变，如图所示的人脸401’与爱心402’。示意图如图4A与图4B相较之下，其中物体的成像位置与范围都产生了改变。

图5显示本发明多相机图像撷取系统实施例的功能方块图。

多相机图像撷取系统主要元件为图像撷取模块50，承载机构503上设有主要元件包括多镜头模块501与多传感器模块502，其中镜头与图像传感器的位置为相互对应，因此经过各个镜头的光线将成像于对应的图像传感器上。根据实施例之一，多镜头模块501设于承载机构503的移动部位上，多传感器模块502则相对设于承载机构503的固定部位上，如整个系统的承载机构503。

图像撷取模块50上设有补偿对焦错误的间距调整单元52，间距调整单元52连接多镜头模块501，进行补偿时，当间距调整单元52带动多镜头模块501移动时。位置感测模块54可以感测多镜头模块501的位置改变，系统通过位置感测模块54取得承载机构503上多镜头模块501与多传感器模块502之间的位移量或间距，位置感测模块54实施例可参阅图3A与图3B的描述。

接着，本发明所公开的多相机图像撷取系统还根据此位移量或间距提供用来重组图像的图像重组参数，图中图像重组参数产生单元56将根据多镜头模块501与多传感器模块502之间的位移量或间距调整而对应判断出校正图像重组参数的信息，最后将对应的重组参数提供给图像重组模块58进行图像重组。值得一提的是本发明提供对应位移或间距变化的图像重组参数，由图像重组模块58校正因为多镜头模块501与多传感器模块502之间因为补偿焦距改变所产生的重组误差问题，产生品质良好的图像。

根据实施例之一，根据多镜头模块501与多传感器模块502之间的位移或间距变化而提供图像重组参数的方法之一是建立一个查找表(lookup table,CUT)。对应的图像重组参数可利用对照多相机图像撷取系统内建的查找表获得，查找表的建立用以根据实验获得多镜头模块501与多传感器模块502的位移或间距(像距改变牵动焦距变化)与图像重组参数的关系。举例来说，查找表记载多镜头模块501与多传感器模块502之间的位移或间距与图像重组参数的对应关系，也就是记载多镜头模块501的位置变化所对应的图像重组参数。

接着如图6所示，其中流程描述本发明多相机图像撷取系统的图像重组补偿步骤实施例。

在本发明所公开的多相机图像撷取系统中，如步骤S601所述，温度造成系统的焦距改变，于是可通过温度补偿机制补偿因为温度造成系统焦距产生变化的问题。如步骤S603所述，然而，补偿机制同时造成系统内多镜头模块与多传感器模块之间的位移或间距改变，也造成图像于传感器上的成像位置或范围产生改变，于是多相机图像撷取系统将修正图像重组参数。如步骤S605，系统通过位置感测的功能取得多镜头模块与多传感器模块之间的位移或间距变化，再根据此位移或间距取得对应的图像重组参数。如步骤S607，实施例如上述，可以先建立位移或间距与图像重组参数的查找表，因此可以随着不同的位移或间距变化而通过查找表得到图像重组参数。

系统接着根据对应的图像重组参数进行多相机图像撷取系统的图像重组，如步骤S609，以获得多相机图像撷取系统融合后的图像。

综上所述，现有技术为了补偿因为温度改变造成镜头光学特性改变，包括折射率改变，而产生了焦距变化，于是提供了调整多镜头模块与多传感器模块的间距的温度补偿机制，但却忽略了因为多镜头模块与多传感器模块的间距改变造成景物图像成像位置或范围的变化，使得原有图像重组的参数失效，于是为了让多相机图像撷取系统正确重组图像，本发明实施例提供了一种图像重组补偿方法，取得上述多镜头模块与多传感器模块的位移或间距而提供对应的图像重组参数，进而调整图像重组参数。

而以上所述仅为本发明的较佳可行实施例，非因此即局限本发明的专利范围，故举凡运用本发明说明书及图示内容所为的等效结构变化，均同理包含于本发明的范围内，合予陈明。

Claims (7)

1.一种多相机图像撷取系统，其特征在于所述的系统包括：

一多镜头模块，由多个镜头排列组成；

一多传感器模块，由多个图像传感器排列组成，该多个图像传感器的位置是一对一对应到该多个镜头的排列位置；

一间距调整单元，为针对温度影响造成焦距改变的一温度补偿机构；该间距调整单元用以调整该多镜头模块与该多传感器模块的间距；

一位置感测模块，用以感测该多镜头模块与该多传感器模块之间的位移或间距变化；以及

一图像重组参数产生单元，用以根据该位置感测模块感测到该多镜头模块与该多传感器模块之间的位移或间距产生一图像重组参数。

2.如权利要求1所述的多相机图像撷取系统，其中该多镜头模块设于一承载机构的移动部位，该多传感器模块设于该承载机构的固定部位；该位置感测模块包括一设于该承载机构的固定部位的霍尔效应传感器，以及设于该承载机构的移动部位的一磁性元件，以感测该温度补偿机构致使该多镜头模块与该多传感器模块之间的位移或间距变化。

3.如权利要求1所述的多相机图像撷取系统，其中该位置感测模块为一应变传感器，设于该温度补偿机构上，用以测量该温度补偿机构的应变量。

4.一种应用于权利要求1所述的多相机图像撷取系统的图像重组补偿方法，其特征在于所述的方法包括：

取得该多相机图像撷取系统中一多镜头模块与一多传感器模块之间的位移或间距改变；以及

若侦测到之间的位移或间距改变，取得一组图像重组参数。

5.如权利要求4所述的图像重组补偿方法，其中该多镜头模块与该多传感器模块之间的位移或间距变化用以根据一设于该温度补偿机构上的应变传感器的应变量所得到。

6.如权利要求4所述的图像重组补偿方法，其中该多相机图像撷取系统中该多镜头模块与该多传感器模块之间的位移或间距变化是通过设于该多相机图像撷取系统上的一霍尔效应传感器与一磁性元件所取得。

7.如权利要求5或6所述的图像重组补偿方法，其中该方法提供一查找表，该查找表记载该多镜头模块与该多传感器模块的位移或间距与图像重组参数的对应关系。