CN104079819A - 图像处理设备和方法、以及摄像设备 - Google Patents

Abstract

本发明涉及一种图像处理设备和方法、以及摄像设备，包括：输入单元，用于输入由图像传感器将经由包括光学图像稳定单元的光学系统入射的光学图像光电转换所获得的图像信号；获取单元，用于获取由光学图像稳定单元所获得的光学图像稳定控制信息；以及照相机运动估计单元，用于基于由光学图像稳定单元基于光学图像稳定控制信息从输入单元所输入的图像信号排除光学图像稳定的影响所获得的信息，估计照相机的运动。

Description

图像处理设备和方法、以及摄像设备

技术领域

本发明涉及一种用于根据由具有光学图像稳定功能的摄像设备所拍摄的运动图像估计照相机行为(照相机的运动)的图像处理设备和方法以及摄像设备。

背景技术

近来，一种根据运动图像分析包括照相机位置和角度的变化的照相机行为并且通过利用此结果提高用户便利性的技术正在被广泛地应用。例如，从用于智能手机的技术开始，合成所拍摄的视频与计算机图形(CG)的增强现实(AR)技术正在变得流行。特别地，一种通过将自然特征用作输入信息分析照相机行为来实施CG合成的无标记AR技术具有广泛的应用范围并且非常有前景(例如，见G.Klein，D.Murray，“Parallel Tracking and Mapping on a CameraPhone”，In Proc.ISMAR'09)。对照相机行为的分析被定位为有吸引力的应用和产品的核心技术，其中这些应用和产品诸如是运动图像稳定、三维信息获取以及用作利用视觉的运动传感器的照相机行为测量/记录设备等(例如，见日本专利特开2007-215114号)。以这种方式，期待各种应用技术和产品的普及。

在通过诸如智能手机等的手持紧凑型摄像装置拍摄视频的情况下，视频模糊。传统地，AR技术是在摄影棚等中使用的广播技术，并且经常与诸如摇臂(crane)或者稳定凸轮等的特殊的稳定摄像夹具组合使用，因此模糊几乎不引人注意。在将紧凑型摄像装置与这样的特殊夹具组合以解决模糊的问题的情况下，就损害了作为紧凑型摄像装置的优点的便携性。容易通过在摄像设备中采用光学图像稳定机构以解决模糊的问题。使用光学图像稳定机构具有以下优点：能够抑制在电荷累积期间发生的模糊以改进图像质量，能够使得在图像分析中对对应点或者运动矢量的搜索变得容易，并且能够节省在图像稳定中的图像稳定余量(例如，见日本专利4446041号)。

然而，在引入光学图像稳定机构以抑制模糊的情况下，在例如AR应用中的给定条件下，在已拍摄的视频与CG之间的运动移位变得明显并且不能够获得正确的照相机轨迹信息。给定条件的示例为：以广角镜头进行拍摄；合成后的对象的大小相对于拍摄视角而言大；进行三维照相机行为估计和合成；运动大；显示画面大并且分辨率高；以及这些条件共同出现。在这些情况下，为了对现实忠实的再现，需要基于更高精度的照相机模型的照相机行为信息。

在这种情况下，例如，在AR应用中，已拍摄的视频与CG的运动彼此不一致并且看起来倾斜。在运动图像稳定应用中，抖动残留。在三维信息获取中，在获取到的三维信息中生成错误。对于照相机行为估计的原始目的，不能够获得正确的照相机轨迹信息。

在这种情况下，可以准备一种甚至考虑到光学图像稳定并且具有许多变量的复杂的照相机模型，以通过利用诸如对图像信息或者从图像提取出的信息的模型拟合等的优化技术来估计照相机行为。然而，这种方法增大了估计变量的数量并且使得优化计算的计算量呈指数地增长，损害了计算收敛性以及处理稳定性，使得其不实用。

发明内容

考虑到上述情况作出本发明，并且其基于由具有光学图像稳定功能的摄像设备所获得的图像，获取到排除了光学图像稳定功能的影响的照相机的运动。

根据本发明，提供一种图像处理设备，包括：输入单元，用于输入由图像传感器将经由包括光学图像稳定单元的光学系统入射的光学图像光电转换所获得的图像信号；获取单元，用于获取由光学图像稳定单元所获得的光学图像稳定控制信息；以及照相机运动估计单元，用于基于以下信息来估计照相机运动，其中该信息为从所述输入单元所输入的图像信号基于所述光学图像稳定控制信息排除所述光学图像稳定单元进行光学图像稳定的影响所获得的信息。

此外，根据本发明，提供一种摄像设备，包括：图像传感器；以及如上所定义的图像处理设备。

此外，根据本发明，提供一种要在图像处理设备中进行的图像处理方法，包括：输入步骤，输入由图像传感器将经由包括光学图像稳定单元的光学系统入射的光学图像光电转换所获得的图像信号；获取步骤，获取由光学图像稳定单元所获得的光学图像稳定控制信息；以及照相机运动估计步骤，基于以下信息来估计照相机运动，其中该信息为从所述输入步骤中输入的图像信号基于所述光学图像稳定控制信息排除所述光学图像稳定单元进行光学图像稳定的影响所获得的信息。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

包含在说明书中并构成说明书的一部分的附图示出本发明的实施例，并和说明书一起用来解释本发明的原理。

图1是示出根据本发明的第一实施例的摄像设备的示意结构的框图；

图2是示出根据本发明的照相机行为估计处理的流程图；

图3是用于详细说明根据本发明的姿势估计处理的流程图；

图4是用于说明块匹配的图；

图5A和5B是用于说明在AR合成中对光学图像稳定控制信息的利用的图；

图6是用于说明在三维图像分析中对光学图像稳定控制信息和照相机行为的利用的图；

图7是示出在本发明的第二实施例中摄像设备的示意结构的框图；以及

图8是用于说明在第二实施例中在基于几何变换的图像稳定中对光学图像稳定控制信息的利用的图。

具体实施方式

以下将根据附图详细描述本发明的典型实施例。

第一实施例

图1是示出在本发明的第一实施例中的摄像设备的结构的框图。根据第一实施例的摄像设备是能够根据所拍摄视频分析照相机行为(照相机的运动)的摄像设备。摄像设备包括光学图像稳定机构和照相机行为估计单元。图1是示出摄像设备的主要部分的结构的框图。

摄像设备100包括光学系统11、图像传感器12、光学图像稳定控制单元13、姿势传感器14、光学图像稳定控制监视单元15、预处理单元16、图像存储器17、照相机行为估计单元18和图像处理单元19。

光学系统11由多个透镜和镜构造成，并且光学系统11使从被摄体10入射的光在图像传感器12上形成图像。姿势传感器14包括陀螺仪传感器等。姿势传感器14测量相对于摄像设备100的有限的任意轴的姿势变化的信息，并且将信息传输至光学图像稳定控制单元13。光学图像稳定控制单元13包括位移元件。光学图像稳定控制单元13通过基于摄像设备100的姿势变化、即照相机行为使光学系统11的一些透镜在与光轴垂直的方向上移位，以使图像传感器12上的光学图像的位置平移。这抑制了由摄像设备100的抖动造成的视频的模糊。光学图像稳定控制监视单元15包括编码器等，并且测量进行光学图像稳定的透镜的移位量。

预处理单元16针对由图像传感器12光电转换后的模拟图像信号进行诸如通过相关双采样(CDS)进行噪声去除、通过自动增益控制(AGC)中的增益增大进行曝光控制、黑电平校正以及模/数转换等的基本处理。因而，获得转换为数字信号的图像信号。为了改进包括特征量提取和矢量计算的根据图像的照相机行为估计处理的精度和鲁棒性，可以对照相机行为估计单元18的输入图像进行诸如低通滤波或高通滤波等的滤波处理以及诸如色阶映射等的色阶调整处理。按照这种方式，主要的处理是对模拟信号的预处理，因此主要部分也被称作模拟前端(AFE)。与数字输出传感器配对并且使用的部分被称作数字前端(DFE)。

图像存储器17是临时地保存由预处理单元16所生成的预处理后的图像信号的存储器。照相机行为估计单元18通过利用由预处理单元16所生成的图像信号以及在图像存储器17中所累积的过去的图像信号估计照相机行为。

图像处理单元19对输入数字图像信号进行包括拜耳阵列插值、线性化矩阵处理、白平衡调整、YCC转换、色差/色阶/对比度校正以及边缘增强的图像处理。此图像处理一般被称作后处理或者显像。通过进行这些处理，能够生成一帧或者一场的输出视频。这些处理相对于预处理单元16的AFE处理，也被称作数字后端(DBE)处理。

此外，作为选项，图像处理单元19包括渲染CG并且将渲染后的CG与所生成的拍摄输出视频合成的AR合成功能。作为选项，图像处理单元19还包括通过几何变换处理抑制在连续生成的输出图像的帧或场之间的模糊的图像稳定功能，以及在连续输出的图像之间进行三维图像分析处理以估计与图像相对应的三维信息或者深度信息的三维信息获取功能。基于例如R.Szeliski，“Compute Vision Algorithms and Applications”，(2010)中所描述的一般的照相机矢量(CV)技术，利用照相机行为估计单元18所估计出的照相机行为信息执行CG创建、几何变换处理和三维图像分析等。

图2是示出根据具有上述结构的第一实施例的摄像设备中要由照相机行为估计单元18执行的照相机行为估计处理的流程图。

在步骤S11中，估计在从预处理单元16直接输入的帧与从图像存储器17输入的一个或者多个过去帧之间的对应位置的运动信息、即对应点。可以如下获得对应点：对于在一个图像上配置在网格中的关注点，在另一个图像上执行模板匹配或者梯度法。从一个图像提取特征量，并且通过将特征量位置用作模板在另一个图像上执行模板匹配或者梯度法。作为替代，从各个图像提取特征量，并且在特征量之间进行组合搜索。

将要参考图4说明通过作为一种模板匹配的块匹配进行对应点估计的方法。图4示出块匹配的示例。这里，左侧图像401用作基准图像，并且右侧图像402用作搜索图像。例如，将先前输入的视频帧用作基准图像并且将随后输入的当前视频帧用作搜索图像，检测对应点。将以配置在基准图像401上的网格中的各个关注点404为中心的预定大小的部分区域设置为模板403。在搜索图像402中设置任意搜索区域407。在顺次地移动模板403的同时，搜索模板403与任意搜索区域407最佳匹配处的位置。此时，计算在搜索图像402中将关注像素405用作基准的区域406与基准图像401的模板403之间的相似度。作为相似度指标，使用通过诸如方差和(SSD)、绝对差值和(SAD)或者归一化互相关等的相关计算的计算结果。在例如拍摄的视频那样帧间的亮度波动大的情况下，主要使用归一化互相关。式(1)是归一化互相关中的相似度值计算式：

$R(x,y,x^{\′},y^{\′})=\frac{\underset{i=-M_T}{\overset{M_T}{\mathrm{\Σ}}}\underset{j=-N_T}{\overset{N_T}{\mathrm{\Σ}}}\{I_{(x,y)}(i,j)-\stackrel{\‾}{I}\}\{{I^{\′}}_{(x^{\′},y^{\′})}(i,j)-{\stackrel{\‾}{I}}^{\′}\}}{\sqrt{\underset{i=-M_T}{\overset{M_T}{\mathrm{\Σ}}}\underset{j=-N_T}{\overset{N_T}{\mathrm{\Σ}}}{\{I_{(x,y)}(i,j)-\stackrel{\‾}{I}\}}^2}\sqrt{\underset{i=-M_T}{\overset{M_T}{\mathrm{\Σ}}}\underset{j=-N_T}{\overset{N_T}{\mathrm{\Σ}}}{\{{I^{\′}}_{(x^{\′},y^{\′})}(i,j)-{\stackrel{\‾}{I}}^{\′}\}}^2}}---\left(1\right)$

其中 $\stackrel{\‾}{I}=\frac{1}{M_T{N}_T}\underset{i=-M_T}{\overset{M_T}{\mathrm{\Σ}}}\underset{i=-N_T}{\overset{N_T}{\mathrm{\Σ}}}{I}_{(x,y)}(i,j),{\stackrel{\‾}{I}}^{\′}=\frac{1}{M_T{N}_T}\underset{i=-M_T}{\overset{M_T}{\mathrm{\Σ}}}\underset{i=-N_T}{\overset{N_T}{\mathrm{\Σ}}}{I}_{(x^{\′},y^{\′})}(i,j)---\left(2\right)$

(x,y)以及(x’,y’)分别为基准图像I和搜索图像I’中的模板位置，并且I_(x,y)(i,j)和I’_(x’,y’)(i,j)是部分图像。

在计算了搜索区域中的全部相似度之后，将具有最高相似度的位置视为对应位置，并且计算对应点。在不存在闭合的情况下，以在基准图像401上所设置的关注像素404的数量计算对应点。对应点通过以基准图像中关注点的位置为起点并且以搜索图像中对应点的位置为终点的矢量来表示：

(x,y,x’,y’)ⁱ,i=1,…,m(m:对应点的数量)   (3)

注意，已经描述了将关注点固定地配置在网格中的块匹配的示例。作为替代，可以从基准图像提取在容易地计算出对应点处的特征量，并且可以将特征量的位置设置为关注点。关注点的提取一般使用诸如Harris算子(例如，见C.Harris and M.Stephens,"A combined corner and edge detector",FourthAlvey Vision Conference,pp.147-151,1988)等的图像处理滤波器。

关于Harris算子，首先，确定窗口大小W，并且计算水平和垂直方向上的微分图像(I_dx,I_dy)。对于微分图像的计算，使用Sobel滤波器便足够。例如，作为滤波器，对图像应用3×3滤波器h_x以及3×3滤波器h_y，其中在h_x中，在横向方向上设置并且在纵向方向上排列3个该h，在h_y中，在纵向方向上设置并且在横向方向上排列3个该h，从而获得微分图像(I_dx,I_dy)。

对于图像中全部的坐标点(x,y)，使用窗口W计算矩阵G：

从矩阵G的最小奇异点最大的坐标点(x,y)起顺次地提取特征量。此时，优选为特征量不太密集。因此，例如可以设置如下的约束，即在已经提取出特征量的坐标点(x,y)附近窗口大小W的周边内不再计算特征量。

接着，在步骤S12中，利用通过光学图像稳定控制单元13所获得的并且表示光学图像稳定机构的效果的光学图像稳定控制信息来处理对应点信息。这抵消了光学图像稳定效果，即为抑制模糊而进行的视频平移。

光学图像稳定控制信息是表示由用于光学图像稳定效果的视频平移所引起的坐标变化量的物理量。然而，在光学系统11是变焦透镜并且焦距变化的情况下，即使在从姿势传感器14所供给的照相机转动量保持不变的情况下，视频平移量也变化。为了容易控制，可以将光学图像稳定控制信息作为包括照相机转动量、平移量以及焦距的多个控制物理量的组来处理。例如，将一条光学图像稳定控制信息定义为如下的值，要对该值进行缩放以使得该值乘以光学系统的焦距得到传感器面上图像的平移量。即，令θ为照相机转动，该值可以作为角度处理：

$\mathrm{Sh}=f\tan \≅\mathrm{f\θ},\mathrm{\θ}=\tan \left(\frac{\mathrm{Sh}}{f}\right)\≅\frac{\mathrm{Sh}}{f}---\left(5\right)$

此时，将在光学图像稳定机构处于中间(neutral)位置的情况下的镜头移位量定义为0。在式(5)中，在焦距按图像的像素来处理的情况下，校正角度可以作为图像上的平移量来处理。

令Shy为相对于照相机的光轴的横摆方向上的镜头移位量，并且Shp为纵摇方向上的镜头移位量，则由光学图像稳定所引起的显示区域的移动能够以以下形式抵消：

x_rev=x-Shy_-1

y_rev=y-Shp_-1...(6)

x'_rev=x'-Shy

y'_rev=y'-Shp

其中，Shy和Shp是当前帧中的图像稳定移位量，Shy_-1和Shp_-1是紧挨的前一帧中的图像稳定移位量，x和y是紧挨的前一帧中的x坐标和y坐标，x_rev和y_rev是光学图像稳定所引起的显示区域的移动抵消之后的x坐标和y坐标。

此外，在步骤S12中，为了提高步骤S13中的计算精度和鲁棒性，可以将对应点从输入帧的像素坐标系中的对应点值变换为标准化图像坐标系中的对应点值。在以下说明中，(x,y)是输入帧上的像素坐标点，(u_d,v_d)是包括失真的标准化图像坐标点，并且(u,v)是在去除失真后的标准化图像坐标点。利用内部参数和失真系数进行变换。首先，基于内部参数将对应点变换为标准化图像坐标点：

$\left[\begin{array}{c}{u}_d\\ v_d\\ 1\end{array}\right]=\mathrm{inv}\left(\left[\begin{array}{ccc}{f}_{c\_\mathrm{new}}{k}_u& 0& u_0\\ 0& f_{c\_\mathrm{new}}{k}_v& v_0\\ 0& 0& 1\end{array}\right]\right)\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(7\right)$

其中，inv()是带括号的矩阵的逆矩阵。内部参数的矩阵被称作照相机矩阵K：

利用失真系数去除失真：

$\left[\begin{array}{c}{u}_d\\ v_d\end{array}\right]\→\left[\begin{array}{c}u\\ v\end{array}\right]---\left(9\right)$

在表达式(9)中，通过以下描述的处理实施计算“→”。利用辐射失真关系去除失真：

K=1+k₁r+k₂r²+k₃r³+...,r²=u_d ²+v_d ²...(10)

u=u_d/K,v=v_d/K...(11)

其中，k₁、k₂和k₃是辐射方向上的一阶、二阶和三阶失真系数。光学系统的像差生成这些失真。失真根据诸如光学系统的焦距以及被摄体距离等的照相机参数而变化。因此，根据设计值计算与焦距等的关系。将此关系作为与焦距等相对应的查找表或者关于焦距等的变换存储在ROM(未示出)等中。

在第一实施例中，仅去除了辐射方向上的失真。然而，在诸如矢径方向上的失真等的其它失真突出的情况下，可以单独添加并进行失真去除处理。

在步骤S13中，输入在当前帧与过去帧之间的校正后的对应点以估计这些帧间照相机的姿势变化。图3是示出该估计处理的流程图。在步骤S21中，计算平面度。基于根据对应点计算出的数据矩阵的条件数确定平面度。在这种情况下，对于如下的对应点信息进行与平面度相对应的估计处理，其中在步骤S12中从对应点信息排除了光学图像稳定的影响、并且对应点信息被变换为标准化图像坐标系中的值。在平面度等于或者小于预定阈值(步骤S22中为“否”)的情况下，基本上执行基于基本矩阵的姿势估计或者诸如五点法等的基于针孔照相机模型的姿势估计方法，以估计照相机行为(步骤S24)。然而，在对应点计算中，在映射计算出的位置的空间排列是如在平面上的奇异排列的情况下(在平面度超过阈值的情况下，步骤S22中为“是”)，由于退化，因此通过基本矩阵或者五点法不能够获得解。在这种情况下，将姿势估计方法切换为获得投影单应(homography)并且通过投影矩阵分解操作估计照相机姿势的方法(步骤S23)。

以下将要说明步骤S23中进行的基于投影单应的姿势估计。令(ui,vi)为过去帧中的标准化图像坐标点，(u_i’,v_i’)为当前帧中的标准化图像坐标点，并且i=1,…,m(m为对应点的数量)，对于投影单应能够获得线性化方程：

在对应点的数量m≥8的情况下，线性化方程导致超定。通过以线性最小二乘法解此线性化方程，获得h={h₁₁,...,h₃₃}。将其再写入3×3矩阵中：

作为结果，获得投影单应、即帧间的图像变化量。

接着，将投影单应分解为照相机行为转动R、场景中的近似被摄体的平面的方向n^→以及平移t^→与深度d的积t^→/d。注意，n和t的后缀“→”表示n和t是矢量值。在以下说明中，“→”表示矢量。通过以下步骤，计算两个可能的解。通过利用特征值分解和奇异值分解检测不变量，以进行由投影单应到两个解的分解。各种解法都可以。这里，将要说明在B.Triggs,"Autocalibration from Planar Scenes",ECCV98中使用的方法作为参考。

以下给出投影单应、照相机行为与场景布局之间的关系：

$H=\mathrm{\λ}(R+\frac{1}{d}\stackrel{\→}{n}{\stackrel{\→}{t}}^T)---\left(14\right)$

其中，R和t^→是照相机转动和平移、d是到基准面的距离、n是使基准面远离照相机移动的方向上的法线、并且λ是任意常数。在两个图像间的计算中，空间平面的距离d和照相机行为平移的范数norm(t^→)的积不能被分解。范数是表示矢量的大小的量。即，将t^→作为表示平移方向的单位方向矢量norm(t^→)=1处理，并且将d作为到空间平面的距离与平移量的积处理。

首先，假定选择符号H以使得对平面上的全部对应点x₁ ^→和x₂ ^→都满足(x₂ ^→)^THx₁ ^→>0。

H的奇异值分解为H=USV^T，其中U和V是3×3旋转矩阵，并且S=diag(σ₁,σ₂,σ₃)是正的降序对角线元素：σ₁≥σ₂≥σ₃≥0并且是H的奇异值。u₁、u₂、u₃、v₁、v₂和v₃表示相关联的正交矩阵U和V的列元素。

采用第一照相机的参照系，并且三维平面以(n^→)^Tx^→=d=1/ζ表示，其中n^→是朝向外的(平面远离照相机移动的方向)法线。ζ=1/d≥0是到平面的距离的倒数。在此参照系中，第一照相机具有3×4的投影矩阵P₁=[I_3×3|0^→]。第二照相机具有P₂=R[I_3×3|t]=[R|t'],t'=-Rt，其中t和t’是照相机之间的平移(即，从第一照相机的光轴的中心到第二照相机的光轴的中心的平移)，并且R是照相机之间的转动。

从图像1到图像2的单应是H=rH₁，其中H₁=I_3×3-ζt^→n^→T(对于平面上的三维点x^→，因为ζ(n^→)^Tx^→=1，所以Hx^→=R(x^→-ζt^→(n^→)^Tx^→)=R(x^→-t^→)≈P₂x^→。在将x^→作为图像1中的任意点处理的情况下，差仅是总体的比例因子。)。

只有积ζt^→(n^→)^T是能复原的并且因此通过||t||=||n||=1进行标准化。即，以单位基线长度||t||测量平面距离1/ζ。为了确定可能的符号，进行以下将要说明的正深度约束测试。

在奇异值分解中，H=USV^T与H₁=U₁SV^T除R元素以外相同。即，U=RU₁。在H1中，外积矢量t^→×n^→是恒定的。在奇异值确定的情况下，t^→×n^→需要与奇异矢量相对应。这显示出t^→×n^→总是第二个奇异矢量v₂。因此，H的校正标准化为H_→H/σ₂，即，(σ₁,σ₂,σ₃)→(σ₁/σ₂,1,σ₃/σ₂,)。假定基于σ₂的标准化已经完成。

在图像帧1中t^→×n^→与v₂相对应的情况下，{t^→,n^→}部分空间需要被{v₁,v₃}占用，即，对于任意参数α和β(α²+β²=1)，n^→=βv₁ ^→-αv₃ ^→并且n^→×(t^→×n^→)≈αv₁ ^→+βv₃ ^→。{t^→,n^→}部分空间具有和与n^→垂直的任意方向(特别地，n^→×(t^→×n^→)为H或H₁)无关的不改变的范数。

在这种情况下，(ασ₁)²+(βσ₃₎ ²=α²+β²，或者(α,β)=(±√(1-σ₃ ²))，(±√(σ₁ ²-1))。在使得t^→×n^→与上述的v₁或v₃相对应的情况下，得不到解。由于这个原因，只有v₂是可能的。

严格地说，左侧相同的自变量表示R_t ^→=-(βu₁+αu₃)。在t^→满足H₁的特征值1-ζn^→(t^→)^T的特征矢量的情况下，获得Ht^→=(1-ζ(n^→)^Tt^→)Rt^→。因此，t≈H^-1(Rt^→)≈β/σ₁v₁ ^→+α/σ₃v₃ ^→。(在简化后)，ζ=σ₁-σ₃。

H₁的奇异值分解的左侧(U₁的列：u₁ ^→、u₂ ^→和u₃ ^→)通过标记u₂ ^→=v₂ ^→可复原，并且t^→需要为H₁的特征矢量。此时，u₁ ^→=γv₁ ^→+δv₃ ^→并且u₃ ^→=δv₁ ^→-γv₃ ^→。在简化后，(γ,δ)≈(1+σ₁σ₃,±αβ)。最后，通过以下获得转动R：

以下将要总结计算两个可能的解作为图像变化量的一系列详细处理，其中两个可能的解分别为由转动和平移所定义的照相机行为R，以及由方向矢量t^→、空间中的基准面的深度位置d以及方向n^→所定义的场景布局。

[U,S,B]=svd(H)...(16)

σ'₁=σ₁/σ₂,σ'₃=σ₃/σ₂...(17)

其中

ζ=(1/d)=σ'₁-σ'₃...(19)

$a_1=\sqrt{1-{\mathrm{\σ}}_1^{\′2}},b_1=\sqrt{{\mathrm{\σ}}_1^{\′2}-1}...\left(20\right)$

$a=\frac{a_1}{\sqrt{a_1^2+b_1^2}},b=\frac{b_1}{\sqrt{a_1^2+b_1^2}}...\left(21\right)$

$c=\frac{1+{{\mathrm{\σ}}^{\′}}_1{{\mathrm{\σ}}^{\′}}_3}{\sqrt{{(1+{{\mathrm{\σ}}^{\′}}_1{{\mathrm{\σ}}^{\′}}_3)}^2+{\left(a_1{b}_1\right)}^2}},d=\frac{a_1{b}_1}{\sqrt{{(1+{{\mathrm{\σ}}^{\′}}_1{{\mathrm{\σ}}^{\′}}_3)}^2+{\left(a_1{b}_1\right)}^2}}...\left(22\right)$

$e=\frac{-b/{{\mathrm{\σ}}^{\′}}_1}{\sqrt{{(-b/{{\mathrm{\σ}}^{\′}}_1)}^2+{(-a/{{\mathrm{\σ}}^{\′}}_3)}^2}},f=\frac{-a/{{\mathrm{\σ}}^{\′}}_3}{\sqrt{{(-b/{{\mathrm{\σ}}^{\′}}_1)}^2+{(-a/{{\mathrm{\σ}}^{\′}}_3)}^2}}...\left(23\right)$

${\stackrel{\→}{v}}_1=V(:,1),{\stackrel{\→}{v}}_3=V(:,3)$

${\stackrel{\→}{u}}_1=U(:,1),{\stackrel{\→}{u}}_3=U(:,3)...\left(24\right)$

通过利用这些等式，获得两个可能的解{R₁,t₁ ^→,n₁ ^→}和{R₂,t₂ ^→,n₂ ^→}：

${\stackrel{\→}{n}}_1=b{\stackrel{\→}{v}}_1-a{\stackrel{\→}{v}}_3,{\stackrel{\→}{n}}_2=b{\stackrel{\→}{v}}_1+a{\stackrel{\→}{v}}_3...\left(25\right)$

${\stackrel{\→}{t}}_1=-(b{\stackrel{\→}{u}}_1+a{\stackrel{\→}{u}}_3),{\stackrel{\→}{t}}_2=-(b{\stackrel{\→}{u}}_1-a{\stackrel{\→}{u}}_3)$ (其中P₂＝[R|t])...(27)

对于这些解的组，引入如下约束(正深度约束)，即方位矢量n^→是朝向外的。

通过使得这些符号匹配：

$\mathrm{if}({\stackrel{\&RightArrow;}{n}}_1\left(3\right)<0){\stackrel{\&RightArrow;}{t}}_1=-{\stackrel{\&RightArrow;}{t}}_1,{\stackrel{\&RightArrow;}{n}}_1=-{\stackrel{\&RightArrow;}{n}}_1...\left(28\right)$

$\mathrm{if}({\stackrel{\&RightArrow;}{n}}_2\left(3\right)<0){\stackrel{\&RightArrow;}{t}}_2=-{\stackrel{\&RightArrow;}{t}}_2,{\stackrel{\&RightArrow;}{n}}_2=-{\stackrel{\&RightArrow;}{n}}_2...\left(29\right)$

计算出两个可能的解。之后，进行极线误差检查以提取出具有更小误差的一个解。

如下执行极线误差检查。对于分别为通过将由对应点x₁ ^→和x₂ ^→所获得的单应分解而获得的姿势变化和场景信息的两个可能的解集{R₁,t₁ ^→/d,n₁ ^→}和{R₂,t₂ ^→/d,n₂ ^→}，利用对应点计算出极线误差。极线误差通过以下给出：

$e_i=\underset{j}{\overset{n}{\mathrm{\&Sigma;}}}\left({{\stackrel{\&RightArrow;}{x}}_2^j}^T\left({\left[{\stackrel{\&RightArrow;}{t}}_i\right]}_{\&times;}{R}_i\right){\stackrel{\&RightArrow;}{x}}_1^j\right),i=\mathrm{1,2},j=\mathrm{1,2},...,n...\left(30\right)$

其中n是对应点的数量。将具有更小误差的解选择作为真的解。作为结果，求得表示在输入帧间的照相机行为的唯一解{R₁,t₁ ^→,n₁ ^→,d}。

注意，能够基于已知的技术(例如，见R.Hartley,A.Zisserman,"MultipleView Geometry in Computer Vision",Cambridge Univ.Press(2000))以及五点法(例如，见Bill Triggs,"Routines for Relative Pose of Two Calibrated Camerasfrom5Points",Documentation,INRIA.juillet2000)来实施基于基本矩阵的姿势估计，其中，该姿势估计是用于在针孔摄像机模型的前提下针对非平面场景的照相机姿势估计方法，并且在第一实施例中省略对其的说明。

将所获得的帧间的照相机行为信息与用于计算照相机行为信息的帧同步地输入到图像处理单元19。作为可选的图像处理，图像处理单元19通过利用照相机行为信息进行CG创建、与已拍摄的视频的子画面合成、几何变换处理和三维图像分析等。按照这种方式，实施诸如AR合成功能、图像稳定功能以及三维信息获取功能等提高用户价值的应用。

将要举例说明AR合成。AR合成是将拍摄的视频与考虑到照相机行为所创建的CG进行合成的技术。CG合成以给定帧作为基准而开始。从该帧反映出实际拍摄视频的照相机中发生的照相机行为，并且创建出与各帧相对应的CG。在将用作初始帧的实际拍摄的照相机的位置与相对应的CG的渲染照相机的位置用作基准的情况下，通过以下给出照相机矩阵：

$P_0=K\left[I\right|\stackrel{\&RightArrow;}{0}]...\left(31\right)$

此时，通过对CG添加与步骤S12中对于对应点的坐标执行的偏移去除作业相反的操作，能够给予光学图像稳定效果。更具体地，如图5A中所示，通过对CG创建中的渲染视图添加偏移(Shy₀,Shp₀)并且渲染CG，能够考虑到光学图像稳定的影响。换言之，由光学图像稳定所引起的视图平移能够反映在要创建的CG中。为了实现这一点，与照相机行为估计单元18相同，将来自光学图像稳定控制监视单元15的信息输入到图像处理单元19中，并且进行CG渲染。将所创建的CG与拍摄的图像子画面进行合成以实现AR。

在渲染n帧后的CG的情况下，考虑到在这些帧之间照相机行为的变化如下确定照相机矩阵，并且如图5B中所示渲染CG：

$P_n=K\left(\right[R_n\left|{\stackrel{\&RightArrow;}{t}}_n\right]...\left[R_1\right|{\stackrel{\&RightArrow;}{t}}_1\left]\right[I\left|\stackrel{\&RightArrow;}{0}\right])....\left(32\right)$

此矩阵表示使用初始帧作为基准、n帧后的拍摄图像的照相机矩阵。在括号中，通过相乘并且连结姿势矩阵[R_i|t_i ^→]获得当前帧相对于基准帧的姿势变化：

$M_{\mathrm{sum}}=M_n...M_1{M}_0=\left[R_n\right|{\stackrel{\&RightArrow;}{t}}_n]...[R_1\left|{\stackrel{\&RightArrow;}{t}}_1\right]\left[I\right|\stackrel{\&RightArrow;}{0}]---\left(33\right)$

步骤S13中的t^→是单位矩阵，并且范数全都包含在相对于场景的基准面的起点的d中。相反地，此时t₁ ^→具有根据深度信息1/d分布的范数。基于诸如场景中拍摄的面部区域的大小以及例如为最初若干帧的平移量的平均照相机移动量等的运动图像中包含的信息来确定分布。后一种方法是传统上已经使用的一般默认知识，即使在G.Klein,D.Murray,"Parallel Tracking and Mappingon a Camera Phone",In Proc.ISMAR'09中的AR合成中也被使用。ratio是基于运动图像中的信息确定的比例因子，并且基本上具有0～1的范围：

${\stackrel{\&RightArrow;}{t}}^{\&prime;}=\mathrm{ratio}\&times;\frac{1}{d}\&times;\stackrel{\&RightArrow;}{t}---\left(34\right)$

将要根据通用的CG定义解释CG创建中照相机行为信息的使用。在正常的CG创建架构中，通过输入相对于CG空间内的世界坐标的照相机姿势信息R_c和t_c ^→，能够在CG渲染中反映出照相机行为。相对于世界坐标系的R是照相机的转动，并且t^→是照相机的平移。令R_c和t_c ^→是针对AR合成中的初始帧在CG侧设置的初始照相机姿势信息，在姿势矩阵[R_c|t_c ^→]左侧乘以由照相机行为估计单元18对各帧计算出的姿势矩阵，从而获得当前帧的照相机姿势信息R’_c、t’_c ^→或M’_c：

${M^{\&prime;}}_c=\left[{R^{\&prime;}}_c\right|{{\stackrel{\&RightArrow;}{t}}^{\&prime;}}_c]=M_n...M_1{M}_0{M}_c=[R_n\left|{\stackrel{\&RightArrow;}{t}}_n\right]...\left[R_1\right|{\stackrel{\&RightArrow;}{t}}_1\left]\right[I\left|\stackrel{\&RightArrow;}{0}\right]\left[R_c\right|{\stackrel{\&RightArrow;}{t}}_c]---\left(35\right)$

设置与各视频帧相对应的式(35)中的照相机姿势信息以创建CG。因此，能够创建根据照相机行为移动的CG。

此时，对于CG创建的渲染视图，与初始帧相同，在考虑到由当前帧的光学图像稳定所引起的视图平移而将渲染视图偏移(Shy_n,Shp_n)的情况下，渲染CG。因此，能够创建出反映了光学图像稳定的CG。

在仅通过帧间的照相机估计的积分确定CG创建中的照相机矩阵的情况下，从积分误差生成漂移。为去除漂移，通过与照相机行为估计单元的处理并行，在其它电路(未示出)中对在任意预定时间段的帧区间中的照相机行为信息执行捆集调整，可以获得在远离的帧之间的高精度的照相机行为。此时，在步骤S12中所获得的已去除光学图像稳定的影响的对应点信息以及在步骤S13中所获得的照相机行为信息的输入被用作捆集调整处理中的输入信息。通过利用该处理计算出的高精度照相机行为替代在联机处理期间进行积分的姿势变化矩阵，可以实现无漂移的AR合成。

CG创建和AR合成可以由称作后期制作软件或者复合(合成)软件的专用的PC软件执行，或者由等效的专用硬件装置、即所谓的外部装置(例如，可从THE FUNDARY获得的NUKE)执行。在这种情况下，从摄像设备的输出接口(未示出)输出由光学图像稳定控制监视单元15所测量的光学图像稳定控制信息、由照相机行为估计单元18所生成的照相机行为信息以及由图像处理单元19创建的视频。这些信息被输入到外部装置以进行CG创建和子画面合成，由此生成AR合成后的视频。

大部分CG软件程序在CG照相机模型中反映所谓的移轴镜头，并且因此在CG照相机的属性设置中具有视图平移设置功能。对一组信息进行测量、估计并且与所创建的视频一起输出。因而，即使是通用的外部装置也能够对利用光学图像稳定所拍摄的无模糊视频实现自然的AR合成。不必说，该组信息是已经去除了光学图像稳定的影响的照相机行为信息以及光学图像稳定控制信息。

对于三维图像分析，通过选择由能够确保基线的以任意预定帧时间段以上分隔开的关键帧(两帧)，获得三维信息。首先，基于从关键帧间的照相机行为计算出的姿势变化，考虑到光学图像稳定引起的视图平移，执行平行化和矫正。接着，在平行化后的关键帧图像上进行诸如梯度法等的密集对应点搜索。对于所获得的密集对应点进行三角视差，从而获得三维信息作为深度。根据要关联的图像帧的光学图像稳定控制信息的移位量使所获得的深度信息移位，由此获得登记有图像的像素色阶以及深度信息的三维信息。图6示出在三维图像分析中利用光学图像稳定控制信息和照相机行为的概要。(Shy_a,Shp_a)是与关键帧A相对应的光学图像稳定控制信息，并且(Shy_b,Shp_b)是与关键帧B相对应的光学图像稳定控制信息。从能够确保预定基线以上的任意帧选择出关键帧。关键帧的任意数量为两个以上。根据各个光学图像稳定控制信息从图像排除光学图像稳定的影响，并且进行平行化。根据实施例，能够在没有任何几何冲突的情况下对于利用光学图像稳定所拍摄的无模糊视频执行三维图像分析。因此，预期改进了如梯度法等中的三维信息提取器的深度计算能力，并且改进了要输出的三维信息自身的精度。矫正自身是例如在R.Szeliski,"Compute Vision Algorithms and Applications",(2010)中所说明的此技术领域中的基本技术。

如上所述，根据第一实施例，通过考虑到光学图像稳定控制信息以计算照相机行为，并且将照相机行为用于图像处理。因此，能够以比传统技术高的质量执行诸如AR合成和三维信息获取等的应用。

例如，能够在不使用诸如稳定凸轮等的特殊拍摄夹具的情况下，通过具有光学图像稳定功能的摄像机容易地合成无模糊的AR图像。

此外，与准备了甚至考虑到光学图像稳定且具有许多变量的复杂照相机模型、并且仅根据图像信息通过使用诸如模型拟合等的优化技术来估计照相机行为的情况相比，能够简化计算。这能够实现高度稳定的处理，其中该处理能够容易地减小优化计算的计算量并且即使利用小规模电路也能实现实时处理。

第二实施例

接着，将要说明根据本发明的第二实施例。图7是用于说明根据第二实施例的摄像设备的主要部分的结构的框图。第二实施例中的摄像设备200包括两部分：照相机本体201和镜筒202。除了包括具有与参考图1所描述的相同结构的光学图像稳定机构的光学系统11和光学图像稳定控制单元13以外，镜筒202包括姿势传感器14和光学图像稳定控制监视单元15。镜筒202通过通信单元20在照相机本体201与镜筒202之间传送光学图像稳定控制信息。即，假定为在照相机本体201侧未获得姿势传感器14的信息。例如，假定像旧式的单镜头反光照相机的可更换镜头规格那样，通信单元20的通信频带比特率非常低。

注意，根据第二实施例的摄像设备200中的照相机行为估计处理与上述第一实施例中相同，并且将不再重复对其的说明。作为在照相机行为估计处理中使用的光学图像稳定控制信息，在镜筒202中生成的信息通过通信单元20从镜筒202输出到照相机本体201，并且被输入到照相机行为估计单元18中。

根据第二实施例的图像处理单元19包括几何变换图像稳定控制单元191和几何变换单元192。几何变换图像稳定控制单元191按时间序列处理作为照相机行为估计单元18的输出所获得的照相机行为信息，从而生成几何变换图像稳定控制信息。例如，几何变换图像稳定控制单元191计算通过时间序列处理平滑化后的照相机行为，并且将与原始照相机行为的差作为几何变换图像稳定控制信息传送到几何变换单元192。几何变换单元192具有接收几何变换图像稳定控制信息并且对图像帧进行几何变换的功能。几何变换单元192通过几何变换获得稳定化的视频。在几何变换单元192所实施的几何变换的自由度是投影的自由度的情况下，几何变换图像稳定控制信息是可以通过单应表现的信息。作为脱机处理，例如，如Michal Irani,et al.,"Multi-framecorrespondence estimation using subspace constraints.",International Journal ofComputer Vision48,1,pp.39-51(2002)中所述，利用通过特征值分解能够将照相机行为分解为低阶基的性质。通过对与获得的各个特征基相对应的成分值进行滤波，能够获得几何变换图像稳定控制信息。

更具体地，通过对与利用特征值分解的基变换所获得的各个特征基相对应的成分值进行高通滤波，获得与各个特征基相对应的几何变换图像稳定控制信息。接着，执行基的逆变换以获得用作几何变换单元192的输入的几何变换图像稳定控制信息。作为替代，首先通过如上所述进行低通滤波以计算平滑化的稳定后的照相机行为。接着，计算与原始的照相机行为的差作为特征基上的几何变换图像稳定控制信息。最后，通过特征值分解的逆变换获得用作几何变换单元的输入的几何变换图像稳定控制信息。

然而，上述方法仅能在累积了一定量的照相机行为信息后的脱机处理中执行。为了联机执行该处理，如C.Harris and M.Stephens,"A combined cornerand edge detector",Fourth Alvey Vision Conference,pp.147-151,1988中所公开的，将照相机行为作为单应处理，将单应分解为图像的变化成分，并且进行时间序列滤波。即使在这种情况下，也能够获得与上面所述相同的效果。与前一种方法不同，后一种方法对影响更直接地表现在最终图像中的图像变化量的基进行滤波，并且因此能够容易地获得更平滑的稳定后的视频。

几何变换单元192接收到用于视频的各帧的几何变换图像稳定控制信息，并且将相对应的图像帧几何变换以获得稳定后的视频。此时，图像经过与图2的步骤S12中对对应点的坐标执行的偏移去除作业相同的操作，从而抵消了光学图像稳定的影响。更具体地，减去偏移(Shy₀,Shp₀)，并且执行遵循几何变换图像稳定控制信息的几何变换。接着，对于输入图像帧如下执行一系列几何变换以复原光学图像稳定效果。即，仅从偏移(Shy₀,Shp₀)减去要通过几何变换图像稳定控制信息校正的平移成分。再将结果与几何变换图像稳定控制信息相加。

图8示出上述一系列几何变换步骤。一系列几何变换可以表示为单应并且可以对图像一次执行。将由光学图像稳定控制监视单元15所测量出的光学图像稳定控制信息以及由照相机行为估计单元18所生成的照相机行为信息输入到图像处理单元19，并且根据上述步骤对由图像处理单元19的基本处理所创建的视频进行几何变换。因此能够实现考虑到光学图像稳定的影响的图像稳定。

如上所述，根据第二实施例，在视频输入设备包括光学图像稳定机构并且在照相机本体201侧不能获得姿势传感器14的信息的情况下，能够根据图像信息鲁棒地估计出照相机行为。作为结果，能够实现诸如AR合成、图像稳定以及三维信息获取等的提高摄像设备的价值的应用。

其它实施例

注意，本发明可以应用于包括多个装置(例如，诸如照相机等的摄像设备、接口装置以及图像处理设备)的系统或者包括一个装置的设备(例如，数字照相机)。

本发明的实施例还可以由一种系统或者设备的计算机读出并且执行记录于存储介质(例如，非易失性计算机可读取的存储介质)上的计算机可执行的指示以进行本发明的一个或者多个以上说明的实施例的多个功能而实现，还可以通过一种方法实现，该方法由一种系统或者设备的计算机通过例如读出并且执行存储介质上的计算机可执行的指示以进行一个或者多个以上说明的实施例的功能而进行。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或者其它电路中的一个或多个，并且可以包括独立的计算机或者独立的计算机处理器的网络。可以将计算机可执行的指示例如通过网络或者存储介质提供给计算机。存储介质可以包括，例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储、光盘(诸如高密度磁盘(CD)、数字通用光盘(DVD)或蓝光(BD)^TM)、闪速存储器、存储卡等中的一个或多个。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。

Claims (13)

1.一种图像处理设备，包括：

输入单元，用于输入通过图像传感器对经由包括光学图像稳定单元的光学系统入射的光学图像进行光电转换所获得的图像信号；

获取单元，用于获取通过所述光学图像稳定单元所获得的光学图像稳定控制信息；以及

照相机运动估计单元，用于基于以下信息来估计照相机运动，其中该信息为从所述输入单元所输入的图像信号基于所述光学图像稳定控制信息排除所述光学图像稳定单元进行光学图像稳定的影响所获得的信息。

2.根据权利要求1所述的图像处理设备，其中，所述照相机运动估计单元包括：

提取单元，用于通过提取在所述图像信号的帧之间的对应位置的运动，获取运动信息；以及

估计单元，用于通过基于所述光学图像稳定控制信息的倒数的信息处理所述运动信息以排除光学图像稳定的影响，并且基于处理后的运动信息估计所述照相机运动。

3.根据权利要求1所述的图像处理设备，其中，所述照相机运动估计单元基于从所述图像信号基于所述光学图像稳定控制信息排除所述光学图像稳定单元进行光学图像稳定的影响所获得的信息，获得平面度，在所述平面度不大于预定阈值的情况下，基于基本矩阵或者五点法估计所述照相机运动，并且在所述平面度超过所述阈值的情况下，基于投影矩阵分解操作估计所述照相机运动。

4.根据权利要求1所述的图像处理设备，其中，还包括合成单元，用于创建计算机图形、在所创建的计算机图形中反映所估计出的照相机运动并且将所述计算机图形与所述图像信号合成。

5.根据权利要求1所述的图像处理设备，其中，还包括三维图像分析单元，用于基于根据所述照相机运动计算出的姿势变化，使由预定帧时间段分隔开的两帧的图像信号平行化，并且根据平行化后的图像信号获取三维信息。

6.根据权利要求1所述的图像处理设备，其中，还包括：

图像稳定控制单元，用于获得针对所述照相机运动的信息通过进行时间序列处理来平滑的照相机运动，并且获得在平滑后的照相机运动与原始照相机运动之间的差；以及

几何变换单元，用于通过基于所述差针对各帧对所述图像信号进行几何变换以获取稳定后的视频。

7.根据权利要求1所述的图像处理设备，其中，所述光学图像稳定控制信息包括所述光学图像的移位量。

8.根据权利要求7所述的图像处理设备，其中，所述光学图像的所述移位量包括包含焦距和所述光学图像稳定单元的移位量的多个控制物理量或者所述多个控制物理量的组，其中通过所述控制物理量能够计算出所述光学图像在所述图像传感器上的移位。

9.根据权利要求1所述的图像处理设备，其中，所述照相机运动的信息包括照相机的转动量和平移量。

10.根据权利要求1所述的图像处理设备，其中，还包括输出单元，所述输出单元用于输出所述图像信号、所述照相机运动的信息以及所述光学图像稳定控制信息。

11.一种摄像设备，包括：

图像传感器；以及

如权利要求1中所述的图像处理设备。

12.根据权利要求11所述的摄像设备，其中，还包括光学系统。

13.一种要在图像处理设备中进行的图像处理方法，包括：

输入步骤，输入通过图像传感器对经由包括光学图像稳定单元的光学系统入射的光学图像进行光电转换所获得的图像信号；

获取步骤，获取通过所述光学图像稳定单元所获得的光学图像稳定控制信息；以及

照相机运动估计步骤，基于以下信息来估计照相机运动，其中该信息为从所述输入步骤中输入的图像信号基于所述光学图像稳定控制信息排除所述光学图像稳定单元进行光学图像稳定的影响所获得的信息。