CN105190694A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

【问题】为了在使用利用鱼眼镜头拍摄的图像而不进行重映射时获得更有用的图像。【方案】本发明提供了一种图像处理设备，包含：获取经由鱼眼镜头按时间连续拍摄的拍摄图像的图像获取单元、从所述拍摄图像获取运动矢量的矢量获取单元以及检测所述运动矢量起始的点或所述运动矢量收敛的点的点检测单元。

Description

图像处理设备、图像处理方法和程序

技术领域

本发明涉及图像处理设备、图像处理方法和程序。

背景技术

鱼眼镜头的使用使图像的拍摄能够有比普通镜头更宽广的视角。例如，如果通过使鱼眼镜头在垂直方向上指向来拍摄图像，则可以获得包含相机上方360度视角的图像。并且，如果使鱼眼镜头在水平方向上指向来拍摄图像，则可以获得在垂直和水平方向都有宽广范围的图像。然而，由于利用鱼眼镜头拍摄的图像是变形的，已经开发了用于去除变形的效果并利用图像的技术。例如，专利文献1描述了将利用鱼眼镜头拍摄的图像转换为被重映射到柱形表面上的重映射图像，并且基于该重映射图像检测诸如到物体的距离的信息的技术。

引用列表

专利文献

专利文献1：JP2012-226645A

发明内容

如上所述利用鱼眼镜头拍摄的图像是变形的，但是该变形在观察者的头脑中不一定达到难以修正的水平。因此，原样使用利用鱼眼镜头拍摄的图像也是可能的。然而，迄今为止，尚未提出原样使用利用鱼眼镜头拍摄的图像而不进行重映射的技术。

因此，本公开提出了新型改进的图像处理设备、图像处理方法和程序，使得当使用利用鱼眼镜头拍摄的图像而不进行重映射时能够获得更有用的图像。

根据本公开，提供了一种图像处理设备，包括：图像获取单元，该图像获取单元获取经由鱼眼镜头按时间连续拍摄的拍摄图像；矢量获取单元，该矢量获取单元获取拍摄图像中的运动矢量；和点检测单元，该点检测单元检测运动矢量的起始点或收敛点。

根据本公开，提供了一种图像处理方法，包括：获取经由鱼眼镜头按时间连续拍摄的拍摄图像；获取拍摄图像中的运动矢量；和通过处理器检测运动矢量的起始点或收敛点。

根据本公开，提供了一种使计算机来实现以下内容的程序：获取经由鱼眼镜头按时间连续拍摄的拍摄图像的功能；获取拍摄图像中的运动矢量的功能；和检测运动矢量的起始点或收敛点的功能。

当拍摄图像经由鱼眼镜头按时间连续被拍摄时，例如，在拍摄图像中的运动矢量起始的点或运动矢量收敛的点可指示具有鱼眼镜头的相机正在移动的方向。通过检测和利用这些点来编辑拍摄图像或控制成像，例如可以获得容易观察和有用的图像。

根据如上所述本公开，当使用利用鱼眼镜头拍摄的图像而不进行重映射时，可以获得更有用的图像。

附图说明

图1是说明根据本公开的第一实施例的图像处理设备的原理功能结构的框图。

图2是说明根据本公开的第一实施例的使相机在垂直方向上指向而拍摄的拍摄图像的例子的图。

图3是说明根据本公开的第一实施例的使相机在水平方向上指向而拍摄的拍摄图像的第一例子的图。

图4是说明根据本公开的第一实施例的使相机在水平方向上指向而拍摄的拍摄图像的第二例子的图。

图5是概念地说明根据本公开的第一实施例的移动方向的估计的流程图。

图6是说明根据本公开的第一实施例的拍摄图像的旋转的第一例子的图。

图7是说明根据本公开的第一实施例的拍摄图像的旋转的第二例子的图。

图8是说明根据本公开的第二实施例的第一图像处理设备的原理功能结构的框图。

图9是说明根据本公开的第二实施例的第二图像处理设备的原理功能结构的框图。

图10是说明根据本公开的第三实施例的图像设备的原理功能结构的框图。

图11是说明根据本公开的第四实施例的图像设备的原理功能结构的框图。

图12是说明根据本公开的第四实施例的图像处理设备的原理功能结构的框图。

图13是说明根据本公开的第五实施例的图像设备的原理功能结构的框图。

图14是说明根据本公开的第五实施例的拍摄图像的区域最优化的第一例子的图。

图15是说明根据本公开的第五实施例的拍摄图像的区域最优化的第二例子的图。

图16是说明根据本公开的第六实施例的图像设备的原理功能结构的框图。

图17是说明根据本公开的第六实施例的记录控制的例子的流程图。

图18是用于描述信息处理设备的硬件结构的框图。

具体实施方式

在下文中，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有基本相同功能和结构的元件用相同的附图标记表示，并且省略重复的说明。

在下文中，本说明将按以下顺序进行。

1.第一实施例

1-1.功能结构

1-2.起始点和检测点的具体例子

1-3.移动方向估计

1-4.拍摄图像的旋转的例子

2.第二实施例

3.第三实施例

4.第四实施例

5.第五实施例

5-1.功能结构

5-2.区域最优化的例子

6.第六实施例

6-1.功能结构

6-2.记录控制的例子

7.硬件结构

8.补充备注

(1.第一实施例)

(1-1.功能结构)

图1是说明根据本公开的第一实施例的图像处理设备的原理功能结构的框图。参考图1，图像处理设备100包括通信单元102、存储单元104、图像获取单元106、矢量计算单元108、点检测单元110、旋转角度计算单元112和图像编辑单元114。另外，图像处理设备100也可以包括显示控制单元116和显示单元118。

在本实施例中，图像处理设备100是经由网络从另一个设备获取拍摄图像并且编辑获取的图像的设备。图像处理设备100也可以经由网络向另一个设备传送已编辑的图像、在存储单元中存储已编辑的图像或通过自身显示已编辑的图像。

图像处理设备100例如可以是诸如各种个人计算机(PC)、平板电脑、移动电话(包括智能电话)、游戏控制台或媒体播放器的终端设备，而且也可以是经由网络向终端设备提供服务的服务器。图像处理设备100例如通过后面讨论的信息处理设备的硬件结构来实现。当图像处理设备100是服务器时，图像处理设备100的功能也可以通过经网络连接的多个信息处理设备的协同操作来实现。在下文中，还将描述每个结构元件。

通信单元102例如通过通信设备来实现，并且经由各种有线或无线网络与其他设备通信。例如，通信单元102从另一个设备接收拍摄图像的数据，并且在存储单元104中存储接收的数据。作为另一个例子，通信单元102向另一个设备传送在图像处理设备100上编辑并在存储单元104中存储的图像的数据。此外，尽管没有说明，不过当图像处理设备100是服务器时，通信单元102接收诸如从接收服务的终端设备发出的处理请求之类的命令，并且向图像处理设备100的部件提供该命令。

存储单元104例如通过存储设备和各种类型的存储器的组合来实现，并且暂时地或永久地存储图像处理设备100使用的各种数据。例如，存储单元104至少暂时地存储从另一个设备接收的拍摄图像的数据，并且必要时向图像获取单元106提供存储的数据。作为另一个例子，存储单元104至少暂时地存储通过图像编辑单元114编辑的图像的数据，并且必要时向通信单元102提供存储的数据用于向另一个设备的传输。或者，存储单元104也可以向显示控制单元116提供已编辑的图像的数据用于显示。

图像获取单元106例如通过根据存储在存储器中的程序而操作的中央处理单元(CPU)来实现，并且获取存储在存储单元104中的拍摄图像的数据。在这里，其数据是通过图像获取单元106获取的拍摄图像是经由鱼眼镜头按时间连续拍摄的图像。在这里，由于经由鱼眼镜头拍摄的拍摄图像包括包含鱼眼镜头的相机周围的360度视角，这些图像也可以被称为360度图像。这些图像例如可以构成作为移动图像的一系列帧，或者可以是独立拍摄的两个或更多个静止图像。

矢量计算单元108例如通过根据存储在存储器中的程序而操作的CPU来实现，并且计算来自通过图像获取单元106获取的拍摄图像的运动矢量。例如，矢量计算单元108通过将拍摄图像划分为指定尺寸的块来计算运动矢量，并且执行与在时间顺序上位于之前和之后的拍摄图像的块匹配。注意，除上述以外的多种其他既定技术也可以被用来计算运动矢量。

此时，矢量计算单元108也可以依据来自后面讨论的点检测单元110的处理结果按两阶段计算运动矢量。在这种情况下，例如，矢量计算单元108首先为拍摄图像整体按第一块尺寸计算运动矢量。然后暂时将计算出的运动矢量提供给点检测单元110，并且在点检测单元110中基于运动矢量配置搜索区域。随后，矢量计算单元108为在拍摄图像中的搜索区域(也可以包括附近部分)按小于第一块尺寸的第二块尺寸计算运动矢量，并且向点检测单元110提供计算出的运动矢量。在搜索区域内，点检测单元110利用按较小的第二块尺寸计算出的运动矢量搜索起始点或收敛点。这样，通过减少在矢量计算单元108中执行块匹配的次数，整体上可以降低图像处理设备100上的处理负荷。

注意在另一个实施例中，在图像处理设备100中也可以不包含矢量计算单元108。换句话说，图像处理设备100不一定需要自己计算运动矢量。例如，可以通过通信单元102作为通过另一个设备计算出的数据接收运动矢量，并且存储在存储单元104中。在这种情况下，可以用从存储单元104读出对应于拍摄图像的运动矢量的数据的矢量获取单元替换矢量计算单元108。

点检测单元110例如通过根据存储在存储器中的程序而操作的CPU来实现，并且检测通过矢量计算单元108计算出的运动矢量的起始点或收敛点。如后述讨论，对于经由鱼眼镜头按时间连续拍摄的拍摄图像，运动矢量的起始点或收敛点取决于相机移动方向而出现。更具体地，点检测单元110可以在拍摄图像的外围部分中检测起始点和收敛点二者，或在拍摄图像的中央部分中检测起始点或收敛点中的一个。

在这里，和上述讨论的通过矢量计算单元108的运动矢量的两阶段计算相对应，点检测单元110也可以按两阶段检测起始点或收敛点。在这种情况下，例如，点检测单元110首先基于按第一块尺寸计算出的运动矢量为拍摄图像整体在拍摄图像中配置搜索区域。对于搜索区域，例如可以配置其中运动矢量幅度相对较小的区域，或其中相对多的运动矢量的方向相交的区域。这反映了经由鱼眼镜头按时间连续拍摄的拍摄图像的特性，根据该特性运动矢量幅度在起始点或收敛点附近变得更小，并且很多运动矢量的方向在起始点或收敛点集中。点检测单元110向矢量计算单元108提供关于搜索区域的信息，并且矢量计算单元108为搜索区域(也可以包含附近部分)按更小的第二块尺寸计算运动矢量。此外，点检测单元110基于按第二块尺寸计算出的运动矢量，在搜索区域内部搜索起始点或收敛点。

或者，即使矢量计算单元108没有按两阶段计算运动矢量，点检测单元110也可以类似于上述例子配置搜索区域，并且在搜索区域内部搜索起始点或收敛点。在这种情况下，点检测单元110可以通过提取由矢量计算单元108以第一粒度计算出的运动矢量，并以精于第一粒度的第二粒度提取运动矢量而在搜索区域内部搜索起始点或收敛点，来配置搜索区域。同样在这种情况下，对于搜索区域，例如，可以配置其中运动矢量幅度区域相对较小的区域，或者其中相对多的运动矢量的方向相交的区域。

注意，后面将讨论通过点检测单元110检测的起始点和收敛点的更具体的例子。

旋转角度计算单元112例如通过根据存储在存储器中的程序而操作的CPU来实现。当点检测单元110在拍摄图像的外围部分中检测到起始点时，旋转角度计算单元112计算拍摄图像的旋转角度，在该旋转角度，起始点关于拍摄图像的中心位于指定的朝向。更具体地，旋转角度计算单元112可以计算旋转角度，以致起始点位于拍摄图像的中心之下。如后述讨论，例如当拍摄图像是通过使鱼眼镜头在垂直方向指向而拍摄的图像时，该旋转角度可以是用来旋转拍摄图像、以使得能更自然地观察通过与相机的运动一起流动的拍摄图像的角度。在这里，也可以说旋转角度计算单元112使用起始点作为基准点，并计算旋转角度，以使基准点关于拍摄图像的中心位于指定的朝向中。如后述讨论，在本实施例中，将作为拍摄图像的分析的结果而获得的起始点估计为拍摄图像中的关注点，并且旋转角度计算单元112利用该估计的关注点作为基准点来计算旋转角度。

图像编辑单元114例如根据存储在存储器中的程序而操作的CPU来实现，并且根据通过旋转角度计算单元112计算出的旋转角度旋转拍摄图像。如上述讨论，当在拍摄图像的外围部分中检测到起始点时，旋转角度计算单元112可以计算旋转角度，以使起始点关于拍摄图像的中心位于指定的朝向中。因此，当在拍摄图像的外围部分中检测到起始点时，也可以说图像编辑单元114旋转拍摄图像，以使起始点关于拍摄图像的中心位于指定的朝向中。更具体地，图像编辑单元114可以旋转拍摄图像，以使起始点位于拍摄图像的中心之下。如通过后述讨论的运动矢量的起始点和收敛点的更多具体的例子所证明，也可以说这种旋转处理是基于拍摄图像是在从收敛点向起始点移动时拍摄的图像的估计的处理。

显示控制单元116例如根据存储在存储器中的程序而操作的CPU来实现，并且控制例如通过诸如各种类型的显示器的输出设备实现的显示单元118来基于从存储单元104读出的数据显示图像。在这里，存储单元104可以存储通过图像编辑单元114编辑的图像，或者更具体地，根据通过旋转角度计算单元112计算出的旋转角度通过图像编辑单元114旋转的拍摄图像。因此，也可以说显示控制单元116使显示单元118显示作为从图像获取单元106到图像编辑单元114的处理结果而生成的图像。

(1-2.起始点和检测点的具体例子)

参考图2至图4，还将描述通过上述讨论的图像处理设备100的点检测单元110而检测到的运动矢量的起始点和收敛点的更多具体的例子。

图2是说明根据本公开的第一实施例的使相机在垂直方向指向而拍摄的拍摄图像的例子的图。图2说明了使相机10在垂直方向指向而拍摄的拍摄图像15的例子。相机10包括鱼眼镜头11，并且鱼眼镜头11的光轴方向是近似垂直的方向。另外，相机10在近似水平的方向上移动，或者换句话说在垂直于鱼眼镜头11的光轴方向的方向上移动。

在这种情况下，在拍摄图像15中，运动矢量V的起始点R和收敛点C都在外围部分中出现。当鱼眼镜头11的光轴方向是近似垂直的方向时，拍摄图像15的中央部分对应于相机10上方的区域，而拍摄图像15的外围部分对应于相机10周围的区域。在这里，拍摄图像15是包含相机10周围360度视角的360度图像。如果当在这种状态中相机10在近似水平的方向移动，那么在按时间连续拍摄的拍摄图像15中，在外围部分中的特定点，或者换句话说起始自对应于相机10朝向的方向的点的图像，将被主要划分到任何一侧上，沿外围部分流动，并且在外围部分中关于拍摄图像15的中心的相反侧的点处收敛，或者换句话说对应于相机10远离的方向的点。这样，运动矢量V的起始点R和收敛点C出现。在这种情况下，可以将观察者对于拍摄图像15的关注点估计为相机10朝向的目的地(或者换句话说，起始点R)。

如上述讨论，图像处理设备100的点检测单元110可以检测这样的起始点R和收敛点C。在这里，点检测单元110也可以利用起始点R和收敛点C之间的位置关系的规律性来提高检测处理的效率。例如，如果在拍摄图像15的外围部分的第一部分中发现起始点R，则收敛点C可能存在于关于拍摄图像15的中心位于第一部分的相反侧的第二部分中。因此，点检测单元110可以执行优先处理第二部分或限于第二部分的收敛点C的搜索。相反地，如果在拍摄图像15的外围部分的第一部分中发现收敛点C，则起始点R可能存在于关于拍摄图像15的中心位于第一部分的相反侧的第二部分中。因此，点检测单元110可以执行优先处理第二部分或限于第二部分的起始点R的搜索。

更具体地，例如，点检测单元110可以通过从拍摄图像15的边缘按次序分析运动矢量，来搜索起始点R或收敛点C，并且当在拍摄图像15的外围部分中发现起始点R或收敛点C时，点检测单元110可以把该部分看作第一部分，并使搜索的区域跳到对应于第一部分的第二部分(关于拍摄图像15的中心位于相反侧的部分)。这样，通过减少由点检测单元110执行的运动矢量分析的次数，整体上可以降低图像处理设备100上的处理负荷。

注意，当鱼眼镜头11的光轴方向关于垂直方向倾斜一定角度或更多时，只有起始点R或收敛点C中的一个会出现在拍摄图像15的外围部分中，而另一点可能位于拍摄图像15的范围外。在这种情况下，即使如上在第一部分中发现起始点R或收敛点C，但不会在第二部分中发现成对的收敛点C或起始点R。然而，在这种情况下，由于也可以认为收敛点C或起始点R在除第二部分之外的部分中不存在，如果在第二部分中未发现收敛点C或起始点R，则点检测单元110可结束搜索。

图3是说明根据本公开的第一实施例的通过使相机在水平方向指向而拍摄的拍摄图像的第一例子的图。图3说明了通过使相机10在水平方向指向而拍摄的拍摄图像15的例子。相机10包括鱼眼镜头11，并且鱼眼镜头11的光轴方向是近似水平的方向。另外，相机10在近似水平的方向上移动，且鱼眼镜头11在前方。

在这种情况下，在拍摄图像15中，只有运动矢量V的起始点R在中央部分出现。当相机10在鱼眼镜头11在前方的情况下移动时，拍摄图像15的中央部分对应于在相机10前方的区域，而拍摄图像15的外围部分对应于相机10的上方和下方以及相机10的左侧和右侧。如果在该状态下相机10向前移动，则在按时间连续拍摄的拍摄图像15中，中央部分中的特定点，或者换句话说起始自对应于相机10朝向的方向的点的图像，流向外围部分，并且继续扩散到拍摄图像15的边缘处。这样，只有运动矢量V的起始点R出现。在这种情况下，可以将观察者对于拍摄图像15的关注点估计为相机10朝向的目的地(或者换句话说，起始点R)。

图4是说明根据本公开的第一实施例的通过使相机在水平方向指向而拍摄的拍摄图像的第二例子的图。图4也说明了通过使相机10在水平方向指向而拍摄的拍摄图像15的例子。相机10包括鱼眼镜头11，并且鱼眼镜头11的光轴方向是近似水平的方向。另外，相机10在近似水平的方向移动，且鱼眼镜头11在后方。

在这种情况下，在拍摄图像15中，只有运动矢量V的收敛点C在中央部分出现。当相机10在鱼眼镜头11在后方的情况下移动时，拍摄图像15的中央部分对应于在相机10后方的区域，而拍摄图像15的外围部分对应于相机10的上方和下方以及相机10的左侧和右侧。如果在该状态下相机10向前移动，则在按时间连续拍摄的拍摄图像15中，从拍摄图像15的边缘出现的图像从外围部分流向中央部分，并且收敛到在中央部分中的点上，或者换句话说对应于相机10远离的方向的点。这样，只有运动矢量V的收敛点C出现。在这种情况下，可以将观察者对于拍摄图像15的关注点估计为相机10远离的方向(或者换句话说，收敛点C)。

(1-3.运动方向估计)

图5是概念地说明根据本公开的第一实施例的移动方向的估计的流程图。在本实施例中，当在拍摄图像的外围部分中检测到运动矢量的起始点时，图像处理设备100的图像编辑单元114可以旋转拍摄图像，以使起始点关于拍摄图像的中心位于指定的朝向中。如上所述，也可以说该处理是基于拍摄图像是在从收敛点向起始点移动时拍摄的图像的估计的处理。在这种情况下，在本公开的多个实施例中，可以执行基于拍摄图像的移动方向的估计的处理。图5概念地说明了这种估计的例子。

注意，下面描述的拍摄图像的移动方向的估计不一定限于明确地在图像处理设备100上执行。换句话说，拍摄图像的移动方向的估计不一定包含在通过图像处理设备100实现的功能中或在通过图像处理设备100执行的步骤中。然而，基于通过点检测单元110的起始点或收敛点的检测结果执行的处理，如上述图像编辑单元114的处理，例如可以是按照从检测结果估计的拍摄图像的移动方向而配置的处理。

参考图5，首先，图像获取单元106获取拍摄图像(步骤S101)。如上所述，在该点获取的拍摄图像是经由鱼眼镜头按时间连续拍摄的。随后，矢量计算单元108计算来自拍摄图像的运动矢量(步骤S103)。注意，尽管在图中说明了矢量计算单元108和点检测单元110的简单处理，但实现如在上述说明中提出的选项也是可能的。

此时，如果作为点检测单元110检测运动矢量的起始点或收敛点的结果，运动矢量的起始点和收敛点都存在(步骤S105，是)，则如图2中说明的例子，将拍摄图像估计为在从收敛点向起始点移动时拍摄的图像(步骤S107)。注意，如前述讨论，考虑到其中因为鱼眼镜头的光轴方向关于垂直方向倾斜等，只有起始点或收敛点的中的一个在拍摄图像的外围部分中出现，而另一个点位于拍摄图像的范围之外的情况，在步骤S105中的条件也可以被重新表述为“在拍摄图像的外围部分存在收敛点或起始点吗？”在这种情况下，在步骤S107中涉及的收敛点和起始点可以包括位于拍摄图像的范围之外的点。

另一方面，在步骤S105为否的情况下，如果在拍摄图像中存在起始点(步骤S109，是)，则将拍摄图像估计为在向起始点移动(或者换句话说，如图3中说明的例子那样接近起始点)时拍摄的图像(步骤S111)。而且，在步骤S109为否的情况下，如果在拍摄图像中存在收敛点(步骤S113，是)，则将拍摄图像估计为在远离收敛点移动时拍摄的图像，或者换句话说，如图4中说明的例子那样(步骤S115)。注意，尽管在图中未说明，但在步骤S115为否的情况下，或者换句话说，如果点检测单元110未检测到起始点或收敛点的任何一个，则也可以将拍摄图像估计为没有移动时拍摄的图像。

向前面描述的第一实施例应用如上描述的移动方向的估计会得到如下内容。

首先，如图2中说明的例子，如果将拍摄图像估计为在从收敛点向起始点移动时拍摄的图像(步骤S107)，则图像编辑单元114可以旋转拍摄图像，以使起始点关于拍摄图像的中心位于指定的朝向中。如后述讨论，这是因为当鱼眼镜头指向垂直方向的情况下在移动时拍摄的拍摄图像，在向前运动的方向关于图像的中心位于指定的朝向中时，更容易被观察到。

另一方面，如图3和图4说明的例子，如果将拍摄图像估计为在朝向起始点、或远离收敛点移动时拍摄的图像(步骤S111或S115)，则图像编辑单元114不旋转拍摄的图像。这是因为在如这些例子的图像中，上、下、左、右已经固定，旋转不是必须的。

(1-4.拍摄图像的旋转的例子)

还将参考图6和图7描述通过上述图像处理设备100的图像编辑单元114的拍摄图像的旋转的更具体的例子。注意，如图2中说明的例子，下文例子中给出的拍摄图像全部被看作在从收敛点向起始点移动时拍摄的图像。

图6是说明根据本公开的第一实施例的拍摄图像的旋转的第一例子的图。图6说明了其中对于运动矢量V存在起始点R和收敛点C的拍摄图像15。如果原样观察拍摄图像15，图像主要划分在拍摄图像15的任何一侧，并且从在左上角的起始点R流向在右下角的收敛点C。在经验上已知在这种状态下观察图像会使观察者在很多情况下感觉不适。

因此，在说明的例子中，旋转角度计算单元112计算旋转角度，以使起始点R位于拍摄图像15的中心之下，并且图像编辑单元114根据该计算出的旋转角度旋转图像15。旋转的拍摄图像15作为拍摄图像15r示出。在拍摄图像15r中，图像从在底部的起始点R流向在顶部的收敛点C，这样观察者不太可能感觉不适。

为了处理由于经由鱼眼镜头拍摄的拍摄图像的朝向而产生的观察者的不适，也可想到在安装相机到诸如车辆的交通方式上时锁定朝向，或者用独立于相机的传感器等检测相机朝向。然而，通过如上在拍摄了图像之后旋转拍摄的图像，可以提供更自然可观察的拍摄图像，而与拍摄图像时的相机朝向无关。

图7是说明根据本公开的第一实施例的拍摄图像的旋转的第二例子的图。类似于图6，图7同样说明了其中对于运动矢量V存在起始点R和收敛点C的拍摄图像15。在说明的例子中，旋转角度计算单元112计算旋转的角度以使连接起始点R和收敛点C的方向与左右方向匹配，并且图像编辑单元114根据计算出的旋转角度旋转拍摄图像15。在旋转的拍摄图像15r中，图像从在右边的起始点R流向在左边的收敛点C。当观察者的注意力在流动图像本身而不是相机朝向的目的地(即，起始点R)时，拍摄图像15r的这种朝向可能是合适的。

(2.第二实施例)

随后，将参考图8和图9描述本公开的第二实施例。在本实施例中，类似于根据上述第一实施例的图像处理设备100的功能通过在第一和第二图像处理设备之间分配而实现。

图8是说明根据本公开的第二实施例的第一图像处理设备的原理功能结构的框图，而图9是说明根据本公开的第二实施例的第二图像处理设备的原理功能结构的框图。

参考图8，第一图像处理设备200包括通信单元102、存储单元104、图像获取单元106、矢量计算单元108、点检测单元110和记录控制单元202。另外，第一图像处理设备200也可以包括旋转角度计算单元112。

在本实施例中，第一图像处理设备200是经由网络从另一个设备获取拍摄图像的设备，并且连同元数据记录获取的图像的设备。第一图像处理设备200经由网络从第二图像处理设备250接收具有相关联的元数据的图像。

参考图9，第二图像处理设备250包括通信单元252、存储单元254、图像获取单元256、旋转角度计算单元258和图像编辑单元114。另外，第二图像处理设备250也可以包括显示控制单元116和显示单元118。

在本实施例中，第二图像处理单元250是经由网络从第一图像处理设备200获取具有相关联的元数据的图像，并且根据该元数据编辑获取的图像的设备。第二图像处理设备250也可以经由网络向另一个设备传送已编辑的图像、在存储单元中存储已编辑的图像或自己显示已编辑的图像。

第一图像处理设备200和第二图像处理设备250例如可以是诸如各种PC、平板电脑、移动电话(包括智能电话)、游戏控制台或媒体播放器的终端设备，而且也可以是经由网络向终端设备提供服务的服务器。第一图像处理设备200和第二图像处理设备250例如通过后面讨论的信息处理设备的硬件结构来实现。当第一图像处理设备200或第二图像处理设备250是服务器时，设备的功能也可以通过在网络上连接的多个信息处理设备的协同操作来实现。在下文中，还将描述每个结构元件。注意，类似于上述第一实施例中描述的那些功能结构的功能结构将用共同的标记来表示，并因此减少或省略重复的描述。

记录控制单元202例如通过根据存储在存储器中的程序而操作的CPU来实现，并且与拍摄图像相关联地记录基于通过点检测单元110的起始点或收敛点的检测结果的元数据。例如，记录控制单元202可以记录检测到的起始点或收敛点在拍摄图像内的位置。并且，当第一图像处理设备200包括旋转角度计算单元112时，记录控制单元202也可以记录通过旋转角度计算单元112计算出的拍摄图像的旋转角度。

通信单元252例如通过通信设备来实现，并且经由各种有线或无线网络与包括第一图像处理设备200在内的其他设备通信。例如，通信单元252接收并在存储单元254中存储来自第一图像处理设备200的拍摄图像的数据以及元数据。作为另一个例子，通信单元252向另一个设备传送在第二图像处理设备250上编辑并在存储单元254中存储的图像的数据。此外，尽管没有说明，当第二图像处理设备250是服务器时，通信单元252接收诸如从接收服务的终端设备传送的处理请求的命令，并向第二图像处理设备250的部件提供该命令。

存储单元254例如通过存储设备和各种类型的存储器的组合来实现，并且暂时地或永久地存储第二图像处理设备250使用的各种数据。例如，存储单元254至少暂时地存储从第一图像处理设备接收的拍摄图像的数据和元数据，并且必要时向图像获取单元256或旋转角度计算单元258提供存储的数据和元数据。作为另一个例子，存储单元254至少暂时地存储通过图像编辑单元114编辑的图像的数据，并且必要时向通信单元252提供存储的数据用于向另一个设备的传输。或者，存储单元254也可以向显示控制单元116提供已编辑的图像的数据用于显示。

图像获取单元256例如通过根据存储在存储器中的程序而操作的CPU来实现，并且获取存储在存储单元254中的拍摄图像的数据。在这里，其数据是通过图像获取单元256获取的拍摄图像是经由鱼眼镜头按时间连续拍摄的图像。这些图像例如可以构成作为移动图像的一系列帧，或者可以是独立拍摄的两个或更多个静止图像。

当第一图像处理设备200不包括旋转角度计算单元112时，可以提供旋转角度计算单元258。旋转角度计算单元258例如通过根据存储在存储器中的程序而操作的CPU来实现。当在拍摄图像的外围部分中检测到起始点时，旋转角度计算单元258计算拍摄图像的旋转角度，以使起始点关于拍摄图像的中心位于指定的朝向中。在本实施例中，由于点检测单元110包含在第一图像处理设备200中，旋转角度计算单元258从存储单元254读出由第一图像处理设备200连同拍摄图像提供的的元数据，并且基于该元数据指定起始点在拍摄图像内的位置。

(3.第三实施例)

随后，将参考图10描述本公开的第三实施例。在本实施例中，类似于上述图像处理设备100的功能在执行成像的成像设备中实现。换句话说，在本实施例中，成像设备也用作图像处理设备。

图10是说明根据本公开的第三实施例的成像设备的原理功能结构的框图。参考图10，成像设备300包括成像单元302、图像获取单元304、存储单元104、矢量计算单元108、点检测单元110、旋转角度计算单元112和图像编辑单元114。成像设备300另外可以包括通信单元102。成像设备300另外还可以包括显示控制单元116和显示单元118。

在本实施例中，成像设备300是自身执行成像以获取拍摄图像并且编辑获取的图像的设备。成像设备300也可以经由网络将已编辑的图像传送至另一个设备、在存储单元中存储已编辑的图像或自己显示已编辑的图像。

成像设备300例如可以是其主要功能是成像功能的终端设备(如数字相机)，但也可以是包括成像功能作为附加功能的终端设备(如平板电脑、移动电话(包括智能电话)或游戏控制台)。成像设备300例如通过后面讨论的信息处理设备的硬件结构来实现。在下文中，还将描述每个结构元件。注意，类似于在上述第一实施例中描述的那些功能结构的功能结构将用共同的标记来表示，并因此减少或省略重复的描述。

成像单元302例如通过成像设备和图像处理电路来实现，成像设备包含诸如互补金属氧化物半导体(CMOS)传感器的图像传感器，图像处理电路执行诸如渐变和色调调整、噪声降低处理以及关于由图像传感器生成的原始数据尺寸变化的处理，并然后例如按诸如联合图像专家组(JPEG)的各种格式生成图像数据。成像单元302包括鱼眼镜头作为用于在图像传感器上控制物体图像的形成的镜头，并且向图像获取单元304提供经由鱼眼镜头按时间连续拍摄的拍摄图像。鱼眼镜头例如还可以可移除地附着于成像单元302，诸如在数字相机情况下的可互换镜头或在另一个终端设备的情况下的镜头附件等。

图像获取单元304例如根据存储在存储器中的程序而操作的CPU来实现，并且获取通过成像单元302拍摄的拍摄图像的数据。在这里，其数据是通过图像获取单元304获取的拍摄图像是经由成像单元302的鱼眼镜头按时间连续拍摄的图像。这些图像例如可以构成作为移动图像的一系列帧，或者可以是独立拍摄的两个或更多个静止图像。

(4.第四实施例)

随后，将参考图11和图12描述本公开的第四实施例。在本实施例中，类似于根据上述第三实施例的成像设备300的功能通过在成像设备和图像处理设备之间被分配而实现。

图11是说明根据本公开的第四实施例的成像处理设备的原理功能结构的框图，而图12是说明根据本公开的第四实施例的图像处理设备的原理功能结构的框图。

参考图11，成像设备400包括成像单元402、图像获取单元304、存储单元104、矢量计算单元108、点检测单元110和记录控制单元202。成像设备400另外可以包括通信单元102或旋转角度计算单元112。成像设备400另外还可以包括显示控制单元116和显示单元118。

在本实施例中，成像设备400是自身执行成像以获取拍摄图像并且连同元数据记录获取的图像的设备。成像设备400经由包含在存储单元104中的可移除记录介质向图像处理设备450传送带有相关联的元数据的图像，或者经由网络从通信单元102向图像处理设备450传送带有相关联的元数据的图像。

参考图12，图像处理设备450包括通信单元252、存储单元254、图像获取单元256、旋转角度计算单元258和图像编辑单元114。另外，图像处理设备450也可以包括显示控制单元116和显示单元118。注意，图像处理设备450的功能结构类似于根据上述第二实施例的第二图像处理设备250的功能结构。

在本实施例中，图像处理设备450是经由网络从成像设备400获取具有相关联的元数据的图像，并且根据该元数据编辑获取的图像的设备。图像处理设备450也可以经由网络向另一个设备传送已编辑的图像、在存储单元中存储已编辑的图像或自己显示已编辑的图像。

成像设备400例如可以是其主要功能是成像功能的终端设备(如数字相机)，但也可以是包括成像功能作为附加功能的终端设备(如平板电脑、移动电话(包括智能电话)或游戏控制台)。另外，图像处理设备450可以是诸如各种PC、平板电脑、移动电话(包括智能电话)、游戏控制台或媒体播放器的终端设备，并且也可以是经由网络向终端设备提供服务的服务器。成像设备400和图像处理设备450例如通过后面讨论的信息处理设备的硬件结构来实现。当图像处理设备450是服务器时，图像处理设备450的功能也可以通过在网络上连接的多个信息处理设备的协同操作来实现。在下文中，还将描述每个结构元件。注意，类似于上述第一至第三实施例中描述的那些功能结构的功能结构将用共同的标记来表示，并因此减少或省略重复的描述。

成像单元402具有类似于在上述第三实施例中描述的成像单元302的功能结构，但是成像单元402不仅向图像获取单元304提供拍摄图像，而且也在存储单元104中存储拍摄图像。通过成像设备400和记录控制单元202与拍摄图像相关联地记录元数据，但由于是通过图像处理设备450而不是成像设备400执行拍摄图像的编辑，可以从成像单元402提供存储在存储单元104中的拍摄图像。

(5.第五实施例)

随后，将参考图13至图15描述本公开的第五实施例。在本实施例的成像设备中，基于在拍摄图像中的运动矢量的起始点或收敛点的检测结果控制成像单元。不一定执行基于起始点或收敛点的检测结果的元数据的记录和拍摄图像的编辑。换句话说，本实施例可以包括将起始点或收敛点的检测结果用于成像单元而不是用于拍摄图像的编辑等的例子。

(5-1.功能结构)

图13是说明根据本公开的第五实施例的成像设备的原理功能结构的框图。参考图13，成像设备500包括成像单元402、图像获取单元304、存储单元104、矢量计算单元108、点检测单元110和成像控制单元502。成像设备500另外可以包括旋转角度计算单元112和图像编辑单元114，可以包括通信单元102，而且还可以包括显示控制单元116和显示单元118。尽管没有说明，成像设备500也可以包括在上述第二实施例中描述的记录控制单元202。

成像设备500例如可以是其主要功能是成像功能的终端设备(如数字相机)，但也可以是包括成像功能作为附加功能的终端设备(如平板电脑、移动电话(包括智能电话)或游戏控制台)。成像设备500例如通过后面讨论的信息处理设备的硬件结构来实现。在下文中，还将描述每个结构元件。注意，类似于上述第一至第四实施例中描述的那些功能结构的功能结构将用共同的标记来表示，并因此将减少或省略重复的描述。

成像控制单元502例如通过根据存储在存储器中的程序而操作的CPU来实现，并且基于通过点检测单元110的起始点或收敛点的检测结果控制成像单元402。成像控制单元502例如可以控制成像单元402，以使得最优化拍摄图像中包含起始点或收敛点的区域的图像。如果在拍摄图像中检测到起始点和收敛点两者，则成像控制单元502可以控制成像单元402以使得最优化包含起始点的区域的图像。更具体地，例如成像控制单元502可以控制成像单元402，以基于包含起始点或收敛点的区域来配置自动曝光(AE)、自动白平衡(AWB)或自动对焦(AF)。

(5-2.区域最优化的例子)

参考图14和图15，还将描述通过上述成像设备500的成像控制单元502的成像单元402的控制的更具体的例子。

图14是说明根据本公开的第五实施例的拍摄图像的区域最优化的第一例子的图。图14说明了其中针对运动矢量V存在起始点R和收敛点C的拍摄图像15。在这种情况下，成像控制单元502控制成像单元402以使得最优化包含起始点R的区域A的图像。更具体地，成像控制单元502可以控制成像单元402以使得基于区域A配置AE、AWB或AF。

如上述讨论，在如所示的例子的拍摄图像15中，相机朝向的目的地，或者换句话说起始点R，被估计成为观察者的关注点。因此，如果最优化包含起始点R的区域A的图像，就观察者的主观体验而言最优化效果变得更好。

图15是说明根据本公开的第五实施例的拍摄图像的区域最优化的第二例子的图。图15说明了其中针对运动矢量V仅存在收敛点C的拍摄图像15。在这种情况下，成像控制单元502控制成像单元402以使得最优化包含收敛点C的区域B的图像。更具体地，成像控制单元502可以控制成像单元402以使得基于区域B配置AE、AWB或AF。

如上述讨论，在如所示的例子的拍摄图像15中，相机远离的原点，或者换句话说收敛点C，被估计成为观察者的关注点。因此，如果最优化包含收敛点C的区域B的图像，就观察者的主观体验而言最优化效果变得更好。

注意，尽管没有说明，在其中仅存在运动矢量的起始点的拍摄图像的情况中，图像控制单元502类似地可以控制成像单元402，以使得最优化包含起始点的区域的图像。

在上述描述的本公开的第五实施例中，例如根据拍摄图像的移动方向，在包含估计观察者会关注的点的区域中最优化拍摄图像。因此，可以提供更容易看见的拍摄图像，其中至少在观察者关注的区域中实现最优的图像质量。

(6.第六实施例)

随后，将参考图16和图17描述本公开的第六实施例。在本实施例的成像设备中，基于在拍摄图像中的运动矢量的起始点或收敛点的检测结果控制拍摄图像的记录的执行和停止。不一定执行基于起始点或收敛点的检测结果的元数据的记录和拍摄图像的编辑。换句话说，本实施例可以包括将起始点或收敛点的检测结果用于拍摄图像的记录的控制而不用于拍摄图像的编辑等的例子。

(6-1.功能结构)

图16是说明根据本公开的第六实施例的成像设备的原理功能结构的框图。参考图16，成像设备600包括成像单元402、图像获取单元304、存储单元104、矢量计算单元108、点检测单元110和记录控制单元602。成像设备600另外可以包括旋转角度计算单元112，可以包括通信单元102，可以包括显示控制单元116和显示单元118，而且还可以包括成像控制单元502。尽管没有说明，成像设备600还可以包括在上述第一实施例中描述的图像编辑单元114。

成像设备600例如可以是其主要功能是成像功能的终端设备(如数字相机)，但也可以是包括成像功能作为附加功能的终端设备(如平板电脑、移动电话(包括智能电话)或游戏控制台)。成像设备600例如通过后面讨论的信息处理设备的硬件结构来实现。在下文中，还将描述每个结构元件。注意，类似于上述第一至第五实施例中描述的那些功能结构的功能结构将用共同的标记来表示，并因此减少或省略重复的描述。

记录控制单元602例如通过根据存储在存储器中的程序而操作的CPU来实现，并且基于通过点检测单元110的起始点或收敛点的检测结果控制拍摄图像的记录。例如，记录控制单元602可以当在拍摄图像中检测到起始点或收敛点时执行拍摄图像的记录，并当在既没检测到起始点也没检测到收敛点时停止拍摄图像的记录。或者，记录控制单元602可以当在拍摄图像中检测到起始点或收敛点时停止拍摄图像的记录，而当在既没检测到起始点也没检测到收敛点时执行拍摄图像的记录。在记录控制单元602执行拍摄图像的记录时，在存储单元104中记录通过成像单元402获取的拍摄图像。并且，在记录控制单元602停止拍摄图像的记录时，不在存储单元104中记录通过成像单元402获取的拍摄图像。

注意，除上述功能之外，记录控制单元602也可以包括与元数据相关联地记录拍摄图像的功能，类似于在上述第二实施例中描述的记录控制单元202。而且，当成像设备600包括未示出的图像编辑单元114时，通过图像编辑单元114编辑的图像(而不是从成像单元402提供的拍摄图像)被记录到存储单元104中。

(6-2.记录控制的例子)

图17是说明根据本公开的第六实施例的记录控制的例子的流程图。参考图17，首先，成像设备600的图像获取单元304从成像单元402获取拍摄图像(步骤S201)。随后，矢量计算单元108计算来自拍摄图像的运动矢量(步骤S203)。注意，尽管在图中示出了矢量计算单元108和点检测单元110的简单处理，但实现如上述第一实施例等中描述的选项也是可能的。

此时，如果作为点检测单元110检测运动矢量的起始点或收敛点的结果，在拍摄图像中存在起始点或收敛点中的至少一个(步骤S205，是)，则记录控制单元602执行或停止拍摄图像的记录(步骤S207)。另一方面，如果在拍摄图像中既不存在起始点也不存在收敛点(步骤S205，否)，则记录控制单元602停止或执行拍摄图像的记录(步骤S209)。注意，如果在步骤S207中执行拍摄图像的记录，则在步骤S209中停止拍摄图像的记录，反之如果在步骤S207中停止拍摄图像的记录，则在步骤S209中执行拍摄图像的记录。

此时，在其中当在拍摄图像中检测到起始点或收敛点时执行拍摄图像的记录并且否则停止拍摄图像的记录的例子中，仅在成像设备600移动时记录拍摄图像。另一方面，在其中当在拍摄图像中检测到起始点或收敛点时停止拍摄图像的记录并且否则执行拍摄图像的记录的例子中，仅在成像设备600停止和不移动时记录拍摄图像。例如根据诸如拍摄图像的目的之类的因素，可以酌情使用这些例子。

注意，作为上述第六实施例的变形例的例子，在类似于上述第二实施例的功能结构中，记录控制单元202还可以包括类似于上述记录控制单元602的功能。在这种情况下，第一图像处理设备200从已经拍摄的拍摄图像中提取在相机移动时拍摄的或在相机停止和不移动时拍摄的那个部分。

(7.硬件结构)

随后，将参考图18描述根据本公开的实施例的信息处理设备的硬件结构。图18是用于描述信息处理设备的硬件结构的框图。示出的信息处理设备900可以实现例如在上述实施例中的图像处理装置(包括第一图像处理装置和第二图像处理装置)和成像装置。

信息处理设备900包括中央处理单元(CPU)901、只读存储器(ROM)903和随机存取存储器(RAM)905。另外，信息处理设备900可以包括主机总线907、桥909、外部总线911、接口913、输入设备915、输出设备917、存储设备919、驱动器921、连接端口923和通信设备925。此外，信息处理设备900必要时可以包括成像设备933和传感器935。信息处理设备900可以包括取代CPU901或除CPU901之外的被称为数字信号处理器(DSP)或专用集成电路(ASIC)的处理电路。

CPU901用作操作处理器和控制器，并且依照记录在ROM903、RAM905、存储设备919或可移除记录介质927上的多个程序控制在信息处理设备900中的全部或一些操作。ROM903存储由CPU901使用的程序、操作参数等。RAM905主要存储在CPU901的执行中使用的程序和在执行中适当地改变的参数。CPU901、ROM903和RAM905通过包含诸如CPU总线的内部总线的主机总线907互相连接。另外，主机总线907经由桥909连接至诸如外部部件互联/接口(PCI)总线的外部总线911。

输入设备915是由用户操作的诸如鼠标、键盘、触摸板、按钮、开关和手柄的设备。输入设备915可以是例如利用红外光或其他无线电波的远程控制设备，或者可以是外部连接设备929(诸如可响应于信息处理设备900的操作而操作的移动电话)。输入设备915包括基于通过用户输入的信息生成输入信号和向CPU901输出该输入信号的输入控制电路。通过操作输入设备915，用户向信息处理设备900输入各种类型的数据或者要求处理操作。

输出设备917包括能够视觉地或听觉地将获取的信息通知用户的设备。输出设备917可以是诸如液晶显示器(LCD)、等离子显示器(PDP)、和有机电激发光(EL)显示器、诸如扬声器和耳机的音频输出设备、打印机设备等的显示设备。输出设备917可以以视频(诸如文本和图像)以及音频(诸如语音和声音)的格式，输出从信息处理设备900的处理获得的结果。

存储设备919是用于数据存储的设备，其被配置为信息处理设备900的存储单元的例子。存储设备919例如包括诸如硬盘驱动器(HDD)的磁存储设备、半导体存储设备、光存储设备或磁光存储设备。存储设备919存储将通过CPU901执行的程序、各种类型的数据、从外部获取的各种类型的数据等。

驱动器921是用于诸如磁盘、光盘、磁光盘和半导体存储器的可移除记录介质927的读/写器，并且内置在信息处理设备900中或从外部附接到信息处理设备900。驱动器921读出在附接到驱动器921的可移除记录介质927中记录的信息，并且向RAM905输出读出的信息。此外，驱动器921在附接到驱动器921的可移除记录介质927中写入记录。

连接端口923是用于直接将设备连接到信息处理设备900的端口。连接端口923可以包括例如通用串行总线(USB)端口、IEEE1394端口和小型计算机系统接口(SCSI)端口。连接端口923还可以包括RS－232C端口、光学音频终端、高清多媒体接口(HDMI)(注册商标)端口等。外部连接设备929到连接端口923的连接使得能够在信息处理设备900和外部连接设备929之间交换各种类型的数据。

通信设备925是例如包含用于连接到网络931的通信设备等的通信接口。通信设备925可以是例如用于有线或无线局域网(LAN)、蓝牙(注册商标)、无线USB(WUSB)等的通信卡。另外，通信设备925可以是用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器、用于各种通信的调制解调器等。通信设备925例如基于诸如TCP/IP的预定协议向因特网或其他通信设备发送或从因特网或其他通信设备接收信号。另外，连接至通信设备925的通信网络931可以是以有线或无线方式连接的网络，并且是例如因特网、家庭LAN、红外通信、无线电波通信、卫星通信等。

成像设备933是例如通过利用图像传感器(诸如电荷耦合设备(CCD)或互补金属氧化物半导体(CMOS))以及各种部件(诸如用于在图像传感器上控制物体图像的形成的镜头)而拍摄真实空间的图像来生成拍摄图像的设备。成像设备933可以是拍摄静止图像的设备，而且也可以是拍摄移动图像的设备。

传感器935包括诸如加速传感器、陀螺仪传感器、地磁传感器、光传感器和音频传感器的各种传感器。传感器935获取关于信息处理设备900的状态的信息(诸如信息处理设备900的壳体的姿势)，以及关于信息处理设备900周围的环境的信息(诸如信息处理设备900周围的亮度和噪声)。传感器935也可以包括接收GPS信号和测量设备的纬度、经度和高度的全球定位系统(GPS)传感器。

以上已经描述了信息处理设备900的硬件结构的例子。每个上述结构元件可以利用通用部件来配置，而且也可以利用在每个结构元件的功能中专门化的硬件来配置。这样的结构也可以酌情依照实现时的技术水平来修改。

(8.补充)

本公开的实施例可以包括例如上述信息处理设备(信息处理装置(包括第一图像处理装置和第二图像处理装置)或成像装置)、包含多个信息处理装置的系统、通过信息处理设备或系统执行的信息处理方法、用于使信息处理设备起作用的程序和在其上记录有程序的非临时性有形媒体。

上文参考附图描述了本发明的优选实施例，而本发明当然不限于上述例子。本领域技术人员可以在所附权利要求的范围内发现各种变更例和变形例，并且应当理解它们将在本发明的技术范围下自然出现。

另外，本技术也可以如下被配置。

(1)一种图像处理设备，包括：

图像获取单元，该图像获取单元获取经由鱼眼镜头按时间连续拍摄的拍摄图像；

矢量获取单元，该矢量获取单元获取拍摄图像中的运动矢量；以及

点检测单元，该点检测单元检测运动矢量的起始点或收敛点。

(2)根据(1)的图像处理设备，其中

点检测单元在拍摄图像的外围部分中检测起始点或收敛点。

(3)根据(2)的图像处理设备，其中

当在拍摄图像的第一部分中发现起始点或收敛点时，点检测单元在关于拍摄图像的中心位于在第一部分的相反侧的第二部分中搜索未发现的收敛点或起始点。

(4)根据(2)或(3)的图像处理设备，还包括：

处理单元，该处理单元执行基于拍摄图像是在从收敛点向起始点移动时拍摄的图像的估计的处理。

(5)根据(1)的图像处理设备，其中

点检测单元在拍摄图像的中央部分中检测起始点或收敛点中的一个。

(6)根据(5)的图像处理设备，还包括：

处理单元，该处理单元执行基于拍摄图像是在移向起始点时拍摄的图像或在远离收敛点时拍摄的图像的估计的处理。

(7)根据(1)至(6)的任何一个的图像处理设备，其中

点检测单元在基于运动矢量的幅度或方向而配置的搜索区域中搜索起始点或收敛点。

(8)根据(7)的图像处理设备，其中

点检测单元将其中运动矢量的幅度相对小的区域配置为搜索区域。

(9)根据(7)或(8)的图像处理设备，其中

点检测单元将其中相对多的运动矢量的方向相交的区域配置为搜索区域。

(10)根据(7)至(9)的任何一个的图像处理设备，其中

点检测单元基于按第一块尺寸计算出的运动矢量为拍摄图像整体配置搜索区域，

矢量获取单元至少为搜索区域按小于第一块尺寸的第二块尺寸获取运动矢量，以及

点检测单元基于按第二块尺寸计算出的运动矢量在搜索区域中搜索起始点或收敛点。

(11)根据(1)至(10)的任何一个的图像处理设备，还包括：

图像编辑单元，该图像编辑单元基于起始点或收敛点的搜索结果编辑拍摄图像。

(12)根据(11)的图像处理设备，其中

当在拍摄图像的外围部分中检测到起始点时，图像编辑单元以起始点关于拍摄图像的中心位于指定的朝向的方式旋转拍摄图像。

(13)根据(12)的图像处理设备，其中

图像编辑单元以起始点位于拍摄图像的中心之下的方式旋转拍摄图像。

(14)根据(1)至(10)的任何一个的图像处理设备，还包括：

记录控制单元，所述记录控制单元与拍摄图像相关联地记录基于起始点或收敛点的检测结果的信息。

(15)根据(1)至(14)的任何一个的图像处理设备，还包括：

成像控制单元，该成像控制单元基于起始点或收敛点的检测结果控制拍摄拍摄图像的成像单元。

(16)根据(15)的图像处理设备，其中

成像控制单元以最优化包含起始点或收敛点的区域的图像的方式控制成像单元。

(17)根据(16)的图像处理设备，其中

当在拍摄图像中检测到起始点和收敛点两者时，成像控制单元以更加优化包含起始点的区域的图像的方式控制成像单元。

(18)根据(1)至(17)的任何一个的图像处理设备，还包括：

记录控制单元，该记录控制单元基于起始点或收敛点的检测结果控制拍摄图像的记录。

(19)一种图像处理方法，包括：

获取经由鱼眼镜头按时间连续拍摄的拍摄图像；

获取拍摄图像中的运动矢量；以及

通过处理器检测运动矢量的起始点或收敛点。

(20)一种使计算机来实现以下内容的程序：

获取经由鱼眼镜头按时间连续拍摄的拍摄图像的功能；

获取拍摄图像中的运动矢量的功能；以及

检测运动矢量的起始点或收敛点的功能。

附图标记列表

100,450图像处理设备

102,252通信单元

104,254存储单元

106,256,304图像获取单元

108矢量计算单元

110点检测单元

112,258旋转角度计算单元

114图像编辑单元

200第一图像处理设备

202,602记录控制单元

250第二图像处理设备

300,400,500,600成像设备

302,402成像单元

502成像控制单元

Claims (20)

1.一种图像处理设备，包括：

图像获取单元，所述图像获取单元获取经由鱼眼镜头按时间连续拍摄的拍摄图像；

矢量获取单元，所述矢量获取单元获取拍摄图像中的运动矢量；以及

点检测单元，所述点检测单元检测运动矢量的起始点或收敛点。

2.根据权利要求1所述的图像处理设备，其中

点检测单元在拍摄图像的外围部分中检测起始点或收敛点。

3.根据权利要求2所述的图像处理设备，其中

当在拍摄图像的第一部分中发现起始点或收敛点时，点检测单元在关于拍摄图像的中心位于在第一部分的相反侧的第二部分中搜索未发现的收敛点或起始点。

4.根据权利要求2所述的图像处理设备，还包括：

处理单元，所述处理单元执行基于拍摄图像是在从收敛点向起始点移动时拍摄的图像的估计的处理。

5.根据权利要求1所述的图像处理设备，其中

点检测单元在拍摄图像的中央部分中检测起始点或收敛点中的一个。

6.根据权利要求5所述的图像处理设备，还包括：

处理单元，所述处理单元执行基于拍摄图像是在移向起始点时拍摄的图像或在远离收敛点时拍摄的图像的估计的处理。

7.根据权利要求1所述的图像处理设备，其中

点检测单元在基于运动矢量的幅度或方向而配置的搜索区域中搜索起始点或收敛点。

8.根据权利要求7所述的图像处理设备，其中

点检测单元将其中运动矢量的幅度相对小的区域配置为搜索区域。

9.根据权利要求7所述的图像处理设备，其中

点检测单元将其中相对多的运动矢量的方向相交的区域配置为搜索区域。

10.根据权利要求7所述的图像处理设备，其中

点检测单元基于按第一块尺寸计算出的运动矢量为拍摄图像整体配置搜索区域，

矢量获取单元至少为搜索区域按小于第一块尺寸的第二块尺寸获取运动矢量，以及

点检测单元基于按第二块尺寸计算出的运动矢量在搜索区域中搜索起始点或收敛点。

11.根据权利要求1所述的图像处理设备，还包括：

图像编辑单元，所述图像编辑单元基于起始点或收敛点的搜索结果编辑拍摄图像。

12.根据权利要求11所述的图像处理设备，其中

当在拍摄图像的外围部分中检测到起始点时，图像编辑单元以起始点关于拍摄图像的中心位于指定的朝向的方式旋转拍摄图像。

13.根据权利要求12所述的图像处理设备，其中

图像编辑单元以起始点位于拍摄图像的中心之下的方式旋转拍摄图像。

14.根据权利要求1所述的图像处理设备，还包括：

记录控制单元，所述记录控制单元与拍摄图像相关联地记录基于起始点或收敛点的检测结果的信息。

15.根据权利要求1所述的图像处理设备，还包括：

成像控制单元，所述成像控制单元基于起始点或收敛点的检测结果控制拍摄拍摄图像的成像单元。

16.根据权利要求15的图像处理设备，其中

成像控制单元以最优化包含起始点或收敛点的区域的图像的方式控制成像单元。

17.根据权利要求16的图像处理设备，其中

当在拍摄图像中检测到起始点和收敛点两者时，成像控制单元以更加优化包含起始点的区域的图像的方式控制成像单元。

18.根据权利要求1所述的图像处理设备，还包括：

记录控制单元，所述记录控制单元基于起始点或收敛点的检测结果控制拍摄图像的记录。

19.一种图像处理方法，包括：

获取经由鱼眼镜头按时间连续拍摄的拍摄图像；

获取拍摄图像中的运动矢量；以及

通过处理器检测运动矢量的起始点或收敛点。

20.一种使计算机来实现以下内容的程序：

获取经由鱼眼镜头按时间连续拍摄的拍摄图像的功能；

获取拍摄图像中的运动矢量的功能；以及

检测运动矢量的起始点或收敛点的功能。