CN102714696A - 图像处理装置、图像处理方法、程序及摄影装置 - Google Patents

图像处理装置、图像处理方法、程序及摄影装置 Download PDF

Info

Publication number
CN102714696A
CN102714696A CN2011800057377A CN201180005737A CN102714696A CN 102714696 A CN102714696 A CN 102714696A CN 2011800057377 A CN2011800057377 A CN 2011800057377A CN 201180005737 A CN201180005737 A CN 201180005737A CN 102714696 A CN102714696 A CN 102714696A
Authority
CN
China
Prior art keywords
image
movement
amount
cut
parallel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800057377A
Other languages
English (en)
Other versions
CN102714696B (zh
Inventor
大宫淳
山田整
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102714696A publication Critical patent/CN102714696A/zh
Application granted granted Critical
Publication of CN102714696B publication Critical patent/CN102714696B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明的图像处理装置具有：旋转移动量计算部（22），计算在时间上在第1图像之后拍摄的第2图像相对于第1图像的旋转移动量；切取图像生成部（243），切取第1图像的规定的第1范围并进行基于在摄影中使用的光学系统的特性的畸变校正，由此生成第1切取图像，而且切取第1校正图像的与第1范围对应的第2范围并进行所述畸变校正来生成第2切取图像，该第1校正图像是通过使用计算出的所述旋转移动量对所述第2图像在所述3个绕轴方向上的位置偏移进行了校正而得到的；平行移动量计算部（24），计算第2切取图像相对于第1切取图像的平行移动量；以及移动量确定部（26），根据计算出的旋转移动量和平行移动量，确定第2图像相对于第1图像的移动量。

Description

图像处理装置、图像处理方法、程序及摄影装置
技术领域
本发明涉及图像处理装置、图像处理方法、程序及摄影装置，尤其涉及图像校正的技术。
背景技术
近年来，提出了在摄像机、视频摄像机等摄影装置中校正图像的抖动的手抖动校正技术。
例如，专利文献1公开了这样的方法，从用摄像机拍摄到的动态图像的图像数据中按照每帧图像自动抽取规定数量的特征点，在动态图像的各帧图像中自动跟踪这些特征点，求出帧图像之间的对应关系，根据求出了对应关系的特征点的三维位置坐标求出包括摄像机的三维位置坐标和三维旋转坐标的摄像机矢量，由此进行基于图像处理的抖动校正。另外，例如专利文献2公开了这样的方法，在对鱼眼影像应用透视投影像的抖动校正方法的情况下，考虑摄像机的中心部分和周边部分的畸变特性，切取透视投影像的一部分来进行基于图像处理的抖动校正。
现有技术文献
专利文献
专利文献1：日本特开2005－295495号公报
专利文献2：日本特开2006－295626号公报
发明概要
发明要解决的问题
但是，在上述专利文献1及上述专利文献2所记载的方法中，如以下说明的那样存在很难进行高精度的手抖动校正的问题。
即，在上述专利文献1所记载的方法中，没有考虑到动态图像所包含的对象(object)等被摄体根据动态图像内的位置而变形。因此，不能根据摄像机的运动的方向及运动的大小准确求出摄像机矢量（表示帧图像间的位置偏移量的移动量），存在不能实现抖动校正的情况。这是在进行鱼眼影像等超广角摄影时尤其明显发生的问题。
在上述专利文献2所记载的方法中，在求出鱼眼影像的抖动量（位置偏移的程度）时暂且对透视投影像进行变换，并计算表示透视投影像间的位置偏移量的移动量作为鱼眼影像间的移动量。但是，与上述专利文献1同样地没有考虑到在鱼眼影像中由于被摄体的位置变化而发生了变形。即，没有考虑到在生成透视投影像时的形状变化（变形）根据在鱼眼影像中的被摄体位置不同而增大、以及移动量的标度(scale)根据该形状变化（变形）在透视投影图像内的中心部分和周边部分是不同的。因此，计算出的移动量的精度根据鱼眼影像内的被摄体的位置而明显下降。
在此，使用附图对在鱼眼影像的切取图像中根据被摄体的位置而产生变形的情况进行说明。图1A～图2B是用于说明切取图像中的被摄体根据鱼眼影像中的被摄体位置而产生变形的图。图1A和图2A表示鱼眼影像。在图1A和图2A中，作为被摄体的人物的位置不同。
图1B和图2B分别表示通过透视投影变换对图1A和图2A的中心附近（大致相当于虚线部分）进行切取而生成的切取图像。在图1A所示的鱼眼影像中，作为被摄体的人物基本位于中心部分，因而在其透视投影图像即图1B所示的切取图像中残留有若干变形（形状变化），但是其变形（形状变化）不大。另一方面，在图2A所示的鱼眼影像中，作为被摄体的人物在远离中心部分的位置，因而在其透视投影图像即图2B所示的切取图像中被摄体的幅度增大，可知残留有较大变形（形状变化）。如此可知，例如即使对图1A和图2A的鱼眼影像进行基于图像处理的匹配，根据鱼眼影像内的被摄体的位置不同，也很难进行高精度地检测抖动量。
另外，在上述专利文献1及上述专利文献2所记载的方法中，除了没有考虑到诸如上述的变形之外，还存在包含了基于采用的计算方式的误差的问题。
具体地讲，在上述专利文献1中，利用通过图像处理能够检测到的图像上的特征性的点即特征点来进行匹配，并且进行使从匹配成功的多个特征点得到的多个摄像机矢量的误差最小化的处理，因而针对各个特征点的校正量含有误差。其原因有以下因素等：1）在通常采用的特征点抽取算法（Lucas－Kanade法、SIFT法等）中，存在特征点计算精度因影像而下降、被摄体的特征点位置自身就含有误差的情况，2）很难从匹配成功的特征点的对组中仅选择一个最佳的对(pair)，3）因此需要进行计算后的摄像机矢量的误差的最小化。另外，在上述专利文献2中记载了采用利用特征点的模板匹配的示例，但如上所述在生成透视投影像时根据原来的鱼眼像中的位置而产生非线性的变形，因而除了以抖动量较小、而且变形的影响不易显现出来的透视投影像的展开中心附近为对象来进行模板匹配的情况之外，存在该匹配自身失败的情况。
在此，对基于特征点的匹配方法进行说明。
图3A～图3D是用于说明基于特征点的匹配方法的图。基于特征点的匹配采用共同存在于在时间上连续拍摄的两张图像间的被摄体上的几个特征点。下面，将两张图像中在时间上先拍摄的图像表述为图像t－1，将在时间上后拍摄的图像表述为图像t。
图3A是表示图像t－1和在时间上比图像t－1靠后拍摄的图像t的图。图3B是表示从图3A所示的图像t－1、图像t抽取的特征点的图。图3C是表示从图3B所示的图像t－1、图像t抽取的特征点的性质的类型的图。图3D是表示从图3B所示的图像t－1、图像t抽取的特征点的匹配的图。其中，特征点是指如上所述通过图像处理能够检测到的图像上的特征性的点。
图3A所示的图像t－1、图像t上的对比度较高的像素被选择为图3B所示的特征点。如图3B所示，位于诸如对比度极高的角落的特征点在图像间（图像t－1和图像t）容易被共同抽取出来，而对比度不那么高的特征点在图像间（图像t－1和图像t）不容易被共同抽取出来。
图3B所示的特征点包括：能够从在图像间（图像t－1和图像t）共同摄入的区域中得到的特征点（图3C中用○示出的特征点）；虽然能够从在图像间（图像t－1和图像t）共同摄入的区域中得到，但是位置在图像间（图像t－1和图像t）发生变化的特征点（图3C中用△示出的特征点）。另外，在图3B所示的特征点中也包括能够从在图像间（图像t－1和图像t）未共同摄入的区域中得到的特征点（图3C中用×示出的特征点）。图1B所示的特征点中能够匹配的特征点是能够从在图像间（图像t－1和图像t）共同摄入的区域中得到的特征点（图3C中用○示出的特征点）。
但是，能够从在图像间（图像t－1和图像t）共同摄入的区域中得到的特征点的位置或比率在匹配之前是未知的，因而哪个特征点是能够从在图像间（图像t－1和图像t）共同摄入的区域中得到的特征点也是未知的。因此，使用RANSAC（RANdom Sample Consensus：随机采样一致性）等方法，从在图像t－1中抽取的特征点和在图像t中抽取的特征点选出各个特征点的组合，利用事前设定的评价函数求出各个特征点的组合的评价值（图3D）。该评价值被设计为当是能够从在图像间（图像t－1和图像t）共同摄入的区域中得到的特征点的组合（下面表述为inlier：内层）时使评价值容易变高。
具体地讲，根据从在图像t－1中抽取的特征点和在图像t中抽取的特征点选择的两组特征点的组合，生成旋转矩阵。并且，为了验算所生成的旋转矩阵是否正确，使除所选择的特征点的组合之外的图像t－1的特征点按照所生成的旋转矩阵进行旋转，确认旋转后的图像t－1的特征点是否与图像t的特征点一致。如果旋转后的图像t－1的特征点与图像t的特征点一致，可知所生成的旋转矩阵表示正确的图像间的抖动量（位置偏移的程度）的可能性比较大，因而设定将该一致程度作为评价值的评价函数。在使用该评价函数进行规定次数搜索的阶段中断搜索，使用在该时刻得到了最大评价值的inlier来估计旋转矩阵。通常通过这种处理来进行基于特征点的匹配。
另外，该inlier是指诸如在图3C中用○示出的特征点那样共同存在于图像间的特征点，主要是能够从拍摄到的图像内的远景区域中得到的特征点。
这样，基于特征点的匹配是这样的方法，即：对在图像间（图像t－1和图像t）产生的抖动（位置偏移）反复进行搜索，使得能够从在图像t－1和图像t中共同摄入的区域中得到的图像t－1的特征点的分布和图像t的特征点的分布尽可能一致，并且是将能够从在图像t－1和图像t中共同摄入的区域中得到的特征点（inlier）的分布最为一致时的移动量估计为图像间（图像t－1和图像t）的抖动量的方法。
另外，在上述专利文献2中示例了基于利用传感器的运动检测的处理方法，而不是通过图像处理来进行抖动校正，但是在利用传感器的方法中存在很难进行高精度的手抖动校正的问题。下面对此进行说明。
在上述专利文献2中示例的利用陀螺仪等传感器的运动检测中，在不能取得传感器的性能（灵敏度、动态范围、计测轴等）与想要检测的运动之间的对应关系的情况下，传感器不能计算出正确的值。因此，在不能取得传感器的性能与想要检测的运动之间的对应关系的情况下，产生抖动校正的精度下降。尤其是在用户一边移动一边使用摄像机等摄影装置的情况下，起因于步行等的冲击被施加给摄影装置，使得传感器的输出紊乱。这样在传感器的输出紊乱的情况下，作为抖动量而检测到的值即传感器输出值不正确，因而不能使用检测到的值进行高精度的抖动校正。
发明内容
本发明正是鉴于上述情况而提出的，其目的在于，提供一种图像处理装置、图像处理方法、程序及摄影装置，能够高精度地计算出在时间上连续拍摄的多张图像间的抖动量。
用于解决问题的手段
为了达到上述目的，本发明的图像处理装置的一个方式是一种图像处理装置，用于校正在时间上连续拍摄的多个图像间的位置偏移，该图像处理装置具有：旋转移动量计算部，计算表示在时间上在第1图像之后拍摄的第2图像相对于所述第1图像的、在相互垂直的3个轴的绕轴方向上的旋转位置偏移量的旋转移动量；切取图像生成部，从所述第1图像和所述第2图像生成第1切取图像和第2切取图像；平行移动量计算部，计算表示所述第2切取图像相对于所述第1切取图像的平行方向的位置偏移量的平行移动量；以及移动量确定部，根据计算出的所述旋转移动量和所述平行移动量，确定表示所述第2图像相对于所述第1图像的位置偏移量的移动量，所述切取图像生成部切取所述第1图像的规定的第1范围，对切取出的所述规定的第1范围进行基于在摄影中使用的光学系统的特性的畸变校正，由此生成第1切取图像，并且切取第1校正图像的与所述规定的第1范围对应的第2范围，对切取出的该对应的第2范围进行所述畸变校正，由此生成第2切取图像，所述第1校正图像是通过使用计算出的所述旋转移动量对所述第2图像在所述3个绕轴方向上的旋转位置偏移量进行了校正得到的。
根据这种结构，通过分两个阶段来计算图像间的移动量，能够实现抑制运算成本的上升、而且高精度地计算在时间上连续拍摄的多个图像间的抖动量的图像处理装置。另外，本发明不仅能够实现为装置，而且也能够实现为具有这种装置具备的处理单元的集成电路，也能够实现为将构成该装置的处理单元作为步骤的方法，还能够实现为使计算机执行这些步骤的程序，还能够实现为表示该程序的信息、数据或者信号。并且，这些程序、信息、数据以及信号可以通过CD－ROM（Compact－Disc－Read OnlyMemory）等记录介质或因特网等通信介质进行发布。
发明效果
根据本发明，能够实现高精度地计算在时间上连续拍摄的多个图像间的抖动量的图像处理装置、图像处理方法、程序及摄影装置。因此，即使是诸如鱼眼像那样的超广角图像、而且其图像间的移动量增大到不能忽视图像的变形的程度的图像，也发挥能够进行准确的抖动量的计算和校正的效果。
附图说明
图1A是用于说明切取图像中的被摄体根据鱼眼影像中的被摄体位置而产生变形的图。
图1B是用于说明切取图像中的被摄体根据鱼眼影像中的被摄体位置而产生变形的图。
图2A是用于说明切取图像中的被摄体根据鱼眼影像中的被摄体位置而产生变形的图。
图2B是用于说明切取图像中的被摄体根据鱼眼影像中的被摄体位置而产生变形的图。
图3A是用于说明基于特征点的匹配方法的图。
图3B是用于说明基于特征点的匹配方法的图。
图3C是用于说明基于特征点的匹配方法的图。
图3D是用于说明基于特征点的匹配方法的图。
图4是表示本发明的实施方式1的图像处理装置的结构的框图。
图5是表示本发明的实施方式1的旋转移动量计算部的具体结构示例的框图。
图6是表示在本发明的实施方式1中存储特征点的列表的一例的图。
图7是用于说明基于图像平面和入射光及球面匹配的畸变校正处理的图。
图8A是用于说明在刚体模型中基于旋转的对位（匹配）的图。
图8B是用于说明在刚体模型中基于旋转的对位（匹配）的图。
图8C是用于说明在刚体模型中基于旋转的对位（匹配）的图。
图9是表示本发明的实施方式1的平行移动量计算部的具体结构示例的框图。
图10是用于说明本发明的实施方式1的移动量确定部的合成处理的图。
图11是用于说明本发明的实施方式1的图像处理装置的动作的流程图。
图12是表示本发明的实施方式1的图像处理装置的最小结构的图。
图13是表示本发明的实施方式2的图像处理装置的旋转移动量计算部的具体结构示例的框图。
图14是用于说明本发明的实施方式2的图像处理装置的动作的流程图。
图15是表示本发明的实施方式3的、将本申请的图像处理装置装配在摄影装置中的结构的框图。
图16是表示本发明的实施方式3的再现装置的结构的框图。
具体实施方式
下面，参照附图说明本发明的实施方式。
（实施方式1）
图4是表示本发明的实施方式1的图像处理装置的结构的框图。
图4所示的图像处理装置1是用于校正在时间上连续拍摄的多张图像间的位置偏移的图像处理装置，具有取得处理对象的图像数据的图像取得部11、和对所取得的图像数据进行处理的图像处理部12。
图像处理部12具有旋转移动量计算部22、旋转移动量判定部23、平行移动量计算部24、平行移动量判定部25、移动量确定部26、存储器28。
旋转移动量计算部22从图像取得部11取得处理对象的图像数据，计算存在于作为处理对象的两个图像间（例如第1图像和第2图像）的旋转移动量。具体地讲，旋转移动量计算部22计算表示在针对拍摄到的第1图像的第1图像时间之后拍摄的第2图像相对于所述第1图像的、在相互垂直的3个轴的绕轴方向上的旋转位置偏移量的旋转移动量。其中，所说在相互垂直的3个轴的绕轴方向上的旋转位置偏移量，是指在摄影中使用的光学系统的围绕光轴的旋转角度、或者围绕相对于在摄影中使用的光学系统的光轴而相互垂直的两个轴中的至少一个轴的旋转角度。另外，关于旋转移动量计算部22的详细情况将在后面进行说明，在此省略说明。
旋转移动量判定部23设于平行移动量计算部24的前级，判定旋转移动量的计算是否成功。具体地讲，旋转移动量判定部23判定旋转移动量计算部22对旋转移动量的计算是成功还是失败，在判定为成功时将旋转移动量计算部22的计算结果输出给平行移动量计算部24。更具体地讲，旋转移动量判定部23在判定为旋转移动量的计算成功的情况下，将该旋转移动量输出给平行移动量计算部24。旋转移动量判定部23在判定为旋转移动量的计算失败的情况下，将该旋转移动量设为表示没有在围绕3个轴的方向上的位置偏移的零值，并输出给平行移动量计算部24和移动量确定部26，使移动量确定部26将表示第1图像与第2图像之间的位置偏移量的移动量确定为该零值。
其中，所说计算失败，除了旋转移动量计算部22不能求出移动量的情况之外，还指虽然能够计算出移动量、但是该移动量与此前已计算出的移动量之差大于规定的值的情况，或在计算移动量的过程中求出的中间参数的值不合适的情况。另外，该判定的基准及方法可以根据允许的误差等适当设定，但不限于此。在旋转移动量的计算失败的情况下，也可以不实施截止到平行移动量计算部24～移动量确定部26的处理。在这种情况下，关于进行移动量的计算的两个图像间的移动量的设定，例如可以使用以下所述的方法进行设定。
1.将旋转移动量设为0。
2.利用以前计算成功的旋转移动量。
3.根据以前计算成功的旋转移动量和下一次计算成功的旋转移动量，进行例如内插处理等来进行估计。
平行移动量计算部24使用由旋转移动量计算部22计算出的旋转移动量生成用于计算平行移动量的图像数据，然后进行平行移动量计算处理并计算出平行移动量。具体地讲，平行移动量计算部24具有切取图像生成部，该切取图像生成部切取第1图像的规定的第1范围，对该切取出的规定的第1范围进行基于在摄影中使用的光学系统的特性的畸变校正，由此生成第1切取图像，而且切取通过使用计算出的旋转移动量对第2图像在所述3个绕轴方向上的位置偏移量进行校正而得到的第1校正图像的、与所述规定的第1范围对应的第2范围，对切取出的该对应的第2范围进行所述畸变校正，由此生成第2切取图像，平行移动量计算部24计算表示第2切取图像相对于第1切取图像的平行方向的位置偏移量的平行移动量。在此，平行移动量计算部24计算平行移动量，以便减小旋转移动量所包含的误差、即处理对象的两个图像间的位置的残差。另外，关于平行移动量计算部24的详细情况将在后面进行说明，在此省略说明。
平行移动量判定部25设于平行移动量计算部24后级，判定平行移动量的计算是成功还是失败。具体地讲，平行移动量判定部25在判定为平行移动量的计算成功的情况下，将该平行移动量输出给移动量确定部26。另一方面，平行移动量判定部25在判定为平行移动量的计算失败的情况下，将平行移动量设为表示没有平行方向的位置偏移的零值，并输出给移动量确定部26。
其中，所说计算失败，除了平行移动量计算部24不能求出平行移动量的情况之外，还指虽然能够计算出平行移动量、但是该平行移动量与此前已计算出的平行移动量之差大于规定的值的情况，或在计算平行移动量的过程中求出的中间参数的值不合适的情况。
移动量确定部26根据计算出的旋转移动量和平行移动量，确定表示第2图像相对于第1图像的位置偏移量的移动量。具体地讲，移动量确定部26将计算出的旋转移动量和计算出的平行移动量合成，并将得到的合成移动量确定为移动量。更具体地讲，移动量确定部26将从旋转移动量判定部23输出的旋转移动量和从平行移动量判定部25输出的平行移动量合成，并最终确定与两个图像的抖动量（位置偏移量）相当的校正参数。
另外，在由平行移动量判定部25判定为平行移动量计算部24对平行移动量的计算失败的情况下，移动量确定部26设为平行移动量为0，将由旋转移动量计算部22计算出的旋转移动量设为表示第1图像与第2图像之间的位置偏移量的移动量（最终的校正参数）。并且，在由旋转移动量判定部23判定为旋转移动量计算部22对旋转移动量的计算失败的情况下，移动量确定部26将表示第1图像与第2图像之间的位置偏移量的移动量（最终的校正参数）确定为该零值。
图像处理装置1是如上所述构成的。
下面，对旋转移动量计算部22的具体结构等进行说明。
图5是表示本发明的实施方式1的旋转移动量计算部22的具体结构示例的框图。
旋转移动量计算部22如图5所示具有特征点抽取部221、畸变去除部222、特征点匹配部223、误差最小化部224、存储器28a。
在此，关于表示存在于两个图像间的抖动量（位置偏移量）的移动量，通过定义刚体模型来说明利用对该刚体设定的围绕3个轴的旋转来进行表述的情况。并且，将在计算移动量时使用的图像数据和计算结果、各种参数的至少一次的量，记录在图中的存储器28a或者未图示的存储器28等中，根据需要能够再次利用。
特征点抽取部221从第1图像和第2图像抽取各个特征点。具体地讲，特征点抽取部221对所输入的图像数据进行分析，并计算特征点的抽取及其坐标和特征量。关于抽取特征点的方法已在图3A和图3B中进行说明，因而此处省略说明，但也可以不将进行特征点的计算的区域设为图像整体，而是设定诸如局部区域那样的限制。并且，特征点抽取部221将所抽取的特征点记录在如图6所示的存储每个特征点的特征量的列表中。该列表被存储在未图示的存储器28中。在此，图6是表示在本发明的实施方式1中存储特征点的列表的一例的图。
在图6中，坐标表示以图像的左上部为原点的正交坐标系，特征量表示Harris值，球面坐标表示后述的畸变校正后的坐标。另外，周边特征表示对象的像素与周边像素平均的对比度、浓度（亮度）、色差等的比值或者差分值、对象像素的浓度梯度矢量的方向及矢量强度。另外，每个特征点的特征量不限于图6所示的特征量，只要是对特征点匹配有用的参数即可。另外，为了兼顾运算成本和精度的平衡，也可以不利用计算出的全部特征点，而是对特征量进行排序(sort)，仅使用例如上位100点的特征量。
畸变去除部222去除由特征点抽取部221抽取出的第1图像的特征点和第2图像的特征点中、由于在摄影中使用的光学系统的光学畸变而产生的光学畸变。具体地讲，畸变去除部222对由特征点抽取部221抽取出的第1图像的特征点和第2图像的特征点中、由于在摄影中使用的光学系统的光学畸变而产生的位置偏移进行校正，由此去除该第1图像的特征点和第2图像的特征点的光学畸变。更具体地讲，畸变去除部222按照刚体模型对抽取出的特征点的坐标进行校正。即，畸变去除部222将由特征点抽取部221抽取出的图像上（二维）的特征点按照刚体模型展开到三维空间中（映射到球面上），由此去除存在于图像中的形状的畸变。下面，对该畸变校正处理进行说明。
图7是用于说明基于图像平面和入射光及球面匹配的畸变校正处理的图。
如图7所示，通过透镜64到达图像数据平面63（例如图像传感器）的光线62能够视为是从假想球面61上的点Q发出的。例如，在所使用的透镜64是立体投影方式的情况下，在设焦距为f、设OQ与透镜64的光轴即Z轴形成的夹角为θ时，图像数据平面63上的点T（u、v）与点Q之间具有满足（式1）的关系。并且，如果将（式1）进行变形，则θ能够表示为如（式2）那样。
Figure BDA00001870446800111
（式1）
Figure BDA00001870446800112
（式2）
其中，在设T（u、v）在uv平面中与u轴形成的夹角为Φ时，Φ能够表示为如（式3）那样。在设假想球面61的半径为R时，假想球面61上的点Q的坐标能够从（式2）和（式3）求出，如（式4）所示。
Φ＝arctan（v/u）（式3）
Q（x,y，z）＝（R·sinθcosΦ,R·sinθsinΦ,R·cosθ）（式4）
另外，为了简单起见，也可以将假想球面61设为半径R为1的单位球面。
通过拍摄被摄体得到的图像数据原本就是切取三维空间并投影于二维空间得到的数据。因此，能够按照上述的（式4）等将特征点的坐标展开到三维空间中（映射到球面上）。并且，通过将特征点的坐标展开到三维空间中，能够去除通过切取三维空间并投影于二维空间而产生的存在于图像数据平面63中的形状的畸变。
另外，实际上畸变去除部222将校正后的三维空间坐标追述到如图6所示的列表中，然后存储于存储器28a中，由此按照刚体模型对抽取出的特征点的坐标进行校正。
存储器28a记录有至少在前一次的旋转移动量计算中使用的特征点数据，该特征点数据被作为第1图像的信息而读出。另外，存储器28a也可以不设于旋转移动量计算部22中，而是存储器28的一部分区域。
特征点匹配部223利用由畸变去除部222去除了光学畸变的第1图像的特征点和第2图像的特征点进行匹配。具体地讲，第1图像的特征点和第2图像的特征点被输入特征点匹配部223，通过进行这些特征点之间的匹配处理，计算两个图像间的旋转移动量（例如旋转角度等在3个绕轴方向上的位置偏移量）。
在此，示出使用了刚体模型的基于旋转的对位（匹配）的示例。图8A～图8C是用于说明在刚体模型中基于旋转的对位（匹配）的图。
图8A表示对作为刚体的一例的球体设定相互垂直的3个轴，将围绕这些轴的旋转量分别设为θx、θy、θz的示例。其中，围绕相互垂直的3个轴的旋转量是在3个绕轴方向上的位置偏移量的典型示例。另外，图8B、图8C是表示将相同形状、大小的被摄体（在图中是星型）配置在球面上的不同位置的示例。在使用这种刚体模型的情况下，图8B和图8C只要能够进行至多各一次围绕各个轴的旋转，即可使被摄体位置一致。
这样，特征点匹配部223进行通过围绕各个轴的旋转使被摄体的位置一致的匹配处理，并计算出在3个绕轴方向上的位置偏移量（旋转移动量）。
另外，这种匹配处理只要是能够将两个图像的移动量用作特征点的方法即可，不限于图8示出的示例。例如，也可以使用RANSAC匹配法等。
误差最小化部224使用由特征点匹配部223进行的匹配成功的第1图像的特征点和与该特征点对应的第2图像的特征点的组，计算出使对第2图像在3个绕轴方向上的位置偏移进行校正时的误差为最小的旋转移动量。
通常，如图3D所示，在分别属于两个图像的两个特征点的组之间存在多个匹配成功的对（inlier）。使用这些inlier进行诸如使使用各个inlier时的误差的总和为最小的一种平均化处理。误差最小化部224是执行该处理的处理部。关于误差最小化部224执行的处理方法，能够使用Levenberg-Marquardt算法或梯度法、平均化等方法。
误差最小化部224通过进行上述处理，能够计算出表示在3个绕轴方向上的位置偏移量的旋转移动量。具体地讲，误差最小化部224计算表示旋转移动量的旋转矩阵R_rot，根据该旋转矩阵R_rot能够求出在3个绕轴方向上的旋转移动量（θx、θy、θz）。
另外，误差最小化部224不限于如图5所示设于特征点匹配部223后级的情况。只要能够执行上述的处理方法，则也可以设于特征点匹配部223的内部。
旋转移动量计算部22是如上所述构成的。
下面，对平行移动量计算部24的具体结构等进行说明。
图9是表示本发明的实施方式1的平行移动量计算部24的具体结构示例的框图。
平行移动量计算部24如图9所示具有第1校正图像生成部241、切取图像生成部243、图案匹配部244、存储器28b。下面，假设旋转移动量的计算成功来进行说明。
第1校正图像生成部241生成使用计算出的旋转移动量对第2图像在3个绕轴方向上的位置偏移进行了校正的第1校正图像。并且，第1校正图像生成部241具有坐标变换表生成部242，使坐标变换表生成部242生成坐标变换表，并且使用由坐标变换表生成部242生成的所述坐标变换表生成所述第1校正图像。
坐标变换表生成部242根据计算出的旋转移动量，生成表示第1校正图像的各个像素与第2图像的各个像素之间的对应关系的坐标变换表。具体地讲，在使用旋转移动量使第2图像在球面上旋转后，在第1校正图像生成部241生成校正图像时，坐标变换表生成部242生成记述了第2图像的各个像素与校正图像的各个像素的对应关系的坐标变换表。
更具体地讲，坐标变换表生成部242使在三维空间（球面）中展开的第2图像、在使上述的旋转矩阵R_rot发挥作用即在三维空间中旋转，由此求出第1校正图像的三维空间展开数据。坐标变换表生成部242在计算出的第1校正图像的三维空间展开数据和第2图像的三维空间展开数据中，变换为对应的光线的入射方向、各个图像平面中的像素位置的对应关系，并生成记述了该位置关系的坐标变换表。并且，第1校正图像生成部241使用由坐标变换表生成部242生成的坐标变换表，生成对第2图像相对于第1图像的旋转移动量进行了校正的第1校正图像，将该第1校正图像记录于存储器28b中。
切取图像生成部243切取第1图像的规定的第1范围，对切取出的规定的第1范围进行基于在摄影中使用的光学系统的特性的畸变校正，由此生成第1切取图像，而且切取第1校正图像的与规定的第1范围对应的第2范围，对切取出的该对应的第2范围进行基于在摄影中使用的光学系统的特性的畸变校正，由此生成第2切取图像。具体地讲，切取图像生成部243通过生成所切取的第1图像的规定的第1范围、和所切取的第1校正图像的对应的第2范围的透视投影图像，生成对第1图像的规定的第1范围以及第1校正图像的对应的第2范围进行了基于在摄影中使用的光学系统的特性的畸变校正而得到的第1切取图像和第2切取图像。
即，切取图像生成部243通过从第1图像及第1校正图像切取预先设定的规定尺寸的透视投影像，生成进行了基于在摄影中使用的光学系统的特性的畸变校正的第1切取图像和第2切取图像。
另外，所切取出的透视投影像也可以记录于存储器28b中，以便再次利用。
并且，关于第2切取图像的生成，也可以使坐标变换表包括旋转移动量的校正和所使用的光学系统特性双方，不经过第1校正图像的生成，即从第2图像求出。在这种情况下，坐标变换表生成部242包含于切取图像生成部243中。并且，按照坐标变换表所生成的图像成为旋转移动量和光学畸变双方得到了校正的透视投影像，因而不需要第1校正图像生成部241。
可是，该阶段即由切取图像生成部243生成第1切取图像和第2切取图像的阶段，成为根据旋转移动量进行对位的阶段，如果旋转移动量的精度足够，则成为彼此（第1切取图像和第2切取图像）非常相似的图像。在这种情况下，根据对刚体模型设定的旋转移动量使图像平面的平行移动量近似，由此表示能够校正切取图像（＝平面）的围绕光轴的旋转和平行移动。但是，如上所述在计算旋转移动量时，误差最小化部224处于最后级，为了得到对图像整体进行了整体优化的结果，不一定能够优化在显示及视听中使用的切取图像的移动量校正。因此，在图案匹配部244中进行图案匹配处理，以便使在所述切取图像之间、即由切取图像生成部243生成的第1切取图像和第2切取图像之间存在的误差为最小。
图案匹配部244对从第1图像和第1校正图像分别切取出的两个透视投影像（第1切取图像和第2切取图像）进行图案匹配，并计算存在于两个切取图像间的平行移动量。具体地讲，平行移动量计算部24对第1切取图像设定相互垂直的3个轴，计算该3个轴中至少1个轴向上的第2切取图像相对于第1切取图像的平行方向的位置偏移量，由此计算平行移动量。
另外，平行移动量的计算不限于图案匹配。例如，也可以进行对象匹配或者特征点匹配。并且，例如还可以执行POC（Phase Only Correlation：相位相关）法、光流法、对一个切取图像的一部分进行再切取并将其作为模板的模板匹配法等。
平行移动量计算部24是如上所述构成的。
并且，如上所述构成的平行移动量计算部24计算表示第2切取图像相对于所述第1切取图像的平行方向的位置偏移量的平行移动量。具体地讲，平行移动量计算部24计算表示平行移动量的delta＝（Δu、Δv）。
另外，为了简化说明，以上仅对图像平面上的相互垂直的两个轴进行了说明，但也可以进行与图像平面垂直的z方向的匹配。在进行z方向的匹配的情况下，等效于改变图像平面上的对象的大小即变焦(zoom)倍率。即，平行移动量计算部24针对第1切取图像将相互垂直的3个轴中的1个轴设为与切取图像垂直的方向的轴，计算在该垂直的方向的绕轴方向上第2切取图像相对于第1切取图像的平行移动量，作为表示第2切取图像相对于第1切取图像的放大率或者缩小率的值。
另外，存储器28a也可以不设于平行移动量计算部24，而是存储器28的一部分区域。
此外，移动量确定部26将例如由旋转移动量计算部22计算出的旋转矩阵R_rot和由平行移动量计算部24计算出的delta合成，最终确定与两个图像间（第1图像和第2图像）的抖动量（位置偏移量）相当的校正参数（合成移动量）。
下面，对在旋转移动量计算部22和平行移动量计算部24的计算都成功时由移动量确定部26确定的移动量（最终的校正参数）的意义进行说明。图10是用于说明使用本发明的实施方式1的校正参数对图像间的位置偏移进行校正得到的图像的图。
图10所示的切取图像71表示根据表示旋转移动量的R_rot，对第2图像相对于第1图像的3个绕轴方向上的位置偏移进行校正得到的第1校正图像的切取图像。图10所示的切取图像72示出根据将表示旋转移动量的旋转矩阵R_rot和表示平行移动量的delta进行合成得到校正参数（合成移动量），对第2图像相对于第1图像的3个绕轴方向上的位置偏移进行校正得到的切取图像。
即，切取图像72是指对切取图像71继续进行基于delta的校正得到的切取图像。所说基于delta的校正，意味着使切取图像71的点Q（u、v）移动到仅平行移动（Δu、Δv）后的点P（u＋Δu、v＋Δv）。通过将这种基于delta的校正应用于切取图像71的所有像素，能够得到使用平行移动后的切取图像72即校正参数对图像间的抖动量（位置偏移）进行校正得到的图像。
这样，通过将表示旋转移动量的R_rot和表示平行移动量的delta分别应用于第2图像，能够校正第2图像相对于第1图像的位置偏移（图像间的抖动量）。这样能够通过旋转移动量和平行移动量的合成处理来计算出最终的校正参数即移动量，这意味着在使生成切取图像71时的原点位置（＝展开中心）仅移动delta后，能够再次利用已生成的坐标变换表。
另外，包括旋转的坐标变换通常不是线性的。因此，在参数产生变更时需要进行表的再计算，然而在本实施方式的图像处理装置1中，能够通过将旋转和平行移动进行组合来校正图像间的抖动量，因而不需要进行表的再计算。另外，也可以是，使用（式1）等将delta变换为围绕3个轴的旋转移动量，并再次计算坐标变换表，由此将平行移动量合成到上述的旋转移动量中。但是，这种情况时需要再计算表的再运算成本。
下面，对如上所述构成的图像处理装置1的动作进行说明。
图11是用于说明本发明的实施方式1的图像处理装置的动作步骤的流程图。
首先，图像处理装置1由图像取得部11取得处理对象的图像数据。
然后，旋转移动量计算部22从图像取得部11取得处理对象的图像数据，计算存在于作为处理对象的两个图像间（例如第1图像和第2图像）的旋转移动量（S10）。具体地讲，特征点抽取部221从第1图像和第2图像抽取各个特征点（S101）。然后，畸变去除部222去除由特征点抽取部221抽取出的第1图像的特征点和第2图像的特征点中、由于在摄影中使用的光学系统的光学畸变而产生的光学畸变（S102）。然后，特征点匹配部223进行由畸变去除部222去除了光学畸变的第1图像的特征点与第2图像的特征点的匹配，由此计算出第1图像和第2图像间的旋转移动量（S103）。
然后，旋转移动量判定部23判定旋转移动量的计算是否成功（S20）。具体地讲，旋转移动量判定部23判定旋转移动量计算部22对旋转移动量的计算是成功还是失败（S201），在判定为旋转移动量的计算成功的情况下（S201：是），将该旋转移动量输出给平行移动量计算部24。另一方面，旋转移动量判定部23在判定为旋转移动量的计算失败的情况下（S201：否），将该旋转移动量设为表示没有3个绕轴方向上的位置偏移的零值（S202），并输出给平行移动量计算部24和移动量确定部26。
然后，平行移动量计算部24使用由旋转移动量计算部22计算出的旋转移动量生成用于计算平行移动量的图像数据，然后进行平行移动量计算处理并计算出平行移动量（S30）。具体地讲，坐标变换表生成部242根据计算出的旋转移动量，生成表示第1校正图像的各个像素与第2图像的各个像素之间的对应关系的坐标变换表（S301）。第1校正图像生成部241使用由坐标变换表生成部242生成的坐标变换表，生成对第2图像相对于第1图像的旋转移动量进行了校正而得到的第1校正图像（S302）。然后，切取图像生成部243通过生成所切取的第1图像的规定的第1范围、和所切取的第1校正图像的对应的第2范围的透视投影图像，生成第1切取图像和第2切取图像（S303）。然后，图案匹配部244对从第1图像和第1校正图像分别切取出的两个透视投影像（第1切取图像和第2切取图像）进行图案匹配，并计算存在于两个切取图像间的平行移动量（S304）。
然后，平行移动量判定部25判定平行移动量的计算是成功还是失败（S40）。具体地讲，平行移动量判定部25判定平行移动量的计算是成功还是失败（S401），在判定为平行移动量的计算成功的情况下（S401：是），将该平行移动量输出给移动量确定部26。另一方面，平行移动量判定部25在判定为平行移动量的计算失败的情况下（S401：否），将平行移动量设为表示没有平行方向的位置偏移的零值（S402），并输出给移动量确定部26。
然后，移动量确定部26根据计算出的旋转移动量和平行移动量，确定表示第2图像相对于第1图像的位置偏移量的移动量（S50）。
如上所述，图像处理装置1确定用于校正在时间上连续拍摄的多张图像间的位置偏移的校正参数即移动量。
并且，使用由图像处理装置1确定的移动量，生成对在时间上连续拍摄的多张图像间的位置偏移进行校正得到的校正图像。
根据以上所述的本实施方式，能够实现高精度地计算出在时间上连续拍摄的多张图像间的抖动量的图像处理装置及图像处理方法。例如，即使是对于现有方式比较困难的鱼眼影像等超广角影像，也能够高精度地进行抖动量的计算，因而通过使用所确定的抖动量来校正图像，能够提高视听时的影像质量。即，即使是诸如鱼眼像那样的超广角图像、而且其图像间的移动量增大到不能忽视图像的变形的程度的图像，也发挥能够进行准确的抖动量的计算和校正的效果。
另外，在本实施方式的图像处理装置中，针对鱼眼影像等超广角影像发挥显著效果，因而是优选的应用示例，但是不限于此。也能够应用于视场角约70度以下的通常视场角影像。此时，在所述第1图像和第2图像之间需要至少面积大于50％的共同部分，因而在以通常的视场角进行拍摄时，以在相比超广角摄影时抑制了手抖动的状态下进行应用为条件，也能够发挥效果。另外，采用本申请的抖动检测方式对于包括鱼眼的超广角、通常视场角都需要光学参数（投影方式、焦距、图像传感器的尺寸、像素数等）。
另外，也可以是，图像处理装置1具有校正图像生成部，该校正图像生成部使用由移动量确定部26确定的校正参数（合成移动量），生成对在时间上连续拍摄的多张图像间的位置偏移即第2图像的位置偏移进行校正得到的校正图像。并且，在这种情况下，也可以将由校正图像生成部生成的校正图像存储于存储器28中。
另外，以上叙述的图像处理装置1具有图像取得部11和图像处理部12，图像处理部12具有旋转移动量计算部22、旋转移动量判定部23、平行移动量计算部24、平行移动量判定部25、移动量确定部26、存储器28，但不限于此。如图12所示，作为图像处理装置1的最小结构，只要具有如下的图像处理部12a即可，该图像处理部12a具有：旋转移动量计算部22、包括切取图像生成部243的平行移动量计算部24、移动量确定部26。在此，图12是表示本发明的实施方式1的图像处理装置的最小结构的图。对与图4相同的要素标注相同的标号，并省略详细说明。
图像处理装置1至少具有该图像处理部12a，由此能够高精度地计算在时间上连续拍摄的多张图像间的抖动量。即使是诸如鱼眼像那样的超广角图像、而且其图像间的移动量增大到不能忽视图像的变形的程度的图像，也发挥能够进行准确的抖动量的计算和校正的效果。
（实施方式2）
在实施方式1中，通过由旋转移动量计算部22进行图像处理来计算旋转移动量，但不限于此。在实施方式2中，对在旋转移动量计算部中使用传感器来计算旋转移动量、而不是通过图像处理来计算旋转移动量的情况进行说明。
图13是表示本发明的实施方式2的图像处理装置的旋转移动量计算部的具体结构示例的框图。对与图5相同的要素标注相同的标号，并省略详细说明。
图13所示的旋转移动量计算部32具有传感器信息取得部321、滤波器部322、传感器信息运算部323、存储器28c。
传感器信息取得部321取得来自安装于未图示的摄影装置的传感器的信息（传感器信息）。另外，传感器在物理上是安装于摄影装置，但在逻辑上也可以构成于传感器信息取得部321中。
安装于摄影装置的传感器至少与影像同步地、以影像的帧速率以上的采样间隔来计测摄像机的运动。旋转移动量计算部32计算旋转移动量，优选此处使用的传感器是角速度传感器、角加速度传感器等能够计测旋转成分的传感器。但是，使用加速度传感器或方位传感器等也能够求出近似的旋转角度，因而也可以使用这些类型的传感器。
滤波器部322按照传感器信息的每个计测轴进行滤波处理。在此，滤波器部322的处理内容根据传感器的类型及取得速率而不同。在使用角速度传感器、角加速度传感器的情况下，通常在去除尖峰噪声等后使HPF（High Pass Filter：高通滤波器）发挥作用。相反，在使用加速度传感器的情况下，通常是使用LPF（Low Pass Filter：低通滤波器）。关于滤波器的特性，根据分别使用的传感器的特性（频率灵敏度、动态范围等）和想要检测的运动的特性进行设定即可。在传感器信息的采样速率高于图像的帧速率的情况下，也可以使用多个传感器信息来估计取得某个图像的时刻的移动量。
存储器28c保存滤波器部322的结果和至少一个以上的过去的滤波处理后的传感器信息。另外，存储器28c也可以不设于旋转移动量判定部23，而是存储器28的一部分区域。
传感器信息运算部323根据滤波器部322的输出和在存储器28c中存储的传感器信息来计算旋转移动量。即，传感器信息运算部323进行根据传感器信息来抽取旋转移动量的处理。最简单的处理是按照传感器的每个计测轴，求出最新的传感器信息与在时间上位于1个采样（与图像同步）之前的传感器信息之间的差分。如此计算出旋转移动量。
旋转移动量计算部32是如上所述构成的。
另外，在利用图13所示的旋转移动量计算部32取代图5所示的旋转移动量计算部22来构成图像处理装置1的本实施方式中，旋转移动量判定部23与实施方式1相同地将计算出的旋转移动量、与在时间上的前一个所计算出的值进行比较，根据是否是规定的范围内的差分等，判定旋转移动量的计算是否成功。
下面，对如上所述构成的实施方式2的图像处理装置的动作步骤进行说明。
图14是用于说明本发明的实施方式2的图像处理装置的动作步骤的流程图。另外，对与图11相同的要素标注相同的标号，并省略详细说明。
即，旋转移动量计算部22从图像取得部11取得处理对象的图像数据，计算存在于作为处理对象的两个图像间（例如第1图像和第2图像）的旋转移动量（S15）。具体地讲，传感器信息取得部321从图像取得部11取得处理对象的图像数据，并且通过传感器取得针对处理对象的图像的传感器信息（S151）。然后，按照传感器信息的每个计测轴进行滤波处理（S152）。然后，传感器信息运算部323根据滤波器部322的输出和在存储器28c中存储的传感器信息计算旋转移动量（S153）。
然后，旋转移动量计算部23将计算出的旋转移动量、与在时间上前一个所计算出的值进行比较，根据是否是规定的范围内的差分等，判定旋转移动量的计算是否成功（S20）。以后的处理与实施方式1相同，因而省略说明。
如上所述，图像处理装置确定用于校正在时间上连续拍摄的多张图像间的位置偏移的校正参数即移动量。并且，使用由图像处理装置1确定的移动量，生成对在时间上连续拍摄的多张图像间的位置偏移进行校正得到的校正图像。
另外，在像本实施方式的图像处理装置这样使用传感器来计算旋转移动量的情况下，与实施方式1所示的通过图像处理来计算旋转移动量的情况相比，不是求出图像整体的大局上的旋转移动量，而是根据计测摄影装置自身的运动的结果来求出旋转移动量。但是，传感器具有抗冲击性较弱、惯性噪声和其它轴灵敏度重叠、在传感器特性和想要检测的运动的背离较大时精度下降等物理上的制约，因而仅依据旋转移动量来进行高精度的校正是有限制的。因此，使用与实施方式1相同的方法即使用平行移动量计算部24来求出平行移动量，将计算出的旋转移动量和平行移动量进行合成，由此发挥能够进行高精度的校正的效果。
根据以上所述的本实施方式，能够实现高精度地计算出在时间上连续拍摄的多张图像间的抖动量的图像处理装置、图像处理方法、程序及摄影装置。例如，即使是对于现有方式比较困难的鱼眼影像等超广角影像，也能够高精度地进行抖动量的计算，因而通过使用所确定的抖动量来校正图像，能够提高视听时的影像质量。即，即使是诸如鱼眼像那样的超广角图像、而且其图像间的移动量增大到不能忽视图像的变形的程度的图像，也发挥能够进行准确的抖动量的计算和校正的效果。
（实施方式3）
在实施方式3中，作为安装实施方式1或者实施方式2的图像处理装置的装置，以摄影装置为例进行说明。
图15是表示本发明的实施方式3的、将本申请的图像处理装置装配在摄影装置中的结构的框图。图16是表示本发明的实施方式3的再现装置的结构的框图。
图15所示的摄影装置8具有本申请的图像处理装置1、聚光用的透镜部81、图像传感器82、校正图像生成部83、编码器部84、外部介质装置85、传感器部86、监视器部87、网络接口装置88。
透镜部81收集构成影像的图像数据。图像传感器82用于收集构成影像的图像数据，根据通过透镜部81而会聚的光来生成图像并进行输出。图像传感器82例如利用CCD或CMOS等构成。
传感器部86具有传感器，向图像处理装置1输出传感器信息。也可以是，在图像处理装置1构成旋转移动量计算部32、并利用传感器信息的情况下，设置传感器部86，在图像处理装置1构成旋转移动量计算部22、并通过图像处理来计算旋转移动量的情况下，不设置传感器部86。
图像处理装置1利用在实施方式1或者实施方式2中说明的方法，将由图像处理部12确定的校正参数（移动量）和所取得的图像数据输出给校正图像生成部83。
校正图像生成部83根据校正参数（移动量）生成校正图像（显示/记录用的切取图像）。在此，校正图像生成部83位于图像处理装置1的外部，但也可以如上所述是设于图像处理装置1中。
监视器部87实时地确认校正图像生成部83生成的校正影像（校正图像）。另外，在不实时地确认校正图像生成部83生成的校正影像（校正图像）的情况下，也可以不设置监视器部87。并且，也可以取代监视器部87，而在摄影装置8设置未图示的影像输出用的端子等，在外部监视器进行显示。
编码器部84生成编码后的动态图像数据。具体地讲，编码器部84对校正图像生成部83生成的校正影像进行H.264等的动态图像压缩处理（编码），并输出给外部介质装置85或网络接口装置88。在此，在存在声音信息的情况下，编码器部84在获取与影像的同步的同时一并进行编码。另外，也可以在编码器部84的前级设置选择单元，用于选择作为编码器部84的处理对象的、由图像传感器82生成的图像和由校正图像生成部83生成的图像中的至少一方图像。
外部介质装置85在例如SD卡或硬盘、DVD等介质中记录由编码器部84进行压缩后的校正影像（校正后切取图像）。
并且，网络接口装置88也可以通过网络来发布由编码器部84进行处理后的校正影像。
另外，也可以是，编码器部84不仅对校正影像（校正后切取图像）进行编码，而且也对在与图像处理装置1确定的校正参数（移动量）和图像传感器82取得的影像数据获取同步后进行打包的数据源进行编码。在这种情况下，通过介质或者网络发布使被压缩的影像数据移动到图16所示的再现装置。
图16所示的再现装置9至少具有用于读取被压缩的影像数据的外部介质装置85或者用于接收被压缩的影像数据的网络接口装置88、缓冲器91、解码器部92、校正图像生成部83，再现装置9具有同时执行被压缩的影像数据的解码和校正参数抽取，并生成进行了抖动校正的影像数据进行输出的功能。
另外，再现装置9也可以构成于摄影装置8中。并且，再现装置9也可以构成于图像处理装置1的前级，再现装置9还可以构成于图像取得部11中。
另外，也可以是，再现装置9也可以构成于图像处理装置1的图像取得部11，摄影装置8构成于图像处理装置1的前级。在这种情况下，图像取得部11取得被编码后的动态图像数据（编码图像），将被解码后的多个图像输出给图像处理部。
另外，网络接口装置88不限于所谓因特网，也可以利用USB或IEEE1394等。
根据以上所述的本发明，能够实现高精度地计算抖动量的图像处理装置。
以上关于本发明的图像处理装置、具有图像处理装置的摄影装置、图像处理方法、图像处理程序，根据实施方式进行了说明，但本发明不限于该实施方式。只要不脱离本发明的宗旨，对本实施方式实施本行业人员能够想到的各种变形得到的方式、将不同实施方式中的构成要素进行组合而构件的方式，均包含于本发明的范围之内。
产业上的可利用性
本发明的图像处理装置具有计算旋转移动量和平行移动量的两个移动量计算部，能够用作抖动校正装置等。并且，也能够应用于鱼眼影像等超广角摄影，因而能够应用于佩戴于身体上且免提(hands free)地进行摄影的可佩戴式摄像机、或在桥梁和街头等设置的监视摄像机等用途。
标号说明
1图像处理装置；8摄影装置；9再现装置；11图像取得部；12、12a图像处理部；22、32旋转移动量计算部；23旋转移动量判定部；24平行移动量计算部；25平行移动量判定部；26移动量确定部；28、28a、28b、28c存储器；61假想球面；62光线；63图像数据平面；64透镜；71、72切取图像；81透镜部；82图像传感器；83校正图像生成部；84编码器部；85外部介质装置；86传感器部；87监视器部；88网络接口装置；91缓冲器；92解码器部；221特征点抽取部；222畸变去除部；223特征点匹配部；224误差最小化部；241第1校正图像生成部；242坐标变换表生成部；243切取图像生成部；244图案匹配部；321传感器信息取得部；322滤波器部；323传感器信息运算部。
权利要求书(按照条约第19条的修改)
1.（补正后）一种图像处理装置，用于校正在时间上连续拍摄的多个图像间的位置偏移，该图像处理装置具有：
旋转移动量计算部，计算表示在时间上在第1图像之后拍摄的第2图像相对于所述第1图像的、在相互垂直的3个轴的绕轴方向上的旋转位置偏移量的旋转移动量；
切取图像生成部，从所述第1图像和所述第2图像生成第1切取图像和第2切取图像；
平行移动量计算部，计算表示所述第2切取图像相对于所述第1切取图像的平行方向的位置偏移量的平行移动量；
移动量确定部，根据计算出的所述旋转移动量和所述平行移动量，确定表示所述第2图像相对于所述第1图像的位置偏移量的移动量；以及
校正部，使用所确定的所述移动量来校正所述第2图像相对于所述第1图像的位置偏移量，
所述切取图像生成部切取所述第1图像的规定的第1范围，对切取出的所述规定的第1范围进行基于在摄影中使用的光学系统的特性的畸变校正，由此生成第1切取图像，并且切取第1校正图像的与所述规定的第1范围对应的第2范围，对切取出的该对应的第2范围进行所述畸变校正，由此生成第2切取图像，所述第1校正图像是通过使用计算出的所述旋转移动量对所述第2图像在所述3个绕轴方向上的旋转位置偏移量进行了校正得到的。
2.根据权利要求1所述的图像处理装置，
所述平行移动量计算部对所述第1切取图像设定相互垂直的3个轴，计算该3个轴中至少1个轴向上的所述第2切取图像相对于所述第1切取图像的平行方向的位置偏移量，由此计算平行移动量。
3.根据权利要求2所述的图像处理装置，
所述平行移动量计算部将所述3个轴中的1个轴设为与所述切取图像垂直方向的轴，计算在该垂直方向的轴的方向上所述第2切取图像相对于所述第1切取图像的平行移动量，作为表示所述第2切取图像相对于所述第1切取图像的放大率或者缩小率的值。
4.根据权利要求2所述的图像处理装置，
所述平行移动量计算部进行所述第1切取图像与所述第2切取图像之间的图案匹配、对象匹配或者特征点匹配，由此计算所述平行移动量。
5.根据权利要求1所述的图像处理装置，
所述平行移动量计算部具有第1校正图像生成部，该第1校正图像生成部根据计算出的所述旋转移动量，生成对所述第2图像在所述3个绕轴方向上的位置偏移进行了校正而得到的第1校正图像，
所述第1校正图像生成部还具有坐标变换表生成部，该坐标变换表生成部根据计算出的所述旋转移动量，生成表示所述第1校正图像的各个像素与所述第2图像的各个像素之间的对应关系的坐标变换表，所述第1校正图像生成部使所述坐标变换表生成部生成所述坐标变换表，并且使用由所述坐标变换表生成部生成的所述坐标变换表生成所述第1校正图像。
6.根据权利要求1所述的图像处理装置，
所述切取图像生成部生成所切取的所述第1图像的所述规定的第1范围的透视投影图像、和所切取的所述第1校正图像的所述对应的第2范围的透视投影图像，由此对所述第1图像的所述规定的第1范围和所述第1校正图像的所述对应的第2范围进行所述畸变校正，并生成所述第1切取图像和所述第2切取图像。
7.根据权利要求1所述的图像处理装置，
所述图像处理装置在所述平行移动量计算部的前级还具有旋转移动量判定部，该旋转移动量判定部判定所述旋转移动量的计算是否成功，
所述旋转移动量判定部在判定为所述旋转移动量的计算成功的情况下，将该旋转移动量输出给所述平行移动量计算部，
所述旋转移动量判定部在判定为所述旋转移动量的计算失败的情况下，将该旋转移动量设为表示没有在所述3个绕轴方向上的位置偏移的零值，并输出给所述平行移动量计算部和所述移动量确定部，使所述移动量确定部将表示所述第1图像与所述第2图像之间的位置偏移量的移动量确定为该零值。
8.根据权利要求1所述的图像处理装置，
所述图像处理装置在所述平行移动量计算部的后级还具有平行移动量判定部，该平行移动量判定部判定所述平行移动量的计算是否成功，
所述平行移动量判定部在判定为所述平行移动量的计算成功的情况下，将该平行移动量输出给所述移动量确定部，
所述平行移动量判定部在判定为所述平行移动量的计算失败的情况下，将该平行移动量设为表示没有所述平行方向的位置偏移的零值，并输出给所述移动量确定部。
9.根据权利要求1所述的图像处理装置，
所述旋转移动量计算部计算围绕所述光学系统的光轴的旋转角度、或者围绕相对于所述光学系统的光轴而相互垂直的两个轴中至少一个轴的旋转角度，由此计算所述第2图像相对于所述第1图像的旋转移动量。
10.根据权利要求9所述的图像处理装置，
所述旋转移动量计算部由计测所述旋转角度的至少一个传感器构成。
11.根据权利要求10所述的图像处理装置，
所述传感器由角加速度传感器、角速度传感器、加速度传感器、以及方位传感器中的至少一种传感器构成。
12.根据权利要求1所述的图像处理装置，
所述旋转移动量计算部具有：
特征点抽取部，从所述第1图像和所述第2图像分别抽取特征点；
畸变去除部，去除由所述特征点抽取部抽取出的所述第1图像的特征点和所述第2图像的特征点中、因为所述光学系统的光学畸变而产生的光学畸变；
特征点匹配部，利用由所述畸变去除部去除了光学畸变的该第1图像的特征点和该第2图像的特征点进行匹配；以及
误差最小化部，使用由所述特征点匹配部进行的匹配已成功的该第1图像的特征点和与该特征点对应的该第2图像的特征点的组，计算出旋转移动量，以使得对所述第2图像在所述3个绕轴方向上的位置偏移进行校正时的误差为最小。
13.根据权利要求1～12中任意一项所述的图像处理装置，
所述移动量确定部将对计算出的所述旋转移动量和计算出的所述平行移动量进行合成而得到的合成移动量确定为所述移动量。
14.根据权利要求13所述的图像处理装置，
所述图像处理装置还具有：
校正图像生成部，使用由所述移动量确定部确定的所述移动量，生成对所述第2图像的位置偏移进行了校正而得到的校正图像；以及
存储器，存储由所述校正图像生成部生成的所述图像。
15.根据权利要求14所述的图像处理装置，
所述图像处理装置还具有：
图像数据取得部，取得编码后的编码图像；以及
解码部，对所述图像数据取得部取得的编码图像进行解码，抽取连续图像数据并依次输出给第1移动量计算部，
在图像数据和声音数据和传感器信息包含于所述编码图像中时，所述解码部将它们分离，并保存与抽取出的所述连续图像数据之间的同步关系。
16.一种摄影装置，该摄影装置具有：
权利要求1～13中任意一项所述的图像处理装置；
聚光用的透镜部；
图像传感器，记录通过所述透镜部而会聚的光并生成图像，将所生成的图像输出给所述图像处理装置的所述第1移动量计算部；
校正图像生成部，使用由所述图像处理装置的所述移动量确定部确定的所述移动量，生成对所述第2图像的位置偏移进行了校正而得到的校正图像；
编码器部，对所输入的图像进行编码，并生成编码图像；以及
选择部，选择由所述图像传感器生成的图像和由所述校正图像生成部生成的图像中的至少一种图像，并输出给所述编码器部。
17.根据权利要求16所述的摄影装置，
所述摄影装置还具有用于计测所述摄影装置的运动的传感器部，
所述传感器部与所述摄影装置拍摄的图像同步地计测所述摄影装置的运动，将计测到的运动与对应的图像一起输出给所述第1移动量计算部。
18.（补正后）一种图像处理方法，用于校正在时间上连续拍摄的多个图像间的位置偏移，该图像处理方法包括：
旋转移动量计算步骤，计算表示在时间上在第1图像之后拍摄的第2图像相对于所述第1图像的、在相互垂直的3个轴的绕轴方向上的旋转位置偏移量的旋转移动量；
切取图像生成步骤，从所述第1图像和所述第2图像生成第1切取图像和第2切取图像；
平行移动量计算步骤，计算表示所述第2切取图像相对于所述第1切取图像的平行方向的位置偏移量的平行移动量；
移动量确定步骤，根据在所述旋转移动量计算步骤计算出的所述旋转移动量和在所述平行移动量计算步骤计算出的所述平行移动量，确定表示所述第2图像相对于所述第1图像的位置偏移量的移动量；以及
校正步骤，使用所确定的所述移动量来校正所述第2图像相对于所述第1图像的位置偏移量，
所述切取图像生成步骤切取所述第1图像的规定的第1范围，对切取出的所述规定的第1范围进行基于在摄影中使用的光学系统的特性的畸变校正，由此生成第1切取图像，并且切取第1校正图像的与所述规定的第1范围对应的第2范围，对切取出的该对应的第2范围进行所述畸变校正，由此生成第2切取图像，所述第1校正图像是通过使用计算出的所述旋转移动量对所述第2图像在所述3个绕轴方向上的旋转位置偏移量进行了校正得到的。
19.（补正后）一种程序，用于校正在时间上连续拍摄的多个图像间的位置偏移，该程序使计算机执行如下步骤：
旋转移动量计算步骤，计算表示在时间上在第1图像之后拍摄的第2图像相对于所述第1图像的、在相互垂直的3个轴的绕轴方向上的旋转位置偏移量的旋转移动量；
切取图像生成步骤，从所述第1图像和所述第2图像生成第1切取图像和第2切取图像；
平行移动量计算步骤，计算表示所述第2切取图像相对于所述第1切取图像的平行方向的位置偏移量的平行移动量；
移动量确定步骤，根据在所述旋转移动量计算步骤计算出的所述旋转移动量和在所述平行移动量计算步骤计算出的所述平行移动量，确定表示所述第2图像相对于所述第1图像的位置偏移量的移动量；以及
校正步骤，使用所确定的所述移动量来校正所述第2图像相对于所述第1图像的位置偏移量，
所述切取图像生成步骤切取所述第1图像的规定的第1范围，对切取出的所述规定的第1范围进行基于在摄影中使用的光学系统的特性的畸变校正，由此生成第1切取图像，并且切取第1校正图像的与所述规定的第1范围对应的第2范围，对切取出的该对应的第2范围进行所述畸变校正，由此生成第2切取图像，所述第1校正图像是通过使用计算出的所述旋转移动量对所述第2图像在所述3个绕轴方向上的旋转位置偏移量进行了校正得到的。
20.（补正后）一种集成电路，用于校正在时间上连续拍摄的多个图像间的位置偏移，该集成电路具有：
旋转移动量计算部，计算表示在时间上在第1图像之后拍摄的第2图像相对于所述第1图像的、在相互垂直的3个轴的绕轴方向上的旋转位置偏移量的旋转移动量；
切取图像生成部，从所述第1图像和所述第2图像生成第1切取图像和第2切取图像；
平行移动量计算部，计算表示所述第2切取图像相对于所述第1切取图像的平行方向的位置偏移量的平行移动量；
移动量确定部，根据计算出的所述旋转移动量和所述平行移动量，确定表示所述第2图像相对于所述第1图像的位置偏移量的移动量；以及
校正部，使用所确定的所述移动量来校正所述第2图像相对于所述第1图像的位置偏移量，
所述切取图像生成部切取所述第1图像的规定的第1范围，对切取出的所述规定的第1范围进行基于在摄影中使用的光学系统的特性的畸变校正，由此生成第1切取图像，并且切取第1校正图像的与所述规定的第1范围对应的第2范围，对切取出的该对应的第2范围进行所述畸变校正，由此生成第2切取图像，所述第1校正图像是通过使用计算出的所述旋转移动量对所述第2图像在所述3个绕轴方向上的旋转位置偏移量进行了校正得到的。

Claims (20)

1.一种图像处理装置，用于校正在时间上连续拍摄的多个图像间的位置偏移，该图像处理装置具有：
旋转移动量计算部，计算表示在时间上在第1图像之后拍摄的第2图像相对于所述第1图像的、在相互垂直的3个轴的绕轴方向上的旋转位置偏移量的旋转移动量；
切取图像生成部，从所述第1图像和所述第2图像生成第1切取图像和第2切取图像；
平行移动量计算部，计算表示所述第2切取图像相对于所述第1切取图像的平行方向的位置偏移量的平行移动量；以及
移动量确定部，根据计算出的所述旋转移动量和所述平行移动量，确定表示所述第2图像相对于所述第1图像的位置偏移量的移动量，
所述切取图像生成部切取所述第1图像的规定的第1范围，对切取出的所述规定的第1范围进行基于在摄影中使用的光学系统的特性的畸变校正，由此生成第1切取图像，并且切取第1校正图像的与所述规定的第1范围对应的第2范围，对切取出的该对应的第2范围进行所述畸变校正，由此生成第2切取图像，所述第1校正图像是通过使用计算出的所述旋转移动量对所述第2图像在所述3个绕轴方向上的旋转位置偏移量进行了校正得到的。
2.根据权利要求1所述的图像处理装置，
所述平行移动量计算部对所述第1切取图像设定相互垂直的3个轴，计算该3个轴中至少1个轴向上的所述第2切取图像相对于所述第1切取图像的平行方向的位置偏移量，由此计算平行移动量。
3.根据权利要求2所述的图像处理装置，
所述平行移动量计算部将所述3个轴中的1个轴设为与所述切取图像垂直方向的轴，计算在该垂直方向的轴的方向上所述第2切取图像相对于所述第1切取图像的平行移动量，作为表示所述第2切取图像相对于所述第1切取图像的放大率或者缩小率的值。
4.根据权利要求2所述的图像处理装置，
所述平行移动量计算部进行所述第1切取图像与所述第2切取图像之间的图案匹配、对象匹配或者特征点匹配，由此计算所述平行移动量。
5.根据权利要求1所述的图像处理装置，
所述平行移动量计算部具有第1校正图像生成部，该第1校正图像生成部根据计算出的所述旋转移动量，生成对所述第2图像在所述3个绕轴方向上的位置偏移进行了校正而得到的第1校正图像，
所述第1校正图像生成部还具有坐标变换表生成部，该坐标变换表生成部根据计算出的所述旋转移动量，生成表示所述第1校正图像的各个像素与所述第2图像的各个像素之间的对应关系的坐标变换表，所述第1校正图像生成部使所述坐标变换表生成部生成所述坐标变换表，并且使用由所述坐标变换表生成部生成的所述坐标变换表生成所述第1校正图像。
6.根据权利要求1所述的图像处理装置，
所述切取图像生成部生成所切取的所述第1图像的所述规定的第1范围的透视投影图像、和所切取的所述第1校正图像的所述对应的第2范围的透视投影图像，由此对所述第1图像的所述规定的第1范围和所述第1校正图像的所述对应的第2范围进行所述畸变校正，并生成所述第1切取图像和所述第2切取图像。
7.根据权利要求1所述的图像处理装置，
所述图像处理装置在所述平行移动量计算部的前级还具有旋转移动量判定部，该旋转移动量判定部判定所述旋转移动量的计算是否成功，
所述旋转移动量判定部在判定为所述旋转移动量的计算成功的情况下，将该旋转移动量输出给所述平行移动量计算部，
所述旋转移动量判定部在判定为所述旋转移动量的计算失败的情况下，将该旋转移动量设为表示没有在所述3个绕轴方向上的位置偏移的零值，并输出给所述平行移动量计算部和所述移动量确定部，使所述移动量确定部将表示所述第1图像与所述第2图像之间的位置偏移量的移动量确定为该零值。
8.根据权利要求1所述的图像处理装置，
所述图像处理装置在所述平行移动量计算部的后级还具有平行移动量判定部，该平行移动量判定部判定所述平行移动量的计算是否成功，
所述平行移动量判定部在判定为所述平行移动量的计算成功的情况下，将该平行移动量输出给所述移动量确定部，
所述平行移动量判定部在判定为所述平行移动量的计算失败的情况下，将该平行移动量设为表示没有所述平行方向的位置偏移的零值，并输出给所述移动量确定部。
9.根据权利要求1所述的图像处理装置，
所述旋转移动量计算部计算围绕所述光学系统的光轴的旋转角度、或者围绕相对于所述光学系统的光轴而相互垂直的两个轴中至少一个轴的旋转角度，由此计算所述第2图像相对于所述第1图像的旋转移动量。
10.根据权利要求9所述的图像处理装置，
所述旋转移动量计算部由计测所述旋转角度的至少一个传感器构成。
11.根据权利要求10所述的图像处理装置，
所述传感器由角加速度传感器、角速度传感器、加速度传感器、以及方位传感器中的至少一种传感器构成。
12.根据权利要求1所述的图像处理装置，
所述旋转移动量计算部具有：
特征点抽取部，从所述第1图像和所述第2图像分别抽取特征点；
畸变去除部，去除由所述特征点抽取部抽取出的所述第1图像的特征点和所述第2图像的特征点中、因为所述光学系统的光学畸变而产生的光学畸变；
特征点匹配部，利用由所述畸变去除部去除了光学畸变的该第1图像的特征点和该第2图像的特征点进行匹配；以及
误差最小化部，使用由所述特征点匹配部进行的匹配已成功的该第1图像的特征点和与该特征点对应的该第2图像的特征点的组，计算出旋转移动量，以使得对所述第2图像在所述3个绕轴方向上的位置偏移进行校正时的误差为最小。
13.根据权利要求1～12中任意一项所述的图像处理装置，
所述移动量确定部将对计算出的所述旋转移动量和计算出的所述平行移动量进行合成而得到的合成移动量确定为所述移动量。
14.根据权利要求13所述的图像处理装置，
所述图像处理装置还具有：
校正图像生成部，使用由所述移动量确定部确定的所述移动量，生成对所述第2图像的位置偏移进行了校正而得到的校正图像；以及
存储器，存储由所述校正图像生成部生成的所述图像。
15.根据权利要求14所述的图像处理装置，
所述图像处理装置还具有：
图像数据取得部，取得编码后的编码图像；以及
解码部，对所述图像数据取得部取得的编码图像进行解码，抽取连续图像数据并依次输出给第1移动量计算部，
在图像数据和声音数据和传感器信息包含于所述编码图像中时，所述解码部将它们分离，并保存与抽取出的所述连续图像数据之间的同步关系。
16.一种摄影装置，该摄影装置具有：
权利要求1～13中任意一项所述的图像处理装置；
聚光用的透镜部；
图像传感器，记录通过所述透镜部而会聚的光并生成图像，将所生成的图像输出给所述图像处理装置的所述第1移动量计算部；
校正图像生成部，使用由所述图像处理装置的所述移动量确定部确定的所述移动量，生成对所述第2图像的位置偏移进行了校正而得到的校正图像；
编码器部，对所输入的图像进行编码，并生成编码图像；以及
选择部，选择由所述图像传感器生成的图像和由所述校正图像生成部生成的图像中的至少一种图像，并输出给所述编码器部。
17.根据权利要求16所述的摄影装置，
所述摄影装置还具有用于计测所述摄影装置的运动的传感器部，
所述传感器部与所述摄影装置拍摄的图像同步地计测所述摄影装置的运动，将计测到的运动与对应的图像一起输出给所述第1移动量计算部。
18.一种图像处理方法，用于校正在时间上连续拍摄的多个图像间的位置偏移，该图像处理方法包括：
旋转移动量计算步骤，计算表示在时间上在第1图像之后拍摄的第2图像相对于所述第1图像的、在相互垂直的3个轴的绕轴方向上的旋转位置偏移量的旋转移动量；
切取图像生成步骤，从所述第1图像和所述第2图像生成第1切取图像和第2切取图像；
平行移动量计算步骤，计算表示所述第2切取图像相对于所述第1切取图像的平行方向的位置偏移量的平行移动量；以及
移动量确定步骤，根据在所述旋转移动量计算步骤计算出的所述旋转移动量和在所述平行移动量计算步骤计算出的所述平行移动量，确定表示所述第2图像相对于所述第1图像的位置偏移量的移动量，
所述切取图像生成步骤切取所述第1图像的规定的第1范围，对切取出的所述规定的第1范围进行基于在摄影中使用的光学系统的特性的畸变校正，由此生成第1切取图像，并且切取第1校正图像的与所述规定的第1范围对应的第2范围，对切取出的该对应的第2范围进行所述畸变校正，由此生成第2切取图像，所述第1校正图像是通过使用计算出的所述旋转移动量对所述第2图像在所述3个绕轴方向上的旋转位置偏移量进行了校正得到的。
19.一种程序，用于校正在时间上连续拍摄的多个图像间的位置偏移，该程序使计算机执行如下步骤：
旋转移动量计算步骤，计算表示在时间上在第1图像之后拍摄的第2图像相对于所述第1图像的、在相互垂直的3个轴的绕轴方向上的旋转位置偏移量的旋转移动量；
切取图像生成步骤，从所述第1图像和所述第2图像生成第1切取图像和第2切取图像；
平行移动量计算步骤，计算表示所述第2切取图像相对于所述第1切取图像的平行方向的位置偏移量的平行移动量；以及
移动量确定步骤，根据在所述旋转移动量计算步骤计算出的所述旋转移动量和在所述平行移动量计算步骤计算出的所述平行移动量，确定表示所述第2图像相对于所述第1图像的位置偏移量的移动量，
所述切取图像生成步骤切取所述第1图像的规定的第1范围，对切取出的所述规定的第1范围进行基于在摄影中使用的光学系统的特性的畸变校正，由此生成第1切取图像，并且切取第1校正图像的与所述规定的第1范围对应的第2范围，对切取出的该对应的第2范围进行所述畸变校正，由此生成第2切取图像，所述第1校正图像是通过使用计算出的所述旋转移动量对所述第2图像在所述3个绕轴方向上的旋转位置偏移量进行了校正得到的。
20.一种集成电路，用于校正在时间上连续拍摄的多个图像间的位置偏移，该集成电路具有：
旋转移动量计算部，计算表示在时间上在第1图像之后拍摄的第2图像相对于所述第1图像的、在相互垂直的3个轴的绕轴方向上的旋转位置偏移量的旋转移动量；
切取图像生成部，从所述第1图像和所述第2图像生成第1切取图像和第2切取图像；
平行移动量计算部，计算表示所述第2切取图像相对于所述第1切取图像的平行方向的位置偏移量的平行移动量；以及
移动量确定部，根据计算出的所述旋转移动量和所述平行移动量，确定表示所述第2图像相对于所述第1图像的位置偏移量的移动量，
所述切取图像生成部切取所述第1图像的规定的第1范围，对切取出的所述规定的第1范围进行基于在摄影中使用的光学系统的特性的畸变校正，由此生成第1切取图像，并且切取第1校正图像的与所述规定的第1范围对应的第2范围，对切取出的该对应的第2范围进行所述畸变校正，由此生成第2切取图像，所述第1校正图像是通过使用计算出的所述旋转移动量对所述第2图像在所述3个绕轴方向上的旋转位置偏移量进行了校正得到的。
CN201180005737.7A 2010-11-11 2011-11-08 图像处理装置、图像处理方法及摄影装置 Expired - Fee Related CN102714696B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010253260 2010-11-11
JP2010-253260 2010-11-11
PCT/JP2011/006228 WO2012063467A1 (ja) 2010-11-11 2011-11-08 画像処理装置、画像処理方法、プログラム及び撮影装置

Publications (2)

Publication Number Publication Date
CN102714696A true CN102714696A (zh) 2012-10-03
CN102714696B CN102714696B (zh) 2016-03-02

Family

ID=46050632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180005737.7A Expired - Fee Related CN102714696B (zh) 2010-11-11 2011-11-08 图像处理装置、图像处理方法及摄影装置

Country Status (5)

Country Link
US (1) US8681230B2 (zh)
EP (1) EP2640058B1 (zh)
JP (1) JP5960595B2 (zh)
CN (1) CN102714696B (zh)
WO (1) WO2012063467A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306854A (zh) * 2014-05-30 2016-02-03 精工爱普生株式会社 图像处理装置、显示装置、图像处理方法以及程序
CN105324781A (zh) * 2013-06-26 2016-02-10 索尼公司 图像处理设备、图像处理方法以及程序
CN105472263A (zh) * 2014-09-12 2016-04-06 聚晶半导体股份有限公司 影像撷取方法及使用此方法的影像撷取设备
CN106257912A (zh) * 2015-06-16 2016-12-28 奥林巴斯株式会社 摄像装置、摄像方法
CN107113376A (zh) * 2015-07-31 2017-08-29 深圳市大疆创新科技有限公司 一种图像处理方法、装置及摄像机
CN107292849A (zh) * 2017-06-30 2017-10-24 维沃移动通信有限公司 一种图像处理方法及移动终端
CN107407557A (zh) * 2015-03-26 2017-11-28 卡尔蔡司工业测量技术有限公司 附接至坐标测量装置的可移动部分上的旋转装置的校准
CN107710728A (zh) * 2015-07-01 2018-02-16 株式会社理光 全球面视频成像系统和计算机可读记录介质
CN108463994A (zh) * 2016-01-15 2018-08-28 株式会社摩如富 图像处理装置、图像处理方法、图像处理程序和存储介质
CN109785265A (zh) * 2019-01-16 2019-05-21 西安全志科技有限公司 畸变矫正图像处理方法及图像处理装置
CN111263037A (zh) * 2018-11-30 2020-06-09 唯光世股份公司 图像处理装置、拍摄装置、视频播放系统、方法以及程序

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8995715B2 (en) * 2010-10-26 2015-03-31 Fotonation Limited Face or other object detection including template matching
WO2012039043A1 (ja) * 2010-09-22 2012-03-29 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
US8797414B2 (en) * 2010-12-23 2014-08-05 Samsung Electronics Co., Ltd. Digital image stabilization device
JP5940392B2 (ja) * 2012-06-28 2016-06-29 オリンパス株式会社 ブレ補正装置及び方法
US8948497B2 (en) * 2012-09-04 2015-02-03 Digital Signal Corporation System and method for increasing resolution of images obtained from a three-dimensional measurement system
JP6097521B2 (ja) 2012-10-22 2017-03-15 キヤノン株式会社 像ブレ補正装置及び像ブレ補正方法、撮像装置
JP6103877B2 (ja) * 2012-10-22 2017-03-29 キヤノン株式会社 画像処理装置及びその制御方法
JP6097522B2 (ja) * 2012-10-22 2017-03-15 キヤノン株式会社 像ブレ補正装置及び像ブレ補正方法、撮像装置
CN103440659B (zh) * 2013-08-30 2016-04-13 西北工业大学 基于星图匹配的星空图像畸变检测与估计方法
US9558564B1 (en) * 2014-05-02 2017-01-31 Hrl Laboratories, Llc Method for finding important changes in 3D point clouds
JP5843033B1 (ja) * 2014-05-15 2016-01-13 株式会社リコー 撮像システム、撮像装置、プログラムおよびシステム
JP5843034B1 (ja) * 2014-05-15 2016-01-13 株式会社リコー 動画表示装置およびプログラム
JP6234349B2 (ja) * 2014-09-16 2017-11-22 株式会社東芝 移動体位置推定装置、移動体位置推定方法及び移動体位置推定プログラム
JP6774162B2 (ja) * 2014-10-07 2020-10-21 株式会社横河Ｎｓエンジニアリング 橋梁用伸縮継手システム
JP2016212784A (ja) * 2015-05-13 2016-12-15 株式会社リコー 画像処理装置、画像処理方法
CN107509024B (zh) * 2017-07-25 2019-01-04 维沃移动通信有限公司 一种拍照处理方法及移动终端
CN112150554B (zh) * 2019-06-28 2023-08-04 杭州海康威视数字技术股份有限公司 画面显示方法、装置、终端和存储介质
US11836922B2 (en) * 2021-05-19 2023-12-05 Zerigo Health, Inc. System and method for evaluating effectiveness of a skin treatment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295495A (ja) * 2003-10-02 2005-10-20 Kazuo Iwane カメラベクトル演算装置と、このカメラベクトル演算装置に備えられる揺れ成分検出装置，画像安定化装置，位置姿勢安定化装置，目的対象物ロックオン装置及び実写対象物属性呼出装置
JP2006295626A (ja) * 2005-04-12 2006-10-26 Canon Inc 魚眼像処理装置及びその方法並びに魚眼像撮像装置
EP1793346A2 (en) * 2005-12-01 2007-06-06 Sony Corporation Image processing apparatus and image processing method
EP2031864A1 (en) * 2006-05-12 2009-03-04 Opt Corporation Dynamic image display method, dynamic image display system, and wide-angle dynamic image capturing device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3452188B2 (ja) 1999-05-27 2003-09-29 理化学研究所 ２次元動画像中の特徴点の追跡方法
JP4284570B2 (ja) 1999-05-31 2009-06-24 ソニー株式会社 撮像装置及びその方法
JP4439763B2 (ja) * 2001-07-04 2010-03-24 株式会社リコー 画像録画再生システムおよび画像録画再生方法
JP2004198159A (ja) * 2002-12-17 2004-07-15 Nissan Motor Co Ltd 車載センサの軸ずれ計測装置
JP2005252626A (ja) * 2004-03-03 2005-09-15 Canon Inc 撮像装置および画像処理方法
JP4719553B2 (ja) * 2005-11-04 2011-07-06 キヤノン株式会社 撮像装置、撮像方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体
JP4725490B2 (ja) * 2006-10-27 2011-07-13 パナソニック電工株式会社 自動追尾方法
EP1916538A3 (en) 2006-10-27 2011-02-16 Panasonic Electric Works Co., Ltd. Target moving object tracking device
US8259998B2 (en) 2008-09-30 2012-09-04 Mazda Motor Corporation Image processing device for vehicle
JP4655242B2 (ja) 2008-09-30 2011-03-23 マツダ株式会社 車両用画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295495A (ja) * 2003-10-02 2005-10-20 Kazuo Iwane カメラベクトル演算装置と、このカメラベクトル演算装置に備えられる揺れ成分検出装置，画像安定化装置，位置姿勢安定化装置，目的対象物ロックオン装置及び実写対象物属性呼出装置
JP2006295626A (ja) * 2005-04-12 2006-10-26 Canon Inc 魚眼像処理装置及びその方法並びに魚眼像撮像装置
EP1793346A2 (en) * 2005-12-01 2007-06-06 Sony Corporation Image processing apparatus and image processing method
EP2031864A1 (en) * 2006-05-12 2009-03-04 Opt Corporation Dynamic image display method, dynamic image display system, and wide-angle dynamic image capturing device

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105324781A (zh) * 2013-06-26 2016-02-10 索尼公司 图像处理设备、图像处理方法以及程序
CN105306854A (zh) * 2014-05-30 2016-02-03 精工爱普生株式会社 图像处理装置、显示装置、图像处理方法以及程序
CN105472263A (zh) * 2014-09-12 2016-04-06 聚晶半导体股份有限公司 影像撷取方法及使用此方法的影像撷取设备
CN105472263B (zh) * 2014-09-12 2018-07-13 聚晶半导体股份有限公司 影像撷取方法及使用此方法的影像撷取设备
US10591271B2 (en) 2015-03-26 2020-03-17 Carl Zeiss Industrielle Messtechnik Gmbh Method and apparatus for calibrating a rotating device attached to a movable part of a coordinate measuring device
CN107407557A (zh) * 2015-03-26 2017-11-28 卡尔蔡司工业测量技术有限公司 附接至坐标测量装置的可移动部分上的旋转装置的校准
CN107407557B (zh) * 2015-03-26 2019-10-25 卡尔蔡司工业测量技术有限公司 附接至坐标测量装置的可移动部分上的旋转装置的校准
CN106257912B (zh) * 2015-06-16 2019-07-09 奥林巴斯株式会社 摄像装置、摄像方法
CN106257912A (zh) * 2015-06-16 2016-12-28 奥林巴斯株式会社 摄像装置、摄像方法
CN106257912B9 (zh) * 2015-06-16 2019-12-20 奥林巴斯株式会社 摄像装置、摄像方法
CN107710728A (zh) * 2015-07-01 2018-02-16 株式会社理光 全球面视频成像系统和计算机可读记录介质
CN107113376A (zh) * 2015-07-31 2017-08-29 深圳市大疆创新科技有限公司 一种图像处理方法、装置及摄像机
CN107113376B (zh) * 2015-07-31 2019-07-19 深圳市大疆创新科技有限公司 一种图像处理方法、装置及摄像机
US10594941B2 (en) 2015-07-31 2020-03-17 SZ DJI Technology Co., Ltd. Method and device of image processing and camera
CN108463994B (zh) * 2016-01-15 2020-09-18 株式会社摩如富 图像处理装置、图像处理方法和存储介质
CN108463994A (zh) * 2016-01-15 2018-08-28 株式会社摩如富 图像处理装置、图像处理方法、图像处理程序和存储介质
US10931875B2 (en) 2016-01-15 2021-02-23 Morpho, Inc. Image processing device, image processing method and storage medium
CN107292849B (zh) * 2017-06-30 2020-01-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN107292849A (zh) * 2017-06-30 2017-10-24 维沃移动通信有限公司 一种图像处理方法及移动终端
CN111263037A (zh) * 2018-11-30 2020-06-09 唯光世股份公司 图像处理装置、拍摄装置、视频播放系统、方法以及程序
CN111263037B (zh) * 2018-11-30 2023-04-18 株式会社理光 图像处理装置、拍摄装置、视频播放系统、方法以及程序
CN109785265A (zh) * 2019-01-16 2019-05-21 西安全志科技有限公司 畸变矫正图像处理方法及图像处理装置
CN109785265B (zh) * 2019-01-16 2022-11-11 西安全志科技有限公司 畸变矫正图像处理方法及图像处理装置

Also Published As

Publication number Publication date
JP5960595B2 (ja) 2016-08-02
WO2012063467A1 (ja) 2012-05-18
EP2640058B1 (en) 2017-07-12
EP2640058A1 (en) 2013-09-18
CN102714696B (zh) 2016-03-02
US20120281104A1 (en) 2012-11-08
JPWO2012063467A1 (ja) 2014-05-12
US8681230B2 (en) 2014-03-25
EP2640058A4 (en) 2015-04-29

Similar Documents

Publication Publication Date Title
CN102714696A (zh) 图像处理装置、图像处理方法、程序及摄影装置
KR100967826B1 (ko) 화상처리장치 및 방법, 프로그램 및 프로그램 기록매체,및 데이터구조 및 데이터 기록매체
US9635251B2 (en) Visual tracking using panoramas on mobile devices
CN100437639C (zh) 图像处理装置和图像处理方法
KR101121034B1 (ko) 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품
CN102714695B (zh) 图像处理装置、图像处理方法
JP4950290B2 (ja) 撮像装置、方法、システム集積回路、及びプログラム
CN104322052B (zh) 用于实时混合或复合计算机生成的三维对象和电影摄影机馈送视频的系统
CN105407271B (zh) 图像处理设备和方法、摄像设备以及图像生成设备
US8077906B2 (en) Apparatus for extracting camera motion, system and method for supporting augmented reality in ocean scene using the same
CN106355550B (zh) 图像拼接系统和图像拼接方法
US8797387B2 (en) Self calibrating stereo camera
US20080246848A1 (en) Image stabilizing apparatus, image-pickup apparatus and image stabilizing method
CN104584032A (zh) 混合式精确跟踪
KR20140014298A (ko) 모바일 디바이스들에 대한 평면 맵핑 및 트래킹
US8917317B1 (en) System and method for camera calibration
CN102714697A (zh) 图像处理装置、图像处理方法及程序
US11042984B2 (en) Systems and methods for providing image depth information
US11196929B2 (en) Signal processing device, imaging device, and signal processing method
Fan et al. Wide-angle image rectification: A survey
CN107256563B (zh) 基于差异液位图像序列的水下三维重建系统及其方法
Swaminathan et al. Polycameras: Camera clusters for wide angle imaging
GB2560301A (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
Swaminathan et al. Polycameas: Camera Clusters for Wide Angle Imaging CUCS-013-99
Alibay et al. Hybrid visual and inertial RANSAC for real-time motion estimation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141009

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141009

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Seaman Avenue Torrance in the United States of California No. 20000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM:

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160302

Termination date: 20191108

CF01 Termination of patent right due to non-payment of annual fee