CN102714695B - 图像处理装置、图像处理方法 - Google Patents

图像处理装置、图像处理方法 Download PDF

Info

Publication number
CN102714695B
CN102714695B CN201180005735.8A CN201180005735A CN102714695B CN 102714695 B CN102714695 B CN 102714695B CN 201180005735 A CN201180005735 A CN 201180005735A CN 102714695 B CN102714695 B CN 102714695B
Authority
CN
China
Prior art keywords
image
amount
movement
characteristic point
correcting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180005735.8A
Other languages
English (en)
Other versions
CN102714695A (zh
Inventor
山田整
大宫淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN102714695A publication Critical patent/CN102714695A/zh
Application granted granted Critical
Publication of CN102714695B publication Critical patent/CN102714695B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Abstract

本发明的图像处理装置具有：移动量估计部（22），估计表示在第1图像之后拍摄的第2图像相对于第1图像的在3个绕轴方向上的位置偏移量的第1移动量；区域设定部（23），针对第1图像和第1校正图像，根据从第1图像和第2图像抽取的特征点分别设定在后处理中使用的区域；后处理部（24），生成从第1图像和第1校正图像切取所设定的区域而得到的第1切取图像和第2切取图像，并估计表示第2切取图像相对于第1切取图像的位置偏移量的第2移动量；以及移动量合成部（25），根据估计出的第1移动量和第2移动量，对表示第1图像与第2图像之间的位置偏移量的移动量进行合成。

Description

图像处理装置、图像处理方法
技术领域
本发明涉及利用数字照相机、视频摄像机、可佩戴式摄像机等拍摄的影像的校正技术。
背景技术
已经有通过图像处理对用摄像机拍摄的影像(动态图像)的抖动进行校正的方法。例如有这样的方法，使用在时间上连续拍摄的两张图像，利用在图像间共同摄入的对象的信息来检测以MPEG技术等为代表的运动矢量，由此估计帧间(图像间)的摄像机的抖动并进行校正。在这样利用运动矢量的方法中，基于利用图像的区域来检测运动矢量这种算法的性质，在精度和计算成本方面存在限制。因此，能够检测的摄像机的抖动的大小的上限被事前设定，针对例如在步行时拍摄的影像或以无取景器方式拍摄的影像所包含的抖动那样较大的抖动，无法进行抖动的检测。即，利用运动矢量的方法存在具有无法处理的大小的抖动、而且对这种大小的抖动无法进行校正的问题。
与此相对，作为能够进行利用运动矢量的方法所无法处理的大小的抖动的校正的方式，有基于特征点的匹配方法。该方法利用了共同存在于在时间上连续拍摄的两张图像间的被摄体上的几个特征性的点。
在此，对基于特征点的匹配方法(也记述为特征点匹配)进行具体说明。
图1A～图1D是用于说明基于特征点的匹配方法的图。下面，将两张图像中在时间上先拍摄的图像表述为图像t－1，将在时间上后拍摄的图像表述为图像t。
图1A是表示图像t－1和在时间上比图像t－1靠后拍摄的图像t的图。图1B是表示从图1A所示的图像t－1、图像t抽取的特征点的图。图1C是表示从图1B所示的图像t－1、图像t抽取的特征点的性质的类型的图。图1D是表示从图1B所示的图像t－1、图像t抽取的特征点的匹配的图。其中，特征点是指如上所述通过图像处理能够检测到的图像上的特征性的点。
图1A所示的图像t－1、图像t上的对比度较高的像素被选择为图1B所示的特征点。如图1B所示，位于诸如对比度极高的角落的特征点在图像间(图像t－1和图像t)容易被共同抽取出来，而对比度不那么高的特征点在图像间(图像t－1和图像t)不容易被共同抽取出来。
图1B所示的特征点包括：能够从在图像间(图像t－1和图像t)共同摄入的区域中得到的特征点(图1C中用○示出的特征点)；虽然能够从在图像间(图像t－1和图像t)共同摄入的区域中得到，但是位置在图像间(图像t－1和图像t)发生变化的特征点(图1C中用△示出的特征点)。另外，在图1B所示的特征点中也包括能够从在图像间(图像t－1和图像t)未共同摄入的区域中得到的特征点(图1C中用×示出的特征点)。图1B所示的特征点中能够匹配的特征点是能够从在图像间(图像t－1和图像t)共同摄入的区域中得到的特征点(图1C中用○示出的特征点)。
但是，能够从在图像间(图像t－1和图像t)共同摄入的区域中得到的特征点的位置或比率在匹配之前是未知的，因而哪个特征点是能够从在图像间(图像t－1和图像t)共同摄入的区域中得到的特征点也是未知的。因此，使用RANSAC(RANdomSampleConsensus：随机采样一致性)等方法，从在图像t－1中抽取的特征点和在图像t中抽取的特征点选出各个特征点的组合，利用事前设定的评价函数求出各个特征点的组合的评价值(图1D)。该评价值被设计为当是能够从在图像间(图像t－1和图像t)共同摄入的区域中得到的特征点的组合(下面表述为inlier：内层)时使评价值容易变高。
具体地讲，根据从在图像t－1中抽取的特征点和在图像t中抽取的特征点选择的两组特征点的组合，生成旋转矩阵。并且，为了验算所生成的旋转矩阵是否正确，使除所选择的特征点的组合之外的图像t－1的特征点按照所生成的旋转矩阵进行旋转，确认旋转后的图像t－1的特征点是否与图像t的特征点一致。如果旋转后的图像t－1的特征点与图像t的特征点一致，可知所生成的旋转矩阵表示正确的图像间的抖动量(位置偏移的程度)的可能性比较大，因而设定将该一致程度作为评价值的评价函数。在使用该评价函数进行规定次数搜索的阶段中断搜索，使用在该时刻得到了最大评价值的inlier来估计旋转矩阵。另外，该inlier是指诸如在图1C中用○示出的特征点那样共同存在于图像间的特征点，主要是能够从拍摄到的图像内的远景区域中得到的特征点。并且，使用从作为远景特征点的inlier估计出的旋转矩阵来校正图像的抖动。所谓远景区域是指在拍摄到的画面中相当于背景的部分的区域，即在画面内成为远方的部分的区域。
通常通过这种处理来进行特征点匹配。即，特征点匹配是指这样的方法，即对在图像间(图像t－1和图像t)产生的抖动反复进行搜索，使得能够从在图像t－1和图像t中共同摄入的区域中得到的图像t－1的特征点的分布和图像t的特征点的分布尽可能一致，并且是将能够从在图像t－1和图像t中共同摄入的区域中得到的特征点分布最一致时的移动量估计为图像间(图像t－1和图像t)的抖动量的方法。并且，通过进行这种特征点匹配，并以每个图像单位持续估计在图像间(帧间)产生的抖动量，由此能够使用估计出的抖动量来校正影像(每个图像)的抖动。
另外，在特征点匹配中，作为通常的算法的特性具有如下特征，即由于利用特征点分布中的图像间(帧间)的相似性，因而与利用处理图像的局部区域信息的运动矢量的方法相比，计算成本降低。另外，在特征点匹配中，由于能够进行使用图像整体的特征点的匹配，因而能够进行某种程度上的较大抖动量的估计。因此，通过应用特征点匹配，即使是在步行时拍摄的影像或以无取景器方式拍摄的影像所包含的较大的抖动，也能够进行估计。即，在特征点匹配中，能够校正利用运动矢量的方法所不能处理的大小的抖动。
但是，在特征点匹配中存在抖动量的估计精度不足的问题。即，在特征点匹配中存在这样的问题：由于使用图像上的特征点位置来进行抖动量(图像间的位置偏移量)的估计，因而当在估计抖动量时使用的特征点的位置在帧间(图像间)变化的情况下，将不能以足够的精度估计帧间(图像间)的抖动量。
当在帧间(图像间)产生了照明条件的变化、近景的变化、由于摄像机运动而形成的表观的变化等某种变化的情况下，有可能产生这种帧间(图像间)的特征点位置的变化。只要使用图像就无法避免这种变化。结果导致在估计精度下降的情况下，虽然能够校正帧间(图像间)的大致的抖动量，但是若干程度的抖动残留下来。并且，现实状况是人对这种若干程度的抖动也能够敏感地感觉到，并认为是图像在抖动。
因此，需要有改善特征点匹配的估计精度的方式。作为这种方式之一，可以考虑在进行特征点匹配后追加后处理来改善精度的方式。关于实现这种后处理的方法，作为候选可以列举利用传感器的方法或者利用图像处理的方法这两种方法。但是，例如在步行时拍摄的影像等中表现出了步行时产生的冲击，如果是利用传感器的方法，则该撞击也施加给传感器，因而估计精度下降。考虑到这种使用场合，优选利用图像处理来实现后处理的方法。即，优选在特征点匹配之后进行追加的图像处理，对特征点匹配的估计精度下降进行插补，由此进行高精度的影像的抖动量的估计。作为实现后处理的图像处理，例如有利用运动矢量检测或特定对象的跟踪等方法。即使是最初产生的较大的抖动，在基于特征点匹配的校正之后也成为误差程度较小的抖动量，因而应用运动矢量等检测方法比较实际。
在通过利用图像处理的后处理来弥补特征点匹配的估计精度的下降的情况下，作为后处理使用图像中的哪个区域进行图像处理非常重要。因为在图像中摄入了各种被摄体，如果在利用图像处理的后处理中用于估计抖动量的区域不合适，结果反而导致估计精度下降。
这样在图像处理中选择用于估计抖动量的合适区域比较重要，此前已提出了几种方法。例如，在专利文献1中公开了这样的方法，在已知图像中存在特定对象的情况下，将抽取了该特定对象特有的图像特征的区域设定为抖动量估计区域。另外，例如在专利文献2和专利文献3中公开了检测图像中的消失点，将消失点周边的区域设定为抖动量估计区域的方法。
现有技术文献
专利文献
专利文献1：日本特开2003－250804号公报
专利文献2：日本特开2000－339473号公报
专利文献3：日本专利第3679988号公报
发明概要
发明要解决的问题
但是，即使将上述的现有技术应用于对特征点匹配的估计精度的下降进行弥补的后处理，也不能高精度地校正影像的抖动。
具体地讲，即使将专利文献1公开的利用特有对象的技术应用于后处理，也不能高精度地校正影像的抖动。因为如设想例如在步行时等拍摄的影像可知的那样，特有对象并非如愿以偿地始终摄入到所拍摄的影像内。
另外，即使将专利文献2和专利文献3公开的检测图像中的消失点等的技术应用于后处理，也不能高精度地校正影像的抖动。因为用于求出消失点的计算成本比较高，而且根据所摄入的被摄体不同，有时检测不到消失点。如设想例如在步行时等拍摄的影像可知，不一定始终能够检测到消失点，因而不一定能够高精度地校正影像的抖动。
这样，即使将上述的现有技术应用于对特征点匹配的估计精度的下降进行弥补的后处理，也存在作为后处理应该采用哪个区域的基准不明确的情况，不能高精度地校正影像的抖动。
发明内容
本发明正是鉴于上述情况而提出的，其目的在于，提供一种图像处理装置、图像处理方法及程序，能够高精度地校正在时间上连续拍摄的多个图像间的抖动量。
用于解决问题的手段
为了达到上述目的，本发明的图像处理装置的一个方式是一种图像处理装置，用于校正在时间上连续拍摄的多个图像间的位置偏移，该图像处理装置具有：移动量估计部，估计表示在时间上在第1图像之后拍摄的第2图像相对于所述第1图像的、在相互垂直的3个轴的绕轴方向上的旋转位置偏移量的第1移动量；区域设定部，针对所述第1图像、和使用估计出的所述第1移动量校正了所述第2图像的位置偏移而得到的第1校正图像，根据从所述第1图像和所述第2图像抽取的特征点来设定在后处理中使用的区域；后处理部，从对所述第1图像和所述第1校正图像分别设定的所述区域生成第1切取图像和第2切取图像，并进行用于估计第2移动量的所述后处理，该第2移动量表示所述第2切取图像相对于所述第1切取图像的位置偏移量；以及移动量合成部，根据估计出的所述第1移动量和所述第2移动量，对表示所述第1图像与所述第2图像之间的位置偏移量的移动量进行合成。
根据这种结构，能够使用在估计第1移动量(旋转移动量)时采用的远景特征点的inlier，合适地设定在后处理中使用的区域，因而能够实现可以高精度地校正在时间上连续拍摄的多个图像间的抖动量的图像处理装置。
另外，本发明不仅能够实现为装置，而且也能够实现为具有这种装置具备的处理单元的集成电路，也能够实现为将构成该装置的处理单元作为步骤的方法，还能够实现为使计算机执行这些步骤的程序，还能够实现为表示该程序的信息、数据或者信号。并且，这些程序、信息、数据以及信号可以通过CD－ROM(Compact－Disc－ReadOnlyMemory)等记录介质或因特网等通信介质进行发布。
发明效果
根据本发明，能够实现可以高精度地校正在时间上连续拍摄的多个图像间的抖动量的图像处理装置、图像处理方法、程序。
具体地讲，根据本发明的图像处理装置、图像处理方法、程序，通过使用在估计旋转移动量时采用的远景特征点(inlier)进行图像处理的后处理用的区域设定，能够高精度地校正影像的抖动。
附图说明
图1A是用于说明基于特征点的匹配方法的图。
图1B是用于说明基于特征点的匹配方法的图。
图1C是用于说明基于特征点的匹配方法的图。
图1D是用于说明基于特征点的匹配方法的图。
图2是表示本发明的实施方式1的整体结构的框图。
图3是表示本发明的实施方式1的区域设定部的结构的框图。
图4是表示使用inlier设定的在后处理中使用的区域的示例的图。
图5是表示本发明的实施方式1的后处理部的结构的框图。
图6是用于说明本发明的实施方式1的图像处理装置的处理流程的流程图。
图7是用于说明本发明的实施方式1的图像处理装置的处理流程的流程图。
图8A是用于说明本发明的实施方式1的图像处理装置的处理的图。
图8B是用于说明本发明的实施方式1的图像处理装置的处理的图。
图8C是用于说明本发明的实施方式1的图像处理装置的处理的图。
图9A是用于说明本发明的实施方式1的图像处理装置的处理的图。
图9B是用于说明本发明的实施方式1的图像处理装置的处理的图。
图9C是用于说明本发明的实施方式1的图像处理装置的处理的图。
图10是表示本发明的实施方式2的整体结构的框图。
图11是用于说明本发明的实施方式2的图像处理装置的处理流程的流程图。
图12是表示本发明的实施方式3的整体结构的框图。
图13是表示在使用鱼眼光学系统进行拍摄时图像处理装置进行的图像处理的示例的图。
图14A是表示在使用鱼眼光学系统进行拍摄时图像处理装置进行的图像处理的示例的图。
图14B是表示在使用鱼眼光学系统进行拍摄时图像处理装置进行的图像处理的示例的图。
图14C是表示在使用鱼眼光学系统进行拍摄时图像处理装置进行的图像处理的示例的图。
图15是用于说明本发明的实施方式3的图像处理装置的处理流程的流程图。
具体实施方式
下面，参照附图说明本发明的各个实施方式。
(实施方式1)
图2是表示本发明的实施方式1的整体结构的框图。
摄像部10例如是数字照相机或数字视频摄像机等、具有CCD或CMOS传感器等摄像元件的摄像机，用于拍摄影像并作为电信号输出。
图像处理装置20是用于校正在时间上连续拍摄的多个图像间的位置偏移的图像处理装置，具有图像处理部20a和图像取得部21。
图像取得部21取得处理对象的图像数据。具体地讲，图像取得部21取得由摄像部10在时间上连续拍摄的多个图像中的第1图像(图像t－1)、和在时间上在第1图像(图像t－1)之后拍摄的第2图像(图像t)这两张图像数据。
其中，图像t－1是第1图像的示例，图像t是第2图像的示例。并且，为了简化说明，假设图像t－1(第1图像)是在时间序列中紧挨图像t(第2图像)前面拍摄的图像，图像t是在刚刚拍摄了图像t－1之后拍摄的图像。该图像t－1和图像t的图像数据可以是以通常的JPEG形式进行压缩编码的图像数据，也可以是以MPEG4等动态图像形式记录的图像数据。
图像处理部20a具有移动量估计部22、区域设定部23、后处理部24、移动量合成部25、图像校正部26，对由图像取得部21取得的图像数据进行处理。
移动量估计部22具有特征点抽取部221、畸变校正部222、特征点匹配部223，移动量估计部22估计表示在时间上在第1图像之后拍摄的第2图像相对于第1图像的、在相互垂直的3个轴的绕轴方向上的旋转位置偏移量的旋转移动量。
特征点抽取部221从第1图像和第2图像分别抽取特征点。具体地讲，特征点抽取部221被输入由图像取得部21取得的图像t－1和图像t，并进行所输入的图像t－1和图像t的特征点的抽取，分别生成特征点数据t－1和特征点数据t。
此处所说的特征点，如上所述，是指通过图像处理能够检测到的图像上的特征性的点，例如图像中的纵向、横向的边缘均明显突出的边缘交叉的点、在局部(local)附近存在朝向两个不同的方向的醒目边缘的点等。优选特征点是能够从在时间序列中相连续的图像t－1和图像t这两张图像间共同摄入的点中稳定检测到(估计出)的特征点(inlier)。但是，在特征点抽取部221抽取特征点时，图像t－1和图像t的正确的位置关系是未知的。因此，需要使用某种基准来抽取共同存在的特征点。
下面，对为了抽取共同存在的特征点而采用的基准进行说明。
例如，在抽取特征点时采用Harris的情况下，将图像的边缘作为基准来抽取诸如纵向、横向的边缘交叉的角落点。
具体地讲，特征点抽取部221按每个像素计算表示边缘的交叉度的特征点分数(score)，由此抽取上述的角落点。其中，从理论上讲，存在由特征点抽取部221按每个像素计算的特征点分数。但是，当在嵌入系统等具有资源限制的环境下安装图像处理装置20的情况下，存在在后级的特征点匹配部223的匹配处理中使用的特征点数量具有上限的情况。考虑到这种情况，从计算成本和运算精度的方面考虑，不期望特征点匹配部223使用由特征点抽取部221计算的全部特征点进行匹配处理。因此，优选将按照特征点分数从高到低的顺序达到规定数量的特征点用作特征点来进行匹配处理。
在此，对优选将按照特征点分数从高到低的顺序达到规定数量的特征点用作特征点的原因进行说明。在Harris中使用的边缘反映了图像的对比度(亮度值)变化，因而在照明条件多少变化的情况下，图像的对比度被保存，边缘不消失。即，因为除了边缘自身由于遮挡而被障碍物等遮住而消失的情况之外，边缘在图像间(图像帧之间)消失的可能性比较小。因此，以边缘信息为基础的特征点分数较高的点作为特征点共同存在于图像t－1和图像t中的可能性比较大。
根据以上的说明，在使用特征点分数作为用于抽取共同存在的特征点的基准的情况下，特征点抽取部221抽取分数比某个特定的阈值高的特征点。在此，在使用特征点分数来抽取特征点的情况下，上述特定的阈值可以利用图像内的平均分数的值，也可以利用根据时间序列中的多个图像的分数的平均值等确定的值。另外，关于上述特定的阈值，不一定是在图像整体中使用一个阈值，也可以采用按照每个区域而生成的阈值。另外，这种按照每个区域而生成的阈值可以根据一个图像来确定，也可以利用时间序列中的多个图像来确定。
另外，特征点分数也可以根据进行了某个对象的识别时的对象的分数来确定。
另外，关于实现该特征点抽取部221的代表性方法，除此之外还有SIFT、SURF等方法。
畸变校正部222对由特征点抽取部221抽取出的第1图像及第2图像的特征点中、由于在摄影中使用的光学系统的光学畸变而产生的畸变进行校正。在此，所说畸变(distortion)是指拍摄到的多个图像的特征点的坐标由于在摄影中使用的光学系统的光学畸变而产生的坐标位置偏移。
另外，也可以不对由于在摄影中使用的光学系统的光学畸变而产生的畸变进行校正。在这种情况下，移动量估计部22不具有畸变校正部222，将由特征点抽取部221抽取出的第1图像及第2图像的特征点直接输入特征点匹配部223。
特征点匹配部223利用由畸变校正部222校正了畸变的第1图像的特征点和第2图像的特征点进行匹配，由此估计表示第2图像相对于第1图像的在相互垂直的3个轴的绕轴方向上的旋转位置偏移量的旋转移动量。
具体地讲，特征点匹配部223进行图像t－1的特征点数据t－1与图像t的特征点数据t之间的匹配即对应关系的估计。其中，假设特征点数据t－1采用在前一帧期间中特征点抽取部221从图像t－1抽取并存储在例如存储器224中的特征点数据。并且，假设特征点数据t采用在当前帧期间中特征点抽取部221从图像t抽取的特征点数据t。其中，关于表示在垂直的3个轴的绕轴方向上(3个绕轴方向)的旋转位置偏移量的旋转移动量，典型的是由后述的roll(滚动)、pitch(俯仰)、yaw(偏转)的旋转成分构成。
特征点匹配部223使用这些特征点数据t－1和特征点数据t，进行估计表示在图像t－1和图像t之间产生的摄像机的运动的旋转矩阵。在此，旋转矩阵的计算方法采用RANSAC(RANdomSampleConsensus)等方法。从该旋转矩阵得到表示在帧间即图像间产生的摄像机的抖动量的roll、pitch、yaw的旋转成分。另外，在对旋转矩阵的估计失败的情况下，对roll、pitch、yaw设定0，处理为在图像之间没有旋转。
另外，在移动量估计部22不具有畸变校正部222的情况下，特征点匹配部223直接对由特征点抽取部221抽取出的第1图像的特征点及第2图像的特征点进行匹配。即，特征点匹配部223利用由特征点抽取部221抽取出的第1图像的特征点及第2图像的特征点进行匹配，由此估计表示第2图像相对于第1图像的3个绕轴方向上的位置偏移量的旋转移动量。
移动量估计部22是如上所述构成的。
区域设定部23如图3所示具有校正图像生成部231、后处理用区域设定部232、判定部233。区域设定部23根据从第1图像和第2图像抽取的特征点，针对第1图像、和使用估计出的旋转移动量校正了第2图像的位置偏移得到的第1校正图像，分别设定在后处理中使用的区域。具体地讲，区域设定部23根据由移动量估计部从所述第1图像和所述第2图像抽取的特征点中、在估计第1移动量时使用的特征点，对第1图像和第1校正图像分别设定在后处理中使用的区域。其中，在估计第1移动量时使用的特征点是指inlier。即，区域设定部23使用由特征点匹配部223得到的例如图像t上的远景特征点的inlier，进行在后处理部24估计移动量时使用的区域的设定。另外，图3是表示本发明的实施方式1的区域设定部23的结构的框图。
校正图像生成部231生成使用由移动量估计部22估计出的第1移动量对第2图像的位置偏移进行了校正得到的第1校正图像。即，校正图像生成部231生成按照由特征点匹配部223估计出的旋转移动量(例如上述的旋转矩阵)、对第2图像的3个绕轴方向上的位置偏移进行了校正得到的第1校正图像。
后处理用区域设定部232根据由移动量估计部22从第1图像和第2图像抽取的特征点中、在估计第1移动量时使用的第1特征点，对第1图像和第1校正图像分别设定规定的区域。
判定部233判定在由后处理用区域设定部232设定的第1校正图像的区域中是否包含数量为阈值以上的第1特征点，在判定为在该区域中包含数量为阈值以上的第1特征点的情况下，判定该区域的inlier是远景特征点，并将该区域设为在后处理中使用的区域。
在此，对区域设定部23使用由特征点匹配部223得到的图像上的远景特征点的inlier进行在后处理部24中使用的区域的设定的理由进行说明。
即，在由特征点匹配部223估计出的图像间(帧间)的抖动量完全正确的情况下，所估计出的抖动量的值没有误差，图像t－1和图像t中的inlier的坐标一致。但是，实际上图像t－1和图像t中的inlier的坐标产生误差，因而需要由后处理部24抑制该误差。因此，区域设定部23进行在后处理部24中使用的区域的设定。
并且，在匹配成功的情况下，由特征点匹配部223得到的inlier是从共同存在于帧间(图像间)的远景区域中抽取的特征点的可能性比较大。因此，区域设定部23即后处理用区域设定部232使用该inlier对远景区域设定后处理部24在后处理中使用的区域。
下面，说明使用inlier对远景区域设定后处理部24在后处理中使用的区域的理由。假设在将后处理部24在后处理中使用的区域设定为近景区域的情况下，将导致后处理部24估计出与摄像机的运动不同的被摄体的运动，不能准确估计在帧间(图像间)产生的摄像机的抖动量。另一方面，在将后处理部24在后处理中使用的区域设定为远景区域的情况下，将估计出大小与摄像机的运动相同、但进行反方向的运动的背景区域的运动，因而不能准确估计摄像机的抖动量。因此，优选对远景区域设定后处理部24在后处理中使用的区域。
但是，虽然由特征点匹配部223得到的inlier是远景区域中的特征点的可能性比较大，但根据RANSAC的评价函数的设定等，从概率上讲也存在inlier不是远景区域中的特征点的情况。因此，为了避免inlier不是远景区域中的特征点，需要提高由后处理用区域设定部232设定的在后处理中使用的区域位于远景区域内的概率。即，区域设定部23即后处理用区域设定部232不是使用一个inlier，而是一定数量以上的inlier，按照图4所示对第1图像(图像t－1)和第1校正图像(图像t的校正图像)中的远景区域设定后处理部24在后处理中使用的区域。
另外，图4是表示使用inlier设定的在后处理中使用的区域的示例的图。在此，设定成为使图4中的左图(图像t－1)的区域比图4中的右图(图像t的校正图像)的区域大。这是为了便于在后处理中容易进行图像t－1与图像t的校正图像的位置偏移的比较，考虑到inlier的坐标所产生的误差而将一个区域扩大。在此，扩大区域与后处理的计算成本是取舍关系，但优选以在进行特征点匹配后产生的误差量为基准进行设定，例如扩大约2～3％是优选的。
另外，关于后处理用区域设定部232使用某个一定数量以上的inlier来设定区域的方法，示例了如下所述的方法。设定为以多个inlier的重心坐标为中心的固定区域的方法，设定图像中的特定区域、并设定为以该区域内的多个inlier的重心坐标为中心的固定区域的方法，设定为以特定颜色的区域内的多个inlier的重心坐标为中心的固定区域的方法，设定为以特定对象的区域内的多个inlier的重心坐标为中心的固定区域的方法等。无论采用哪种方法，后处理用区域设定部232都是使用按照由特征点匹配部223估计出的帧间(图像间)的抖动量对图像t的各个inlier的坐标进行实际校正后的坐标来设定区域，以便后处理部24提高由特征点匹配部223估计出的抖动量的精度。
区域设定部23是如上所述构成的。
后处理部24如图5所示具有切取图像生成部241和切取图像对位部242。图5是表示本发明的实施方式1的后处理部的结构的框图。
后处理部24由对第1图像和第1校正图像分别设定的区域生成第1切取图像和第2切取图像，并进行用于估计第2移动量的后处理，该第2移动量表示第2切取图像相对于第1切取图像的位置偏移量。具体地讲，后处理部24使用如下区域中的两张图像(第1切取图像和第2切取图像)进行后处理，即由区域设定部23设定的图像t的校正图像(第2图像)的区域、和使用在图像t的校正图像(第2图像)中设定的区域的坐标值而设定的图像t－1(第1图像)的区域。如上所述，基于提高由特征点匹配部223估计出的帧间(图像间)的抖动量的估计精度的目的，由后处理部24进行该处理。
切取图像生成部241从第1图像和第1校正图像分别切取对第1图像和第1校正图像设定的上述区域，由此生成第1切取图像和第2切取图像。
切取图像对位部242按照由切取图像生成部241生成的第1切取图像的区域和第2切取图像的区域进行匹配(切取图像对位)，由此估计第2切取图像相对于第1切取图像的第2移动量。
另外，关于后处理部24进行的具体处理的内容，除了平移估计、旋转估计、倾斜估计等处理之外，也可以是这些处理的组合处理。即，第2移动量可以是平移移动量、旋转移动量、倾斜移动量中的任意一种移动量。例如，在第2移动量是通过平移估计而估计出的平移移动量的情况下，根据第1切取图像和第2切取图像这两张图像计算运动矢量，并估计平移移动量成分x、y。并且，后级的移动量合成部25对由移动量估计部22(具体地讲是特征点匹配部223)估计出的旋转移动量(第1移动量)即roll、pitch、yaw、和平移移动量(第2移动量)即x、y，进行移动量合成。
后处理部24是如上所述构成的。
移动量合成部25根据估计出的第1移动量和第2移动量，将表示第1图像与第2图像之间的位置偏移量的移动量进行合成。具体地讲，移动量合成部25将由后处理部24估计出的第1移动量和由特征点匹配部223估计出的旋转移动量合成，得到表示影像的抖动量的移动量。
在此，也可以是，移动量合成部25利用对roll、pitch、yaw进行变换并用平移移动成分x、y表示的两轴的参数进行移动量的合成。并且，也可以是，移动量合成部25将平移移动量成分x、y变换为旋转移动量成分roll、pitch、yaw，最后利用三轴的参数进行移动量的合成，还可以是，利用移动量成分x、y以及旋转移动量成分roll、pitch、yaw这五轴的参数进行移动量的合成。
例如，在后处理部24进行旋转估计的处理的情况下，由于特征点匹配部223使用的特征点的信息在图像间(帧间)容易产生位置的变更，并使得估计精度下降，因而也可以是，不利用特征点匹配部223使用的基于点的评价函数，而是利用基于区域的评价函数进行再计算。在这种情况下，后处理部24利用旋转移动量成分roll、pitch、yaw来估计由特征点匹配部223估计出的抖动量的误差，再由移动量合成部25进行与由特征点匹配部223估计出的抖动量相加的合成，由此将最终由三轴参数构成的移动量合成。
并且，例如后处理部24也可以基于下述的理由而进行倾斜估计的处理。由特征点匹配部223估计出的抖动量毕竟是帧间(图像间)的相对的值，因而虽然能够取得相对于某个基准的帧(图像)的抖动量，但是不能取得绝对的抖动量。即，由特征点匹配部223估计出的抖动量产生估计误差。如果该误差被累计，将产生严重脱离实际状况的情况。
并且，如果按照由特征点匹配部223估计出的roll、pitch、yaw这三个参数中表示图像的倾斜的roll来累计该误差，则被校正后的图像是倾斜的，因而优选对该误差进行重设。这是进行倾斜估计的处理的理由。因此，在基于对表示图像的倾斜的roll的误差进行重设的目的，需要通过图像处理来估计倾斜角度的情况下，后处理部24从由区域设定部23设定的远景区域中，利用位于图像中的构造物上的线段信息来估计图像的倾斜角度roll。并且，也可以是，移动量合成部25仅将后处理部24估计出的roll与特征点匹配部223估计出的抖动量相加，由此将最终由三轴参数构成的移动量合成。另外，在后处理部24的估计失败的情况下，将估计出的移动量设定为0。
按照以上所述，移动量合成部25将表示影像的抖动量的移动量进行合成。
图像校正部26使用由移动量合成部25进行合成的表示图像间的位置偏移量(抖动量)的移动量(最终的校正值)来校正图像，以便校正多个图像间的位置偏移。具体地讲，图像校正部26使用由移动量合成部25进行合成的移动量(抖动量)，对在图像t－1(第1图像)、图像t(第2图像)的图像间(帧间)产生的基于摄像机的运动的位置偏移(抖动量)进行校正。
例如，在由移动量合成部25进行合成的移动量(抖动量)是平移移动量成分即包括x、y这两轴的情况下，图像校正部26对图像t(第2图像)进行与合成后的x、y对应的平行移动，由此进行图像t(第2图像)相对于图像t－1(第1图像)的校正。并且，例如在由移动量合成部25进行合成的移动量(抖动量)是旋转移动量成分即包括roll、pitch、yaw这三轴的情况下，图像校正部26利用合成后的roll、pitch、yaw对图像t(第2图像)进行仿射变换，由此进行校正。并且，例如在由移动量合成部25进行合成的移动量(抖动量)是平移移动量成分及旋转移动量成分即包括x、y、roll、pitch、yaw这五轴的情况下，图像校正部26利用x、y对图像t(第2图像)进行平行移动，然后再利用roll、pitch、yaw进行仿射变换，由此进行校正。
下面，对如上所述构成的图像处理装置20的处理流程进行说明。
图6和图7是用于说明本发明的实施方式1的图像处理装置20的处理流程的流程图。图8A～图9C是用于说明本发明的实施方式1的图像处理装置20的处理的图。
首先，图像处理装置20由图像取得部21取得处理对象的图像数据。具体地讲，图像取得部21分别读入从摄像部10得到的图像t和图像t－1的图像数据。
然后，移动量估计部22估计表示在时间上在第1图像之后拍摄的第2图像相对于所述第1图像的3个绕轴方向上的位置偏移量的旋转移动量(S10)。具体地讲，特征点抽取部221从第1图像和第2图像分别抽取特征点(S101)。畸变校正部222对由特征点抽取部221抽取出的第1图像及第2图像的特征点中、由于在摄影中使用的光学系统的光学畸变而产生的畸变进行校正。然后，特征点匹配部223进行由畸变校正部222校正了畸变的第1图像的特征点和第2图像的特征点之间的匹配，由此估计表示第2图像相对于第1图像的3个绕轴方向上的位置偏移量的旋转移动量(S102)。在S102，更具体地讲，特征点匹配部223例如按照图8A或者图9A所示进行图像t－1的特征点数据t－1与图像t的特征点数据t之间的匹配即对应关系的估计。并且，特征点匹配部223使用用○表示的共同的特征点(inlier)来估计图像t－1相对于图像t之间的旋转移动量(例如roll、pitch、yaw的旋转成分)。另外，图8A和图9A分别示出了表示在图像t－1和图像t中抽取的特征点的类型的不同示例。
然后，区域设定部23针对第1图像、和使用估计出的旋转移动量校正第2图像的位置偏移进行了校正而得到的第1校正图像，根据从第1图像和第2图像抽取的特征点分别设定在后处理中使用的区域(S20)。具体地讲，首先校正图像生成部231生成使用由移动量估计部22估计出的第1移动量对第2图像的位置偏移进行了校正得到的第1校正图像(S201)。然后，后处理用区域设定部232根据由移动量估计部22从第1图像和第2图像抽取的特征点中、在估计第1移动量时使用的第1特征点(inlier)，特征点匹配部223例如按照图8B和图9B所示对第1图像和第1校正图像分别设定规定的区域(S202)。在此，图8B和图9B分别示出了由后处理用区域设定部对图像t的校正图像暂且设定了后处理用的区域的不同示例。然后，判定部233判定在由后处理用区域设定部232设定的第1校正图像的区域中是否包含数量为阈值以上的第1特征点(inlier)(S203)。判定部233在判定为在该区域中包含数量为阈值以上的第1特征点的情况下，判定该区域的inlier是远景特征点，例如按照图9C所示将该区域设为在后处理中使用的区域，进入S30。在此，图9C是表示对图像t的校正图像设定的后处理用的规定的区域满足条件，并设定了后处理区域的图。另外，判定部233在判定为在该区域中不包含数量为阈值以上的第1特征点(远景特征点即inlier)的情况下，判定该区域的inlier不是远景特征点，向移动量合成部25输出表示不进行后处理部24的处理的信息(例如零值)(例如图8C)。在此，图8C是表示对图像t的校正图像设定的后处理用的规定的区域不满足条件，没有设定后处理区域的图。
然后，进行如下所述的后处理(S30)，即生成从第1图像和第1校正图像分别切取由区域设定部23设定的区域而得到的第1切取图像和第2切取图像，并估计表示第2切取图像相对于第1切取图像的位置偏移量的第2移动量。具体地讲，切取图像生成部241生成从第1图像和第1校正图像分别切取所设定的上述区域而得到的第1切取图像和第2切取图像(S301)。切取图像对位部242利用由切取图像生成部生成的第1切取图像的区域和第2切取图像的区域进行匹配(切取图像对位)，由此估计第2切取图像相对于第1切取图像的第2移动量(S302)。
然后，移动量合成部25根据估计出的第1移动量和第2移动量，将表示第1图像与第2图像之间的位置偏移量的移动量进行合成。另外，移动量合成部25在从判定部233被传递了表示不进行后处理部24的处理的信息的情况下，将第2移动量设为零值，将表示第1图像与第2图像之间的位置偏移量的移动量进行合成。
然后，图像校正部26使用由移动量合成部25进行合成的移动量，对在图像t－1(第1图像)、图像t(第2图像)的图像间(帧间)产生的基于摄像机的运动的位置偏移(抖动量)进行校正。即，图像校正部26使用由移动量合成部25进行合成的移动量来校正影像的抖动。
图像处理装置20按照以上所述进行处理。
如上所述，通过特征点匹配而估计出的图像t－1(第1图像)及图像t(第2图像)中的inlier的坐标包含误差的可能性比较大，因而由移动量估计部22估计出的第1移动量(旋转移动量)具有误差的可能性比较大。因此，设置本实施方式的后处理部24来估计用于抑制第1移动量(旋转移动量)的误差的第2移动量。具体地讲，使用在估计第1移动量(旋转移动量)时使用的远景特征点的inlier，进行图像处理的后处理用的区域设定，由此能够高精度地校正影像的抖动。
因此，根据实施方式的图像处理装置及图像处理方法，能够高精度地校正在时间上连续拍摄的多个图像间的抖动量。
另外，在上述的说明中，图像处理装置20具有图像取得部21和图像处理部20a，但不限于此。作为图像处理装置20的最小结构，只要具有图像处理部20a即可。图像处理装置20通过至少具备该图像处理部20a，也能够高精度地校正在时间上连续拍摄的多个图像间的抖动量。
(实施方式2)
在实施方式1中，通过由移动量估计部22进行图像处理来估计第1移动量(旋转移动量)，但不限于此。也可以是，同时利用传感器来估计第1移动量(旋转移动量)。下面，对于本发明的实施方式2的图像处理装置及图像处理方法，参照附图进行说明。
图10是表示本发明的实施方式2的整体结构的框图。对与图2相同的构成要素使用相同的标号，并省略说明，仅对不同的构成要素进行说明。
图10所示的本实施方式的图像处理部30a相对于图3所示的实施方式1的图像处理部20a，不同之处在于移动量估计部的结构不同。具体地讲，本实施方式的移动量估计部32相对于实施方式1的移动量估计部22，不同之处在于，还具有传感器估计部323和校正方式确定部324。
传感器估计部323计测围绕在摄影中使用的光学系统的光轴的旋转角度、或者围绕相对于所述光学系统的光轴而相互垂直的两个轴中至少一个轴的旋转角度，将计测出的上述旋转角度估计为上述第2图像相对于上述第1图像的3个绕轴方向上的第1移动量。具体地讲，传感器估计部323使用传感器来估计图像间(帧间)的摄像机的抖动量(3个绕轴方向上的旋转移动量)。在此，传感器估计部323由角加速度传感器、角速度传感器、加速度传感器、陀螺仪传感器以及方位传感器中的至少一种传感器构成。另外，关于传感器，也可以使用上述类型中的任意一种传感器或者几种传感器，计测产生于图像间(帧间)的摄像机的抖动量(3个绕轴方向上的旋转移动量)。
校正方式确定部324将由特征点匹配部估计出的第1移动量或者由传感器估计部323估计出的第1移动量，确定为在校正上述多个图像间的位置偏移时使用的第1移动量，将所确定的第1移动量输出给区域设定部和移动量合成部。具体地讲，在判定部233判定为图像处理的结果不能适用的情况下，校正方式确定部324确定是否能够适用由传感器估计部323估计出的图像间(帧间)的抖动量(移动量)。具体地讲，校正方式确定部324使用加速度传感器或陀螺仪传感器等传感器观测图像间(帧间)或者多个图像(多个帧)的状况，由此确定是否使用由传感器估计部323估计出的抖动量(移动量)。
另外，关于对图像间(帧间)或者多个图像(多个帧)的状况的观测，例如在传感器的值在多个图像间(帧间)剧烈变动的情况下，能够判定为摄像机的抖动量(旋转移动量)比较大。因此，也可以是，在传感器的值剧烈变动的情况下，校正方式确定部324视为传感器的估计精度下降，并确定不使用由传感器估计部323估计出的抖动量(移动量)进行校正。相反，在传感器的状况比较稳定的情况下，校正方式确定部324视为摄像机处于静止状态，并确定使用由传感器估计部323估计出的抖动量(移动量)进行校正。
图像处理装置30是如上所述构成的。
另外，在采用本发明的实施方式2的情况下，也能够利用作为从特征点匹配部223得到的远景特征点的inlier，因而能够使用区域设定部23设定区域，并通过后处理高精度地计算移动量(抖动量)。
下面，对本实施方式的图像处理装置30的处理流程进行说明。
图11是用于说明本发明的实施方式2的图像处理装置30的处理流程的流程图。另外，对与图7相同的要素标注相同的标号，并省略详细说明。
即，在S10，首先在移动量估计部22中，在S101～S102，特征点匹配部223估计第1移动量(旋转移动量)。与此同时，在移动量估计部22中，在S103，传感器估计部323估计第1移动量(旋转移动量)。然后，在移动量估计部22中，校正方式确定部324将由特征点匹配部223估计出的第1移动量或者由传感器估计部323估计出的第1移动量，确定为在校正图像间的位置偏移时使用的第1移动量，将所确定的第1移动量输出给区域设定部23和移动量合成部25(S104)。
关于后面的S20～S50，与实施方式1中的S20～S50的处理相同，因而省略说明。
图像处理装置30按照以上所述进行处理。
根据以上说明的本实施方式，通过使用在估计第1移动量(旋转移动量)时使用的远景特征点的inlier进行图像处理的后处理用的区域设定，能够实现可以高精度地校正在时间上连续拍摄的多个图像间的抖动量的图像处理装置及图像处理方法。
(实施方式3)
在实施方式3中说明所拍摄的影像即在时间上连续拍摄的多个图像是使用鱼眼光学系统拍摄的示例。下面，对于本发明的实施方式3的图像处理装置及图像处理方法，参照附图进行说明。
图12是表示本发明的实施方式3的整体结构的框图。另外，对与图2或者图10相同的构成要素使用相同的标号，并省略说明，仅对不同的构成要素进行说明。图13是表示在使用鱼眼光学系统进行拍摄时图像处理装置40进行的图像处理的示例的图。图13(a)表示由鱼眼透镜拍摄到的图像，图13(b)表示切取图13(a)所示的图像的一部分得到的图像。
图12所示的本实施方式的图像处理装置40a相对于图10所示的实施方式2的图像处理装置30a，不同之处在于，还具有特征点坐标变换部425和后处理区域坐标变换部47。
在实施方式1和2中说明了所拍摄的影像即在时间上连续拍摄的多个图像是使用通常视场角的光学系统或者广角的光学系统拍摄的示例。与此相对，在本实施方式中说明所拍摄的影像即在时间上连续拍摄的多个图像是使用鱼眼透镜等鱼眼光学系统拍摄的示例。
在使用鱼眼透镜的情况下，如根据图13(a)所示的由鱼眼透镜拍摄到的图像可知的，投影方式与通常视场角的光学系统不同，因而来自外界的光向透镜入射的路径根据所采用的投影方式而变化。在通过图像处理来估计图像(帧间)的摄像机的抖动量的情况下，需要知道摄像机相对于外界是如何运动的。换言之，为了求出正确的摄像机的抖动量，需要知道各个像素是从外界的哪个位置得到的。因此，需要进行与鱼眼透镜采用的投影方式对应的坐标变换(例如图13(b)的图像)。
特征点坐标变换部425将由特征点抽取部221抽取的第1图像的特征点和第2图像的特征点的坐标变换为与鱼眼光学系统的投影方式对应的坐标。具体地讲，在在时间上连续拍摄的多个图像是使用鱼眼光学系统拍摄的情况下，特征点坐标变换部425进行将所拍摄的多个图像的特征点的坐标变换为与鱼眼透镜采用的投影方式对应的特征点的坐标的坐标变换。与此相应地，特征点匹配部223利用由特征点坐标变换部425进行变换后的坐标的第1图像的特征点和第2图像的特征点进行匹配，由此估计表示上述第2图像相对于上述第1图像的位置偏移量的移动量。
另外，之所以进行这种坐标变换，如上所述是因为从输入图像得到的特征点坐标的位置和在外界的位置根据鱼眼光学系统的广角光学系统采用的投影方式而不同。因此，为了根据图像估计正确的摄像机的抖动量，需要使从输入图像得到的特征点坐标的位置与在外界的位置一致。因此，特征点坐标变换部425对从输入图像得到的特征点的坐标进行投影变换的逆变换，并计算各个特征点在外界的位置。另外，这种坐标变换至少是对从特征点匹配部223得到的远景特征点的inlier的坐标进行的，但不限于仅针对远景特征点的inlier的坐标的坐标变换，也可以进行图像整体的坐标变换。
后处理区域坐标变换部47将由区域设定部23对第1图像和第1校正图像分别设定的在后处理中使用的区域的坐标，变换为与鱼眼光学系统的投影方式对应的坐标。即，由于需要在后处理部24对切取后的影像进行抖动量的估计，因而后处理区域坐标变换部47进行由区域设定部23设定的后处理用的区域的坐标变换。与此相应地，切取图像生成部241对由后处理区域坐标变换部47进行变换后的在第1图像和第1校正图像的后处理中使用的各个区域进行切取，并生成第1切取图像和第2切取图像。这样，在对使用鱼眼透镜拍摄的影像的抖动进行校正的情况下，由切取图像生成部241切取用鱼眼透镜拍摄的影像的一部分，并估计进行校正用的移动量。
下面，对如上所述构成的实施方式3的图像处理装置40的处理流程进行说明。
图14A～图14C是表示在使用鱼眼光学系统进行拍摄时图像处理装置40进行的图像处理的示例的图。图14A表示相对于图13(a)抽取了特征点时的图像，图14B表示切取按照估计出的抖动量对图13(a)进行校正得到的图像(第1校正图像)的一部分，并抽取作为中心附近的远景特征点的inlier的图像。图14C表示以图14B的inlier的重心坐标为中心来设定后处理用的区域的示例。
图15是用于说明本发明的实施方式3的图像处理装置40的处理流程的流程图。对与图7及图11相同的要素标注相同的标号，并省略详细说明。
即，在S10，首先在S101例如按照图14A所示，特征点抽取部221从第1图像和第2图像分别抽取特征点。然后，在S101a，特征点坐标变换部425将由特征点抽取部221抽取的第1图像的特征点和第2图像的特征点的坐标变换为与鱼眼光学系统的投影方式对应的坐标。然后，在S102a，特征点匹配部223利用由特征点坐标变换部425进行变换后的第1图像的特征点的坐标和第2图像的特征点的坐标进行匹配，由此估计表示第2图像相对于第1图像的位置偏移量的移动量。然后，移动量估计部22通过校正方式确定部324将由特征点匹配部223估计出的第1移动量或者由传感器估计部323估计出的第1移动量，确定为用于校正图像间的位置偏移的第1移动量，将所确定的第1移动量输出给区域设定部23和移动量合成部25(S104)。
然后，区域设定部23针对第1图像、和使用估计出的旋转移动量校正了第2图像的位置偏移得到的第1校正图像，根据从第1图像和第2图像抽取的特征点分别设定在后处理中使用的区域(S20)。即，区域设定部23使用在估计第1移动量时使用的远景特征点的inlier(例如图14B)，设定图像处理的后处理用的区域(例如图14C)。
然后，后处理区域坐标变换部47将由上述区域设定部23对第1图像和第1校正图像分别设定的在后处理中使用的区域的坐标，变换为与鱼眼光学系统的投影方式对应的坐标(S25)。
然后，在S30，切取图像生成部241对由后处理区域坐标变换部47进行变换后的在第1图像和第1校正图像的后处理中使用的各个区域进行切取，并生成第1切取图像和第2切取图像(S301a)。
另外，关于后面的S302、S40、S50，与图7所示的处理相同，因而省略说明。
图像处理装置40按照以上所述进行处理。
另外，在不切取用鱼眼透镜拍摄的影像的一部分即进行校正的情况下，不需要后处理区域坐标变换部47。
根据以上说明的本实施方式，通过使用在估计第1移动量(旋转移动量)时使用的远景特征点(inlier)进行图像处理的后处理用的区域设定，从而能够实现可以高精度地校正在时间上连续拍摄的多个图像间的抖动量的图像处理装置及图像处理方法。
根据以上所述的本发明，能够实现能够高精度地校正在时间上连续拍摄的多个图像间的抖动量的图像处理装置及图像处理方法。
另外，也考虑了对表示旋转移动量的第1移动量或第2移动量的估计失败的情况。在这种情况下，可以将第1移动量或第2移动量设为0进行处理。
具体地讲，也可以是，在本发明的图像处理装置中，在区域设定部23的前级还设置移动量判定部，用于判定第1移动量的计算是否成功。在这种情况下，移动量判定部在判定为第1移动量的计算成功的情况下，将该第1移动量输出给区域设定部23。移动量判定部在判定为第1移动量的计算失败的情况下，将该第1移动量置换为表示图像间没有位置偏移的零值，并输出给区域设定部23和移动量合成部25，使移动量合成部25将表示所述第1图像与所述第2图像之间的位置偏移量的移动量确定为该零值。并且，也可以是，在本发明的图像处理装置中，在后处理部24的后级还设置后处理判定部，用于判定第2移动量的计算是否成功。在这种情况下，后处理判定部在判定为第2移动量的计算成功的情况下，将该第2移动量输出给移动量合成部25，在判定为第2移动量的计算失败的情况下，将该第2移动量置换为表示没有位置偏移的零值，并输出给移动量合成部25。
另外，本发明的图像处理装置与进行校正的图像是何时拍摄的图像无关。并且，上述的图像处理装置采用了内置于数字照相机或数字视频摄像机中，随时对摄影图像进行校正的结构，但不限于此。例如，也可以构成为，作为应用而安装于个人电脑中等的在摄像装置之外另外准备图像处理装置，并通过线缆等直接与摄像机等记录装置连接来输入摄影图像，还可以构成为通过SD存储卡等记录介质或网络来读入图像数据。
以上关于本发明的图像处理装置、图像处理方法、程序，根据实施方式进行了说明，但本发明当然不限于这些实施方式。诸如下面所述的情况也包含于本发明中。
(1)上述的各个装置具体地讲是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在所述RAM或者硬盘单元中存储有计算机程序。所述微处理器按照所述计算机程序而工作，由此各个装置实现其功能。其中，计算机程序是组合了向计算机指示命令的多个命令代码而构成的，以便实现规定的功能。
(2)也可以是，构成上述的各个装置的构成要素的一部分或全部由一个系统LSI(LargeScaleIntegration：大规模集成电路)构成。系统LSI是在一个芯片上集成多个构成部分制得的超多功能LSI，具体地讲，可以是包括微处理器、ROM、RAM等在内构成的计算机系统。在所述RAM中存储有计算机程序。所述微处理器按照所述计算机程序而工作，由此系统LSI实现其功能。
(3)也可以是，构成上述的各个装置的构成要素的一部分或全部由能够在各个装置上插拔的IC卡或者单体模块构成。所述IC卡或者所述模块是由微处理器、ROM、RAM等构成的计算机系统。也可以是，所述IC卡或者所述模块包括上述的超多功能LSI。微处理器按照计算机程序而工作，由此所述IC卡或者所述模块实现其功能。也可以是，该IC卡或者该模块具有耐篡改性。
(4)本发明也可以是以上示出的方法。并且，本发明也可以是由计算机来实现这些方法的计算机程序，还可以是由所述计算机程序构成的数字信号。
并且，本发明也可以将所述计算机程序或所述数字信号记录在计算机可以读取的记录介质中，所述记录介质例如是软盘、硬盘、CD－ROM、MO、DVD、DVD－ROM、DVD－RAM、BD(Blu-rayDisc：蓝光盘)、半导体存储器等。并且，本发明还可以是记录在这些记录介质中的所述数字信号。
并且，本发明也可以构成为经由电通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等，传输所述计算机程序或所述数字信号。
并且，本发明也可以构成为具有微处理器和存储器的计算机系统，所述存储器存储所述计算机程序，所述微处理器按照所述计算机程序而工作。
并且，本发明也可以构成为将所述程序或所述数字信号记录在所述记录介质中并传输，或者经由所述网络等传输所述程序或所述数字信号，从而能够利用独立的其他计算机系统来实施。
(5)本发明也可以分别组合上述实施方式和上述变形例来实施。
产业上的可利用性
本发明的图像处理装置使用通过特征点匹配而计算出的远景特征点进行图像处理的后处理用的区域设定，由此能够高精度地校正影像的抖动。这些结构用作例如数字照相机、视频摄像机、可佩戴式摄像机或个人电脑的软件等影像校正处理装置。
标号说明
10摄像部；20、30、40图像处理装置；20a、30a、40a图像处理部；21图像取得部；22、32移动量估计部；23区域设定部；24后处理部；25移动量合成部；26图像校正部；47后处理区域坐标变换部；221特征点抽取部；222畸变校正部；223特征点匹配部；231校正图像生成部；232后处理用区域设定部；233判定部；241切取图像生成部；242切取图像对位部；323传感器估计部；324校正方式确定部；425特征点坐标变换部。

Claims (14)

1.一种图像处理装置，用于校正在时间上连续拍摄的多个图像间的位置偏移，该图像处理装置具有：
移动量估计部，估计表示在时间上在第1图像之后拍摄的第2图像相对于所述第1图像的、在相互垂直的3个轴的绕轴方向上的旋转位置偏移量的第1移动量；
区域设定部，针对所述第1图像、和使用估计出的所述第1移动量校正了所述第2图像的位置偏移而得到的第1校正图像，根据从所述第1图像和所述第2图像抽取的特征点来设定在后处理中使用的区域；
后处理部，从对所述第1图像和所述第1校正图像分别设定的所述区域生成第1切取图像和第2切取图像，并进行用于估计第2移动量的所述后处理，该第2移动量表示所述第2切取图像相对于所述第1切取图像的位置偏移量；以及
移动量合成部，根据估计出的所述第1移动量和所述第2移动量，对表示所述第1图像与所述第2图像之间的位置偏移量的移动量进行合成，
所述移动量估计部具有：
特征点抽取部，从所述第1图像和所述第2图像分别抽取特征点；
畸变校正部，对由所述特征点抽取部抽取出的所述第1图像及所述第2图像的特征点中、由于在摄影中使用的光学系统的光学畸变而产生的畸变进行校正；以及
特征点匹配部，利用由所述畸变校正部校正了畸变的该第1图像的特征点和该第2图像的特征点进行匹配，由此估计表示所述第2图像相对于所述第1图像的在相互垂直的3个轴的绕轴方向上的旋转位置偏移量的第1移动量。
2.根据权利要求1所述的图像处理装置，
所述后处理部具有：
切取图像生成部，从所述第1图像和所述第1校正图像分别切取对所述第1图像和所述第1校正图像设定的所述区域，由此生成第1切取图像和第2切取图像；以及
切取图像对位部，利用由所述切取图像生成部生成的所述第1切取图像的区域和所述第2切取图像的区域进行匹配，由此估计所述第2切取图像相对于所述第1切取图像的第2移动量。
3.根据权利要求1所述的图像处理装置，
所述区域设定部根据由所述移动量估计部从所述第1图像和所述第2图像抽取的特征点之中、在估计所述第1移动量时使用的特征点，对所述第1图像和所述第1校正图像分别设定在后处理中使用的区域。
4.根据权利要求3所述的图像处理装置，
所述区域设定部具有：
校正图像生成部，生成使用由所述移动量估计部估计出的所述第1移动量对所述第2图像的位置偏移进行了校正而得到的第1校正图像；
后处理用区域设定部，根据由所述移动量估计部从所述第1图像和所述第2图像抽取的特征点之中、在估计所述第1移动量时使用的第1特征点，对所述第1图像和所述第1校正图像分别设定规定的区域；以及
判定部，判定在由所述后处理用区域设定部设定的所述第1校正图像的区域中是否包含数量为阈值以上的所述第1特征点，在判定为在该区域中包含数量为阈值以上的所述第1特征点的情况下，将该区域设为在后处理中使用的区域。
5.根据权利要求3所述的图像处理装置，
在估计所述第1移动量时使用的特征点是inlier。
6.根据权利要求2～5中任意一项所述的图像处理装置，
所述多个图像是使用鱼眼光学系统拍摄的，
所述移动量估计部还具有特征点坐标变换部，该特征点坐标变换部将由所述特征点抽取部抽取的所述第1图像的特征点和所述第2图像的特征点的坐标变换为与鱼眼光学系统的投影方式对应的坐标，
所述特征点匹配部利用由所述坐标变换部进行变换后的坐标的所述第1图像的特征点和所述第2图像的特征点进行匹配，由此估计表示所述第2图像相对于所述第1图像的位置偏移量的移动量。
7.根据权利要求6所述的图像处理装置，
所述图像处理装置还具有后处理区域坐标变换部，该后处理区域坐标变换部将由所述区域设定部对所述第1图像和所述第1校正图像分别设定的在后处理中使用的区域的坐标，变换为与鱼眼光学系统的投影方式对应的坐标，
所述切取图像生成部对由所述后处理区域坐标变换部进行变换后的在所述第1图像和所述第1校正图像的后处理中使用的各个区域进行切取，并生成第1切取图像和第2切取图像。
8.根据权利要求1所述的图像处理装置，
所述图像处理装置还具有传感器估计部，该传感器估计部计测围绕在摄影中使用的光学系统的光轴的旋转角度、或者围绕相对于所述光学系统的光轴而相互垂直的两个轴中至少一个轴的旋转角度，将计测出的所述旋转角度估计为表示所述第2图像相对于所述第1图像的在3个绕轴方向上的位置偏移量的移动量。
9.根据权利要求8所述的图像处理装置，
所述传感器估计部由角加速度传感器、角速度传感器、加速度传感器、以及方位传感器中的至少一种传感器构成。
10.根据权利要求8所述的图像处理装置，
所述移动量估计部还具有校正方式确定部，该校正方式确定部将由所述特征点匹配部估计出的第1移动量或者由所述传感器估计部估计出的第1移动量，确定为在校正所述多个图像间的位置偏移时使用的第1移动量，将所确定的第1移动量输出给区域设定部和移动量合成部。
11.根据权利要求1所述的图像处理装置，
所述图像处理装置还在所述区域设定部的前级具备移动量判定部，该移动量判定部用于判定所述第1移动量的计算是否成功，
所述移动量判定部在判定为所述第1移动量的计算成功的情况下，将该第1移动量输出给所述区域设定部，
所述移动量判定部在判定为所述第1移动量的计算失败的情况下，将该第1移动量置换为表示没有位置偏移的零值，并输出给所述区域设定部和所述移动量合成部，使所述移动量合成部将表示所述第1图像与所述第2图像之间的位置偏移量的移动量确定为该零值。
12.根据权利要求1所述的图像处理装置，
所述图像处理装置还在所述后处理部的后级具备后处理判定部，该后处理判定部用于判定所述第2移动量的计算是否成功，
所述后处理判定部在判定为所述第2移动量的计算成功的情况下，将该第2移动量输出给所述移动量合成部，
所述后处理判定部在判定为所述第2移动量的计算失败的情况下，将该第2移动量置换为表示没有位置偏移的零值，并输出给所述移动量合成部。
13.一种图像处理方法，用于校正在时间上连续拍摄的多个图像间的位置偏移，该图像处理方法具有：
移动量估计步骤，估计表示在时间上在第1图像之后拍摄的第2图像相对于所述第1图像的、在相互垂直的3个轴的绕轴方向上的旋转位置偏移量的第1移动量；
区域设定步骤，针对所述第1图像、和使用估计出的所述第1移动量校正了所述第2图像的位置偏移而得到的第1校正图像，根据从所述第1图像和所述第2图像抽取的特征点来设定在后处理中使用的区域；
后处理步骤，从对所述第1图像和所述第1校正图像分别设定的所述区域生成第1切取图像和第2切取图像，并进行用于估计第2移动量的所述后处理，该第2移动量表示所述第2切取图像相对于所述第1切取图像的位置偏移量；以及
移动量合成步骤，根据估计出的所述第1移动量和所述第2移动量，对表示所述第1图像与所述第2图像之间的位置偏移量的移动量进行合成，
所述移动量估计步骤具有：
特征点抽取步骤，从所述第1图像和所述第2图像分别抽取特征点；
畸变校正步骤，对由所述特征点抽取步骤抽取出的所述第1图像及所述第2图像的特征点中、由于在摄影中使用的光学系统的光学畸变而产生的畸变进行校正；以及
特征点匹配步骤，利用由所述畸变校正步骤校正了畸变的该第1图像的特征点和该第2图像的特征点进行匹配，由此估计表示所述第2图像相对于所述第1图像的在相互垂直的3个轴的绕轴方向上的旋转位置偏移量的第1移动量。
14.一种集成电路，用于校正在时间上连续拍摄的多个图像间的位置偏移，该集成电路具有：
移动量估计部，估计表示在时间上在第1图像之后拍摄的第2图像相对于所述第1图像的、在相互垂直的3个轴的绕轴方向上的旋转位置偏移量的第1移动量；
区域设定部，针对所述第1图像、和使用估计出的所述第1移动量校正了所述第2图像的位置偏移而得到的第1校正图像，根据从所述第1图像和所述第2图像抽取的特征点来设定在后处理中使用的区域；
后处理部，从对所述第1图像和所述第1校正图像分别设定的所述区域生成第1切取图像和第2切取图像，并进行用于估计第2移动量的所述后处理，该第2移动量表示所述第2切取图像相对于所述第1切取图像的位置偏移量；以及
移动量合成部，根据估计出的所述第1移动量和所述第2移动量，对表示所述第1图像与所述第2图像之间的位置偏移量的移动量进行合成，
所述移动量估计部具有：
特征点抽取部，从所述第1图像和所述第2图像分别抽取特征点；
畸变校正部，对由所述特征点抽取部抽取出的所述第1图像及所述第2图像的特征点中、由于在摄影中使用的光学系统的光学畸变而产生的畸变进行校正；以及
特征点匹配部，利用由所述畸变校正部校正了畸变的该第1图像的特征点和该第2图像的特征点进行匹配，由此估计表示所述第2图像相对于所述第1图像的在相互垂直的3个轴的绕轴方向上的旋转位置偏移量的第1移动量。
CN201180005735.8A 2010-11-11 2011-11-08 图像处理装置、图像处理方法 Expired - Fee Related CN102714695B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010253261 2010-11-11
JP2010-253261 2010-11-11
PCT/JP2011/006229 WO2012063468A1 (ja) 2010-11-11 2011-11-08 画像処理装置、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN102714695A CN102714695A (zh) 2012-10-03
CN102714695B true CN102714695B (zh) 2015-11-25

Family

ID=46050633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180005735.8A Expired - Fee Related CN102714695B (zh) 2010-11-11 2011-11-08 图像处理装置、图像处理方法

Country Status (5)

Country Link
US (1) US8798387B2 (zh)
EP (1) EP2640057B1 (zh)
JP (1) JP5859958B2 (zh)
CN (1) CN102714695B (zh)
WO (1) WO2012063468A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927735B (zh) * 2013-01-14 2018-01-23 联想(北京)有限公司 信息处理方法和电子设备
US9189850B1 (en) * 2013-01-29 2015-11-17 Amazon Technologies, Inc. Egomotion estimation of an imaging device
US9277129B2 (en) * 2013-06-07 2016-03-01 Apple Inc. Robust image feature based video stabilization and smoothing
US9151953B2 (en) * 2013-12-17 2015-10-06 Amazon Technologies, Inc. Pointer tracking for eye-level scanners and displays
EP3001676B1 (en) * 2014-09-25 2016-10-26 Axis AB Method and image processing device for image stabilization of a video stream
JP6686890B2 (ja) * 2014-10-03 2020-04-22 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム
FR3027144B1 (fr) * 2014-10-09 2016-11-04 St Microelectronics Sa Procede et dispositif de determination de mouvement entre des images video successives
EP3034000A1 (en) * 2014-12-16 2016-06-22 Agfa Healthcare Motion correction method in dual energy radiography
JP6518115B2 (ja) * 2015-04-13 2019-05-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
WO2017010514A1 (ja) * 2015-07-15 2017-01-19 日本電信電話株式会社 画像検索装置及び方法、撮影時刻推定装置及び方法、反復構造抽出装置及び方法、並びにプログラム
US9430840B1 (en) * 2015-07-23 2016-08-30 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting an image based on motion vanishing points
JP6332212B2 (ja) * 2015-09-18 2018-05-30 カシオ計算機株式会社 姿勢推定装置、姿勢推定方法及びプログラム
US9894285B1 (en) * 2015-10-01 2018-02-13 Hrl Laboratories, Llc Real-time auto exposure adjustment of camera using contrast entropy
EP3182370B1 (en) 2015-12-17 2020-07-29 STmicroelectronics SA Method and device for generating binary descriptors in video frames
EP3185212B1 (en) 2015-12-17 2019-07-03 STmicroelectronics SA Dynamic particle filter parameterization
EP3182371B1 (en) * 2015-12-17 2018-09-26 Stmicroelectronics Sa Threshold determination in for example a type ransac algorithm
US10496694B2 (en) * 2016-03-21 2019-12-03 Hong Kong Applied Science and Technology Research Institute Company Limited Rating and advising for selection of augmented reality markers
CN106548171A (zh) * 2016-09-22 2017-03-29 青岛海信电器股份有限公司 一种图像自动校正的方法、装置及系统
CN106534692A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种视频稳像方法及装置
JP6894707B2 (ja) * 2017-01-06 2021-06-30 キヤノン株式会社 情報処理装置およびその制御方法、プログラム
US10957068B2 (en) 2017-01-06 2021-03-23 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same
JP6919334B2 (ja) * 2017-05-26 2021-08-18 株式会社リコー 画像処理装置、画像処理方法、プログラム
JP2018200252A (ja) * 2017-05-29 2018-12-20 アズビル株式会社 熱画像処理装置およびオフセット量算出方法
CN110493488B (zh) * 2018-05-15 2021-11-26 株式会社理光 视频稳像方法、视频稳像装置和计算机可读存储介质
CN109194878B (zh) * 2018-11-08 2021-02-19 深圳市闻耀电子科技有限公司 视频图像防抖方法、装置、设备和存储介质
JP7192582B2 (ja) * 2019-03-11 2022-12-20 オムロン株式会社 物体追跡装置および物体追跡方法
CN109963082B (zh) * 2019-03-26 2021-01-08 Oppo广东移动通信有限公司 图像拍摄方法、装置、电子设备、计算机可读存储介质
JP6704536B1 (ja) * 2019-04-25 2020-06-03 三菱電機株式会社 移動量推定装置、移動量推定方法、および移動量推定プログラム
US10998007B2 (en) * 2019-09-30 2021-05-04 Adobe Inc. Providing context aware video searching
WO2021077078A1 (en) * 2019-10-18 2021-04-22 Looking Glass Factory, Inc. System and method for lightfield capture
WO2021237065A1 (en) 2020-05-21 2021-11-25 Looking Glass Factory, Inc. System and method for holographic image display
US11415935B2 (en) 2020-06-23 2022-08-16 Looking Glass Factory, Inc. System and method for holographic communication
WO2022119940A1 (en) 2020-12-01 2022-06-09 Looking Glass Factory, Inc. System and method for processing three dimensional images
US11711613B2 (en) * 2021-04-27 2023-07-25 Qualcomm Incorporated Image alignment for computational photography

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224470A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
JP3452188B2 (ja) 1999-05-27 2003-09-29 理化学研究所 ２次元動画像中の特徴点の追跡方法
JP4284570B2 (ja) * 1999-05-31 2009-06-24 ソニー株式会社 撮像装置及びその方法
US6687386B1 (en) 1999-06-15 2004-02-03 Hitachi Denshi Kabushiki Kaisha Object tracking method and object tracking apparatus
JP3560326B2 (ja) * 1999-06-15 2004-09-02 株式会社日立国際電気 物体追跡方法及び物体追跡装置
JP3679988B2 (ja) 2000-09-28 2005-08-03 株式会社東芝 画像処理装置及び画像処理方法
JP4060615B2 (ja) 2002-03-05 2008-03-12 株式会社東芝 画像処理装置及び超音波診断装置
US7343278B2 (en) * 2002-10-22 2008-03-11 Artoolworks, Inc. Tracking a surface in a 3-dimensional scene using natural visual features of the surface
US7756567B2 (en) * 2003-08-29 2010-07-13 Accuray Incorporated Image guided radiosurgery method and apparatus using registration of 2D radiographic images with digitally reconstructed radiographs of 3D scan data
JP4340968B2 (ja) * 2004-05-07 2009-10-07 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4719553B2 (ja) 2005-11-04 2011-07-06 キヤノン株式会社 撮像装置、撮像方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体
JP2007228154A (ja) * 2006-02-22 2007-09-06 Matsushita Electric Ind Co Ltd 画像処理装置および画像処理方法
JP4800163B2 (ja) 2006-09-29 2011-10-26 株式会社トプコン 位置測定装置及びその方法
JP4789789B2 (ja) * 2006-12-12 2011-10-12 キヤノン株式会社 撮像装置
JP4958610B2 (ja) 2007-04-06 2012-06-20 キヤノン株式会社 画像防振装置、撮像装置及び画像防振方法
JP2009087263A (ja) * 2007-10-02 2009-04-23 Hitachi Ltd 指静脈認証装置および情報処理装置
JP2009017480A (ja) * 2007-07-09 2009-01-22 Nippon Hoso Kyokai <Nhk> カメラキャリブレーション装置およびそのプログラム
JP4655242B2 (ja) * 2008-09-30 2011-03-23 マツダ株式会社 車両用画像処理装置
US8259998B2 (en) 2008-09-30 2012-09-04 Mazda Motor Corporation Image processing device for vehicle
JP4752918B2 (ja) * 2009-01-16 2011-08-17 カシオ計算機株式会社 画像処理装置、画像照合方法、および、プログラム
WO2010100677A1 (ja) * 2009-03-05 2010-09-10 富士通株式会社 画像処理装置およびぶれ量算出方法
JP5281495B2 (ja) * 2009-06-18 2013-09-04 キヤノン株式会社 画像処理装置およびその方法
US8417062B2 (en) * 2009-10-19 2013-04-09 Ut-Battelle, Llc System and method for stabilization of fisheye video imagery

Also Published As

Publication number Publication date
JP5859958B2 (ja) 2016-02-16
WO2012063468A1 (ja) 2012-05-18
EP2640057A1 (en) 2013-09-18
JPWO2012063468A1 (ja) 2014-05-12
EP2640057B1 (en) 2016-07-27
US8798387B2 (en) 2014-08-05
US20120281922A1 (en) 2012-11-08
EP2640057A4 (en) 2014-04-09
CN102714695A (zh) 2012-10-03

Similar Documents

Publication Publication Date Title
CN102714695B (zh) 图像处理装置、图像处理方法
CN102714697B (zh) 图像处理装置、图像处理方法及程序
JP5960595B2 (ja) 画像処理装置、画像処理方法、プログラム及び撮影装置
JP5179398B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
US8077906B2 (en) Apparatus for extracting camera motion, system and method for supporting augmented reality in ocean scene using the same
CN102474573B (zh) 图像处理装置以及图像处理方法
JP5902297B2 (ja) 撮像デバイスを較正するための方法および装置
Guilluy et al. Video stabilization: Overview, challenges and perspectives
US20110285810A1 (en) Visual Tracking Using Panoramas on Mobile Devices
US10818018B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN102714694B (zh) 图像处理装置、图像处理方法、集成电路、程序
JP6045523B2 (ja) 画像処理装置およびその制御方法
JP5210198B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2005326247A (ja) 校正装置及び校正方法並びに校正プログラム
JP2018207252A (ja) 画像処理システム、画像処理システムの制御方法、及び、プログラム
JP2007053621A (ja) 画像生成装置
JP2018055367A (ja) 画像処理装置、画像処理方法、及びプログラム
JP4296617B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
JP5970012B2 (ja) 画像処理装置およびその制御方法
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
KR101915578B1 (ko) 시점 기반 오브젝트 피킹 시스템 및 그 방법
JP4482933B2 (ja) 動きベクトル検出装置、画像表示装置、画像撮像装置、動きベクトル検出方法、プログラムおよび記録媒体
JP7013205B2 (ja) 像振れ補正装置およびその制御方法、撮像装置
JP6525693B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141009

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141009

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Seaman Avenue Torrance in the United States of California No. 20000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM:

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20191108

CF01 Termination of patent right due to non-payment of annual fee