CN103226811A - 图像处理器、图像处理方法、学习设备、学习方法和程序 - Google Patents

Abstract

在此公开了图像处理器，包括：特征点提取部分，适配为提取输入图像的特征点；对应性确定部分，适配为使用特征点字典来确定输入图像的特征点和参考图像的特征点之间的对应性；特征点坐标失真校正部分，适配为校正与参考图像的特征点对应的输入图像的特征点的坐标；投影关系计算部分，适配为计算输入图像和参考图像之间的投影关系；合成图像坐标变换部分，适配为从合成图像产生要附加的合成图像；以及输出图像产生部分，适配为将输入图像与要附加的合成图像合并。

Description

图像处理器、图像处理方法、学习设备、学习方法和程序

技术领域

本技术涉及图像处理器、图像处理方法、学习设备、学习方法和程序，更具体地，涉及能够将给定图像合并到输入图像的指定区域中的图像处理器等。

背景技术

近年来已经显现出对于增强真实性的需要。几种方法可用于实现增强真实性。这些方法包括使用来自GPS（全球定位系统）的位置信息的方法和基于图像分析的方法。在这些方法之中的一个方法是使用特定对象识别技术将关于特定对象的姿势和位置的CG（计算机图形）合并在一起的增强真实性。例如，日本专利公开第2007-219764号描述了基于姿势和位置的估计结果的图像处理器。

在确定增强真实性的质量的因素之中的首要因素是几何一致性（geometric consistency）。术语“几何一致性”指将CG合并到画面中而没有几何不适。术语“没有几何不适”指例如具体对象的姿势和位置的估计的准确性以及例如响应于感兴趣的区域的移动或者相机的移动的CG移动。

为了简化描述，以下考虑其中图像被附加（attach）到CG的指定平面区域的情况。例如，考虑其中图像被附加到作为指定区域的室外广告板的情况。为了实现几何一致性，需要估计图像要被附加到的指定区域的位置。通常通过使用称为“标记（marker）”的特殊二维码或者任意图像来定义特定区域。在以下给出的描述中，指定的区域将被称为标记。

用于识别标记和附加图像的算法通常使用将标记数据存储在程序中作为用于参考的图像（参考图像）或者表示其特征的字典的构架，针对输入图像检查参考图像并在输入图像中寻找标记。适于识别标记位置的方法可以大致地分类为两组，（1）基于参考图像和输入图像之间的对比度的差别的精确估计的方法，以及（2）基于对参考图像的先前学习的其他方法。

分类在组（1）下的方法在估计准确性方面是有利的，但是由于多个计算，不适合于实时处理。另一方面，被分类在组（2）下的那些方法在先前的学习中进行多个计算并分析参考图像。结果，仅要进行少量计算来识别在每个时间点时输入的图像。因此，这些方法有希望进行实时操作。

图19例示能够合并捕捉的图像与合成图像的图像处理器400的配置示例。图像处理器400包括特征点提取部分401、匹配部分402、单应性（homography）计算部分403、合成图像坐标变换部分404、输出图像产生部分405和存储部分406。

特征点提取部分401提取输入图像（捕捉的图像）的特征点。在此，术语“特征点”指在亮度级方面用作拐点（corner）的那些像素。匹配部分402通过进行匹配、即基于存储在存储部分406中的并且在先前学习中准备的参考图像的特征点字典而确定输入图像的特征点是否对应于参考图像的特征点的计算，来获取两个图像之间的对应的特征点。

单应性计算部分403使用由匹配部分402得到的两个图像的对应点来计算单应性，即两个图像之间的变换。合成图像坐标变换部分404使用该单应性变换存储在存储部分406中的合成图像。输出图像产生部分405合并输入图像与变换的合成图像，由此获取输出图像。

图20所示的流程图例示图19所示的图像处理器400的处理流程的例子。首先，图像处理器400在步骤ST1开始一系列处理，然后在步骤ST2被提供了输入图像（捕捉的图像），然后在步骤ST3继续该处理。

图像处理器400在步骤ST3使用特征点提取部分401来提取输入图像的特征点。接下来，图像处理器400在步骤ST4基于存储在存储部分406中的参考图像的特征点字典以及由特征点提取部分401提取的输入图像的特征点，使用匹配部分402来匹配输入图像和参考图像之间的特征点。此匹配处理允许得到在输入图像和参考图像之间的对应的特征点。

接下来，图像处理器400在步骤ST5中使用由匹配部分402得到的两个图像的对应点，使用单应性计算部分403来计算单应性矩阵、即两个图像之间的变换。然后，图像处理器在步骤ST6确定是否已经成功计算了单应性矩阵。

当已经成功计算了单应性矩阵时，图像处理器400在步骤ST7基于在步骤ST5中计算的单应性矩阵来变换在存储部分406中存储的合成图像。然后，图像处理器在步骤ST8使用输出图像产生部分405通过合并输入图像与变换的合成图像来获取输出图像。

接下来，图像处理器400在步骤ST9输出在步骤ST8中获取的输出图像，然后在步骤ST10终止该系列处理。另一方面，如果在步骤ST6中还未成功计算单应性矩阵，则图像处理器400在步骤ST11以“按原样”方式输出输入图像，然后在步骤ST10终止该系列处理。

在以上匹配处理中技术上重要的是，是否可以按对于例如由于标记的旋转引起的标记姿势的改变而言强健的方式获得对应点。已经提出各种方法来以对于标记姿势的改变强健的方式来获取对应点。在对于标记姿势的改变强健的方法之中的是（1）在D.G.Lowe的“Object recognition from local scaleinvariant features”，Proc.of IEEE International中描述的SIFT特征量，以及（2）在M.M.Calonder，V.Lepetit,P.Fua Fast Keypoint Recognition usingRandom Ferns IEEETransactions on Pattern Analysis and Machine Intelligence,Vol.32,Nr.3,pp.448-461,2010年3中描述的“Random Ferns”。

SIFT特征量通过使用在特征点周围的像素的倾斜方向描述特征点而允许以对标记旋转强健的方式的识别。另一方面，“Random Ferns”通过使用贝叶斯统计变换参考图像并预先学习参考图像而允许以对标记姿势的改变强健的方式的识别。

发明内容

过去的方法具有的问题之一是这些方法难以支持隔行输入图像并难以处理镜头失真。由于此问题导致的缺点是，需要将隔行输入图像转换为逐行图像并校正失真，作为特征点提取的预处理，因此导致计算的显著增加。

此问题的原因如下。也就是，在基于先前学习的方法中，考虑要被识别的目标如何出现在图像上而进行学习。目标如何出现在图像上由三个因素确定，即要识别的目标的姿势的改变、相机的姿势的改变以及相机特性。但是，过去的方法未考虑相机的姿势的改变和相机特性。在这些因素之中，要识别的目标的姿势的改变和相机的姿势的改变是相关的，并且相机的姿势的改变可以由要识别的目标的姿势的改变来表示。因此，过去的方法具有的问题的原因可以总结为未考虑相机特性的事实。

图21例示适于作为特征点提取的预处理将输入图像（隔行图像）转换为逐行图像（IP转换）并校正失真的图像处理器400A的配置例子。在图21中，与图19中相同的组件由相同的参考标记来表示，并且适当地省略其详细描述。

图像处理器400A包括在特征点提取部分401的前级处的IP转换部分411和镜头失真校正部分412。IP转换部分411将隔行输入图像转换为逐行图像。另一方面，镜头失真校正部分412基于存储在存储部分406中的镜头失真数据校正转换的逐行输入图像的镜头失真。在此情况下，镜头失真数据表示捕捉输入图像的相机的镜头失真。该数据被预先测量并存储在存储部分406中。

此外，图像处理器400A包括在输出图像产生部分405的后级处的镜头失真变换部分413和PI（逐行到隔行）转换部分414。镜头失真变换部分413基于存储在存储部分406中的镜头失真数据，以将镜头失真添加到输出图像产生部分405产生的输出图像的方式应用镜头失真变换。如上所述，镜头失真校正部分412确保输出图像产生部分405产生的输出图像没有镜头失真。

镜头失真变换部分413添加回已经移除的镜头失真，因此恢复了拍摄者意欲的原始图像。PI转换部分414将经历了镜头失真变换的逐行输出图像转换为隔行图像，并输出该隔行图像。尽管未详细描述，但是图21所示的图像处理器400A在所有其他方面以与图19所示的图像处理器400相同的方式配置。

图22所示的流程图例示了图21所示的图像处理器400A的处理流程。在图22中，与图20所示的步骤相似的步骤由相同的参考标记表示，并且适当时省略其详细描述。图像处理器400A在步骤ST1开始一系列处理，然后在步骤ST2被提供输入图像，即隔行图像，并且然后在步骤ST21继续处理。在步骤ST21，图像处理器400A将隔行输入图像转换为逐行图像。

接下来，在步骤ST22，图像处理器400A基于存储在存储部分406中的镜头失真数据使用镜头失真校正部分412来校正转换的逐行输入图像的镜头失真。然后，在步骤ST3，图像处理器400A提取已经经历了镜头失真校正的转换的逐行输入图像的特征点。

此外，在步骤ST8中的处理之后的步骤ST23，图像处理器400A基于存储在存储部分406中的镜头失真数据使用镜头失真变换部分413将镜头失真变换应用于获取的输出图像，因此向该输出图像添加镜头失真。接下来，在步骤ST24，图像处理器400A将已经经历了镜头失真变换的逐行输出图像转换为隔行图像。

然后，在步骤ST9，图像处理器400A输出已经经历了镜头失真变换的转换的隔行输出图像。尽管未详细描述，但是图22所示的流程图的所有其他步骤与图20所示的流程图的步骤相同。

期望允许以恰当的方式合并输入图像与合成图像。

根据本技术的实施例，提供了图像处理器，包括：特征点提取部分，适配为提取作为由相机捕捉的图像的输入图像的特征点；对应性确定部分，适配为使用考虑相机的镜头失真而从参考图像产生的特征点字典来确定由特征点提取部分提取的输入图像的特征点和参考图像的特征点之间的对应性；特征点坐标失真校正部分，适配为基于相机的镜头失真数据来校正由对应性确定部分确定的与参考图像的特征点对应的输入图像的特征点的坐标；投影关系计算部分，适配为根据对应性确定部分确定的对应性并基于参考图像的特征点的坐标和特征点坐标失真校正部分校正的输入图像的特征点的坐标来计算输入图像和参考图像之间的投影关系；合成图像坐标变换部分，适配为基于投影关系计算部分计算的投影关系以及相机的镜头失真数据而从合成图像产生要附加的合成图像；以及输出图像产生部分，适配为将输入图像与由合成图像坐标变换部分产生的要附加的合成图像合并，并获取输出图像。

在本技术的实施例中，特征点提取部分提取输入图像的特征点。输入图像是例如直接从相机获取的或者从存储器读取的由相机捕捉的图像。对应性确定部分确定输入图像的提取的特征点和参考图像的特征点之间的对应性。即，对应性确定部分通过匹配输入图像和参考图像的特征点来获取对应的点。通过使用考虑相机的镜头失真而从参考图像产生的特征点字典进行对应性的确定。

特征点坐标失真校正部分基于相机的镜头失真数据来校正由对应性确定部分确定与参考图像的特征点对应的输入图像的特征点的坐标。然后，投影关系计算部分根据所确定的对应性并基于参考图像的特征点的坐标和由特征点坐标失真校正部分校正的输入图像的特征点的坐标来计算输入图像和参考图像之间的投影关系（单应性）。然后，合成图像坐标变换部分基于由投影关系计算部分计算的投影关系以及相机的镜头失真数据从合成图像产生要附加的合成图像。然后，输出图像产生部分通过合并输入图像与产生的要附加的合成图像而获取输出图像。

如上所述，本技术的实施例使用考虑相机的镜头失真的参考图像的特征点字典来进行特征点的匹配，因此使得即使输入图像中存在镜头失真也能够正确地得到输入图像和参考图像的对应的特征点，并允许按正确的方式合并输入图像与合成图像。在此情况下，校正的不是输入图像的镜头失真，而是输入图像的特征点的坐标的镜头失真。这显著最小化计算量。

应该注意，例如在本技术的实施例中，可以不仅考虑相机的镜头失真而且考虑隔行图像而产生特征点字典。在此情况下，使用考虑隔行图像的参考图像的特征点字典来匹配特征点。即使输入图像是隔行图像，也可以正确地得到输入图像和参考图像的对应的特征点，因此允许正确地合并输入图像与合成图像。在此情况下，隔行输入图像未被转换为逐行图像，显著最小化计算量。

根据本技术的另一实施例，提供了图像处理方法，包括：提取作为由相机捕捉的图像的输入图像的特征点；使用考虑到相机的镜头失真而从参考图像产生的特征点字典来确定提取的输入图像的特征点和参考图像的特征点之间的对应性；基于相机的镜头失真数据来校正确定的与参考图像的特征点对应的输入图像的特征点的坐标；根据确定的对应性并基于参考图像的特征点的坐标和输入图像的特征点的校正的坐标来计算输入图像和参考图像之间的投影关系；基于计算的投影关系以及相机的镜头失真数据而从合成图像产生要附加的合成图像；以及将输入图像与产生的要附加的合成图像合并，并获取输出图像。

根据本技术的另一实施例，提供了允许计算机用作以下部分的程序：特征点提取部分，适配为提取作为由相机捕捉的图像的输入图像的特征点；对应性确定部分，适配为使用考虑相机的镜头失真而从参考图像产生的特征点字典来确定由特征点提取部分提取的输入图像的特征点和参考图像的特征点之间的对应性；特征点坐标失真校正部分，适配为基于相机的镜头失真数据来校正由对应性确定部分确定的与参考图像的特征点对应的输入图像的特征点的坐标；投影关系计算部分，适配为根据对应性确定部分确定的对应性并基于参考图像的特征点的坐标和特征点坐标失真校正部分校正的输入图像的特征点的坐标来计算输入图像和参考图像之间的投影关系；合成图像坐标变换部分，适配为基于投影关系计算部分计算的投影关系以及相机的镜头失真数据而从合成图像产生要附加的合成图像；以及输出图像产生部分，适配为将输入图像与由合成图像坐标变换部分产生的要附加的合成图像合并，并获取输出图像。

根据本技术的另一实施例，提供了学习设备，包括：图像变换部分，适配为向参考图像至少应用使用变换参数的几何变换以及使用镜头失真数据的镜头失真变换；以及字典登记部分，适配为基于由图像变换部分变换的多个图像提取给定数量的特征点并将特征点登记在字典中。

在本技术的实施例中，图像变换部分向参考图像至少应用使用变换参数的几何变换以及使用镜头失真数据的镜头失真变换。然后，字典登记部分基于多个变换的图像提取给定数量的特征点并将特征点登记在字典中。

例如，字典登记部分可以包括：特征点计算单元，适配为得到图像变换部分变换的图像的特征点；特征点坐标变换单元，适配为将特征点计算单元得到的特征点的坐标变换为参考图像的坐标；出现频率更新单元，适配为对于由图像变换部分变换的每个参考图像，基于由特征点坐标变换单元变换的特征点坐标来更新每个特征点的出现频率；以及特征点登记单元，适配为在出现频率已经被出现频率更新单元更新的所有特征点中，提取从最高的出现频率开始按出现频率的降序顺序的任意数量的特征点，并将这些特征点登记在字典中。

如上所述，本技术的实施例基于经历了镜头失真变换的多个变换的图像提取给定数量的特征点并将特征点登记在字典中，因此使得能够以恰当的方式获取考虑相机的镜头失真的参考图像的特征点字典。

应该注意，在本技术的实施例中，图像变换部分可以向参考图像应用几何变换和镜头失真变换，并且通过选择性地将逐行图像转换为隔行图像而产生多个变换的图像。这使得能够恰当地获取考虑相机的镜头失真以及逐行图像和隔行图像两者的特征点字典。

此外，在本技术的实施例中，图像变换部分可以通过基于从多个镜头失真数据中随机地选择的镜头失真数据而应用镜头失真变换来产生多个变换的图像。这使得能够恰当地获取考虑多个相机的镜头失真的特征点字典。

根据本技术的另一实施例，提供了学习方法，包括：向参考图像至少应用使用变换参数的几何变换以及使用镜头失真数据的镜头失真变换；以及基于变换的多个图像提取给定数量的特征点并将特征点登记在字典中。

根据本技术的另一实施例，提供了允许计算机用作以下部分的程序：图像变换部分，适配为向参考图像至少应用使用变换参数的几何变换以及使用镜头失真数据的镜头失真变换；以及字典登记部分，适配为基于由图像变换部分变换的多个图像提取给定数量的特征点，并将特征点登记在字典中。

本技术的实施例允许恰当地合并输入图像与合成图像。

附图说明

图1是例示根据本技术的实施例的图像处理系统的配置示例的框图；

图2是例示构成图像处理系统的图像处理器的配置例子的框图；

图3是例示图像处理器的处理流程的示例的流程图；

图4A和4B是例示输入和参考图像的例子的图；

图5是例示输入和参考图像的特征点的匹配的例子的图；

图6A和6B是例示合成和输出图像的例子的图；

图7是例示构成图像处理系统的学习设备的配置例子的框图；

图8是例示构成学习设备的特征点提取部分的配置例子的框图；

图9是用于描述特征点的出现频率的图；

图10是例示特征点提取部分的处理流程的例子的流程图；

图11是例示构成学习设备的图像特征学习部分的配置例子的框图；

图12是例示图像特征学习部分的处理流程的例子的流程图；

图13是例示在包括确定逐行图像是否被转换为隔行图像的步骤的情况下特征点提取部分的处理流程的例子的流程图；

图14是例示在包括确定逐行图像是否被转换为隔行图像的步骤的情况下图像特征学习部分的处理流程的例子的流程图；

图15是例示在使用已经经历了多个相机的镜头失真变换的变换的图像的情况下特征点提取部分的处理流程的例子的流程图；

图16是例示在使用已经经历了多个相机的镜头失真变换的变换的图像的情况下图像特征学习部分的处理流程的例子的流程图；

图17是例示在包括确定逐行图像是否被转换为隔行图像的步骤的情况下以及在使用已经经历了多个相机的镜头失真变换的变换的图像的情况下特征点提取部分的处理流程的例子的流程图；

图18是例示在包括确定逐行图像是否被转换为隔行图像的步骤的情况下以及在使用已经经历了多个相机的镜头失真变换的变换的图像的情况下图像特征学习部分的处理流程的例子的流程图；

图19是例示能够合并捕捉的图像与合成图像的图像处理器的配置例子的框图；

图20是例示图像处理器的处理流程的例子的流程图；

图21是例示能够合并捕捉的图像与合成图像的图像处理器的另一配置例子的框图；以及

图22是例示根据另一配置例子的图像处理器的处理流程的例子的流程图。

具体实施方式

以下将给出用于实施本技术的模式（下文中称为实施例）的描述。将按以下顺序给出描述。

1.实施例

2.修改例子

<1.实施例>

[图像处理系统的配置例子]

图1例示作为实施例的图像处理系统10的配置例子。图像处理系统10包括图像处理器100和学习设备200。

学习设备200通过提取参考图像的图像特征而产生特征点字典作为数据库。此时，学习设备200考虑要识别的目标的姿势的改变和相机特征而提取图像特征。如上所述，学习设备200对参考图像的分析允许对于要识别的目标的姿势改变强健的并且适合于相机特征的识别。学习设备的处理脱机地进行，并且不需要实时性。图像处理器100使用特征点字典检测要识别的目标在输入图像中的位置，并将合成图像叠加在该位置处，因此产生输出图像。图像处理器10的处理联机地进行，并且需要实时性。

[图像处理器的详细描述]

以下将给出图像处理器100的详细描述。首先将概述图像处理器100的处理。图像处理器的目标是将合成图像附加到输入图像内的要识别的目标（标记）以便产生输出图像。为了确定要如何附加合成图像，仅需要得到参考图像到输入图像中的要识别的目标的几何变换并变换合成图像。

在本技术的实施例中，要识别的目标被当作平面。因此，以上几何变换由称为单应性的3乘3矩阵来表示。已知如果在输入图像内的要识别的目标中和参考图像中可获得四个或更多的对应点（一致的点），则可以得到单应性。适合于搜索点之间的对应性的处理通常称为匹配。使用学习设备200获取的字典进行匹配。此外，在亮度级方面担当拐点的并且称为特征点的点被用作用于提供更高的匹配准确性的点。因此，需要提取输入图像和参考图像的特征点。在此，参考图像的特征点预先由学习设备200得到。

接下来将给出图像处理器100的详细配置的描述。图2例示图像处理器100的配置例子。图像处理器100包括特征点提取部分101、匹配部分102、特征点坐标失真校正部分103、单应性计算部分104、合成图像坐标变换部分105和输出图像产生部分106。应该注意，图像处理器100可以与诸如相机的图像输入设备或者诸如显示器的图像显示设备集成。

特征点提取部分101提取输入图像（捕捉的图像）的特征点，由此获取特征点的坐标。在此情况下，特征点提取部分101从某个时间时的输入图像的帧提取特征点。已经提出了各种特征点提取技术，包括Harris Corner和SIFT（尺度不变特征变换）。在此，可以使用任意技术。

匹配部分102基于存储在存储部分107中的并由学习设备在之前的学习中准备的参考图像的特征点字典进行匹配，即进行计算以确定输入图像的特征点是否对应于参考图像的特征点，因此获取两个图像之间的对应特征点。在此，已经不仅考虑相机镜头失真而且考虑隔行和逐行图像而产生特征点字典。

已经提出了各种方法用于匹配。在此，例如使用基于公知的贝叶斯统计的方法。基于贝叶斯统计的此方法将满足以下所示的等式（1）的参考图像的特征点当作对应点。

k＝argmax_k P(I_kf₁，f₂，...，f_N)   …(1)

在此，假设I_k表示第k个特征点。f_1到f_N表示对特征点进行的测试。术语“测试”指进行以表示在特征点周围的纹理（texture）的操作。例如，使用特征点和在其周围的点之间的量值关系。N对中的每对的两个点、即特征点及f_1到f_N之一在量值（magnitude）方面相比较。各种其他方法也可用于测试，包括绝对差之和（SAD）和直方图比较。而且，在此，可以使用任意方法。

等式（1）意味着对输入图像的某个特征点测试（在量值上比较）f_1到f_N的每个，并且作为其结果，概率分布P最大的参考图像的特征点I_k被确定为对应点。此时，分布P是必需的。由学习设备200预先得到该分布。分布P被称为字典。以“照原样”的方式使用等式（1）导致巨大量的字典数据。因此，通常对于P0(f_1)到P(f_N)作出统计独立或者按照该统计独立的假设，之后是使用例如同时分布的乘积的近似。在此，可以使用这样的近似。

特征点坐标失真校正部分103基于存储在存储部分107中的相机镜头失真数据来校正输入图像的特征点的坐标失真，其中匹配部分102已经得到了该特征点的对应点。单应性计算部分104基于参考图像的特征点的坐标和输入图像的特征点的校正的坐标计算在匹配部分102得到的对应点处的输入图像和参考图像之间的单应性（投影关系）。已经提出了用于得到单应性的各种方法。在此，可以使用任意方法。

合成图像坐标变换部分105基于单应性计算部分104计算的单应性以及存储在存储部分107中的相机镜头失真数据从存储在存储部分107中的合成图像产生要附加的合成图像。在此情况下，假设合成图像的三维坐标由X_g表示，单应性由H表示，并且镜头失真变换由TR表示，则在坐标变换之后的坐标X’_g可以由以下示出的等式（2）表示。但是，应该注意，等式（2）中的TM由以下示出的等式（3）表示。

X′_g＝T_R(T_M(HX_g))   …(2)

$T_M:{\left[\begin{array}{ccc}a& b& c\end{array}\right]}^T\&RightArrow;{\left[\begin{array}{ccc}\frac{a}{c}& \frac{b}{c}& 1\end{array}\right]}^T\begin{array}{}\end{array}...\left(3\right)$

在此情况下，在坐标变换之后的合成图像S’_g由以下示出的等式（4）表示。

S′_g(X′_g)＝S_g(T_M(X_g))   …(4)

输出图像产生部分106合并输入图像与已经由合成图像坐标变换部分105产生的要附加的变换的合成图像，因此获取输出图像。在此情况下，假设输入图像由S表示并且合并的混合比由α表示，则输出图像S_o由以下所示的等式（5）表示。

S_o＝αS′_g+(1-α)S   …(5)

图像处理器100的每个组件配置为诸如电路逻辑的硬件和/或诸如程序的软件。例如通过执行未示出的CPU（中央处理单元）上的程序来实现配置为软件的每个组件。

图3所示的流程图例示了图2所示的图像处理器100的处理流程的例子。首先，图像处理器100在步骤ST31开始一系列处理，然后在步骤ST32被提供输入图像（捕捉的图像），然后在步骤ST33继续该处理。图4A例示了输入图像I1的例子。输入图像I1包含作为标记M的对角倾斜地悬挂的地图的图像。

图像处理器100在步骤ST33使用特征点提取部分101来提取输入图像的特征点。接下来，图像处理器100在步骤ST34基于存储在存储部分107中的参考图像的特征点字典和由特征点提取部分101提取的输入图像的特征点，使用匹配部分102来匹配输入图像和参考图像之间的特征点。此匹配处理允许得到在输入图像和参考图像之间的对应特征点。

图4B例示参考图像R的例子。另一方面，图5例示特征点的匹配的例子。在此例子中，输入图像I1中的特定区域（标记M）由示出日本地图及其周围区域的图像的参考图像R指定。输入图像I1是对角倾斜悬挂的地图图像（标记M）的对角正视图。参考图像R是与右上标记M对应的地图图像，并且预先已经提取了包括亮度级的边缘分量的九个特征点P1到P9。

应该注意，在图5中，在地图图像本身上而不是在地图图像的亮度图像上示出特征点P。此例子示出九个特征点P1到P9中的五个特征点P1到P5已经在参考图像R和输入图像I1之间匹配，如由连接彼此对应的一致特征点P（对应点）的线段所示。

在步骤ST35，图像处理器100使用特征点坐标失真校正部分103基于存储在存储部分107中的相机镜头失真数据来校正输入图像的匹配的特征点的坐标。然后，在步骤ST36，图像处理器100基于参考图像的特征点的坐标和输入图像的特征点的校正的坐标来计算输入图像和参考图像之间的单应性矩阵。

接下来，图像处理器100在步骤ST37确定是否已经成功计算了单应性矩阵。当已经成功计算了单应性矩阵时，在步骤ST38，图像处理器100基于在步骤ST36计算的单应性矩阵以及存储在存储部分107中的相机镜头失真数据来变换存储在存储部分107中的合成图像，由此获取要附加的合成图像。

接下来，在步骤ST39，处理器100使用输出图像产生部分106来合并输入图像与已经在步骤ST38中产生的变换的合成图像（要附加的合成图像），因此获取输出图像。图6A例示合成图像的例子。另一方面，图6B例示通过合并输入图像I1与变换的合成图像而获取的输出图像的例子。

此外，在步骤ST40，图像处理器100输出在步骤ST39获取的输出图像，然后在步骤ST41终止该系列处理。另一方面，如果在步骤ST37中还未成功计算单应性矩阵，则在步骤ST42中，图像处理器100以“按原样”的方式输出该输入图像，然后在步骤ST41终止该系列处理。

如上所述，由图2中所示的图像处理器100的匹配部分102使用的特征点字典考虑相机镜头失真。这使得即使在输入图像中存在镜头失真时图像处理器100也能够考虑镜头失真而匹配特征点，因此允许恰当地得到输入图像和参考图像之间的对应特征点，并允许输入图像恰当地与合成图像合并。此外，在此情况下，输入图像的镜头失真未被校正。而是，特征点坐标失真校正部分103校正输入图像的特征点的坐标的镜头失真，显著最小化计算量。

此外，考虑隔行图像而产生匹配部分102使用的特征点字典。因此，即使输入图像是隔行图像，图像处理器100也考虑隔行图像而匹配特征点，由此允许恰当地得到在输入图像和参考图像之间的对应特征点，并允许恰当地合并输入图像与合成图像。此外，在此情况下，隔行输入图像未被转换为逐行图像，显著最小化计算量。

[学习设备的详细描述]

以下将给出学习设备200的详细描述。学习设备200包括特征点提取部分200A和图像特征学习部分200B。特征点提取部分200A计算对于要识别的目标的姿势改变和相机特征强健的特征点集。图像特征学习部分200B分析在特征点提取部分200A获取的每个特征点周围的纹理，由此准备字典。

[特征点提取部分的详细描述]

以下将给出特征点提取部分200A的描述。特征点提取部分200A被设计为计算强健的特征点的集合。出于此原因，特征点提取部分200A把在随机地改变变换参数的同时向参考图像应用各种变换然后找出特征点的循环重复多次。在多次重复以上循环之后，特征点提取部分200A将由于多次重复以上循环而发现的频繁出现的特征点登记为字典中的强健特征点。

图8例示特征点提取部分200A的配置例子。特征点提取部分200A包括变换参数产生单元201、几何变换单元202、镜头失真变换单元203、PI转换单元204、特征点计算单元205、特征点坐标变换单元206、特征点出现频率更新单元207、特征点登记单元208和存储单元209。

变换参数产生单元201产生由几何变换单元202使用的变换参数H（等同于旋转角和缩放因子）、由镜头失真变换单元203使用的δ_x和δ_y（镜头中心）参数、以及由PI转换单元204使用的δ_i（使用奇数场还是偶数场）参数。在此情况下，使用随机数将每个参数产生为随机值。

几何变换单元202旋转存储在存储单元209中的参考图像S，通过等同于要跟踪的目标的姿势改变的变换TH来缩放该图像或者按其他方式来操纵，因此获取变换图像SH=TH（S,H）。取决于估计的姿势改变的类别，使用仿射变换、单应性变换或者其他变换作为变换TH。随机地确定变换参数以落在姿势改变的估计的范围内。

镜头失真变换单元203基于存储在存储单元209中的镜头失真数据将等同于相机镜头失真的变换TR应用于图像SH，因此获取变换的图像SR=TR（SH，δ_x，δ_y）。此时，镜头失真变换单元203应用假定镜头中心已经从参考图像的中心在x方向上移动δ_x并且在y方向上移动δ_y的变换。随机地确定δ_x和δ_y参数以落在镜头中心的改变的估计范围内。应该注意，镜头失真变换单元203通过预先测量镜头失真来得到变换TR。

PI转换单元204向图像SR应用变换TI，因此将逐行图像转换为隔行图像并获取变换的图像SI=TI（SR,δ_i）。在此情况下，变换TI是下采样，并且可以使用诸如滤波器的各个组件。此时，值δ_i确定使用奇数场还是偶数场。特征点计算单元205计算图像SI的特征点。特征点坐标变换单元206反转对每个特征点的TH和TR变换以及TI转换，因此得到参考图像S上的特征点坐标。

特征点出现频率更新单元207更新在参考图像S上的每组坐标处的特征点的出现频率。出现的频率被标示在示出了每个特征点的出现频率的直方图中，如图9所示。通过参考图像S上的特征点的坐标进行关于某个特征点是几号特征点的确定。其原因是，无论变换参数如何，参考图像S上的特征点坐标是不可变量。特征点登记单元208基于作为对变换的图像进行N次的特征点提取的结果而得到的特征点出现频率，在存储器单元209的特征点字典中登记从最高的出现频率开始按出现频率的降序顺序的任意数量的特征点。

特征点提取部分200A的每个组件配置为诸如电路逻辑的硬件和/或诸如程序的软件。例如通过在未示出的CPU上执行程序来实现配置为软件的每个组件。

图10所示的流程图例示了图8所示的特征点提取部分200A的处理流程的例子。首先，特征点提取部分200A在步骤ST51开始一系列处理，然后在步骤ST52使用变换参数产生单元201使用随机数来产生作为随机值的变换参数。在此产生的变换参数是由几何变换单元202使用的变换参数H（等同于旋转角和缩放因子）、由镜头失真变换单元203使用的δ_x和δ_y（镜头中心）参数、以及由PI转换单元204使用的δ_i参数（使用奇数还是偶数场）。

接下来，在步骤ST53，特征点提取部分200A基于变换参数H并通过等同于要跟踪的目标的姿势改变的变换TH而使用几何变换单元202来旋转参考图像S、缩放该参考图像S或者按其他方式操纵该参考图像S，由此获取变换的图像SH=TH（S，H）。此外，特征点提取部分200A在步骤ST54向图像SH应用等同于相机镜头失真的变换TR，由此获取变换的图像SR=TR（SH，δ_x，δ_y）。此外，特征点提取部分200A在步骤ST55向图像SR应用变换TI，由此将逐行图像SR转换为隔行图像，并获取变换的图像SI=TI（SR，δ_i）。

接下来，特征点提取部分200A在步骤ST56使用特征点计算单元205来计算在步骤ST55获取的图像SI的特征点。然后，特征点提取部分200A在步骤ST57使用特征点坐标变换单元206来反转对在步骤ST56中得到的图像SI的每个特征点的TH和TR变换以及TI转换，因此得到参考图像S上的特征点坐标。然后，特征点提取部分200A在步骤ST58使用特征点出现频率更新单元207来更新在参考图像S上的每组坐标处的每个特征点的出现频率。

接下来，特征点提取部分200A在步骤ST59确定该系列处理是否已经完成第N次。如果该系列处理还未完成第N次，则特征点提取部分200A返回到步骤ST52中的处理以重复与上述相同的处理。另一方面，当该系列处理已经完成第N次时，特征点提取部分200A在步骤ST60基于特征点出现频率使用特征点登记单元208登记从最高的出现频率开始按出现频率的降序顺序的任意数量的特征点。然后，特征点提取部分200A在步骤ST61终止该系列处理。

[图像特征学习部分的详细描述]

以下将给出图像特征学习部分200B的描述。图像特征学习部分200B被设计为通过分析在特征点提取部分200A获取的每个特征点周围的图像特征来准备字典。此时，图像特征学习部分200B像特征点提取部分200A那样通过向参考图像应用各种变换来准备字典，由此允许对于要识别的目标的姿势改变和相机特征强健的识别。

图像特征学习部分200B包括变换参数产生单元211、几何变换单元212、镜头失真变换单元213、PI转换单元214、概率更新单元215和存储单元216。变换参数产生单元211产生由几何变换单元212使用的变换参数H（等同于旋转角和缩放因子）、由镜头失真变换单元213使用的δ_x和δ_y（镜头中心）参数、以及由PI转换单元214使用的δ_i参数（使用奇数还是偶数场）。在此情况下，使用随机数产生作为随机值的每个参数。

尽管未详细描述，但是几何变换单元212、镜头失真变换单元213和PI转换单元214分别以与图8所示的特征点提取部分200A的几何变换单元202、镜头失真变换单元203和PI转换单元204相同的方式而配置。

概率更新单元215对特征点提取部分200A从变换的图像SI获取的每个特征点进行与关于图2所示的图像处理器100的匹配部分102所述相同的测试，由此更新存储在存储单元216中的特征点的概率（字典）。概率更新单元215在N次获取变换的图像SI的每次时更新特征点的概率（字典）。结果，在存储单元216中产生编译特征点及其概率数据的特征点字典。

由图像处理器100进行的以上匹配中的概率最大化可以使用贝叶斯统计由以下所示的等式（6）给出。据此，如果得到P(f_1,f_2,…,f_N)|I_k)和P(I_k)，则可以获得最大化。

k＝argmax_kP(I_k|f₁，f₂，...，f_N)

＝argmax_kP(I_k)P(f₁，f₂，...，f_N|I_k)   …(6)

在此，P(f_1,f_2,…,f_N)|I_k)是通过对于特征点I_k的测试可以获得的概率，P(I_k)是I_k出现的概率。前者可以通过对每个特征点进行以上测试而得到。后者对应于由特征点提取部分200A得到的特征点出现频率。测试所有特征点的每个。

图像特征学习部分200B的每个组件配置为诸如电路逻辑的硬件和/或诸如程序的软件。例如通过在未示出的CPU上执行程序来实施配置为软件的每个组件。

图12所示的流程图例示图11所示的图像特征学习部分200B的处理流程的例子。首先，图像特征学习部分200B在步骤ST71开始一系列处理，然后在步骤ST72使用变换参数产生单元211使用随机数产生作为随机值的变换参数。在此产生的变换参数是由几何变换单元212使用的变换参数H（等同于旋转角和缩放因子）、由镜头失真变换单元213使用的δ_x和δ_y（镜头中心）参数、以及由PI转换单元214使用的δ_i参数（使用奇数还是偶数场）。

接下来，图像特征学习部分200B在步骤ST73基于变换参数H并通过等同于要跟踪的目标的姿势改变的变换TH，使用几何变换单元212旋转参考图像S、缩放参考图像S或者以其他方式操纵参考图像S，由此获取变换的图像SH=TH（S，H）。此外，图像特征学习部分200B在步骤ST74向图像SH应用等同于相机镜头失真的变换TR，由此获取变换的图像SR=TR（SH，δ_x，δ_y）。此外，图像特征学习部分200B在步骤ST75向图像SR应用变换TI，由此将逐行图像SR转换为隔行图像，并获取变换的图像SI=TI（SR，δ_i）。

接下来，图像特征学习部分200B在步骤ST76使用概率更新单元215来测试在步骤ST75中获取的变换的图像SI中的由特征点提取部分200A获取的每个特征点，由此更新存储在存储单元216中的特征点概率（字典）。

然后，图像特征学习部分200B在步骤ST77确定是否已经处理了所有特征点。如果不是所有特征点都已被处理，则图像特征学习部分200B返回到步骤ST76以再次更新特征点概率。另一方面，当所有特征点都已经被处理时，图像特征学习部分200B在步骤ST78确定该系列处理是否已经完成第N次。如果该系列处理还未完成第N此，则图像特征学习部分200B返回到步骤ST72中的处理以重复与上述相同的处理。另一方面，当该系列处理已经完成第N次时，图像特征学习部分200B在步骤ST79终止该系列处理。

如上所述，图7所示的学习设备200基于经历了镜头失真变换的多个变换的图像提取给定数量的特征点，并将这些特征点登记在字典中。这使得能够恰当地获取考虑相机的镜头失真的参考图像的特征点字典。此外，图7所示的学习设备200基于从逐行图像转换的隔行图像提取给定数量的特征点，并将这些特征点登记在字典中。这使得能够恰当地获取考虑隔行图像的特征点字典。

<2.修改例子>

[修改例子1]

应该注意，示出了其中图7所示的学习设备200基于从逐行图像转换的隔行图像提取给定数量的特征点并将这些特征点登记在字典中以便获取考虑隔行图像的特征点字典的例子。但是，如果包括了确定逐行图像是否被转换为隔行图像的步骤，则能够准备支持逐行格式和隔行格式两者的字典。

图13所示的流程图例示在包括了确定逐行图像是否被转换为隔行图像的步骤的情况下特征点提取部分200A的处理流程的例子。在图13所示的流程图中，与图10所示的相同的步骤由相同的参考标记表示，并且适当省略其详细描述。

特征点提取部分200A在步骤ST51开始一系列处理，然后在步骤ST52A使用变换参数产生单元201使用随机数产生作为随机值的变换参数。在此随机地产生的变换参数不仅是由几何变换单元202使用的变换参数H、由镜头失真变换单元203使用的δ_x和δ_y参数以及由PI转换单元204使用的δ_i参数，而且是指示是否将逐行图像转换为隔行图像的参数。特征点提取部分200A在步骤ST52A中的处理之后继续步骤ST53中的处理。

此外，特征点提取部分200A在步骤ST54中的处理之后继续步骤ST81中的处理。在步骤ST81，特征点提取部分200A基于在步骤ST52A中产生的指示是否将逐行图像转换为隔行图像的参数来确定是否这样做。当逐行图像被转换为隔行图像时，特征点提取部分200A在步骤ST55向在步骤ST54中获取的变换的图像SR应用变换TI，因此将逐行图像SR转换为隔行图像，并获取变换的图像SI=TI（SR，δ_i）。

特征点提取部分200A在步骤ST55中的处理之后继续步骤ST56中的处理。另一方面，如果在步骤ST81中逐行图像未被转换为隔行图像，则特征点提取部分200A立即继续步骤ST56中的处理。尽管未详细描述，但是图13所示的流程图的所有其他步骤与图10所示的流程图的那些步骤相同。

图14所示的流程图例示在包括了确定逐行图像是否被转换为隔行图像的步骤的情况下图像特征学习部分200V的处理流程的例子。在图14所示的流程图中，与图12相同的步骤由相同的参考标记表示，并且适当省略其详细描述。

图像特征学习部分200B在步骤ST71开始一系列处理，然后在步骤ST72A使用变换参数产生单元211使用随机数产生作为随机值的变换参数。在此随机产生的变换参数不仅是由几何变换单元212使用的变换参数H、由镜头失真变换单元213使用的δ_x和δ_y参数以及由PI转换单元214使用的δ_i参数，而且是指示是否将逐行图像转换为隔行图像的参数。图像特征学习部分200B在步骤ST72A中的处理之后继续步骤ST73中的处理。

此外，图像特征学习部分200B在步骤ST74中的处理之后继续步骤ST82中的处理。在步骤ST82中，图像特征学习部分200B基于在步骤ST72A中产生的指示是否将逐行图像转换为隔行图像的参数确定是否这样做。当逐行图像被转换为隔行图像时，图像特征学习部分200B在步骤ST75中向在步骤ST74中获取的变换的图像SR应用变换TI，因此将逐行图像SR转换为隔行图像，并获取变换的图像SI=TI（SR，δ_i）。

图像特征学习部分200B在步骤ST75中的处理之后继续步骤ST76中的处理。另一方面，如果在步骤ST82中逐行图像未被转换为隔行图像，则图像特征学习部分200B立即继续步骤ST76中的处理。尽管未详细描述，但是图14所示的流程图的所有其他步骤与图12所示的流程图的那些步骤相同。

如上所述，如果包括了确定逐行图像是否被转换为隔行图像的步骤，则能够准备考虑逐行图像和隔行图像两者的字典。图2所示的图像处理器100通过使用此特征点字典而支持隔行和逐行输入图像，因此消除了指定输入图像格式的需要。也就是说，无论输入图像是隔行图像还是逐行图像，都能够正确地得到在输入图像和参考图像之间的对应特征点，因此允许将输入图像正确地与合成图像合并。

[修改例子2]

此外，示出了其中图7所示的学习设备200基于经历了相机的镜头失真变换的变换的图像提取给定数量的特征点，并将这些特征点登记在字典中以便获取考虑相机的镜头失真的特征点字典的例子。但是，如果使用已经经历了多个相机的镜头失真变换的变换的图像，则能够准备考虑多个相机的镜头失真的字典。

图15所示的流程图例示在使用已经经历了多个相机的镜头失真变换的变换的图像的情况下特征点提取部分200A的处理流程的例子。在图15所示的流程图中，与图10所示的相同的步骤由相同的参考标记表示，并且适当省略其详细描述。

特征点提取部分200A在步骤ST51开始一系列处理，然后在步骤ST52B使用变换参数产生单元201使用随机数产生作为随机值的变换参数。在此随机地产生的变换参数不仅是由几何变换单元202使用的变换参数H、由镜头失真变换单元203使用的δ_x和δ_y参数以及由PI转换单元204使用的δ_i参数，而且是指示要使用多个相机镜头失真数据中的哪个的参数。应该注意，该多个相机镜头失真数据预先测量并登记在存储单元209中。特征点提取部分200A在步骤ST52B中的处理之后继续步骤ST53中的处理。

此外，特征点提取部分200A在步骤ST53中的处理之后继续步骤ST54B中的处理。特征点提取部分200A在步骤ST54B中向通过步骤ST53中的处理获取的图像SH应用镜头失真变换。在此情况下，特征点提取部分200A基于由指示要使用多个相机镜头失真数据中的哪个的参数指定的镜头失真数据应用等同于相机镜头失真的变换TR，因此获取变换的图像SR。特征点提取部分200A在步骤ST54B中的处理之后继续步骤ST55中的处理。尽管未详细描述，但是图15所示的流程图的所有其他步骤与图10所示的流程图的那些步骤相同。

此外，图16所示的流程图例示在使用已经经历了多个相机的镜头失真变换的变换的图像的情况下图像特征学习部分200B的处理流程的例子。在图16所示的流程图中，与图12所示相同的步骤由相同的参考标记表示，并且适当省略其详细描述。

图像特征学习部分200B在步骤St71开始一系列处理，然后在步骤ST72B使用变换参数产生单元211使用随机数产生作为随机值的变换参数。在此随机地产生的变换参数不仅是由几何变换单元212使用的变换参数H、由镜头失真变换单元213使用的δ_x和δ_y参数以及由PI转换单元214使用的δ_i参数，而且是指示要使用多个相机镜头失真数据中的哪个的参数。应该注意，多个相机镜头失真数据预先测量并登记在存储单元216中。图像特征学习部分200B在步骤ST72B中的处理之后继续步骤ST73中的处理。

此外，图像特征学习部分200B在步骤ST73中的处理之后继续步骤ST74B中的处理。图像特征学习部分200B在步骤ST74B中向通过步骤ST73中的处理获取的图像SH应用镜头失真变换。在此情况下，图像特征学习部分200B基于由指示要使用多个相机镜头失真数据中的哪个的参数指定的镜头失真数据来应用等同于相机镜头失真的变换TR，因此获取变换的图像SR。图像特征学习部分200B在步骤ST74B中的处理之后继续步骤ST75中的处理。尽管未详细描述，但是图16所示的流程图的所有其他步骤与图12中所示的流程图的那些步骤相同。

如上所述，如果使用已经经历了多个相机的镜头失真变换的变换的图像，则能够获取考虑多个相机的镜头失真的特征点字典。图2所示的图像处理器可以通过使用该特征点字典来处理多个镜头失真中的任意镜头失真。换句话说，无论输入图像具有多个镜头失真中的哪个镜头失真，都能够正确地得到在输入图像和参考图像之间的对应特征点，因此允许将输入图像正确地与合成图像合并。

[修改例子3]

如果像修改例子1中那样包括了确定是否将逐行图像转换为隔行图像的步骤，则能够准备支持逐行图像和隔行图像两者的字典。此外，如果像修改例子2中那样使用已经经历了多个相机的镜头失真变换的变换的图像，则能够准备处理多个相机的镜头失真的字典。

图17所示的流程图例示在包括确定是否将逐行图像转换为隔行图像的步骤的情况下并且使用已经经历了多个相机的镜头失真变换的变换的图像的情况下，特征点提取部分200A的处理流程的例子。在图17所示的流程图中，与图10所示的步骤相同的步骤由相同的参考标记表示，并且适当省略其详细描述。

特征点提取部分200A在步骤ST51开始一系列处理，然后在步骤ST52C使用变换参数产生单元201使用随机数产生作为随机值的变换参数。在此随机地产生的变换参数是由几何变换单元202使用的变换参数H、由镜头失真变换单元203使用的δ_x和δ_y参数以及由PI转换单元204使用的δ_i参数。

此外，在此随机地产生的变换参数是指示是否将逐行图像转换为隔行图像的参数以及指示要使用多个相机镜头失真数据中的哪个的参数。应该注意，预先测量多个相机镜头失真数据并存储在存储单元209中。特征点提取部分200A在步骤ST52C中的处理之后继续步骤ST53中的处理。

此外，特征点提取部分200A在步骤ST53中的处理之后继续步骤ST54C中的处理。特征点提取部分200A在步骤ST54C中向通过步骤ST53中的处理获取的图像SH应用镜头失真变换。在此情况下，特征点提取部分200A基于由指示要使用多个相机镜头失真数据中的哪个的参数指定的镜头失真数据来应用等同于相机镜头失真的变换TR，由此获取变换的图像SR。

此外，特征点提取部分200A在步骤ST54C中的处理之后继续步骤ST81中的处理。在步骤ST81中，特征点提取部分200A基于在步骤ST52C产生的指示是否将逐行图像转换为隔行图像的参数来确定是否这样做。当逐行图像被转换为隔行图像时，特征点提取部分200A在步骤ST55中向在步骤ST54C中获取的变换的图像SR应用变换TI，因此将逐行图像SR转换为隔行图像，并获取变换的图像SI=TI（SR，δ_i）。

特征点提取部分200A在步骤ST55中的处理之后继续步骤ST56中的处理。另一方面，如果在步骤ST81中逐行图像未被转换为隔行图像，则特征点提取部分200A立即继续步骤ST56中的处理。尽管未详细描述，但是图17所示的流程图的所有其他步骤与图10所示的流程图的那些步骤相同。

图18所示的流程图例示在包括了确定是否将逐行图像转换为隔行图像的步骤的情况下并且在使用已经经历了多个相机的镜头失真变换的变换的图像的情况下，图像特征学习部分200B的处理流程的例子。在图18所示的流程图中，与图12中所示的步骤相同的步骤由相同的参考标记表示，并且适当省略其详细描述。

图像特征学习部分200B在步骤ST71中开始一系列处理，然后在步骤ST72C中使用变换参数产生单元211使用随机数产生作为随机值的变换参数。在此随机地产生的变换参数是由几何变换单元212使用的变换参数H、由镜头失真变换单元213使用的δ_x和δ_y参数以及由PI转换单元214使用的δ_i参数。

此外，在此随机地产生的变换参数是指示是否将逐行图像转换为隔行图像的参数以及指示要使用多个相机镜头失真数据中的哪个的参数。应该注意，预先测量多个相机镜头失真数据并登记在存储单元216中。图像特征学习部分200B在步骤ST72C中的处理之后继续步骤ST73中的处理。

此外，图像特征学习部分200B在步骤ST73中的处理之后继续步骤ST74C中的处理。图像特征学习部分200B在步骤ST74C中向通过步骤ST73中的处理获取的图像SH应用镜头失真变换。在此情况下，图像特征学习部分200B基于由指示要使用多个相机镜头失真数据中的哪个的参数应用等同于相机镜头失真的变换TR，因此获取变换的图像SR。

此外，图像特征学习部分200B在步骤ST74C中的处理之后继续步骤ST82中的处理。在步骤ST82中，图像特征学习部分200B基于在步骤ST72C中产生的指示是否将逐行图像转换为隔行图像的参数确定是否这样做。当逐行图像被转换为隔行图像时，图像特征学习部分200B在步骤ST75中向在步骤ST74C中获取的变换的图像SR应用变换TI，由此将逐行图像SR转换为隔行图像并获取变换的图像SI=TI（SR，δ_i）。

图像特征学习部分200B在步骤ST75中的处理之后继续步骤ST76中的处理。另一方面，如果在步骤ST82中逐行图像未被转换为隔行图像，则图像特征学习部分200B立即继续图76中的处理。尽管未详细描述，但是图18所示的流程图的所有其他步骤与图12所示的流程图的那些步骤相同。

如上所述，如果包括了确定是否将逐行图像转换为隔行图像的步骤，则能够获取考虑隔行图像和逐行图像两者的特征点字典。此外，如果使用已经经历了多个相机的镜头失真变换的变换的图像，则能够获取考虑多个相机的镜头失真的特征点字典。

图2所示的图像处理器100支持隔行和逐行输入图像两者，并且通过使用此特征点字典而处理多个镜头失真中的任意镜头失真。换句话说，无论相机特性如何，都能够正确地得到输入图像和参考图像之间的对应特征点，因此允许将输入图像正确地与合成图像合并。这消除了用户设置具体相机特性（隔行/逐行和镜头失真）的需要，因此提供了改进的使用容易性。

应该注意，本技术可以具有以下配置。

（1）一种图像处理器，包括：

特征点提取部分，适配为提取作为由相机捕捉的图像的输入图像的特征点；

对应性确定部分，适配为使用考虑相机的镜头失真而从参考图像产生的特征点字典来确定由特征点提取部分提取的输入图像的特征点和参考图像的特征点之间的对应性；

特征点坐标失真校正部分，适配为基于相机的镜头失真数据来校正由对应性确定部分确定的与参考图像的特征点对应的输入图像的特征点的坐标；

投影关系计算部分，适配为根据对应性确定部分确定的对应性并基于参考图像的特征点的坐标和特征点坐标失真校正部分校正的输入图像的特征点的坐标来计算输入图像和参考图像之间的投影关系；

合成图像坐标变换部分，适配为基于投影关系计算部分计算的投影关系以及相机的镜头失真数据而从合成图像产生要附加的合成图像；以及

输出图像产生部分，适配为将输入图像与由合成图像坐标变换部分产生的要附加的合成图像合并，并获取输出图像。

（2）如特征（1）的图像处理器，其中

不仅考虑相机的镜头失真而且考虑到隔行图像而产生特征点字典。

（3）一种图像处理方法，包括：

提取作为由相机捕捉的图像的输入图像的特征点；

使用考虑相机的镜头失真而从参考图像产生的特征点字典来确定提取的输入图像的特征点和参考图像的特征点之间的对应性；

基于相机的镜头失真数据来校正确定的与参考图像的特征点对应的输入图像的特征点的坐标；

根据确定的对应性并基于参考图像的特征点的坐标和输入图像的特征点的校正的坐标来计算输入图像和参考图像之间的投影关系；

基于计算的投影关系以及相机的镜头失真数据而从合成图像产生要附加的合成图像；以及

将输入图像与产生的要附加的合成图像合并，并获取输出图像。

（4）一种允许计算机用作以下部分的程序：

特征点提取部分，适配为提取作为由相机捕捉的图像的输入图像的特征点；

对应性确定部分，适配为使用考虑到相机的镜头失真而从参考图像产生的特征点字典来确定由特征点提取部分提取的输入图像的特征点和参考图像的特征点之间的对应性；

特征点坐标失真校正部分，适配为基于相机的镜头失真数据来校正由对应性确定部分确定的与参考图像的特征点对应的输入图像的特征点的坐标；

投影关系计算部分，适配为根据对应性确定部分确定的对应性并基于参考图像的特征点的坐标和特征点坐标失真校正部分校正的输入图像的特征点的坐标来计算输入图像和参考图像之间的投影关系；

合成图像坐标变换部分，适配为基于投影关系计算部分计算的投影关系以及相机的镜头失真数据而从合成图像产生要附加的合成图像；以及

输出图像产生部分，适配为将输入图像与由合成图像坐标变换部分产生的要附加的合成图像合并，并获取输出图像。

（5）一种学习设备，包括：

图像变换部分，适配为向参考图像至少应用使用变换参数的几何变换以及使用镜头失真数据的镜头失真变换；以及

字典登记部分，适配为基于由图像变换部分变换的多个图像提取给定数量的特征点并将特征点登记在字典中。

（6）如特征（5）的学习设备，其中

字典登记部分包括：

特征点计算单元，适配为得到图像变换部分变换的图像的特征点；

特征点坐标变换单元，适配为将特征点计算单元得到的特征点的坐标变换为参考图像的坐标；

出现频率更新单元，适配为对于由图像变换部分变换的每个参考图像，基于由特征点坐标变换单元变换的特征点坐标来更新每个特征点的出现频率；以及

特征点登记单元，适配为在出现频率已经被出现频率更新单元更新的所有特征点中，提取从最高的出现频率开始按出现频率的降序顺序的任意数量的特征点，并将这些特征点登记在字典中。

（7）如特征（5）或者（6）的学习设备，其中

图像变换部分向参考图像应用几何变换和镜头失真变换，并通过选择性地将逐行图像转换为隔行图像而产生多个变换的图像。

（8）如特征（5）到（7）的任意一项的学习设备，其中

图像变换部分通过基于从多个镜头失真数据中随机选择的镜头失真数据应用镜头失真变换来产生多个变换的图像。

（9）一种学习方法，包括：

向参考图像至少应用使用变换参数的几何变换以及使用镜头失真数据的镜头失真变换；以及

基于变换的多个图像提取给定数量的特征点并将特征点登记在字典中。

（10）一种允许计算机用作以下部分的程序：

图像变换部分，适配为向参考图像至少应用使用变换参数的几何变换以及使用镜头失真数据的镜头失真变换；以及

字典登记部分，适配为基于由图像变换部分变换的多个图像提取给定数量的特征点并将特征点登记在字典中。

本公开包含与2012年1月27日在日本专利局提交的日本优先权专利申请JP2012-014872中的公开有关的主题，通过引用将其全部内容合并于此。

本领域技术人员应当理解，取决于设计要求和其他因素，可以发生各种修改、组合、子组合和变更，只要它们在所附权利要求书或其等效物的范围内即可。

Claims (10)

1.一种图像处理器，包括：

特征点提取部分，适配为提取作为由相机捕捉的图像的输入图像的特征点；

对应性确定部分，适配为使用考虑相机的镜头失真而从参考图像产生的特征点字典来确定由所述特征点提取部分提取的输入图像的特征点和参考图像的特征点之间的对应性；

特征点坐标失真校正部分，适配为基于相机的镜头失真数据来校正由所述对应性确定部分确定的与参考图像的特征点对应的输入图像的特征点的坐标；

投影关系计算部分，适配为根据所述对应性确定部分确定的对应性并基于参考图像的特征点的坐标和特征点坐标失真校正部分校正的输入图像的特征点的坐标来计算输入图像和参考图像之间的投影关系；

合成图像坐标变换部分，适配为基于所述投影关系计算部分计算的投影关系以及相机的镜头失真数据而从合成图像产生要附加的合成图像；以及

输出图像产生部分，适配为将输入图像与由所述合成图像坐标变换部分产生的要附加的合成图像合并，并获取输出图像。

2.如权利要求1所述的图像处理器，其中

不仅考虑相机的镜头失真而且考虑隔行图像而产生所述特征点字典。

3.一种图像处理方法，包括：

提取作为由相机捕捉的图像的输入图像的特征点；

使用考虑相机的镜头失真而从参考图像产生的特征点字典来确定提取的输入图像的特征点和参考图像的特征点之间的对应性；

基于相机的镜头失真数据来校正确定的与参考图像的特征点对应的输入图像的特征点的坐标；

根据确定的对应性并基于参考图像的特征点的坐标和输入图像的特征点的校正的坐标来计算输入图像和参考图像之间的投影关系；

基于计算的投影关系以及相机的镜头失真数据而从合成图像产生要附加的合成图像；以及

将输入图像与产生的要附加的合成图像合并，并获取输出图像。

4.一种允许计算机用作以下部分的程序：

特征点提取部分，适配为提取作为由相机捕捉的图像的输入图像的特征点；

对应性确定部分，适配为使用考虑相机的镜头失真而从参考图像产生的特征点字典来确定由所述特征点提取部分提取的输入图像的特征点和参考图像的特征点之间的对应性；

特征点坐标失真校正部分，适配为基于相机的镜头失真数据来校正由所述对应性确定部分确定的与参考图像的特征点对应的输入图像的特征点的坐标；

投影关系计算部分，适配为根据所述对应性确定部分确定的对应性并基于参考图像的特征点的坐标和特征点坐标失真校正部分校正的输入图像的特征点的坐标来计算输入图像和参考图像之间的投影关系；

合成图像坐标变换部分，适配为基于所述投影关系计算部分计算的投影关系以及相机的镜头失真数据而从合成图像产生要附加的合成图像；以及

输出图像产生部分，适配为将输入图像与由所述合成图像坐标变换部分产生的要附加的合成图像合并，并获取输出图像。

5.一种学习设备，包括：

图像变换部分，适配为向参考图像至少应用使用变换参数的几何变换以及使用镜头失真数据的镜头失真变换；以及

字典登记部分，适配为基于由所述图像变换部分变换的多个图像提取给定数量的特征点，并将特征点登记在字典中。

6.如权利要求5所述的学习设备，其中

所述字典登记部分包括：

特征点计算单元，适配为得到图像变换部分变换的图像的特征点；

特征点坐标变换单元，适配为将所述特征点计算单元得到的特征点的坐标变换为参考图像的坐标；

出现频率更新单元，适配为对于由所述图像变换部分变换的每个参考图像，基于由所述特征点坐标变换单元变换的特征点坐标来更新每个特征点的出现频率；以及

特征点登记单元，适配为在出现频率已经被所述出现频率更新单元更新过的所有特征点中，提取从最高的出现频率开始按出现频率的降序顺序的任意数量的特征点，并将这些特征点登记在字典中。

7.如权利要求5所述的学习设备，其中

所述图像变换部分向参考图像应用几何变换和镜头失真变换，并通过选择性地将逐行图像转换为隔行图像而产生多个变换的图像。

8.如权利要求5所述的学习设备，其中

图像变换部分通过基于从多个镜头失真数据中随机选择的镜头失真数据应用镜头失真变换来产生多个变换的图像。

9.一种学习方法，包括：

向参考图像至少应用使用变换参数的几何变换以及使用镜头失真数据的镜头失真变换；以及

基于多个变换的图像提取给定数量的特征点并将特征点登记在字典中。

10.一种允许计算机用作以下部分的程序：

图像变换部分，适配为向参考图像至少应用使用变换参数的几何变换以及使用镜头失真数据的镜头失真变换；以及

字典登记部分，适配为基于由所述图像变换部分变换的多个图像提取给定数量的特征点，并将特征点登记在字典中。

Images