CN102750536A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

本发明涉及图像处理设备、图像处理方法和程序。所提供的图像处理设备包括：图像获取单元，用于获取输入图像；选择单元，用于从多种识别方法中选择输入图像中示出的对象的识别方法；识别单元，用于利用选择单元所选择的识别方法来识别输入图像中示出的对象；以及显示控制单元，用于将与识别单元识别出的对象相关联的虚拟对象叠加到输入图像上并显示虚拟对象。显示控制单元选择单元所选择的识别方法来改变虚拟对象的显示。

Description

图像处理设备、图像处理方法和程序

技术领域

本公开文件涉及图像处理设备、图像处理方法和程序。

背景技术

近年来，一种称作增强现实(AR)的技术赢得了关注，该技术将附加信息叠加到真实世界并将其呈现给用户。在AR技术中要呈现给用户的信息可以通过利用各种类型的虚拟对象来可视化。例如，在利用AR技术以使注意力集中于真实世界中的对象的情况下，用于使注意力集中于该对象的虚拟对象(例如，记号)可以被叠加到真实世界的对象上(或该对象周围)等并且可以显示该虚拟对象。用户可以通过观看虚拟对象而将他/她的注意力转向需要关注的对象。需要关注的对象可以是例如公告、广告等。

可以基于通过成像设备捕获真实世界而获得的捕获图像来识别这样的对象。此处，不是在所有时间都使用同一识别方法作为对象识别的方法，而可以根据情况适当地改变识别方法。例如，披露了以下技术，通过评估对象识别的精确性并且例如基于评估结果修改识别所使用的参数或改变识别算法来增大对象识别的精确性(例如，参见JP 2001-175860A)。

发明内容

然而，到目前为止没有披露给予用户关于使用了哪种识别方法的反馈的技术。各识别方法在处理成本或能达到的精确性方面有所不同。相应地，如果给予用户关于识别方法的反馈，则尤其在存在可能使用的多种识别方法的情况下有用。作为一个示例，用户可以基于该反馈来判断当前显示的虚拟对象的位置或姿态、或者所呈现的信息内容的可靠性。作为另一示例，用户根据该反馈可以等待直到可以预期具有高识别精确性的识别方法变得可用为止，然后对虚拟对象进行操作。因此，希望实现以下技术，该技术能够容易地给予用户关于对象识别时所使用的识别方法的反馈。

根据本公开文件的实施例，提供了一种图像处理设备，该图像处理设备包括：图像获取单元，用于获取输入图像；选择单元，用于从多种识别方法中选择输入图像中示出的对象的识别方法；识别单元，用于利用选择单元所选择的识别方法来识别输入图像中示出的对象；以及显示控制单元，用于将与识别单元识别出的对象相关联的虚拟对象叠加到输入图像上并显示虚拟对象。显示控制单元根据选择单元所选择的识别方法来改变虚拟对象的显示。

如上所述，根据本公开文件，可以容易地给予用户关于在对象识别时所使用的识别方法的反馈。

附图说明

图1是用于描述根据本公开文件的实施例的图像处理设备的概况的示图；

图2是示出根据该实施例的图像处理设备的硬件配置的框图；

图3是示出控制单元所实现的功能的结构的示例的框图；

图4是用于描述从多种识别方法中选择识别方法的功能的示图；

图5是示出控制单元所实现的功能的结构的另一示例的框图；

图6是用于描述关于多种识别方法的第一示例的示图；

图7是用于描述关于多种识别方法的第二示例的示图；

图8是用于描述关于多种识别方法的第三示例的示图；

图9是示出对象的识别处理的流程的流程图；

图10是示出根据所选择的识别方法的虚拟对象的示例性显示的示图；

图11是示出根据所选择的识别方法的虚拟对象的示例性显示的示图；以及

图12是示出输出图像的显示控制处理的流程的流程图。

具体实施方式

在下文中，将参照附图来详细描述本公开文件的优选实施例。要注意，在本说明书和附图中，用相同的参考标号来标示基本具有相同的功能和配置的结构元件，并且省略对这些结构元件的重复阐述。

此外，将按照下述顺序来给出阐述。

1.图像处理设备的概况

2.示例性硬件配置

3.信息处理设备的功能

3-1.图像获取单元

3-2.检测单元

3-3.选择单元

3-4.识别单元

3-5.识别处理的流程

3-6.显示控制单元

3-7.显示控制处理的流程

4.总结

<1.图像处理设备的概况>

图1是用于描述根据本公开文件的实施例的图像处理设备的概况的示图。在图1中示出了具有根据本公开文件的实施例的图像处理设备100的用户所存在的真实空间1。

参照图1，对象Obj存在于真实空间1内。对象Obj是例如用户应当关注的对象，并且如图1所示通常是表示目的地等的位置的标记，但是对象Obj也可以是给产品或事件做广告的广告等或者其他对象。此外，在图1所示的示例中，对象Obj被安装在墙上，但是对象Obj也可以被安装在天花板、地板等上。此外，真实空间1不限于图1所示的示例，而可以是室内环境或室外环境。

图像处理设备100捕获真实空间的内部并执行稍后描述的根据本实施例的图像处理。在图1中，摄像机被示出为图像处理设备100的示例，但是图像处理设备100不限于这样的示例。例如，图像处理设备100可以是能够从成像装置如摄像机获取图像的信息处理设备，如个人电脑(PC)、移动终端或数码家电。此外，图像处理设备100不一定如图1所示的那样被用户手持。例如，图像处理设备可以被固定地安装在任意位置，或者可以被安装在用相机作为视觉的机器人等中。

当所捕获的图像被当作输入图像并且图像处理设备100基于该输入图像识别出对象Obj时，与识别出的对象Obj相关联的虚拟对象可以被叠加在输入图像上并被显示。虚拟对象是例如用于将注意力集中于所识别出的对象Obj的虚拟对象(例如，记号)，并且可以被叠加在输入图像中的对象Obj等上(或被叠加在对象Obj的外围上)。通过观看虚拟对象，用户可以将他/她的注意力集中于需要关注的对象Obj。

不是在所有时间都使用同一识别方法作为对象识别方法，而可以根据情况适当地改变识别方法。根据本公开文件的实施例的图像处理设备100能够通过以下部分详细描述的机制来使用户感知对象识别方法。

<2.硬件配置的示例>

图2是示出根据本公开文件的实施例的图像处理设备100的硬件配置的示例的框图。参照图2，图像处理设备100包括成像单元102、传感器单元104、输入单元106、存储单元108、显示单元112、连接端口114、总线116和控制单元118。

(成像单元)

成像单元102是与例如成像装置对应的相机模块。成像单元102通过利用图像传感器如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)捕获真实空间1来生成捕获的图像。在本公开文件的该实施例中成像单元102被假设为图像处理设备100的一部分，但是成像单元102也可以与图像处理设备100单独配置。

(传感器单元)

传感器单元104是一组用于支持对图像处理设备100的位置和姿态(attitude)(成像单元102的位置和姿态)的识别的传感器。例如，传感器单元104可以包括GPS传感器，GPS传感器接收GPS(全球定位系统)信号并测量图像处理设备100的纬度、经度和海拔。此外，传感器单元104可以包括定位传感器，定位传感器基于从无线接入点接收到的无线电信号的强度来测量图像处理设备100的位置。此外，传感器单元104可以包括测量图像处理设备100的倾角的回转仪传感器、测量三轴(three-axis)加速度的加速度传感器、或测量方位的地磁传感器。此外，在图像处理设备100具有基于图像识别的位置估计功能和姿态估计功能的情况下，在图像处理设备100的配置中可以省略传感器单元104。

(输入单元)

输入单元106是用户用来操作图像处理设备100或将信息输入到图像处理设备100的输入装置。输入单元106可以包括例如键盘、小键盘、鼠标、按钮、开关或触摸面板。输入单元106可以包括姿势识别模块，姿势识别模块识别在输入图像中示出的用户的姿势。此外，输入单元106可以包括视线检测模块，视线检测模块检测佩戴头戴显示器(HMD)的用户的视线作为用户输入。

(存储单元)

存储单元108通过利用存储介质如半导体存储器或硬盘来存储图像处理设备100进行的处理所使用的程序和数据。例如，存储单元108存储从成像单元102输出的图像数据以及从传感器单元104输出的传感器数据。此外，存储单元108存储用于对象识别的特征词典和虚拟对象数据，虚拟对象数据是作为显示目标的虚拟对象的数据。此外，存储单元108存储作为对象识别的结果而生成的识别结果。

(显示单元)

显示单元112是由LCD(液晶显示器)、OLED(有机发光二极管)、CRT(阴极射线管)等配置的显示模块。输出图像(输出图像是由图像处理设备100叠加了虚拟对象的输入图像)被显示在显示单元112的屏幕上。显示单元112可以是图像处理设备100的一部分，或者可以与图像处理设备100单独地配置。此外，显示单元112可以是用户佩戴的HMD。

(连接端口)

连接端口114是用于将图像处理设备100连接到外围装置或网络的端口。例如，可拆卸介质可以连接到连接端口114作为附加存储介质。此外，有线或无线通信接口可以连接到连接端口114。例如，图像处理设备100由此能够从网络上的服务器获取图像。

(总线)

总线116将成像单元102、传感器单元104、输入单元106、存储单元108、显示单元112、连接端口114和控制单元118互连起来。

(控制单元)

控制单元118与处理器对应，处理器例如CPU(中央处理单元)、DSP(数字信号处理器)等。控制单元118通过执行存储在存储单元108或其他存储介质中的程序而使得稍后描述的图像处理设备100操作各种功能。

<3.信息处理设备的功能>

图3是示出图2所示的图像处理设备100的控制单元118所实现的功能的结构的示例的框图。参照图3，控制单元118包括图像获取单元120、检测单元130、选择单元140、识别单元150和显示控制单元160。

[3-1.图像获取单元]

图像获取单元120获取示出了利用成像单元102(或其他成像装置)捕获的真实空间的输入图像。输入图像是示出虚拟对象放置在真实空间中的位置的图像或是示出对象的图像。图像获取单元120将获取到的输入图像输出到检测单元130和显示控制单元160。可替换地，如稍后描述的，图像获取单元120不一定将获取到的输入图像输出到检测单元130。例如，在成像单元102(或其他成像装置)连续地捕获真实空间的情况下，图像获取单元120可以连续地获取输入图像。

[3-2.检测单元]

检测单元130检测与从图像获取单元120输入的输入图像中示出的对象的运动有关的参数。例如，检测单元130检测到的参数是与图像处理设备100和输入图像中示出的对象之间的相对移动的量对应的参数。例如，检测单元130可以通过光学流程(optical flow)等来获取输入图像中的每个区域中的移动量，并计算每个区域中的移动量的总和作为相对移动量。例如，可以用向量表达移动量。

例如，可以预先确定输入图像的每个区域。例如，输入图像的每个区域可以是整个输入图像中的一块(像素集合)、或者整个输入图像中的一个像素。可替换地，可以不必预先确定输入图像的每个区域。例如，检测单元130还可以通过光学流程等获取输入图像中所示的对象的移动量，并计算对象的移动量作为相对移动量。作为光学流程，例如，可以采用诸如块匹配方法或梯度方法的方法。

[3-3.选择单元]

图4是用于描述从多种识别方法中选择识别方法的功能的示图。将参照图4来描述在存在用于识别对象的多种方法的情况下，从多种识别方法中选择输入图像中所示的对象的识别方法的功能。选择单元140可以从多种识别方法中选择至少一种识别方法。

在检测单元130检测到的参数表示在输入图像中没有示出以超过预定水平的水平而移动的对象的情况下，选择单元140选择具有更高处理成本的识别方法。例如，假设如下情况，图像获取单元120获取到的输入图像从图像Im0A转变到图像Im1A。在该情况下，由于检测单元130计算出的移动量不超过预定的移动量，因而选择单元140可以确定该参数表示在输入图像中没有示出以超过预定水平的水平而移动的对象。

另一方面，在检测单元130检测到的参数表示在输入图像中示出以超过预定水平的水平而移动的对象的情况下，选择单元140选择具有更低处理成本的识别方法。例如，假设如下情况，图像获取单元120获取到的输入图像从图像Im0A转变到图像Im1A’。在该情况下，由于检测单元130计算出的移动量超过预定的移动量，选择单元140可以确定该参数表示在输入图像中示出以超过预定水平的水平而移动的对象。

选择单元140将所选择的识别方法输出到识别单元150和显示控制单元160。此外，诸如“具有更高处理成本的识别方法”和“具有更低处理成本的识别方法”的表述仅仅表达了处理成本相对于相对关系的相对高或低，而不表示处理成本的绝对高或低。即，它表示，当比较两个处理成本时，一个处理成本高于另一个处理成本。

通过以该方式选择识别方法，可以根据参数来改变用于对象识别的处理成本。例如，在输入图像中示出以超过预定水平的水平而移动的对象的情况下，假设输入图像非常模糊(输入图像相对不清楚)，相比于对象识别的精度而言，将重点更多地放在用于对象识别的处理速度上。然后，选择单元140将选择具有更低处理成本的识别方法。

另一方面，例如，在输入图像中没有示出以超过预定水平的水平而移动的对象的情况下，假设输入图像不太模糊(输入图像相对清楚)，则相比于用于对象识别的处理速度而言，将重点更多地放在对象识别的精度上。然后，选择单元140将选择具有更高处理成本的识别方法。

图5是示出图2所示的图像处理设备100的控制单元118所实现的功能的结构的另一示例的框图。将参照图5来描述在存在多种用于识别对象的多种方法的情况下，从多种识别方法中选择输入图像中示出的对象的识别方法的功能的另一示例。

如上所述，检测单元130检测与从图像获取单元120输入的输入图像中示出的对象的运动有关的参数。例如，检测单元130检测到的参数是与图像处理设备100的绝对移动的量对应的参数。在该情况下，检测单元130可以检测传感器单元104检测到的传感器数据作为图像处理设备100的绝对移动量。

此外，如上所述，在检测单元130检测到的参数表示在输入图像中没有示出以超过预定水平的水平移动的对象的情况下，选择单元140选择具有更高处理成本的识别方法。例如，在过去检测到的多条传感器数据的平均值和当前检测到的传感器数据的值之间的差超过预定值的情况下，可以确定该参数表示在输入图像中没有示出以超过预定水平的水平而移动的对象。

可替换地，在过去检测到的传感器数据的值和当前检测到的传感器数据的值之间的差超过预定值的情况下，也可以确定该参数表示在输入图像中没有示出以超过预定水平的水平而移动的对象。

另一方面，如上所述，在检测单元130检测到的参数表示在输入图像中示出以超过预定水平的水平而移动的对象的情况下，选择单元140选择具有更低处理成本的识别方法。例如，在过去检测到的多条传感器数据的平均值和当前检测到的传感器数据的值之间的差不超过预定值的情况下，可以确定该参数表示在输入图像中示出以超过预定水平的水平而移动的对象。

可替换地，在过去检测到的传感器数据的值和当前检测到的传感器数据的值之间的差不超过预定值的情况下，也可以确定该参数表示在输入图像中示出以超过预定水平的水平而移动的对象。

[3-4.识别单元]

识别单元150通过利用选择单元140所选择的识别方法来识别输入图像中示出的对象。识别单元150可以通过将从输入图像中提取的每个特征与特征词典进行核对来识别输入图像中示出的对象，特征词典是已知对象图像的特征的集合。例如，在特征词典中存在与从输入图像中提取的特征相匹配的特征的情况下，识别单元150可以通过获取与该特征相关联的对象ID以及该对象的位置和姿态来识别该对象。此处使用的特征词典可以被预先存储在存储单元108中，或者可以从另一装置传送过来。

此外，从输入图像中提取的特征的数量可以是一个或多个。例如，可以通过识别单元150来执行从输入图像中提取每个特征的处理。特征词典包括用于标识对象的对象ID和对象图像的特征的组合，并且该组合的数量可以是一个或多个。在以下描述中，主要基于识别出对象Obj作为输入图像中示出的对象的示例来给出阐述，但是也可以识别输入图像中示出的多于一个的对象。识别单元150将识别结果输出到显示控制单元160。

更具体地，例如，识别单元150根据任意已知方法如快速特征检测方法来提取输入图像内的特征点。然后，识别单元150将检测到的特征点与特征词典中包括的对象的顶点进行核对。结果，识别单元150识别在输入图像中示出了哪个对象以及所识别出的每个对象被示出在哪个位置以及具有什么姿态。

在所识别出的对象是包括在真实空间模型中的对象的情况下，在真实空间模型中示出对象的三维位置和姿态。在所识别出的对象是包括在对象模型中的对象的情况下，可以通过根据小孔模型(pinhole model)将对象在图像平面上的一组顶点的二维位置转换为真实空间中的三维位置来获得对象的三维位置和姿态(例如，参见JP 2008-304268A)。

在选择单元140选择具有更低处理成本的识别方法的情况下，识别单元150通过利用具有更低处理成本的识别方法来识别输入图像中示出的对象Obj。此外，在选择单元140选择具有更高处理成本的识别方法的情况下，识别单元150通过利用具有更高处理成本的识别方法来识别输入图像中示出的对象Obj。这两种识别方法(具有更低处理成本的识别方法和具有更高处理成本的识别方法)的处理成本有所不同，这是因为用于从输入图像中提取特征的算法不同，或者因为要核对的数据量不同。在以下描述中，将主要基于因为要核对的数据量不同而导致两个识别方法的处理成本不同的示例来给出阐述。

图6是用于描述与多种识别方法有关的第一示例的示图。如图6所示，在选择单元140选择具有更低处理成本的识别方法的情况下，例如，识别单元150可以减小输入图像Im1A的尺寸并从减小后的图像Im1B中提取要与特征词典进行核对的每个特征。然后，识别单元150可以通过将提取的每个特征与特征词典进行核对来识别输入图像中示出的对象Obj。

另一方面，在选择单元140选择具有更高处理成本的识别方法的情况下，例如，识别单元150可以在不减小输入图像Im1A的尺寸的情况下从输入图像Im1A中提取要与特征词典进行核对的每个特征。然后，识别单元150可以通过将提取的每个特征与特征词典进行核对来识别输入图像中示出的对象Obj。

如所描述的，在与多种识别方法有关的第一示例中，在选择单元140选择具有更低处理成本的识别方法(第一识别方法)的情况下，识别单元150可以从具有更小尺寸的图像中提取每个特征。因此，在选择单元140选择具有更低处理成本的识别方法的情况下，因为要核对的数据量变得更小，所以识别单元150可以通过利用具有更低处理成本的识别方法来识别输入图像中示出的对象Obj。

此外，此处假设识别方法150在选择单元140选择具有更低处理成本的识别方法的情况下减小输入图像Im1A的尺寸，但是在选择单元140选择具有更高处理成本的识别方法的情况下不减小输入图像Im1A的尺寸。然而，不限于这样的示例，并且在选择单元140选择具有更低处理成本的识别方法的情况下，与选择单元140选择具有更高处理成本的识别方法时相比，可以从具有更小尺寸的图像中提取每个特征。

图7是用于描述与多种识别方法有关的第二示例的示图。如图7所示，在选择单元140选择具有更低处理成本的识别方法的情况下，识别单元150可以从输入图像Im1A中提取每个特征，忽略所提取的每个特征的高频分量以及特征词典的高频分量，并将每个特征与特征词典进行核对。例如，在从输入图像Im1A中提取的每个特征和特征词典的每个特征中，识别单元150截去作为高频分量的超过预定频率的部分。识别单元150可以基于这样的核对来识别输入图像中示出的对象Obj。

另一方面，在选择单元140选择具有更高处理成本的识别方法的情况下，识别单元150可以从输入图像Im1A中提取每个特征，并将所提取的每个特征与特征词典进行核对。识别单元150可以基于这样的核对来识别输入图像中示出的对象Obj。

如所描述的，在关于多种识别方法的第二示例中，在选择单元140选择具有更低处理成本的识别方法(第二识别方法)的情况下，识别单元150可以在忽略每个特征的高频分量的同时核对每个特征。相应地，在选择单元140选择具有更低处理成本的识别方法的情况下，因为要核对的数据量变得更小，所以识别单元150可以通过利用具有更低处理成本的识别方法来识别输入图像中示出的对象Obj。

此外，此处假设在选择单元选140择具有更低处理成本的识别方法的情况下，识别单元150在忽略从输入图像Im1A中提取的每个特征和特征词典的每个特征的高频分量的同时执行核对。然而，不限于这样的示例，并且在选择单元140选择具有更低处理成本的识别方法的情况下，与选择单元140选择具有更高处理成本的识别方法时相比，可以从每个特征中截去更宽范围的频率分量。

图8是用于描述与多种识别方法有关的第三示例的示图。如图8所示，在选择单元140选择具有更低处理成本的识别方法的情况下，识别单元150可以从输入图像Im1A中提取每个特征，并将所提取的每个特征与具有更小的数据量的特征词典进行核对。识别单元150可以通过这样的核对来识别输入图像中示出的对象Obj。

另一方面，在选择单元140选择具有更高处理成本的识别方法的情况下，识别单元150可以从输入图像Im1A中提取每个特征，并将所提取的每个特征与具有更大的数据量的特征词典进行核对。识别单元150可以通过这样的核对来识别输入图像中示出的对象Obj。

如所描述的，在与多种识别方法有关的第三示例中，在选择单元140选择具有更低处理成本的识别方法(第三识别方法)的情况下，识别单元150可以用更小的数据量利用特征词典执行核对。此外，在选择单元140选择具有更低处理成本的识别方法的情况下，因为要核对的数据量变得更小，识别单元150可以通过利用具有更低处理成本的识别方法来识别输入图像中示出的对象Obj。

此外，诸如“具有更大的数据量的特征词典”和“具有更小的数据量的特征词典”的表述仅仅表达了特征词典相对于相对关系的数据量的大小，而不表示数据量的绝对大小。即，它意味着，当比较两个特征词典的数据量时，一个特征词典的数据量小于另一个特征词典的数据量。

[3-5.识别处理的流程]

图9是示出对象的识别处理的流程的流程图。将参照图9来描述对象的识别处理的流程。

如图9所示，首先，图像获取单元120获取示出了利用成像单元102(或其他成像装置)所捕获的真实空间的输入图像(S101)。此外，检测单元130检测与从图像获取单元120输入的输入图像中示出的对象的运动有关的参数(S102)。

接下来，选择单元140分析该参数并确定处理成本(S103)。在确定要选择具有更低处理成本的识别方法的情况下(S103：“处理成本：低”)，选择单元140选择具有更低处理成本的识别方法(S104)。另一方面，在确定要选择具有更高处理成本的识别方法的情况下(S103：“处理成本：高”)，选择单元140选择具有更高处理成本的识别方法(S105)。

然后，识别单元150利用选择单元140所选择的识别方法来识别输入图像中示出的对象(S106)。选择单元140将所选择的识别方法输出到显示控制单元160，并且识别单元150将识别结果输出到显示控制单元160(S107)。控制单元118返回以获取输入图像(S101)，并且再次执行从图像获取单元120进行的图像获取(S101)到识别方法和识别结果的输出(S107)的处理。

[3-6.显示控制单元]

显示控制单元160将与识别单元150识别的对象相关联的虚拟对象叠加到输入图像上并显示叠加后的图像。关于虚拟对象，例如，对象ID和虚拟对象数据相互关联的数据被存储在存储单元108中。即，显示控制单元160可以从存储单元108中获取与识别单元150获取的对象ID相关联的虚拟对象数据，并基于获取到的虚拟对象数据来显示虚拟对象。

图10和11是示出根据选择单元140所选择的识别方法来显示的虚拟对象的示例性显示的示图。如图10所示，显示控制单元160可以将与识别单元150识别出的对象相关联的虚拟对象叠加到输入图像Im1A上，并显示叠加后的图像。此外，显示控制单元160可以在任意位置以任意姿态显示该虚拟对象。例如，显示控制单元160可以在识别单元150获取到的对象位置处(或者在该对象的周围)以识别单元150获取到的姿态显示该虚拟对象。

例如，在选择单元140选择具有更低处理成本的识别方法的情况下，因为识别单元150利用具有更低处理成本的识别方法来识别输入图像Im1A中示出的对象Obj，所以显示控制单元160可能减小虚拟对象的显示清晰性。在图10中所示的示例中，在时间t1，选择单元140选择具有更低处理成本的识别方法作为输入图像Im1A中示出的对象的识别方法，因而显示控制单元160显示不太清晰的虚拟对象V1。

然后，如图10所示，假设在时间t2用户将图像处理设备100的方向移动到左。在该情况下，预计选择单元140会选择具有更低处理成本的识别方法，从而使得显示控制单元160能够进一步减小虚拟对象的显示清晰性。在图10所示的示例中，在时间t2，选择单元140选择具有更低处理成本的识别方法作为输入图像Im2A中示出的对象的识别方法，因而显示控制单元160显示不太清晰的虚拟对象V2。

在选择单元140选择具有更低处理成本的识别方法的情况下，显示控制单元160可能显示虚拟对象的余像(afterimage)。在图10所示的示例中，选择单元140选择具有更低处理成本的识别方法作为输入图像Im2A中示出的对象的识别方法，因而显示控制单元160显示虚拟对象V1的余像。以该方式，通过使过去显示的虚拟对象V1的余像与虚拟对象V2一起显示，看到该余像的用户可以反转图像处理设备100的方向并将对象Obj的显示位置恢复到期望位置。

然后，如图11所示，假设在时间t3用户将图像处理设备100的方向移动到右。在该情况下，预计选择单元140会选择具有更低处理成本的识别方法，从而使得显示控制单元160能够进一步减小虚拟对象的显示清晰性。在图11所示的示例中，在时间t3，选择单元140选择具有更低处理成本的识别方法作为输入图像Im3A中示出的对象的识别方法，因而显示控制单元160显示不太清晰的虚拟对象V3。

此外，也在时间t3，选择单元140选择具有更低处理成本的识别方法作为输入图像Im3A中示出的对象的识别方法，因而显示控制单元160显示虚拟对象V2的余像。以该方式，通过使在过去显示的虚拟对象V2的余像与虚拟对象V3一起显示，看到该余像的用户可以反转图像处理设备100的方向并将对象Obj的显示位置恢复到期望位置。

然后，如图11所示，假设在时间t4用户固定了图像处理设备100的方向。在该情况下，预计选择单元140会选择具有更高处理成本的识别方法，从而使得显示控制单元160能够增大虚拟对象的显示清晰性。在图11所示的示例中，在时间t4，选择单元140选择具有更高处理成本的识别方法作为输入图像Im4A中示出的对象的识别方法，因而显示控制单元160显示更清晰的虚拟对象V4。

如所描述的，显示控制单元160可以根据选择单元140所选择的识别方法来改变虚拟对象的显示。根据这样的控制，用户能够感知到与虚拟对象相关联的对象的识别方法。

[3-7.显示控制处理的流程]

图12是示出输出图像的显示控制处理的流程的流程图。将参照图12来描述输出图像的显示控制处理的流程。

如图12所示，首先显示控制单元160从图像获取单元120获取输入图像(S201)。此外，显示控制单元160获取选择单元140输出的识别方法和识别单元150输出的识别结果(S202)。接下来，显示控制单元160通过根据识别方法将与识别出的对象相关联的虚拟对象叠加到输入图像上来生成输出图像(S203)。然后，显示控制单元160显示输出图像(S204)。控制单元118返回以获取输入图像(S201)，并再次执行从图像获取单元120进行的图像获取(S201)到将输出图像输出(S204)的处理。

<4.总结>

如上所述，根据本公开文件的实施例，图像处理设备可以使得用户能够感知到与虚拟对象相关联的对象的识别方法。从而用户在观看显示的虚拟对象时能够感知到例如以什么样的处理成本水平执行了与虚拟对象相关联的对象的识别。如已描述的，例如，基于识别方法可以改变虚拟对象的清晰性。

此外，根据本公开文件的实施例，图像处理设备可以使过去显示的虚拟对象的余像连同与当前识别的对象相关联的虚拟对象一起显示。从而看到余像的用户可以反转图像处理设备的方向并将对象的显示位置恢复到期望位置。

本领域技术人员应当理解到，只要各种修改、组合、子组合和替换处于所附权利要求及其等同物的范围内，则可以取决于设计要求和其他因素来进行这些修改、组合、子组合和替换。

例如，根据本说明书的图像处理设备的处理步骤不一定根据流程图描述的顺序按照时间顺序来进行。例如，也可以按照与流程图描述的顺序不同的顺序来进行图像处理设备的处理步骤，或者可以并行地进行图像处理设备的处理步骤。

此外，本说明书中描述的图像处理设备所进行的控制处理系列可以通过利用软件、硬件、或软件和硬件的组合来实现。构成软件的程序被预先存储在设置在每个装置内部或外部的存储介质中。例如，在执行时由RAM(随即存取存储器)读取每个程序，并由处理器如CPU(中央处理单元)执行每个程序。

此外，还可以如下地配置本技术。

(1)一种图像处理设备，包括：

图像获取单元，用于获取输入图像；

选择单元，用于从多种识别方法中选择所述输入图像中示出的对象的识别方法；

识别单元，用于利用所述选择单元所选择的所述识别方法来识别所述输入图像中示出的对象；以及

显示控制单元，用于将与所述识别单元识别出的对象相关联的虚拟对象叠加到所述输入图像上并显示所述虚拟对象，

其中所述显示控制单元根据所述选择单元所选择的所述识别方法来改变所述虚拟对象的显示。

(2)根据(1)所述的图像处理设备，其中所述识别单元通过将从所述输入图像中提取出的特征与特征词典进行核对来识别所述输入图像中示出的对象，所述特征词典是已知对象图像的特征的集合。

(3)根据(1)或(2)所述的图像处理设备，其中所述多种识别方法是所述识别单元要核对的数据量不同的方法。

(4)根据(1)至(3)中任一项所述的图像处理设备，其中所述识别单元根据第一识别方法从尺寸减小的所述输入图像中提取要与所述特征词典核对的特征。

(5)根据(1)至(3)中任一项所述的图像处理设备，其中所述识别单元根据第二识别方法在忽略每个特征的高频分量的同时核对特征。

(6)根据(1)至(3)中任一项所述的图像处理设备，其中所述识别单元根据第三识别方法而利用多个特征词典中的具有更小数据量的特征词典。

(7)根据(2)所述的图像处理设备，其中所述多种识别方法是所述识别单元的用于特征的提取算法不同的方法。

(8)根据(1)至(7)中任一项所述的图像处理设备，还包括：

检测单元，用于检测与所述输入图像中示出的对象的运动有关的参数；

其中，在所述检测单元检测到的所述参数表示在所述输入图像中示出以超过预定水平的水平而移动的对象的情况下，所述选择单元选择具有更低处理成本的识别方法。

(9)根据(8)所述的图像处理设备，其中所述参数是与所述图像处理设备和所述输入图像中示出的对象之间的相对移动量对应的参数。

(10)根据(8)所述的图像处理设备，其中所述参数是与所述图像处理设备的绝对移动量对应的参数。

(11)根据(1)至(10)中任一项所述的图像处理设备，其中所述显示控制单元根据所述选择单元选择的所述识别方法来改变所述虚拟对象的显示清晰性。

(12)根据(1)至(11)所述的图像处理设备，其中，在所述选择单元选择具有更低处理成本的识别方法的情况下，所述显示控制单元使所述虚拟对象的余像被显示。

(13)一种图像处理方法，包括：

获取输入图像；

从多种识别方法中选择在所述输入图像中示出的对象的识别方法；

利用所述识别方法识别在所述输入图像中示出的所述对象；

将与识别出的对象相关联的虚拟对象叠加到所述输入图像上并显示所述虚拟对象；以及

根据所选择的识别方法来改变所述虚拟对象的显示。

(14)一种使计算机用作图像处理设备的程序，包括：

图像获取单元，用于获取输入图像；

选择单元，用于从多种识别方法中选择所述输入图像中示出的对象是识别方法；

识别单元，用于利用所述选择单元所选择的识别方法来识别所述输入图像中示出的对象；以及

显示控制单元，用于将与所述识别单元识别出的对象相关联的虚拟对象叠加到所述输入图像上并显示所述虚拟对象，

其中所述显示控制单元根据所述选择单元所选择的识别方法来改变所述虚拟对象的显示。

本公开文件包括与2011年4月19日在日本专利局提交的日本在先专利申请JP 2011-093089中披露的主题内容有关的主题内容，其全部内容通过引用结合于此。

Claims (14)

1.一种图像处理设备，包括：

图像获取单元，用于获取输入图像；

选择单元，用于从多种识别方法中选择所述输入图像中示出的对象的识别方法；

识别单元，用于利用所述选择单元所选择的识别方法来识别所述输入图像中示出的对象；以及

显示控制单元，用于将与所述识别单元识别出的对象相关联的虚拟对象叠加到所述输入图像上并显示所述虚拟对象，

其中所述显示控制单元根据所述选择单元所选择的识别方法来改变所述虚拟对象的显示。

2.根据权利要求1所述的图像处理设备，其中所述识别单元通过将从所述输入图像中提取出的特征与特征词典进行核对来识别所述输入图像中示出的对象，所述特征词典是已知对象图像的特征的集合。

3.根据权利要求2所述的图像处理设备，其中所述多种识别方法是所述识别单元要核对的数据量不同的方法。

4.根据权利要求3所述的图像处理设备，其中所述识别单元根据第一识别方法从尺寸减小的所述输入图像中提取要与所述特征词典核对的特征。

5.根据权利要求3所述的图像处理设备，其中所述识别单元根据第二识别方法在忽略每个特征的高频分量的同时核对特征。

6.根据权利要求3所述的图像处理设备，其中所述识别单元根据第三识别方法而利用多个特征词典中的具有更小数据量的特征词典。

7.根据权利要求2所述的图像处理设备，其中所述多种识别方法是所述识别单元的用于特征的提取算法不同的方法。

8.根据权利要求1所述的图像处理设备，还包括：

检测单元，用于检测与所述输入图像中示出的对象的运动有关的参数；

其中，在所述检测单元检测到的参数表示在所述输入图像中示出以超过预定水平的水平而移动的对象的情况下，所述选择单元选择具有更低处理成本的识别方法。

9.根据权利要求8所述的图像处理设备，其中所述参数是与所述图像处理设备和所述输入图像中示出的对象之间的相对移动量对应的参数。

10.根据权利要求8所述的图像处理设备，其中所述参数是与所述图像处理设备的绝对移动量对应的参数。

11.根据权利要求1所述的图像处理设备，其中所述显示控制单元根据所述选择单元所选择的识别方法来改变所述虚拟对象的显示清晰性。

12.根据权利要求1所述的图像处理设备，其中，在所述选择单元选择具有更低处理成本的识别方法的情况下，所述显示控制单元使所述虚拟对象的余像被显示。

13.一种图像处理方法，包括：

获取输入图像；

从多种识别方法中选择在所述输入图像中示出的对象的识别方法；

利用所选择的识别方法识别在所述输入图像中示出的所述对象；

将与识别出的对象相关联的虚拟对象叠加到所述输入图像上并显示所述虚拟对象；以及

根据所选择的识别方法来改变所述虚拟对象的显示。

14.一种使计算机用作图像处理设备的程序，包括：

图像获取单元，用于获取输入图像；

选择单元，用于从多种识别方法中选择所述输入图像中示出的对象的识别方法；

识别单元，用于利用所述选择单元所选择的识别方法来识别所述输入图像中示出的对象；以及

显示控制单元，用于将与所述识别单元识别出的对象相关联的虚拟对象叠加到所述输入图像上并显示所述虚拟对象，

其中所述显示控制单元根据所述选择单元所选择的识别方法来改变所述虚拟对象的显示。

Images