CN103339661A - 对象显示装置、对象显示方法和对象显示程序 - Google Patents

Abstract

对象显示装置具有：摄影部，其取得现实空间图像；图像特征提取部，其提取从现实空间图像中检测到的多个特征物或现实空间图像整体中的与图像有关的规定特征；图像处理部，其根据与图像有关的规定特征，对对象的图像进行校正处理；以及显示部，其显示将进行校正处理后的对象重叠到现实空间图像上而得到的重叠图像。由此，可将现实空间图像的特征适当反映到重叠图像中的对象图像中。

Description

对象显示装置、对象显示方法和对象显示程序

技术领域

本发明涉及对象显示装置、对象显示方法和对象显示程序。

背景技术

近年来，开发并提供了使用AR（Augmented Reality：增强现实）技术的服务。例如，公知有如下技术：取得配置在移动终端所在位置周边的对象，在由移动终端所具有的照相机取得的现实空间图像上重叠显示包含各种信息和图像的对象。并且，公知有如下技术：从由移动终端的照相机取得的现实空间图像中检测规定的标记，将与该标记对应的对象重叠在现实空间图像上而显示在显示器上。另一方面，作为用于考虑在现实空间图像上重叠对象时的现实空间的影像中的对象色调的技术，公知有根据配置在现实空间中的标记的色调来校正对象色调的技术（例如，参照专利文献1）。

现有技术文献

专利文献

专利文献1：日本特开2010-170316号公报

发明内容

发明要解决的课题

为了减轻在现实空间图像上重叠对象而得到的重叠图像中的对象的不谐调感，优选将现实空间图像的特征反映到对象的图像中。但是，在专利文献1所记载的现有技术中，由于根据配置在现实空间中的一个标记的色调进行对象色调的校正，所以，使图像中的有限的一个区域代表现实空间图像的特征。由于标记的色调不一定代表现实空间图像的特征，所以，在上述现有技术中，未对对象的图像进行适当校正，有时在重叠图像中产生不谐调感。

因此，本发明是鉴于上述问题点而完成的，其目的在于，提供如下的对象显示装置、对象显示方法和对象显示程序：在AR技术中，能够减轻将对象重叠显示到现实空间图像上而得到的重叠图像中的对象图像的不谐调感。

用于解决课题的手段

为了解决上述课题，本发明的一个方式的对象显示装置在现实空间图像上重叠显示对象，该对象显示装置具有：摄影单元，其取得现实空间图像；图像特征提取单元，其提取从由摄影单元取得的现实空间图像中检测到的多个规定特征区域或现实空间图像整体的与图像有关的规定特征；图像处理单元，其根据由图像特征提取单元提取出的规定特征，对对象的图像进行校正处理；以及显示单元，其显示将由图像处理单元进行校正处理后的对象的图像重叠到现实空间图像上而得到的重叠图像。

并且，为了解决上述课题，本发明的一个方式的对象显示方法是对象显示装置的对象显示方法，在现实空间图像上重叠显示对象，该对象显示方法包括以下步骤：摄影步骤，取得现实空间图像；图像特征提取步骤，提取从在摄影步骤中取得的现实空间图像中检测到的多个规定特征区域或现实空间图像整体的与图像有关的规定特征；图像处理步骤，根据在图像特征提取步骤中提取出的规定特征，对对象的图像进行校正处理；以及显示步骤，显示将在图像处理步骤中进行校正处理后的对象的图像重叠到现实空间图像上而得到的重叠图像。

并且，为了解决上述课题，本发明的一个方式的对象显示程序使计算作为在现实空间图像上重叠显示对象的对象显示装置发挥功能，该对象显示程序使计算机实现如下功能：摄影功能，取得现实空间图像；图像特征提取功能，提取从由摄影功能取得的现实空间图像中检测到的多个规定特征区域或现实空间图像整体的与图像有关的规定特征；图像处理功能，根据由图像特征提取功能提取出的规定特征，对对象的图像进行校正处理；以及显示功能，其显示将由图像处理功能进行校正处理后的对象的图像重叠到现实空间图像上而得到的重叠图像。

根据上述方式的对象显示装置、对象显示方法和对象显示程序，由于根据从现实空间图像中检测到的多个特征区域或现实空间图像整体中提取出的与图像有关的规定特征，对对象的图像进行校正处理，所以，可将现实空间图像的特征适当反映到对象的图像中。因此，减轻了将对象重叠显示到现实空间图像中而得到的重叠图像中的对象图像的不谐调感。

并且，在其它方式的对象显示装置中，在未检测到特征区域的情况下，图像特征提取单元也可以从现实空间图像整体中提取规定特征。

根据上述方式，首先尝试规定特征区域的检测，从检测到的特征区域的图像中提取用于校正对象图像的特征，所以，容易提取用于校正对象图像的特征。并且，在未检测到特征区域的情况下，将从现实空间图像中提取出的规定特征用于对象图像的校正，所以，能够实施对象图像的适当校正。

并且，其它方式的对象显示装置也可以具有特征区域信息存储单元，该特征区域信息存储单元至少将与特征区域的色调有关的特征区域信息与该特征区域对应地存储，图像特征提取单元提取现实空间图像中的多个特征区域的色调相对于特征区域信息存储单元中存储的色调的变化量，图像处理单元根据由图像特征提取单元提取出的色调变化量，对对象的图像进行校正处理。

根据上述方式，根据现实空间图像中的该特征区域的色调相对于关于检测到的特征区域而预先存储的色调的变化量，对对象图像的色调进行校正。由此，可将现实空间图像的色调适当反映到对象的图像中。

并且，在其它方式的对象显示装置中，图像处理单元也可以根据对象相对于现实空间图像中的特征区域的位置的重叠位置，对对象的图像进行校正处理。

根据上述方式，根据特征区域与对象之间的位置关系来考虑特征区域的色调变化量相对于对象色调的反映程度。由此，由于更加适当地校正了对象的色调，所以，进一步减轻不谐调感。

并且，在其它方式的对象显示装置中，图像特征提取单元也可以提取与现实空间图像整体的色调有关的特征，图像处理单元根据由图像特征提取单元提取出的与现实空间图像整体的色调有关的特征进行校正处理。

根据上述方式，由于在对象的色调中反映了现实空间图像整体的色调，所以，减轻了重叠图像中的对象的不谐调感。

并且，在其它方式的对象显示装置中，图像特征提取单元也可以提取与现实空间图像中的噪声分布有关的特征，图像处理单元根据由图像特征提取单元提取出的与噪声分布有关的特征进行校正处理。

在现实空间图像存在噪声的情况下，当重叠没有噪声的对象图像时，在重叠图像中产生不谐调感。根据上述方式，由于在对象的图像中反映了与现实空间图像中的噪声分布有关的特征，所以，减轻了重叠图像中的不谐调感。

发明效果

根据本发明的一个方面，在AR技术中，能够减轻将对象重叠显示到现实空间图像上而得到的重叠图像中的对象图像的不谐调感。

附图说明

图1是示出对象显示装置的功能结构的框图。

图2是对象显示装置的硬件框图。

图3是示出由摄影部取得的现实空间图像的例子的图。

图4是示出由摄影部取得的现实空间图像的例子的图。

图5是示出由摄影部取得的现实空间图像的例子的图。

图6是示出特征区域信息存储部的结构和所存储的数据的例子的图。

图7是示出色调变化量测定部中的用于提取特征区域的色调变化量的色调表的例子的图。

图8是示出假想对象存储部的结构和所存储的数据的例子的图。

图9是示出基于特征区域的色调变化量的对象色调的校正处理的例子的图。

图10是示出基于特征区域的色调变化量的对象色调的校正处理的例子的图。

图11是示出基于特征区域的色调变化量的对象色调的校正处理的例子的图。

图12是示出基于特征区域的色调变化量的对象色调的校正处理的例子的图。

图13是示出基于现实空间图像整体色调的校正处理的例子的图。

图14是示出基于现实空间图像整体的噪声分布的校正处理的例子的图。

图15是示出对象显示方法的处理内容的流程图。

图16是示出对象显示方法的处理内容的流程图。

图17是示出对象显示方法的处理内容的流程图。

图18是示出基于特征区域的色调变化量的校正处理的流程图。

图19是示出基于现实空间图像整体特征的校正处理的流程图。

图20是示出对象显示程序的结构的图。

具体实施方式

参照附图对本发明的对象显示装置、对象显示方法和对象显示程序的实施方式进行说明。另外，在可能的情况下，对相同部分标注相同标号并省略重复说明。

图1是示出对象显示装置1的功能结构的框图。本实施方式的对象显示装置1是在现实空间图像上重叠显示对象的装置，例如是能够经由移动通信网进行通信的便携终端。

作为基于使用移动终端等装置的AR技术的服务，例如存在如下的服务：从由移动终端的照相机取得的现实空间图像中检测规定标记，将与该标记对应的对象重叠在现实空间图像上而显示在显示器中。标记可以是现实空间中人为预先设置的物品，也可以是现实空间中存在的建筑物和广告牌等构造物和标志等。并且，作为同样的服务，存在如下的服务：根据移动终端所在的位置信息，取得配置在移动终端所在位置周边的对象，与由移动终端所具有的照相机取得的现实空间图像中的位置对应地重叠显示对象。在本实施方式的对象显示装置1中，设想了上述基于AR技术的服务的两种形式。

如图1所示，在功能上，对象显示装置1具有摄影部11（摄影单元）、图像特征提取部12（图像特征提取单元）、特征区域信息存储部13（特征区域信息存储单元）、假想对象存储部17（假想对象存储单元）、图像处理部18（图像处理单元）、显示部19（显示单元）和色调数据存储部20。并且，图像特征提取部12包括特征区域检测部14、色调变化量测定部15和整体画面特征提取部16。

图2是对象显示装置1的硬件结构图。在物理上，如图2所示，对象显示装置1构成为包括CPU101、作为主存储装置的RAM102和ROM103、作为数据收发器件的通信模块104、硬盘、闪存等辅助存储装置105、作为输入器件的键盘等输入装置106、显示器等输出装置107等的计算机系统。通过在图2所示的CPU101、RAM102等硬件上读入规定的计算机软件，在CPU101的控制下使通信模块104、输入装置106、输出装置107进行动作，并且进行RAM102或辅助存储装置105中的数据读出和写入，由此实现图1所示的各功能。再次参照图1详细说明对象显示装置1的各功能部。

摄影部11是取得现实空间图像的部分，例如由照相机构成。图3～5是示出由摄影部11取得的现实空间图像的例子的图。关于图3所示的现实空间图像，作为之后由图像特征提取部12提取出的特征物，包括人行横道C_r和邮筒P_st的图像。关于图4所示的现实空间图像，作为之后由图像特征提取部12提取出的特征物，包括星型的对象S_t1、S_t2的图像。关于图5所示的现实空间图像，包括之后由图像特征提取部12提取为构成图像整体色调的要素的云C_rd和建筑物B_d的图像。摄影部11将取得的现实空间图像送到图像特征提取部12。

图像特征提取部12是如下的部分：提取从由摄影部11取得的现实空间图像中检测到的多个规定的特征区域或现实空间图像整体的与图像有关的规定特征。规定特征区域是为了提取现实空间图像的特征而被参照的区域。作为用于提取与图像有关的特征的功能部，图像特征提取部12包括特征区域检测部14、色调变化量测定部15和整体画面特征提取部16。并且，为了提取与图像有关的特征，使用特征区域信息存储部13。

特征区域信息存储部13是如下的部分：至少将与特征区域的色调有关的特征区域信息与该特征区域对应地存储。并且，特征区域信息存储部13包括用于从现实空间图像中检测（匹配）特征区域的表示该特征区域的形状的2D或3D数据。在本实施方式中，特征区域信息存储部13包含特征物数据作为表示特征区域的数据。图6是示出特征区域信息存储部13的结构和所存储的数据的例子的图。

如图6所示，特征区域信息存储部13将特征物数据以及色调的数据与唯一识别特征区域的“No”对应地存储。如上所述，特征物数据是表示该特征物的形状的2D或3D数据，用于供特征区域检测部14从现实空间图像中检测（匹配）特征物。色调的数据是表示该特征物的主要部分的颜色的数据，例如以RGB形式表示。参照图6，特征区域信息存储部13与No“0001”对应地存储作为特征物数据表示邮筒的3D数据和表示该邮筒的主要部分即红色部分的色调的数据（r₁、g₁、b₁）。并且，特征区域信息存储部13与No“0002”对应地存储作为特征物数据表示人行横道的2D数据和表示该人行横道的主要部分即白色部分的色调的数据（r₂、g₂、b₂）。进而，特征区域信息存储部13与No“0003”对应地存储作为特征物数据表示星型对象的2D数据和表示该星型对象的色调的数据（r₃、g₃、b₃）。

色调数据存储部20是存储用于测定色调变化量的色调数据的部分，例如存储图7所示的色调表。如图7所示，在色调表中，与唯一识别记录的编号“No”对应地，通过R值、G值和B值各自的相对于色阶（階調）最大值的比例来定义色调。色调变化量测定部15根据色调数据存储部20中存储的数据，测定色调变化量。色调变化量测定部15的详细处理在后面叙述。

假想对象存储部17是预先或临时存储与假想对象有关的假想对象信息的部分。在对象显示装置1是与从现实空间图像中检测到的标记对应地显示对象的装置的情况下，假想对象信息例如包含与标记对应的对象数据。并且，在对象显示装置1是显示与现实空间中的位置对应的对象的装置的情况下，假想对象信息例如包含与位置信息对应的对象数据。

图8是示出假想对象存储部17中存储的假想对象信息的例子的图。如图8所示，假想对象存储部17与识别假想对象的ID对应地存储假想对象数据和重叠位置。假想对象数据是表示假想对象的形状和颜色的数据。重叠位置是表示重叠显示该假想对象的位置的数据，表示现实空间中的绝对位置或相对于标记（特征物）的相对位置。

假想对象信息可以预先存储在假想对象存储部17中，也可以经由规定的通信单元从未图示的服务器取得。在从服务器取得假想对象信息的情况下，可以根据表示对象显示装置1的所在位置的位置信息，从服务器提供假想对象信息。对象数据例如是对象的图像数据或用于表示该对象的3D对象数据。例如，通过假想对象信息中与对象数据对应的位置信息、或现实空间图像中的与标记之间的相对位置，来定义现实空间图像中重叠显示对象的位置。

图像处理部18是如下部分：从假想对象存储部17中取得假想对象，将所取得的假想对象重叠到由摄影部11取得的现实空间图像上，生成重叠图像。重叠图像中的假想对象的重叠位置例如是根据与该假想对象对应的位置信息、或现实空间图像中的与标记之间的相对位置决定的。图像处理部18将所生成的重叠图像送到显示部19。

并且，图像处理部18根据由图像特征提取部12提取出的与现实空间图像有关的规定特征，对对象的图像进行校正处理。具体处理在后面进行详细说明。

显示部19是显示由图像处理部18生成并送出的重叠图像的部分，例如由显示器这样的装置构成。重叠图像是在现实空间图像上重叠由图像处理部18进行校正处理后的对象图像而得到的图像。下面，对图像特征提取部12和图像处理部18的详细功能进行说明。

特征区域检测部14是从由摄影部11取得的现实空间图像中检测规定特征区域的部分。具体而言，特征区域检测部14根据特征区域信息存储部13中存储的特征物数据探索现实空间图像，从现实空间图像中提取特征物。

以图3所示的现实空间图像为例进行说明时，特征区域检测部14根据图6所示的特征区域信息存储部13中存储的特征物数据，探索现实空间图像。然后，特征区域检测部14提取符合No“0001”和“0002”所示的特征物的邮筒P_st和人行横道C_r。并且，在特征区域检测部14探索了图4所示的现实空间图像的情况下，提取符合No“0003”所示的特征物的星型对象。现实空间图像中的示出特征物的区域构成特征区域。特征区域检测部14在提取出特征物的情况下，取得表示现实空间图像中的特征物的位置的信息（例如现实空间图像中的坐标等），送到色调变化量测定部15。

特征区域检测部14在无法提取特征物的情况下，也可以向整体画面特征提取部16通知该情况。整体画面特征提取部16的功能在后面叙述。

色调变化量测定部15是如下部分：针对特征区域检测部14提取出的特征物，提取特征区域信息存储部13中存储的与该特征物对应的色调的变化量。具体而言，例如在特征物的色调是以RGB形式表示的情况下，色调变化量测定部15分别计算特征区域信息存储部13中存储的特征物的R值、G值、B值与由特征区域检测部14提取出的特征物的R值、G值、B值之间的差异（特征物的色调变化量）。

色调变化量测定部15从色调表中提取具有最接近由特征区域检测部14提取出的特征物的色调（RGB）相对于特征区域信息存储部13中存储的特征物的色调（RGB）的变化量的值的记录，将提取出的记录作为该特征物的色调变化量。

色调变化量测定部15将从特征区域检测部14取得的表示现实空间图像中的特征物的位置的信息和特征物的色调变化量的信息送到图像处理部18。

并且，图像处理部18根据由图像特征提取部12提取出的与现实空间图像有关的规定特征，对对象的图像进行校正处理。具体而言，图像处理部18根据由特征区域检测部14和色调变化量测定部15提取出的多个特征物的色调变化量，对从假想对象存储部取得的对象的图像进行校正处理。图像处理部对从色调变化量测定部接收到的表示特征物位置的信息和对象的显示位置进行比较，判定是否为规定距离以内。并且，图像处理部对从色调变化量测定部接收到的各特征物的色调变化量进行比较，判定变化量之差是否小于规定量。参照图9～12对基于多个特征物的色调变化量的对象校正处理的例子进行说明。

图9是示出多个特征物C₁、C₂的色调变化量之差小于规定量的情况下的对象V_1A的校正处理的例子的图。在多个特征物的色调变化量之差小于规定量、校正处理对象的对象相对于该多个特征物位于规定距离以内的情况下，图像处理部18对该对象实施基于该多个特征物的色调变化量的平均变化量的色调校正。

例如，根据以RGB形式表示的色调的平均变化量，生成RGB各值的变换参数，对表示对象的各像素的RGB值实施基于该变换参数的规定运算处理，由此实现色调的校正。该校正处理可以应用各种公知的色调校正处理和滤波处理等方法，以下的参照图7、8说明的例子也同样。

在图9（a）所示的例子中，例如，假设特征物C₁的色调变化量对应于图4所示的色调表中的No1，特征物C₂的色调变化量对应于色调表中的No2。该情况下，由于特征物C₁的色调变化量与特征物C₂的色调变化量的差分小于规定量，所以，图像处理部18根据特征物C₁的色调变化量和特征物C₂的色调变化量的平均变化量生成变换参数。然后，如图9（b）所示，图像处理部18使用所生成的变换参数实施针对对象V_1A的色调校正处理，生成色调校正后的对象V_1B的图像。

图10是示出多个特征物C₃、C₄的色调变化量中的各色（RGB）的成分类似、其浓度存在差异的情况下的对象V_2A的校正处理的例子的图。在多个特征物的色调变化量的成分之差类似且小于规定量、校正处理对象的对象相对于该多个特征物位于规定距离以内的情况下，图像处理部18根据该多个特征物的色调变化量和对象相对于该多个特征物的相对位置，对该对象实施渐变处理。多个色调的成分类似的情况是该多个色调属于同系色、其浓度存在差异的情况。图像处理部18关注R、G、B的各值，例如可以将R值为0%的颜色视为同系色，但是不限于此。

在图10（a）所示的例子中，例如，假设特征物C₃的色调变化量对应于图4所示的色调表中的No1，特征物C₄的色调变化量对应于色调表中的No4。该情况下，由于特征物C₃的色调变化量和特征物C₄的色调变化量中的各颜色的成分类似、且两个特征物的色调变化量属于同系色，所以，图像处理部18对对象V_2A实施渐变处理，生成图10（b）所示的色调校正后的对象V_2B。

具体而言，图像处理部18利用根据特征物C₃的色调变化量而生成的第1变换参数，对对象V_2A中的最接近特征物C₃的部分进行色调校正。另一方面，图像处理部18利用根据特征物C₄的色调变化量而生成的第2变换参数，对对象V_2A中的最接近特征物C₄的部分进行色调校正。然后，图像处理部18针对对象V_2A中的从最接近特征物C₃的部分到最接近特征物C₄的部分的区域，根据与特征物C₃以及特征物C₄之间的距离，使变换参数的值从第1变换参数值逐渐变化到第2变换参数值，同时实施色调校正处理。

图11是示出多个特征物C₅、C₆的色调变化量之差大于规定量的情况下的对象V_3A的校正处理的例子的图。在多个特征物C₅、C₆的色调变化量显著不同的情况下，例如，可认为在现实空间图像中存在色调不同的多个光源。在多个特征物的色调变化量之差大于规定量的情况下，图像处理部18对对象实施基于与色调校正对象的该对象之间的距离更近的特征物的色调变化量的色调校正。

在图11（a）所示的例子中，例如，假设特征物C₅的色调变化量对应于图4所示的色调表中的No1，特征物C₆的色调变化量对应于色调表中的No15。该情况下，由于特征物C₅的色调变化量和特征物C₆的色调变化量的差分大于规定量、且对象V_3A的位置偏向特征物C₅的位置附近、处于规定距离以下，所以，图像处理部18根据特征物C₅的色调变化量生成变换参数。然后，如图11（b）所示，图像处理部18使用所生成的变换参数实施针对对象V_3A的色调校正处理，生成色调校正后的对象V_3B的图像。

图12是示出多个特征物C₇、C₈的色调变化量之差大于规定量、且对象V_4A与特征物C₇、C₈各自的距离大致相同的情况下的对象V_4A的校正处理的例子的图。图12（a）所示的例子与图11所示的例子相同，例如，可认为在现实空间图像中存在色调不同的多个光源。该情况下，如图12（b）所示，图像处理部18也可以将对象V_4A分割为更接近特征物C₇的位置的第1区域V_4B1和更接近特征物C₈的位置的第2区域V_4B2，利用根据特征物C₇的色调变化量而生成的变换参数对第1区域V_4B1进行色调校正，利用根据特征物C₈的色调变化量而生成的变换参数对第2区域V_4B2进行色调校正。

整体画面特征提取部16是提取与现实空间图像整体的色调有关的特征（校正颜色信息）作为校正颜色的部分。具体而言，整体画面特征提取部16例如提取图像整体中的支配性的颜色成分、图像整体色调的平均色调、噪声分布，作为与现实空间图像整体的色调有关的特征。整体画面特征提取部16将提取出的校正颜色送到图像处理部18。

参照图13（a）对整体画面特征提取部16的支配性颜色成分的提取处理进行说明。图13（a）是示意地示出现实空间图像的色调分布的图。例如将图5所示的现实空间图像分割为规定大小的单位区域，设各区域中包含的像素的色调平均值作为该区域整体的色调，由此得到图13（a）所示的图像。在图13（a）所示的图像中，区域R₁具有来自图5所示的图像的背景的色调，区域R₂具有来自云C_rd的色调，区域R₃具有来自建筑物B_d的色调。整体画面特征提取部16对图13（a）所示的现实空间图像进行解析，提取区域R₁的色调作为支配性的颜色成分，提取区域R₁的色调作为对象校正处理用的校正颜色。可以通过将图像整体划分为单位区域并进行色调解析等公知的解析方法，实施从图像中提取支配性颜色成分的提取处理。

作为图像整体色调的平均色调的提取处理，整体画面特征提取部16根据区域R₁、区域R₂、区域R₃各自的像素数和表示该区域的色调的RGB值，计算现实空间图像整体色调的平均色调，提取计算出的平均色调作为对象校正处理用的校正颜色。

并且，整体画面特征提取部16提取与现实空间图像中的噪声分布有关的特征。具体而言，整体画面特征提取部16检测现实空间图像中的噪声，提取包含检测到的噪声的密度这样的信息的噪声分布信息。

参照图14（a）对整体画面特征提取部16的与现实空间图像整体的噪声分布有关的特征提取处理的例子进行说明。图14（a）是示意地示出现实空间图像的噪声分布的图。

整体画面特征提取部16从现实空间图像中选择一个像素，在表示该一个像素的颜色的值与表示该一个像素的周围像素的颜色的值的平均值相差规定以上的情况下，将该一个像素判断为噪声。在图14（a）所示的例子中，整体画面特征提取部16将像素P₁、P₂、P₄和P₅判断为噪声。另一方面，像素P₃的颜色与其周围的颜色不同，但是，由于其相差不是规定以上，所以，整体画面特征提取部16不将像素P₃判断为噪声。整体画面特征提取部16通过例示的处理方法从现实空间图像中检测噪声，提取该噪声的密度作为与噪声分布有关的信息。然后，整体画面特征提取部16将提取出的与噪声分布有关的信息送到图像处理部18。

整体画面特征提取部16将提取出的与对象校正处理用的校正颜色有关的信息（校正颜色信息）送到图像处理部18。

图像处理部18根据由整体画面特征提取部16提取出的与现实空间图像整体的色调有关的特征，对对象的图像进行校正处理。具体而言，图像处理部18从整体画面特征提取部16取得与从现实空间图像整体的色调中提取出的校正颜色有关的校正颜色信息。图像处理部18根据例如以RGB形式表示的校正颜色信息，生成RGB各值的变换参数。然后，图像处理部18通过对表示对象的各像素的RGB值实施基于该变换参数的规定运算处理，实施对象图像的校正处理。变换参数的生成和基于变换参数的运算处理可以应用各种公知的色调校正处理和滤波处理等中的方法。

图13（b）是示出图像处理部18未实施校正处理的情况下的重叠图像的例子的图。如图13（b）所示，由于对象V_5A未反映现实空间图像整体的色调，所以，成为具有不谐调感的重叠图像。另一方面，图13（c）是示出图像处理部18实施了基于现实空间图像整体的支配性颜色成分的校正处理的情况下的重叠图像的例子的图。如图13（c）所示，由于对象V_5B实施了基于现实空间图像整体的支配性颜色成分的校正处理（乘法处理），所以，减轻了重叠图像中的不谐调感。

进而，图像处理部18能够根据由整体画面特征提取部16提取出的与现实空间图像中的噪声分布有关的特征，对对象的图像进行校正处理。具体而言，图像处理部18从整体画面特征提取部16取得包含噪声密度这样的信息的噪声分布信息。然后，图像处理部18根据所取得的噪声分布信息，对校正对象的对象实施附加噪声的图像处理。例如，通过在对象中重叠具有规定尺寸的白色点来表现噪声。通过该图像处理，对象具有与现实空间图像整体相同的噪声。

图14（b）是示出图像处理部18未实施校正处理的情况下的重叠图像的例子的图。如图14（b）所示，由于对象V_5A未反映现实空间图像整体中产生的噪声的状态，所以，成为具有不谐调感的重叠图像。另一方面，图14（c）是示出图像处理部18实施了基于噪声分布信息的校正处理的情况下的重叠图像的例子的图。如图13（c）所示，由于对象V_5B实施了附加与现实空间图像整体中产生的噪声相同的噪声的校正处理，所以，减轻了重叠图像中的不谐调感。

另外，基于噪声分布信息的校正可以与基于所述支配性颜色成分的色调校正一起实施，也可以与基于平均色调的色调校正一起实施。

如上所述，图像处理部18根据从色调变化量测定部15或整体画面特征提取部16取得的校正颜色信息，对对象的色调进行校正，将重叠图像送到显示部19。这样，在显示部19中显示重叠图像。

接着，对对象显示装置1中的对象显示方法的处理内容进行说明。图15～17是示出对象显示方法的处理内容的流程图。

首先，参照图15的流程图，对象显示装置1判定假想对象的图像校正功能是否设定为启动（S1）。在判定为图像校正功能已设定为启动的情况下，处理顺序进入步骤S2。另一方面，在未判定为图像校正功能设定为启动的情况下，处理顺序进入步骤S9，不实施假想对象的校正。

在步骤S2中，摄影部11取得现实空间图像（S2）。接着，图像特征提取部12的特征区域检测部14尝试从现实空间图像中检测特征物（S3），判定是否检测到特征物（S4）。在判定为检测到特征物的情况下，处理顺序进入步骤S5。另一方面，在未判定为检测到特征物的情况下，处理顺序进入图10所示的流程图的步骤S10。

在步骤S5中，图像特征提取部12的色调变化量测定部15参照特征区域信息存储部13，尝试提取特征区域检测部14所提取出的特征物的色调变化量，判定特征物的色调是否存在变化（S5）。在判定为特征物的色调存在变化的情况下，处理顺序进入步骤S6。另一方面，在未判定为特征物的色调存在变化的情况下，处理顺序进入步骤S9，不实施假想对象的校正。

在步骤S6中，图像特征提取部12判定是否存在多个被检测到色调变化的特征物（S6）。在判定为存在多个特征物的情况下，处理顺序进入步骤S7。另一方面，在未判定为存在多个特征物的情况下，处理顺序进入步骤S8。

在步骤S7中，图像处理部18根据多个特征物的色调变化量，对从假想对象存储部17取得的对象的图像进行校正处理（S7）。另一方面，在步骤S8中，图像处理部18根据一个特征物的色调变化量，对从假想对象存储部17取得的对象的图像进行校正处理（S8）。并且，在步骤S9中，图像处理部18不对对象实施校正处理。

接着，参照图16对步骤S4中未判定为检测到特征物的情况下的处理进行说明。在步骤S10中，图像特征提取部12的整体画面特征提取部16尝试从现实空间图像整体中提取与图像有关的特征（S10）。这里提取出的特征包含与现实空间图像整体的色调有关的特征以及与噪声分布有关的特征。在从现实空间图像整体中提取出特征的情况下，处理顺序进入步骤S12。另一方面，在未从现实空间图像整体中提取出特征的情况下，处理顺序进入步骤S13，不实施假想对象的校正。

在步骤S12中，图像处理部18根据由整体画面特征提取部16提取出的现实空间图像整体的特征，对对象的图像进行校正处理（S12）。步骤S12中的校正处理包括基于图像整体中的支配性颜色成分或图像整体色调的平均色调这样的色调的校正、以及基于图像整体中的噪声分布的校正。并且，也可以实施基于色调的校正和基于噪声分布的校正双方。

接着，参照图17对图15中的步骤S7的处理进行详细说明。首先，图像处理部18对多个特征物的色调变化量进行比较（S14），判定变化量的差分是否大于规定量（S15）。在判定为变化量的差分大于规定量的情况下，处理顺序进入步骤S16。另一方面，在未判定为变化量的差分大于规定量的情况下，处理顺序进入步骤S19。

在步骤S16中，图像处理部18判定特征物和对象的位置是否为规定距离以内（S16）。在判定为特征物和对象的位置为规定距离以内的情况下，处理顺序进入步骤S17。另一方面，在未判定为特征物和对象的位置为规定距离以内的情况下，处理顺序进入步骤S18。

在步骤S17中，图像处理部18对色调校正对象的对象实施基于位于该对象更近处的特征物的色调变化量的色调校正（S17）。另一方面，在步骤S18中，图像处理部18将对象分割为更接近各特征物的第1区域和第2区域，按照每个区域，根据位于各个区域附近的特征物的色调变化量进行色调校正（S18）。

并且，在步骤S19中，图像处理部18判定特征物和对象的位置是否为规定距离以内（S19）。在判定为特征物和对象的位置为规定距离以内的情况下，处理顺序进入步骤S20。另一方面，在未判定为特征物和对象的位置为规定距离以内的情况下，处理顺序进入步骤S21。

在步骤S20中，图像处理部18根据各特征物的色调变化量对对象实施渐变处理（S20）。另一方面，在步骤S21中，图像处理部18对对象实施基于多个特征物的色调变化量的平均变化量的色调校正（S21）。

然后，经过步骤S7～S9、S12～S13、S17～S18、S20～S21的处理顺序，图像处理部18生成将对象重叠到现实空间图像上而得到的重叠图像，显示部19显示由图像处理部18生成的重叠图像。

在本实施方式中，图像特征提取部12具有用于取得多个特征物（特征区域）的色调变化量的特征区域检测部14和色调变化量测定部15、以及用于提取现实空间图像整体的特征的整体画面特征提取部16，但是，也可以具有特征区域检测部14和色调变化量测定部15以及整体画面特征提取部16中的任意一方。即，图像处理部18也可以根据多个特征物的色调变化量和现实空间图像整体的特征中的任意一方，实施对象的图像的校正处理。

图18是示出根据多个特征物的色调变化量实施对象的图像的校正处理的处理的流程图。步骤S31～S33的处理与图15的流程图中的S1～S3的处理相同。在接下来的步骤S34中，特征区域检测部14判定是否检测到特征物（S34）。在判定为检测到特征物的情况下，处理顺序进入步骤S35，在与步骤S5～9相同的处理内容即步骤S35～S39中，图像处理部18实施基于多个特征物的色调变化量的对象校正处理。

另一方面，在步骤S34中未判定为检测到特征物的情况下，处理顺序进入步骤S39，不实施假想对象的校正处理。在使用图18的流程图而说明的处理中，对象显示装置1具有与特征物的色调有关的信息，根据这种特征物的色调变化，对对象的色调进行校正，所以，能够容易地实施校正处理。

另一方面，图19是示出根据现实空间图像整体的特征实施对象的图像的校正处理的处理的流程图。首先，对象显示装置1判定假想对象的图像校正功能是否已设定为启动（S41）。在判定为图像校正功能设定为启动的情况下，处理顺序进入步骤S42。另一方面，在未判定为图像校正功能设定为启动的情况下，处理顺序进入步骤S46，不实施假想对象的校正。

在步骤S42中，摄影部11取得现实空间图像（S42）。接着，图像特征提取部12的整体画面特征提取部16尝试从现实空间图像整体中提取与图像有关的特征（S43）。这里提取出的特征包含与现实空间图像整体的色调有关的特征以及与噪声分布有关的特征。在从现实空间图像整体中提取出特征的情况下，处理顺序进入步骤S45（S44）。

另一方面，在未从现实空间图像整体中提取出特征的情况下（S44），处理顺序进入步骤S46，不实施假想对象的校正。在步骤S45中，图像处理部18根据由整体画面特征提取部16提取出的现实空间图像整体的特征，对对象的图像进行校正处理（S45）。在利用图19的流程图而说明的处理中，对象显示装置1根据现实空间图像整体的色调等，实施对象的校正处理，所以，减轻了重叠图像中的对象的不谐调感。

接着，对用于使计算机作为本实施方式的对象显示装置1发挥作用的对象显示程序进行说明。图20是示出与图1所示的对象显示装置1对应的对象显示程序1m的结构的图。

对象显示程序1m构成为具有对对象显示处理进行统一控制的主模块10m、摄影模块11m、图像特征提取模块12m、特征区域信息存储模块13m、假想对象存储模块17m、图像处理模块18m、显示模块19m和色调数据存储模块20m。并且，图像特征提取模块12m包括特征区域检测模块14m、色调变化量测定模块15m和整体画面特征提取模块16m。而且，通过各模块10m～20m实现对象显示装置1中的各功能部11～20的各功能。另外，对象显示程序1m可以是经由通信线路等传输介质进行传输的形式，也可以如图11所示，是存储在记录介质1d的程序存储区域1r中的形式。

根据本实施方式的对象显示装置1、对象显示方法和对象显示程序1m，图像特征提取部12基于由摄影部11取得的现实空间图像，提取多个特征物或现实空间图像整体中的与图像有关的规定特征。然后，根据与图像有关的特征对对象的图像进行校正处理，所以，可将现实空间图像的特征适当反映到对象的图像中。因此，减轻了将对象重叠显示到现实空间图像上而得到的重叠图像中的对象的图像的不谐调感。

以上根据其实施方式对本发明进行了详细说明。但是，本发明不限于上述实施方式。本发明能够在不脱离其主旨的范围内进行各种变形。

产业上的可利用性

根据本实施方式，在AR技术中，能够减轻将对象重叠显示到现实空间图像上而得到的重叠图像中的对象图像的不谐调感。

标号说明

1对象显示装置；1d记录介质；1m对象显示程序；1r程序存储区域；10m主模块；11摄影部；11m摄影模块；12图像特征提取部；12m图像特征提取模块；13特征区域信息存储部；13m特征区域信息存储模块；14特征区域检测部；14m特征区域检测模块；15色调变化量测定部；15m色调变化量测定模块；16整体画面特征提取部；16m整体画面特征提取模块；17假想对象存储部；17m假想对象存储模块；18图像处理部；18m图像处理模块；19显示部；19m显示模块；20色调数据存储部；20m色调数据存储模块。

Claims (8)

1.一种对象显示装置，其在现实空间图像上重叠显示对象，该对象显示装置具有：

摄影单元，其取得现实空间图像；

图像特征提取单元，其提取从由所述摄影单元取得的现实空间图像中检测到的多个规定特征区域或所述现实空间图像整体的与图像有关的规定特征；

图像处理单元，其根据由所述图像特征提取单元提取出的规定特征，对所述对象的图像进行校正处理；以及

显示单元，其显示将由所述图像处理单元进行校正处理后的对象的图像重叠到所述现实空间图像上而得到的重叠图像。

2.根据权利要求1所述的对象显示装置，其中，

在未检测到所述特征区域的情况下，所述图像特征提取单元从所述现实空间图像整体中提取规定特征。

3.根据权利要求1或2所述的对象显示装置，其中，

所述对象显示装置具有特征区域信息存储单元，该特征区域信息存储单元至少将与所述特征区域的色调有关的特征区域信息与该特征区域对应地存储，

所述图像特征提取单元提取所述现实空间图像中的多个所述特征区域的色调相对于所述特征区域信息存储单元中存储的色调的变化量，

所述图像处理单元根据由所述图像特征提取单元提取出的色调变化量，对所述对象的图像进行校正处理。

4.根据权利要求3所述的对象显示装置，其中，

所述图像处理单元根据所述对象相对于所述现实空间图像中的所述特征区域的位置的重叠位置，对所述对象的图像进行校正处理。

5.根据权利要求1～4中的任意一项所述的对象显示装置，其中，

所述图像特征提取单元提取与所述现实空间图像整体的色调有关的特征，

所述图像处理单元根据由所述图像特征提取单元提取出的与现实空间图像整体的色调有关的特征进行校正处理。

6.根据权利要求1～5中的任意一项所述的对象显示装置，其中，

所述图像特征提取单元提取与所述现实空间图像中的噪声分布有关的特征，

所述图像处理单元根据由所述图像特征提取单元提取出的与所述噪声分布有关的特征进行校正处理。

7.一种对象显示装置的对象显示方法，在现实空间图像上重叠显示对象，该对象显示方法包括以下步骤：

摄影步骤，取得现实空间图像；

图像特征提取步骤，提取从在所述摄影步骤中取得的现实空间图像中检测到的多个规定特征区域或所述现实空间图像整体的与图像有关的规定特征；

图像处理步骤，根据在所述图像特征提取步骤中提取出的规定特征，对所述对象的图像进行校正处理；以及

显示步骤，显示将在所述图像处理步骤中进行校正处理后的对象的图像重叠到所述现实空间图像上而得到的重叠图像。

8.一种对象显示程序，使计算作为在现实空间图像上重叠显示对象的对象显示装置发挥功能，该对象显示程序使所述计算机实现如下功能：

摄影功能，取得现实空间图像；

图像特征提取功能，提取从由所述摄影功能取得的现实空间图像中检测到的多个规定特征区域或所述现实空间图像整体的与图像有关的规定特征；

图像处理功能，根据由所述图像特征提取功能提取出的规定特征，对所述对象的图像进行校正处理；以及

显示功能，其显示将由所述图像处理功能进行校正处理后的对象的图像重叠到所述现实空间图像上而得到的重叠图像。

Images