CN103189899A - 对象显示装置以及对象显示方法 - Google Patents

Abstract

在对象显示装置中，根据图像分析部所取得的与对象的大小及颜色相关的信息以及与现实空间的图像的颜色相关的信息，图案提取部从现实空间的图像中提取在现实空间的图像上重叠显示对象时容易看到对象的区域，显示位置校正部将对象的显示位置校正为该区域。因此，变得容易看到对象，并且能够提高通过在现实空间的图像上显示对象而带来的信息性这样的各种效果。

Description

对象显示装置以及对象显示方法

技术领域

本发明涉及对象显示装置以及对象显示方法。

背景技术

近年来，已开发并提供了使用AR（Augmented Reality：增强现实）技术的服务。例如，已知有如下技术：取得配置在移动终端所在位置的周围的对象，在由移动终端具有的照相机取得的现实空间的图像上重叠显示包含各种信息、图像在内的对象的技术。另外，已知有如下技术：从由移动终端的照相机取得的现实空间的图像中检测预定的标记，将与该标记对应的对象重叠在现实空间的图像上而显示在显示器上。另外，作为与上述技术相关的技术，已知如下这样的装置：从已拍摄的现实空间的图像中检测肤色区域，在其检测位置上显示假想对象（宠物）（例如，参照专利文献1）。

现有技术文献

专利文献

专利文献1：日本特开2006-262980号公报

发明内容

发明要解决的问题

但是，在通常的AR技术中，对象的显示位置依存于对象所具有的位置信息或与该对象对应的标记的位置，所以不会考虑对象的显示位置周边的图像的状态。因此，当现实空间的图像中的对象的显示位置周边的图像色调繁杂时，不易看到重叠的对象，从而通过对象的显示来提供各种信息这样的效果变差。

因此，本发明是鉴于上述问题点而完成的，其目的是提供在AR技术中能够将对象重叠显示在现实空间的图像中的容易看到的位置的对象显示装置以及对象显示方法。

解决问题的手段

为了解决上述课题，本发明一实施方式的对象显示装置在现实空间的图像的预定位置重叠显示对象，该对象显示装置具备：对象信息取得单元，其取得与对象相关的对象信息；图像取得单元，其取得现实空间的图像；图像分析单元，其取得与对象信息取得单元所取得的对象的大小及颜色相关的信息和与图像取得单元所取得的现实空间的图像的颜色相关的信息；图案提取单元，其根据图像分析单元所取得的与对象的大小及颜色相关的信息和与现实空间的图像的颜色相关的信息，从现实空间的图像中提取在现实空间的图像上重叠显示对象时容易看到对象的区域；显示位置校正单元，其将对象的显示位置校正为图案提取单元所提取的区域；以及显示单元，其在显示位置校正单元所校正的显示位置重叠显示对象。

另外，为了解决上述课题，本发明一实施方式的对象显示方法是对象显示装置中的对象显示方法，该对象显示装置在现实空间的图像的预定位置重叠显示对象，该对象显示方法包括以下的步骤：对象信息取得步骤，取得与对象相关的对象信息；图像取得步骤，取得现实空间的图像；图像分析步骤，取得与在对象信息取得步骤中取得的对象在现实空间的图像上所占的区域的大小及颜色相关的信息、以及与在图像取得步骤中取得的现实空间的图像的颜色相关的信息；图案提取步骤，根据在图像分析步骤中取得的与对象的大小及颜色相关的信息以及与现实空间的图像的颜色相关的信息，从现实空间的图像中提取在现实空间的图像上重叠显示对象时容易看到对象的区域；显示位置校正步骤，将对象的显示位置校正为在图案提取步骤中提取的区域；以及显示步骤，在显示位置校正步骤中所校正的显示位置重叠显示对象。

根据本发明一实施方式的对象显示装置以及对象显示方法，根据与对象的大小以及颜色相关的信息以及与现实空间的图像的颜色相关的信息，从现实空间的图像中提取在现实空间的图像上重叠显示对象时容易看到对象的区域，将对象的显示位置校正为该区域。因此，变得容易看到对象，并能够提高通过在现实空间的图像上显示对象而带来的各种效果。

另外，在本发明一实施方式的对象显示装置中，也可以是，图案提取单元从现实空间的图像中提取具有对象的大小以上的大小并且具有单一色的区域。

在此情况下，在现实空间的图像中提取具有单一色的区域，将对象的显示位置校正为该区域。由此，在现实空间的图像中的色调不繁杂的区域内重叠显示对象，所以变得容易看到该对象。

另外，在本发明一实施方式的对象显示装置中，也可以是，图案提取单元从现实空间的图像中提取具有对象的大小以上的大小并且具有预定范围内的色调的区域。

在此情况下，在现实空间的图像中提取具有预定范围内的色调的区域，将对象的显示位置校正为该区域。由此，在现实空间的图像中的色调不繁杂的区域内重叠显示对象，所以变得容易看到该对象。

另外，在本发明一实施方式的对象显示装置中，也可以是，图案提取单元从现实空间的图像中提取具有对象的大小以上的大小并且在重叠对象时对象的外缘部重叠的部分具有单一色的区域。

在现实空间的图像上重叠显示对象时，现实空间的图像中的由于该对象而无法看到的部分的颜色不会给对象的可视性带来影响。另一方面，对象的外缘部重叠的部分的颜色会给对象的可视性带来较大的影响。在本发明的对象显示装置中，从现实空间的图像中提取在重叠对象时对象的外缘部重叠的部分具有单一色的区域，将对象的显示位置校正为该区域。由此，以使外缘部位于现实空间的图像中的色调不繁杂的部分的方式重叠显示对象，所以变得容易看到该对象。

另外，在本发明一实施方式的对象显示装置中，也可以是，图案提取单元从现实空间的图像中提取具有对象的大小以上的大小并且在重叠对象时对象的外缘部重叠的部分具有预定范围内的色调的区域。

在此情况下，从现实空间的图像中提取在重叠对象时对象的外缘部重叠的部分具有预定范围内的色调的区域，将对象的显示位置校正为该区域。由此，以使外缘部位于现实空间的图像中的色调不繁杂的部分的方式重叠显示对象，所以变得容易看到该对象。

另外，在本发明一实施方式的对象显示装置中，也可以是，图案提取单元从现实空间的图像中提取具有对象的大小以上的大小并且包含预定比例以上的由单一色占据的部分的区域。

在此情况下，在现实空间的图像中提取包含预定比例以上的单一色的区域，将对象的显示位置校正为该区域。由此，在现实空间的图像中的色调比较繁杂的区域内重叠显示对象，所以变得容易看到该对象。

另外，在本发明一实施方式的对象显示装置中，也可以是，图案提取单元从现实空间的图像中提取具有对象的大小以上的大小并且包含预定比例以上的具有预定范围内的色调的部分的区域。

在此情况下，在现实空间的图像中提取包含预定比例以上的具有预定范围内的色调的部分的区域，将对象的显示位置校正为该区域。由此，在现实空间的图像中的色调比较繁杂的区域内重叠显示对象，所以变得容易看到该对象。

另外，在本发明一实施方式的对象显示装置中，也可以是，图像分析单元从图像取得单元所取得的现实空间的图像中提取具有单一色或预定范围内的色调的区域作为显示候选区域，图案提取单元从图像分析单元所提取的显示候选区域中提取容易看到对象的区域。

在此情况下，预先提取作为用于校正对象的显示位置的区域候选的显示候选区域，对所提取的显示候选区域实施用于对象显示的区域的提取，所以可减轻用于该提取处理的处理负荷。

另外，在本发明一实施方式的对象显示装置中，也可以是，在基于图像分析单元所取得的与对象的颜色相关的信息以及与图案提取单元所提取的区域具有的颜色相关的信息、对象的色调与区域的色调是预定的对照关系时，显示位置校正单元校正对象的显示位置。

在此情况下，当作为对象背景的区域的色调与对象的色调处于对照关系时，将对象的显示位置校正为该区域，所以变得容易看到该对象。

另外，在本发明一实施方式的对象显示装置中，也可以是，显示位置校正单元在图案提取单元提取出多个区域时，将对象的显示位置校正为与对象的本来的显示位置最接近的区域。

在现实空间的图像上重叠显示的对象大多与预定的位置相对应并包含与该位置相关联的信息。在本发明的对象显示装置中，即使在为了提高可视性而校正显示位置时，也是将显示位置校正为与该对象的本来的显示位置最接近的区域，所以可防止该对象的信息性的降低。

另外，在本发明一实施方式的对象显示装置中，对象信息包含表示该对象与显示位置的关联性的强弱程度的位置依存度，显示位置校正单元在位置依存度低于预定程度的情况下，校正对象的显示位置。

在对象的位置依存度较高的情况下，表示该对象与显示位置的关联性较高，所以在预定位置以外的位置上显示该对象时，该对象向用户提供的信息很可能不合适。在本发明的结构中，当位置依存度低于预定程度时，校正对象的显示位置，所以可防止该对象的信息性的降低。

发明的效果

在AR技术中，能够在现实空间的图像中将对象重叠显示在容易看到的位置。

附图说明

图1是示出对象显示装置的功能性结构的框图。

图2是对象显示装置的硬件框图。

图3是示出对象数据库的结构以及所存储的数据的例子的图。

图4是在现实空间的图像以及在现实空间的图像上设定的格子的例子的图。

图5是示出对象的显示所需的网格的数量的图。

图6是示出由图像分析部取得的对象的显示位置、显示所需的网格的数量以及主色调的图。

图7是示出从现实空间的图像中提取的显示候选区域的例子的图。

图8是示出由图像分析部取得的各显示候选区域的网格的数量、与网格相关的信息以及主色调的图。

图9是示出为了校正对象的显示位置而通过图案提取部提取的区域的图案例的图。

图10是示出在现实空间的图像上重叠显示对象的例子即显示位置的校正前以及校正后的重叠显示的例子的图。

图11是示出对象显示方法的处理内容的时序图。

图12是示出图11中的图案提取处理的处理内容的流程图。

具体实施方式

参照附图说明本发明的对象显示装置以及对象显示方法的实施方式。另外，在可能的情况下，对相同的部分标注相同的标号，省略重复的说明。

图1是示出对象显示装置1的功能性结构的框图。本实施方式的对象显示装置1是在现实空间的图像的预定位置上重叠显示对象的装置，例如是可经由移动通信网进行通信的便携终端。

作为基于采用移动终端等装置的AR技术的服务，例如有如下这样的服务：从由移动终端的照相机取得的现实空间的图像中检测预定的标记，将与该标记对应的对象重叠在现实空间的图像上而显示在显示器上。另外，作为同样的服务，例如有如下这样的服务：取得配置在移动终端所在位置的周边的对象，与由移动终端具备的照相机取得的现实空间的图像中的位置对应地重叠显示对象。本实施方式的对象显示装置1相当于接受后者的服务提供的装置，但不限于此。

如图1所示，对象显示装置1在功能上具备位置信息取得部10、对象信息取得部11（对象信息取得单元）、对象数据库12、位置依存判定部13、照相机14、图像取得部15（图像取得单元）、图像分析部16（图像分析单元）、图案提取部17（图案提取单元）、显示位置校正部18（显示位置校正单元）以及显示部19（显示单元）。

图2是对象显示装置1的硬件结构图。如图2所示，对象显示装置1在物理上构成为计算机系统，该计算机系统包含CPU101、作为主存储装置的RAM102以及ROM103、作为数据收发设备的通信模块104、硬盘、闪速存储器等辅助存储装置105、作为输入设备的键盘等输入装置106、显示器等输出装置107等。通过在图2所示的CPU101、RAM102等硬件上读入预定的计算机软件，使通信模块104、输入装置106、输出装置107在CPU101的控制下进行动作，并且进行RAM102、辅助存储装置105中的数据的读出以及写入，由此实现图1所示的各个功能。然后，再次参照图1详细说明对象显示装置1的各个功能部。

位置信息取得部10是取得表示对象显示装置1的所在位置的位置信息的部分。例如，通过GPS装置这样的定位单元对对象显示装置1的所在位置进行定位。位置信息取得部10向对象信息取得部11发送位置信息。

对象信息取得部11是取得与对象相关的对象信息的部分。具体地说，对象信息取得部11根据从位置信息取得部发送的位置信息，从对象数据库12中取得与配置在对象显示装置1所在位置的周边的对象相关的对象信息。对象信息取得部11将所取得的对象信息发送到位置依存判定部13以及图像分析部16。

对象数据库12是存储对象信息的存储单元。对象数据库12也可以预先存储对象信息。另外，对象数据库12也可以蓄积根据由位置信息取得部10取得的位置信息经由预定的通信单元（未图示）从对对象信息进行存储和管理的服务器（未图示）取得的对象信息。图3是示出存储在对象数据库12中的对象信息的例子的图。如图3所示，对象信息包含与对对象进行标示的对象ID对应的对象数据、位置信息、位置依存度这样的数据。

对象数据是对象的图像数据。位置信息是表示现实空间中的该对象的配置位置的信息，例如用3维的坐标值表示。位置依存度是表示该对象与显示位置的关联性的强弱程度的信息。在本实施方式中，当位置依存度是“1”时，表示与显示位置的关联性强，当位置依存度是“0”时，表示与显示位置的关联性弱。在位置依存度高的情况下，如果将该对象显示在与位置信息所示的本来的配置位置不同的位置，则由该对象提供的信息很可能不合适。

位置依存判定部13是根据对象信息所包含的位置依存度判断该对象与位置信息所示的本来的配置位置的关联性的强弱的部分。位置依存判定部13向图像分析部16以及显示位置校正部18发送判定结果。

照相机14是拍摄现实空间的图像的装置。图像取得部15是取得由照相机14拍摄的现实空间的图像的部分。图像取得部15向图像分析部16发送所取得的现实空间的图像。

图像分析部16是取得与由对象信息取得部11取得的对象在现实空间的图像上所占的区域的大小及颜色相关的信息、以及与由图像取得部15取得的现实空间的图像的颜色相关的信息的部分。以下，更具体地说明图像分析部16实施的处理内容。

图像分析部16在现实空间的图像上设定预定间隔的格子。图4（a）是示出现实空间的图像P的例子的图。另外，图4（b）是示出在图4（a）所示的现实空间的图像P上设定的格子G的例子的图。如图4（b）所示，图像分析部16通过设定格子G将现实空间的图像P分割为方形的网格M。图像分析部16以使在一个网格M中包含一个或多个现实空间的图像的像素的方式将格子G的间隔设定为预定的大小。接着，图像分析部16针对每一个网格M来设定颜色。将对一个网格设定的颜色例如设定为该网格M所包含的像素的颜色中的最多的像素具有的颜色、或网格M所包含的像素的颜色的平均色等颜色。这样，通过按照每个网格M设定单一色，对现实空间的图像P实施所谓的马赛克处理。

另外，图像分析部16取得与对象在现实空间的图像上所占的区域的大小以及颜色相关的信息。更具体地说，图像分析部16对比作为显示对象的对象的图像数据的大小与在现实空间的图像P中设定的格子G以及网格M的大小，判定在现实空间的图像上重叠显示对象时所需的区域的大小以及网格数量。图5是示出将本实施方式中的显示对象的对象O与设定在现实空间的图像P上的格子G以及网格M重叠的例子的图。如图5所示，为了显示对象O，需要由纵3行×横4列的网格构成的长方形的区域。图像分析部16临时存储图5例示的在现实空间的图像上重叠显示对象O时所需的区域的大小以及网格数量的信息。

另外，图像分析部16取得构成对象O的主要的色调即主色调。图像分析部16例如取得该对象O所包含的像素的颜色中的最多的像素具有的颜色、或该对象O所包含的像素的颜色的平均色等颜色作为主色调。图像分析部16临时存储与所取得的主色调相关的信息。图6是示出由图像分析部16临时存储的在现实空间的图像上重叠显示对象O时所需的区域的大小以及网格数量的信息、以及与对象O的主色调相关的信息的例子的图。如图6所示，图像分析部16将显示位置、显示网格数量以及主色调等信息与对象ID对应地存储。显示位置是表示该对象的配置位置的信息，表示配置该对象中的代表点的位置。该显示位置与图3所示的对象信息中的位置信息相同。显示网格数量是表示在现实空间的图像上重叠显示对象O时所需的区域的大小以及网格数量的信息。在图6所示的例子中，示出该对象O的显示需要由纵3行×横4列的网格构成的长方形区域。主色调是表示对象O的主色调的信息，在本实施方式中，例如由RGB表现的数据来表示。

另外，图像分析部16从已分割为网格M的现实空间的图像P中提取用于校正对象显示位置的显示候选区域。图像分析部16从已分割为网格M的现实空间的图像P中提取例如由单一色构成的区域作为显示候选区域。即，这样提取的显示候选区域所包含的全部网格M具有单一色。另外，图像分析部16也可以从已分割为网格M的现实空间的图像P中提取例如由同系色构成的区域作为显示候选区域。本实施方式中的同系色被定义为色调包含在预定范围内的颜色的组。作为更具体的例子，当以RGB表现形式来表示各个网格M具有的颜色时，图像分析部16可参照表示各个网格M的颜色的R、G、B各值的预定的高位，提取由所参照的高位一致的网格M构成的区域作为显示候选区域。这样提取的全部网格M具有的颜色包含在预定范围的色调内。

图像分析部16临时存储与已提取的显示候选区域相关的信息。图7是示出由图像分析部16提取的显示候选区域的例子的图。如图7所示，从设定有格子G的现实空间的图像P中提取显示候选区域A₁、A₂以及A₃。另外，图8是示出图像分析部16临时存储的与显示候选区域相关的信息的例子的图。如图8所示，图像分析部16将区域信息以及主色调与对显示候选区域进行标示的显示候选区域ID对应地存储，作为与显示候选区域相关的信息。区域信息包含构成该显示候选区域A的网格M的数量N以及确定网格M的信息R。确定网格M的信息R可以是位于该显示候选区域A的外缘的全部网格M的坐标组，也可以是该显示候选区域A包含的全部网格M的坐标组。主色调是构成该显示候选区域A的主要色调。图像分析部16例如取得该显示候选区域A包含的网格M的颜色中的最多的网格M具有的颜色、或该显示候选区域A包含的网格M的平均色等颜色作为主色调，并临时存储。图像分析部16向图案提取部17发送与对象O在现实空间的图像上所占的区域的大小及主色调相关的信息、以及与显示候选区域A相关的信息。

图案提取部17是如下这样的部分：根据图像分析部16所取得的与对象O的大小及颜色相关的信息、以及与现实空间的图像的颜色相关的信息，从现实空间的图像中提取在现实空间的图像上重叠显示对象时容易看到对象的区域。参照图9更具体地说明图案提取部17实施的处理内容。图9是示出从显示候选区域A提取的提取图案的例子的图。

在本实施方式中，图案提取部17从显示候选区域A中提取具有对象O的大小以上的大小并且具有单一色的区域作为提取图案。为了显示本实施方式的对象O，需要由纵3行×横4列的网格M构成的长方形区域。因此，图案提取部17如图9（a）所示那样从显示候选区域A中提取由单一色的网格M构成的区域R₁作为提取图案。

另外，图案提取部17也可以从显示候选区域A中提取具有对象O的大小以上的大小并且具有预定范围内的色调的区域作为提取图案。在此情况下，只要区域R₁所包含的全部网格的颜色具有预定范围内的色调，则图案提取部17从显示候选区域A中提取该区域R₁作为提取图案。

当将对象O重叠在现实空间的图像上时，在现实空间的图像中被该对象O遮挡而无法看到的部分的色调不会影响对象O的可视性。另一方面，在现实空间的图像中对象O的外缘部重叠的部分的色调会影响对象O的可视性。因此，图案提取部17也可以从显示候选区域A中提取具有对象O的大小以上的大小并且在重叠对象O时对象O的外缘部重叠的部分具有单一色的区域作为提取图案。当在现实空间的图像上重叠图5所示的对象O时，对象O需要由纵3行×横4列的网格M构成的长方形区域，并且对象O的外缘部与图9（b）所示的区域R₂的带斜线的网格M重叠。在此情况下，只要区域R₂所包含的网格M中的带斜线的全部网格M具有单一色，则图案提取部17从显示候选区域A中提取该区域R₂作为提取图案。

另外，图案提取部17也可以从显示候选区域A中提取具有对象O的大小以上的大小并且在重叠对象O时对象O的外缘部重叠的部分具有预定范围内的色调的区域作为提取图案。在此情况下，只要区域R₂所包含的网格M中的带斜线的全部网格M的颜色具有预定范围内的色调，则图案提取部17从显示候选区域A中提取该区域R₂作为提取图案。

另外，当在现实空间的图像上重叠对象O时，在现实空间的图像中该对象O重叠的区域被越多的单一色占据，则越可期待对象O的可视性的提高。因此，图案提取部17也可以从显示候选区域A中提取具有对象O的大小以上的大小并且包含预定比例以上的由单一色占据的部分的区域作为提取图案。即，为了显示本实施方式的对象O，需要由纵3行×横4列的网格M构成的长方形区域，图案提取部17如图9（c）所示那样在由纵3行×横4列的网格M构成的长方形区域R₃包含的网格M中的用斜线表示的具有单一色的网格M是预定比例以上时，从显示候选区域A中提取区域R₃作为提取图案。

另外，图案提取部17也可以从显示候选区域A中提取具有对象O的大小以上的大小并且包含预定比例以上的具有预定范围内的色调的部分的区域作为提取图案。即，为了显示本实施方式的对象O，需要由纵3行×横4列的网格M构成的长方形区域，如图9（c）所示，图案提取部17在由纵3行×横4列的网格M构成的长方形区域R₃所包含的网格M中的用斜线表示的具有预定范围内的色调的网格M是预定的比例以上时，从显示候选区域A提取区域R₃作为提取图案。

显示位置校正部18是将对象O的显示位置校正为图案提取部17提取的提取图案的部分。即，对象O的本来的显示位置例如作为位置信息设定或存储在对象数据库12中，显示位置校正部18将对象O的显示位置从本来的显示位置变更为图案提取部17提取的提取图案的位置。

另外，在图案提取部17提取出多个提取图案时，显示位置校正部18也可以将对象O的显示位置校正为与对象O的本来的显示位置最接近的区域。即，有时在图案提取部17中提取多个提取图案作为用于提高对象O的可视性的显示位置候选。在此情况下，显示位置校正部18将对象O的显示位置校正为与该对象O的本来的显示位置最接近的区域。通过与预定位置对应地显示对象O来提供与其配置位置关联的各种信息，即使在为了提高可视性而校正显示位置时，也是将显示位置校正为与该对象O的本来的显示位置最接近的区域，所以能够防止该对象O的信息性降低。

另外，显示位置校正部18也可以在基于图像分析部16取得的与对象O的颜色相关的信息以及与图案提取部17提取的提取图案具有的颜色相关的信息、对象O的色调与提取图案的色调是预定的对照关系时，校正对象O的显示位置。例如，在对象O的色调与提取图案的色调近似时，即使将该对象O的显示位置校正为该提取图案的位置，也难以提高对象O的可视性。因此，在对象O的色调与提取图案的色调是预定的对照关系时，通过实施对象O的显示位置的校正，容易看到该对象O。例如，可通过公知的色相环来进行色调间的对照性的判定。具体地说，在色相环中提取设置在对象O的主色调的相反位置及其周边的颜色作为对照色，在提取图案的主色调为对照色时，显示位置校正部18实施对象O的显示位置的校正。对照色的范围是预先设定的。

另外，显示位置校正部18取得从位置依存判定部13发送判定结果，该判定结果关于表示对象O与本来的显示位置的关联性的强弱程度的位置依存度。并且，显示位置校正部18可以在对象O的位置依存度低于预定程度时，实施对象O的显示位置的校正。即，在对象O的位置依存度较高时，表示该对象O与显示位置的关联性较高，所以在本来的显示位置以外的位置显示该对象O时，对象O向用户提供的信息很可能不合适。在本实施方式中，当位置依存度低于预定的程度时校正对象O的显示位置，所以能够防止该对象O的信息性的降低。

显示部19是在显示位置校正部18校正后的显示位置将对象O重叠显示在现实空间的图像上的部分。图10（a）是显示位置校正前的在现实空间的图像上重叠显示对象的例子。图10（b）是显示位置校正后的在现实空间的图像上重叠显示对象的例子。如图10（a）所示，当现实空间的图像中的重叠显示对象O_A的区域的色调繁杂时，对象O_A的可视性较低。另一方面，如图10（b）所示，在本实施方式中，因为对象O_B的显示位置被校正为现实空间的图像中的色调不繁杂的区域，所以对象O_B的可视性良好。

接着，参照图11以及图12来说明本实施方式的对象显示方法中的对象显示装置1的动作。图11是示出对象显示方法的处理内容的时序图。另外，图12是示出图11中的图案提取处理的处理内容的流程图。

首先，对象信息取得部11取得对象信息（S1：对象信息取得步骤）。接着，位置依存判定部13根据对象信息包含的位置依存度来判定该对象与位置信息所示的本来的配置位置的关联性的强弱（S2）。当判定为位置依存度较低时，处理步骤前进到步骤S3。另一方面，当没有判定为位置依存度较低时，处理步骤前进到步骤S13。

在步骤S3中，图像取得部15取得照相机14拍摄的现实空间的图像（S3：图像取得步骤）。接着，图像分析部16在现实空间的图像中设定预定间隔的格子（S4）。通过格子的设定，将现实空间的图像分割为方形的网格。然后，图像分析部16对每个网格设定颜色。

接着，图像分析部16对比作为显示对象的对象的图像数据的大小与在现实空间的图像中设定的格子以及网格的大小，取得在现实空间的图像上重叠显示对象时所需的区域的大小（网格数量）（S5：图像分析步骤）。此外，图像分析部16取得构成对象O的主要的色调即主色调（S5：图像分析步骤）。

图像分析部16从已分割为网格M的现实空间的图像P中提取用于校正对象的显示位置的显示候选区域（S6：图像分析步骤）。显示候选区域例如是由单一色的网格构成的区域或由具有同系色的网格构成的区域。另外，图像分析部16判定已提取的显示候选区域的主色调（S6：图像分析步骤）。此外，步骤S6所示的处理内容在本实施方式中不是必须的处理。即，本实施方式的对象显示装置1可以不实施显示候选区域的提取，不是针对显示候选区域实施后述的图案提取处理，而是针对现实空间的图像实施后述的图案提取处理。

接着，图案提取部17实施图案提取处理（S7：图案提取步骤）。接着，参照图12详细地说明图案提取处理。

首先，图案提取部17设定提取图案的图案形态（S21）。关于图案形态，将在步骤S4中设定的网格设为1个单位，例如依次设定以下这样的网格。

（i）在具有重叠显示对象所需的大小的区域内包含的全部网格

（ii）在具有重叠显示对象所需的大小的区域内包含的全部网格中的对象的外缘部重叠的网格

（iii）在具有重叠显示对象所需的大小的区域内包含的全部网格中的预定比例或数量以上的网格

在本实施方式中，在步骤S21中，图案提取部17将图案（i）设定为图案形态。

接着，图案提取部17尝试从显示候选区域中提取具有重叠显示对象所需的大小并且由单一色的网格构成的区域作为提取图案（S22）。在步骤S22中提取出提取图案时，处理步骤结束（S23）。另一方面，在步骤S22中没有提取出提取图案时，处理步骤前进到步骤S24（S23）。

在步骤S24中，图案提取部17尝试从显示候选区域中提取具有重叠显示对象所需的大小并且由具有同系色的网格构成的区域作为提取图案（S24）。同系色被定义为具有预定范围内的色调的颜色组。在步骤S24中提取出提取图案时，处理步骤结束（S25）。另一方面，在步骤S24中没有提取出提取图案时，处理步骤前进到步骤S26（S25）。

在步骤S26中，图案提取部17判定是否已经实施全部图案形态的设定（S26）。在本实施方式中，判定是否已经设定上述（i）～（iii）的图案形态。当判定为已经实施全部图案形态的设定时，处理步骤结束。另一方面，当没有判定为已经实施全部图案形态的设定时，处理步骤前进到步骤S27。例如，在设定图案形态（i）而实施了图案提取的情况下，由于没有实施基于图案形态（ii）、（iii）的图案提取，所以在此情况下，不判定为已经实施全部图案形态的设定。

在步骤S27中，图案提取部17变更图案形态。具体地说，图案提取部17为了提高提取出提取图案的可能性，依次变更图案形态。即，关于提取出上述多个图案形态中的提取图案的可能性，图案形态（i）最低，图案形态（iii）最高，所以例如在设定图案形态（i）而实施了图案提取时，图案提取部17将图案形态变更为（ii）。

在实施步骤S27的处理之后，处理步骤返回至步骤S22。这样，一边变更图案形态一边反复步骤S22～S27的处理。图案提取部17向显示位置校正部18发送与已提取的提取图案相关的信息或表示没有提取出提取图案的信息。

再次参照图11，在步骤S8中，显示位置校正部18判定是否存在提取图案（S8）。当判定为存在提取图案时，处理步骤前进到步骤S9。另一方面，当没有判定为存在提取图案时，处理步骤前进到步骤S13。

接着，显示位置校正部18判定是否存在多个提取图案（S9）。当判定为存在多个提取图案时，处理步骤前进到步骤S10。另一方面，当没有判定为存在多个提取图案时，处理步骤前进到步骤S11。

在步骤S10中，显示位置校正部18选择位于与对象的本来的显示位置最近的位置的提取图案（S10）。接着，显示位置校正部18判定所选择的提取图案的主色调是否是对象的主色调的预定的对照色（S11）。当判定为提取图案的主色调是对象的主色调的预定的对照色时，处理步骤前进到步骤S12。另一方面，当没有判定为提取图案的主色调是对象的主色调的预定的对照色时，处理步骤前进到步骤S13。

在步骤S12中，显示位置校正部18将对象的显示位置校正为图案提取部17提取的提取图案。然后，显示部19在现实空间的图像中的显示位置校正部18校正后的显示位置重叠显示对象（S12：显示位置校正步骤、显示步骤）。

另一方面，在步骤S13中，显示部19不实施对象的显示位置的校正，而在该对象的位置信息所示的本来的配置位置重叠显示对象（S13）。这样，结束本实施方式的处理。

此外，在步骤S8中没有判定为存在提取图案时、或者在步骤S11中没有判定为提取图案的主色调是对象的主色调的预定对照色时，也可以使处理步骤返回至步骤S4。这样，当处理步骤返回至步骤S4时，为了提高提取出提取图案的可能性，变更步骤S4中的格子设定的条件或步骤S6中的显示候选区域的提取条件，反复步骤S4以后的处理。例如，在步骤S4中，以扩大格子的间隔而增加形成在格子间的网格的大小的方式变更格子设定的条件，由此能够提高提取出提取图案的可能性。另外，在步骤S6中，以扩大被判定为同系色的色调的范围的方式变更显示候选区域的提取条件，由此能够提高提取出提取图案的可能性。

在以上说明的本实施方式的对象显示装置1以及对象显示方法中，根据图像分析部16所取得的与对象的大小以及颜色相关的信息以及与现实空间的图像的颜色相关的信息，图案提取部17从现实空间的图像中提取在现实空间的图像上重叠显示对象时容易看到对象的区域，显示位置校正部18将对象的显示位置校正为该区域。因此，变得容易看到对象，能够提高通过在现实空间的图像上显示对象而带来的信息性等各种效果。

以上，根据本发明的实施方式详细说明了本发明。但是，本发明不限于上述实施方式。本发明在不脱离其主旨的范围内可进行各种变形。

工业上的可利用性

本发明在AR技术中能够在现实空间的图像内的容易看到的位置重叠显示对象。

标号说明

1…对象显示装置；10…位置信息取得部；11…对象信息取得部；12…对象数据库；13…位置依存判定部；14…照相机；15…图像取得部；16…图像分析部；17…图案提取部；18…显示位置校正部；19…显示部；A、A₁、A₂…显示候选区域；G…格子；M…网格；O…对象。

Claims (12)

1.一种对象显示装置，其在现实空间的图像的预定位置重叠显示对象，该对象显示装置具备：

对象信息取得单元，其取得与对象相关的对象信息；

图像取得单元，其取得现实空间的图像；

图像分析单元，其取得与所述对象信息取得单元所取得的对象的大小及颜色相关的信息和与所述图像取得单元所取得的现实空间的图像的颜色相关的信息；

图案提取单元，其根据所述图像分析单元所取得的与对象的大小及颜色相关的信息和与现实空间的图像的颜色相关的信息，从现实空间的图像中提取在现实空间的图像上重叠显示所述对象时容易看到所述对象的区域；

显示位置校正单元，其将所述对象的显示位置校正为所述图案提取单元所提取的区域；以及

显示单元，其在所述显示位置校正单元所校正的显示位置重叠显示对象。

2.根据权利要求1所述的对象显示装置，其中，

所述图案提取单元从现实空间的图像中提取具有所述对象的大小以上的大小并且具有单一色的区域。

3.根据权利要求1所述的对象显示装置，其中，

所述图案提取单元从现实空间的图像中提取具有所述对象的大小以上的大小并且具有预定范围内的色调的区域。

4.根据权利要求1所述的对象显示装置，其中，

所述图案提取单元从现实空间的图像中提取具有所述对象的大小以上的大小并且在重叠所述对象时所述对象的外缘部重叠的部分具有单一色的区域。

5.根据权利要求1所述的对象显示装置，其中，

所述图案提取单元从现实空间的图像中提取具有所述对象的大小以上的大小并且在重叠所述对象时所述对象的外缘部重叠的部分具有预定范围内的色调的区域。

6.根据权利要求1所述的对象显示装置，其中，

所述图案提取单元从现实空间的图像中提取具有所述对象的大小以上的大小并且包含预定比例以上的由单一色占据的部分的区域。

7.根据权利要求1所述的对象显示装置，其中，

所述图案提取单元从现实空间的图像中提取具有所述对象的大小以上的大小并且包含预定比例以上的具有预定范围内的色调的部分的区域。

8.根据权利要求1～7中的任意一项所述的对象显示装置，其中，

所述图像分析单元从所述图像取得单元所取得的现实空间的图像中提取具有单一色或预定范围内的色调的区域作为显示候选区域，

所述图案提取单元从所述图像分析单元所提取的显示候选区域中提取容易看到所述对象的区域。

9.根据权利要求1～8中的任意一项所述的对象显示装置，其中，

在基于所述图像分析单元所取得的与对象的颜色相关的信息以及与所述图案提取单元所提取的区域具有的颜色相关的信息、所述对象的色调与所述区域的色调是预定的对照关系时，所述显示位置校正单元校正所述对象的显示位置。

10.根据权利要求1～9中的任意一项所述的对象显示装置，其中，

所述显示位置校正单元在所述图案提取单元提取出多个区域时，将所述对象的显示位置校正为与所述对象的本来的显示位置最接近的区域。

11.根据权利要求1～10中的任意一项所述的对象显示装置，其中，

所述对象信息包含表示该对象与显示位置的关联性的强弱程度的位置依存度，

所述显示位置校正单元在所述位置依存度低于预定程度的情况下，校正所述对象的显示位置。

12.一种对象显示装置中的对象显示方法，该对象显示装置在现实空间的图像的预定位置重叠显示对象，该对象显示方法包括以下的步骤：

对象信息取得步骤，取得与对象相关的对象信息；

图像取得步骤，取得现实空间的图像；

图像分析步骤，取得与在所述对象信息取得步骤中取得的对象在现实空间的图像上所占的区域的大小及颜色相关的信息、以及与在所述图像取得步骤中取得的现实空间的图像的颜色相关的信息；

图案提取步骤，根据在所述图像分析步骤中取得的与对象的大小及颜色相关的信息以及与现实空间的图像的颜色相关的信息，从现实空间的图像中提取在现实空间的图像上重叠显示所述对象时容易看到所述对象的区域；

显示位置校正步骤，将所述对象的显示位置校正为在所述图案提取步骤中提取的区域；以及

显示步骤，在所述显示位置校正步骤中所校正的显示位置重叠显示对象。

Images