CN103370732A - 对象显示装置、对象显示方法和对象显示程序 - Google Patents

Abstract

对象显示装置具有根据摄像部在取得现实空间图像时参照的摄像信息对对象进行加工的假想对象加工部、在现实空间图像上重叠加工后的对象的图像合成部、以及显示重叠图像的显示部。由此，现实空间图像的特征反映到重叠的对象中。因此，减轻了在现实空间图像上重叠显示对象时的不协调感。

Description

对象显示装置、对象显示方法和对象显示程序

技术领域

本发明涉及对象显示装置、对象显示方法和对象显示程序。

背景技术

近年来，开发并提供了使用AR（Augmented Reality：增强现实）技术的服务。例如，公知有如下技术：取得配置在移动终端所在位置周边的对象，在由移动终端所具有的照相机取得的现实空间图像上重叠显示包含各种信息和图像的对象。并且，公知有如下技术：从由移动终端的照相机取得的现实空间图像中检测规定标记，将与该标记对应的对象重叠在现实空间图像上而显示在显示器上。另一方面，作为用于考虑在现实空间图像上重叠对象时的对象色调的技术，公知有根据配置在现实空间中的标记的色调来校正对象色调的技术（例如参照专利文献1）。

现有技术文献

专利文献

专利文献1：日本特开2010-170316号公报

发明内容

发明要解决的课题

但是，在通常的AR技术中，由于只是在所拍摄的现实空间图像上重叠对象的图像或3D的对象，所以，有时由于两个图像的画质等的差异而在合成后的图像中产生不协调感。并且，在专利文献1所记载的技术中，需要特定的标记，并且，需要终端预先保持与该标记的色调有关的信息，其实施并不容易。

因此，本发明是鉴于上述问题点而完成的，其目的在于，提供如下的对象显示装置、对象显示方法和对象显示程序：在AR技术中，能够容易地减轻在现实空间图像上重叠显示对象时的不协调感。

用于解决课题的手段

为了解决上述课题，本发明的一个实施方式的对象显示装置在现实空间图像上重叠显示对象，该对象显示装置具有：对象信息取得单元，其取得与显示的对象有关的对象信息；摄像单元，其取得现实空间图像；摄像信息取得单元，其取得摄像单元在取得现实空间图像时参照的摄像信息；对象加工单元，其根据由摄像信息取得单元取得的摄像信息，对由对象信息取得单元取得的对象进行加工；图像合成单元，其生成在由摄像单元取得的现实空间图像上重叠由对象加工单元加工后的对象而得到的图像；以及显示单元，其显示由图像合成单元生成的图像。

并且，为了解决上述课题，本发明的一个实施方式的对象显示方法是对象显示装置的对象显示方法，该对象显示装置在现实空间图像上重叠显示对象，该对象显示方法包括以下步骤：对象信息取得步骤，取得与显示的对象有关的对象信息；摄像步骤，取得现实空间图像；摄像信息取得步骤，取得在摄像步骤中取得现实空间图像时参照的摄像信息；对象加工步骤，根据在摄像信息取得步骤中取得的摄像信息，对在对象信息取得步骤中取得的对象进行加工；图像合成步骤，生成在摄像步骤中取得的现实空间图像上重叠对象加工步骤中加工后的对象而得到的图像；以及显示步骤，显示图像合成步骤中生成的图像。

并且，为了解决上述课题，本发明的一个实施方式的对象显示程序用于使计算机作为在现实空间图像上重叠显示对象的对象显示装置发挥功能，该对象显示程序使计算机实现如下功能：对象信息取得功能，取得与显示的对象有关的对象信息；摄像功能，取得现实空间图像；摄像信息取得功能，取得摄像功能在取得现实空间图像时参照的摄像信息；对象加工功能，根据通过摄像信息取得功能取得的摄像信息，对通过对象信息取得功能取得的对象进行加工；图像合成功能，生成在通过摄像功能取得的现实空间图像上重叠通过对象加工功能加工后的对象而得到的图像；以及显示功能，显示通过图像合成功能生成的图像。

根据对象显示装置、对象显示方法和对象显示程序，根据摄像单元在取得现实空间图像时参照的摄像信息对对象进行加工，在现实空间图像上重叠和显示加工后的对象，所以，所取得的现实空间图像的特征反映到所显示的对象中。因此，容易减轻在现实空间图像上重叠显示对象时的不协调感。

并且，在本发明的一个实施方式的对象显示装置中，也可以是，对象显示装置还具有：位置测定单元，其对该对象显示装置的所在位置进行测定；以及对象距离计算单元，对象信息包含表示该对象在现实空间中的配置位置的位置信息，摄像信息包含焦距，对象距离计算单元根据由对象信息取得单元取得的对象的位置信息和由位置测定单元测定的对象显示装置的所在位置，计算从该对象显示装置到对象的距离，对象加工单元根据由摄像信息取得单元取得的摄像信息中包含的焦距和由对象距离计算单元计算出的到对象的距离之差，针对该对象进行用于模仿在摄像对象位于偏离焦距的位置的情况下取得的图像的模糊加工。

根据上述结构，根据摄像单元所使用的焦距，在对象位于现实空间图像中的未聚焦的位置的情况下，对该对象实施所谓的模糊加工。模糊加工是用于模仿在摄像对象位于偏离焦距的位置的情况下取得的图像的图像加工处理。由此，在现实空间中的未聚焦的区域中重叠已实施模糊加工的对象，所以，可得到减轻了不协调感的重叠图像。

并且，在本发明的一个实施方式的对象显示装置中，也可以是，摄像信息包含取得现实空间图像时的与画质有关的设定值，对象加工单元根据由摄像信息取得单元取得的摄像信息中包含的设定值，对对象进行加工。

根据上述结构，根据摄像单元中的与现实空间图像的画质有关的设定值对对象进行加工，所以，所取得的现实空间图像的画质反映到加工后的对象的画质中。因此，减轻了在现实空间图像上重叠显示对象时的不协调感。

并且，在本发明的一个实施方式的对象显示装置中，也可以是，摄像信息包含决定摄像单元中的感光灵敏度的感光灵敏度信息，对象加工单元根据由摄像信息取得单元取得的摄像信息中包含的感光灵敏度信息，实施对对象附加规定噪声的噪声加工。

在由摄像单元取得的图像中，有时根据摄像单元中的感光灵敏度而产生噪声。根据上述结构，由于根据感光灵敏度信息对对象附加与现实空间图像中产生的噪声相同的噪声，所以，减轻了在现实空间图像上重叠显示对象时的不协调感。

并且，在本发明的一个实施方式的对象显示装置中，也可以是，摄像信息包含对摄像单元取得的图像的色调进行校正的色调校正信息，对象加工单元根据由摄像信息取得单元取得的摄像信息中包含的色调校正信息，实施对对象的色调进行校正的色调校正加工。

该情况下，根据摄像单元取得图像时使用的色调校正信息，实施对对象的色调进行校正的加工。由此，对象的色调接近由摄像单元取得的现实空间图像的色调。因此，减轻了在现实空间图像上重叠显示对象时的不协调感。

发明效果

在AR技术中，能够容易地减轻在现实空间图像上重叠显示对象时的不协调感。

附图说明

图1是示出对象显示装置的功能结构的框图。

图2是对象显示装置的硬件框图。

图3是示出假想对象存储部的结构和所存储的数据的例子的图。

图4是示出在现实空间图像上重叠假想对象而得到的图像的例子的图。

图5是示出在现实空间图像上重叠假想对象而得到的图像的例子的图。

图6是示出对象显示方法的处理内容的流程图。

图7是示出第2实施方式的对象显示装置的功能结构的框图。

图8是示出第2实施方式的假想对象存储部的结构和所存储的数据的例子的图。

图9是示出第2实施方式的在现实空间图像上重叠假想对象而得到的图像的例子的图。

图10是示出第2实施方式的对象显示方法的处理内容的流程图。

图11是示出第2实施方式的对象显示方法的处理内容的流程图。

图12是示出第1实施方式的对象显示程序的结构的图。

图13是示出第2实施方式的对象显示程序的结构的图。

具体实施方式

参照附图对本发明的对象显示装置、对象显示方法和对象显示程序的实施方式进行说明。另外，在可能的情况下，对相同部分标注相同标号并省略重复说明。

（第1实施方式）

图1是示出对象显示装置1的功能结构的框图。本实施方式的对象显示装置1是在现实空间图像上重叠显示对象的装置，例如是能够经由移动通信网进行通信的便携终端。

作为基于使用移动终端等装置的AR技术的服务，例如有如下的服务：从由移动终端的照相机取得的现实空间图像中检测规定标记，将与该标记对应的对象重叠在现实空间图像上而显示在显示器上。另外，作为同样的服务，存在如下的服务：取得配置在移动终端所在位置周边的对象，与由移动终端所具有的照相机取得的现实空间图像中的位置对应地重叠显示对象。在本实施方式中，假设对象显示装置1接受前者的服务提供而记述以下说明，但是不限于此。

如图1所示，在功能上，对象显示装置1具有假想对象存储部11、假想对象提取部12（对象信息取得单元）、摄像部13（摄像单元）、照相机信息取得部14（摄像信息取得单元）、假想对象加工部15（对象加工单元）、图像合成部16（图像合成单元）和显示部17（显示单元）。

图2是对象显示装置1的硬件结构图。在物理上，如图2所示，对象显示装置1构成为包括CPU101、作为主存储装置的RAM102和ROM103、作为数据收发器件的通信模块104、硬盘、闪存等辅助存储装置105、作为输入器件的键盘等输入装置106、显示器等输出装置107等的计算机系统。通过在图2所示的CPU101、RAM102等硬件上读入规定计算机软件，在CPU101的控制下使通信模块104、输入装置106、输出装置107进行动作，并且进行RAM102或辅助存储装置105中的数据的读出和写入，由此实现图1所示的各功能。再次参照图1详细说明对象显示装置1的各功能部。

假想对象存储部11是存储作为与假想对象有关的信息的假想对象信息的存储单元。图3是示出假想对象存储部11的结构和所存储的数据的例子的图。如图3所示，假想对象信息包含与识别对象的对象ID对应的对象数据、标记信息这样的数据。

对象数据例如是对象的图像数据。另外，对象数据也可以是用于表示该对象的3D对象的数据。标记信息是与对应于该对象的标记有关的信息，例如包含该标记的图像数据或3D对象数据。即，在本实施方式中，在从现实空间图像中提取出由标记信息表示的标记的情况下，对应于现实空间图像中的标记而重叠显示与该标记信息对应的对象。

假想对象提取部12是从假想对象存储部11取得对象信息的部分。具体而言，首先，假想对象提取部12尝试从由摄像部13取得的现实空间图像中检测标记。由于与标记有关的标记信息存储在假想对象存储部11中，所以，假想对象提取部12从假想对象存储部11取得标记信息，根据所取得的标记信息探索现实空间图像，尝试提取标记。在从现实空间图像中检测到标记的情况下，假想对象提取部12在假想对象存储部11中提取与该标记对应的对象信息。

摄像部13是取得现实空间图像的部分，例如由照相机构成。摄像部13在取得现实空间图像时参照摄像信息。摄像部13将所取得的现实空间图像送到假想对象提取部12和图像合成部16。另外，摄像部13向照相机信息取得部14送出摄像信息。

照相机信息取得部14是从摄像部13取得摄像部13在取得现实空间图像时参照的摄像信息的部分。并且，照相机信息取得部14将所取得的摄像信息送到假想对象加工部15。

摄像信息例如包含取得现实空间图像时的与画质有关的设定值。该设定值例如包含决定摄像部13中的感光灵敏度的感光灵敏度信息。感光灵敏度信息例如例示为所谓的ISO灵敏度。另外，设定值例如包含对摄像部13取得的图像的色调进行校正的色调校正信息。色调校正信息例如包含与白平衡有关的信息。另外，色调校正信息也可以包含其他公知的用于对色调进行校正的参数。并且，摄像信息也可以包含焦距和景深这样的参数。

假想对象加工部15是根据由照相机信息取得部14取得的摄像信息对由假想对象提取部12取得的对象进行加工的部分。

具体而言，假想对象加工部15根据由照相机信息取得部14取得的摄像信息中包含的设定值对对象进行加工。接着，参照图4和图5说明对象的加工处理的例子。

假想对象加工部15例如根据由照相机信息取得部14取得的摄像信息中包含的感光灵敏度信息，实施对对象附加规定噪声的噪声加工。图4是示出对对象实施了噪声加工处理的情况下的图像的显示例的图。一般地，在光量少的环境下，有时在通过高感光灵敏度拍摄的图像中产生噪声。规定噪声模仿了该状况下产生的噪声。假想对象加工部15实施将模仿该情况下产生的噪声的图像图案与对象重叠的图像处理，作为噪声加工。

假想对象加工部15例如能够与感光灵敏度信息的值对应地保持对对象附加的噪声的形状、量、密度这样的信息（未图示）。而且，假想对象加工部15能够对对象附加与来自照相机信息取得部14的感光灵敏度信息的值对应的噪声。

图4（a）是重叠了未实施噪声加工的对象而得到的现实空间图像的例子。如图4（a）所示，由于在产生噪声的现实空间图像上重叠未附加噪声的对象V₁，所以，显示对象V₁的区域和对象V₁以外的区域之间的画质不同，产生不协调感。

另一方面，图4（b）是重叠了已实施噪声加工的对象而得到的现实空间图像的例子。如图4（b）所示，由于在产生噪声的现实空间图像上重叠已附加噪声的对象V₂，所以，显示对象V₂的区域的画质接近对象V₂以外的区域的画质，所以，减轻了图像整体的不协调感。

并且，假想对象加工部15例如根据由照相机信息取得部14取得的摄像信息中包含的色调校正信息，实施对对象的色调进行校正的色调校正加工。

图5是示出对对象实施了色调校正加工处理的情况下的图像的显示例的图。一般公知有如下技术：根据由传感器取得的摄像环境的光量等信息、通过所拍摄的图像的解析而得到的与该图像的色调有关的信息，对所取得的图像的色调进行校正处理。作为该色调校正用的信息，可例示与白平衡有关的信息、照度信息这样的信息。摄像部13使用该色调校正信息对所取得的现实空间图像的色调进行校正，将校正色调后的图像送到图像合成部16。

假想对象加工部15能够经由照相机信息取得部14取得摄像部13使用的色调校正信息，根据所取得的色调校正信息实施对对象的色调进行校正的色调校正加工。这样加工后的对象的色调成为与现实空间图像的色调相同或类似的色调。

图5（a）是重叠了未实施色调校正加工的对象而得到的现实空间图像的例子。如图5（a）所示，由于在某个实施了色调处理的现实空间图像上重叠未校正色调的对象V₃，所以，显示对象V₃的区域和对象V₃以外的区域的色调不同，产生不协调感。

另一方面，图5（b）是重叠了已实施色调校正加工的对象而得到的现实空间图像的例子。如图5（b）所示，由于在某个实施了色调处理的现实空间图像上重叠已实施了色调校正加工后的对象V₄，所以，显示对象V₄的区域的色调接近对象V₄以外的区域的色调，所以，减轻了图像整体的不协调感。

图像合成部16是如下部分：生成在由摄像部13取得的现实空间图像上重叠由假想对象加工部15进行图像加工后的对象而得到的图像。具体而言，图像合成部16生成在现实空间图像中的由标记的位置所规定的位置重叠对象而得到的重叠图像。并且，图像合成部16将所生成的重叠图像送到显示部17。

显示部17是显示由图像合成部16生成的图像的部分，例如由显示器这样的装置构成。

接着，说明对象显示装置1中的对象显示方法的处理内容。图6是示出对象显示方法的处理内容的流程图。

首先，对象显示装置1启动摄像部13（S1）。接着，摄像部13取得现实空间图像（S2）。接着，假想对象提取部12根据从假想对象存储部11取得的标记信息探索现实空间图像，尝试提取标记（S3）。然后，在提取出标记的情况下，处理顺序进入步骤S4。另一方面，在未提取出标记的情况下，处理顺序进入步骤S10。

在步骤S4中，假想对象提取部12从假想对象存储部11取得与提取出的标记对应的对象信息（S4）。接着，照相机信息取得部14从摄像部13取得摄像信息（S5）。接着，假想对象加工部15根据步骤S5中取得的摄像信息，判断是否需要进行对象的加工处理（S6）。假想对象加工部15例如能够根据所取得的摄像信息的值是否为规定阈值以上这样的基准，判断是否需要进行对象的加工处理。在判断为需要进行对象的加工处理的情况下，处理顺序进入步骤S7。另一方面，在未判断为需要进行对象的加工处理的情况下，处理顺序进入步骤S9。

在步骤S7中，假想对象加工部15根据由照相机信息取得部14取得的摄像信息中包含的设定值，对对象实施噪声加工和色调校正加工这样的加工处理（S7）。

图像合成部16生成在由摄像部13取得的现实空间图像上重叠步骤S7中进行加工处理后的对象而得到的重叠图像（S8）。另一方面，在步骤S9中，图像合成部16生成在由摄像部13取得的现实空间图像上重叠未进行加工处理的对象而得到的重叠图像（S9）。然后，显示部17显示步骤S8或S9中由图像合成部16生成的重叠图像、或未重叠对象的现实空间图像（S10）。

根据本实施方式的对象显示装置和对象显示方法，根据摄像部13在取得现实空间图像时所参照的摄像信息对对象进行加工，在现实空间图像上重叠和显示加工后的对象，所以，所取得的现实空间图像的特征反映到所显示的对象中。另外，根据摄像部13中的与现实空间图像的画质有关的设定值对对象进行加工，所以，所取得的现实空间图像的画质反映到加工后的对象的画质中。因此，减轻了在现实空间图像上重叠显示对象时的不协调感。

（第2实施方式）

在第2实施方式的对象显示装置1中，作为基于AR技术的服务，假设如下服务：取得配置在移动终端所在位置周边的对象，与由移动终端所具有的照相机取得的现实空间图像中的位置对应地重叠显示对象，但是不限于此。图7是示出第2实施方式的对象显示装置1的功能结构的框图。第2实施方式的对象显示装置1在第1实施方式的对象显示装置1（参照图1）所具有的各功能部的基础上，还具有位置测定部18（位置测定单元）、方位测位部19和假想对象距离计算部20（对象距离计算单元）。

位置测定部18是对对象显示装置1的所在位置进行测位并取得与测位的所在位置有关的信息作为位置信息的部分。例如，通过GPS装置这样的测位单元对对象显示装置1的所在位置进行测位。位置测定部18将位置信息送到假想对象提取部12。

方位测位部19是对摄像部13的摄像方位进行测位的部分，例如由地磁传感器这样的装置构成。方位测位部19将测位的方位信息送到假想对象提取部12。另外，方位测位部19不是本发明中的必须结构。

第2实施方式的假想对象存储部11具有与第1实施方式的假想对象存储部11不同的结构。图8是示出第2实施方式的假想对象存储部11的结构和所存储的数据的例子的图。如图8所示，假想对象信息包含与识别对象的对象ID对应的对象数据、位置信息这样的数据。

对象数据例如是对象的图像数据。另外，对象数据也可以是用于表示该对象的3D对象的数据。位置信息是表示现实空间中的该对象的配置位置的信息，例如由三维的坐标值表示。

假想对象存储部11也可以预先存储对象信息。另外，假想对象存储部11也可以蓄积根据由位置测定部18取得的位置信息而经由规定通信单元（未图示）从存储并管理对象信息的服务器（未图示）取得的对象信息。该情况下，存储并管理对象信息的服务器提供配置在对象显示装置1周边的假想对象的对象信息。

假想对象提取部12根据对象显示装置1的所在位置从假想对象存储部11取得对象信息。具体而言，假想对象提取部12根据由位置测定部18测定的位置信息和由方位测位部19测位的方位信息，判定显示部17中显示的现实空间的范围，提取配置位置包含在该范围中的假想对象。当显示部17中显示的现实空间的范围中包含多个假想对象的配置位置时，假想对象提取部12提取该多个假想对象。

另外，假想对象提取部12也可以不使用方位信息来实施假想对象的提取。假想对象提取部12将提取出的对象信息送到假想对象距离计算部20和假想对象加工部15。

假想对象距离计算部20是根据由假想对象提取部12取得的假想对象的位置信息计算从对象显示装置1到假想对象的距离的部分。具体而言，假想对象距离计算部20根据由位置测定部18测定的位置信息和假想对象信息中包含的假想对象的位置信息，计算从对象显示装置1到假想对象的距离。另外，在由假想对象提取部12提取出多个假想对象的情况下，假想对象距离计算部20计算从对象显示装置1到各个假想对象的距离。并且，假想对象距离计算部20将计算出的距离送到假想对象加工部15。

照相机信息取得部14从摄像部13取得摄像部13在取得现实空间图像时所参照的摄像信息。与第1实施方式同样，这里取得的摄像信息包含取得现实空间图像时的与画质有关的设定值。该设定值例如包含决定摄像部13中的感光灵敏度的感光灵敏度信息和色调校正信息。另外，摄像信息包含焦距和景深这样的参数。

假想对象加工部15根据由照相机信息取得部14取得的摄像信息对由假想对象提取部12取得的对象进行加工。与第1实施方式同样，第2实施方式的假想对象加工部15也能够实施与感光灵敏度信息对应的噪声加工以及与色调校正信息对应的色调校正加工。

并且，第2实施方式的假想对象加工部15能够根据摄像信息中包含的焦距与由假想对象距离计算部20计算出的到假想对象的距离之差，对该对象的图像实施用于模仿在摄影对象位于偏离焦距的位置的情况下取得的图像的模糊加工。

摄像部13使用基于用户设定等的规定焦距取得现实空间图像，所以，在所取得的图像中，有时存在由于到摄像对象的距离和焦距一致而形成的鲜明图像的区域、以及由于到摄像对象的距离和焦距不一致而形成的不鲜明图像的区域。该不鲜明图像有时称为所谓的模糊图像。即，假想对象加工部15针对现实空间图像中的模糊图像的区域中重叠的对象，进行用于实施与该图像的区域相同程度的模糊的模糊加工。假想对象加工部15能够使用公知的图像处理技术实施模糊加工。以下对其中一例进行说明。

假想对象加工部15能够根据下式（1）计算模糊的大小B。

B=（mD/W）（T/（L+T））…（1）

B：模糊的大小

D：有效孔径=焦距/F值

W：摄影范围的对角线长

L：从照相机到被摄体的距离

T：从被摄体到背景的距离

m：容许弥散圆直径与图像传感器的对角线长度之比

假想对象加工部15根据模糊的大小B决定模糊加工的模糊量，实施假想对象的模糊加工。另外，在焦距的基础上，假想对象加工部15还可以使用景深来决定每个对象是否需要进行模糊加工以及模糊量。

图9是示出本实施方式中生成的重叠图像的例子的图。在图9所示的现实空间图像中，由于焦距被设定为与位于远方的山的位置一致，所以，鲜明地取得了区域R₁的图像。另一方面，捕捉了位于偏离焦距的位置的摄像对象的区域R₂的图像不鲜明，成为所谓的模糊图像。该情况下，假想对象加工部15不对区域R₁中重叠的对象V₅、V₆实施模糊加工。另一方面，假想对象加工部15对区域R₂中重叠的对象V₇实施模糊加工。此时，假想对象加工部15能够根据对象V₇的位置与焦距的偏差来设定模糊量。

图像合成部16生成在由摄像部13取得的现实空间图像上重叠由假想对象加工部15进行图像加工后的对象而得到的图像。显示部17显示由图像合成部16生成的图像。

接着，对第2实施方式的对象显示装置1中的对象显示方法的处理内容进行说明。图10是示出对象显示装置1实施与第1实施方式相同的噪声加工和色调校正加工等的情况下的对象显示方法的处理内容的流程图。

首先，对象显示装置1启动摄像部13（S21）。接着，摄像部13取得现实空间图像（S22）。接着，位置测定部18对对象显示装置1的所在位置进行测位，取得与测位的所在位置有关的信息作为位置信息（S23），将所取得的位置信息送到假想对象提取部12。并且，在步骤S23中，方位测位部19也可以对摄像部13的摄像方位进行测位。

接着，假想对象提取部12根据对象显示装置1的位置信息，判定显示部17中显示的现实空间的范围，从假想对象存储部11取得配置位置包含在该范围中的假想对象的假想对象信息（S24）。接着，假想对象提取部12判定是否存在应该显示的假想对象（S25）。即，在步骤S24中取得了对象信息的情况下，假想对象提取部12判定为存在应该显示的假想对象。在判定为存在应该显示的假想对象的情况下，处理顺序进入步骤S26。另一方面，在未判定为存在应该显示的假想对象的情况下，处理顺序进入步骤S31。

接下来的步骤S26～S31的处理内容与示出第1实施方式的处理内容的流程图（图6）的步骤S5～S10相同。

接着，参照图11的流程图说明对象显示装置1实施模糊加工的情况下的对象显示方法的处理内容。

首先，图11的流程图中的步骤S41～S45的处理内容与图10的流程图中的步骤S21～S25的处理内容相同。

接着，照相机信息取得部14取得包含摄像部13使用的焦距的摄像信息（S46）。该摄像信息也可以包含景深的信息。接着，假想对象距离计算部20根据由位置测定部18测定的位置信息和假想对象信息中包含的假想对象的位置信息，计算从对象显示装置1到假想对象的距离（S47）。

接着，假想对象加工部15判断每个对象是否需要进行模糊加工（S48）。即，在假想对象的配置位置包含在现实空间图像中的聚焦的区域中的情况下，假想对象加工部15判断为不需要对该对象进行模糊加工，在假想对象的配置位置不包含在现实空间图像中的聚焦的区域中的情况下，假想对象加工部15判断为需要对该对象进行模糊加工。在判断为需要进行模糊加工的情况下，处理顺序进入步骤S49。另一方面，在不存在判断为需要进行模糊加工的对象的情况下，处理顺序进入步骤S51。

在步骤S49中，假想对象加工部15对假想对象实施模糊加工（S49）。接着，图像合成部16生成在由摄像部13取得的现实空间图像上重叠步骤S7中进行加工处理后的对象而得到的重叠图像（S50）。另一方面，在步骤S51中，图像合成部16生成在由摄像部13取得的现实空间图像上重叠未进行加工处理的对象而得到的重叠图像（S51）。然后，显示部17显示步骤S50或S51中由图像合成部16生成的重叠图像、或未重叠对象的现实空间图像（S52）。

根据以上说明的第2实施方式的对象显示装置和对象显示方法，除了第1实施方式中的噪声加工和色调校正加工这样的加工处理以外，还根据摄像部13使用的焦距，在对象位于现实空间图像中的未聚焦的位置的情况下，对该对象实施所谓的模糊加工。由此，在现实空间中的未聚焦的区域中重叠实施了模糊加工的对象，所以，得到减轻了不协调感的重叠图像。

参照图10说明了根据摄像信息中包含的设定值来实施噪声加工和色调校正加工的情况，参照图11说明了根据焦距等参数来实施模糊加工的情况，但是，也可以对一个对象一并进行这些加工处理。

接着，说明用于使计算机作为本实施方式的对象显示装置1发挥功能的对象显示程序。图12是示出与图1所示的对象显示装置1对应的对象显示程序1m的结构的图。

对象显示程序1m构成为具有对对象显示处理进行统一控制的主模块10m、假想对象存储模块11m、假想对象提取模块12m、摄像模块13m、照相机信息取得模块14m、假想对象加工模块15m、图像合成模块16m和显示模块17m。而且，通过各模块10m～17m实现对象显示装置1中的各功能部11～17用的各功能。另外，对象显示程序1m可以是经由通信线路等传输介质进行传输的形式，也可以如图12所示，是存储在记录介质1d的程序存储区域1r中的形式。

并且，图13是示出与图7所示的对象显示装置1对应的对象显示程序1m的结构的图。图13所示的对象显示程序1m在图12所示的各模块10m～17m的基础上，还具有位置测定模块18m、方位测位模块19m和假想对象距离计算模块20m。通过各模块18m～20m实现对象显示装置1中的各功能部18～20用的各功能。

以上根据本发明的实施方式对本发明进行了详细说明。但是，本发明不限于上述实施方式。本发明能够在不脱离其主旨的范围内进行各种变形。

产业上的可利用性

本发明在AR技术中，能够容易地减轻在现实空间图像上重叠显示对象时的不协调感。

标号说明

1对象显示装置；11假想对象存储部；12假想对象提取部；13摄像部；14照相机信息取得部；15假想对象加工部；16图像合成部；17显示部；18位置测定部；19方位测位部；20假想对象距离计算部；1m对象显示程序；1d记录介质；10m主模块；11m假想对象存储模块；12m假想对象提取模块；13m摄像模块；14m照相机信息取得模块；15m假想对象加工模块；16m图像合成模块；17m显示模块；18m位置测定模块；19m方位测位模块；20m假想对象距离计算模块；V₁、V₂、V₃、V₄、V₅、V₆、V₇对象。

Claims (7)

1.一种对象显示装置，其在现实空间图像上重叠显示对象，该对象显示装置具有：

对象信息取得单元，其取得与显示的对象有关的对象信息；

摄像单元，其取得现实空间图像；

摄像信息取得单元，其取得所述摄像单元在取得现实空间图像时参照的摄像信息；

对象加工单元，其根据由所述摄像信息取得单元取得的摄像信息，对由所述对象信息取得单元取得的对象进行加工；

图像合成单元，其生成在由所述摄像单元取得的现实空间图像上重叠由所述对象加工单元加工后的对象而得到的图像；以及

显示单元，其显示由所述图像合成单元生成的图像。

2.根据权利要求1所述的对象显示装置，其中，

所述对象显示装置还具有：

位置测定单元，其对该对象显示装置的所在位置进行测定；以及

对象距离计算单元，

所述对象信息包含表示该对象在现实空间中的配置位置的位置信息，

所述摄像信息包含焦距，

对象距离计算单元根据由所述对象信息取得单元取得的对象的位置信息和由所述位置测定单元测定的对象显示装置的所在位置，计算从该对象显示装置到所述对象的距离，

所述对象加工单元根据由所述摄像信息取得单元取得的摄像信息中包含的焦距和由所述对象距离计算单元计算出的到所述对象的距离之差，针对该对象进行用于模仿在摄像对象位于偏离焦距的位置的情况下取得的图像的模糊加工。

3.根据权利要求1或2所述的对象显示装置，其中，

所述摄像信息包含取得现实空间图像时的与画质有关的设定值，

所述对象加工单元根据由所述摄像信息取得单元取得的摄像信息中包含的所述设定值，对所述对象进行加工。

4.根据权利要求3所述的对象显示装置，其中，

所述摄像信息包含决定所述摄像单元中的感光灵敏度的感光灵敏度信息，

所述对象加工单元根据由所述摄像信息取得单元取得的摄像信息中包含的所述感光灵敏度信息，实施对所述对象附加规定噪声的噪声加工。

5.根据权利要求3或4所述的对象显示装置，其中，

所述摄像信息包含对所述摄像单元取得的图像的色调进行校正的色调校正信息，

所述对象加工单元根据由所述摄像信息取得单元取得的摄像信息中包含的所述色调校正信息，实施对所述对象的色调进行校正的色调校正加工。

6.一种对象显示装置的对象显示方法，该对象显示装置在现实空间图像上重叠显示对象，该对象显示方法包括以下步骤：

对象信息取得步骤，取得与显示的对象有关的对象信息；

摄像步骤，取得现实空间图像；

摄像信息取得步骤，取得在所述摄像步骤中取得现实空间图像时参照的摄像信息；

对象加工步骤，根据在所述摄像信息取得步骤中取得的摄像信息，对在所述对象信息取得步骤中取得的对象进行加工；

图像合成步骤，生成在所述摄像步骤中取得的现实空间图像上重叠所述对象加工步骤中加工后的对象而得到的图像；以及

显示步骤，显示所述图像合成步骤中生成的图像。

7.一种对象显示程序，用于使计算机作为在现实空间图像上重叠显示对象的对象显示装置发挥功能，该对象显示程序使所述计算机实现如下功能：

对象信息取得功能，取得与显示的对象有关的对象信息；

摄像功能，取得现实空间图像；

摄像信息取得功能，取得所述摄像功能在取得现实空间图像时参照的摄像信息；

对象加工功能，根据通过所述摄像信息取得功能取得的摄像信息，对通过所述对象信息取得功能取得的对象进行加工；

图像合成功能，生成在通过所述摄像功能取得的现实空间图像上重叠通过所述对象加工功能加工后的对象而得到的图像；以及

显示功能，显示通过所述图像合成功能生成的图像。

Images