CN103838370A - 图像处理装置、图像处理方法、程序和终端装置 - Google Patents

Abstract

本公开涉及一种信息处理系统。该信息处理系统获取图像数据；根据预定失真标准使所获取的图像数据失真；获取与在所获取的图像中至少部分地被遮挡的对象对应的对象图像；使对象图像与失真图像数据组合；以及输出与对象图像组合的失真图像数据。

Description

图像处理装置、图像处理方法、程序和终端装置

技术领域

本公开涉及图像处理装置、图像处理方法、程序和终端装置。 

本公开包含与2012年11月27日提交日本专利局的日本在先专利申请JP 2012-258399中公开的主题内容相关的主题内容，其整体内容通过引用合并于此。 

背景技术

过去，在计算机屏幕上向用户呈现真实世界中的地理信息的各种地理信息服务已被投入实际使用。例如，通过使用在Web上对公众开放的公共地图检索服务，用户可以容易地获得包括与期望的地理名称、地址或地标名称等对应的位置的区域的地图。在地图检索服务中显示的任何地图上，还可以将标志放置在符合用户指定的关键词的每个设施上。 

此外，近来计算机性能的显著进展已使得用户终端能够不仅处理二维平面地图，而且还能够处理关于三维空间的信息。例如，如下专利文献1公开了一种如下方法：部分地处理输入图像并且以突出方式显示在输入图像中示出的三维空间中的诸如建筑物或设施的目标对象，使得可以容易地在真实世界中找到目标对象。 

[引用文献列表] 

[专利文献] 

[专利文献1] 

JP 2010-224347A 

发明内容

[技术问题] 

然而，在以突出方式显示在输入图像中示出的目标对象的方法中，当未从相机的视点示出目标对象时，不存在有利效果。关于什么对象位于此时不能从该视点直接可视的位置的信息对于用户而言也是重要的。当用户观看地图时，用户可以获得该信息。然而，由于绘制地图的视点不同于真实世界中的用户（或相机）的视点，因此在一些情况下可能难于使地图上的信息与真实世界中的对象匹配。 

因此，期望提供一种新配置，其中关于不能从用户视点直接可视的地点的信息可以被呈现给用户，同时可以获得出自该视点的容易的图像理解。 

[对问题的解决方案] 

根据一个示例性实施例，本公开涉及一种信息处理系统，其获取图像数据；根据预定失真标准使所获取的图像数据失真；获取与在所获取的图像中至少部分地被遮挡的对象对应的对象图像；使对象图像与失真图像数据组合；以及输出与对象图像组合的失真图像数据。 

所获取的图像数据可以对应于图像捕获装置捕获的真实世界图像。 

该信息处理系统可以被配置成存储指示真实世界中存在的对象的位置的模型。 

所获取的图像数据可以对应于图像捕获装置捕获的真实世界图像，并且该信息处理系统可以被配置成从所获取的图像数据中检测特征点；基于从传感器单元输出的数据确定该信息处理系统的位置和姿态；以及从模型提取关于对象的特征点数据。 

根据另一示例性实施例，本公开涉及一种由信息处理系统执行的方法，该方法包括：获取图像；根据预定失真标准使所获取的图像失真；获取与在所获取的图像数据中至少部分地被遮挡的对象对应的对象图像；使对象图像与失真图像组合；以及输出与对象图像组合的失真图像。 

根据另一示例性实施例，本公开涉及一种包括计算机程序指令的非暂态的计算机可读介质，所述计算机程序指令在被信息处理系统执行时使该信息处理系统：获取图像；根据预定失真标准使所获取的图像失真；获取与在所获取的图像数据中至少部分地被遮挡的对象对应的对象图像；使对象图像与失真图像组合；以及输出与对象图像组合的失真图像。 

[本发明的有利效果] 

根据本公开的技术，关于不能从用户视点直接可视的地点的信息可以被呈现给用户，同时可以获得出自该视点的容易的图像理解。 

附图说明

图1A是图示装置概况的第一说明图。 

图1B是图示装置概况的第二说明图。 

图2是图示根据第一实施例的图像处理装置的硬件配置的示例的框图。 

图3是图示根据第一实施例的图像处理装置的逻辑功能配置的示例的框图。 

图4是图示处理场景的示例的粗略说明图。 

图5A是例示存在难于观看的对象的第一情景的说明图。 

图5B是可以在第一情景中执行的失真处理的第一说明图。 

图5C是可以在第一情景中执行的失真处理的第二说明图。 

图5D是可以在第一情景中执行的失真处理的第三说明图。 

图5E是可以在第一情景中执行的失真处理的第四说明图。 

图6A是例示存在难于观看的对象的第二情景的说明图。 

图6B是可以在第二情景中执行的失真处理的第一说明图。 

图6C是可以在第二情景中执行的失真处理的第二说明图。 

图6D是可以在第二情景中执行的失真处理的第三说明图。 

图6E是可以在第二情景中执行的失真处理的第四说明图。 

图7A是例示存在难于观看的对象的第三情景的说明图。 

图7B是可以在第三情景中执行的失真处理的第一说明图。 

图7C是可以在第三情景中执行的失真处理的第二说明图。 

图7D是可以在第三情景中执行的失真处理的第三说明图。 

图7E是可以在第三情景中执行的失真处理的第四说明图。 

图8是失真图像的另一示例的说明图。 

图9A是用于使图像失真的用户接口的第一示例的第一说明图。 

图9B是用于使图像失真的用户接口的第一示例的第二说明图。 

图10A是用于使图像失真的用户接口的第二示例的第一说明图。 

图10B是用于使图像失真的用户接口的第二示例的第二说明图。 

图11是用于使图像失真的用户接口的第三示例的说明图。 

图12是图示根据第一实施例的图像处理流程的示例的流程图。 

图13是图示根据第二实施例的图像处理装置的逻辑功能配置的示例的框图。 

图14是人物模型的示例的说明图。 

图15是交通工具的示例的说明图。 

图16A是仿真结果的第一示例的说明图。 

图16B是仿真结果的第二示例的说明图。 

图16C是仿真结果的第三示例的说明图。 

图17是人物模型的行为的示例的说明图。 

图18是事件的示例的说明图。 

图19是确定仿真参数的第一方法的说明图。 

图20A是发布数据的分析的第一示例的说明图。 

图20B是发布数据的分析的第二示例的说明图。 

图20C是发布数据的分析的第三示例的说明图。 

图20D是发布数据的分析的第四示例的说明图。 

图20E是发布数据的分析的第五示例的说明图。 

图21A是确定仿真参数的第二方法的说明图。 

图21B是确定仿真参数的第三方法的说明图。 

图22是第二实施例中的可以显示的失真图像的示例的说明图。 

具体实施方式

在下文中，将参照附图详细描述本公开的优选实施例。在说明书和附图通篇中，相同的附图标记被提供给具有基本上相同的功能配置的组成元件，并且重复的描述将被省略。 

描述将以如下顺序进行。 

1.装置概况 

2.第一实施例 

2-1.硬件配置 

2-2.功能配置示例 

2-3.具体处理场景 

2-4.用户接口的示例 

2-5.处理流程 

2-6.第一实施例的总结 

3.第二实施例 

3-1.功能配置示例 

3-2.仿真的细节 

3-3.仿真参数的确定 

3-4.对象图像的示例 

3-5.第二实施例的总结 

<1.装置概况> 

首先，将参照图1A和1B描述根据一个实施例的成像设备装置的概况。 

图1A是图示根据该实施例的图像处理装置100的概况的第一说明图。参照图1A，图示了用户Ua拥有的图像处理装置100。该图像处理装置100包括朝向真实世界1取向的相机101和显示器111。在图1A的示例中，在真实世界1中存在诸如建筑物3和道路5的各种对象。在相机101捕获的图像Im01中示出了建筑物3和道路5。作为一个示例，图像 处理装置100具有导航功能。该导航功能将导航信息（例如，图中的箭头）叠加在图像Im01中的道路5上。此外，显示器111显示被叠加导航信息的图像Im01。 

在图1A中，作为图像处理装置100的示例图示了智能电话。然而，图像处理装置100不限于该示例。图像处理装置100可以是例如个人计算机（PC）、个人数字助理（PDA）、游戏终端或者便携式导航装置（PND）。 

图1B是图示根据一个实施例的图像处理装置100的第二说明图。在图1B的示例中，图像处理装置100是具有头戴式眼镜的形状的可穿戴装置。图像处理装置100包括相机101、输入装置109和显示器111。相机101被安置成使得其透镜的光轴与用户Ub的视线基本上平行，并且捕获图像。输入装置109包括安置在镜架上的接触表面并且检测用户Ub执行的触摸。显示器111安置在用户Ub的左眼和右眼的前侧并且包括透视型或非透视型屏幕。 

在图1A和1B中的任一情况下，用户可以通过显示器111观看某种形式的真实世界。然而，在图1A的示例中，由于在前侧左转弯的道路5的尽头处存在的对象被建筑物3覆盖，因此该对象对于用户Ua是不可见的并且在捕获的图像中也未示出。当该对象对于导航是重要的地标时，对象不可见对于用户而言是不便的。除了该情景之外，存在许多真实世界的重要对象对于用户不可见的情景，例如在道路从上升斜坡变为下降斜坡的地点或者道路宽度窄的地点。 

因此，在下文将描述的实施例中，图像处理装置100通过使图像中示出的真实世界失真来向用户呈现关于不直接可见的场所的信息，同时维持出自用户视点的容易的图像理解。 

在下面的描述中，假设图像处理装置100作为独立装置操作以便于描述。然而，将描述的各种功能可以通过使终端装置与服务器装置相关联来实现。 

<2.第一实施例> 

<2-1.硬件配置> 

图2是图示根据第一实施例的图像处理装置100的硬件配置的示例的框图。参照图2，图像处理装置100包括相机101、定位传感器103、电子罗盘105、加速度传感器107、输入装置109、显示器111、通信接口（I/F） 113、存储器115、总线117和处理器119。 

相机101包括例如电荷耦合器件（CCD）、互补金属氧化物半导体（CMOS）等的图像元件并且捕获图像。定位传感器103从全球定位系统（GPS）卫星接收GPS信号或者从无线接入点接收无线信号，并且测量图像处理装置100的当前位置。电子罗盘105检测图像处理装置100当前取向的方位。加速度传感器107检测添加到图像处理装置100的力生成的加速度。 

输入装置109可以包括用于用户操作图像处理装置100或者向图像处理装置100输入信息的触摸传感器、按钮、开关、键盘或者指向装置。当图像处理装置100是如图1B中例示的可穿戴装置时，输入装置109可以包括检测用户视线的视线检测模块。显示器111包括液晶显示器（LCD）形成的屏幕、有机发光二极管（OLED）等并且显示图像。通信I/F113支持任何无线通信协议或者任何有线通信协议并且建立图像处理装置100和其他装置之间的通信连接。 

存储器115是可以包括随机存取存储器（RAM）和只读存储器（ROM）的半导体存储器并且存储用于图像处理装置100执行的处理的程序和数据。总线17使相机101、定位传感器103、电子罗盘105、加速度传感器107、输入装置109、显示器111、通信I/F113、存储器115和处理器119彼此连接。处理器119是例如中央处理单元（CPU）或数字信号处理器（DSP）并且通过执行存储器115或另一存储介质中存储的程序来操作下文将描述的图像处理装置100的各种功能。 

<2-2.功能配置示例> 

图3是图示图2中所示的图像处理装置100的存储器115和处理器119实现的逻辑功能配置的示例的框图。参照图3，图像处理装置100包括图像获取单元120、模型数据库（DB）130、图像处理单元140、对象图像生成单元150、用户接口单元160和导航单元170。 

（1）图像获取单元 

图像获取单元120获取相机101捕获的输入图像并且示出真实世界。图像获取单元120获取的输入图像可以是静止图像或者形成移动图像的一系列帧中的每个帧。图像获取单元120将所获取的输入图像输出到图像 处理单元140和用户接口单元160。 

（2）模型DB 

模型DB130是预先存储表示真实世界中存在的对象的位置的真实世界模型的数据库。例如，真实世界模型可以使用二维或三维坐标值（纬度、经度和海拔）来表示真实世界中的诸如建筑物、道路、布告板、长椅和路边树木的各种对象的位置。典型地，在真实世界模型中，每个对象包括多个特征点、并且因此每个对象的三维形状由特征点的位置表示。对象表面的纹理也可以由真实世界模型表示。 

（3）图像处理单元 

图像处理单元140根据失真标准使从图像获取单元120输入的输入图像失真并且生成失真图像。图像处理单元140执行的失真处理是被执行以示出从用户视点不直接可见的场所的处理（以便于难于观看的场所的容易观看），同时维持出自用户视点的容易的输入图像理解。例如，图像处理单元140可以使用如下三类失真标准： 

失真标准A-改变输入图像中示出的道路的弯曲； 

失真标准B-改变输入图像中示出的道路的坡度；以及 

失真标准C-擦除输入图像中示出的建筑物。 

作为一个示例，失真标准A可以被选择以通过减少道路的弯曲或者拉直道路来示出道路前方的对象。失真标准B可以被选择以通过在道路从上坡变为下坡的点处升高道路的下坡部分来示出道路尽头的对象。失真标准C可以被选择以示出由于前方建筑物的存在而隐藏的后方建筑物。这些失真标准仅是示例。例如，可以使用其他失真标准来扩宽道路宽度或者放大在另一建筑物后面隐藏的建筑物。 

更具体地，图像处理单元140根据例如相关领域的拐角检测方法，诸如Harris方法或Moravec方法，来检测输入图像中的特征点。图像处理单元140基于从定位传感器103、电子罗盘105和加速度传感器107输入的传感器数据确定图像处理装置100的位置和姿态，并且从真实世界模型提取关于进入相机101的视角的对象的特征点数据。接下来，图像处理单元140使在输入图像中检测到的特征点与从真实世界模型提取的特征点 数据匹配。结果，图像处理单元140识别示出了什么对象以及对象在输入图像中的什么位置示出。接下来，图像处理单元140根据所选择的失真标准使匹配的特征点的位置移动。例如，当道路的弯曲改变时，特征点的位置可以移动以将道路的末端部分的标准点用作中心，仅按与弯曲的改变量对应的角度在模型空间的水平平面内旋转。当道路坡度改变时，特征点的位置可以移动以仅按与坡度的改变量对应的角度在模型空间的竖直平面内旋转。当建筑物被擦除时，由建筑物的指定特征点围绕的表面可以从输入图像擦除。 

作为失真结果，在失真图像中可能产生空白部分。空白部分是其中应示出原始输入图像中隐藏的对象的部分。由于输入图像没有隐藏的对象的纹理，因此图像处理单元140向空白部分的纹理补充作为补充而生成的对象图像。对象图像由下文将描述的对象图像生成单元150生成。 

（4）对象图像生成单元 

当作为图像处理单元140获得的失真结果在失真图像中产生空白部分时，对象图像生成单元150使用真实世界模型生成与应位于空白部分中的对象对应的对象图像。作为第一方法，当真实世界根据所选择的失真标准进行失真时，对象图像可以是应占据空白部分的图像。作为第二方法，对象图像可以是与应位于空白部分中的对象对应的图标图像。 

在第一方法中，真实世界模型中包括的对象根据所选择的失真标准进行失真，而与对象是否在输入图像中示出无关。对象的特征点通过失真而移动。结果，从相机101的视点被另一对象隐藏的对象具有去往相机101的视点的视线。对象图像生成单元150使用相机101的视点作为标准，基于以该方式失真的真实世界模型的特征点的位置和对象的纹理来生成对象图像。 

在第二方法中，真实世界模型中包括的对象也根据所选择的失真标准进行失真。对象图像生成单元150基于失真的真实世界模型的特征点的位置来确定新具有去往相机101的视点的视线的对象。随后，对象图像生成单元150生成与所确定的对象对应的图标图像作为对象图像。 

对象图像生成单元150将所生成的对象图像输出到图像处理单元140。图像处理单元140将对象图像生成单元150生成的对象图像叠置到失真图像的空白部分上。随后，图像处理单元140将叠置的失真图像输出 到用户接口单元160。 

（5）用户接口单元 

用户接口单元160经由图2中所示的输入装置109和显示器111将用户接口提供给图像处理装置100的用户。例如，在正常显示模式中，用户接口单元160将从图像获取单元120输入的输入图像作为输出图像没有失真地输出到显示器111并且使显示器111在屏幕上显示输出图像。在失真显式模式中，用户接口单元160将从图像处理单元140输入的失真图像作为输出图像输出到显示器111并且使显示器111在屏幕上显示输出图像。 

用户接口单元150还可以提供用于用户在正常显示模式和失真显式模式之间切换的用户接口。用户接口单元160可以提供用于用户指定将被指定为失真目标的对象的用户接口。两个模式之间的切换以及对象的指定可以根据诸如在屏幕上轻击、按压按钮、输入按键或者检测到预定的声音命令的来自用户的任何输入而执行。 

当图像处理装置100是如图1B中例示的可穿戴装置时，两个模式之间的切换以及对象的指定可以基于检测用户视线的视线检测模块执行的视线检测的结果来执行。例如，当检测到用户观看同一道路预定时段时，可以改变道路的弯曲或坡度。 

用户接口单元160可以提供用于用户从多个适用标准中指定用于使输入图像失真的失真标准。例如，用户接口单元160可以将上述失真标准A、B和C中的适用标准列表叠置在输入图像上，使得用户可以选择一个失真标准。 

（6）导航单元 

导航单元170是安装导航功能的功能块。例如，当真实世界模型中包括的一个对象被用户指定为目的地位置时，导航单元170设定从当前位置到目的地位置的最优路线并且向用户提供沿所设定的路线的导航。例如，导航单元170可以将诸如图1A中例示的箭头的导航信息输出到图像处理单元140并且将导航信息叠置到输入图像或失真图像上。图像处理单元140可以在失真显式模式中将直到导航单元170设定的目的地位置的路线上的道路设定为失真目标并且自动地选择道路。 

上述失真图像可以用于导航以外的用途。例如，失真图像可以在失真显式模式中呈现给用户以支持诸如建筑结构的设计、道路构架的规划以及城市规划的制定的任务。在该情况下，可以从图像处理装置100的配置中省略导航单元170。 

<2-3.具体处理场景> 

接下来，在图4至8中图示了图像处理装置100执行的具体处理场景的示例。 

（1）处理场景概况 

图4是本节中要描述的处理场景的示例的粗略说明图。参照图4，图示了出自天空中的视点的真实世界模型RM的部分鸟瞰视图。在该图中，人形标记指示用户的当前位置并且星形标记指示导航目的地位置。将当前位置与目的地位置绑接的虚线是导航单元170设定的路线。如从图理解的，所设定的路线在地标M1所在的拐角处右转，并且随后在地标M2所在的拐角处左转。目的地位置是建筑物M3。在说明书中，术语“地标”意味着当用户识别路线时用作标记的任何对象。地标不一定是比其他对象更显眼的对象。 

（2）第一情景 

图5A是例示其中存在难于观看的对象的第一情景的说明图。参照图5A，图示了当用户在图4中所示的真实世界模型RM的位置P1处使相机在路线的行进方向（北）上取向时捕获的输入图像Im11。在输入图像Im11中示出了道路R1以及沿道路R1并排矗立的建筑物J11、J12、J14、J15和J16。然而，由于道路R1在图像中向右侧弯曲，因此位于道路R1尽头的建筑物J13被建筑物J11和J12隐藏，并且因此不可见。由于建筑物J13对应于图4中的地标M1，因此建筑物J13不可见对于用户而言是不便的。 

图5B至5E是可以在图5A中所示的第一情景下执行的失真处理的说明图。 

首先，参照图5B，输入图像Im11中可检测的多个可见特征点由小菱 形标记指示并且隐藏的特征点由三角形标记指示。图像处理单元140使在输入图像Im11中检测到的特征点与真实世界模型中包括的特征点匹配并且识别建筑物J13由于道路R1弯曲而被隐藏。随后，当选择改变道路R1的弯曲的失真标准A时，图像处理单元140使特征点的位置移动，使得道路R1变得更接近于直线。 

参照图5C，图示了在失真图像Im12中使道路R1失真成直线形状并且因此道路R1的外周中的特征点移动的形式。然而，失真图像Im12包括空白部分B1。空白部分B1是由于道路R1的弯曲而在输入图像Im11中没有示出的部分。 

参照图5D，图示了与失真图像Im12对应的矩形图像框中的占据空白部分B1的对象图像Im13。对象图像Im13包括具有去往相机101的视点的视线的建筑物J12和J13的特征点和纹理作为失真结果。 

图像处理单元140将图5D中所示的对象图像Im13叠置到图5C中所示的失真图像Im12上以生成图5E中所示的失真图像Im14。在失真图像Im14中，空白部分被补充了对象图像Im13，并且因此，与地标M1对应的建筑物J13变得可见。 

用户可以通过在失真显式模式中参考失真图像Im14，在视觉上理解地标M1存在于道路R1的尽头处以及用户应移动多远以到达地标M1。 

（2）第二情景 

图6A是例示其中存在难于观看的对象的第二情景的说明图。参照图6A，图示了当用户在图4中所示的真实世界模型RM的位置P2处使相机在路线的行进方向（东）上取向时捕获的输入图像Im21。在输入图像Im21中示出了道路R2以及沿道路R2并排矗立的建筑物J21、J22、J23、J24和J25。然而，由于前方道路R2从上坡变为下坡，因此尽管位于道路R2尽头的建筑物J23部分可见，但是其难于观看。由于建筑物J23对应于图4中的地标M2，因此建筑物J23不可见对于用户而言是不便的。 

图6B至6E是可以在图6A中所示的第二情景下执行的失真处理的说明图。 

首先，参照图6B，输入图像Im21中可检测的多个可见特征点由小菱形标记指示并且隐藏的特征点由三角形标记指示。图像处理单元140使在输入图像Im21中检测到的特征点与真实世界模型中包括的特征点匹 配并且识别建筑物J23由于道路R2的坡度改变而被隐藏。随后，当选择改变道路R2的坡度的失真标准B时，图像处理单元140使特征点的位置移动，使得道路R2的下坡部分被升高。 

参照图6C，图示了在失真图像Im22中使道路R2的下坡部分升高并且因此道路R2的外周中的特征点移动的形式。然而，失真图像Im22包括空白部分B2。空白部分B2是由于道路R2的坡度而在输入图像Im21中没有示出的部分。 

参照图6D，图示了与失真图像Im22对应的矩形图像框中的占据空白部分B2的对象图像Im23。对象图像Im23包括具有去往相机101的视点的视线的建筑物J23的特征点和纹理作为失真结果。 

图像处理单元140将图6D中所示的对象图像Im23叠置到图6C中所示的失真图像Im22上以生成图6E中所示的失真图像Im24。在失真图像Im24中，空白部分被补充了对象图像Im23，并且因此，与地标M2对应的建筑物J23变得更易于观看。 

用户可以通过在失真显式模式中参考失真图像Im24，更清楚地理解地标M2存在于道路R2的尽头处以及用户应移动多远以到达地标M2。 

（4）第三情景 

图7A是例示其中存在难于观看的对象的第三情景的说明图。参照图7A，图示了当用户在图4中所示的真实世界模型RM的位置P3处使相机在路线的行进方向（东）上取向时捕获的输入图像Im31。在输入图像Im31中示出了建筑物J31、J33和J34。然而，由于与目的地位置M3对应的建筑物J32被建筑物J31隐藏，因此建筑物J32不可见。建筑物J32不可见对于用户而言是不便的。 

图7B至7E是可以在图7A中所示的第三情景下执行的失真处理的说明图。 

首先，参照图7B，输入图像Im31中可检测的多个可见特征点由小菱形标记指示并且隐藏的特征点由三角形标记指示。图像处理单元140使在输入图像Im31中检测到的特征点与真实世界模型中包括的特征点匹配并且识别建筑物J32被隐藏。随后，当选择擦除建筑物的失真标准C时，图像处理单元140从输入图像Im31擦除可以被指定的建筑物J31的纹理。 

参照图7C，图示了在失真图像Im32中擦除建筑物J31的纹理的形式。失真图像Im32包括空白部分B3。空白部分B3是示出擦除的建筑物的部分。 

参照图7D，图示了与失真图像Im32对应的矩形图像框中的占据空白部分B3的对象图像Im33。对象图像Im33包括具有去往相机101的视点的视线的建筑物J32的特征点和纹理作为失真结果。 

图像处理单元140将图7D中所示的对象图像Im33叠置到图7C中所示的失真图像Im32上以生成图7E中所示的失真图像Im34。在失真图像Im34中，空白部分被补充了对象图像Im33，并且因此，与目的地位置M3对应的建筑物J32可被观看。 

用户可以通过在失真显式模式中参考失真图像Im34，在视觉上理解作为目的地位置的建筑物J32在其前方的建筑物后面。 

图像处理单元140可以允许用户通过在真实世界模型中放大地标的尺寸而非擦除另一对象来观看地标。 

本节中描述的各种失真方法不限于目的地位置和地标，而是可以被使用，使得用户可以观看任何对象。 

（5）失真图像的另一示例 

如上文所述，对象图像可以是与不可见或难于观看的对象对应的图标图像。图8是其中叠置了对象图像的失真图像的示例的说明图。 

参照图4，在图5A中所示的第一情景下，图示了可以在失真显式模式中显示的失真图像Im15而非图5E中所示的失真图像Im14。失真图像Im15包括安置在空白部分B1中的图标图像IC1。图标图像IC1指示诸如医院的建筑物J13位于道路R1尽头处作为地标。通过参考失真图像Im15，用户可以准确地理解地标位于道路R1的尽头处。 

<2-4.用户接口的示例> 

接下来，图9A至11中图示了图像处理装置100提供的用户接口的示例。 

（1）第一示例 

图9A和9B是用于使图形失真的用户接口的第一示例的说明图。 

参照图9A，图示了在正常显示模式中显示输入图像的导航窗口W11。例如，当用户轻击导航窗口W11时，显示叠加了菜单MN1的导航窗口W12。菜单MN1包括适用于输入图像的失真标准的列表。在图9A的示例中，该列表包括作为菜单项的、被设定为拉直道路的失真标准A（“使道路变直”）、被设定为升高道路的失真标准B（“提升道路”）和被设定为擦除建筑物的失真标准C（“擦除建筑物”）。 

例如，当用户轻击菜单MN1的失真标准A时，如图9B中所示，显示导航窗口W13。导航窗口W13是用于用户指定将失真的道路的窗口。这里，当用户轻击道路R1时，显式模式过渡到失真显式模式并且显示导航窗口W14，其显示被失真成直线形状的道路R1。例如，当用户再次轻击窗口时，显式模式可以返回正常显示模式。 

（2）第二示例 

图10A和10B是用于使图像失真的用户接口的第二示例的说明图。 

参照图10A，图示了在正常显示模式中显示输入图像的导航窗口W21。例如，当用户使图像处理装置100朝向沿导航路线的方位取向（或者用户的视线朝向该方位取向）并且预定的时间T1消逝时，显示叠加了菜单MN2的导航窗口W22。菜单MN2包括适用于输入图像的失真标准的列表。在图10A的示例中，该列表包括作为菜单项的、被设定为升高道路的失真标准B（“提升道路”）和被设定为擦除建筑物的失真标准C（“擦除建筑物”）。 

例如，当用户轻击菜单MN2的失真标准B时，如图10B中所示，显示导航窗口W23。在导航窗口W23上，道路R2被自动地选择为失真目标并且道路R2的坡度改变。此外，指示该时间点的显式模式是失真显式模式的图标IC2被显示。在导航窗口W24上，道路R2的坡度返回原始坡度并且指示该时间点的显式模式是正常显示模式的图标IC3被显示。失真显式模式和正常显示模式之间的过渡可以使用如触发事件的任何事件来执行。该事件可以是例如，来自用户的任何输入、视线的改变、图像处理装置100的姿态的改变、预定时间的消逝、或者用户的移动。 

（3）第三示例 

图11是用于使图像失真的用户接口的第三示例的说明图。参照图11，图示了示出出自天空中的视点的真实世界模型RM的鸟瞰视图的路线地图窗口W3。当用户在窗口上用其手指拖动路线地图窗口W3上显示的路线以追踪路线时，例如，窗口过渡到图9B中所示的导航窗口W14并且失真图像在失真显式模式中被显示。 

<2-5.处理流程> 

图12是图示根据该实施例的图像处理装置100可以执行的图像处理流程的示例的流程图。图12中所示的处理可以针对在失真显式模式中成像的每个帧来执行。 

参照图12，首先，图像获取单元120获取相机101捕获的输入图像（步骤S102）。随后，图像获取单元120将获取的输入图像输出到图像处理单元140和用户接口单元160。 

接下来，图像处理单元140自动地或者根据经由用户接口单元160检测到的用户输入确定失真标准和失真目标（步骤S104）。这里使用的用户接口可以是例如参照图9A至11描述的任何用户接口。 

接下来，图像处理单元140根据所确定的失真标准使用从模型DB130获取的真实世界模型来使输入图像失真以生成失真图像（步骤S106）。当在失真图像中不存在空白部分时跳过步骤S110和S112的后继处理（步骤S108）。 

对象图像生成单元150使用真实世界模型生成与位于在作为图像处理单元140执行的失真的结果的失真图像中产生的空白部分中的对象对应的对象图像（步骤S110）。接下来，图像处理单元140将所生成的对象图像叠置到失真图像的空白部分上（步骤S112）。 

随后，图像处理单元140将被叠置对象图像的失真图像（或者当不存在空白部分时在步骤S106中生成的失真图像）输出到用户接口单元160（步骤S114）。因此，失真图像显示在显示器111的屏幕上。 

<2-6.第一实施例的总结> 

上文参照图2至12详细描述了根据本公开的技术的第一实施例。根 据该实施例，通过根据特定失真标准使真实世界的输入图像失真来生成失真图像。当在失真图像中产生了空白部分时，使用预先定义的真实世界模型生成的对象图像被叠置到失真图像的空白部分上。就是说，由于从用户视点可见的对象的图像通过失真被补充在失真图像中，可以将关于在失真之前难于直接观看的场所的信息呈现给用户。 

对象图像是当根据所选择的失真标准虚拟失真的真实世界从用户（相机）视点可见时将占据空白部分的图像。因此，被叠置对象图像的失真图像也被显示作为出自用户视点的自然图像。因此，较之显示出自另一视点的图像（例如，出自俯瞰视点的地图）的情况不丧失容易理解的性质，使得可以理解真实世界的情景。 

根据特定失真标准，使输入图像失真，使得改变输入图像中示出的道路的弯曲或坡度。因此，通过将失真图像呈现给用户，由于道路的弯曲或坡度被另一对象隐藏的对象的位置可以被传送给用户，使得用户可以容易地理解该对象的位置。根据另一失真标准，在输入图像中隐藏另一对象的对象被擦除，并且因此隐藏的对象被示出作为失真图像。在该情况下，通过将失真图像呈现给用户，被另一对象隐藏的对象的位置可以被容易地传送给用户。例如，在导航用途中，通过在失真图像中显示对于导航而言重要的地标，用户可以更直观地和容易地理解直到目的地位置的路线。 

在该实施例中，提供了诸如被配置成使得用户可以指定失真标准的UI、被配置成使得用户指定失真目标的UI、以及被配置成使得在正常显示模式和失真显式模式之间切换模式的UI的各种UI。因此，用户可以按照用户期望，在UI上在期望的定时使输入图像失真，并且因此用户可以在此时在屏幕上观看从该视点不能直接示出的对象。 

如上文所述，通过使终端装置与服务器装置关联可以实现图像处理装置100的各种功能。终端装置典型地包括建立与服务器装置的通信连接的通信I/F、接收用户输入的输入装置、包括屏幕的显示装置、存储程序和数据的存储器、以及通过执行程序来操作终端装置的功能的处理器。终端装置的处理器获取示出真实世界的输入图像，经由通信I/F将所获取的输入图像传送到服务器装置，并且将从服务器装置接收到的失真图像显示在显示装置的屏幕上。如在图像处理装置100中的那样，服务器装置使输入图像失真，将对象图像叠置到失真图像的空白部分上，并且将叠置的失真图像传送到终端装置。参照图9A至11描述的用户接口可以由终端装置的输入装置和显示装置实现。终端装置的失真图像显示功能可以是在诸如 PC或智能电话的终端上操作的应用功能。 

<3.第二实施例> 

在第一实施例中，叠置到失真图像的对象图像仅包括在真实世界模型中预先定义的静止对象。另一方面，在下文将描述的第二实施例中，对象图像还包括动态对象，使用动态收集的位置关联数据来估计该动态对象的位置。动态对象的示例包括人物和交通工具。基于位置关联数据来仿真对象的运动。 

<3-1.功能配置示例> 

图13是图示根据第二实施例的图像处理装置200的逻辑功能配置的示例的框图。参照图13，图像处理装置200包括图像获取单元120、模型DB230、图像处理单元140、对象图像生成单元250、用户接口单元160、导航单元170、仿真单元280和数据收集单元290。 

（1）仿真单元 

仿真单元280对真实世界中存在的人群执行仿真。仿真单元280执行的仿真是虚拟再现根据时间可改变的街道情景的仿真。街道情景可以通过例如人群的规模、属性或行为来再现。在仿真中，人群可以由与人对应的一组人物来表示。替选地（或另外地），人群可以由假设人乘坐的一组交通工具来表示。基于可以从外部服务器收集的位置关联数据来确定人群的规模、属性、行为等的仿真参数。 

在该实施例中，位置关联数据包括发布者在用户传输类型的信息传输服务中发布的发布数据。用户传输类型的信息传输服务可以包括例如，诸如Facebook（注册商标）和Foursquare（注册商标）的社交网络服务（SNS）、诸如Twitter（注册商标）的短消息发布服务、以及诸如Instagram的图像发布服务。当私密保护是必要时，可以从发布数据中删除用于识别每个发布者的识别信息。该实施例中使用的信息传输服务可以是从发布者的终端上载的发布数据伴随有位置数据的位置知晓（location-aware）的服务，或者可以是发布数据未伴随有位置数据的服务。不同于发布数据（或者除了发布数据之外），参考一个或更多个人的地理位置收集的统计数据 可以被用作位置关联数据。统计数据的示例包括交通量数据、平均收入数据和公共安全数据。 

仿真单元280对与失真图像的空白部分对应的目标区域执行仿真以生成人群图像。如下文将描述的，对象图像生成单元250基于位置关联数据针对每个地理区域确定人群的规模、属性和行为。随后，仿真单元280将所生成的人群图像输出到对象图像生成单元250。 

（2）模型DB 

除了根据第一实施例的模型DB130存储的真实世界模型之外，模型DB230存储当仿真单元280预先执行仿真时使用的模型数据。模型DB230存储的模型数据可以包括人物模型和交通工具模型。人物模型是模仿形成人群的人的模型。交通工具模型是模仿形成人群的交通工具的模型。在仿真中，人物模型和交通工具模型被安置在由真实世界模型表示的模型空间中并且被例如每个元件的人工智能（AI）驱动和移动。 

（3）数据收集单元 

数据收集单元290收集与一个或更多个人的地理位置相关联的位置关联数据。例如，位置关联数据可以包括从外部服务器收集的统计数据和发布数据。例如，数据收集单元290定期地收集位置关联数据并且将所收集的位置关联数据输出到对象图像生成单元250。 

（4）对象图像生成单元 

如根据第一实施例的对象图像生成单元150中的那样，当在失真图像中产生空白部分时，对象图像生成单元250使用真实世界模型生成与位于空白部分中的对象对应的对象图像。对象图像生成单元250将从仿真单元280输入的人群图像叠加到关于与空白部分对应的真实世界的目标区域的对象图像上。 

例如，对象图像生成单元250根据真实世界模型确定与空白部分对应的真实世界的目标区域并且基于关于所确定的目标区域的位置关联数据来确定仿真参数。对象图像生成单元250将所确定的仿真参数输入到仿真单元280并且使仿真单元280对在该目标区域中存在的人群执行仿真。目 标区域是定位真实世界的多个地理区域中的一个。这些地理区域可以由适用于系统目的的任何标准来设定，诸如行政区域类或者最近车站类。 

对象图像生成单元250确定的仿真参数可以包括每个区域的人群的规模、属性和行为。人群的规模意味在仿真中安置在目标区域内的人物数目（人口）或者交通工具的数目（交通量）。人群的属性确定在仿真中安置在目标区域内的人物类或者交通工具类。例如，人群的属性包括年龄分布比率和性别分布比率。较多的年轻人和青少年被安置在年轻人多的区域中，并且较多的女性被安置在女性多的区域中。人群的属性可以包括诸如平均收入和公共安全程度的其他参数。人群的行为确定在仿真中安置在目标区域中的人物和交通工具的运动。例如，人群的行动通过对位于真实世界的目标区域中的人的行为建模或者执行与目标区域相关的行动来确定。 

仿真参数可以包括每个目标区域的天气和时间段以及在该目标区域中发生的事件。在本说明书中描述的一些仿真参数可以被省略或者可以使用另外的仿真参数。下文将详细描述对象图像生成单元250确定的仿真参数以及对象图像生成单元250籍其执行确定的位置关联数据。 

<3-2.仿真的细节> 

接下来，将参照图14至18详细描述仿真单元280执行的仿真。 

（1）模型数据的示例 

图14图示了模型DB230可以存储的人物模型的四个示例CM1至CM4。人物模型CM1至CM4的特征在于不同的属性并且具有与特性对应的外观。在图14中，“性别”、“年龄”和“收入”被图示作为属性的示例。例如，人物模型CM1是作为获得中等收入并且具有普通外观的较年轻的男性的人物。人物模型CM2是作为获得高收入并且具有富有外观的较老的男性的人物。人物模型CM3是作为获得中等收入并且具有普通外观的较年轻的女性的人物。人物模型CM4是作为具有青少年外观的男性儿童的人物。 

图15图示了模型DB230可以存储的交通工具模型的两个示例VM1和VM2。交通工具模型VM1和VM2的特征在于不同的属性并且具有与特性对应的外观。在图15中，“性别”和“年龄”被图示作为属性的示例。例如，交通工具模型VM1是由获得高收入的年轻人驾驶的跑车型的汽车。 交通工具模型VM2是由获得中等收入的年轻人驾驶的普通车型的汽车。 

（2）仿真结果的示例 

仿真单元280根据对象图像生成单元250确定的关于目标区域的仿真参数将人物模型和交通工具模型安置在真实世界模型中。要安置的人物模型的数目取决于对象图像生成单元250确定的每个区域的人群的估计人口。这里，估计人口可以不是接近真实世界中的真实人口的值。当区域之间的人口差异或者同一区域的人口的时间变化表示估计值时，可以充分地实现该目的。这同样适用于其他仿真参数。要安置的交通工具模型的数目可以取决于对象图像生成单元250确定的交通量或者可以取决于估计人口。要安置的人物模型类和交通工具模型类取决于对象图像生成单元250确定的每个区域的人群的属性。 

图16A是仿真结果的第一示例的说明图。在第一示例中，目标区域的估计人口大于其他区域的人口，并且交通量也是大的。对于目标区域的年龄分布比率，大多数人是年轻的。对于性别分布比率，女性是多的。目标区域的平均收入高于其他区域的平均收入。仿真结果表明在模型空间中众多人物在街道中往来并且许多交通工具在道路中行进。模型空间中的人物中的女性人物的比率占据相对较大的性别分布比率。半数汽车是昂贵的跑车型汽车。 

图16B是仿真结果的第二示例的说明图。在第二示例中，目标区域的估计人口小于其他区域的人口，并且交通量也是小的。对于目标区域的年龄分布比率，儿童是多的。目标区域的平均收入是中等的。仿真结果表明在模型空间中在街道中存在包括多个儿童的少数人物。 

图16C是仿真结果的第三示例的说明图。在第三示例中，目标区域的估计人口是中等的，并且交通量也是小的。对于目标区域的年龄分布比率，老年人是多的。目标区域的平均收入高于其他区域的平均收入。仿真结果表明在模型空间中比第一示例的人物少的人物和比第二示例的人物多的人物在街道中往来，并且一个交通工具在道路上行进。在模型空间中在人物中看起来富有的老年人的比率占据相对多数的年龄分布比率。 

当比较图16A至16C中所示的3个示例时，可以理解各示例中存在的人群的规模和属性的差异表示每条街道的特性。该仿真可以使用通常公共统计数据来执行。然而，真实世界中的街道的情景可以根据时间段、天、 季节、特定事件的举行等随时间可观地改变。因此，难于认为基于过去的统计时段的静态统计数据表示街道的最近情景。因此，如上文所述，图像处理装置200继续收集位置关联数据并且基于所收集的位置关联数据动态地改变情景参数。 

（3）人群行为的示例 

在图16A至16C中，主要描述了人群的规模和属性的差异。然而，仿真单元280可以使模型空间中的人群再现针对每个地理区域建模的人的行为。图17是人物模型的行为的示例的说明图。参照图17，左手持商务包的人物模型CM1正在用于其右手操作蜂窝电话。称为“打电话”的该行为可以由安置在商务人士多的区域中的人物模型来执行。人物模型CM1b是“慢跑”。人物模型CM1c是“吸烟”。该行为也可以针对每个地理区域建模并且可以由人物模型执行。 

（4）事件的示例 

仿真单元280可以在仿真中再现发生的事件或者估计在特定地理区域中要发生的事件。图18是可以在仿真中再现的事件的示例的说明图。参照图18，在模型空间中图示了建筑物Bldg1。在特定仿真中，在建筑物Bldg1前方形成了队列。例如，当在短时间中收集了与特定场所的商店相关联的大量的发布数据时，确定发生事件“队列”并且所确定的事件可以在仿真中再现。仿真单元280可以再现不同类别的事件，诸如“交通事故”或者“樱花的盛开”。 

<3-3.仿真参数的确定> 

（1）基于信息传输服务的发布数据的方法 

为了获得有用的仿真结果，重要的是适当地确定仿真参数。在该实施例中，对象图像生成单元250基于从外部服务器收集的发布数据来确定仿真参数。发布者在信息传输服务中在真实世界中主动发布各种行动或事件。在许多情况下，实时地或者仅以微小的时延来执行发布。因此，通过根据信息传输服务的发布数据确定仿真参数，可以仅以微小的时延来追踪随时间改变的街道的情景。 

图19是确定仿真参数的第一方法的说明图。在图19中的左侧图示了在给定时间框架内数据收集单元290收集的发布数据PD1至PDn。对象图像生成单元250通过分析发布数据PD1至PDn估计与每个地理区域对应的人的数目和属性并且根据估计结果确定每个地理区域的人群的规模和属性。这里，短语“与地理区域对应”可以包括如下含义，除了每个地理区域的位置以外，执行与每个地理区域相关的行动（例如，“搜索ABC地区中的新房子”或者“讨论ABC地区”）。对象图像生成单元250可以通过分析发布数据PD1至PDn来确定与每个地理区域对应的人的行为以及在每个地理区域中发生的事件。 

图20A是分析发布数据的第一示例的说明图。在第一示例中，发布数据PD1包括用户识别信息PD1a、文本PD1b、图像PD1c和位置数据PD1d。 

例如，对象图像生成单元250可以使用用户识别信息PD1a获取发布数据PD1的发布者（登记在信息传输服务中）的属性（步骤S11a）。替选地，对象图像生成单元250可以通过将相关领域的自然语言分析技术应用于文本PD1b从文本PD1b提取关键词或关键短语并且根据所提取的关键词和所提取的关键短语确定发布数据PD1的发布者的属性（步骤S11b）。例如，根据关键短语“要去学院”可以将发布者确定为约20岁的年轻人，并且可以根据关键短语“我要女朋友”将发布者确定为男性。可以基于包括与发布数据PD1相同的用户识别信息PD1a的过去的发布数据PDx而非发布数据PD1中包括的文本或图像来确定发布数据PD1的发布者的属性。 

在图20A的第一示例中，位置数据PD1d指示当发布数据PD1被上载时发布者的地理位置。因此，对象图像生成单元250可以使用位置数据PD1d确定与发布数据PD1对应的地理区域（步骤S12）。此外，对象图像生成单元250可以通过聚集总体发布数据中的每个地理区域的发布数据量来估计每个地理区域的人群的规模。对象图像生成单元250可以通过聚集根据总体发布数据中的每个地理区域中的发布数据确定的属性来估计每个地理区域的人群的属性（步骤S13）。 

图20B是分析发布数据的第二示例的说明图。在第二示例中，发布数据PD2包括文本PD2b、图像PD2c和位置数据PD2d。从发布数据PD2中删除了用户识别信息以保护私密性。 

例如，对象图像生成单元250可以基于从文本PD2b提取的关键词或 关键短语来确定发布数据PD2的发布者的属性（步骤S21a）。对象图像生成单元250可以通过将相关领域的图像识别技术应用于图像PD2c来确定发布数据PD2的发布者的属性（性别、年龄等）或者图像PD2c中示出的物体（步骤S21b）。 

在图20B的第二示例中，位置数据PD2d指示当发布数据PD2被上载时发布者的地理位置。因此，对象图像生成单元250可以使用位置数据PD2d确定与发布数据PD2对应的地理区域（步骤S22）。对象图像生成单元250可以通过聚集总体发布数据中的每个地理区域的发布数据量来估计每个地理区域的人群的规模。对象图像生成单元250可以通过聚集根据总体发布数据中的每个地理区域中的发布数据确定的属性来估计每个地理区域的人群的属性（步骤S23）。 

图20C是分析发布数据的第三示例的说明图。在第三示例中，发布数据PD3包括文本PD3b和图像PD3c。 

例如，对象图像生成单元250可以基于从文本PD3b提取的关键词或关键短语来确定发布数据PD3的发布者的属性（步骤S31a）。对象图像生成单元250可以通过将相关领域的图像识别技术应用于图像PD3c来确定发布数据PD3的发布者的属性或者图像PD3c中示出的物体（步骤S31b）。 

在第三示例中，发布数据PD3不包括位置数据。因此，例如，对象图像生成单元250可以基于从文本PD3b提取的关键词或关键短语来确定与发布数据PD3对应的地理区域（步骤S32a）。例如，可以基于关键词中表明的场所名称来确定地理区域或者可以基于关键词中表明的机构的数目来确定机构的位置的地理区域。替选地，对象图像生成单元250可以通过使图像PD3c与各种现有图像匹配来确定与发布数据PD3对应的地理区域（步骤S32b）。 

对象图像生成单元250可以通过聚集总体发布数据中的每个地理区域的发布数据量来估计每个地理区域的人群的规模。对象图像生成单元250可以通过聚集根据总体发布数据中的每个地理区域中的发布数据确定的属性来估计每个地理区域的人群的属性（步骤S33）。 

发布数据的分析可以被执行，不仅用于估计每个地理区域的人群的规模和属性，而且还用于对人群的行为建模。图20D是分析发布数据的第四示例的说明图。在第四示例中，发布数据PD4包括文本PD4b和位置 数据PD4d。 

例如，对象图像生成单元250可以基于从文本PD4b提取的关键词或关键短语来确定发布数据PD4的发布者的属性（步骤S41）。对象图像生成单元250可以使用位置数据PD4d确定与发布数据PD4对应的地理区域（步骤S42）。对象图像生成单元250可以通过聚集总体发布数据中的每个地理区域的发布数据的数量和属性来估计每个地理区域的人群的规模和属性（步骤S43）。 

在第四示例中，对象图像生成单元250基于使用文本PD4b所确定的发布数据PD4的发布者的属性（或者人群的聚集属性）来对每个地理区域的人群的行为建模（步骤S44）。例如，当基于文本PD4b确定发布数据PD4的发布者是商务人士时，与发布数据PD4对应的地理区域的人群中包括的一个人物模型可以执行图17中例示的行为“打电话”。当特定地理区域的人群的属性指示年轻人多时，人群中包括的若干人物模型可以执行图17中例示的行为“慢跑”。为了对人群的行为建模，可以使用图像或用户识别信息而非发布数据中包括的文本。 

可以执行发布数据的分析以确定在目标区域中发生的事件或者估计要发生的事件。图20E是分析发布数据的第五示例的说明图。在第五示例中，发布数据PD5包括文本PD5b和图像PD5c。 

例如，对象图像生成单元250可以基于从文本PD5b提取的关键词或关键短语来确定发布数据PD5的发布者的属性（步骤S51a）。对象图像生成单元250可以通过将相关领域的图像识别技术应用于图像PD5c来确定发布数据PD5的发布者的属性或者图像PD5c中示出的物体（步骤S51b）。对象图像生成单元250可以基于从文本PD5b提取的关键词或关键短语来确定与发布数据PD5对应的地理区域（步骤S52）。对象图像生成单元250可以通过聚集总体发布数据中的每个地理区域的发布数据的数量和属性来估计每个地理区域的人群的规模和属性（步骤S53）。 

在第五示例中，对象图像生成单元250可以基于从文本PD5b提取的关键词或关键短语来确定在与发布数据PD5对应的地理区域中发生事件（步骤S54a）。例如，对象图像生成单元250可以根据关键短语“目击交通事故”来确定发生事件“交通事故”。对象图像生成单元250可以基于图像PD5c来确定在与发布数据PD5对应的地理区域中发生事件（步骤S54b）。例如，当在图像PD5c中示出樱花时，对象图像生成单元250可以确定发生事件“樱花的盛开”。 

本节中描述的确定仿真参数的各种方法可以相互组合。 

（2）基于统计数据的方法 

在该实施例中，对象图像生成单元250可以进一步基于从外部服务器收集的统计数据来确定仿真参数。这里使用的统计数据是参考关于一个或更多个人的地理位置而聚集的数据。 

图21A是确定仿真参数的第二方法的说明图。参照图21A，除了图19中所示的发布数据PD1至PDn之外还图示了从外部服务器收集的统计数据SD。例如，统计数据SD可以是指示交通拥堵信息的交通数据。在该情况下，对象图像生成单元250可以根据交通数据指示的交通拥堵水平来确定每个地理区域的交通工具模型的数目（规模）。统计数据SD可以是指示根据区域的平均年收入的平均年收入数据。在该情况下，对象图像生成单元250可以将平均收入数据指示的收入值用作每个地理区域的人群的收入值（属性）。统计数据SD可以是指示根据区域的犯罪率的公共安全数据。在该情况下，对象图像生成单元250可以使人物模型执行例如公共安全数据指示的犯罪率的值高的地理区域中的特定行为（例如，图17中例示的行为“吸烟”）或者使特定事件（例如，巡逻车的行进）发生。 

（3）天气数据的使用 

在该实施例中，对象图像生成单元250可以基于从外部服务器收集的天气数据改变人群图像的背景。这里使用的天气数据是指示目标区域的指定时间（仿真时间或另一时间）的天气的数据。 

图21B是确定仿真参数的第三方法的说明图。参照图21B，除了图19中所示的发布数据PD1至PDn之外还图示了从外部服务器收集的天气数据WD。对象图像生成单元250将作为仿真参数的天气数据WD指示的目标区域的天气输出到仿真单元280并且改变人群图像的背景表示的天气。对象图像生成单元250还可以将作为仿真参数的指定时间（或者时间段（例如，早晨、中午、黄昏或晚上））输出到仿真单元280并且改变人群图像的背景表示的时间段。 

<3-4.对象图像的示例> 

图22是可以在第二实施例中显示的失真图像的示例的说明图。 

参照图22，图示了以正常显示模式显示输入图像的导航窗口W41。在输入图像中示出了道路R1和沿道路R1并排矗立的建筑物以及在道路R1上行走的人。例如，当用户轻击导航窗口W41时，显式模式过渡到失真显式模式，被设定为拉直道路的失真标准被选择，并且导航窗口W42被显示。导航窗口W42显示被叠置对象图像Im43的失真图像。对象图像Im43不仅包括在输入图像中隐藏的建筑物J13的图像，而且还包括表示仿真单元280仿真的人群的人群图像Im44。在图22的示例中，人群图像Im44包括两个人物和一个汽车。 

<3-5.第二实施例的总结> 

上文参照图13至22详细描述了根据本公开的技术的第二实施例。根据该实施例，在用于补充失真图像的空白部分的对象图像中不仅显示预先定义的静止对象，而且还显示诸如人和交通工具的动态对象。基于诸如用户传输类型的信息传输服务中的发布数据的位置关联数据来确定动态对象的行为。因此，在对象图像中可以再现能够随时间改变的真实世界的情景，并且因此可以将自然失真图像呈现给用户。例如，在人在假期大部分聚集的旅游地点的失真图像中，在假期补充的对象图像可以示出人拥挤的街道并且在平日补充的对象图像可以示出安静的街道。 

在许多情况下该实施例中使用的用户传输类型的信息传输服务的发布数据被实时地发布或者仅以相对于真实行动或事件的微小的时延被发布。因此，通过使用该用户传输类型的信息传输服务的适应性，可以以小的时延来追踪可以随时间改变的街道的情景。 

在第一和第二实施例中显示的失真图像示出了在真实世界中可以实际存在的对象（建筑物、道路、人、交通工具等）的失真或仿真形式。该方法的用处还在于，不会引起在通常的扩展现实（AR）应用中易于发生的屏幕上的信息过载情景（其中由于过度注释而埋没图像）。 

本说明书中描述的每个装置执行的系列处理通常使用软件实现。实现所述系列处理的软件的程序被预先存储在例如安装在每个装置内部或外部的存储介质（非暂态介质）中。例如，在执行时，每个程序被读取到RAM，并且由诸如CPU的处理器执行。 

上文参照附图详细描述了本公开的优选实施例，但是本公开的技术范 围不限于这些示例。本公开的技术领域的技术人员应认识到，在权利要求中公开的技术精神的范围内可以进行各种修改或校正，并且这些修改或校正显然应被理解为属于本公开的技术范围。 

此外，本技术还可以如下配置。 

（1）一种信息处理系统，包括： 

电路，被配置成 

获取图像数据； 

根据预定失真标准使所获取的图像数据失真； 

获取与在所获取的图像中至少部分地被遮挡的对象相对应的对象图像； 

使所述对象图像与失真图像数据组合；以及 

输出与所述对象图像组合的所述失真图像数据。 

（2）根据（1）所述的信息处理系统，其中所获取的图像数据对应于图像捕获装置捕获的真实世界图像。 

（3）根据（2）所述的信息处理系统，其中所获取的图像数据是静止图像或者形成运动图像的一系列静止图像。 

（4）根据（1）至（3）中任一项所述的信息处理系统，其中所述电路被配置成存储指示真实世界中存在的对象的位置的模型。 

（5）根据4所述的信息处理系统，其中 

所获取的图像数据对应于图像捕获装置捕获的真实世界图像，以及 

所述电路被配置成 

从所获取的图像数据中检测特征点； 

基于从传感器单元输出的数据确定所述信息处理系统的位置和姿态；以及 

从所述模型提取关于所述对象的特征点数据。 

（6）根据（5）所述的信息处理系统，其中所述电路被配置成： 

使从所获取的图像数据检测到的特征点与从所述模型提取的特征点匹配；以及 

基于所述预定失真标准来修改匹配的特征点的位置。 

（7）根据（1）至（6）中任一项所述的信息处理系统，其中所述电路被配置成作为所述预定失真标准，通过改变所获取的图像数据中包括的道路中的弯曲，来使所获取的图像数据失真。 

（8）根据（1）至（7）中任一项所述的信息处理系统，其中所述电路被配置成作为所述预定失真标准，通过改变所获取的图像数据中的道路的坡度，来使所获取的图像数据失真。 

（9）根据（1）至（8）中任一项所述的信息处理系统，其中所述电路被配置成作为所述预定失真标准，通过省略所获取的图像数据中示出的建筑物，来使所获取的图像数据失真。 

（10）根据（1）至（9）中任一项所述的信息处理系统，其中所述电路被配置成作为所述预定失真标准，通过扩宽所获取的图像数据中包括的道路的宽度，来使所获取的图像数据失真。 

（11）根据（1）至（10）中任一项所述的信息处理系统，其中所述电路被配置成作为所述预定失真标准，通过放大所获取的图像数据中包括的一个建筑物后面的另一建筑物，来使所获取的图像数据失真。 

（12）根据（1）至（11）中任一项所述的信息处理系统，其中作为失真的结果，所述失真图像数据包括空白部分。 

（13）根据（12）所述的信息处理系统，其中所述电路被配置成基于所述失真图像数据中包括的空白部分来生成所述对象图像。 

（14）根据（1）至（13）中任一项所述的信息处理系统，其中所述电路被配置成通过将所述对象图像叠置在所述失真图像数据上来使所述对象图像与所述失真图像数据组合。 

（15）根据（14）所述的信息处理系统，其中所述失真图像数据是真实图像数据并且所述对象图像是图标。 

（16）根据（1）至（15）中任一项所述的信息处理系统，进一步包括： 

显示器；以及 

用户接口，其中 

所述电路被配置成基于在所述用户接口处接收到的输入来控制所述 显示器在显示所获取的图像数据和所述失真图像数据之间切换。 

（17）根据（1）至（16）中任一项所述的信息处理系统，其中， 

所述信息处理系统是个人导航系统，以及 

所述电路被配置成将导航方向叠置在与所述对象图像组合的所述失真图像数据上。 

（18）根据（1）至（17）中任一项所述的信息处理系统，其中所述信息处理系统是具有头戴式眼镜的形状的可穿戴装置。 

（19）一种由信息处理系统执行的方法，所述方法包括： 

获取图像； 

通过所述信息处理系统的电路，根据预定失真标准使所获取的图像失真； 

获取与在所获取的图像数据中至少部分地被遮挡的对象相对应的对象图像； 

通过所述电路，使所述对象图像与失真图像组合；以及 

输出与所述对象图像组合的所述失真图像。 

（20）一种包括计算机程序指令的非暂态的计算机可读介质，所述计算机程序指令在被信息处理系统执行时使所述信息处理系统： 

获取图像； 

根据预定失真标准使所获取的图像失真； 

获取与在所获取的图像数据中至少部分地被遮挡的对象相对应的对象图像； 

使所述对象图像与失真图像组合；以及 

输出与所述对象图像组合的所述失真图像。 

此外，本技术还可以如下配置。 

（1）一种图像处理装置，包括： 

图像获取单元，所述图像获取单元获取示出真实世界的输入图像； 

图像处理单元，所述图像处理单元通过根据特定标准使所述输入图像失真来生成失真图像；以及 

生成单元，当作为失真结果在失真图像中产生空白部分时，所述生成单元使用表示真实世界中存在的对象的位置的模型来生成与将位于所述空白部分中的对象对应的对象图像， 

其中所述图像处理单元将所述生成单元生成的所述对象图像叠置到所述失真图像的所述空白部分上。 

（2）根据（1）所述的图像处理装置，其中所述对象图像是当根据所述标准使真实世界失真时占据所述空白部分的图像。 

（3）根据（1）所述的图像处理装置，其中所述对象图像是与将位于所述空白部分中的对象对应的图标图像。 

（4）根据（1）至（3）中任一项所述的图像处理装置， 

其中所述图像处理单元使所述输入图像失真，使得改变所述输入图像中示出的道路的弯曲，以及 

其中所述空白部分是由于道路弯曲而在所述输入图像中没有示出的部分。 

（5）根据（1）至（3）中任一项所述的图像处理装置， 

其中所述图像处理单元使所述输入图像失真，使得改变所述输入图像中示出的道路的坡度，以及 

其中所述空白部分是由于道路坡度而在所述输入图像中没有示出的部分。 

（6）根据（4）或（5）所述的图像处理装置，其中所述图像处理单元通过使在所述输入图像中检测到的特征点与所述模型定义的特征点匹配并且根据所述标准使匹配的特征点的位置移动，来生成所述失真图像。 

（7）根据（4）至（6）中任一项所述的图像处理装置，其中所述图像处理单元将用户通过显示所述输入图像的屏幕指定的道路选择为失真目标。 

（8）根据（4）至（6）中任一项所述的图像处理装置，进一步包括： 

导航单元，所述导航单元向用户提供直到用户指定的目的地位置的导航， 

其中所述图像处理单元将所述导航单元设定的直到目的地位置的路线上的道路选择为失真目标。 

（9）根据（1）至（8）中任一项所述的图像处理装置，进一步包括： 

用户接口单元，所述用户接口单元向用户提供用户接口，用户在所述用户接口上在第一显式模式和第二显式模式之间切换，在所述第一显式模式中在屏幕上显示所述输入图像并且在所述第二显式模式中在屏幕上显示被叠置所述对象图像的所述失真图像。 

（10）根据（9）所述的图像处理装置，其中所述用户接口单元进一步向用户提供用户指定所述标准的用户接口。 

（11）根据（9）所述的图像处理装置， 

其中所述图像处理装置是包括检测用户视线的视线检测模块的头戴式装置，以及 

其中所述用户接口单元基于从所述视线检测模块获得的视线检测结果在所述第一显式模式和所述第二显式模式之间切换。 

（12）根据（1）至（3）中任一项所述的图像处理装置，其中所述图像处理单元将所述对象图像叠置到所述失真图像上，使得在所述输入图像中被另一对象隐藏的对象在所述失真图像中示出。 

（13）根据（1）至（12）中任一项所述的图像处理装置，进一步包括： 

数据收集单元，所述数据收集单元收集与多个人地理位置相关联的位置关联数据；以及 

仿真单元，所述仿真单元基于所收集的位置关联数据执行在真实世界中存在的人群的仿真， 

其中所述生成单元将所述仿真单元仿真的关于与所述空白部分对应的真实世界的区域的人群的图像叠置到所述对象图像上。 

（14）根据（13）所述的图像处理装置，其中基于所述位置关联数据确定人群的规模、属性和行为至少之一并且在仿真中进行再现。 

（15）一种图像处理装置执行的图像处理方法，所述方法包括： 

获取示出真实世界的输入图像； 

通过根据特定标准使所述输入图像失真来生成失真图像；以及 

当作为失真结果在失真图像中产生空白部分时，使用表示真实世界中存在的对象的位置的模型来生成与将位于所述空白部分中的对象对应的 对象图像， 

其中将所生成的对象图像叠置到所述失真图像的所述空白部分上。 

（16）一种使控制图像处理装置的计算机用作如下单元的程序： 

图像获取单元，所述图像获取单元获取示出真实世界的输入图像； 

图像处理单元，所述图像处理单元通过根据特定标准使所述输入图像失真来生成失真图像；以及 

生成单元，当作为失真结果在失真图像中产生空白部分时，所述生成单元使用表示真实世界中存在的对象的位置的模型来生成与将位于所述空白部分中的对象对应的对象图像， 

其中所述图像处理单元将所述生成单元生成的所述对象图像叠置到所述失真图像的所述空白部分上。 

（17）一种终端装置，包括： 

图像获取单元，所述图像获取单元获取示出真实世界的输入图像；以及 

控制单元，所述控制单元将所述输入图像传送到服务器装置，所述服务器装置在通过根据特定标准使所述输入图像失真而生成的失真图像的空白部分上叠置对象图像，所述对象图像对应于将位于所述空白部分中并且使用表示真实世界中存在的对象的位置的模型而生成的对象，并且控制单元在屏幕上显示从所述服务器装置接收到的所述失真图像。 

（18）根据（17）所述的终端装置，进一步包括： 

用户接口单元，所述用户接口单元向用户提供用户接口，用户在所述用户接口上在第一显式模式和第二显式模式之间切换，在所述第一显式模式中在屏幕上显示所述输入图像并且在所述第二显式模式中在屏幕上显示被叠置所述对象图像的所述失真图像。 

（19）一种由终端装置执行的图像处理方法，所述方法包括： 

获取示出真实世界的输入图像；以及 

将所述输入图像传送到服务器装置，所述服务器装置在通过根据特定标准使所述输入图像失真而生成的失真图像的空白部分上叠置对象图像，所述对象图像对应于将位于所述空白部分中并且使用表示真实世界中存在的对象的位置的模型而生成的对象 

从所述服务器装置接收所述失真图像；以及 

在屏幕上显示接收到的失真图像。 

（20）一种使控制终端装置的计算机用作如下单元的程序： 

图像获取单元，所述图像获取单元获取示出真实世界的输入图像；以及 

控制单元，所述控制单元将所述输入图像传送到服务器装置，所述服务器装置在通过根据特定标准使所述输入图像失真而生成的失真图像的空白部分上叠置对象图像，所述对象图像对应于将位于所述空白部分中并且使用表示真实世界中存在的对象的位置的模型而生成的对象，并且控制单元在屏幕上显示从所述服务器装置接收到的所述失真图像。 

[附图标记列表] 

100、200 图像处理装置 

120 图像获取单元 

140 图像处理单元 

150、250 对象图像生成单元 

160 用户接口单元 

170 导航单元 

280 仿真单元 

290 数据收集单元。 

Claims (20)

1.一种信息处理系统，包括：

电路，被配置成

获取图像数据；

根据预定失真标准使所获取的图像数据失真；

获取与在所获取的图像中至少部分地被遮挡的对象相对应的对象图像；

使所述对象图像与失真图像数据组合；以及

输出与所述对象图像组合的所述失真图像数据。

2.根据权利要求1所述的信息处理系统，其中所获取的图像数据对应于图像捕获装置捕获的真实世界图像。

3.根据权利要求2所述的信息处理系统，其中所获取的图像数据是静止图像或者形成运动图像的一系列静止图像。

4.根据权利要求1所述的信息处理系统，其中所述电路被配置成存储指示真实世界中存在的对象的位置的模型。

5.根据权利要求4所述的信息处理系统，其中

所获取的图像数据对应于图像捕获装置捕获的真实世界图像，以及所述电路被配置成

从所获取的图像数据中检测特征点；

基于从传感器单元输出的数据确定所述信息处理系统的位置和姿态；以及

从所述模型提取关于所述对象的特征点数据。

6.根据权利要求5所述的信息处理系统，其中所述电路被配置成：

使从所获取的图像数据检测到的特征点与从所述模型提取的特征点匹配；以及

基于所述预定失真标准来修改匹配的特征点的位置。

7.根据权利要求1所述的信息处理系统，其中所述电路被配置成作为所述预定失真标准，通过改变所获取的图像数据中包括的道路中的弯曲，来使所获取的图像数据失真。

8.根据权利要求1所述的信息处理系统，其中所述电路被配置成作为所述预定失真标准，通过改变所获取的图像数据中的道路的坡度，来使所获取的图像数据失真。

9.根据权利要求1所述的信息处理系统，其中所述电路被配置成作为所述预定失真标准，通过省略所获取的图像数据中示出的建筑物，来使所获取的图像数据失真。

10.根据权利要求1所述的信息处理系统，其中所述电路被配置成作为所述预定失真标准，通过扩宽所获取的图像数据中包括的道路的宽度，来使所获取的图像数据失真。

11.根据权利要求1所述的信息处理系统，其中所述电路被配置成作为所述预定失真标准，通过放大所获取的图像数据中包括的一个建筑物后面的另一建筑物，来使所获取的图像数据失真。

12.根据权利要求1所述的信息处理系统，其中作为失真的结果，所述失真图像数据包括空白部分。

13.根据权利要求12所述的信息处理系统，其中所述电路被配置成基于所述失真图像数据中包括的空白部分来生成所述对象图像。

14.根据权利要求1所述的信息处理系统，其中所述电路被配置成通过将所述对象图像叠置在所述失真图像数据上来使所述对象图像与所述失真图像数据组合。

15.根据权利要求14所述的信息处理系统，其中所述失真图像数据是真实图像数据并且所述对象图像是图标。

16.根据权利要求1所述的信息处理系统，进一步包括：

显示器；以及

用户接口，其中

所述电路被配置成基于在所述用户接口处接收到的输入来控制所述显示器在显示所获取的图像数据和所述失真图像数据之间切换。

17.根据权利要求1所述的信息处理系统，其中，

所述信息处理系统是个人导航系统，以及

所述电路被配置成将导航方向叠置在与所述对象图像组合的所述失真图像数据上。

18.根据权利要求1所述的信息处理系统，其中所述信息处理系统是具有头戴式眼镜的形状的可穿戴装置。

19.一种由信息处理系统执行的方法，所述方法包括：

获取图像；

通过所述信息处理系统的电路，根据预定失真标准使所获取的图像失真；

获取与在所获取的图像数据中至少部分地被遮挡的对象相对应的对象图像；

通过所述电路，使所述对象图像与失真图像组合；以及

输出与所述对象图像组合的所述失真图像。

20.一种包括计算机程序指令的非暂态的计算机可读介质，所述计算机程序指令在被信息处理系统执行时使所述信息处理系统：

获取图像；

根据预定失真标准使所获取的图像失真；

获取与在所获取的图像数据中至少部分地被遮挡的对象相对应的对象图像；

使所述对象图像与失真图像组合；以及

输出与所述对象图像组合的所述失真图像。

Images