CN102142081A - 图像处理设备、图像处理方法、以及程序 - Google Patents

Abstract

本发明提供了一种图像处理设备、图像处理方法以及程序。所述图像处理设备包括：数据存储单元，其中存储有特征数据，特征数据表示一个或更多个物理对象的外观特征；环境地图建立单元，用于基于通过使用成像设备对真实空间进行成像获得的输入图像以及数据存储单元中存储的特征数据建立环境地图，环境地图代表真实空间中存在的物理对象的位置；信息生成单元，用于使用环境地图建立单元建立的环境地图来生成用于在屏幕上显示经由通信接口的通信的状态的动画数据；以及图像叠加单元，用于通过在输入图像上叠加根据信息生成单元生成的动画数据的动画生成输出图像。

Description

图像处理设备、图像处理方法、以及程序

技术领域

本发明涉及一种图像处理设备、图像处理方法、以及程序。

背景技术

近来，一种被称为增强现实(AR)的技术正受到关注，其中处理并随后向用户呈现通过对真实空间进行成像获得的图像。在AR技术中，例如可以插入与输入图像中呈现的真实空间中的物理对象有关的有用信息以生成输出图像并且输出该输出图像。即，在AR技术中，通常，向用户呈现的图像的大部分示出了真实空间，并且可以根据目的处理图像的一部分。这种特性使它与使用计算机图形学(CG)构成输出图像的整体(或大部分)的虚拟现实形成对比。通过使用AR技术，例如，可以提供诸如用户容易识别真实空间的情形或者基于输出图像的操作支持等优点。

在AR技术中，为了向用户呈现实际有用的信息，计算机准确地识别真实空间的情形是重要的。因此，开发了作为AR技术的基础的、旨在识别真实空间的情形的技术。例如，日本专利申请特开平No.2008-304268公开了如下方法：通过应用能够同时估算摄像机的位置和姿态(posture)以及摄像机的图像中示出的特征点的位置、被称为同时定位与地图构建(SLAM)的技术动态地生成代表真实空间中存在的物理对象的三维位置的环境地图。另外，在Andrew J.Davison’s，“Real-Time SimultaneousLocalization and Mapping with a Single Camera，”Proceedings of the 9thIEEE International Conference on Computer Vision Volume 2，2003，第1403至1410页中公开了使用单目摄像机的SLAM技术的基本原理。

近来，信息通信技术已广泛用于一般用户之中，并且用户使用了各种通信手段，诸如使用移动终端的蜂窝通信、家庭网络中的有线或无线局域网(LAN)、宽带通信、以及红外线通信等。另外，存在采用这些通信手段的多种通信业务。

发明内容

然而，一般地，只使用诸如屏幕上的简单图标等图像或文本信息把用户使用的通信手段中通信的状态通知用户。另外，在一些应用中，存在如下示例：在屏幕上显示由Post Pet(注册商标)代表的虚拟动作者(agent)，但是这种动作者只在封闭在终端设备的屏幕中的虚拟空间中工作。

此外，如果能够通过应用上述环境地图通过显示如同执行涉及真实空间中的实体的通信一样的信息来表示通信的状态，则预期用户可以直观地识别通信的状态并且还可以向用户提供通信中的娱乐。

鉴于以上内容，期望提供一种新型的和改进的图像处理设备、图像处理方法、以及程序，能够如同执行涉及真实空间中的实体的通信一样显示用户使用的通信手段中通信的状态。

根据本发明的一个实施例，提供了一种图像处理设备，包括：数据存储单元，其中存储有特征数据，特征数据表示一个或者更多个物理对象的外观特征；环境地图建立单元，用于基于通过使用成像设备对真实空间进行成像获得的输入图像以及数据存储单元中存储的特征数据建立环境地图，环境地图表示真实空间中存在的物理对象的位置；信息生成单元，用于使用环境地图建立单元建立的环境地图来生成用于在屏幕上显示经由通信接口的通信的状态动画数据；以及图像叠加单元，用于通过在输入图像上叠加根据信息生成单元生成的动画数据的动画生成输出图像。

信息生成单元可以根据环境地图表示的真实空间中物理对象的位置确定动画的运动。

信息生成单元可以根据通信方的位置确定动画的移动方向。

信息生成单元可以根据通信的速率确定动画的运动或动画的类型。

通信是可以无线通信，以及，信息生成单元可以根据通信中无线电信号的接收电平来确定动画的运动或动画的类型。

信息生成单元可以根据通信是否成功来改变动画的运动。

信息生成单元可以根据通过通信实现的通信业务的类型确定动画的运动或动画的类型。

动画可以是表示虚拟角色的动画。

图像处理设备还可以包括检测单元，用于基于输入图像和特征数据动态地检测成像设备在真实空间中的位置，并且可以根据检测单元检测的成像设备在真实空间中的位置计算在输入图像中叠加动画的位置。

根据本发明的另一个实施例，提供了一种图像处理设备中的图像处理方法，图像处理设备包括其中存储有特征数据的存储介质，特征数据表示一个或者更多个物理对象的外观特征，所述方法包括以下步骤：获取通过使用成像设备对真实空间进行成像获得的输入图像；基于输入图像和特征数据建立环境地图，环境地图表示真实空间中存在的物理对象的位置；使用环境地图来生成用于在屏幕上显示经由通信接口的通信的状态的动画数据；以及通过在输入图像上叠加根据动画数据的动画生成输出图像。

根据本发明的另一个实施例，提供了一种程序，用于使得控制图像处理设备的计算机功能如下，其中图像处理设备包括其中存储有特征数据的存储介质，特征数据表示一个或者更多个物理对象的外观特征：环境地图建立单元，用于基于通过使用成像设备对真实空间进行成像获得的输入图像以及特征数据建立环境地图，环境地图表示真实空间中存在的物理对象的位置；信息生成单元，用于使用环境地图建立单元建立的环境地图来生成用于在屏幕上显示经由通信接口的通信的状态的动画数据；以及图像叠加单元，用于通过在输入图像上叠加根据信息生成单元生成的动画数据的动画生成输出图像。

如上所述，根据本发明的实施例中的图像处理设备、图像处理方法、以及程序，可以如同执行涉及真实空间中的实体的通信一样显示用户使用的通信手段中通信的状态。

附图说明

图1是示出了根据实施例的图像处理设备的示意图；

图2是示出了可以在图1中所示的环境中获取的输入图像的示例的说明图；

图3是示出了图像处理设备的另一个示例的示意图；

图4是示出了根据实施例的图像处理设备的配置示例的框图；

图5是示出了根据实施例的自身位置检测处理的流程示例的流程图；

图6是示出了对象上设置的特征点的说明图；

图7是示出了特征点的添加的说明图；

图8是示出了预测模型的示例的说明图；

图9是示出了特征数据的配置示例的说明图；

图10是示出了根据实施例的对象识别处理的流程示例的流程图；

图11是示出了通信业务与每个通信业务中的状态之间的对应的示例的示例图；

图12是示出了根据实施例的动画数据生成处理的流程示例的流程图；

图13是示出了根据实施例的信息生成单元所进行的动画类型确定的说明图；

图14是示出了根据实施例的信息生成单元所进行的动画起点和终点确定的说明图；

图15是示出了根据实施例的信息生成单元可以确定的动画路线的第一示例的说明图；

图16是示出了根据实施例的信息生成单元可以确定的动画路线的第二示例的说明图；

图17是示出了根据实施例的信息生成单元所进行的根据通信速率或接收电平的动画改变的说明图；

图18是示出了根据实施例的图像处理设备输出的输出图像的第一示例的说明图；

图19是示出了根据实施例的图像处理设备输出的输出图像的第二示例的说明图；以及

图20是示出了通用计算机的硬件配置的示例的框图。

具体实施方式

在下文中，将参照附图详细描述本发明的优选实施例。注意，在本说明书和附图中，功能和结构基本上相同的结构元件用相同的参考标号表示，并略去了对这些结构元件的重复说明。

另外，将按如下次序描述“具体实施方式”。

1.图像处理设备的概述

2.根据实施例的图像处理设备的配置

2-1.成像单元

2-2.环境地图生成单元

2-3.输出图像生成单元

2-4.输出图像的示例

3.硬件配置的示例

4.应用示例

5.结论

<1.图像处理设备的概述>

图1是示出了根据本发明的实施例的图像处理设备的概况的示意图。在图1中，示出了环境1作为根据本发明的实施例的图像处理设备100所在的真实空间。

参照图1，桌子11、咖啡杯12、碗柜13、无线接入点(AP)14、窗口15、以及图像处理设备100存在于环境1中。桌子11安装在作为环境1的底部的地板上。咖啡杯12和图像处理设备100位于桌子11上。碗柜13沿着环境1的墙壁安装在地板上。无线AP 14位于碗柜13上。窗口15安装在环境1的墙壁上。

图像处理设备100使用成像设备102对作为示例的这种环境1进行成像并获取一组输入图像。根据将在后面描述的实施例，图像处理设备100使用屏幕104显示通过在获取的输入图像上叠加信息而生成的输出图像。图像处理设备100还包括通信接口182。上述输出图像例如是用于向用户呈现经由通信接口182的通信的状态的图像。

图2是示出了作为示例的、使用成像设备102通过图像处理设备100获取的输入图像106的说明图。参照图2，在输入图像106中示出了图1中所示的环境1中存在的桌子11、咖啡杯12、碗柜13、无线AP 14、以及窗口15。

虽然在图1中示出了个人计算机(PC)作为图像处理设备100的示例，但图像处理设备100不限于这一示例。例如，如图3中所示，图像处理设备100可以是包括成像设备和显示设备的移动电话终端。另外，图像处理设备100可以在其中具有成像设备和显示设备，或者可以从外部连接到这些设备。另外，成像设备和显示设备可以实现为放置到用户头部的头戴显示器。将在下一部分中详细描述本部分中描述的图像处理设备100的配置的示例。

<2.根据实施例的图像处理设备的配置>

图4是示出了根据本发明的实施例的图像处理设备100的配置示例的框图。参照图4，图像处理设备100包括成像单元102、环境地图生成单元110、以及输出图像生成单元180。

[2-1.成像单元]

成像单元102例如可以实现为具有诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)等成像元件的成像设备。成像单元102可以设置在图像处理设备100外部。成像单元102把通过对诸如图1中示出的环境1的真实空间进行成像获取的图像输出到环境地图生成单元110和输出图像生成单元180作为输入图像。

[2-2.环境地图生成单元]

环境地图生成单元110基于第一存储单元130中存储的后面将要描述的对象的特征数据以及从成像单元102输入的输入图像，生成表示例如真实空间中存在的一个或者更多个物理对象的位置的环境地图。如图4中所示，在此实施例中，环境地图生成单元110包括自身位置检测单元120、第一存储单元130、图像识别单元140、环境地图建立单元150和环境地图存储单元152。

(1)自身位置检测单元

自身位置检测单元120基于第一存储单元130中存储的特征数据以及从成像单元102输入的输入图像，动态地检测对输入图像进行成像的成像设备的位置。例如，即使在成像设备具有单目摄像机的情形中，自身位置检测单元120也可以通过应用Andrew J.Davison’s，“Real-TimeSimultaneous Localization and Mapping with a Single Camera，”Proceedings of the 9th IEEE International Conference on ComputerVision Volume 2，2003，第1403至1410页中公开的SLAM技术针对每个帧确定摄像机的位置和姿态以及摄像机的成像平面上特征点(FP)的位置。

首先，将参照图5描述应用了SLAM技术的自身位置检测单元120中的自身位置检测处理的整体流程。接下来，将参照图6至图8详细描述自身位置检测处理。

图5是示出了应用了SLAM技术的自身位置检测单元120中的自身位置检测处理的流程示例的流程图。在图5中，当自身位置检测处理开始时，自身位置检测单元120首先初始化状态变量(步骤S102)。在此实施例中，状态变量是包括摄像机的位置和姿态(旋转角度)、摄像机的移动速度和角速度以及一个或更多个FP的位置作为元素的向量。自身位置检测单元120从成像单元102按顺序获取输入图像(步骤S112)。可以对每个输入图像(即，每个帧)重复步骤S112至步骤S118的处理。

在步骤S114中，自身位置检测单元120跟踪输入图像中呈现的FP。例如，自身位置检测单元120从输入图像中检测预先存储在第一存储单元130中的每个FP的区块(patch)(例如FP周围3×3＝9个像素的小图像)。后面使用这里检测的区块的位置、即FP的位置更新状态变量。

在步骤S116中，自身位置检测单元120基于给定的预测模型生成例如下一帧的状态变量的预测值。另外，在步骤S118中，自身位置检测单元120使用步骤S116中生成的状态变量的预测值以及根据步骤S114中检测的FP的位置的观测值更新状态变量。自身位置检测单元120基于扩展卡尔曼滤波器的原理执行步骤S116和S118中的处理。

作为这种处理的结果，输出针对每个帧更新后的状态变量的值。在下文中，将更具体地描述跟踪FP(步骤S114)、状态变量的预测(步骤S116)以及更新状态变量(步骤S118)的各个处理的内容。

(1-1)FP的跟踪

在此实施例中，第一存储单元130预先存储表示可以存在于真实空间中的物理对象所对应的对象的特征的特征数据。特征数据包括小图像，即关于一个或更多个FP的区块，每一个例如代表每个对象的外观特征。区块例如可以是由FP周围3×3＝9个像素组成的小图像。

图6示出了对象的两个示例以及每个对象上设置的FP和区块的示例。图6中左边的对象是表示碗柜的对象(见图6a)。在对象上设置包括特征点FP1的多个FP。另外，把区块Pth1定义成与特征点FP1相关联。另一方面，图6中右边的对象是表示日历的对象(见图6b)。在对象上设置包括特征点FP2的多个FP。此外，把区块Pth2定义成与特征点FP2相关联。

当从成像单元102获取了输入图像时，自身位置检测单元120将输入图像中包括的部分图像与第一存储单元130中预先存储的图6中示出的每个FP的区块进行匹配。随后自身位置检测单元120指定输入图像中包括的每个FP的位置(例如检测区块的中心像素的位置)作为匹配的结果。

此外，在FP的跟踪(图5中的步骤S114)过程中，可以不预先在第一存储单元130中存储关于要跟踪的所有FP的数据。例如，在图7的示例中在时间T＝t-1处在输入图像中检测到六个FP(见图7a)。接下来，当摄像机的位置或姿态在时间T＝t处改变时，输入图像中只呈现在时间T＝t-1处在输入图像中呈现的六个FP中的两个FP。在此情形中，自身位置检测单元120可以在呈现输入图像的特性像素模式的位置中新设置FP以及在后续帧的自身位置检测处理中使用新FP。例如，在图7中所示的示例中，在时间T＝t处在对象上设置四个新FP(见图7b)。这是SLAM技术的特性，相应地，使用大量添加的FP可以降低预先设置所有FP的成本并且可以提高处理的准确性。

(1-2)状态变量的预测

在该实施例中，自身位置检测单元120使用下式中所示的状态变量X作为要应用于扩展卡尔曼滤波器的状态变量。

[式1]

$X=\left(\begin{array}{c}x\\ \mathrm{\&omega;}\\ \stackrel{\&CenterDot;}{x}\\ \stackrel{\&CenterDot;}{\mathrm{\&omega;}}\\ p_1\\ .\\ .\\ .\\ p_N\end{array}\right)---\left(1\right)$

式(1)中状态变量X的第一个元素代表摄像机在作为真实空间中设置的坐标系的全局坐标系(x，y，z)中的三维位置，如下式中一样。

[式2]

$x=\left(\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right)---\left(2\right)$

另外，状态变量的第二个元素是将四元数作为与代表摄像机姿态的旋转矩阵对应的元素的四维向量ω。可以使用欧拉角代替四元数来表示摄像机的姿态。另外，状态变量的第三个和第四个元素分别表示摄像机的移动速度和角速度。

另外，状态变量的第五个及后续元素如下式中所示代表特征点FP_i(i＝1...N)在全局坐标系中的三维位置p_i。另外，如上所述，FP的数量N在处理过程中可以改变。

[式3]

$p_i=\left(\begin{array}{c}{x}_i\\ y_i\\ z_i\end{array}\right)---\left(3\right)$

自身位置检测单元120基于步骤S102中初始化的状态变量X的值或者前一帧中更新的状态变量X的值针对最新的帧生成状态变量的预测值。根据下式中所示的根据多维正态分布的扩展卡尔曼滤波器的状态方程生成状态变量的预测值。

[式4]

预测状态变量 $\hat{X}=F(X,a)+w---\left(4\right)$

此处，F表示关于系统的状态转移的预测模型。a表示预测条件。另外，w表示高斯噪声并且例如可以包括模型逼近误差、观测误差等。一般而言，高斯噪声w的平均值是0。

图8是用于示出根据此实施例的预测模型的示例的说明图。参照图8，示出了根据此实施例的预测模型中的两个预测条件。首先，作为第一条件，假定FP在全局坐标系中的三维位置不变。即，假设在时间T处特征点FP1的三维位置是p_T，则满足如下关系。

[式5]

p_t＝p_t-1        (5)

接下来，作为第二条件，假定摄像机的运动是匀速运动。即，对于从时间T＝t-1至时间T＝t摄像机的速度和角速度满足如下关系。

[式6]

${\stackrel{\&CenterDot;}{x}}_t={\stackrel{\&CenterDot;}{x}}_{t-1}---\left(6\right)$

${\stackrel{\&CenterDot;}{\mathrm{\&omega;}}}_t={\stackrel{\&CenterDot;}{\mathrm{\&omega;}}}_{t-1}---\left(7\right)$

自身位置检测单元120基于这种预测模型以及式(4)中所示的状态方程针对最新的帧生成状态变量的预测值。

(1-3)状态变量的更新

自身位置检测单元120例如使用观测公式、估算根据状态变量的预测值预测的观测信息与作为FP跟踪的结果获得的实际观测信息之间的误差。另外，式(8)中的v是误差。

[式7]

观测信息 $s=H\left(\hat{X}\right)+v---\left(8\right)$

预测的观测信息 $\hat{s}=H\left(\hat{X}\right)---\left(9\right)$

此处，H表示观测模型。例如，如下式中定义特征点FP_i在成像平面(u-v平面)上的位置。

[式8]

FP_i在成像平面上的位置 ${\tilde{p}}_i=\left(\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right)---\left(10\right)$

此处，给定摄像机的位置x、摄像机的姿态ω以及特征点FP_i的三维位置p_i中的所有作为状态变量X的元素。随后，根据针孔模型使用下式得出特征点FP_i在成像平面上的位置。

[式9]

$\mathrm{\&lambda;}{\tilde{p}}_i=A{R}_{\mathrm{\&omega;}}(p_i-x)---\left(11\right)$

此处，λ表示用于归一化的参数，A表示摄像机内部参数，R_ω表示与状态变量X中包括的代表摄像机姿态的四元数ω对应的旋转矩阵。根据对输入图像进行成像的成像设备的特性如下式中预先给出摄像机内部参数A。

[式10]

$A=\left(\begin{array}{ccc}-f\&CenterDot;k_u& f\&CenterDot;k_u\&CenterDot;\cot \mathrm{\&theta;}& u_o\\ 0& -\frac{f\&CenterDot;k_v}{\sin \mathrm{\&theta;}}& v_o\\ 0& 0& 1\end{array}\right)---\left(12\right)$

此处，f表示焦距，θ表示图像轴的正交性(理想值是90度)，k_u表示沿着成像平面竖直轴的尺度(scale)(从全局坐标系至成像平面坐标系的尺度的改变率)，k_v表示沿着成像平面水平轴的尺度，(u_o，v_o)表示成像平面的中心位置。

因此，可以通过查找使得使用式(11)得出的预测观测信息、即成像平面上每个FP的位置与图5的步骤S114中FP跟踪的结果之间的误差最小化的状态变量X来获得可行的最新状态变量X。

[式11]

最新状态变量 $X\&LeftArrow;\hat{X}+\mathrm{Innov}(s-\hat{s})---\left(13\right)$

自身位置检测单元120把通过以此方式应用SLAM技术动态更新后的摄像机(成像设备)的位置x和姿态ω输出到环境地图建立单元150和输出图像生成单元180。

(2)第一存储单元

第一存储单元130使用诸如硬盘或半导体存储器等存储介质预先存储表示与真实空间中可以存在的物理对象对应的对象的特征的特征数据。虽然图4中示出了第一存储单元130是环境地图生成单元110的一部分的示例，但本发明不限于这种示例，第一存储单元130可以设置在环境地图生成单元110的外部。图9是示出了特征数据的配置示例的说明图。

参照图9，示出了特征数据FD1作为对象Obj1的示例。特征数据FD1包括对象名称FD11、从六个方向成像的图像数据FD12、区块数据FD13、三维形状数据FD14和本体数据FD15。

对象名称FD11是通过其可以指定相应对象为诸如“咖啡杯A”的名称。

图像数据FD12例如包括通过从前、后、左、右、上和下六个方向对相应对象进行成像获得的六种图像数据。区块数据FD13是针对每个对象上设置的一个或更多个FP围绕每个FP的一组小图像。图像数据FD12和区块数据FD13可以用于图像识别单元140中的对象识别处理，这将在后面进行描述。另外，区块数据FD13可以用于自身位置检测单元120中的上述自身位置检测处理。

三维形状数据FD14包括用于识别相应对象形状的多边形信息以及FP的三维位置信息。三维形状数据FD14可以用于环境地图建立单元150中的环境地图建立处理，这将在后面进行描述。

本体数据FD15例如是可以用来支持环境地图建立单元150中的环境地图建立处理的数据。在图9的示例中，本体数据FD15表明为咖啡杯的对象Obj1更有可能与桌子或洗碗机对应的对象相接触而较不可能与书架对应的对象相接触。

(3)图像识别单元

图像识别单元140使用第一存储单元130中存储的上述特征数据指定输入图像中呈现的物理对象对应的对象。

图10是示出了图像识别单元140中的对象识别处理的流程示例的流程图。参照图10，首先，图像识别单元140从成像单元102获取输入图像(步骤S212)。接下来，图像识别单元140将输入图像中包括的部分图像与特征数据中包括的每个对象的一个或更多个FP的区块匹配以提取输入图像中包括的FP(步骤S214)。图像识别单元140中的对象识别处理中使用的FP以及自身位置检测单元120中的自身位置检测处理中使用的FP并不一定相同。然而，当在两个处理中使用共同的FP时，图像识别单元140可以重新使用自身位置检测单元120所进行的FP跟踪的结果。

接下来，图像识别单元140基于提取FP的结果指定输入图像中呈现的对象(步骤S216)。例如，当在某个区域中以高密度提取属于一个对象的FP时，图像识别单元140可以识别出对象存在于区域中。图像识别单元140把指定对象的对象名称(或标识符)以及属于对象的FP在成像平面上的位置输出到环境地图建立单元150(步骤S218)。

(4)环境地图建立单元

环境地图建立单元150使用从自身位置检测单元120输入的摄像机的位置和姿态、从图像识别单元140输入的FP在成像平面上的位置、以及第一存储单元130中存储的特征数据建立环境地图。在本公开中，环境地图是表示真实空间中存在的一个或更多个对象的位置(和姿态)的一组数据。环境地图例如可以包括对象对应的对象名称、属于对象的FP的三维位置以及形成对象形状的多边形信息。例如，可以通过如下方式建立环境地图：根据上述针孔模型从图像识别单元140输入的FP在成像平面上的位置获得每个FP的三维位置。

通过改变式(11)中所示的针孔模型的关系式，可以通过下式获得特征点FP_i在全局坐标系统中的三维位置p_i。

[式12]

$p_i=x+\mathrm{\&lambda;}\&CenterDot;{R_{\mathrm{\&omega;}}}^T\&CenterDot;A^{-1}\&CenterDot;{\tilde{p}}_i=x+d\&CenterDot;{R_{\mathrm{\&omega;}}}^T\frac{A^{-1}\&CenterDot;{\tilde{p}}_i}{\left|\right|A^{-1}\&CenterDot;{\tilde{p}}_i\left|\right|}---\left(14\right)$

此处，d表示全局坐标系统中摄像机与每个FP之间的距离。环境地图建立单元150可以针对每个对象基于至少四个FP在成像平面上的位置以及FP之间的距离计算这一距离d。FP之间的距离预先存储在第一存储单元130中作为参照图9描述的特征数据中包括的三维形状数据FD14。另外，日本专利申请特开平公开No.2008-304268中详细公开了计算式(14)中的距离d的处理。

在计算距离d之后，式(14)右侧的其余变量是从自身位置检测单元120输入的摄像机的位置和姿态以及从图像识别单元140输入的FP在成像平面上的位置，所有这些是已知的。随后环境地图建立单元150根据式(14)计算从图像识别单元140输入的每个FP在全局坐标系统中的三维位置。环境地图建立单元150根据每个计算的FP的三维位置建立最新的环境地图并允许环境地图存储单元152存储建立的环境地图。另外，在此情形中，环境地图建立单元150可以使用参照图9描述的特征数据中包括的本体数据FD15提高环境地图的数据的准确性。

环境地图存储单元152使用诸如硬盘或半导体存储器等存储介质、存储环境地图建立单元150建立的环境地图。

[2-3.输出图像生成单元]

输出图像生成单元180使用环境地图生成单元110生成的环境地图来生成用于向用户呈现图像处理设备100的通信手段中通信的状态的输出图像，并在屏幕104上显示生成的输出图像。如图4中所示，在本实施例中，输出图像生成单元180包括通信控制单元184、信息生成单元186、第二存储单元188、位置计算单元190、以及图像叠加单元192。

(1)通信控制单元

通信控制单元184控制图像处理设备100经由通信接口与其它通信设备的通信。通信控制单元184把与其它通信设备通信的状态输出到信息生成单元186。通信控制单元184控制的通信可以是任何类型通信业务的通信。

图11是示出了可以在图像处理设备100中处理的通信业务与每个通信业务中通信的状态之间的对应示例的说明图。在图11的左侧列出了五种通信业务，在右侧示出了各业务对应的状态的示例。例如，可以在图像处理设备100中处理的通信业务包括诸如电子邮件、短消息业务(SMS)、以及IP语音(VoIP)等应用业务。通信控制单元184可以输出例如诸如“发送邮件”、“接收邮件”、“发送(接收)完成”、以及“发送(接收)失败”的状态作为电子邮件的通信状态。另外，通信控制单元184可以输出例如诸如“发送消息”、“发送完成”、以及“发送失败”的状态作为SMS的通信状态。另外，通信控制单元184可以输出例如诸如呼叫和繁忙的状态作为VoIP的通信状态。另外，例如，可以在图像处理设备100中处理的通信业务包括诸如无线接入(用无线AP的连接)和红外线数据协会(IrDA)通信的中间件业务。通信控制单元184可以输出例如诸如尝试接入和连接的状态，作为无线接入的通信状态。另外，通信控制单元184可以输出例如诸如尝试接入和数据通信的状态，作为IrDA通信的通信状态。在本公开中，将在下文中描述通信控制单元184主要处理电子邮件和无线接入的通信状态的示例。然而，应当理解，本发明可以应用于其它类型的通信业务。

在本实施例中，当通信控制单元184把经由通信接口的通信的状态输出到信息生成单元186时，通信控制单元184还把与每个状态有关的参数输出到信息生成单元186。例如，从通信控制单元184输出到信息生成单元186的参数可以包括用于标识通信方、通信速率、无线电信号的接收电平(在无线通信的情形中)等的标识数据。用于标识通信方的标识数据可以是例如电子邮件的目的(或源)地址、SMS的昵称、无线AP的AP标识符、或者通信方的IP地址或MAC地址。

图4中只示出了一个通信控制单元184。这种通信控制单元184可以按统一方式处理多种类型通信业务的状态。可替选地，可以为每种类型的通信业务设置多个通信控制单元184。

(2)信息生成单元

信息生成单元186使用从环境地图生成单元110获取的环境地图以及成像设备的位置来生成用于在屏幕上显示从通信控制单元184输入的通信状态的动画数据。

在本实施例中，信息生成单元186生成的动画数据可以是与环境地图相关联的、表示通信状态的三维动画。可替选地，动画数据可以是例如用于控制要显示的动画的控制参数(标明动画的类型、位置、运动等的信息)。

图12是示出了根据本实施例的动画数据生成处理的流程示例的流程图。在下文中，将参照图13至图17描述图12中示出的动画数据生成处理的流程。

首先，信息生成单元186根据从通信控制单元184输入的通信状态以及通信业务的类型确定动画的类型(步骤S302)。图13示出了预先存储在第二存储单元188中的状态动画对应表188a的数据示例。参照图13，例如，当通信业务的业务类型是电子邮件且状态是“发送邮件”时，信息生成单元186确定要以动作者出的形式生成动画。动作者参考用于表示状态的诸如动物、人、或者物理对象的虚拟角色。当业务类型是电子邮件时，信息生成单元186在状态表示“接收邮件”的情况下确定要以动作者入的形式生成动画、在状态表示“完成”的情况下确定要以动作者到达终点的形式生成动画、以及在状态表示“失败”的情况下确定要以动作者返回的形式生成动画。另外，当业务类型是无线接入时，信息生成单元186在状态表示“尝试接入”时确定要以箭头延伸到无线AP的形式生成动画、以及在状态表示“连接”的情况下确定要以线缆连接到无线AP的形式生成动画。动画的类型只是示例。

接下来，信息生成单元186根据通信方的位置确定动画的起点和终点(即，动画的移动方向)(步骤S304)。动画的起点和终点分别是指发起动画运动的环境地图中的位置、以及作为动画运动目的地的环境地图中的位置。图14示出了预先存储在第二存储单元188中的起点和终点确定表118b的数据示例。例如，在起点和终点确定表118b中，电子邮件的通信方分类成注册用户和非注册用户。注册用户是指例如图像处理设备100的用户的朋友用户，即预先在第二存储单元188中注册了其邮件地址和在真实空间中的位置的用户。注册用户在真实空间中的位置并不一定是用户实际存在的位置。例如，图像处理设备100的用户可以预先注册任何位置，诸如家庭的房间位置、公司同事的办公室位置、以及朋友的家庭位置。参考起点和终点确定表118b，当向注册用户发送电子邮件时，动画的起点是自身位置(成像设备的位置)，终点是预先注册了的(注册用户的)位置。另外，当从注册用户接收电子邮件时，动画的起点是预先注册的位置，终点是自身位置。另外，当向非注册用户发送电子邮件时，动画的起点是自身位置，终点是环境地图中窗口的位置。另外，当从非注册用户接收电子邮件时，动画的起点是环境地图中窗口的位置，终点是自身位置。此外，当执行无线接入时，通信方是无线AP，动画的起点是自身位置，终点是环境地图中无线AP的位置。此外，当执行无线接入时，可以把可以预先注册的通信接口182的位置而非作为成像设备位置的自身位置定义成动画的起点。信息生成单元186通过参考这种起点和终点确定表118b根据通信方的位置确定动画的起点和终点。

接下来，信息生成单元186使用环境地图、确定连接步骤S304中确定的起点与终点的动画的路线(步骤S306)。例如，信息生成单元186可以把避开环境地图中存在的障碍的路线确定为动画的路线。另外，例如，当动画从室内去到室外时，信息生成单元186可以把穿过窗口或门而非墙壁的路线确定为动画的路线。另外，例如，信息生成单元186可以把动作者沿着诸如桌子等物理对象的表面移动的路线确定为动画的路线。

图15和图16示出了信息生成单元186可以确定的动画路线的两个示例。然而，为了便于说明，在图15和图16中在二维屏幕上示出了路线，事实上，信息生成单元186在三维环境地图中确定动画的路线。

参照图15，斜线区域S01示出了动画起点的位置。另外，斜线区域E01示出了动画终点的位置。起点位置S01例如是成像设备的位置。另一方面，终点位置E01例如是无线AP的位置(包括附近)。在图15的示例中，信息生成单元186把避开咖啡杯12的路线确定为动画的路线，这是因为咖啡杯12呈现为连接起点位置S01与终点位置E01之间的线路上的障碍。另外，动画路线的前一半沿着桌子11的表面延伸。

参照图16，斜线区域S02示出了动画起点的位置。另外，斜线区域E02示出了动画终点的位置。起点位置S02例如是成像设备的位置。另一方面，终点位置E02例如是预先注册的注册用户的位置。在图16的示例中，信息生成单元186把穿过窗口15的路线确定为动画的路线，这是因为终点位置E02在室外。

接下来，信息生成单元186根据与从通信控制单元184输入的通信状态相关的参数、比如通信速率或接收电平，改变动画的运动或动画的类型(步骤S308)。图17示出了预先存储在第二存储单元188中的参数动画对应表188c的数据示例。例如，当通信速率为高(例如，10MBps或更高)时，信息生成单元186把动画显示的动作者设置为飞机。另外，例如，当通信速率为低(例如，小于10MBps)时，信息生成单元186把动画显示的动作者设置为鸽子。另外，例如，当无线电信号的接收电平为高时，信息生成单元186把沿着步骤S306中确定的路线的动画的移动速度设置为高。另外，例如，当无线电信号的接收电平为中等时，信息生成单元186把沿着路线的动画的移动速度设置为中等。另外，例如，当无线电信号的接收电平为低时，信息生成单元186把沿着路线的动画的移动速度设置为低。

信息生成单元186通过这种动画数据生成处理生成动画数据作为三维动画的信息，并且把生成的动画数据输出到位置计算单元190和图像叠加单元192。

(3)第二存储单元

第二存储单元188使用诸如硬盘或半导体存储器的存储介质、如上所述预先存储状态动画对应表188a、起点和终点确定表118b以及参数动画对应表188c。除了这些表之外，第二存储单元188还存储例如作为动画的主题的角色的三维图像数据。

(4)位置计算单元

位置计算单元190使用从环境地图生成单元110获取的成像设备的位置和姿态，根据针孔模型的式(11)计算要在输入图像上叠加根据信息生成单元186生成的动画数据的动画的位置。在此情形中，用信息生成单元186生成的动画数据中包括的动画的三维位置替代式(11)右侧的特征点FP_i的三维位置p_i。另外，由于本实施例中的动画跨越多个输入图像具有运动，所以位置计算单元190可以计算跨越多个输入图像改变的动画的输入图像中的一组位置。另外，例如，位置计算单元190还可以计算与动作者的方向对应的输入图像中动画的姿态。

(5)图像叠加单元

图像叠加单元192通过在从成像单元102输入的一组输入图像上叠加根据信息生成单元186生成的动画数据的动画生成输出图像以显示通信状态。图像叠加单元192把生成的输出图像输出到屏幕104。

[2-4.输出图像的示例]

图18和图19示出了本实施例中可以在屏幕104上显示的输出图像的示例。

参照图18，为方便起见，在一个说明图中表示了其上叠加了表示通信状态的一组动画A11至A15的输出图像Im11至Im15。事实上，可以沿着时间轴按次序在输出图像Im11上叠加动画A11、在输出图像Im12上叠加动画A12、在输出图像Im13上叠加动画A13、在输出图像Im14上叠加动画A14、以及在输出图像Im15上叠加动画A15。图18中所示的动画是箭头形状的。因而，可以使用更简单的图作为动画，而非作为虚拟角色的动作者。在图18的示例中，按次序显示动画A11至A15，使得用户可以识别出例如图像处理设备100正尝试接入无线AP 14。在此情形中，例如，当用户把成像设备移动到右边时，无线AP 14的位置在输出图像中向左方移动，动画的终点(箭头运动的终点)向左方移动。另外，例如，在图像处理设备100中，当来自无线AP 14的无线电信号的接收电平为高时，一组动画在输出图像中以高速移动。另一方面，当来自无线AP 14的无线电信号的接收电平为低时，这组动画在输出图像中缓慢移动。另外，例如，当图像处理设备100成功地接入无线AP 14时，沿着连接在图像处理设备100与无线AP 14之间的线缆改变动画。另一方面，当图像处理设备100接入无线AP 14失败时，例如，可以显示x标记，而非作为箭头的动画A15。示出真实空间的输出图像中的这多种状态指示使得用户可以通过图像处理设备100直观地识别通信的状态。

参照图19，为方便起见，在一个说明图中表示了叠加了表示通信状态的一组动画A21至A24的输出图像Im21至Im24。事实上，可以沿着时间轴按次序在输出图像Im21上叠加动画A21、在输出图像Im22上叠加动画A22、在输出图像Im23上叠加动画A23、以及在输出图像Im24上叠加动画A24。图19中所示的动画是模拟信鸽的角色。在图19的示例中，按次序显示动画A21至A24，使得用户可以识别出例如正向房屋外部某处的朋友发送电子邮件。在此情形中，在输出图像Im21至Im24中，信鸽A21至A24在避开咖啡杯12的情况下通过窗口15飞向室外。另外，例如，当图像处理设备100使用的通信手段的通信速率为高时，可以显示模拟飞机的角色，而非信鸽。因此，如同执行涉及真实空间中实体的通信(在此情形中，信鸽或飞机所进行的信件交换)一样通过用户的视觉体验视觉感，提供了通信中的娱乐。另外，例如，当电子邮件的发送失败时，可以显示表示信鸽在它的嘴里持有信件的情况下回来的动画。

<3.硬件配置的示例>

另外，不论通过硬件或软件实现根据上述实施例的这组处理都可以。当通过软件执行这组处理或者处理中的某一些时，例如使用图20中所示的专用硬件或通用计算机中结合的计算机执行构成软件的程序。

在图20中，中央处理单元(CPU)902控制通用计算机的整体操作。描述这组中的一些或所有处理的程序或数据存储在只读存储器(ROM)904中。当执行处理时，把CPU 902使用的程序和数据暂时存储在随机访问存储器(RAM)906中。

CPU 902、ROM 904和RAM 906经由总线910彼此相连。输入/输出接口912进一步连接到总线910。

输入/输出接口912是用以把CPU 902、ROM 904和RAM 906与输入设备920、显示设备922、存储设备924、成像设备926和驱动器930相连的接口。

输入设备920经由诸如按钮、开关、控制杆、鼠标或键盘等输入接口接收从用户输入的指令或信息。显示设备922例如包括阴极射线管(CRT)、液晶显示器、有机发光二极管(OLED)等，并且在其屏幕上显示图像。

存储设备924例如包括硬盘驱动器或半导体存储器，并且存储程序和数据。成像设备926对应于上述成像单元102的硬件并且使用诸如CCD或CMOS的成像元件对真实空间进行成像。例如根据需要在通用计算机中设置驱动器930，以及在驱动器930中安装可移除介质932。

在通过软件执行这组处理的情形中，当执行时，图26中示出的ROM904、存储设备924、或者可移除介质932中存储的程序读取到RAM 906中，然后由CPU 902执行。

<4.应用示例>

除了上述实施例之外，本公开中描述的显示通信状态的方法的各种应用也是可行的。例如，可以通过输入图像上叠加的动画显示根据无线LAN设置的安全风险程度。另外，例如，当在用户之间交换游戏的项目时，可以在输入图像上叠加持有项目的角色。另外，例如，通过动画显示与火车站或商业设施中设置的无线AP的通信状态，使得可以提供去往具体商店或路线的道路方向。

<5.结论>

已参照图1至图20描述了本发明的实施例。根据本实施例，使用以三维方式表示真实空间中存在的物理对象的位置的环境地图，生成表示通信状态的各种动画。在屏幕上显示通过在输入图像上叠加动画生成的输出图像。因此，用户可以更直观地识别通信的状态。另外，由于用户的体验如同执行涉及真实空间中的实体的通信一样，所以还可以向用户提供通信中的娱乐。另外，由于通常不可见的通信的状态显得涉及真实空间中的实体，所以可以减小用户感到的压力。另外，基于使用SLAM技术以及摄像机的位置和姿态动态更新的三维环境地图的内容生成动画。因此，即使当使用其位置或姿态可能时刻改变的摄像机(例如，用户持有的移动电话终端的摄像机)时，也可以在图像中的适当位置上叠加动画。

虽然以上已经参照附图描述了本发明的优选实施例，但是本发明当然不限于以上示例。本领域的技术人员可以在所附权利要求的范围内做出各种变换和修改，应当理解，它们将自然落入本发明的技术范围内。

本申请包含与2010年2月2日提交于日本专利局的日本在先专利申请JP 2010-021369中公开的主题相关的主题，其全部内容通过引用合并于此。

Claims (11)

1.一种图像处理设备，包括：

数据存储单元，其中存储有特征数据，所述特征数据表示一个或更多个物理对象的外观特征；

环境地图建立单元，用于基于通过使用成像设备对真实空间进行成像获得的输入图像以及所述数据存储单元中存储的所述特征数据建立环境地图，所述环境地图代表所述真实空间中存在的物理对象的位置；

信息生成单元，用于使用所述环境地图建立单元建立的所述环境地图生成用于在屏幕上显示经由通信接口的通信的状态的动画数据；以及

图像叠加单元，用于通过在所述输入图像上叠加根据所述信息生成单元生成的动画数据的动画来生成输出图像。

2.如权利要求1所述的图像处理设备，

其中，所述信息生成单元根据所述环境地图代表的真实空间中物理对象的位置来确定所述动画的运动。

3.如权利要求1所述的图像处理设备，

其中，所述信息生成单元根据通信方的位置确定所述动画的移动方向。

4.如权利要求1所述的图像处理设备，

其中，所述信息生成单元根据通信的速率确定所述动画的运动或所述动画的类型。

5.如权利要求1所述的图像处理设备，

其中，所述通信是无线通信，以及

所述信息生成单元根据所述通信中无线电信号的接收电平来确定所述动画的运动或所述动画的类型。

6.如权利要求1所述的图像处理设备，

其中，所述信息生成单元根据所述通信是否成功来改变所述动画的运动。

7.如权利要求1所述的图像处理设备，

其中，所述信息生成单元根据通过所述通信实现的通信服务的类型来确定所述动画的运动或所述动画的类型。

8.如权利要求1所述的图像处理设备，

其中，所述动画是代表虚拟角色的动画。

9.如权利要求1所述的图像处理设备，

其中，所述图像处理设备还包括检测单元，用于基于所述输入图像和所述特征数据动态地检测所述成像设备在所述真实空间中的位置，以及

根据所述检测单元检测出的所述成像设备在所述真实空间中的位置来计算所述输入图像中叠加所述动画的位置。

10.一种图像处理设备中的图像处理方法，所述图像处理设备包括其中存储有特征数据的存储介质，所述特征数据表示一个或更多个物理对象的外观特征，所述方法包括以下步骤：

获取通过使用成像设备对真实空间进行成像获得的输入图像；

基于所述输入图像和所述特征数据建立环境地图，所述环境地图代表所述真实空间中存在的物理对象的位置；

使用所述环境地图生成用于在屏幕上显示经由通信接口的通信的状态的动画数据；以及

通过在所述输入图像上叠加根据所述动画数据的动画来生成输出图像。

11.一种程序，用于使得控制图像处理设备的计算机运行如下，其中所述图像处理设备包括其中存储有特征数据的存储介质，所述特征数据表示一个或更多个物理对象的外观特征：

环境地图建立单元，用于基于通过使用成像设备对真实空间进行成像获得的输入图像以及所述特征数据建立环境地图，所述环境地图代表所述真实空间中存在的物理对象的位置；

信息生成单元，用于使用所述环境地图建立单元建立的所述环境地图生成用于在屏幕上显示经由通信接口的通信的状态的动画数据；以及

图像叠加单元，用于通过在所述输入图像上叠加根据所述信息生成单元生成的动画数据的动画来生成输出图像。

Images