CN102141885B - 图像处理设备和图像处理方法 - Google Patents

Abstract

提供一种图像处理设备和图像处理方法，所述图像处理设备包括：数据存储单元，存储表示一个或更多物理对象的外观特征的特征数据；环境映射建立单元，基于通过对真实空间进行成像获得的输入图像以及特征数据来建立环境映射，所述环境映射表示在真实空间中呈现的物理对象的位置；控制单元，用于针对要在真实空间中被执行的操作的过程集合来获取过程数据，所述过程数据限定在每个过程的说明与表示所述说明要被显示的位置的位置信息之间的对应关系；以及叠加单元，用于通过以下方式生成输出图像：使用过程数据，将每个过程的说明叠加在基于环境映射与位置信息而确定的在输入图像中的位置处。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及图像处理设备、图像处理方法。

背景技术

近来，称为增强现实(AR)的技术正受到关注，在该技术中，通过对真实空间进行成像来获得的图像被处理然后呈现给用户。在AR技术中，例如，与输入图像中呈现的真实空间中的物理对象有关的有用信息可以插入到图像中，并且作为输出图像而输出。也就是说，在AR技术中，通常，呈现给用户的图像的大部分显示真实空间，而图像的一部分可以根据目的而被处理。这种特性使之与虚拟现实形成对照，在虚拟现实中，输出图像的全部(或大部分)是使用计算机图形(CG)创作的。通过使用AR技术，例如，可以提供的优点诸如有：用户容易识别真实空间的情境或基于输出图像的操作支持。

在AR技术中，为了将实际上有用的信息呈现给用户，重要的是，计算机精确地识别真实空间的情境。因此，已经开发了作为AR技术的基础的旨在识别真实空间的情境的技术。例如，日本专利申请特开公开公布No.2008-304268公开了一种方法，其通过应用称为同时定位和映射(SLAM)的技术来动态地生成表示真实空间中存在的物理对象的三维位置的环境映射，同时定位和映射能够同时估计相机的位置和姿态以及相机的图像中显示的特征点的位置。此外，使用单目相机的SLAM技术的基本原理公开于Andrew J.Davison的“Real-Time SimultaneousLocalization and Mapping with a Single Camera(用单照相机实时同时定位和映射)，”Proceedings of the9th IEEE International Conference onComputer Vision Volume2，2003，第1403-1410页中。

现在，能够执行增强型信息处理的信息终端得以广泛使用，并且用户使用这些信息终端来浏览各种信息。所述信息的示例包括说明书。例如，描述要在真实空间中执行的操作过程的各种信息(诸如餐桌礼仪、烹饪过程、操控或者修理电器的方法等以及电子设备的说明书)被做成电子形式并且经由网页或其它应用而提供给用户。

发明内容

然而，现有的电子说明书通常是基于电子说明书显示在二维屏幕上、很像纸张说明书的前提来描述的。因此，关于三维真实空间中的操作的位置的某种信息被遗漏，常使得用户难以直观地理解操作过程。具体地说，对于用户周围的环境可以动态改变的真实空间中的操作，这样的环境未在方向上得以描述，使得更加难以理解说明书。

因此，如果可以动态地建立以三维方式来表示用户周围环境的环境映射，并且用于每个操作过程的说明书可以显示在与环境映射相关联的位置，则操作过程应为用户直观且容易地理解。

鉴于前述情况，期望提供一种图像处理设备、图像处理方法及程序，其允许通过应用环境映射来直观且容易地理解真实空间中所执行的操作过程。

根据本发明实施例，提供一种图像处理设备，包括：数据存储单元，在数据存储单元中存储有特征数据，所述特征数据表示一个或更多物理对象的外观特征；环境映射建立单元，用于基于使用成像设备对真实空间进行成像获得的输入图像以及在数据存储单元中存储的特征数据来建立环境映射，所述环境映射表示在真实空间中呈现的物理对象的位置；控制单元，用于针对要在真实空间中被执行的操作的过程集合来获取过程数据，所述过程数据限定在每个过程的说明与表示说明要被显示的位置的位置信息之间的对应关系；以及叠加单元，用于通过以下方式生成输出图像：使用由控制单元获取的过程数据，将过程集合中包括的每个过程的说明叠加在基于环境映射与位置信息而确定的在输入图像中的位置处。

根据这样的配置，根据过程数据的限定，要在真实空间中被执行的操作的过程集合中包括的每个过程的说明被叠加在基于以三维方式表示在真实空间中呈现的物理对象的位置的环境映射而确定的在输入图像中的位置处。

位置信息可以通过指定与每个过程的说明相关的物理对象来指定说明要被显示在环境映射中的位置。

过程数据可以限定在每个过程的说明与用于使每个说明的显示进展的条件之间的另一对应性。

用于使每个说明的显示进展的条件可以包括与由环境映射表示的物理对象的位置或姿态相对应的条件。

控制单元可以根据过程数据来控制过程集合中包括的每个过程的说明。

图像处理设备还可以包括检测单元，用于基于输入图像和特征数据来动态地检测成像设备在真实空间中的位置，以及可以根据由检测单元检测到的成像设备在真实空间中的位置来确定每个过程的说明要被叠加在输入图像中的位置。

根据本发明另一实施例，提供一种图像处理设备中的图像处理方法，所述图像处理设备包括存储介质，在存储介质中存储有特征数据，特征数据表示一个或更多物理对象的外观特征，所述方法包括以下步骤：获取使用成像设备对真实空间进行成像获得的输入图像；基于输入图像和特征数据来建立环境映射，环境映射表示在真实空间中呈现的物理对象的位置；针对要在真实空间中被执行的操作的过程集合来获取过程数据，过程数据限定在每个过程的说明与表示说明要被显示的位置的位置信息之间的对应关系；以及通过以下方式生成输出图像：使用所获取的过程数据，将过程集合中包括的每个过程的说明叠加在基于环境映射与位置信息而确定的在输入图像中的位置处。

根据本发明另一实施例，提供一种用于使计算机作为以下单元工作的程序，所述计算机控制包括存储介质的图像处理设备，在存储介质中存储有特征数据，特征数据表示一个或更多物理对象的外观特征：环境映射建立单元，用于基于使用成像设备对真实空间进行成像获得的输入图像以及特征数据来建立环境映射，环境映射表示在真实空间中呈现的物理对象的位置；控制单元，用于针对要在真实空间中被执行的操作的过程集合来获取过程数据，过程数据限定在每个过程的说明与表示说明要被显示的位置的位置信息之间的对应关系；以及叠加单元：用于通过以下方式生成输出图像：使用由控制单元获取的过程数据，将过程集合中包括的每个过程的说明叠加在基于环境映射与位置信息而确定的在输入图像中的位置处。

如上所述，根据本发明实施例中的图像处理设备、图像处理方法以及程序，可以使得能够通过应用环境映射来直观且容易地理解在真实空间中执行的操作过程。

附图说明

图1A是示出根据实施例的可以使用图像处理设备的环境的第一示例的示意图；

图1B是示出根据实施例的可以使用图像处理设备的环境的第二示例的示意图；

图2A是用于示出根据实施例的图像处理设备的第一说明图；

图2B是用于示出根据实施例的图像处理设备的第二说明图；

图3A是示出可以在图1A所示的真实环境中获取的输入图像的示例的说明图；

图3B是示出可以在图1B所示的真实环境中获取的输入图像的示例的说明图；

图4是示出根据实施例的图像处理设备的配置的示例的框图；

图5是示出根据实施例的自身位置检测处理的流程的示例的流程图；

图6是用于示出对象上设置的特征点的说明图；

图7是用于示出特征点的添加的说明图；

图8是用于示出预测模型的示例的说明图；

图9是用于示出特征数据的配置示例的说明图；

图10是示出根据实施例的对象识别处理的流程示例的流程图；

图11是用于示出在实施例中可以获取的过程数据的示例的说明图；

图12是示出根据实施例的过程控制处理的流程的示例的流程图；

图13是示出根据实施例的过程显示处理的流程的示例的流程图；

图14是示出通过根据实施例的图像处理设备而输出的输出图像的第一示例的说明图；

图15是示出通过根据实施例的图像处理设备而输出的输出图像的第二示例的说明图；以及

图16是示出通用计算机的硬件配置的示例的框图。

具体实施方式

下文中，将参照附图详细描述本发明的优选实施例。注意，在该说明书以及附图中，用相同的附图标记来表示实质上具有相同功能和结构的结构元件，并且省略这些结构性元件的重复说明。

此外，“具体实施方式”将是按以下顺序描述的。

1.图像处理设备的概述

2.根据实施例的图像处理设备的配置

2-1.成像单元

2-2.环境映射生成单元

2-3.输出图像生成单元

2-4.输出图像的示例

3.硬件配置的示例

4.结论

<1.图像处理设备的概述>

首先，将参照图1A至图3B描述根据本发明实施例的图像处理设备的概述。图1A和图1B分别示出环境1a和1b，例如，其中，可以使用根据本发明实施例的图像处理设备100。

参照图1A，水槽11、切肉板12、碗13、炉灶14、微波炉15以及其它物理对象呈现在环境1a中。也就是说，环境1a是与作为用户准备食物的真实空间的厨房相对应的环境。同时，参照图1B，餐桌16、椅子17、碟子18、杯子19和20以及其它物理对象呈现在环境1b中。也就是说，环境1b是与作为用户进餐的真实空间的饭厅(或饭厅的客人坐席)相对应的环境。

图2A和图2B是用于示出可以在例如以上所描述的环境1a或1b内使用的图像处理设备100的说明图。

参照图2A，示出图像处理设备100a，包括安装到用户的主体101a、成像设备102a以及显示设备104a。主体101a包括中央处理单元(CPU)、存储介质等，CPU用于在图像处理设备100中执行图像处理(后面将详细描述)。成像设备102a在与用户注视的相同方向上安装到用户的头部，以对环境1a或1b的内部进行成像，从而生成输入图像集。图像处理设备100a使用由成像设备102a生成的输入图像集作为输入来执行图像处理，以生成输出图像集。由图像处理设备100a生成的输出图像由显示设备104a显示。显示设备104a是安装到用户头部的头部安装显示器。显示设备104a可以是例如透视显示器。

参照图2B，示出图像处理设备100b，比如用户所握持的移动电话终端。图像处理设备100b是例如带有成像设备的移动电话终端，并且包括成像设备(例如提供于显示设备104b的后部)和显示设备104b。图像处理设备100b包括CPU、存储介质等，CPU用于在图像处理设备100中执行图像处理(后面将详细描述)。

在本公开内容中，当图像处理设备100a和100b不必彼此区分时，省略附图标记的字母以将图像处理设备100a和100b统称为图像处理设备100。此外，这也适用于成像设备102a和102b(成像设备102)、显示设备104a和104b(显示设备104)以及其它元件。

图3A和图3B分别是示出例如通过成像设备102对环境1a和1b进行成像所获取的输入图像106a和106b的说明图。

参照图3A，切肉板12、炉灶14、厨用刀具21、调味盒22和其它物理对象显示于输入图像106a中。输入图像106a是与在环境1a中准备食物的用户的视野中所示的图像相同的图像。图像处理设备100使用成像设备102来获取包括这样的输入图像106a的输入图像集，并且将烹饪过程的说明叠加在每个输入图像上。

参照图3B，餐桌16、餐碟18、餐杯19和20、餐刀23、餐叉24、餐巾25和其它物理对象显示于输入图像106b中。输入图像106b是与在环境1b中用餐的用户的视野中所示的图像相同的图像。图像处理设备100使用成像设备102来获取包括这样的输入图像106b的输入图像集，并且将用于在进餐期间的餐桌礼仪的说明叠加在每个输入图像上。

在下面的部分将更详细地描述这种图像处理设备100的配置的示例。

<2.根据实施例的图像处理设备的配置>

图4是示出根据本发明实施例的图像处理设备100的配置示例的框图。参照图4，图像处理设备100包括成像单元102、环境映射生成单元110以及输出图像生成单元180。

[2-1.成像单元]

例如，成像单元102可以实现为具有成像元件(例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS))的成像设备。成像单元102可以提供于图像处理设备100的外侧。成像单元102将通过对真实空间(例如环境1a或环境1b)进行成像所获取的图像输出到环境映射生成单元110和输出图像生成单元180作为输入图像。

[2-2.环境映射生成单元]

环境映射生成单元110基于从成像单元102输入的输入图像以及数据存储单元130中存储的对象的特征数据(将在后面描述)来生成表示例如真实空间中呈现的一个或更多个物理对象的位置的环境映射。如图4所示，在该实施例中，环境映射生成单元110包括自身位置检测单元120、数据存储单元130、图像识别单元140、环境映射建立单元150以及环境映射存储单元152。

(1)自身位置检测单元

自身位置检测单元120基于从成像单元102输入的输入图像以及在数据存储单元130中存储的特征数据来动态检测拍摄输入图像的成像设备的位置。例如，即使在成像设备具有单目相机的情况下，自身位置检测单元120也可以通过应用Andrew J.Davison的“Real-Time SimultaneousLocalization and Mapping with a Single Camera，”Proceedings of the9thIEEE International Conference on Computer Vision Volume2，2003，第1403-1410页中公开的SLAM技术来针对每一帧确定相机的位置和姿态以及相机的成像平面上特征点(FP)的位置。

首先，将参照图5描述应用了SLAM技术的自身位置检测单元120中的自身位置检测处理的整个流程。接下来，参照图6至图8描述自身位置检测处理。

图5是示出应用了SLAM技术的自身位置检测单元120中的自身位置检测处理的流程示例的流程图。在图5中，在自身位置检测处理开始时，自身位置检测单元120首先对状态变量进行初始化(步骤S102)。在该实施例中，状态变量是矢量，该矢量包括相机的位置和姿态(旋转角)、相机的移动速度和角速度以及一个或更多个FP的位置作为元素。自身位置检测单元120然后从成像单元102依次获得输入图像(步骤S112)。从步骤S112到步骤S118的处理可以针对每个输入图像(即每一帧)重复进行。

在步骤S114中，自身位置检测单元120跟踪输入图像中呈现的特征点。例如，自身位置检测单元120从输入图像中检测在数据存储单元130中预先存储的每个FP的斑块(例如FP周围3x3＝9个像素的小块图像)。此处检测到的斑块的位置(即FP的位置)用于稍后更新状态变量。

在步骤S116中，自身位置检测单元120基于给定的预测模型来生成例如下一帧的状态变量的预测值。此外，在步骤S118中，自身位置检测单元120使用在步骤S116中生成的状态变量的预测值以及根据在步骤S114中检测到的FP的位置的观测值来更新状态变量。自身位置检测单元120基于扩展卡尔曼滤波器(Kalman filter)的原理来执行步骤S116和S118中的处理。

作为这种处理的结果，输出针对每一帧更新的状态变量的值。下文中，将更具体地描述以下各个处理的内容：跟踪FP(步骤S114)、预测状态变量(步骤S116)以及更新状态变量(步骤S118)。

(1-1)跟踪FP

在该实施例中，数据存储单元130预先存储指示与可以在真实空间中呈现的物理对象相对应的对象的特征的特征数据。例如，特征数据包括小块图像，即关于一个或更多个FP的斑块，每个都表示每一对象的外观特征。例如，斑块可以是包括FP周围3×3＝9个像素的小块图像。

图6示出对象的两个示例以及每个对象上设置的特征点和斑块的示例。图6中的左边对象是表示抽屉的对象(见图6a)。包括特征点FP1的多个FP设置于对象上。此外，斑块Pth1定义为关联于特征点FP1。另一方面，图6中的右边对象是表示日历的对象(见图6b)。包括特征点FP2的多个FP设置于对象上。此外，斑块Pth2定义为关联于特征点FP2。

当从成像单元102获取输入图像时，自身位置检测单元120使输入图像中包括的部分图像与在数据存储单元130中预先存储的图6所示的每个FP的斑块进行匹配。作为匹配的结果，自身位置检测单元120然后指定输入图像中包括的每个FP的位置(例如，检测到的斑块的中心像素的位置)。

此外，在跟踪FP时(图5中的步骤S114)，与要被跟踪的所有FP有关的数据可以不预先存储于数据存储单元130中。例如，在图7的示例中，在时间T＝t-1在输入图像中检测到六个FP(见图7a)。接下来，当相机的位置或姿态在时间T＝t改变时，在时间T＝t-1在输入图像中呈现的这六个像素中的仅两个呈现在输入图像中。在此情况下，自身位置检测单元120可以重新设置输入图像的特征像素图案得以呈现的位置中的特征点，并且将这些新的特征点用在自身位置检测处理中，以用于后续帧。例如，在图7所示的示例中，四个新的FP得以在时间T＝t设置在对象上(见图7b)。这是SLAM技术的特性，因此，可以减少预先设置所有特征点的成本，并且可以使用很多添加的特征点来改进处理的精度。

(1-2)预测状态变量

在该实施例中，自身位置检测单元120使用以下方程中示出的状态变量X作为要应用于扩展卡尔曼滤波器的状态变量。

[方程1]

$X=\left(\begin{array}{c}x\\ \mathrm{\&omega;}\\ \stackrel{\&CenterDot;}{x}\\ \stackrel{\&CenterDot;}{\mathrm{\&omega;}}\\ P_1\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ P_N\end{array}\right)---\left(1\right)$

方程(1)中状态变量X的第一元素表示相机在作为真实空间中设置的坐标系统的全局坐标系统(x，y，z)中的三维位置，如以下方程中那样。

[方程2]

$x=\left(\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right)---\left(2\right)$

此外，状态变量的第二元素是四维矢量ω，该四维矢量ω把四元数(quaternion)作为与表示相机姿态的旋转矩阵相对应的元素。可以使用欧拉角替代四元数来表示相机的姿态。此外，状态变量的第三元素和第四元素分别表示相机的移动速度和角速度。

此外，状态变量的第五元素以及后续元素表示特征点FP_i(i＝1...N)在全局坐标系统中的三维位置p_i，如以下方程所示。此外，如上所述，特征点的数量N在处理期间可以改变。

[方程3]

$P_i=\left(\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right)---\left(3\right)$

自身位置检测单元120基于在步骤S102中初始化的状态变量X的值或在先前帧中更新的状态变量X的值来针对最新帧生成状态变量的预测值。状态变量的预测值是依照以下方程所示的多维正态分布根据扩展卡尔曼滤波器的状态方程而生成的。

[方程4]

预测状态变量 $\hat{X}=F(X,a)+w---\left(4\right)$

此处，F表示关于系统状态转移的预测模型，a表示预测条件。此外，例如，w表示高斯噪声，并且可以包括模型近似误差、观测误差等。通常，高斯噪声的平均值是0。

图8是用于示出根据该实施例的预测模型的示例的说明图。参照图8，示出根据该实施例的预测模型中的两个预测条件。首先，作为第一条件，假设FP在全局坐标系统中的三维位置不改变。也就是说，倘若在时间T的特征点FP1的三维位置为p_T，则满足以下关系。

[方程5]

p_t＝P_t-1(5)

接下来，作为第二条件，假设相机的运动是均匀运动。也就是说，从时间T＝t-1到时间T＝t，对于相机的速度和角速度，满足以下关系。

[方程6]

${\stackrel{\&CenterDot;}{x}}_t={\stackrel{\&CenterDot;}{x}}_{t-1}---\left(6\right)$

${\stackrel{\&CenterDot;}{\mathrm{\&omega;}}}_t={\stackrel{\&CenterDot;}{\mathrm{\&omega;}}}_{t-1}---\left(7\right)$

自身位置检测单元120基于方程(4)中表示的这种预测模型和状态方程针对最新帧生成状态变量的预测值。

(1-3)更新状态变量

自身位置检测单元120然后例如使用观测方程来估计在根据状态变量的预测值而预测出的观测信息与作为FP跟踪的结果而获得的实际观测信息之间的误差。注意，方程(8)中的v是误差。

[方程7]

观测信息 $s=H\left(\hat{X}\right)+v---\left(8\right)$

预测出的观测信息 $\hat{s}=H\left(\hat{X}\right)---\left(9\right)$

此处，H表示观测模型。例如，特征点FP_i在成像平面(u-v平面)上的位置如以下方程中所表达的那样被定义。

[方程8]

FP_i在成像平面上的位置 ${\tilde{P}}_i=\left(\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right)---\left(10\right)$

此处，相机的位置x、相机的姿态ω以及特征点FP_i的三维位置p_i全部被给定作为状态变量X的各元素。然后，根据针孔(pinhole)模型使用以下方程来推导特征点FP_i在成像平面上的位置。

[方程9]

$\mathrm{\&lambda;}{\tilde{P}}_i=A{R}_{\mathrm{\&omega;}}(P_i-x)---\left(11\right)$

此处，λ表示归一化参数，A表示相机内部参数，R_ω表示与表示在状态变量X中包括的相机姿态的四元数ω相对应的旋转矩阵。相机内部参数A是根据拍摄输入图像的成像设备的特性如以下方程中表达的那样预先给定的。

[方程10]

$A=\left(\begin{array}{ccc}-f\&CenterDot;k_u& f\&CenterDot;k_u\&CenterDot;\cot \mathrm{\&theta;}& u_o\\ 0& -\frac{f\&CenterDot;k_v}{\sin \mathrm{\&theta;}}& v_o\\ 0& 0& 1\end{array}\right)---\left(12\right)$

此处，f表示焦距，θ表示图像轴线的正交性(理想值是90度)，k_u表示沿着成像平面的垂直轴线的标度(从全局坐标系统到成像平面的坐标系统的标度的变化率)，k_v表示沿着成像平面的水平轴线的标度，(u_o，v_o)表示成像平面的中心位置。

因此，可以通过搜索使得使用方程(11)推导出的预测观测信息(即每个FP在成像平面上的位置)与图5中步骤S114中的FP跟踪的结果之间的误差最小的状态变量X来获得可行的最新状态变量X。

[方程11]

最新状态变量 $\&LeftArrow;\hat{X}+\mathrm{Innov}(s-\hat{s})---\left(13\right)$

自身位置检测单元120把以此方式通过应用SLAM技术而动态更新的相机(成像设备)的位置x和姿态ω输出到环境映射建立单元150和输出图像生成单元180。

(2)数据存储单元

数据存储单元130使用存储介质(诸如硬盘或半导体存储器等)预先存储以下特征数据：该特征数据表示与可以在真实空间中呈现的物理对象相对应的对象的特征。虽然图4示出了数据存储单元130是环境映射生成单元110的一部分的示例，但本发明不限于这样的示例，数据存储单元130可以被设置在环境映射生成单元110的外部。图9是用于示出特征数据的配置示例的说明图。

参照图9，特征数据FD1示出为对象Obj1的示例。特征数据FD1包括对象名称FD11、取自六个方向的图像数据FD12、斑块数据FD13、三维形状数据FD14以及本体数据FD15。

对象名称FD11是相应对象可以被指定的名称，例如“咖啡杯A”。

例如，图像数据FD12包括通过从六个方向：前、后、左、右、上和下拍摄相应对象的图像而获得的六个图像数据。斑块数据FD13是每个FP周围的小块图像的集合，针对每个对象上所设置的一个或更多个FP中的每一个。图像数据FD12和斑块数据FD13可以用于图像识别单元140中的对象识别处理，稍后对此进行描述。此外，斑块数据FD13可以用于自身位置检测单元120中的上述自身位置检测处理。

三维形状数据FD14包括特征点的三维位置信息以及用于识别相应对象形状的多边形信息。三维形状数据FD14可以用于环境映射建立单元150中的环境映射建立处理，稍后对此进行描述。

例如，本体数据FD15是可以用于支持环境映射建立单元150中的环境映射建立处理的数据。在图9的示例中，本体数据FD15指示作为咖啡杯的对象Obj1更有可能和与桌台或洗碗机相对应的对象形成接触，而不太可能和与书架相对应的对象形成接触。

(3)图像识别单元

图像识别单元140使用数据存储单元130中存储的上述特征数据来指定输入图像中呈现的物理对象所对应的对象。

图10是示出图像识别单元140中的对象识别处理的流程的示例的流程图。参照图10，首先，图像识别单元140从成像单元102获取输入图像(步骤S212)。接下来，图像识别单元140使输入图像中包括的部分图像与特征数据中包括的每个对象的一个或更多个FP的斑块进行匹配，以提取输入图像中包括的特征点(步骤S214)。图像识别单元140中的对象识别处理中所使用的特征点与自身位置检测单元120中的自身位置检测处理中所使用的特征点并不一定相同。然而，当在这两个处理中使用公共特征点时，图像识别单元140可以再次使用由自身位置检测单元120进行的FP跟踪的结果。

接下来，图像识别单元140基于提取FP的结果来指定输入图像中呈现的对象(步骤S216)。例如，当在特定区域中以高密度提取出属于一个对象的特征点时，图像识别单元140可以识别出该对象呈现在该区域中。图像识别单元140将所指定的对象的对象名称(或标识符)以及属于对象的FP在成像平面上的位置输出到环境映射建立单元150(步骤S218)。

(4)环境映射建立单元

环境映射建立单元150使用从自身位置检测单元120输入的相机的位置和姿态、从图像识别单元140输入的特征点在成像平面上的位置以及在数据存储单元130中存储的特征数据来生成环境映射。在本公开内容中，环境映射是表示真实空间中呈现的一个或更多个对象的位置(以及姿态)的数据集。例如，环境映射可以包括与对象相对应的对象名称、属于对象的特征点的三维位置以及配置对象形状的多边形信息。例如，环境映射可以通过根据输入自图像识别单元140的特征点在成像平面上的位置依照上述针孔模型获得每个FP的三维位置而得以建立。

通过改变方程(11)中表达的针孔模型的关系方程，可以通过以下方程来获得特征点FP_i在全局坐标系统中的三维位置p_i。

[方程12]

$P_i=x+\mathrm{\&lambda;}\&CenterDot;{R_{\mathrm{\&omega;}}}^T\&CenterDot;A^{-1}\&CenterDot;{\tilde{P}}_i=x+d\&CenterDot;{R_{\mathrm{\&omega;}}}^T\frac{A^{-1}\&CenterDot;{\tilde{P}}_i}{\left|\right|A^{-1}\&CenterDot;{\tilde{P}}_i\left|\right|}---\left(14\right)$

此处，d表示在全局坐标系统中相机与每个FP之间的距离。环境映射建立单元150可以基于至少四个FP在成像平面上的位置以及每个对象的各FP之间的距离来计算这样的距离d。各FP之间的距离预先存储于数据存储单元130中，作为参照图9所描述的特征数据中包括的三维形状数据FD14。应注意，方程(14)中距离d的计算处理详细公开于日本专利申请特开公布No.2008-304268中。

在计算出距离d之后，方程(14)右侧的其余变量是从自身位置检测单元120输入的相机的位置和姿态以及从图像识别单元140输入的FP在成像平面上的位置，这全都是已知的。环境映射建立单元150然后根据方程(14)针对从图像识别单元140输入的每个FP计算在全局坐标系统中的三维位置。环境映射建立单元150然后根据每个计算出的FP的三维位置建立最新的环境映射，并且允许环境映射存储单元152存储建立的环境映射。应注意，此时，环境映射建立单元150可以使用参照图9所描述的特征数据中包括的本体数据FD15来改进环境映射的数据的精度。

环境映射存储单元152使用存储介质(诸如硬盘或半导体存储器等)来存储由环境映射建立单元150建立的环境映射。

[2-3.输出图像生成单元]

输出图像生成单元180针对要在真实空间中执行的操作的过程集合生成用于将每个过程的说明呈现给用户的输出图像，并且将所生成的输出图像显示在显示设备104上。在此情况下，输出图像生成单元180使由环境映射生成单元110生成的环境映射中的给定位置与每个过程的说明相关联，并且将每个过程的说明叠加在输入图像中的与给定位置相对应的位置处。如图4所示，在该实施例中，输出图像生成单元180包括过程存储单元184、过程控制单元186、信息布置单元190以及叠加单元192。

(1)过程存储单元

针对要在真实空间中执行的操作的过程集合，过程存储单元184使用存储介质(诸如硬盘或半导体存储器等)存储通过使每个过程的说明与指定要显示说明的位置的位置信息相对应来限定的过程数据。

图11是用于示出根据该实施例的例如在过程存储单元184中存储的过程数据182的说明图。参照图11，过程数据182具有五个数据项：例如“说明名称”、“过程ID”、“过程说明”、“相关物理对象”以及“进展条件”。

“说明名称”是分配给要在真实空间中执行的每个操作的名称。通过指定一个说明名称可以获取与用于一个操作的过程集合有关的过程数据。在图11的示例中，两个操作(“餐桌礼仪”和“煎炸鸡蛋”)的过程数据包括在过程数据182中。

“过程ID”是用于标识过程集合中包括的每个过程的标识符。在图11的示例中，用于“餐桌礼仪”的过程数据包括过程ID分别为“P101”、“P102”以及“P103”的三个过程，此外，用于“煎炸鸡蛋”的过程数据包括过程ID分别为“P201”、“P202”、“P203”以及“P204”的四个过程。

“过程说明”是指示要呈现给用户的每个过程的说明的字符串。在图11的示例中，“餐桌礼仪”的过程ID＝“P101”的过程的过程说明(下文中称为过程P101)是字符串：“从椅子左侧入座”。过程P102的过程说明是字符串：“点食品和饮料”。过程P103的过程说明是字符串：“将餐巾放在您腿上”。此外，“煎炸鸡蛋”的过程P201的过程说明是字符串：“打开并搅拌鸡蛋”。过程P202的过程说明是字符串：“将煎锅移动到炉灶”。过程P203的过程说明是字符串：“将鸡蛋放在煎锅上”。过程P204的过程说明是字符串“撒上盐和胡椒”。

“相关物理对象”是使用用于指定与每个过程说明相关联的物理对象的对象名称来指定要显示每个过程说明的位置的位置信息。例如，在该实施例中，每个过程说明显示在由“相关物理对象”指定的物理对象附近。在图11的示例中，“餐桌礼仪”的过程P101的相关物理对象是“椅子”。也就是说，过程P101的过程说明可以显示在环境映射中所包括的椅子附近。过程P102的相关物理对象是“菜单”。也就是说，过程P102的过程说明可以显示在环境映射中所包括的菜单附近。过程P103的相关物理对象是“餐巾”。也就是说，过程P103的过程说明可以显示在环境映射中所包括的餐巾附近。此外，例如，用于与任何物理对象都不相关联的过程的“相关物理对象”是空白，并且该过程的过程说明可以显示在特定位置，例如屏幕中心。

“进展条件”指示在图像处理设备100显示过程集合时用于使显示处理从每个过程进展到下一过程的条件。也就是说，进展条件可以说是指示每个过程说明在何时要被显示的时序的信息。在图11的示例中，进展条件是根据以下三种模式中的任一种或组合而限定的。

·第一模式：环境映射中物理对象的状态

·第二模式：给定时间的流逝

·第三模式：外部事件

第一模式是这样的模式：其中，当由环境映射表示的物理对象的位置或姿态处于给定状态时，满足进展条件(即，显示处理进入下一过程)。例如，过程数据182的过程P102的进展条件是“放下菜单”。例如，在环境映射中的餐桌上没有菜单时，可以满足这样的进展条件。此外，例如，过程数据182的过程P103的进展条件是“餐巾在椅子上”。例如，当在环境映射中在餐巾从餐桌上移动到椅子上(例如坐在椅子上的用户的腿上)时，可以满足这样的进展条件。

第二模式是这样的模式：其中，当从显示前面过程说明或生成另一事件起逝去给定时间时，满足进展条件。例如，过程数据182的过程P201的进展条件是“一分钟的逝去”。当在显示过程P201的过程说明之后逝去一分钟时，可以满足这样的进展条件。此外，例如，过程数据182的过程P203的进展条件是“从炉灶点火起逝去30秒”。例如，当从外部设备(炉灶)所通知的炉灶点火事件起逝去30秒时，可以满足这样的进展条件。

第三模式是这样的模式：其中，当存在来自另一设备的给定事件通知时，进展条件得以满足。例如，过程数据182的过程P202的进展条件是“煎锅在炉灶上”。例如，当例如事件是自炉灶使用压力传感器通知已经检测到煎锅在炉灶上时，可以满足这样的进展条件。此外，可以根据环境映射中物理对象的状态来确定满足条件：“炉灶上有煎锅”(在此情况下，这是第一模式)。来自另一设备的事件通知不限于该示例，而可以是例如来自成像设备的图像识别结果(例如识别用户的手的状态的结果)的通知、来自电子设备的关于用户操控操作的通知、关于来自通信设备的信号接收的通知等。

过程存储单元184存储这样的过程数据182作为示例，并且根据来自过程控制单元186的请求来输出过程数据182的至少一部分，稍后将对此进行描述。此外，在图4的示例中，过程存储单元184提供于图像处理设备100内部。然而，本发明不限于这样的示例，过程数据还可以存储于图像处理设备100外部的存储介质中。在此情况下，图像处理设备100可以例如根据用户的指令而有选择地从外部存储介质获取必要的过程数据。此外，替代顺次过程(例如图11所示的过程数据182)，在状态机中状态互相迁移的多个过程可以定义为过程数据。

(2)过程控制单元

过程控制单元186例如根据来自用户的指令从过程存储单元184获取用于期望的说明名称的过程数据，并且根据所获取的过程数据来控制显示在过程集合中包括的每个过程的过程说明。

图12是示出根据该实施例的过程控制单元186中的过程控制处理的流程示例的流程图。参照图12，首先，过程控制单元186从过程存储单元184获取用于期望的说明名称的过程数据(步骤S302)。例如，当用户将“餐桌礼仪”指定为说明名称时，过程控制单元186获取用于包括过程集合P101、P102、P103......的“餐桌礼仪”的过程数据，如图11所示。

接下来，过程控制单元186从所获取的过程数据读取第一过程(步骤S304)。例如，当获取图11所示的包括过程P101、P102、P103......的集合的过程数据时，过程控制单元186最开始读取过程P101的记录。

接下来，过程控制单元186将过程说明显示在与读取的过程相对应的相关物理对象附近(步骤S306)。更具体地，过程控制单元186例如在环境映射中指定与读取的过程相对应的相关物理对象的位置，并且确定相关物理对象的位置附近作为过程说明要被显示的三维位置。过程控制单元186将过程说明以及过程说明要被显示的三维位置输出到信息布置单元190。稍后将更详细地描述后续过程显示处理。

接下来，过程控制单元186根据与读取的过程相对应的进展条件监控在环境映射中的物理对象的状态、给定时间的流逝、外部事件等(步骤S308)。当作为监控的结果满足进展条件时，处理进入步骤S310。

接下来，过程控制单元186确定是否仍剩有尚未显示的下一过程(步骤S310)。此处，当仍剩有尚未显示的下一过程时，处理返回步骤S304，并且对下一过程重复过程显示处理。另一方面，当不剩有尚未显示的下一过程时，过程控制单元186中的过程控制处理结束。

(4)信息布置单元

信息布置单元190使用从环境映射生成单元110获取的成像设备的位置和姿态根据针孔模型的方程11来计算从过程控制单元186输入的每个过程说明要被显示的在输入图像中的位置。在此情况下，用从过程控制单元186输入的三维位置代替在方程(11)右侧的特征点FP_i的三维位置p_i。在信息布置单元190计算每个过程说明要被显示的在输入图像中的位置之后，信息布置单元190将每个过程说明以及过程说明要被显示的在输入图像中的位置输出到叠加单元192。

(5)叠加单元

叠加单元192通过使从信息布置单元190输入的每个过程说明叠加在由信息布置单元190计算出的在输入图像中的位置处来生成输出图像。

图13是示出过程控制单元186、信息布置单元190和叠加单元192中的过程显示处理的流程示例的流程图。此外，图13所示的过程显示处理是针对要在真实空间中执行的操作的过程集合中包括的每个单独过程在图12所示的过程控制处理中在步骤S306中执行的。

参照图13，首先，过程控制单元186基于环境映射中的相关物理对象的位置来确定过程说明要被显示的三维位置(步骤S322)。例如，当任何过程的相关物理对象在椅子上时，将环境映射中的椅子的表面或附近的位置确定为该过程的过程说明要被显示的三维位置。

接下来，信息布置单元190使用从环境映射生成单元110获取的成像设备的位置和姿态根据针孔模型来计算与在步骤S322中确定的三维位置相对应的在输入图像中的位置(步骤S324)。此外，当在步骤S322中确定的与三维位置相对应的在成像平面上的位置超出输入图像的范围时，可以跳过后续处理。

接下来，叠加单元192例如通过将描述过程说明的文本框叠加在由信息布置单元190计算出的在输入图像中的位置处来生成输出图像(步骤S326)。叠加单元192生成的输出图像例如被显示在图像处理设备100的显示设备104的屏幕上。

[2-4.输出图像的示例]

图14和图15分别示出该实施例中可以显示在显示设备104的屏幕上的输出图像的示例。

参照图14，示出上面叠加有图11所示的过程P202的过程说明的输出图像Im11。在输出图像Im11中，在煎锅附近显示描述过程说明“过程2：将煎锅移到炉灶”的文本框T11。用户可以通过浏览这样的过程说明来直观地认识到在下一烹饪过程中煎锅在炉灶上为好。该文本框T11继续显示在煎锅附近，直到在环境映射中实现了状态“煎锅在炉灶上”(这是过程P202的进展条件)为止。因此，用户可以容易地认识到充当过程对象的物理对象。

参照图15，示出上面叠加了图11所示的过程P103的过程说明的输出图像Im21。在输出图像Im21中，在餐巾附近显示描述过程说明“过程3：将餐巾放在您腿上”的文本框T21。用户可以通过浏览这样的过程说明而直观地认识到在餐桌礼仪的下一过程中将餐巾放在腿上为好。该文本框T21继续显示在餐巾附近，直到在环境映射中实现了状态“餐巾在椅子上”(这是过程P103的进展条件)为止。因此，用户可以容易地识别出充当过程对象的物理对象。

此处描述的过程显示方法仅为示例，除了上述实施例外，还可以有各种应用。例如，本发明可以应用于空间(例如商业设施或火车站)中的说明或者用于租车或自动柜员机(ATM)的操控说明。

<3.硬件配置的示例>

根据上述实施例的处理集合是通过硬件还是软件实现并不重要。例如，当处理集合或其一部分由软件执行时，构成软件的程序是使用专用硬件中包括的计算机或图16所示的通用计算机执行的。

在图16中，CPU902控制通用计算机的整体操作。描述该集合中的一些或全部处理的程序或数据存储于只读存储器(ROM)904中。在处理执行中CPU902使用的程序和数据临时存储于随机存取存储器(RAM)906中。

CPU902、ROM904和RAM906经由总线910而彼此连接。此外，输入/输出接口912连接到总线910。

输入/输出接口912是用于将CPU902、ROM904和RAM906与输入设备920、显示设备104、存储设备924、成像设备102和驱动器930相连的接口。

输入设备920例如经由输入接口(诸如按钮、开关、控制杆、鼠标、或键盘)从用户接收指令或信息。存储设备924包括例如硬盘驱动器或半导体存储器，并且存储程序或数据。驱动器930根据需要而提供于通用计算机中，并且例如，可移除介质932安装在驱动器930中。

当处理集合由软件(例如存储于图16所示的ROM904、存储设备924或可移除介质932中的程序)执行时，在执行时被读入RAM906，然后由CPU902执行。

<4.结论>

已经参照图1A至图16描述了本发明的实施例。根据该实施例，在基于环境映射确定的位置处显示要在真实空间中被执行的操作的过程集合中包括的每个过程的说明，环境映射以三维方式表示真实空间中呈现的物理对象的位置。因此，用户可以直观地理解过程。特别地，根据该实施例，甚至在用户周围的环境可以动态改变的真实空间中的操作中，环境映射也得以动态更新以跟随环境的改变。因此，每个过程的说明被显示的位置根据环境的改变而移动，从而防止由于环境改变导致难以理解说明。

此外，在该实施例中，可以根据与对每个过程的说明相关联的物理对象的位置来确定每个过程的说明要被显示的位置。因此，用户可以容易地识别作为每个过程中的操作的目标对象的物理对象。此外，由于根据环境映射中的物理对象的状态(位置或姿态)、给定时间的流逝、外部事件等来控制每个过程的说明要被显示的时序，因此可以根据用户进行的操作的进展以适当的时序显示说明。此外，每个过程的说明要被显示的位置是基于使用SLAM技术动态检测到的相机的位置和姿态而计算出的。因此，甚至当使用位置或姿态很可能随时刻而改变的相机时，也可以在图像中的适当位置中显示说明。

虽然上面已参照附图描述了本发明的优选实施例，但本发明当然不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种改动和修改，并且应该理解它们自然处于本发明的技术范围内。

本申请包含的主题涉及在2010年2月2日提交到日本专利局的日本优先权专利申请JP2010-021368中公开的主题，其全部内容通过引用而合并于此。

Claims (7)

1.一种图像处理设备，包括：

数据存储单元，在所述数据存储单元中存储有特征数据，所述特征数据表示一个或更多物理对象的外观特征；

环境映射建立单元，用于基于使用成像设备对真实空间进行成像获得的输入图像以及在所述数据存储单元中存储的所述特征数据来建立环境映射，所述环境映射表示在所述真实空间中呈现的物理对象的位置；

控制单元，用于针对要在所述真实空间中被执行的操作的过程集合来获取过程数据，所述过程数据限定在每个过程的说明与指示所述说明要被显示的位置的位置信息之间的对应关系；以及

叠加单元，用于通过以下方式生成输出图像：使用由所述控制单元获取的过程数据，将所述过程集合中包括的每个过程的所述说明叠加在基于所述环境映射与所述位置信息而确定的在所述输入图像中的位置处。

2.根据权利要求1所述的图像处理设备，

其中，所述位置信息通过指定与每个过程的所述说明相关的物理对象来指示所述说明要被显示在所述环境映射中的位置。

3.根据权利要求1所述的图像处理设备，

其中，所述过程数据限定在每个过程的所述说明与用于使每个说明的显示进展的条件之间的另一对应性。

4.根据权利要求3所述的图像处理设备，

其中，所述用于使每个说明的显示进展的条件包括与由所述环境映射表示的物理对象的位置或姿态相对应的条件。

5.根据权利要求3所述的图像处理设备，

其中，所述控制单元根据所述过程数据来控制所述过程集合中包括的每个过程的说明。

6.根据权利要求1所述的图像处理设备，

其中，所述图像处理设备还包括检测单元，用于基于所述输入图像和所述特征数据来动态地检测所述成像设备在所述真实空间中的位置，以及

根据由所述检测单元检测到的所述成像设备在所述真实空间中的位置来确定每个过程的所述说明要被叠加在所述输入图像中的位置。

7.一种图像处理设备中的图像处理方法，所述图像处理设备包括存储介质，在所述存储介质中存储有特征数据，所述特征数据表示一个或更多物理对象的外观特征，所述方法包括以下步骤：

获取使用成像设备对真实空间进行成像获得的输入图像；

基于所述输入图像和所述特征数据来建立环境映射，所述环境映射表示在所述真实空间中呈现的物理对象的位置；

针对要在所述真实空间中被执行的操作的过程集合来获取过程数据，所述过程数据限定在每个过程的说明与指示所述说明要被显示的位置的位置信息之间的对应关系；以及

通过以下方式生成输出图像：使用所获取的过程数据，将所述过程集合中包括的每个过程的所述说明叠加在基于所述环境映射与所述位置信息而确定的在所述输入图像中的位置处。

Images