CN103248810A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

提供了一种图像处理装置、图像处理方法和程序。图像处理装置包括：数据获取单元，构造为获取代表针对出现在图像中的环境中的被摄体的推荐视角的推荐视角参数；和显示控制单元，构造为使用推荐视角参数在图像上重叠虚拟对象，该虚拟对象引导用户以便用于拍摄被摄体的图像的视角变得接近于推荐视角。推荐视角参数是代表以推荐视角拍摄被摄体的图像的装置的三维位置和姿态的参数。

Description

图像处理装置、图像处理方法和程序

技术领域

本发明涉及一种图像处理装置、图像处理方法和程序。

背景技术

近年来，数字静止照相机和数字视频照相机已被许多用户使用。另外，具有能够拍摄静止图像或运动图像的照相机模块的智能电话也已被广泛使用。因此，没有拍摄图像的高超的图像拍摄技巧的用户的机会显著增加。

在这种情况下，JP2011-087131A公开了这样一种技术：通过显示代表推荐构图的构图帧以使构图帧重叠在输入图像上，帮助用户的图像拍摄动作。

发明内容

然而，在JP2011-087131A中公开的技术中，仅矩形构图帧布置在二维屏幕上。因此，用户难以把握，在三维真实空间中，终端应该移动到哪个位置以按照推荐的构图来拍摄被摄体的图像。

因此，希望提供一种能够有效地帮助用户在三维空间中拍摄被摄体的图像的改进的机构。

根据本发明的实施例，提供了一种图像处理装置，包括：数据获取单元，构造为获取代表针对出现在图像中的环境中的被摄体的推荐视角的推荐视角参数；和显示控制单元，构造为使用推荐视角参数在图像上重叠虚拟对象，该虚拟对象引导用户以便用于拍摄被摄体的图像的视角变得接近于推荐视角。推荐视角参数是代表以推荐视角拍摄被摄体的图像的装置的三维位置和姿态的参数。

根据本发明的另一实施例，提供了一种图像处理方法，包括：获取代表以推荐视角拍摄出现在图像中的环境中的被摄体的图像的装置的三维位置和姿态的推荐视角参数；以及使用推荐视角参数在图像上重叠虚拟对象，该虚拟对象用于引导用户以便用于拍摄被摄体的图像的视角变得接近于推荐视角。

根据本发明的另一实施例，提供了一种程序，用于使计算机用作：数据获取单元，构造为获取代表针对出现在图像中的环境中的被摄体的推荐视角的推荐视角参数；和显示控制单元，构造为使用推荐视角参数在图像上重叠虚拟对象，该虚拟对象引导用户以便用于拍摄被摄体的图像的视角变得接近于推荐视角。推荐视角参数是代表以推荐视角拍摄被摄体的图像的装置的三维位置和姿态的参数。

根据本发明的技术，可有效地帮助用户在三维空间中拍摄被摄体的图像。

附图说明

图1是显示能够应用根据本发明的技术的环境的例子的解释示图；

图2是表示根据本发明的技术的基本原理的解释示图；

图3是表示在实施例中使用的视角参数的第一解释示图；

图4是表示在实施例中使用的视角参数的第二解释示图；

图5是表示根据实施例的图像处理系统的概述的解释示图；

图6是表示推荐视角数据的基本结构例子的解释示图；

图7是显示根据实施例的图像处理装置的示例性硬件结构的框图；

图8是显示根据实施例的图像处理装置的逻辑功能的示例性结构的框图；

图9是表示中间视角的内插的例子的解释示图；

图10是表示用于引导视角的示例性显示的解释示图；

图11是表示当视角的引导成功时执行的操作的第一例子的解释示图；

图12是表示当视角的引导成功时执行的操作的第二例子的解释示图；

图13是表示当视角的引导成功时执行的操作的第三例子的解释示图；

图14是显示根据实施例的数据服务器的示例性结构的框图；和

图15是显示根据实施例的图像处理方法的示例性流程的流程图。

具体实施方式

以下，将参照附图详细描述本发明的优选实施例。需要注意的是，在本说明书和附图中，具有基本上相同的功能和结构的结构元素由相同的标号表示，并且省略这些结构元素的重复解释。

将按照下面的次序进行描述。

1.系统概述

1-1.问题的描述

1-2.参数的例子

1-3.系统结构例子

2.图像处理装置的结构

2-1.硬件结构

2-2.功能结构

3.数据服务器的结构

4.处理流程

5.结论

<1.系统概述>

首先，将参照图1至6描述根据实施例的系统概述。

[1-1.问题的描述]

图1是显示能够应用根据本发明的技术的环境的例子的解释示图。参照图1，示例性地显示存在被摄体11的环境1。图1还显示在位置L0使用成像装置10拍摄被摄体11的图像的用户U0。例如，用户U0是专业用户，并且能够确定成像装置10的位置和姿态以便能够在极好的视角(照相机角度)拍摄被摄体11的图像。另外，图1还显示在位置L1使用图像处理装置100拍摄被摄体11的图像的用户U1。用户U1是一般用户，并且不知道用于拍摄被摄体11的图像的极好的视角。在这种情况下，如果引导想要在极好的视角拍摄被摄体11的图像的用户U1移动图像处理装置100以使图像处理装置100具有大约与成像装置10相同的位置和姿态，则对于他/她而言将会是有益的。

成像装置10和图像处理装置100是能够在真实空间中自由地移动的装置。因此，使用户U1充分地把握推荐视角和当前视角之间的三维位置关系以引导用户U1是很重要的。基于这种情况，根据本发明的技术通过应用增强现实(AU)技术向用户呈现代表推荐视角和当前视角之间的三维位置关系的虚拟对象以及真实空间的图像。

[1-2.参数的例子]

在根据本发明的技术中，使用两个视角参数，即推荐视角参数和当前视角参数。推荐视角参数是代表以推荐视角拍摄待成像的被摄体的图像的成像装置的三维位置和姿态的参数。当前视角参数是代表在执行处理的时间点成像装置的三维位置和姿态的参数。在共同坐标系统上确定推荐视角参数和当前视角参数。在本说明书中，这种共同坐标系统称为参考坐标系统。与参考环境关联地定义参考坐标系统。

例如，参照图2，显示与作为参考环境的环境1关联的参考坐标系统CS₁。图像处理装置100的位置和姿态由参考坐标系统CS₁中的当前视角参数P_{ang_cur}表示。例如，以推荐视角拍摄被摄体11的图像的成像装置的三维位置和姿态由推荐视角参数P_{ang_rec}表示。图像处理装置100识别当前视角参数P_{ang_cur}并获取推荐视角参数P_{ang_rec}，然后引导用户，以便图像处理装置100的视角变得接近于推荐视角。

需要注意的是，参考环境不限于在图1和2中的例子中显示的参考环境，并且可以是任何室内或室外环境。另外，可参照被摄体定义参考环境。也就是说，参考坐标系统可以是特定于被摄体并且可随着被摄体一起移动的坐标系统。

视角参数P_ang(即，推荐视角参数和当前视角参数)可以是能够代表参考坐标系统中的三维位置和姿态的任何类型的参数。在以下描述的实施例中，代表相对于参考环境的位置和姿态的成像装置的位置和姿态的坐标变换矩阵用作视角参数。在这里，坐标变换矩阵可以典型地是代表三维空间中的平行位移、旋转和缩放(放大/缩小)的4×4齐次变换矩阵。然而，替代于坐标变换矩阵，也可使用代表位置和姿态的一组变量作为视角参数P_ang。

图3和4分别是表示在实施例中使用的视角参数的解释示图。

参照图3，显示与参考环境1关联的参考坐标系统CS₁和图像处理装置100的装置特定坐标系统CS₀。例如，装置特定坐标系统CS₀包括屏幕的二维坐标轴和深度轴。通过使用已知图像识别技术使用输入图像能够识别参考坐标系统CS₁相对于图像处理装置100的装置特定坐标系统CS₀的相对位置和姿态。这里使用的图像识别技术可以是例如SfM(运动恢复结构)法、SLAM(同时定位和映射)法、使用基于拍摄的图像和已知图像之间的匹配计算的全息图的方法或者使用启发式信息(即，脸部位置或特征点分布)的方法。替代于这种图像识别技术，也可使用更简单的环境识别技术，其使用红外传感器或深度传感器。

这里，假设图像处理装置100的装置特定坐标系统CS₀的位置和姿态由单位矩阵M₀表示。然后，可从矩阵M₀识别参考环境1中的给定的位置和姿态作为坐标变换M₀(平行位移、旋转和缩放)。因此，一组位置和姿态由单个坐标变换矩阵表示。图3中显示的环境识别矩阵M_recog是这种坐标变换矩阵之一。环境识别矩阵M_recog代表参考坐标系统CS₁相对于图像处理装置100的位置和姿态(即，单位矩阵M₀)的位置和姿态。

在前述前提下，环境识别矩阵M_recog的逆矩阵M_recog ^-1是代表图像处理装置100相对于参考坐标系统CS₁的位置和姿态的位置和姿态的矩阵，即视角。图3概念性地显示由环境识别矩阵的逆矩阵M_recog ^-1代表的坐标变换。

图4中显示的视角矩阵M_ang是代表成像装置的位置和姿态的视角参数。例如，如下面的公式中所示，视角矩阵M_ang可等于环境识别矩阵M_recog的逆矩阵M_recog ^-1。

M_ang＝M_recog ^-1     (1)

在根据本发明的技术中，通过在图像上重叠基于成像装置的当前视角和推荐视角以三维方式布置的虚拟对象，执行视角的引导。例如，为了使用虚拟对象显示成像装置的当前视角，虚拟对象能够优选地并非布置在成像装置的位置，而是布置在稍微位于成像装置的前面的位置。在这种情况下，通过把图4中概念性地显示的偏移矩阵T_offset包括在计算中，视角矩阵M_ang可被确定为下面的公式。

M_ang＝M_recog ^-1·T_offset      (2)

偏移矩阵T_offset是代表在输入图像的成像方向(深度方向)上相对于成像装置的位置的根据预定距离的平行位移的坐标变换矩阵。

如上确定的视角矩阵M_ang能够用作前述推荐视角参数或当前视角参数。例如，代表图1中显示的成像装置10的位置和姿态的视角矩阵能够用作推荐视角参数M_recog。另外，代表图像处理装置100的位置和姿态的视角矩阵能够用作当前视角参数M_{ang_cur}。

[1-3.系统结构例子]

图5是表示使用前述参数的图像处理系统的概述的解释示图。参照图5，显示图像处理装置100和数据服务器200。

图像处理装置100通常是具有成像单元(未示出)和显示单元110的成像装置。图像处理装置100从数据服务器200接收与待成像的被摄体关联的推荐视角参数M_{ang_rec}。另外，图像处理装置100使用输入图像识别环境识别矩阵M_recog。然后，图像处理装置100使用环境识别矩阵M_recog和推荐视角参数M_{ang_rec}把代表推荐视角的虚拟对象V_tgt重叠在输入图像上。在下面的描述中，虚拟对象V_tgt被称为目标对象。

在图5中，显示平板PC作为图像处理装置100的例子。然而，图像处理装置100不限于此。图像处理装置100可以是具有成像功能的任何装置，诸如例如数字静止照相机、数字视频照相机、笔记本PC、掌上型PC、智能电话、游戏终端、PND(便携式导航装置)或内容播放器。

数据服务器200是包括数据库的信息处理装置，在该数据库中存储了推荐视角参数。数据服务器200在数据库中存储具有图6中显示的结构的推荐视角数据。在图6中的例子中，推荐视角数据包括六个数据项：“参考环境”、“被摄体ID”、“推荐视角ID”、“视角参数”、“日期和时间”和“推荐图像”。“参考环境”是识别与每个推荐视角参数关联的参考环境的标识符。“被摄体ID”是识别与每个推荐视角参数关联的被摄体的标识符。“推荐视角ID”是用于识别每个推荐视角参数的标识符。“视角参数”是存储推荐视角参数的数据项。“日期和时间”指示以推荐视角拍摄推荐图像的日期和时间。“推荐图像”是存储以推荐视角拍摄的推荐图像的样本数据的数据项。响应于来自图像处理装置100的数据请求，数据服务器200选择将要被分配给图像处理装置100的推荐视角参数，并把选择的推荐视角参数分配给图像处理装置100。

需要注意的是，图像处理装置100不是必需从数据服务器200获取推荐视角参数。例如，图像处理装置100可预先在其中存储推荐视角参数，或者可如以下所述动态地产生推荐视角参数。替代地，图像处理装置100可从具有成像功能的另一装置(例如，图1中示例性地显示的成像装置10)接收推荐视角参数。

<2.图像处理装置的结构>

[2-1.硬件结构]

图7是显示图像处理装置100的示例性硬件结构的框图。参照图7，图像处理装置100包括：成像单元102、传感器单元104、输入单元106、存储单元108、显示单元110、通信单元112、图像信号处理单元114、总线116和控制单元118。

(1)成像单元

成像单元102是拍摄图像的照相机模块。成像单元102使用诸如CCD(电荷耦合装置)或CMOS(互补金属氧化物半导体)的图像传感器拍摄真实空间的图像，并产生拍摄的图像。由成像单元102产生的一系列拍摄的图像构成视频。需要注意的是，成像单元102不必是图像处理装置100的一部分。例如，通过导线或以无线方式连接到图像处理装置100的成像装置可用作成像单元102。另外，成像单元102可包括在逐个像素基础上测量成像单元102和被摄体之间的距离的深度传感器。从深度传感器输出的深度数据能够用于识别环境。

(2)传感器单元

传感器单元104能够包括各种传感器，诸如定位传感器、加速度传感器和陀螺传感器。由传感器单元104获得的测量结果可用于各种应用，诸如用于帮助环境的识别、获取关于一个地理位置的数据或检测用户输入。需要注意的是，可从图像处理装置100的结构省略传感器单元104。

(3)输入单元

输入单元106是用于用户操作图像处理装置100或把信息输入到图像处理装置100的输入装置。输入单元106可包括例如检测用户在显示单元110的屏幕上的触摸的触摸传感器。替代地(或者另外)，输入单元106可包括定点装置，诸如鼠标或触摸垫。另外，输入单元106可包括其它类型的输入装置，诸如键盘、键区、按钮或开关。

(4)存储单元

存储单元108包括存储介质(诸如，半导体存储器或硬盘)，并存储用于由图像处理装置100执行的处理的程序和数据。存储在存储单元108中的数据能够包括例如关于拍摄的图像的数据、传感器数据和前述各种参数。需要注意的是，在本说明书中描述的一些程序和数据也可被从外部数据源(例如，数据服务器、网络存储器或外部存储器)获取，而非存储在存储单元108中。

(5)显示单元

显示单元110是包括显示器(诸如，LCD(液晶显示器)、OLED(有机发光二极管)或CRT(阴极射线管))的显示模块。例如，显示单元110用于显示由图像处理装置100产生的输出图像。需要注意的是，显示单元110也不必是图像处理装置100的一部分。例如，通过导线或以无线方式连接到图像处理装置100的显示装置可用作显示单元110。

(6)通信单元

通信单元112是中介图像处理装置100与另一装置的通信的通信接口。通信单元112支持给定无线通信协议或有线通信协议，并建立与另一装置的通信连接。

(7)图像信号处理单元

当记录或发送图像时，图像信号处理单元114根据预定图像编码方案对图像编码。另外，当显示编码的图像时，图像信号处理单元114根据预定图像编码方案对图像解码。

(8)总线

总线116使成像单元102、传感器单元104、输入单元106、存储单元108、显示单元110、通信单元112、图像信号处理单元114和控制单元118相互连接。

(9)控制单元

控制单元118对应于处理器，诸如CPU(中央处理单元)或DSP(数字信号处理器)。控制单元118通过执行存储在存储单元108或另一存储介质中的程序而使得以下描述的图像处理装置100的各种功能工作。

[2-2.功能结构]

图8是显示由图7中显示的图像处理装置100的存储单元108和控制单元118实现的逻辑功能的示例性结构的框图。参照图8，图像处理装置100包括：图像获取单元120、识别单元130、数据获取单元140、显示控制单元150和执行单元160。

(1)图像获取单元

图像获取单元120获取由成像单元102产生的拍摄的图像作为输入图像。由图像获取单元120获取的输入图像可以是部分地构成真实空间的视频的单个帧。图像获取单元120把获取的输入图像输出到识别单元130和显示控制单元150。

(2)识别单元

识别单元130使用从图像获取单元120输入的输入图像识别代表图像处理装置100的当前视角的参数。

更具体地讲，识别单元130首先识别代表参考环境的位置和姿态的前述环境识别矩阵。识别单元130能够使用已知图像识别技术(诸如，SfM法或SLAM法)识别环境识别矩阵。例如，当使用SLAM法时，识别单元130基于扩展卡尔曼滤波器的原理在逐帧基础上更新终端的位置、姿态、速度和角速度以及包括输入图像中的一个或多个特征点的位置的状态变量。因此，使用来自单目照相机的输入图像能够识别相对于终端的位置和姿态的参考环境的位置和姿态。识别单元130使用与从终端的位置和姿态的坐标变换对应的环境识别矩阵M_recog表示识别的参考环境的位置和姿态。需要注意的是，SLAM法详细描述于“Real-Time Simultaneous Localization and Mapping witha Single Camera”(Andrew J.Davison,Proceedings of the 9th IEEEInternational Conference on Computer Vision Volume2,2003,pp.1403-1410)中。

当识别环境识别矩阵M_recog时，识别单元130计算环境识别矩阵的逆矩阵M_recog ^-1。例如，环境识别矩阵M_recog是4×4齐次变换矩阵。因此，环境识别矩阵的逆矩阵M_recog ^-1也是4×4齐次变换矩阵，并满足M_recog·M_recog ^-1＝M₀(单位矩阵)。然后，识别单元130能够根据以上公式(1)确定等于环境识别矩阵的逆矩阵M_recog ^-1的当前视角参数M_{ang_cur}。替代地，显示控制单元150可根据以上公式(2)把前述的偏移矩阵T_offset包括在计算中以确定当前视角参数M_{ang_cur}。

识别单元130把如此识别的当前视角参数M_{ang_cur}输出到数据获取单元140、显示控制单元150和执行单元160。识别单元130把环境识别矩阵M_recog输出到显示控制单元150。

识别单元130也可识别输入图像中的被摄体。例如，关于待成像的被摄体的已知特征量数据预先被存储在图像处理装置100中，或者由数据获取单元140从数据服务器200获取关于待成像的被摄体的已知特征量数据。然后，通过检查从输入图像提取的特征量数据与已知特征量数据，识别单元130能够识别输入图像中的被摄体。以这种方式识别的被摄体的标识符能够用于向服务器200请求数据。

(3)数据获取单元

数据获取单元140获取代表针对参考环境中的被摄体的推荐视角的参数。在这个实施例中由数据获取单元140获取的推荐视角参数是代表相对于参考环境的位置和姿态的推荐视角的4×4齐次变换矩阵。例如，数据获取单元140把请求推荐视角参数的分配的数据请求发送给数据服务器200。然后，数据获取单元140接收从数据服务器200分配的推荐视角参数。

例如，数据获取单元140可把代表由传感器单元104测量的图像处理装置100的地理位置的位置数据包括在数据请求中。在这种情况下，数据服务器200能够选择与在该地理位置附近的被摄体关联的推荐视角参数，并把选择的推荐视角参数分配给图像处理装置100。

替代地，数据获取单元140可把由识别单元130识别或由用户指定的被摄体的标识符包括在数据请求中。在这种情况下，数据服务器200能够选择与由该标识符识别的被摄体关联的推荐视角参数，并把选择的推荐视角参数分配给图像处理装置100。

作为另一替代方案，通过从数据服务器200获取多组推荐视角参数和与其对应的推荐图像并把多个获取的推荐图像呈现给用户，数据获取单元140可以使用户指定所希望的推荐图像。在这种情况下，与由用户指定的推荐图像对应的推荐视角参数能够用于引导视角。

数据获取单元140把如此获取的推荐视角参数输出到显示控制单元150和执行单元160。

(4)显示控制单元

显示控制单元150使用从数据获取单元140输入的推荐视角参数把虚拟对象重叠在输入图像上，该虚拟对象引导用户以便用于拍摄被摄体的图像的视角变得接近于推荐视角。例如，显示控制单元150在参考环境中布置具有由推荐视角参数代表的位置和姿态的目标对象V_tgt。目标对象V_tgt可以是简单的矩形虚拟对象，诸如图5中示例性地显示的虚拟对象。替代地，目标对象V_tgt可以是例如模仿照相机的形状的三维虚拟对象。接下来，通过把目标对象V_tgt投影在显示单元110的屏幕上并由此把目标对象V_tgt重叠在输入图像上，显示控制单元150产生输出图像。然后，显示控制单元150把产生的输出图像显示在显示单元110的屏幕上。例如，从图像处理装置100看目标对象V_tgt的方式能够被表示为与在该时间点的推荐视角参数M_{ang_rec}和环境识别矩阵M_recog的积对应的下面的坐标变换(参见图5)。

M_recog·M_{ang_rec}(3)

除了目标对象V_tgt之外，显示控制单元150还可把代表推荐视角和当前视角之间的中间视角的一个或多个中间对象重叠在输入图像上。例如，显示控制单元150能够使用从识别单元130输入的推荐视角参数M_{ang_rec}和当前视角参数M_{ang_cur}确定在参考环境中在推荐视角和当前视角之间内插视角的中间对象的布置。

图9是表示中间视角的内插的例子的解释示图。参照图9，显示当前视角对象V_cur、目标对象V_tgt和布置在这两个虚拟对象之间的六个中间对象V_{int_1}至V_{int_6}。当前视角对象V_cur包括由参考坐标系统CS₁中的当前视角参数M_{ang_cur}代表的位置和姿态。目标对象V_tgt具有由参考坐标系统CS₁中的推荐视角参数M_{ang_rec}代表的位置和姿态。中间对象V_{int_1}至V_{int_6}中的每一个具有通过当前视角参数M_{ang_cur}和推荐视角参数M_{ang_rec}之间的线性内插或非线性内插(例如，曲线内插)确定的位置和姿态。需要注意的是，布置的中间对象的数量不限于图9中的例子。显示控制单元150可根据当前视角对象V_cur和目标对象V_tgt之间的距离布置不同数量的中间对象V_int。

在这个实施例中，显示控制单元150以在推荐视角和当前视角之间按照非均匀间隔内插的位置和姿态布置中间对象V_int。在图9中的例子中，中间对象V_{int_1}和中间对象V_{int_2}之间的距离d1比中间对象V_{int_3}和中间对象V_{int_4}之间的距离d2长。中间对象V_{int_3}和中间对象V_{int_4}之间的距离d2比中间对象V_{int_5}和中间对象V_{int_6}之间的距离d3长。通过把以这种方式按照非均匀间隔布置的中间对象重叠在输入图像上，可在视觉上表示朝着推荐视角引导的方向。

显示控制单元150可按照分阶段的方式改变中间对象的显示属性。这里，显示属性可以是任何属性，诸如中间对象的亮度、颜色或透明度或者帧线的粗度。图10是表示用于引导视角的示例性显示的解释示图。参照图10，被摄体11出现在由图像处理装置100显示的输出图像Im0中。另外，当前视角对象V_cur、目标对象V_tgt和多个中间对象V_int重叠在输出图像Im0上。在更靠近目标对象V_tgt的位置，中间对象V_int的帧线更粗。另外，在更靠近目标对象V_tgt的位置，中间对象V_int的亮度更高。当以这种方式控制显示属性时，即使当使用二维屏幕时也可按照更容易理解的方式在深度方向上执行引导。

在图10中的例子中，引导用户，以便向前移动图像处理装置100并且轻微旋转图像处理装置100的姿态。当目标对象V_tgt和中间对象V_int以这种方式重叠在输入图像上时，用户能够容易地理解图像处理装置100应该在三维真实空间中以什么方式移动到哪个位置以便以更好的视角拍摄被摄体11的图像。

需要注意的是，显示控制单元150也可通过顺序地在多个帧上重叠目标对象和一个或多个中间对象来形成引导用户的动画。例如，当显示顺序地显示图9中的例子中的中间对象V_{int_1}至V_{int_6}的动画时，可允许用户更清楚地理解朝着推荐视角的引导的方向。

替代地，显示控制单元150可通过在单个帧上重叠目标对象和一个或多个中间对象来形成用于引导用户的视角的轨迹。当静态地显示视角的轨迹时，可允许用户更准确地沿着视角的轨迹移动图像处理装置100。

(5)执行单元

当确定成像单元102的当前视角基本上与推荐视角相同时，执行单元160使成像单元102或图像处理装置100执行预定操作。执行单元160从数据获取单元140接收例如推荐视角参数。另外，执行单元160从识别单元130接收针对最近的帧识别的当前视角参数。然后，执行单元160计算推荐视角参数和当前视角参数之间的平行位移分量的差异和旋转分量的差异。当平行位移分量的差异低于阈值并且旋转分量的差异低于预定阈值时，执行单元160能够确定当前视角基本上与推荐视角相同。执行单元160可基于这种差异计算与推荐视角的接近的程度(例如，当差异为零时变为最大值的得分)，并比较计算的接近的程度与预定阈值。显示控制单元150可在屏幕上显示如此计算的接近的程度，并根据接近的程度改变目标对象或中间对象的显示属性。

在当前视角基本上与推荐视角相同时执行的操作可以是例如与图像拍摄相关的操作或与被摄体相关的操作。以下，将描述由执行单元160开始的操作的三个例子。

图11是表示当视角的引导成功时执行的操作的第一例子的解释示图。在第一例子中执行的操作是所谓的数字静止照相机的释放。参照图11，当前视角对象V_cur的位置和姿态基本上与目标对象V_tgt的位置和姿态相同。当以这种方式确定当前视角基本上与推荐视角相同时，执行单元160自动地记录由成像单元102拍摄的被摄体的图像。因此，仅通过匹配终端的位置和姿态与推荐视角，用户能够获得与推荐图像类似的照片而不必对终端发出释放指令。

图12是表示当视角的引导成功时执行的操作的第二例子的解释示图。在第二例子中执行的操作是内容的获取或再现。参照图12，当前视角对象V_cur的位置和姿态基本上与目标对象V_tgt的位置和姿态相同。当以这种方式确定当前视角基本上与推荐视角相同时，执行单元160从内容服务器(数据服务器200或另一服务器装置)获取与待成像的被摄体关联的内容。在图12的例子中，显示被摄体11的名字的信息内容C1被获取并且显示在屏幕上。当以这种方式结合内容的获取或再现来操作终端的位置和姿态时，例如想要用户从特定方向观看真实对象的服务提供商可向用户提供观看内容的动力并因此朝着该特定方向引导用户。在这种情况下，拍摄的图像不必被记录，并且可以推荐视角显示所谓的贯通图像（through-image）以及内容。

图13是表示当视角的引导成功时执行的操作的第三例子的解释示图。在第三例子中执行的操作是引导至下一被摄体或下一推荐视角。参照图13，对于具有被摄体ID“B3”的被摄体13，显示包括在时刻T31至T34的四个推荐视角参数M_{ang_rec31}至M_{ang_rec34}的推荐视角顺序数据。显示控制单元150首先在推荐视角顺序数据的时刻T31在由推荐视角参数M_{ang_rec31}代表的位置和姿态把目标对象V_tgt重叠在输入图像上。当确定当前视角对象V_cur的位置和姿态基本上与目标对象V_tgt的位置和姿态相同时，执行单元160指示显示控制单元150引导至下一推荐视角。然后，显示控制单元150在时刻T32在由推荐视角参数M_{ang_rec32}代表的下一位置和姿态把目标对象V_tgt重叠在输入图像上。能够重复这种执行单元160的确定和显示控制单元150的引导，直至成功引导至最后一个推荐视角。在这一系列推荐视角的过程期间，待成像的被摄体也可改变。

在第三例子中，在每个推荐视角由成像单元102拍摄的静止图像可被记录(自动地或响应于用户输入)。因此，能够在不同视角相继地记录各种被摄体的图像，而无需在每次用户拍摄被摄体的图像时他/她重新选择推荐视角。替代地，也可记录一系列推荐视角的运动图像。也就是说，通过根据预先计划的视角的转变顺序地指示终端的运动，可帮助当在真实空间中移动他的/她的终端的同时拍摄运动图像的用户有效地拍摄运动图像。

<3.数据服务器的结构>

图14是显示数据服务器200的示例性结构的框图。参照图14，数据服务器200包括：通信单元210、存储单元220和控制单元230。

通信单元210是中介数据服务器200与另一装置的通信的通信接口。通信单元210支持给定无线通信协议或有线通信协议，并建立与另一装置的通信连接。

存储单元220包括存储介质(诸如，半导体存储器或硬盘)，并存储用于由数据服务器200执行的处理的程序和数据。存储在存储单元220中的数据包括具有图6中示例性地显示的结构的推荐视角数据222(或图13中示例性地显示的推荐视角顺序数据)。

控制单元230对应于处理器，诸如CPU或DSP。控制单元230通过执行存储在存储单元220或另一存储介质中的程序而操作数据服务器200的功能。数据分配单元240和数据登记单元250是数据服务器200的功能模块的例子。

数据分配单元240经通信单元210接收来自图像处理装置100的数据请求。数据请求包括例如用于选择推荐视角参数的数据，诸如参考环境的标识符、位置数据或被摄体的标识符。当数据请求包括指示图像处理装置100的地理位置的位置数据时，数据分配单元240可从推荐视角数据222选择与位于在地理上接近的位置的被摄体关联的推荐视角参数，并把选择的推荐视角参数分配给图像处理装置100。另外，当数据请求包括指定的被摄体的标识符时，数据分配单元240可从推荐视角数据222选择与由标识符识别的被摄体关联的推荐视角参数，并把选择的推荐视角参数分配给图像处理装置100。数据分配单元240也可把多个推荐视角参数分配给图像处理装置100。

数据登记单元250把新的推荐视角参数登记到推荐视角数据222。例如，数据登记单元250从图1中示例性地显示的成像装置10接收代表被摄体的推荐图像和当拍摄到推荐图像时的视角的视角参数，并登记接收到的视角参数作为推荐图像参数。根据这种配置，可从用户接收推荐图像并扩展推荐视角数据。因此，能够容易地构造具有各种推荐视角的数据库。

另外，可基于针对被摄体预定的规则以及被摄体的位置和姿态动态地确定推荐视角参数。预定规则可以是例如：推荐视角应该是从被摄体的前侧拍摄被摄体的图像的视角、针对特定指数(例如，被摄体的宽度与图像的宽度之比)应当实现黄金比例或者被摄体的主要部分(例如，人脸)应该位于图像的中心的视角。根据这种配置，即使当未预先准备推荐视角参数时，也可动态地产生并使用各种被摄体的推荐图像参数。需要注意的是，根据这种规则的推荐图像参数的产生可由数据服务器200或图像处理装置100的数据获取单元140执行。

<4.处理流程>

图15是显示根据这个实施例的利用图像处理装置100执行的图像处理方法的示例性流程的流程图。

参照图15，首先，图像获取单元120获取由成像单元102产生的拍摄的图像作为输入图像(步骤S110)。然后，图像获取单元120把获取的输入图像输出到识别单元130和显示控制单元150。

接下来，识别单元130使用输入图像识别代表参考环境的位置和姿态的环境识别矩阵M_recog(步骤S120)。然后，识别单元130把识别的环境识别矩阵M_recog输出到显示控制单元150。

接下来，识别单元130基于识别的环境识别矩阵M_recog根据以上公式(1)或公式(2)确定当前视角参数M_{ang_cur}(步骤S130)。然后，识别单元130把确定的当前视角参数M_{ang_cur}输出到数据获取单元140、显示控制单元150和执行单元160。

接下来，通过向数据服务器200发送数据请求，数据获取单元140例如获取参考环境中的被摄体的推荐视角参数M_{ang_rec}(步骤S140)。然后，数据获取单元140把获取的推荐视角参数输出到显示控制单元150和执行单元160。

接下来，基于推荐视角参数M_{ang_rec}和当前视角参数M_{ang_cur}之间的平行位移分量的差异和旋转分量的差异，执行单元160确定当前视角是否基本上与推荐视角相同(步骤S150)。这里，如果确定当前视角基本上与推荐视角相同，则流程前进至步骤S190。否则，流程前进至步骤S160。

在步骤S160中，显示控制单元150使用推荐视角参数M_{ang_rec}和当前视角参数M_{ang_cur}计算在推荐视角和当前视角之间内插S视角的一个或多个中间视角(步骤S160)。

接下来，显示控制单元150在参考环境中布置当前视角对象、代表中间视角的一个或多个中间对象和目标对象(步骤S170)。

然后，通过把这种布置的虚拟对象重叠在输入图像上，显示控制单元150使屏幕显示用于把用户引导至推荐视角的动画或轨迹(步骤S180)。

可重复这种虚拟对象的显示，直至确定当前视角基本上与推荐视角相同。需要注意的是，步骤S140中的推荐视角参数的获取可被执行一次，其后省略。

当在步骤S150中确定当前视角基本上与推荐视角相同时，执行单元160执行预定操作，诸如例如与图像拍摄或被摄体相关的参照图11至13描述的操作(步骤S190)。然后，流程可结束，或者流程可返回到步骤S110以执行新的引导。

<9.结论>

到目前为止，已参照图1至15详细描述了根据本发明的技术的实施例。根据前述实施例，代表以推荐视角拍摄被摄体的图像的装置的三维位置和姿态的参数用于把虚拟对象重叠在图像上，该虚拟对象引导用户以便用于拍摄被摄体的图像的视角变得接近于推荐视角。因此，可清楚地向尝试在三维真实空间中拍摄被摄体的图像的用户呈现终端应该以什么方式移动到哪个位置并因此更有效地帮助用户。

另外，根据前述实施例，代表在代表推荐视角的目标对象和当前视角之间的中间视角的一个或多个中间对象重叠在图像上。当仅目标对象显示在二维屏幕上时，难以理解推荐视角和当前视角之间的相对位置关系。然而，当明确地显示这种中间视角时，用户能够更清楚地理解朝着推荐视角的终端的三维移动。

另外，根据前述实施例，中间对象在推荐视角和当前视角之间按照非均匀间隔内插的位置和姿态布置在参考环境中。另外，中间对象的显示属性根据相对于目标对象的距离而逐渐地改变。因此，可按照三维方式强调从当前视角朝着推荐视角的引导的方向(包括深度方向)。

另外，根据前述实施例，推荐视角参数能够与参考环境关联地被登记在数据库上。因此，推荐视角能够由不同的用户共享。同时，如果识别参考环境，则即使当被摄体未出现在输入图像中时也可基于推荐视角参数执行引导。

需要注意的是，由在本说明书中描述的装置执行的一系列控制处理可使用软件、硬件或二者的组合中的任何一种来实现。构造软件的程序预先存储在布置在每个装置中或布置在每个装置外面的存储介质中。然后，每个程序在执行时被读入到RAM(随机存取存储器)中，并由处理器(诸如，CPU)执行。

图像处理装置100的逻辑功能的一部分可实现在位于云计算环境中的装置上，而非实现在图像处理装置100上。在这种情况下，能够经图7中示例性地显示的通信单元112在装置之间发送或接收在逻辑功能之间交换的信息。

虽然已参照附图详细描述了本发明的优选实施例，但本发明不限于此。对于本领域技术人员而言清楚的是，在所附权利要求或其等同物的技术范围内，可实现各种修改或改变。应该理解，这种修改或改变也落在本发明的技术范围内。

另外，本技术也可如下构造。

(1)一种图像处理装置，包括：

数据获取单元，构造为获取代表针对出现在图像中的环境中的被摄体的推荐视角的推荐视角参数；和

显示控制单元，构造为使用推荐视角参数在图像上重叠虚拟对象，该虚拟对象引导用户以便用于拍摄被摄体的图像的视角变得接近于推荐视角，

其中推荐视角参数是代表以推荐视角拍摄被摄体的图像的装置的三维位置和姿态的参数。

(2)如(1)所述的图像处理装置，其中所述显示控制单元在图像上重叠代表推荐视角的目标对象以及代表推荐视角和当前视角之间的中间视角的一个或多个中间对象。

(3)如(2)所述的图像处理装置，还包括：

识别单元，构造为使用图像识别代表当前视角的当前视角参数，

其中所述显示控制单元使用推荐视角参数和当前视角参数确定环境中的一个或多个中间对象的布置。

(4)如(3)所述的图像处理装置，其中所述一个或多个中间对象在推荐视角和当前视角之间按照非均匀间隔内插的位置和姿态布置在环境中。

(5)如(2)至(4)中任何一项所述的图像处理装置，其中所述显示控制单元按照分阶段的方式改变所述一个或多个中间对象的显示属性。

(6)如(2)至(5)中任何一项所述的图像处理装置，其中所述显示控制单元通过顺序地在多个帧上重叠目标对象和所述一个或多个中间对象来形成用于引导用户的动画。

(7)如(2)至(5)中任何一项所述的图像处理装置，其中所述显示控制单元通过在单个帧上重叠目标对象和所述一个或多个中间对象来形成用于引导用户的视角的轨迹。

(8)如(1)至(7)中任何一项所述的图像处理装置，还包括：

执行单元，构造为在当前视角被确定为基本上与推荐视角相同时使图像处理装置执行预定操作。

(9)如(8)所述的图像处理装置，其中所述预定操作是拍摄的图像的记录。

(10)如(8)所述的图像处理装置，其中所述预定操作是与被摄体关联的内容的获取或再现。

(11)如(8)所述的图像处理装置，其中所述预定操作是引导至下一被摄体或下一推荐视角。

(12)如(1)至(11)中任何一项所述的图像处理装置，其中所述推荐视角参数是代表当拍摄被摄体的推荐图像时的视角的参数。

(13)如(1)至(11)中任何一项所述的图像处理装置，其中所述推荐视角参数是代表基于针对被摄体的预定规则以及被摄体的位置和姿态确定的视角的参数。

(14)如(1)至(13)中任何一项所述的图像处理装置，其中所述数据获取单元和显示控制单元中的至少一个由替代图像处理装置的位于云计算环境中的装置实现。

(15)一种图像处理方法，包括：

获取代表以推荐视角拍摄出现在图像中的环境中的被摄体的图像的装置的三维位置和姿态的推荐视角参数；以及

使用推荐视角参数在图像上重叠虚拟对象，该虚拟对象用于引导用户以便用于拍摄被摄体的图像的视角变得接近于推荐视角。

(16)一种程序，用于使计算机用作：

数据获取单元，构造为获取代表针对出现在图像中的环境中的被摄体的推荐视角的推荐视角参数；和

显示控制单元，构造为使用推荐视角参数在图像上重叠虚拟对象，该虚拟对象引导用户以便用于拍摄被摄体的图像的视角变得接近于推荐视角，

其中推荐视角参数是代表以推荐视角拍摄被摄体的图像的装置的三维位置和姿态的参数。

本领域技术人员应该理解，在不脱离所附权利要求或其等同物的范围的情况下，可以根据设计的需要和其它因素做出各种变型、组合、子组合和替换。

本发明包含与2012年2月10日提交给日本专利局的日本优先权专利申请JP2012-026871中公开的主题相关的主题，该专利申请的全部内容通过引用包含于此。

Claims (16)

1.一种图像处理装置，包括：

数据获取单元，构造为获取代表针对出现在图像中的环境中的被摄体的推荐视角的推荐视角参数；和

显示控制单元，构造为使用推荐视角参数在图像上重叠虚拟对象，该虚拟对象引导用户以便用于拍摄被摄体的图像的视角变得接近于推荐视角，

其中推荐视角参数是代表以推荐视角拍摄被摄体的图像的装置的三维位置和姿态的参数。

2.如权利要求1所述的图像处理装置，其中所述显示控制单元在图像上重叠代表推荐视角的目标对象以及代表推荐视角和当前视角之间的中间视角的一个或多个中间对象。

3.如权利要求2所述的图像处理装置，还包括：

识别单元，构造为使用图像识别代表当前视角的当前视角参数，

其中所述显示控制单元使用推荐视角参数和当前视角参数确定环境中的一个或多个中间对象的布置。

4.如权利要求3所述的图像处理装置，其中所述一个或多个中间对象在推荐视角和当前视角之间按照非均匀间隔内插的位置和姿态布置在环境中。

5.如权利要求2所述的图像处理装置，其中所述显示控制单元按照分阶段的方式改变所述一个或多个中间对象的显示属性。

6.如权利要求2所述的图像处理装置，其中所述显示控制单元通过顺序地在多个帧上重叠目标对象和所述一个或多个中间对象来形成用于引导用户的动画。

7.如权利要求2所述的图像处理装置，其中所述显示控制单元通过在单个帧上重叠目标对象和所述一个或多个中间对象来形成用于引导用户的视角的轨迹。

8.如权利要求1所述的图像处理装置，还包括：

执行单元，构造为在当前视角被确定为基本上与推荐视角相同时使图像处理装置执行预定操作。

9.如权利要求8所述的图像处理装置，其中所述预定操作是拍摄的图像的记录。

10.如权利要求8所述的图像处理装置，其中所述预定操作是与被摄体关联的内容的获取或再现。

11.如权利要求8所述的图像处理装置，其中所述预定操作是引导至下一被摄体或下一推荐视角。

12.如权利要求1所述的图像处理装置，其中所述推荐视角参数是代表当拍摄被摄体的推荐图像时的视角的参数。

13.如权利要求1所述的图像处理装置，其中所述推荐视角参数是代表基于针对被摄体的预定规则以及被摄体的位置和姿态确定的视角的参数。

14.如权利要求1所述的图像处理装置，其中所述数据获取单元和显示控制单元中的至少一个由替代图像处理装置的位于云计算环境中的装置实现。

15.一种图像处理方法，包括：

获取代表以推荐视角拍摄出现在图像中的环境中的被摄体的图像的装置的三维位置和姿态的推荐视角参数；以及

使用推荐视角参数在图像上重叠虚拟对象，该虚拟对象用于引导用户以便用于拍摄被摄体的图像的视角变得接近于推荐视角。

16.一种程序，用于使计算机用作：

数据获取单元，构造为获取代表针对出现在图像中的环境中的被摄体的推荐视角的推荐视角参数；和

显示控制单元，构造为使用推荐视角参数在图像上重叠虚拟对象，该虚拟对象引导用户以便用于拍摄被摄体的图像的视角变得接近于推荐视角，

其中推荐视角参数是代表以推荐视角拍摄被摄体的图像的装置的三维位置和姿态的参数。

Images