CN103093741A - 信息处理设备，信息处理方法和程序 - Google Patents

Abstract

本发明涉及信息处理设备，信息处理方法和程序。提供一种信息处理设备，所述信息处理设备包括第一获取部件，所述第一获取部件获得被摄对象图像，和指示被摄对象图像的摄像位置的第一拍摄位置信息；第二获取部件，所述第二获取部件获得利用范围比拍摄被摄对象的图像时的视野更宽的视野拍摄的宽范围图像，和指示宽范围图像的摄像位置的第二拍摄位置信息；和显示控制器，所述显示控制器形成并显示虚拟空间的图像，所述虚拟空间具有在其中心位于虚拟空间中的基准点的圆的圆周方向上，对应于摄像位置的方位轴。当在虚拟空间中基于第一拍摄位置信息的绘制位置，绘制被摄对象图像时，显示控制器根据第二拍摄位置信息，绘制宽范围图像。

Description

信息处理设备,信息处理方法和程序

技术领域

本公开涉及信息处理设备，信息处理方法和程序。

背景技术

近年来，摄像设备被多功能化，例如，存在一种以缩略图图像的形式，排列和显示利用摄像设备拍摄的许多摄影图像的技术。在这种技术中，多个缩略图图像被显示成矩阵形状，然而还存在如下所述在日本专利申请公开No.2007-78842(下面称为专利文献1)中描述的技术。

专利文献1描述一种技术，其中根据涉及摄像位置、摄像距离和摄像方位的摄像信息，在显示区内设定摄像者的摄像地点的位置，并设定摄影图像的排列位置，以致被摄对象的相对于摄像地点的位置和方位是可以辨别的。

发明内容

此外，从改进浏览摄影图像等的便利性的观点看，提出一种其中根据摄像信息，在虚拟空间中排列和显示摄影图像的技术。按照该技术，用户浏览排列在虚拟空间中的摄影图像，从而能够容易地掌握被摄对象的摄像位置、摄像方位等。

顺便提及，在许多情况下，摄影图像是主要通过以被摄对象为焦点拍摄的，从而被摄对象周围的状况未被包括在拍摄中。因此，当在虚拟空间中显示通过拍摄被摄对象的图像而获得的摄影图像时，能够掌握被摄对象的摄像位置等，然而难以掌握被摄对象的图像是在何种环境下拍摄的。

理想的是提出一种当在虚拟空间中排列和显示被摄对象图像时，能够容易地掌握拍摄被摄对象的图像的环境等的方法。

按照本公开的一个实施例，提供一种信息处理设备，包括第一获取部件，所述第一获取部件获得通过拍摄被摄对象的图像而得到的被摄对象图像，和指示被摄对象图像的摄像位置的第一拍摄位置信息，第二获取部件，所述第二获取部件获得利用范围比拍摄被摄对象的图像时的视野更宽的视野拍摄的宽范围图像，和指示宽范围图像的摄像位置的第二拍摄位置信息，和显示控制器，所述显示控制器形成并显示虚拟空间的图像，所述虚拟空间具有在其中心位于虚拟空间中的基准点的圆的圆周方向上，对应于摄像位置的方位轴。当在虚拟空间中基于第一拍摄位置信息的绘制位置，绘制被摄对象图像时，显示控制器还根据第二拍摄位置信息，绘制宽范围图像。

按照本公开的一个实施例，提供一种信息处理方法，包括获得通过拍摄被摄对象的图像而得到的被摄对象图像，和指示被摄对象图像的摄像位置的第一拍摄位置信息，获得利用范围比拍摄被摄对象的图像时的视野更宽的视野拍摄的宽范围图像，和指示宽范围图像的摄像位置的第二拍摄位置信息，形成并显示虚拟空间的图像，所述虚拟空间具有在其中心位于虚拟空间中的基准点的圆的圆周方向上，对应于摄像位置的方位轴，和当在虚拟空间中基于第一拍摄位置信息的绘制位置，绘制被摄对象图像时，还根据第二拍摄位置信息，绘制宽范围图像。

按照本公开的一个实施例，提供一种程序，所述程序使计算机：获得通过拍摄被摄对象的图像而得到的被摄对象图像，和指示被摄对象图像的摄像位置的第一拍摄位置信息，获得利用范围比拍摄被摄对象的图像时的视野更宽的视野拍摄的宽范围图像，和指示宽范围图像的摄像位置的第二拍摄位置信息，形成并显示虚拟空间的图像，所述虚拟空间具有在其中心位于虚拟空间中的基准点的圆的圆周方向上，对应于摄像位置的方位轴，和当在虚拟空间中基于第一拍摄位置信息的绘制位置，绘制被摄对象图像时，还根据第二拍摄位置信息，绘制宽范围图像。

按照本公开，当在虚拟空间中绘制被摄对象图像时，显示控制器还绘制宽范围图像。这里，宽范围图像是包括被摄对象的摄像位置，并且利用范围比拍摄被摄对象的图像时的视野更宽的视野拍摄的图像。于是，归因于随同被摄对象图像一起绘制的宽范围图像，用户能够容易地掌握拍摄被摄对象的图像的环境等。

如上所述，按照本公开，当在虚拟空间中排列和显示被摄对象图像时，也能够容易地掌握拍摄被摄对象的图像的环境等。

附图说明

图1是图解说明按照一个实施例的图像显示系统的概略结构的示图；

图2是图解说明按照一个实施例的图像显示系统的结构的方框图；

图3是图解说明按照一个实施例的图像显示系统的结构的变形的方框图；

图4是图解说明按照一个实施例的摄像设备的详细结构的方框图；

图5是图解说明按照一个实施例的显示设备的详细结构的方框图；

图6是图解说明显示控制设备的功能结构的方框图；

图7A-7C是图解说明旋转云台（camera platform）的旋转角和利用摄像设备拍摄的被摄对象图像之间的关系的示图；

图8是概念地图解说明其中排列利用图7A-7C中图解说明的旋转角拍摄的被摄对象图像的虚拟三维空间的示图；

图9是图8中图解说明的虚拟三维空间的俯视图；

图10A-10C是图解说明电子指南针的方位和旋转云台的旋转角之间的关系的示图；

图11是图解说明利用显示器或大屏幕显示设备显示其中排列被摄对象图像的虚拟三维空间的例子的示图；

图12是说明虚拟三维空间中的被摄对象图像和全景图像的绘制（drawing）位置的示图；

图13是图解说明利用显示器或大屏幕显示设备显示被摄对象图像和全景图像的例子的示图；

图14是说明其中在虚拟三维空间中绘制从第一获取部件获得的被摄对象图像的流程的示意图；

图15是图解说明利用显示器或大屏幕显示设备显示被摄对象图像的例子的示图；

图16是说明虚拟三维空间中的视点的移动的示图；

图17是图解说明虚拟三维空间中的被摄对象图像和全景图像的显示处理的流程图；

图18是说明虚拟三维空间中的视点的方位角等的示图；

图19A和19B是图解说明全景图像和显示设备的显示屏之间的关系的示图；

图20是图解说明全景图像和显示设备的显示屏之间的关系的示图；

图21是图解说明自动拍摄的被摄对象图像在虚拟三维空间中的绘制处理的流程图。

具体实施方式

下面参考附图，详细说明本公开的优选实施例。注意在说明书和附图中，功能和结构基本相同的构成元件用相同的附图标记表示，这些构成元件的重复说明被省略。

这里，将按照以下顺序进行说明。

1.图像显示系统的结构

2.摄像设备的结构

3.显示设备的结构

4.显示控制设备的结构

4-1.虚拟三维空间中的被摄对象图像的排列

4-2.虚拟三维空间中的被摄对象图像和全景图像的显示

4-3.虚拟三维空间中的被摄对象图像的绘制的概况

4-4.随视点移动的全景图像的切换显示

5.图像显示系统的操作

6.结论

<1.图像显示系统的结构>

下面参考图1和图2，说明按照本公开的一个实施例的图像显示系统10的结构。图1是图解说明按照一个实施例的图像显示系统10的概略结构的示图。图2是图解说明按照一个实施例的图像显示系统10的结构的方框图。

图像显示系统10在作为虚拟空间的一个例子的虚拟三维空间中排列拍摄的被摄对象图像，并把其中排列被摄对象图像的虚拟三维空间显示成二维图像。如图1和图2中图解所示，图像显示系统10包括摄像设备20、旋转云台30、显示设备40和大屏幕显示设备50。

摄像设备20是例如数字静态照相机，拍摄被摄对象的图像。摄像设备20还可拍摄作为宽范围图像的一个例子的全景图像。摄像设备20能够实现其中在诸如聚会之类集会的时候，通过自动进行旋转(摇移)、角度调整(俯仰)和推拉（zoom），检测被摄对象的面部，并自动拍摄被摄对象的图像的功能(聚会摄影功能)。摄像设备20把拍摄的图像保存在存储器中。

旋转云台30是在摄像设备20位于其上的状态下，可旋转360°的云台。旋转云台30具有自动跟踪摇移、俯仰和推拉各个动作和被摄对象的面部的功能。通过把放置的摄像设备20连接到旋转云台30，实现上述聚会摄影功能。另外，在旋转云台30中，可以设置用于拍摄全景图像的操作部分。

摄像设备20可通过无线网络等，与显示设备40通信。然后，摄像设备20把利用聚会摄影功能自动拍摄的被摄对象图像(保存在存储器中的被摄对象图像)传送给显示设备40。此时，除被摄对象图像之外，摄像设备20还传送诸如在拍摄被摄对象图像时，旋转云台30的旋转角之类的信息。另外，摄像设备20的详细结构在后面说明。

显示设备40把各种图像显示在显示屏幕上，把从摄像设备20接收的被摄对象图像(利用聚会摄影功能自动拍摄的被摄对象图像)排列在虚拟三维空间中，并把其中排列被摄对象图像的虚拟三维空间显示成二维图像。显示设备40把虚拟三维空间显示在显示设备的显示屏上，或者显示在与显示设备40相连的大屏幕显示设备50上。另外，虚拟三维空间的细节在后面说明。

大屏幕显示设备50连接到显示设备40，在大屏幕显示设备50和显示设备40之间交换数据。大屏幕显示设备50把其中排列利用摄像设备20自动拍摄的被摄对象图像的虚拟三维空间显示在其显示屏上。

另外，在上面的说明中，摄像设备20被假定是数字静态照相机，不过并不局限于此。摄像设备20只需要具有拍摄被摄对象的图像的功能，可以是移动电话机、智能电话机、PDA(个人数字助手)、便携式AV播放器、电子书、电子辞典等。

此外，在上面的说明中，显示设备40被认为从摄像设备20接收排列在虚拟三维空间中的被摄对象图像，不过并不局限于此。例如，如图3中图解所示，显示设备40可接收保存在服务器中的被摄对象图像，在虚拟三维空间中排列和显示这样接收的被摄对象图像。

图3是图解说明按照一个实施例的图像显示系统10的结构的变形的方框图。按照图3中的变形的摄像设备20通过无线网络等，把自动拍摄的被摄对象图像传送给服务器70，而不是显示设备40。服务器70保存从摄像设备20接收的被摄对象图像，响应来自显示设备40的请求，把被摄对象图像传送给显示设备40。

<2.摄像设备的结构>

下面参考图4，说明按照本公开的一个实施例的摄像设备20的详细结构。图4是图解说明按照一个实施例的摄像设备20的详细结构的方框图。

如图4中图解所示，摄像设备20包括控制部分110、显示器120、摄像部分130、通信部分140、存储器150、输入部分160和电子指南针170。

控制部分110在它自己和摄像设备20的每个模块之间交换信号，以进行各种计算，并控制摄像设备20的所有操作。例如，控制部分110包括CPU、ROM和RAM。

显示器120例如是诸如TFT(薄膜晶体管)之类的LCD或OLED(有机电致发光显示器)，把各种图像显示在其显示屏幕上。显示器120显示例如拍摄图像时的预览图像。

摄像部分130利用诸如CMOS(互补金属氧化物半导体)和CCD(电荷耦合器件)传感器之类的图像传感器，拍摄诸如静态图像(照片)和运动图像之类的被摄对象图像。摄像部分130具有检测被摄对象的面部，并且当检测到笑脸时，自动拍摄被摄对象的图像的功能。此外，摄像部分130能够拍摄全景图像。另外，在实现聚会摄影功能期间，摄像部分130自动拍摄多个被摄对象图像。

摄像部分130不仅能够获得被摄对象图像，而且能够获得关于摄像时间和摄像位置的信息。摄像时间是从内置于摄像设备20中的时钟(未示出)获得的。根据例如GPS传感器(未示出)从GPS卫星接收的时间信息，可校正内置时钟的时间。另外，所述时间不是作为一天中的时间，而是包括年月日的时间的概念。

通信部分140具有网络接口卡、调制解调器等，并通过诸如因特网和LAN(局域网)之类的网络，进行它自己和其它设备之间的通信处理。通信部分140可包括无线LAN模块或WWAN(无线广域网)模块。通信部分140把拍摄的被摄对象图像和全景图像传送给诸如显示设备40之类的其它设备。

存储器150是例如闪速存储器，保存利用摄像部分130拍摄的被摄对象图像。此外，存储器150保存控制部分110执行的控制程序。

输入部分160接受用户的操作，并把输入信号输出给控制部分110。输入部分160包括电源开关、快门释放按钮等。输入部分160可包括与显示器120一体设置的触摸面板。

电子指南针170包括检测地球产生的地磁的磁性传感器，并根据检测的地磁，计算摄像设备20面对的方向(方位)。电子指南针170把摄像设备20计算的方位输出给控制部分110。

<3.显示设备的结构>

下面参考图5，说明按照本公开的一个实施例的显示设备40的详细结构。图5是图解说明按照一个实施例的显示设备40的详细结构的方框图。

如图5中图解所示，显示设备40包括控制部分210、存储器220、通信部分230、显示器240、输入部分250和外部I/F(接口)260。

控制部分210在它自己和显示设备40的每个部件之间交换信号，以进行各种计算，并控制显示设备40的所有操作。控制部分210进行诸如下面说明的虚拟三维空间中的被摄对象图像的排列处理之类的处理。例如，控制部分210包括CPU、ROM和RAM。

存储器220是例如闪速存储器和/或HDD(硬盘驱动器)，保存从摄像设备20接收的被摄对象图像。此外，存储器220保存控制部分210执行的控制程序。

通信部分230包括例如网络接口卡、调制解调器等，通过诸如因特网和LAN(局域网)之类的网络，进行它自己和其它设备(摄像设备20和/或服务器70)之间的通信处理。通信部分230从摄像设备20或服务器70(也称为摄像设备20等)，接收利用摄像设备20自动拍摄的被摄对象图像。

显示器240是例如诸如TFT(薄膜晶体管)之类的LCD或OLED(有机电致发光显示器)。显示器240把通信部分230从摄像设备20接收的被摄对象图像排列在虚拟三维空间中，并把其中排列被摄对象图像的虚拟三维空间作为二维图像，显示在其显示屏上。

输入部分250是例如与显示器240一体设置的触摸面板。例如在通过执行图像显示应用程序，显示图像或GUI(图形用户界面)的状态下，输入部分250检测用户的触摸操作，以便输出给控制部分210。此外，在图像显示应用程序的执行期间，触摸面板用于用户选择图像，以进行全屏显示，或者移动视点(放大或缩小)。

外部I/F 260依照各种标准，比如HDMI(高清多媒体接口)和USB(通用串行总线)，与外部设备(例如，大屏幕显示设备50)连接，并在它们之间交换数据。例如，显示设备40通过外部I/F 260，传送显示在大屏幕显示设备50的显示屏上的被摄对象图像和全景图像。

<4.显示控制设备的结构>

参见图6，说明显示控制设备300的功能结构，显示控制设备300是控制图像显示系统10中的图像显示的信息处理设备的一个例子。图6是图解说明显示控制设备300的功能结构的方框图。

显示控制设备300控制利用摄像设备20拍摄的被摄对象图像和全景图像在显示设备40的显示器120上，或者在大屏幕显示设备50的显示屏上的显示。如图6中图解所示，显示控制设备300包括第一获取部件310、第二获取部件320、显示控制器330和操作接受部件340。另外，第一获取部件310、第二获取部件320、显示控制器330和操作接受部件340是归因于例如显示设备40的控制部分210的功能实现的。

第一获取部件310获得通过拍摄被摄对象的图像而得到的被摄对象图像。例如，第一获取部件310从摄像设备20或服务器70获得被摄对象图像。被摄对象图像由位于能够自由旋转的旋转云台30之上，并且与旋转云台30的旋转联动地旋转的摄像设备20拍摄。另外，当利用摄像设备20自动拍摄了多个被摄对象图像时，所述多个被摄对象图像是顺序获得的。

第一获取部件310获得第一拍摄位置信息，第一拍摄位置信息指示当获得被摄对象图像时，被摄对象图像的摄像位置。此外，第一获取部件310还可获得第一拍摄时间信息，第一拍摄时间信息指示当获得被摄对象图像时，被摄对象图像的摄像时间。第一获取部件310获得与被摄对象图像关联的第一拍摄时间信息和第一拍摄位置信息。第一获取部件310把这样获得的被摄对象图像、第一拍摄时间信息和第一拍摄位置信息输出给显示控制器330。

第二获取部件320获得全景图像，全景图像包括被摄对象的摄像位置，是利用与拍摄被摄对象时的视野相比范围更宽的视野拍摄的宽范围图像的一个例子。全景图像也是利用与旋转云台30的旋转联动地旋转的摄像设备20拍摄的。当利用摄像设备20自动拍摄多个全景图像(例如，摄像时间彼此不同的多个全景图像)时，第二获取部件320获得所述多个全景图像。

当获得全景图像时，第二获取部件320还获得指示全景图像的摄像时间的第二拍摄时间信息，和指示全景图像的摄像位置的第二拍摄位置信息。第二获取部件320把这样获得的全景图像、第二拍摄时间信息和第二拍摄位置信息输出给显示控制器330。

显示控制器330控制从第一获取部件310输入的被摄对象图像和从第二获取部件320输入的全景图像在显示设备40的显示器120上，或者大屏幕显示设备50的显示屏上的显示。此外，显示控制器330形成并在显示器120上，或者在大屏幕显示设备50的显示屏上显示虚拟三维空间的图像。

(4-1.虚拟三维空间中的被摄对象图像的排列)

在下面的说明中，为了方便起见，假定虚拟三维空间被显示在大屏幕显示设备50的显示屏上。此外，还假定排列在虚拟三维空间中的被摄对象图像是利用聚会摄影功能自动拍摄的被摄对象图像。

虚拟三维空间是在以空间中的基准点(例如，用户的视点)为其中心的圆的半径方向上，具有对应于摄像时间的时间轴，在所述圆的圆周方向上，具有对应于摄像位置的方位轴的虚拟空间。显示控制器330在待形成为图像的虚拟三维空间中，基于利用第一获取部件310获得的第一拍摄时间信息和第一拍摄位置信息的绘制位置，绘制被摄对象图像。

下面具体说明在虚拟三维空间中如何绘制被摄对象图像。

图7A-7C是图解说明旋转云台30的旋转角和利用摄像设备20拍摄的被摄对象图像之间的关系的示图。如上所述，摄像设备20位于旋转云台30上，在与旋转云台30的旋转联动地旋转的情况下，利用聚会摄影功能自动拍摄被摄对象的图像。在图7A-7C中，假定在旋转云台30的旋转角度(摇移角)为从作为基准方向的北方起反时针方向的角度α的情况下，拍摄被摄对象图像I1，在旋转角度为0°的情况下，拍摄被摄对象图像I2，在旋转角度为顺时针方向的角度β的情况下，拍摄被摄对象图像I3。

图8是概念地图解说明其中排列利用在图7A-7C中图解说明的旋转角拍摄的被摄对象图像的虚拟三维空间的示图。图9是图解说明在图8中图解所示的虚拟三维空间的俯视图。如图8中图解所示，虚拟三维空间是其中以观察者(摄像设备20的用户的视点)作为中心，绘制同心圆的半球状空间，其中同心圆的半径方向和同心圆的圆周方向分别对应于深度和方位，并且所述半球状空间具有360°的分布范围。

显示控制器330把自动拍摄的多个被摄对象图像排列在虚拟三维空间中的反映摄像时间和摄像位置的各个位置。如图8和图9中图解所示，被摄对象图像I1-I3被排列在与在图7A-7C中图解所示的旋转云台30的旋转角对应的位置。另外，在图9中，0°角度的方向指示北方，90°角度的方向指示东方。此外，位于圆心的眼睛的图像指示视点。

在上面的说明中，对应于旋转云台30的旋转角，设定被摄对象图像的摄像位置。顺便提及，摄像设备20包括如上所述的电子指南针170，于是，可对应于利用电子指南针170获得的绝对方位，和旋转云台30的旋转角，设定被摄对象图像的摄像位置。

图10A-10C是图解说明电子指南针170的方位和旋转云台30的旋转角之间的关系的示图。在获得自动拍摄的被摄对象图像时，第一获取部件310还关联地获得与拍摄图像时的旋转云台30的旋转角度相关的信息(图10B中图解所示的0°～359°的角度信息)。此外，在获得被摄对象图像时，第一获取部件310还关联地获得与拍摄图像时，利用电子指南针170测量的绝对方位相关的信息(图10A中图解所示的方位)。

为了利用这两种信息，显示控制设备300确定偏移角，所述偏移角指示在开始拍摄图像时，旋转云台30的初始角度和电子指南针170的绝对方位之间的差值(图10C中图解说明的偏移角α)。随后，由于电子指南针170摆动，因此显示控制设备300采用通过相加偏移角α和旋转云台30的旋转角度而获得的角度，作为摄像设备20的摄像方位。从而，能够更高精度地确定摄像方位。

图11是图解说明利用显示器120或大屏幕显示设备50，显示其中排列被摄对象图像的虚拟三维空间的例子的示图。如图11中图解所示，显示控制器330绘制和显示虚拟三维空间，以致它是从用户的视点看见的场景。在图11中，虚拟三维空间中的水平轴、垂直轴和深度轴分别对应于方位、高度和时间。即，水平轴指示从摄像设备20的当前位置看的拍摄被摄对象图像的场所的方位。深度轴指示从当前时间看的拍摄被摄对象图像的时间。垂直轴指示拍摄被摄对象图像的场所距地表的高度。

另外，当没有随同被摄对象图像一起记录高度信息时，高度被设定为0，从而沿着地表(虚拟三维空间的底面)排列被摄对象图像。此外，深度方向的被摄对象的排列间隔可以是固定间隔，比如1小时间隔和1天间隔，或者随着距视点的距离的变大，间隔指数地变大的可变间隔，比如1小时、1天、1年、10年等等。

在图11中，摄像时间彼此不同，并且从不同方位拍摄的5个被摄对象图像I1-I5被排列在虚拟三维空间中，并被显示成二维图像。此外，图11中图解所示的虚拟三维空间在深度方向具有远近感，被摄对象图像的大小随被摄对象图像距当前位置的距离而不同。即，最接近当前位置的被摄对象图像I1最大，离当前位置最远的被摄对象图像I5最小。另外，虚拟三维空间可不在深度方向具有远近感，或者说被摄对象I1-I5的大小可以是相同的大小。通过按照这种方式显示，用户能够容易地掌握多个被摄对象图像的摄像位置和摄像时间之间的关系。

(4-2.虚拟三维空间中的被摄对象图像和全景图像的显示)

返回图6，继续进行说明。当在虚拟三维空间中的绘制位置绘制被摄对象图像时，连同被摄对象图像一起，显示控制器330还绘制利用第二获取部件320获得的全景图像，以致能够容易地掌握自动拍摄被摄对象的图像时的摄像环境。

具体地说，显示控制器330在待形成和显示为图像的虚拟三维空间的背景部分中，绘制全景图像。此外，显示控制器330根据利用第二获取部件320获得的第二拍摄位置信息，绘制全景图像，以致被摄对象图像和全景图像的摄像方位同步。

这里参考图12，具体说明虚拟三维空间中的被摄对象图像和全景图像的显示。图12是说明虚拟三维空间中的被摄对象图像和全景图像的绘制位置的示图。

如图12中图解所示，当在虚拟三维空间中排列和绘制被摄对象图像P1和P2的时候，显示控制器330还绘制全景图像Q。这里，全景图像被排列在从虚拟三维空间的外周向上延伸的表面上。此时，显示控制器330绘制全景图像和被摄对象图像，以致在虚拟三维空间中，全景图像和被摄对象图像的摄像方位同步。

图13是图解说明利用显示器120或大屏幕显示设备50，显示被摄对象图像和全景图像的例子的示图。如图13中图解所示，被摄对象图像I1-I5被绘制在显示屏幕S的下部的虚拟三维空间的底面上，全景图像Ia被绘制在显示屏幕S的上部的虚拟三维空间的背景部分中。由于全景图像和被摄对象图像是分别绘制的，因此用户易于识别绘制的全景图像。此外，如图13中图解所示，绘制在显示屏幕S上的全景图像Ia是对应于显示屏幕的大小并由第二获取部件320获得的全景图像Q的一部分。

从而，除了被摄对象图像以外，全景图像也被排列和显示在虚拟三维空间的背景部分中，从而，其中自动拍摄被摄对象的图像的摄像环境变得易于感知。特别地，由于待拍摄的被摄对象图像是在关注于被摄对象的面部的情况下拍摄的，因此，被摄对象的面部在被摄对象图像中占据的面积较大。为此，当只显示被摄对象图像时，会难以掌握除被摄对象外的部分(例如，拍摄的背景)，而通过在背景部分中显示全景图像，能够容易地掌握在拍摄被摄对象的图像时的摄像环境。

(4-3.在虚拟三维空间中绘制被摄对象图像的概况)

返回图6，继续进行说明。显示控制器330按与被摄对象图像的摄像位置对应的方位，旋转和显示虚拟三维空间，并在这样旋转和显示的虚拟三维空间的绘制位置，绘制被摄对象图像。

具体地，显示控制器330放大和显示被摄对象图像预定时间，之后，在该被摄对象图像被设定成不显示的状态下，旋转和显示虚拟三维空间，并在虚拟三维空间的旋转和显示之后，在绘制位置重新显示和绘制被摄对象图像。此外，显示控制器330使被摄对象图像被限制在这样旋转和显示的虚拟三维空间中，之后，在绘制位置绘制该被摄对象图像。

这里参考图14，说明其中显示控制器330在虚拟三维空间中，绘制从第一获取部件310获得的被摄对象图像的流程。图14是说明其中在虚拟三维空间中，绘制从第一获取部件310获得的被摄对象图像的流程的示意图。

在从第一获取部件310输入被摄对象图像之后，如在显示屏幕S1中图解所示，显示控制器330以大尺寸显示一个被摄对象图像I1预定时间。就以这样的大尺寸显示的被摄对象图像I1来说，它易于被察觉为自动拍摄的图像。

在预定时间过去之后，如在显示屏幕S2中图解所示，显示控制器330向屏幕之外滑动该被摄对象图像。从而，被摄对象图像I1从屏幕上消失。这里，被摄对象图像I1被向上滑动到屏幕之外。

在被摄对象图像11向外滑动之后，如在显示屏幕S3中图解所示，显示控制器330朝着被摄对象图像I1的摄像方位旋转和显示虚拟三维空间(即，滚动显示屏幕)。随后，在旋转和显示虚拟三维空间之后，如在显示屏幕S4中图解所示，显示控制器330使被摄对象图像I1落入虚拟三维空间中，并显示该被摄对象图像I1(向下滑动被摄对象图像)。

这里，由于虚拟三维空间旋转，因此显示屏幕S4中的被摄对象图像I1的背景部分不同于显示屏幕S1和S2中的被摄对象图像I1的背景部分的图像。从而，通过旋转和显示虚拟三维空间，可察觉被摄对象图像是用位于旋转云台30上并在旋转云台30上旋转的摄像设备20拍摄的。

此外，显示控制器330通过使被摄对象图像I1被限制在位于虚拟三维空间的底面的绘制位置上，幕后安排(stage-manage)被摄对象图像I1。利用这种方式的幕后安排，能够容易地直观掌握被摄对象图像I1的摄像位置。

图15是图解说明利用显示器120或大屏幕显示设备50显示被摄对象图像的例子的示图。如在图15中的显示屏S1中图解所示，大尺寸地显示被摄对象图像I1。此时，显示控制器330可显示其中描述评论的气泡框G。评论是例如第三方对被摄对象图像I1的被摄对象的客观评论。评论可以是被摄对象图像I1的被摄对象的评论。在图15的显示屏幕S5中，显示了在虚拟三维空间的旋转和显示之后，在绘制位置绘制被摄对象图像I1的状态。

(4-4.随视点移动的全景图像的切换显示)

返回图6，继续进行说明。就显示在显示屏幕上的虚拟三维空间而论，操作接受部件340接受虚拟三维空间中的用户的视点的移动操作。例如，通过检测显示设备40的输入部分250(触摸面板)中的触摸操作，操作接受部件340接受在虚拟三维空间中，视点在虚拟三维空间的时间轴上的移动操作。

按照操作接受部件340接受的视点的移动操作，显示控制器330切换全景图像，并绘制全景图像。例如，显示控制器330切换地绘制在与在时间轴上移动的视点的位置对应的摄像时间拍摄的全景图像。从而，能够掌握与摄像时间相应的摄像场景。另外，切换绘制的全景图像可以是先前每隔预定时间拍摄的，或者可以是每次切换场景时拍摄的。

这里参考图16，说明随虚拟三维空间中的视点移动的全景图像的切换显示。图16是解释虚拟三维空间中的视点的移动的示图。

在图16中，当用户向上移动视点时，显示控制器330把显示从当前时间显示的全景图像切换成在作为虚拟三维空间的时间轴的半径方向上的预定时间之前拍摄的全景图像。从而，通过按照虚拟三维空间中的视点移动，切换全景图像，能够察觉这样绘制的全景图像的时间过程变化。

另外，在上面举例说明了作为虚拟空间的虚拟三维空间，它具有在圆的圆周方向上的方位轴，和在圆的半径方向上的时间轴，然而并不局限于此。例如，虚拟空间仅仅必须具有在其中心位于空间中的基准点的圆的圆周方向上，与被摄对象图像的摄像位置对应的方位轴，而半径方向可对应于除时间轴外的轴(例如，距离轴)。

<5.图像显示系统的操作>

(虚拟三维空间中的被摄对象图像和全景图像的显示处理)

参见图17-图19A和19B，说明虚拟三维空间中的被摄对象图像和全景图像的显示处理。

图17是图解说明虚拟三维空间中的被摄对象图像和全景图像的显示处理的流程图。图18是说明虚拟三维空间中的视点的方位角等的示图。图19A和19B是图解说明全景图像和显示屏之间的关系的示图。图17中图解说明的流程图从其中使用摄像设备20，拍摄了被摄对象图像和全景图像的步骤开始。

所述处理由执行保存在ROM中的程序的CPU实现。另外，执行的程序可被保存在诸如CD(光盘)、DVD(数字通用光盘)和存储卡之类的记录介质中，可以通过因特网从服务器等下载。

首先，显示控制器330读取第二获取部件320从摄像设备20获得的全景图像(步骤S102)。随后，显示控制器330获得在图19B中图解所示的全景图像的大小(像素（Pixel）)和初始方位角startBearing(步骤S104)。

之后，显示控制器330旋转待绘制的虚拟三维空间，并更新显示视点的方位角λ(图18)(步骤S106)。随后，显示控制器330根据虚拟空间的当前方位角λ，计算显示屏幕的显示角度(步骤S108)。

之后，显示控制器330旋转虚拟三维空间，获得显示视点的方位角λ(步骤S110)。在图18中，视点面朝东方，从而方位角λ为90°。

之后，显示控制器330在虚拟三维空间的背景部分中绘制全景图像(步骤S112)。这里参见图20，说明绘制全景图像时的计算方法。图20是图解说明全景图像和显示设备的显示屏之间的关系的示图。

首先，利用以下公式，计算图19A中图解所示的视点的每1°视野的像素数(pixPerAngleEye)。

pixPerAngleEye=devWidth/α

此外，利用以下公式，计算图19B中图解所示的全景图像的每1°视野的像素数(pixPerAnglePano)。

pixPerAnglePano=panoWidth/β

随后，利用以下公式，计算全景图像到显示屏幕的坐标系的变换系数(convCoefficients)。

convCoefficients=pixPerAngleEye /pixPerAnglePano

当把全景图像排列在显示屏幕上时，根据全景图像的初始方位角startBearing和视点的方位角λ，利用以下公式，计算在图20中图解所示的全景图像的左端的坐标drawLeft，其中显示屏幕的中心的坐标为devWidth/2。

drawLeft=(devWidth/2)+(startBearing-λ)*pixPerAngleEye

类似地，利用以下公式，计算在图20中图解说明的全景图像的右端的坐标drawRight。

drawRight=drawLeft+panoWidth*convCoefficients

此外，分别利用以下公式，计算在全景图像的上端和下端的坐标drawTop和drawButtom。

drawTop=0

drawButtom=panoHeight*convCoeffients

根据上述计算结果，绘制全景图像。

返回图17，继续进行说明。显示控制器330在虚拟三维空间中的预定绘制位置，绘制被摄对象图像(步骤S114)。从而，如图13中图解所示，例如，全景图像和被摄对象图像都被显示在虚拟三维空间中，因而能够容易地掌握拍摄被摄对象图像的环境。

(虚拟三维空间中的被摄对象图像的绘制处理)

参见图21，说明在虚拟三维空间中，排列自动拍摄的被摄对象图像的绘制处理。图21是图解说明自动拍摄的被摄对象图像在虚拟三维空间中的绘制处理的流程图。该流程图从其中利用摄像设备20自动拍摄了被摄对象图像的步骤开始。

第一获取部件310接收自动拍摄的被摄对象图像(步骤S202)，把这样接收的被摄对象图像保存在存储器的队列中(步骤S204)。这里，第一获取部件310接收多个被摄对象图像。

之后，显示控制器330从队列中取出待显示在屏幕(虚拟三维空间)上的一个被摄对象图像(步骤S206)。然后，显示控制器330判定这样取出的被摄对象图像是否是自动拍摄的多个被摄对象图像中的第一被摄对象图像(步骤S208)。

当在步骤S208，判定被摄对象图像是第一被摄对象图像(是)时，显示控制器330还判定方位信息是否被附在被摄对象图像上(步骤S210)。随后，当在步骤S210，方位信息被附在被摄对象图像上(是)时，显示控制器330从Exif(诸如方位之类的摄像信息)，获得拍摄图像时的方位值(电子指南针的值)(步骤S212)。

此外，显示控制器330从Exif获得拍摄被摄对象的图像时，旋转云台30的摇移角α(步骤S214)。随后，显示控制器330计算旋转云台30的摇移角和绝对方位之间的差值，然后计算和保持差值(偏移值)δ(步骤S216)。

当在步骤S210，方位信息未被附在被摄对象图像上(否)时，显示控制器330把绝对方位和旋转云台30的摇移角之间的差值δ设定为0(步骤S218)。即，绝对方位和旋转云台30的摇移角具有相同的大小。

随后，显示控制器330在屏幕的前侧显示被摄对象图像和气泡框(步骤S222)。然后，显示控制器330计算被摄对象图像的显示时间，把被摄对象图像显示预定时间(步骤S224)。之后，显示控制器330向上侧滑动被摄对象图像，从而暂时隐藏该被摄对象图像(步骤S226)。

随后，显示控制器330获得当前在显示的虚拟三维空间的方位角γ(步骤S228)。随后，显示控制器330把虚拟三维空间的目标角度P设定为摇移角α(步骤S230)。

随后，显示控制器330开始旋转虚拟三维空间的计算(步骤S232)。显示控制器330利用以下公式，计算在旋转虚拟三维空间时的增加值

(步骤S234)。

之后，显示控制器330利用以下公式，计算虚拟三维空间的角度λ(步骤S236)。

之后，显示控制器330把虚拟三维空间的方位角设定为x(步骤S238)。即，显示控制器330旋转虚拟三维空间，直到x°为止。随后，显示控制器330判定方位角x是否变得与目标角度P相同(步骤S240)。

当在步骤S240，方位角x未达到目标角度P(否)时，显示控制器330重复上述步骤S238和S240。当在步骤S240，方位角x达到目标角度P(是)时，显示控制器330在虚拟三维空间的上端显示该被摄对象图像(步骤S242)。随后，显示控制器330从上部向下部滑动显示该被摄对象图像(步骤S244)。

之后，显示控制器330判定队列中，是否还保存有被摄对象图像(步骤S246)。当在步骤S246中，在队列中仍然保存有被摄对象图像(是)时，显示控制器330重复上述处理。不过，由于在这种情况下，从队列取出的被摄对象图像是第二被摄对象图像或者最后的被摄对象图像，因此显示控制器330从Exif获得拍摄图像时的摇移角α(步骤S220)，而不是进行步骤S210-S218。当在步骤S246，在队列中没有被摄对象图像(否)时，处理终止。

<6.结论>

如上所述，当在虚拟三维空间(虚拟空间)的绘制位置绘制被摄对象图像时，信息处理设备还绘制全景图像(宽范围图像)。这里，全景图像是利用范围比拍摄被摄对象的图像时的视野更宽的视野拍摄的图像。于是，归因于随同被摄对象图像一起绘制的全景图像，能够容易地掌握拍摄被摄对象的图像的环境等。特别地，在聚会摄影功能中，被摄对象的面部往往会被拍摄成在自动拍摄的被摄对象图像中，占据较大的尺寸。因此，如果在虚拟三维空间中仅仅排列被摄对象图像，那么会难以掌握摄像环境，然而利用随同被摄对象图像一起绘制的全景图像，解决了这个问题。

如上所述，参考附图详细说明了本公开的优选实施例，然而，本公开的技术范围并不局限于这样的例子。本领域的技术人员应明白，根据设计要求和其它因素，可以产生各种修改、组合、子组合和变更，只要它们在所附的权利要求或其等同物的范围之内，并且所述各种修改、组合、子组合和变更自然属于本公开的技术范围。

此外，在上述实施例的流程图中举例说明的步骤自然包括按照所述顺序，时序地进行的处理，还包括并行或单独地，而不必时序地进行的处理。此外，不应过分强调的是在一些情况下，即使时序地进行的步骤的处理顺序也可被适当改变。

在本说明书中说明的显示控制设备的处理可以利用软件、硬件或软件与硬件的组合来实现。构成软件的程序预先保存在设置在每个设备之内或之外的记录介质中。随后，在执行时，每个程序被读入RAM(随机存取存储器)中，然后被诸如CPU之类的处理器执行。

注意还可如下构成本技术。

(1)一种信息处理设备，包括：

第一获取部件，所述第一获取部件获得通过拍摄被摄对象的图像而得到的被摄对象图像，和指示被摄对象图像的摄像位置的第一拍摄位置信息；

第二获取部件，所述第二获取部件获得利用范围比拍摄被摄对象的图像时的视野更宽的视野拍摄的宽范围图像，和指示宽范围图像的摄像位置的第二拍摄位置信息；和

显示控制器，所述显示控制器形成并显示虚拟空间的图像，所述虚拟空间具有在其中心位于虚拟空间中的基准点的圆的圆周方向上，对应于摄像位置的方位轴，其中

当在虚拟空间中基于第一拍摄位置信息的绘制位置，绘制被摄对象图像时，显示控制器还根据第二拍摄位置信息，绘制宽范围图像。

(2)按照(1)所述的信息处理设备，其中

被摄对象图像是通过拍摄被摄对象的面部的图像而得到的图像，和

宽范围图像是全景图像。

(3)按照(1)或(2)所述的信息处理设备，其中

显示控制器根据第二拍摄位置信息，在形成并显示为图像的虚拟空间的背景部分中，绘制宽范围图像。

(4)按照(1)-(3)任意之一所述的信息处理设备，其中

被摄对象图像和宽范围图像是利用摄像设备拍摄的图像，所述摄像设备位于可自由旋转的旋转云台上，并且与旋转云台的旋转联动地旋转。

(5)按照(1)-(4)任意之一所述的信息处理设备，其中

显示控制器把虚拟空间旋转到与被摄对象图像的摄像位置对应的方位，并显示虚拟空间，和

在旋转后显示的虚拟空间的绘制位置，绘制被摄对象图像。

(6)按照(5)所述的信息处理设备，其中

在使被摄对象图像被约束在旋转后显示的虚拟空间中之后，显示控制器在绘制位置绘制被摄对象图像。

(7)按照(5)或(6)所述的信息处理设备，其中

显示控制器放大显示被摄对象图像预定时间，之后，在被摄对象图像被设定成不显示的状态下，旋转并显示虚拟空间，和

在虚拟空间的旋转和显示之后，在绘制位置重新显示和绘制被摄对象图像。

(8)按照(1)-(7)任意之一所述的信息处理设备，其中

第一获取部件还获得指示被摄对象图像的摄像时间的第一拍摄时间信息，和

显示控制器把其中心在虚拟空间中的基准点的圆的半径方向设定为时间轴，并在虚拟空间中的基于第一拍摄时间信息和第一拍摄位置信息的绘制位置，绘制被摄对象图像。

(9)按照(8)所述的信息处理设备，还包括

操作接受部件，所述操作接受部分接受在显示的虚拟空间中，用户的视点在虚拟空间中的移动操作，其中

第二获取部件获得多个宽范围图像，和

显示控制器按照操作接受部件接受的视点的移动操作，切换绘制宽范围图像。

(10)按照(9)所述的信息处理设备，其中

所述多个宽范围图像在摄像时间方面不同，

操作接受部件接受在显示的虚拟空间中，用户的视点在虚拟空间的时间轴上的移动操作，和

显示控制器切换地绘制在与在时间轴上移动的视点的位置对应的摄像时间拍摄的宽范围图像。

(11)按照(4)所述的信息处理设备，其中

第一拍摄位置信息的摄像位置是根据摄像设备在拍摄时的旋转角和摄像设备的绝对方位设定的。

(12)一种信息处理方法，包括：

获得通过拍摄被摄对象的图像而得到的被摄对象图像，和指示被摄对象图像的摄像位置的第一拍摄位置信息；

获得利用范围比拍摄被摄对象的图像时的视野更宽的视野拍摄的宽范围图像，和指示宽范围图像的摄像位置的第二拍摄位置信息；

形成并显示虚拟空间的图像，所述虚拟空间具有在其中心位于虚拟空间中的基准点的圆的圆周方向上，对应于摄像位置的方位轴；和

当在虚拟空间中基于第一拍摄位置信息的绘制位置，绘制被摄对象图像时，还根据第二拍摄位置信息，绘制宽范围图像。

(13)一种程序，所述程序使计算机：

获得通过拍摄被摄对象的图像而得到的被摄对象图像，和指示被摄对象图像的摄像位置的第一拍摄位置信息；

获得利用范围比拍摄被摄对象的图像时的视野更宽的视野拍摄的宽范围图像，和指示宽范围图像的摄像位置的第二拍摄位置信息；

形成并显示虚拟空间的图像，所述虚拟空间具有在其中心位于虚拟空间中的基准点的圆的圆周方向上，对应于摄像位置的方位轴；和

当在虚拟空间中基于第一拍摄位置信息的绘制位置，绘制被摄对象图像时，还根据第二拍摄位置信息，绘制宽范围图像。

本公开包含与在2011年10月31日向日本专利局提交的日本优先权专利申请JP 2011-238477中公开的主题相关的主题，该专利申请的整个内容在此引为参考。

Claims (15)

1.一种信息处理设备，包括：

第一获取部件，所述第一获取部件获得通过拍摄被摄对象而得到的被摄对象图像，和指示被摄对象图像的摄像位置的第一拍摄位置信息；

第二获取部件，所述第二获取部件获得利用范围比拍摄被摄对象的图像时的视野更宽的视野拍摄的宽范围图像，和指示所述宽范围图像的摄像位置的第二拍摄位置信息；和

显示控制器，所述显示控制器形成并显示虚拟空间的图像，所述虚拟空间具有在中心位于所述虚拟空间中的基准点处的圆的圆周方向上的、对应于摄像位置的方位轴，其中

当在虚拟空间中基于第一拍摄位置信息的绘制位置处绘制被摄对象图像时，显示控制器还根据第二拍摄位置信息绘制所述宽范围图像。

2.按照权利要求1所述的信息处理设备，其中

所述被摄对象图像是通过拍摄被摄对象的面部而得到的图像，并且

所述宽范围图像是全景图像。

3.按照权利要求1所述的信息处理设备，其中

显示控制器根据第二拍摄位置信息，在形成并显示为图像的虚拟空间的背景部分中绘制所述宽范围图像。

4.按照权利要求1所述的信息处理设备，其中

所述被摄对象图像和所述宽范围图像是利用摄像设备拍摄的图像，所述摄像设备位于能够自由旋转的旋转云台上，并且与所述旋转云台的旋转联动地旋转。

5.按照权利要求1所述的信息处理设备，其中

显示控制器把所述虚拟空间旋转到与被摄对象图像的摄像位置对应的方位，并显示所述虚拟空间，并且在旋转后显示的虚拟空间的绘制位置处绘制被摄对象图像。

6.按照权利要求5所述的信息处理设备，其中

在使被摄对象图像被约束在旋转后显示的虚拟空间中之后，显示控制器在绘制位置处绘制被摄对象图像。

7.按照权利要求5所述的信息处理设备，其中

显示控制器放大显示被摄对象图像预定时间，之后，在被摄对象图像被设定成不显示的状态下，旋转并显示所述虚拟空间，并且，在所述虚拟空间的旋转和显示之后，在绘制位置处重新显示和绘制被摄对象图像。

8.按照权利要求1所述的信息处理设备，其中

第一获取部件还获得指示被摄对象图像的摄像时间的第一拍摄时间信息，并且

显示控制器把中心在所述虚拟空间中的基准点的圆的半径方向设定为时间轴，并在所述虚拟空间中的基于第一拍摄时间信息和第一拍摄位置信息的绘制位置处绘制被摄对象图像。

9.按照权利要求8所述的信息处理设备，还包括

操作接受部件，所述操作接受部件接受在所显示的虚拟空间中用户的视点在虚拟空间中的移动操作，其中

第二获取部件获得多个宽范围图像，并且

显示控制器按照操作接受部件接受的视点的移动操作，切换地绘制宽范围图像。

10.按照权利要求9所述的信息处理设备，其中

所述多个宽范围图像在摄像时间方面不同，

所述操作接受部件接受在所显示的虚拟空间中用户的视点在虚拟空间的时间轴上的移动操作，并且

所述显示控制器切换地绘制在与在时间轴上移动的视点的位置对应的摄像时间拍摄的宽范围图像。

11.按照权利要求4所述的信息处理设备，其中

第一拍摄位置信息的摄像位置是根据摄像设备在拍摄时的旋转角和摄像设备的绝对方位设定的。

12.按照权利要求4所述的信息处理设备，其中

显示控制器确定偏移角，所述偏移角指示在开始拍摄图像时旋转云台的初始角度和摄像设备的绝对方位之间的差值，并且显示控制器采用通过相加所述偏移角和所述旋转云台的旋转角度而获得的角度，作为摄像设备的摄像位置。

13.按照权利要求10所述的信息处理设备，其中

当用户向上移动视点时，显示控制器把显示从当前时间显示的宽范围图像切换成在作为所述虚拟空间的时间轴的半径方向上的预定时间之前拍摄的宽范围图像。

14.一种信息处理方法，包括：

获得通过拍摄被摄对象而得到的被摄对象图像，和指示被摄对象图像的摄像位置的第一拍摄位置信息；

获得利用范围比拍摄被摄对象的图像时的视野更宽的视野拍摄的宽范围图像，和指示宽范围图像的摄像位置的第二拍摄位置信息；

形成并显示虚拟空间的图像，所述虚拟空间具有在中心位于所述虚拟空间中的基准点的圆的圆周方向上的、对应于摄像位置的方位轴；和

当在所述虚拟空间中基于第一拍摄位置信息的绘制位置处绘制被摄对象图像时，还根据第二拍摄位置信息，绘制宽范围图像。

15.一种程序，所述程序使计算机：

获得通过拍摄被摄对象而得到的被摄对象图像，和指示被摄对象图像的摄像位置的第一拍摄位置信息；

获得利用范围比拍摄被摄对象的图像时的视野更宽的视野拍摄的宽范围图像，和指示宽范围图像的摄像位置的第二拍摄位置信息；

形成并显示虚拟空间的图像，所述虚拟空间具有在其中心位于虚拟空间中的基准点的圆的圆周方向上的、对应于摄像位置的方位轴；和

当在虚拟空间中基于第一拍摄位置信息的绘制位置，绘制被摄对象图像时，还根据第二拍摄位置信息，绘制宽范围图像。

Images