CN105980962A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN105980962A
CN105980962A CN201480075275.XA CN201480075275A CN105980962A CN 105980962 A CN105980962 A CN 105980962A CN 201480075275 A CN201480075275 A CN 201480075275A CN 105980962 A CN105980962 A CN 105980962A
Authority
CN
China
Prior art keywords
image
information
user
imaging device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480075275.XA
Other languages
English (en)
Other versions
CN105980962B (zh
Inventor
历本纯
历本纯一
笠原俊
笠原俊一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105980962A publication Critical patent/CN105980962A/zh
Application granted granted Critical
Publication of CN105980962B publication Critical patent/CN105980962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

提供了能够共享空间同时保持视线的自由度的信息处理设备、信息处理方法以及程序。所公开的信息处理设备设置有控制单元，该控制单元执行控制以在用户观看的显示区域中显示基于以下信息而生成的显示图像：图像信息，该图像信息是借助于安装在空间中移动的移动对象上的成像设备执行成像而生成的；成像设备姿态信息，该成像设备姿态信息是与该成像设备的姿态有关的信息；以及用户观看信息，该用户观看信息指定观看者期望观看的区域并且该用户观看信息是从由用户操作的用户操作设备获得的。

Description

信息处理设备、信息处理方法和程序
技术领域
本公开内容涉及信息处理设备、信息处理方法以及程序。
背景技术
近年来，为了将人的体验按原样传递给其他人，例如使用可佩戴式设备诸如头戴式摄像机中的第一人视点图像来生成各种内容。已经提出了用于通过经由前述的第一人视点图像的传递来实现与其他人交流以与其他人分享体验或者向其他人请求知识或指令的接口。
例如，在专利文献1中公开了一种用于将由安装在头部上的成像设备所成像的视频传送至其他设备使得可以用其他设备观看该视频的技术。
引文列表
专利文献
专利文献1：JP 2013-110764A
发明内容
技术问题
然而，在专利文献1所公开的技术中，因为观看所传递的第一人视点图像的其他人的视线被限制于佩戴可佩戴式设备的佩戴者的视线，所以其他人可能无法从与佩戴者不同的视点理解空间。
因此，期望提供一种能够共享空间同时保持视线的自由度的信息处理设备、信息处理方法以及程序。
问题的解决方案
根据本公开内容，提供了一种信息处理设备，该信息处理设备包括控制单元，该控制单元被配置成执行控制使得基于以下信息而生成的显示图像显示在用户观看的显示区域中：图像信息，该图像信息是通过安装在空间中移动的移动对象上的成像设备的成像而生成的；成像设备姿态信息，该成像设备姿态信息是与成像设备的姿态有关的信息；以及用户观看信息，该用户观看信息是从由用户操作的用户操作设备获得的并且指定用户期望观看的区域。
根据本公开内容，提供了一种信息处理方法，该信息处理方法包括执行控制使得基于以下信息而生成的显示图像显示在用户观看的显示区域中：图像信息，该图像信息是通过安装在空间中移动的移动对象上的成像设备的成像而生成的；成像设备姿态信息，该成像设备姿态信息是与成像设备的姿态有关的信息；以及用户观看信息，该用户观看信息是从由用户操作的用户操作设备获得的并且指定用户期望观看的区域。
根据本公开内容，提供了一种使计算机实现如下功能的程序，该功能为执行控制使得基于以下信息而生成的显示图像显示在用户观看的显示区域中：图像信息，该图像信息是通过安装在空间中移动的移动对象上的成像设备的成像而生成的；成像设备姿态信息，该成像设备姿态信息是与成像设备的姿态有关的信息；以及用户观看信息，该用户观看信息是从由用户操作的用户操作设备获得的并且指定用户期望观看的区域。
本发明的有益效果
根据以上所述的本公开内容，可以共享空间，同时保持视线的自由度。
注意，并不局限于上述效果，与所述效果一起或者取代所述效果，还可以呈现出期望被引入本说明书中的任何效果或者从本说明书可以预期的其他效果。
附图说明
图1是示出根据本公开内容的第一实施方式的系统的示意性配置的说明图。
图2是示出根据实施方式的设备的示意性配置的说明图。
图3是示意性地示出根据实施方式的可佩戴式设备的示例的说明图。
图4A是示出根据实施方式的信息处理设备的配置的示例的框图。
图4B是示出根据实施方式的信息处理设备的配置的示例的框图。
图5是用于描述根据实施方式的信息处理设备的功能的说明图。
图6是用于描述根据实施方式的信息处理设备的功能的说明图。
图7是用于描述根据实施方式的信息处理设备的功能的说明图。
图8是用于描述根据实施方式的信息处理设备的功能的说明图。
图9是用于描述根据实施方式的信息处理设备的功能的说明图。
图10是用于描述根据实施方式的信息处理设备的功能的说明图。
图11是示出根据实施方式的信息处理方法的流程示例的流程图。
图12是用于描述根据实施方式的显示控制处理的说明图。
图13是用于描述根据实施方式的显示控制处理的说明图。
图14是用于描述根据实施方式的显示控制处理的说明图。
图15是用于描述根据实施方式的显示控制处理的说明图。
图16是用于描述根据实施方式的显示控制处理的说明图。
图17是示出根据实施方式的显示控制处理的流程示例的流程图。
图18是示出根据本公开内容的第二实施方式的信息处理设备的配置的示例的框图。
图19是用于描述根据实施方式的信息处理设备的功能的说明图。
图20是用于描述根据实施方式的信息处理设备的功能的说明图。
图21是用于描述根据实施方式的信息处理设备的功能的说明图。
图22是示出根据实施方式的信息处理方法的流程示例的流程图。
图23是用于描述根据实施方式的变型例的信息处理设备的功能的说明图。
图24是示出根据实施方式的变型例的信息处理方法的流程示例的流程图。
图25是用于描述光线空间的说明图。
图26是示出根据本公开内容的第三实施方式的系统的示意性配置的说明图。
图27A是示出根据实施方式的成像设备的示意性配置的说明图。
图27B是示出根据实施方式的成像设备的示意性配置的说明图。
图28A是示出根据实施方式的成像设备的示意性配置的说明图。
图28B是示出根据实施方式的成像设备的示意性配置的说明图。
图29是示出根据实施方式的成像设备的示意性配置的说明图。
图30是示出根据实施方式的信息处理设备的配置的示例的框图。
图31是用于描述根据实施方式的信息处理设备的功能的说明图。
图32A是用于描述根据实施方式的信息处理设备的功能的说明图。
图32B是用于描述根据实施方式的信息处理设备的功能的说明图。
图33是用于描述根据实施方式的信息处理设备的功能的说明图。
图34是示出根据实施方式的信息处理方法的流程示例的流程图。
图35是示出根据实施方式的信息处理方法的流程示例的流程图。
具体实施方式
在下文中，将参照附图来详细描述本公开内容的优选实施方式。在本说明书和附图中，具有基本相同的功能和结构的元件以相同的附图标记进行表示，并且省略重复说明。
将按照以下顺序进行描述。
1.第一实施方式
1.1系统配置的示例
1.2信息处理设备的配置
1.3信息处理方法的流程
1.4显示控制处理的示例
1.5结论
2.第二实施方式
2.1信息处理设备的配置
2.2信息处理方法的流程
2.3信息处理方法的修改例
2.4结论
3.第三实施方式
3.1系统配置的示例
3.2成像设备的配置
3.3信息处理设备的配置
3.4信息处理方法的流程
3.5结论
(第一实施方式)
<系统配置的示例>
图1是示出根据本公开内容的第一实施方式的系统的示意性配置的说明图。如图1所示，根据该实施方式的系统10包括服务器100和客户端200至700。
服务器100是由单个服务器设备或经由各种有线或无线网络连接以进行协作的多个服务器设备所实现的功能的集合。服务器100向客户端设备200至700提供各种服务。
客户端设备200至700是经由各种有线或无线网络与服务器100连接的终端设备。
服务器100和客户端设备200至700独立地或合作地实现系统10中的以下(1)至(7)中的至少一个的功能。
(1)一种设备，该设备包括成像机构诸如摄像机，并且将真实空间的捕获图像提供给服务器100或其他客户端设备200至700。
(2)一种设备，该设备包括成像机构诸如摄像机，对真实空间的捕获图像执行各种图像处理，并且将与真实空间相关的并通过图像处理获得的各种图像提供给服务器100或其他客户端设备200至700。
(3)一种设备，该设备包括成像机构诸如摄像机，对真实空间的捕获图像执行各种图像处理，根据用户对各种图像执行的各种操作来生成用户期望的图像，并且将所生成的各种图像提供给服务器100或其他客户端设备200至700。
(4)一种设备，该设备包括至少显示机构诸如显示器，优选地还包括操作机构诸如触摸面板，获取由设备(1)所提供的图像，根据用户对图像执行的各种操作来生成用户期望的图像，并且将所生成的各种图像提供给用户以供用户浏览。
(5)一种设备，该设备包括至少显示机构诸如显示器，优选地还包括操作机构诸如触摸面板，获取由设备(2)所提供的图像，根据用户对图像执行的各种操作来生成用户期望的图像，并且将所生成的各种图像提供给用户以供用户浏览。
(6)一种设备，该设备包括至少显示机构诸如显示器，优选地还包括操作机构诸如触摸面板，获取由设备(3)所提供的图像，将图像提供给用户以供用户浏览，并且接收用户对图像所执行的各种操作。
(7)一种设备，该设备包括显示机构诸如显示器，并且显示基于由设备(4)至(6)所接收的各种用户操作而生成的各种图像。
客户端设备200为可佩戴式终端(以下也简称为可佩戴式终端200)。可佩戴式终端200包括例如成像机构和显示机构中的至少一个并且用作设备(1)至(7)中的至少一个。在图示的示例中，可佩戴式终端200为眼镜型终端，但不限于该示例，只要可佩戴式终端200具有可以安装到用户身体上的形状即可。当可佩戴式终端200用作设备(1)至(3)时，可佩戴式终端200包括摄像机作为成像机构，该摄像机被安装在例如眼镜架上。在可佩戴式终端200中，摄像机可以从靠近用户视点的位置获取真实空间的图像。所获取的图像被发送至服务器100或其他客户端设备300至700。当可佩戴式终端200用作设备(4)至(7)时，可佩戴式终端200包括显示器作为显示机构，该显示器被安装在眼镜镜片的一部分或全部上。可佩戴式终端200使显示器显示摄像机所捕获的图像。
客户端设备300为平板式终端(以下也简称为平板式终端300)。平板式终端300包括至少显示机构，优选地还包括操作机构，并且可以用作设备(4)至(7)。平板式终端300除了包括显示机构和操作机构之外还可以包括成像机构，并且平板式终端300可以用作设备(1)至(3)中的至少一个。也就是说，平板式终端300可以用作设备(1)至(7)中的任何设备。
客户端设备400为移动电话(智能电话)(以下也简称为移动电话400)。由于在系统10中移动电话400的功能与平板式终端300的功能相同，所以其详细描述将被省略。尽管未示出，但是例如诸如便携式游戏设备、便携式音乐再现设备或数字摄像机的设备可以在系统10中以与平板式终端300或移动电话400相同的方式起作用，只要该设备包括通信机构、显示机构以及操作机构或成像机构即可。
客户端设备500为膝上型个人计算机(PC)(以下也简称为膝上型PC 500)。膝上型PC 500包括显示机构和操作机构，并且用作设备(4)至(7)。在图示的示例中，由于膝上型PC 500基本上固定以供使用，所以膝上型PC 500被视为不用作设备(1)至(3)的设备的示例。尽管未示出，但是例如台式PC或电视机可以以与膝上型PC 500相同的方式起作用。膝上型PC 500包括作为显示机构的显示器并且包括作为操作机构的鼠标或键盘，该膝上型PC 500显示直接从设备(1)至(3)提供的或者经由各种设备提供的图像并且接收用户对图像所执行的各种操作。当膝上型PC 500还包括成像机构诸如摄像机时，膝上型PC 500也可以用作设备(1)至(3)。
客户端设备600为固定式摄像机(以下也简称为固定式摄像机600)。固定式摄像机600包括成像机构并且用作设备(1)至(3)。在图示的示例中，由于固定式摄像机600被固定以供使用并且不包括显示机构，所以固定式摄像机600被视为不用作设备(4)至(7)的设备的示例。尽管未示出，但是例如当用于拍摄屏幕前方的摄像机安装在台式PC或电视机中时或者当将可移动设备诸如数字摄像机暂时固定在三脚架上时，该设备可以以与固定式摄像机600相同的方式起作用。固定式摄像机600包括作为成像机构的摄像机，并且可以从固定视点获取真实空间的图像(包括摄像机自动地或者根据观看捕获图像的用户的操作而摆动的情况)。
客户端设备700为投影仪(以下也简称为固定式投影仪700)。投影机700包括作为显示机构的投影设备并且用作设备(7)。在图示的示例中，由于投影仪700不包括成像机构并且也不包括接收所显示(投影)图像的输入的操作机构，所以投影仪700被视为不用作设备(1)至(6)的设备的示例。投影仪700通过使用投影设备将图像投影到屏幕上或者对象的表面上来显示真实空间中的各种图像。投影仪700被示出为固定型投影仪，但是还可以为手持式投影仪。
服务器100独立地或与客户端设备200至700配合地用作设备(1)至(7)中的至少一个。也就是说，服务器100具有以下功能：获取真实空间的图像；对所获得的图像执行各种图像处理；或者显示所获取的真实空间的图像或通过图像处理所获得的图像中的至少一个。
通过服务器100和客户端设备200至700所实现的前述功能，用户可以观看存在以下对象的真实空间的图像：移动对象，诸如各种生命形式中的任意生命形式，诸如人类；在地上、在地下或在水下自我推进的自我推进式对象；或者在空中飞行的飞行对象，因此，可以在各种移动对象中的任意移动对象与用户之间共享该空间。在根据实施方式的系统中，用户还可以通过执行将在下面详细描述的处理而独立于移动对象自由地观看存在移动对象的真实空间的图像。
上面已经描述了根据实施方式的系统。如图1所示，根据实施方式的系统10可以包括：能够获取真实空间的图像的设备；能够将真实空间的图像提供给用户使得用户可以观看真实空间的图像并且接收用户的各种操作的设备；以及能够显示通过用户的各种操作而生成的图像的设备。
服务器100与客户端设备200至700独立地或合作地执行各种信息处理，所述信息处理包括由系统10执行的上述图像处理。服务器100和客户端设备200至700独立地或合作地实现以下根据整个系统10要详细描述的信息处理设备。
[设备配置]
图2是示出根据实施方式的设备的示意性配置的说明图。如图2所示，设备900包括处理器910和存储器920。设备900还可以包括显示单元930、操作单元940、通信单元950、成像单元960和传感器970中的至少一个。这些构成元件通过总线980相互连接。设备900可以实现例如：服务器设备，该服务器设备被配置为前述服务器100；以及客户端设备200至700中的任意客户端设备。
处理器910是例如各种处理器中的任意处理器，诸如中央处理单元(CPU)或数字信号处理器(DSP)，并且例如通过根据存储在存储器920的程序执行操作诸如计算或控制来实现各种功能。处理器910实现例如服务器100和客户端设备200至700中的任意整个设备的控制功能。处理器910执行例如以下将要描述的各种图像处理或用于在服务器100或客户端设备200至700中的显示屏幕上显示图像的显示控制。
存储器920被配置成包括存储介质诸如半导体存储器或硬盘，并且该存储器920存储用于设备900的处理的程序或数据。存储器920可以存储例如由成像单元960获取的捕获图像数据或者由传感器970获取的传感器数据。本说明书中将要描述的程序和数据中的一些可以从外部数据源(例如数据服务器、网络存储装置、或外部附接的存储器)来获取，而无需存储在存储器920中。
显示单元930被安装在例如包括上述显示机构的客户端中。显示单元930可以是例如根据设备900的形状的显示器。例如，根据前述示例，可佩戴式终端200可以包括显示器，该显示器具有与眼镜的镜片对应的形状或者与头戴式显示器的显示区域对应的形状。平板式终端300、移动电话400或膝上型PC 500可以包括安装在各自的壳体中的平板型显示器。可替代地，显示单元930可以是将图像投射到对象的投影设备。在前述示例中，投影仪700可以包括作为显示单元的投影设备。
操作单元940被安装在例如包括上述操作机构的客户端中。操作单元940是通过根据需要将键盘、按钮、开关等与指向设备(诸如安装在显示器上的触摸传感器(该触摸传感器与显示器一起构成触摸面板)、触摸板或鼠标)进行组合来配置的。例如，操作单元940接收用户的以下操作：通过指向设备指定在显示单元930上显示的图像内的位置；以及用键盘、按钮、开关等在该位置输入任意信息。可替代地，操作单元940可以接收用户的以下操作：通过指向设备指定在显示单元930上显示的图像内的位置；以及用指向设备在该位置处等输入任意信息。
通信单元950是在设备900与其他设备之间转发通信的通信接口。通信单元950支持任何无线通信协议或任何有线通信协议，并且与其他设备建立通信连接。
成像单元960是用于捕获图像的摄像机模块。成像单元960使用图像传感器诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)来对真实空间进行成像，并且生成捕获图像。由成像单元960生成的一系列捕获图像构成视频。成像单元960可以不必包括作为设备900的一部分。例如，以无线或有线方式与设备900连接的成像设备可以被视为成像单元960。成像单元960可以包括深度传感器，该深度传感器针对每个像素测量成像单元960与主体之间的距离。从深度传感器输出的深度数据可以用于识别通过对真实空间进行成像而获得的图像的环境，如将在下面描述的那样。
传感器970可以包括各种传感器，诸如定位传感器、加速度传感器和陀螺仪传感器。由传感器970获得的测量结果可以用于各种目的，以支持通过对真实空间进行成像而获得的图像的环境的识别，获取特定于地理位置的数据，或检测用户输入。传感器970可以安装在包括成像单元960的设备(在上述示例中，可佩戴式终端200、平板式终端300、移动电话400、或固定式摄像机600等)中。
<信息处理设备的配置>
接着，将参照图3至图10主要针对功能来详细描述由以上根据整个系统10描述的服务器100和客户端设备200至700独立地或合作地实现的、根据实施方式的信息处理设备的配置。
此处，由根据实施方式的信息处理设备10处理的捕获图像的分类没有特别限制，而是可以是静止图像或移动图像。
由根据实施方式的信息处理设备1000处理的捕获图像优选地是通过对真实空间的尽可能宽的范围进行成像而获得的捕获图像。相应地，用于对真实空间进行成像的成像设备优选地是安装有尽可能宽的广角镜头的摄像机，并且更优选地是例如在图3中示意性地示出的全向摄像机。
图3示意性地示出了对真实空间进行成像的全向摄像机被实现为可佩戴式终端200的配置。在图3示出的可佩戴式终端200中，将安装有尽可能宽的广角镜头的摄像机以围绕人类头部的周围的圆形形式进行安装，其中，人类头部作为移动对象的示例。即使当沿着人类头部的周围安装摄像机时，难以获得天顶方向上的图像。因此，还将摄像机安装在图3中的头顶上。在可佩戴式终端200中，安装有各种传感器，诸如定位传感器、加速度传感器和陀螺仪传感器。从传感器输出的与成像设备的视线(换句话说，成像设备的姿态)有关的信息被输出至下面将要描述的信息处理设备，并且该信息用作成像设备的姿态信息，姿态信息是与信息处理设备中的成像设备的姿态有关的信息。
在图3所示的示例中，示出了将摄像机以圆形形式进行布置以获得全向图像的情况。然而，当在信息处理设备1000中所处理的图像没有必要是全向图像时，可以不用将摄像机以圆形形式进行安装，而是可以将摄像机安装在人类头部的至少一部分处。虽然用于实现图3所示的可佩戴式终端200的摄像机的数目没有限制，但可以适当地设置摄像机的数目使得能够获得具有某一宽范围的图像。
在图3中，示出了移动对象为人类的情况，但移动对象不限于人类。移动对象可以是安装有可佩戴式终端200的不同于人类的动物，或者可以是自我推进式对象诸如机器人或安装有摄像机的飞行对象。
对通过图3例示的成像设备捕获的捕获图像执行各种图像处理的信息处理设备1000是执行控制使得基于以下信息而生成的显示图像显示在用户观看的显示区域中的设备：通过由在空间中移动的移动对象上所安装的成像设备进行成像而生成的图像信息；成像设备姿态信息，其是与成像设备的姿态有关的信息；以及用户观看信息，其是从由用户操作的用户操作设备获得的并且指定用户期望观看的区域。成像设备姿态信息可以是例如与成像设备的旋转有关的信息。用户观看信息可以是例如指定在由成像设备捕获的全向图像中用户期望观看的显示视场角的信息。
如图4A所示，例如，信息处理设备1000包括至少显示控制单元1050，该显示控制单元1050是控制单元的示例。如图4B所示，根据实施方式的信息处理设备1000除了包括显示控制单元1050之外还可以包括图像生成单元1010、图像选择单元1020、图像校正单元1030、移动对象视线信息生成单元1040、数据获取单元1060、数据提供单元1070以及存储单元1080中的至少一个。此处，图4A和图4B所示的处理单元可以在服务器100和客户端设备200至700中的任何一者中实现，或者可以被分配给多个设备来实现。
在下面的描述中，将描述信息处理设备1000对基于成像设备姿态信息、用户观看信息以及由成像设备捕获的捕获图像而生成的显示图像执行显示控制的情况。不用说，图像信息处理设备1000可以基于用户观看信息和生成图像(例如，通过预先对捕获图像执行成像设备姿态校正而获得的校正图像)来执行如下显示控制，其中，生成图像是由成像设备或与成像设备和信息处理设备不同的设备基于捕获图像和成像设备姿态信息而生成的。
图像生成单元1010使用由安装在移动对象上的成像设备捕获的捕获图像来生成沿着在空间中移动的移动对象所在位置的周围所捕获的周围捕获图像。例如，当从图3所示的成像设备输出捕获图像时，实时连续地执行由图像生成单元1010生成周围捕获图像的处理。
此处，在要用于生成周围捕获图像的捕获图像是由图3例示的全向摄像机捕获的情况下，通过由图像生成单元1010整合捕获图像而生成的周围捕获图像是图5所示的全向捕获图像(球形图像)。根据由多个摄像机捕获的多个捕获图像来生成周围捕获图像的方案没有特别限制，而是可以应用已知的方案。
图像生成单元1010可以生成图6所示的等同于球形图像的矩形图像作为周围捕获图像，而不是生成图5所示的全向捕获图像(球形图像)。可以例如通过根据已知方法诸如等距圆柱投影变换球形图像来生成与球形图像等同的矩形图像。通过使用图6所示的矩形图像作为周围捕获图像，而不是使用图5所示的球形图像，可以更简单地执行各种图像处理。
图像选择单元1020基于由图像生成单元1010生成的周围捕获图像和用户观看信息而在周围捕获图像中选择对应于用户观看信息的捕获图像作为用户观看图像，其中，用户观看信息是从用户操作的用户操作设备获得的并且表示用户期望观看的空间。图像选择单元1020选择的用户观看图像被提供给用户操作的用户操作设备(例如，在图5和图6所示的示例中被安装在与移动对象不同的用户上的可佩戴式终端200诸如头戴式显示器)以提供给用户来观看。相应地，对用户操作设备进行操作的用户可以与在空间中移动的移动对象共享某一空间，并且独立于移动对象选择在该空间中他或她期望观看的位置。作为结果，在移动对象所在的空间中，用户可以自由地选择在与移动对象观看的位置不同的位置处的图像。
可以以比空间重组技术低的计算成本来执行周围捕获图像的生成处理和从周围捕获图像中选择图像的处理，在空间重组技术中，经常使用高计算成本的处理，例如对图像之间的特征点的对照。相应地，可以实现使能够执行该处理的信息处理设备1000小型化和轻量化。
此处，当用户操作安装在用户操作设备上的各种输入机构诸如触摸板、键盘以及鼠标时，生成由用户操作设备设置的用户观看信息，并且该用户观看信息被传递至图像选择单元1020。当用户操作设备是图5和图6所示的可佩戴式终端200时，可以通过安装在可佩戴式终端200上的各种传感器诸如定位传感器、加速度传感器以及陀螺仪传感器自动地检测用户的行为(例如用户的视线方向)来生成用户观看信息。当用户对用户操作设备执行音频输入或手势输入时，可以生成用户观看信息。
以此方式，根据实施方式的信息处理设备1000包括图像生成单元1010和图像选择单元1020，从而实时向用户提供移动对象(更具体地为成像设备)所观看的空间的图像(所谓的第一人视点图像)。此处，在第一人视点图像中，由于移动对象(更具体地为成像设备)沿着移动对象所在位置的周围看，所以在某些情况下发生相当大的屏幕抖动。当用户看到相当大的屏幕抖动时，用户可能会感到由于看到具有相当大抖动的图像而在某些情况下引起的“恶心”(运动病)。相应地，根据实施方式的信息处理设备1000优选地具有对的成像设备的上述旋转运动进行校正的校正功能。
图像校正单元1030是基于成像设备姿态信息来对伴随上述成像设备旋转运动而发生的图像改变进行校正的处理单元。当成像设备的视线方向发生改变而成像设备的位置没有改变(即，在成像设备中发生了旋转运动)时，图像校正单元1030对周围捕获图像执行校正，使得伴随成像设备的视线方向的改变的周围捕获图像的改变被抑制。
更具体地，图像校正单元1030使用移动对象视线信息来执行校正，使得成像设备的视线方向的改变之后的周围捕获图像根据伴随成像设备的视线方向的改变的旋转角的量值反向旋转。以下，将参照图7来描述该校正处理。
如图7所示，假定球形图像A是在某一时间根据来自佩戴了可佩戴式终端200的移动对象(人类)的捕获数据生成的，其中，可佩戴式终端200包括传感器和全向摄像机。此后，假定发生成像设备的旋转运动，视线方向发生改变，以及相应地生成球形图像B。在此情况下，图像校正单元1030参考从可佩戴式终端200输出的传感器信息来提取旋转分量，并且指定伴随成像设备的视线方向的改变的旋转角的量值。随后，图像校正单元1030对球形图像B执行校正，使得图像根据所获得的旋转角的量值反向旋转，并且从球形图像B生成旋转分量被消除的球形图像C。相应地，作为旋转分量的消除结果，球形图像C变为沿着与球形图像A基本相同的方向观看的图像。
通过以此方式执行图像校正处理，可以抑制由于成像设备的旋转运动而引起的相当大的屏幕抖动，因此可以防止用户出现“恶心”(运动病)。
图像校正单元1030可以执行对旋转运动进行校正的处理，使得在伴随成像设备的旋转运动的视线方向的改变之前和改变之后局部特征量匹配。图7示出了使用来自安装在移动对象中的传感器的输出来执行旋转校正的情况。然而，可以针对球形图像A中的局部特征量和球形图像B中的局部特征量执行对旋转运动的校正处理。
例如，图像校正单元1030提取球形图像A中的局部特征量(例如特征点的位置)和球形图像B中的局部特征量，并且执行对局部特征量进行对照的处理。另外，图像校正单元1030可以执行校正，使得在成像设备的视线方向改变之前和改变之后局部特征量匹配。在此情况下，图像校正单元1030可以提取旋转分量以用于匹配两个局部特征量，并且对球形图像B执行校正以使图像根据所获得的旋转角的量值反向旋转。
在此，图像校正单元1030所针对的局部特征量没有特别限制，而是可以使用已知的局部特征量。例如，尺度不变特征变换(SIFT)可以例示为局部特征量。
如图8所示，图像校正单元1030可以使用基于来自安装在移动对象上的传感器的输出的图像校正处理以及基于局部特征量的图像校正处理。相应地，图像校正单元1030可以更精确地消除旋转分量。
图像校正单元1030可以根据从用户操作设备获得的表示校正施加程度的校正施加信息来控制执行校正的程度。相应地，图像校正单元1030可以通过前述旋转分量校正来完全消除旋转分量，或可不校正旋转分量，或者可以以旋转分量没有被完全消除的程度执行校正。图像校正单元1030还可以通过以旋转分量没有被完全消除的程度执行校正来执行图像控制以逐渐跟随成像设备的旋转运动。
可以例如使用相互独立地定义的旋转坐标轴诸如偏转(yaw)轴、俯仰(pitch)轴以及翻滚(rolll)轴来表示在成像设备中所生成的旋转运动。因此，例如，如图9所示，图像校正单元1030可以针对每个旋转坐标轴而独立地控制执行上述旋转校正的程度。
移动对象视线信息生成单元1040基于成像设备姿态信息来生成视线信息，其中，视线信息表示成像设备的视线的方向(位置)或视场。可以例如使用来自安装在移动对象上的各种传感器的输出信息(即，成像设备姿态信息)、按照已知方向生成视线信息。可以将视线信息与图像生成单元1010生成的周围捕获图像一起提供给用户，使得表示成像设备的视线的视场或方向(位置)的对象可以显示在提供给用户操作设备的用户观看图像中。作为结果，用户可以在沿着与成像设备的的视场或视线方向(位置)不同的任何方向观看周围捕获图像的同时始终都能了解成像设备的视线方向。
显示控制单元1050控制显示设备(诸如安装在信息处理设备1000中或信息处理设备1000外部的显示器)的显示内容。具体地，显示控制单元1050执行控制使得基于以下信息而生成的显示图像显示在用户观看的显示区域中：通过由安装在空间中移动的移动对象上的成像设备进行成像而生成的图像信息；成像设备姿态信息，其是与成像设备的姿态有关的信息；以及用户观看信息，其是从由用户操作的用户操作设备获得的并且指定用户期望观看的区域。例如，如图10所示，显示控制单元1050可以通过对用户操作设备的显示屏幕执行显示控制来将表示成像设备的视场和视线方向的对象显示在用户观看图像内。相应地，用户可以在独立于移动对象选择视线方向的同时始终都能了解移动对象的视线方向。
数据获取单元1060获取从安装于移动对象上的成像设备输出的捕获图像数据或与成像设备的视线方向有关的视线相关数据，该视线相关数据包括传感器输出(即，成像设备姿态信息)，或者数据获取单元1060获取与从用户操作设备输出的用户操作有关的数据。数据获取单元1060从各种设备获取的各种数据可以由信息处理设备1000中包括的各个处理单元适当地使用。
数据提供单元1070将信息处理设备1000生成的各种数据(例如，捕获图像数据诸如周围捕获图像或用户观看图像，或者视线相关数据诸如成像设备的视线方向)提供给在信息处理设备1000外部安装的设备。相应地，在信息处理设备1000外部安装的设备也可以使用信息处理设备1000生成的各种信息。
存储单元1080可以适当地记录：各种数据库，其用于图像生成单元1010、图像选择单元1020、图像校正单元1030、移动对象视线信息生成单元1040、显示控制单元1050、数据获取单元1060以及数据提供单元1070的处理；各种程序，其包括用于由这些处理单元执行的各种计算处理的应用程序；以及当执行某些处理时或者在中间处理的过程中所需要存储的各种参数。
每个处理单元诸如图像生成单元1010、图像选择单元1020、图像校正单元1030、移动对象视线信息生成单元1040、显示控制单元1050、数据获取单元1060以及数据提供单元1070可以自由地访问存储单元1080，使得可以写数据或读数据。
已经描述了根据实施方式的信息处理设备1000的功能的示例。可以使用通用构件或电路来配置前述构成元件，或者可以通过专用于构成元件的功能的硬件来配置前述构成元件。构成元件的所有功能可以由CPU等来执行。相应地，可以根据在实现该实施方式时的技术水平来适当地改变要使用的配置。
用于实现根据上述实施方式的信息处理设备的每个功能的计算机程序可以被创建为安装在个人计算机等上。还可以提供存储有这样的计算机程序的计算机可读记录介质。记录介质的示例包括磁盘、光盘、磁光盘和闪速存储器。可以不使用记录介质而是经由例如网络来传送计算机程序。
图4B所示的图像生成单元1010、图像选择单元1020、图像校正单元1030、移动对象视线信息生成单元1050、数据获取单元1060、数据提供单元1070、以及存储单元1080还可以安装在能够与信息处理设备1000相互通信的其他设备诸如计算机上，使得可以通过信息处理设备1000和其他设备的合作来实现前述功能。
<信息处理方法的流程>
接着，将参照图11简要描述由根据实施方式的信息处理设备1000执行的信息处理方法的流程。
在根据实施方式的信息处理方法中，首先从安装在移动对象上的摄像机获取捕获图像数据(步骤S101)。
此后，信息处理设备1000的图像生成单元1010基于所获取的捕获图像数据来生成周围捕获图像，例如，球形图像和通过将球形图像转换成矩形形式而获得的矩形图像(步骤S103)。
此时，信息处理设备1000的图像校正单元1030根据需要对所生成的周围捕获图像执行前述校正处理(步骤S105)。
此后，信息处理设备1000的图像选择单元1020根据从用户操作设备获取的用户观看信息，在周围捕获图像中选择与用户观看信息对应的图像(即，用户观看图像)(步骤S107)。
随后，信息处理设备1000的显示控制单元1050控制在用户操作设备的显示屏幕上的所选图像的显示(步骤S109)。相应地，使用用户操作设备的用户可以与移动对象共享在移动对象所在的空间中的图像。
即使当取代使用从成像设备获取的捕获图像而是使用基于捕获图像和成像设备姿态信息生成的生成图像来执行处理时，也可以执行上述处理。
以上已参照图11简要描述了根据实施方式的信息处理方法的流程。
<显示控制处理的示例>
接着，将参照图12至图17具体描述显示控制单元1050中的显示控制处理，图12至图17例示了根据实施方式的信息处理设备1000的显示控制单元1050生成的显示图像。
图12至图16是用于描述根据实施方式的显示控制处理的说明图。图17是示出根据实施方式的显示控制处理的流程示例的流程图。
如参照图7和图8所描述的，根据实施方式的信息处理设备1000可以通过针对根据从成像设备连续输出的图像信息所生成的球形图像的帧之间的改变或者等同于球形图像的并基于等距圆柱投影的矩形图像(即，周围捕获图像)的帧之间的改变来提取旋转分量。
此处，可以通过针对周围捕获图像F1中的特征点的位置在周围捕获图像F2中的定位所执行的已知估计处理等来指定在对应于帧1的周围捕获图像F1与对应于帧2的周围捕获图像F2之间生成的旋转运动Q1,2。通过连续执行指定直到在对应于帧(N-1)的周围捕获图像FN-1与对应于帧N的周围捕获图像的FN之间生成的旋转运动QN-1,N的处理的旋转运动以取所获得的旋转运动的乘积，如在以下表达式101中，可以指定从帧1至帧N的旋转运动Q1,N。
Q1，N＝Q1，2×Q2，3×...×QN-1，N(表达式101)
以此方式获得的旋转运动Q1,N可以说是关于伴随成像设备的视线方向的改变的旋转的信息(即，旋转信息)。可以将旋转信息处理为表示在帧1至帧N之间生成的旋转运动的轨迹的信息。显示控制单元1050使旋转运动Q1,N可视化，因此可以将在帧1至帧N之间生成的旋转运动的轨迹(换言之，用于使成像设备的姿态的改变可视化的姿态信息)提供给用户。
此处，作为当显示控制单元1050将姿态信息重叠在由图像生成单元1010生成的显示图像(即，周围捕获图像)上时可用的坐标系，存在以下两个坐标系：
(a)固定于成像设备所在空间的坐标系(绝对坐标系：在下文中也称为坐标系A)；以及
(b)固定于成像设备的坐标系(相对坐标系：在下文中也称为坐标系B)。
根据实施方式的显示控制单元1050使用在前述两个坐标系中的坐标系A来适当地在空间中显示周围捕获图像并且将对应于姿态信息的图像或各种对象重叠在周围捕获图像上。
根据实施方式的显示控制单元1050还可以将对应于姿态信息的图像或各种对象重叠在经过校正的周围捕获图像上，使得伴随成像设备的视线方向的改变的周围捕获图像的改变被抑制。
图像选择单元1020从周围捕获图像中所选择的用户观看图像对应于当从位于球体内部的任何点观看被映射到图12示意性示出的坐标系A中的整个球体的表面的周围捕获图像的一部分时所看到的图像。相应地，除了坐标系A之外，坐标系B被限定在位于球体内部的任何点处。如图12所示，该实施方式中可用的坐标系优选地是使用两个旋转角来表示球体表面上的任何位置的旋转坐标系。
当从用户操作设备请求向周围捕获图像的特定位置添加各种注释诸如文本数据、图像数据和音频数据时，显示控制单元1050优选地将各种注释与从用户操作设备指定的位置在坐标系A中的对应地点相关联。显示控制单元1050还可以根据从用户操作设备指定的位置来在周围捕获图像的对应点(坐标系A中的对应点)处显示表示注释的各种对象，诸如图标或图像。
此处，当对姿态信息中包括的信息进行可视化时，至少以下两种方法可以用作显示控制单元1050采用的方法。显示控制单元1050基于成像设备的操作者和用户操作设备的操作者中的至少一者的用户操作来设置或改变所采用的可视化方法。
(A)固定坐标系A的运动，并且根据姿态信息来改变坐标系B的运动。
在此情况下，显示被实现为使得在显示设备(诸如用户操作设备)的显示区域中所显示的周围捕获图像随着成像设备的姿态的改变而改变。与姿态信息对应的图像或各种对象被显示为使得即使成像设备的姿态发生改变，各种对象或图像也被固定至显示区域。
(B)根据姿态信息来改变坐标系A的运动，并且固定坐标系B的运动。
在此情况下，即使当成像设备的姿态发生改变时，显示也被实现为使得在显示设备(诸如用户操作设备)的显示区域中所显示的周围捕获图像不发生改变或者伴随成像设备的姿态改变的图像改变较小。与姿态信息对应的图像或各种对象显示在显示区域中，使得各种对象或图像随着成像设备的姿态的改变而改变(虚拟地旋转)。
此处，图像校正单元1030执行的上述图像校正处理对应于在上述可视化方法(B)中对坐标系B的运动进行固定的处理。
通过根据前述的可视化方法(A)使姿态信息可视化，固定到坐标系A的周围捕获图像被固定，并且坐标系B的方向根据在固定状态下的姿态信息而改变。为了向用户操作设备的用户更清楚地传达坐标系B的运动的改变，显示控制单元1050可以将表示坐标系B的坐标轴(例如，用纬度方向的角度和经度方向的角度定义的坐标轴)的对象作为表示姿态信息的对象重叠在周围捕获图像上，并且可以根据姿态信息来旋转坐标轴，例如如图12所示。为了将坐标系B的运动的改变有效地传达给用户操作设备的用户，显示控制单元1050可以将与姿态信息的改变对应的运动作为轨迹重叠在周围捕获图像上，例如如图13所示。
通过根据上述可视化方法(B)使姿态信息可视化，坐标系B的方向固定，并且固定到坐标系A的周围捕获图像根据在固定状态系下的姿态信息而改变。在此情况下，由于周围捕获图像根据姿态信息而旋转，因此用户操作设备的用户可以容易地了解成像设备的姿态的改变。在此，显示控制单元1050可以将表示坐标系A的坐标轴(例如，用纬度方向的角度和经度方向的角度定义的坐标轴)的对象重叠在周围捕获图像上，并且还可以根据周围捕获图像的旋转而旋转坐标轴，例如如图12所示。为了向用户操作设备的用户有效地传达坐标系A的运动的改变，显示控制单元1050可以将与姿态信息的改变对应的运动作为轨迹重叠在周围捕获图像上，例如如图13所示。
当显示控制单元1050使上述两种类型的坐标系的旋转可视化时，显示控制单元1050可以将以下对象中的至少一个重叠在所生成的显示图像(即，用户观看图像)上：随着伴随成像设备的视线方向的改变的旋转运动进行旋转的对象；以及没有旋转的对象。也就是说，显示控制单元1050随着旋转运动使表示坐标系的坐标轴的对象旋转，但可以不旋转例如在图12所示的坐标轴上给出的数值或字母的对象，如果该对象随着旋转运动而旋转将难以了解。相应地，如果对象随着旋转运动进行旋转将难以了解的对象的位置随着旋转运动而移动，但从视点来看对象的姿态是恒定的。结果，用户可以更容易了解对象。
此处，显示控制单元1050重叠在用户观看图像上的各种对象的具体示例没有特别限制，而是可以使用任意对象。不用说，图10所示的视线信息可以重叠在用户观看图像上。
显示控制单元1050优选地基于成像设备的操作者和用户操作设备的操作者中的至少一者的用户操作，决定或改变与显示坐标系A的坐标轴和坐标系B的坐标轴中的哪个坐标轴以及旋转哪个坐标轴有关的设置。
当坐标系的旋转轴与在姿态信息中所描述的旋转运动(即，成像设备的旋转运动)的旋转轴匹配时，在某些情况下，用户操作设备的用户难以了解成像设备的姿态的改变。相应地，当显示控制单元1050使用旋转信息对成像设备的姿态的改变可视化时，显示控制单元1050优选地通过在与固定到空间的坐标系(坐标系A)的中心不同的位置(例如，从图12中的坐标系A的中心C起在成像设备的视线方向上向后平移的位置O)处虚拟地观看空间来生成显示图像。相应地，用户操作设备的用户可以观看显示图像，正如该显示图像是从虚拟地安装在与成像设备的位置不同的位置处的固定式摄像机生成的一样。结果，用户操作设备的用户可以更容易地了解成像设备的姿态的改变。显示控制单元1050可以基于成像设备的操作者和用户操作设备的操作者中的至少一者的用户操作，设置或改变前述可视化中的参考位置(图12中的位置O)。
为了将姿态信息的改变更有效地传达给用户操作设备的用户，显示控制单元1050可以根据姿态信息来控制在用户观看的显示区域中的对显示图像进行显示时的再现速度和显示视场角中的至少一个。例如，在基于姿态信息的旋转量较大时，显示控制单元1050可以通过执行显示控制(诸如降低再现速度)来将姿态信息的改变更有效地传达给用户操作设备的用户。
显示控制单元1050可以以从用户操作设备指定的任意位置为中心，生成在所指定的任意位置处虚拟地观看空间的情况下的显示图像，并且可以将该显示图像提供给用户操作设备。
[显示图像的具体示例]
在下文中，将参照图14至图16简要描述通过由根据实施方式的显示控制单元1050执行的显示控制处理被传递到用户操作设备的显示图像的示例。
下面要描述的图14和图15示出了如下情况的示例：在该情况中，当佩戴了其上安装有图3所示的成像设备的可佩戴式终端200的用户在体育馆内的作为体操类项目中之一的单杠上练习时，可佩戴式终端200捕获的图像被提供给操作用户操作设备的另一用户。
图14示出了当采用上述可视化方法(A)时的显示图像的示例。如从图14明显看出，可以理解的是，当佩戴了可佩戴式终端200的用户继续进行单杠项目时，周围图像发生改变，并且表示坐标系A的坐标轴的对象的方向随着该改变而时刻改变。在图14中，表示可佩戴式终端200的姿态信息的轨迹重叠在用户观看图像上。
另一方面，图15示出了采用上述可视化方法(B)时的显示图像的示例。如从图15明显看出，可以理解的是，即使当佩戴了可佩戴式终端200的用户继续进行单杠项目时，周围图像也不改变，并且以重叠方式显示的坐标系B的坐标轴时刻在改变。
通过以此方式执行根据实施方式的显示控制处理，可以使用所获得的姿态信息(旋转信息)使成像设备的姿态的改变可视化。
根据实施方式的显示控制方法可以不仅适用于在图14和图15中例示的球形图像，而且适用于按照等距离圆柱投影等同于球形图像的矩形图像，如图16所示。
[显示控制处理的流程]
接着，将参照图17简要描述根据实施方式的显示控制处理的流程示例。
在根据实施方式的显示控制处理中，首先从安装在移动对象上的摄像机获取捕获图像数据(步骤S151)。
此后，信息处理设备1000的图像生成单元1010基于所获取的捕获图像数据来生成周围捕获图像，诸如球形图像或通过将球形图像转换成矩形形式而获得的矩形图像(步骤S153)。
随后，信息处理设备1000的图像校正单元1030使用所生成的周围捕获图像来执行以上所述的旋转分析处理(步骤S155)。
此后，信息处理设备1000的显示控制单元1050将所生成的周围捕获图像或各种图形对象置于基于坐标系A的天球上(步骤S157)。
随后，信息处理设备1000的图像选择单元1020根据从用户操作设备获取的用户观看信息，从其上重叠了各种图形对象的周围捕获图像生成与用户观看信息对应的图像(即，用户观看图像)(步骤S159)。
信息处理设备1000的显示控制单元1050控制由图像选择单元1020选择的图像在用户操作设备的显示屏幕上的显示，使得使用用户操作设备的用户可以与移动对象共享移动对象所在空间中的图像。
以上已经参照图17简要描述了根据实施方式的显示控制处理的流程。
<结论>
以此方式，在根据实施方式的信息处理设备和信息处理方法中，围绕移动对象的视频可以被实时观察为周围捕获图像，因此用户可以获得仿佛用户处于与移动对象相同的位置的临场感。通过执行前述校正处理，抑制了由于移动对象的旋转运动而引起的图像抖动。因此，用户能够避免由于图像的突然改变而引起的运动病(视频病(video sickness))。
对于这样的配置，存在单向情况(信息从移动对象单向流动至用户)和双向情况(通过音频和其他手段将信息从用户递送到移动对象)。对于前一情况，例如，当假定移动对象是运动员时，用户是观看他或她比赛的人，因此可以实现具有临场感的赛事播送。在此情况下，用户的数目不限于一个，而是还可以考虑类似于广播听众的数以万计的人。另一方面，对于后一情况，假定用户在分享移动对象的视场的同时向移动对象给出某一指导或指令的用途。例如，可以假定当移动对象(人)正在烹调时用户给出烹调指令的用途。甚至在此情况下，用户的数目也不限于一个，但是相对较小的用户数目是比较现实的。
以上已详细描述了根据本发明的第一实施方式的信息处理设备和信息处理方法。
(第二实施方式)
<信息处理设备的配置>
接着，将描述本公开内容的第二实施方式。根据该实施方式的信息处理设备1100是如下设备：该设备对由安装在移动的移动对象上的成像设备所捕获的捕获图像执行各种信息处理，使得用户可以更自然地观看移动对象的周围的全向捕获图像。
具体地，如在第一实施方式中，根据该实施方式的信息处理设备1100将移动对象(更具体地为成像设备)观看的空间的图像(所谓的第一人视点图像)实时提供给用户。此处，在第一人视点图像中，由于所成像的移动对象的运动而引起的抖动包括在内。因此，当用户观看第一人视点图像时，用户可能会由于引起第一人视点图像中包括的抖动的运动和用户身体的运动的不一致而感到“恶心”(运动病)。
相应地，为了减轻用户所感觉到的“恶心”，执行以下处理：提取由于移动对象(更具体地为成像设备)的运动而引起的第一人视点图像的抖动作为图像的旋转分量；以及通过使旋转分量反向旋转来校正图像。然而，在前述处理中，例如当移动对象改变其移动方向时，也可以校正成像设备的旋转。为此，当用户观看在移动同时改变其移动方向的移动对象的第一人视点图像时，第一人视点图像通常被定向在恒定方向上，因而在一些情况下给用户一种不自然的印象。
根据该实施方式的信息处理设备1100通过基于移动对象的移动方向控制第一人视点图像的显示来将更自然的第一人视点图像提供给用户。
根据该实施方式的系统和信息处理设备的硬件配置与图1和图2所示的配置基本相同。由根据实施方式的信息处理设备1100处理的捕获图像优选地是例如由安装在图3所示的可佩戴式终端200上的全向摄像机所捕获的并且通过对尽可能宽的真实空间的范围进行成像所获得的图像(例如全向捕获图像)。
在下文中，将参照图18描述根据上述实施方式的信息处理设备1100的具体功能配置。图18所示的处理单元可以由图1中的服务器100和客户端设备200至700中的任何一者来实现，或者可以被分配给多个设备来实现。
如图18所示，根据实施方式的信息处理设备1100包括图像生成单元1110、图像选择单元1120、图像校正单元1130、显示控制单元1150、数据获取单元1160、数据提供单元1170、存储单元1080以及方向控制单元1190。
此处，由于图像生成单元1110与图像生成单元1010基本相同、图像选择单元1120与图像选择单元1020基本相同、显示控制单元1150与显示控制单元1050基本相同、数据获取单元1160与数据采集单元1060基本相同、数据提供单元1170与数据采集单元1070基本相同、并且存储单元1180与存储单元1080基本相同，所以将省略其详细描述。在下文中，将描述表征该实施方式的图像校正单元1130和方向控制单元1190。
图像校正单元1130是通过对周围捕获图像执行与移动对象(更具体地为成像设备)的旋转相反的旋转来对伴随成像设备的旋转的图像改变进行校正的处理单元。图像校正单元1130可以通过各种传感器诸如加速度传感器和倾斜传感器来检测成像设备的旋转，并且使用所检测的旋转来校正图像的改变。图像校正单元1130可以根据成像设备捕获的周围捕获图像来估计成像设备的旋转，并且使用所估计的成像设备的旋转来校正图像的改变。
图像校正单元1130优选地根据成像设备捕获的周围捕获图像估计成像设备的旋转，并且对伴随所估计的成像设备的旋转的图像改变进行校正。在此情况下，由于容易使成像设备的旋转和周围捕获图像的旋转校正同步并且与比使用各种传感器时更高速的旋转的对应是可能的，所以这是更优选的。
在下文中，将参照图19更具体地描述图像校正单元1130根据周围捕获图像估计成像设备的旋转并且基于所估计的成像设备的旋转来校正图像改变的方法。
如图19所示，假定球形图像A是在某一时间(时间t)处根据来自佩戴了可佩戴式终端200的移动对象(人类)的成像数据而生成的，其中可佩戴式终端200包括全向摄像机。此后(在时间t+1处)，假定在移动对象(更具体地为成像设备)中生成了旋转运动并且生成了球形图像B。
在此情况下，图像校正单元1130从球形图像A和球形图像B提取局部特征量U并且计算局部特征量的改变量F。具体地，图像校正单元1130从球形图像A和球形图像B提取多个(例如n＝1000)图像特征点的位置作为局部特征量U。
此处，优选地在整个球形图像中以尽可能均匀的间隔提取多个图像特征点。由于图像失真易于在球形图像的高纬度部分增大，所以优选地不从高纬度部分提取图像特征点。
接着，对在球形图像A和球形图像B中所提取的局部特征量U进行比较以计算在从球形图像A改变为球形图像B时局部特征量的改变量F。在局部特征量的改变量F中，等于或大于预定阈值的改变量可以作为异常值被排除。
也就是说，在下面的表达式201中，可以使用紧接先前的时间t处球形图像A中的局部特征量U(t)以及球形图像A与球形图像B之间的局部特征量的改变量F(t+1)来表示在时间t+1处球形图像B中的局部特征量U(t+1)。
[数学式1]
U(t+1)＝U(t)+F(t+1)(表达式201)
接着，图像校正单元1130将通过将球形图像A和球形图像B映射为距圆柱投影的天球而计算出的局部特征量((U(t)，U(t+1))转换为三维特征量P(t)和P(t+1)。随后，图像校正单元1130通过三维仿射估计来估计从三维特征量P(t)到P(t+1)的转换Mat(t+1)。
[数学式2]
P(t+1)＝P(t)×Mat(t+1)(表达式202)
相应地，图像校正单元1130可以估计从P(t)到P(t+1)的转换Mat(t+1)。此外，图像校正单元1130可以基于所估计的转换Mat(t+1)来计算从球形图像A到球形图像B的旋转Q(t+1)。图像校正单元1130可以通过计算所计算的旋转Q(t+1)的估计误差来确定对旋转的估计是否成功。当图像校正单元1130确定估计失败时，图像校正单元1130可以再次估计旋转。
相应地，图像校正单元1130可以生成球形图像C，在该球形图像C中，通过对球形图像B执行经过了所估计的旋转Q(t+1)的反向转换的旋转来校正旋转。图像校正单元1130可以在预定时间处对来自球形图像的旋转进行整合并且基于所整合的旋转来校正周围捕获图像。
图像校正单元1130所针对的局部特征量没有特别限制，而是可以使用已知的局部特征量。作为已知的局部特征量，例如可以例示尺度不变特征变换(SIFT)等。
方向控制单元1190是处理单元，该处理单元基于移动对象的移动方向来控制周围捕获图像的显示。具体地，方向控制单元1190控制在用户观看的显示区域中显示的显示图像，使得用户观看的显示图像的参考方向与移动对象的移动方向相匹配。更具体地，当移动对象的移动方向与移动对象的参考方向之间的角度差在阈值(例如在每一侧为15°，共计30°)内时，方向控制单元1190控制在用户观看的显示区域中显示的图像的显示视场角，使得用户观看的显示图像的参考方向与移动对象的参考方向或移动方向相匹配。
在此，移动对象的参考方向是例如移动对象(人类、自我推进式对象、飞行对象等)的正面方向。用户观看的显示图像的参考方向是例如当用户面向正面方向时在用户前方的显示区域中所显示的显示图像的视场角方向。
也就是说，方向控制单元1190可以控制显示图像的显示视场角，使得移动对象的正面方向与当用户面向正面方向时在用户前方的显示区域中所显示的显示图像的视场角方向相匹配。因此，方向控制单元1190可以解决当移动对象改变其移动方向时出现的显示图像的不自然。
例如，方向控制单元1190可以根据通过使用全球定位系统(GPS)或Wi-Fi(注册商标)进行定位而获取的移动对象的位置信息来计算移动对象的移动方向。例如，方向控制单元1190可以根据由各种传感器诸如地磁传感器和加速度传感器检测的信息来计算移动对象的移动方向。方向控制单元1190可以根据由成像设备捕获的周围捕获图像来计算移动对象的移动方向。
此处，在实施方式中，方向控制单元1190优选地根据所捕获的周围捕获图像来计算移动对象的移动方向。在该配置中，当计算图像校正单元1130进行的图像处理中的旋转时，方向控制单元1190可以更有效地计算移动对象的移动方向。
具体地，当移动对象(更具体地为成像设备)在平移的同时旋转时，除了旋转分量之外，平移分量也被认为是重叠在图像校正单元1130中所述的球形图像A的局部特征量U(t)和球形图像B的局部特征量U(t+1)的改变量F(t+1)上。相应地，如上所述，在图像校正单元1130估计了旋转Q(t+1)之后，方向控制单元1190计算球形图像B的三维特征量P(t+1)与通过球形图像A的估计旋转Q(t+1)所获得的三维特征量P(t)*Q(t+1)之间的差。相应地，球形图像B与球形图像A之间的平移分量T(t+1)可以被估计为P(t+1)与P(t)*Q(t+1)之间的差(表达式203)。
[数学式3]
T(t+1)＝P(t+1)-P(t)*Q(t+1)(表达式203)
周围捕获图像的平移可以被认为是通过正被成像的移动对象的移动生成的。相应地，移动对象的移动方向可以被估计为与周围捕获图像的平移方向相反的方向，因此方向控制单元1190可以将平移分量T(t+1)的估计移动方向的相反方向估计为移动对象的移动方向。
另外，方向控制单元1190优选地对所计算出的T(t+1)执行时间平均处理，并且根据经过时间平均的平移分量T来估计移动对象的移动方向。这是因为当移动对象的移动方向频繁地改变时，当方向控制单元1190频繁地旋转用户观看的显示图像的显示视场角时，存在用户感觉“恶心”的可能性。不用说，即使当用另一种方法来计算移动对象的移动方向时，方向控制单元1190也优选地使用在预定时间平均的移动对象的移动方向作为移动对象的移动方向。
根据前述方法，计算移动对象的移动方向的方向控制单元1190改变在用户观看的显示区域中显示的显示图像的显示视场角，使得移动对象的移动方向与用户观看的显示图像的参考方向相匹配。特别地，当移动对象的移动方向与移动对象的正面方向之间的角度差在阈值(例如，在每一侧为15°，共计30°)内时，方向控制单元1190优选地控制显示图像，使得当用户面向正面方向时移动对象的正面方向的捕获图像被显示在用户前方。相应地，由于方向控制单元1190可以使移动对象的正面方向与当用户面向正面方向时在前方显示的显示图像的视场角方向相匹配，因此可以解决当移动对象改变其移动方向时出现的显示图像的不自然。
在下文中，将参照图20更具体地描述以下方法：该方法旋转在用户观看的显示区域中显示的图像的视场角以与移动对象的移动方向匹配，以便方向控制单元1190使移动对象的移动方向与用户观看的显示图像的参考方向相匹配。
例如，如图20所示，移动对象210的移动方向211由箭头来表示，并且假定用户观看的显示图像231的视场角方向通过角度显示来表示。此外，假定用户观看的显示图像231中的“0°”是当用户面向正面方向时在用户前方显示的显示图像的视场角方向(即，显示图像的参考方向)。
此处，如图20所示，当移动对象210向右改变移动方向211时，方向控制单元1190旋转周围捕获图像的显示视场角以改变用户前方观看的显示图像231，使得移动对象的移动方向211与用户观看的显示图像231的“0°”相匹配。相应地，可以使移动对象的移动方向与当用户面向正面方向时在用户前方显示的显示图像的视场角方向相匹配。因此，即使当移动对象改变其移动方向时，方向控制单元1190也可以防止用户观看的第一人视点图像始终被定向在一个方向上，因此防止生成不自然的图像。
方向控制单元1190旋转周围捕获图像的显示视场角以使移动对象的移动方向与用户观看的显示图像的参考方向相匹配的速度优选地为预定速度。将参照图21描述方向控制单元1190旋转周围捕获图像的显示视场角的速度。
图21是示出移动对象210的移动方向和用户观看的显示图像231的参考方向的时间改变的曲线图。这两个方向的改变被表示为角度改变。如图21所示，例如，当通过在时刻P处向右转向的操作来改变移动对象210的移动方向时，方向控制单元1190以预定速度旋转显示图像231的视场角，使得用户观看的显示图像231的参考方向与移动对象210的移动方向相匹配。此处，为了使用户不会感到由于显示图像231的视场角急剧旋转而引起的“恶心”或不自然，方向控制单元1190优选地以预定速度逐渐旋转显示图像231的视场角。
旋转显示图像231的视场角的预定速度可以通过用户的选择来控制，或者可以以移动对象210的移动速度或旋转速度来控制。例如，当移动对象210的移动速度或旋转速度较快时，方向控制单元1190可以较快地旋转显示图像231的视场角。移动对象210的移动速度或旋转速度与显示图像231的视场角方向的旋转速度之间的对应关系优选地以对应表、函数等的形式预先存储在存储单元1180中。
可以对上述的用于控制在用户观看的显示区域中显示的图像的视场角的功能进行控制，使得不根据来自用户的输入或用户状态执行该功能。
例如，当用户有意期望在与移动对象的移动方向不同的方向上观看时，可以对方向控制单元1190的功能进行控制使得不根据来自用户的输入执行该功能。来自用户的输入是例如如下输入操作：其中，用户用双手来保持作为可佩戴式终端的用户操作设备以固定用户操作设备。
当用户在不同方向上观看并且视线方向不是恒定确定的时，可以控制方向控制单元1190的功能使得不执行该功能。具体地，当所检测的用户视线方向的改变量超过阈值时，可以控制方向控制单元1190的功能使得不执行该功能。当在给定时间内用户的视线方向的改变量等于或小于阈值时，可以控制方向控制单元1190的功能使得执行该功能。
在该实施方式中，在提供给用户的显示图像中，可以显示移动对象(例如人类)的视线方向，或者可以显示移动对象(例如人类)的视线方向的轨迹。当显示图像(例如用户所观看的图像)从信息处理设备1100被提供给移动对象(例如人类)时，用户的视线方向可以显示在显示图像中或者用户的视线方向的轨迹可以显示在显示图像上。
已经描述了根据实施方式的信息处理设备1100的功能的示例。可以使用通用构件或电路来配置前述构成元件，或者可以通过专用于构成元件的功能的硬件来配置前述构成元件。构成元件的所有功能可以由CPU等来执行。可以根据在实现该实施方式时的技术水平来适当地改变该实施方式的硬件配置。
可以创建用于实现根据上述实施方式的信息处理设备的每个功能的计算机程序以安装在个人计算机等上。还可以提供其中存储有这样的计算机程序的计算机可读记录介质。记录介质的示例包括磁盘、光盘、磁光盘和闪速存储器。可以不使用记录介质而是经由例如网络来传送计算机程序。
图18所示的图像生成单元1110、图像选择单元1120、图像校正单元1130、方向控制单元1190、数据获取单元1160、数据提供单元1170、以及存储单元1180可以安装在能够与信息处理设备1100进行通信的其他设备诸如计算机上，并且信息处理设备1100可以与其他设备合作以实现前述功能。
<信息处理方法的流程>
接着，将参照图22简要描述由根据实施方式的信息处理设备1100执行的信息处理方法的流程。
在根据实施方式的信息处理方法中，首先从安装在移动对象上的成像设备(摄像机)获取捕获图像数据(步骤S171)。
接着，信息处理设备1100的图像生成单元1110基于所获取的捕获图像数据来生成周围捕获图像，诸如球形图像或通过将球形图像转换成矩形形式而获得的矩形图像(步骤S173)。
信息处理设备1100的图像校正单元1130对周围捕获图像执行图像处理，以从所生成的周围捕获图像提取旋转分量并且校正移动对象(更具体地为成像设备)的旋转(步骤S175)。
随后，信息处理设备1100的方向控制单元1190获取移动对象的移动方向数据(步骤S177)。
此处，信息处理设备1100的方向控制单元1190确定移动对象的移动方向与移动对象的参考方向(例如移动对象的正面方向)之间的角度差是否在阈值内(步骤S179)。此处，阈值可以是例如30°(即在每一侧为15°)。
当移动对象的移动方向与移动对象的参考方向之间的角度差超过阈值(在步骤S179中为否)时，信息处理设备1100的图像选择单元1120在周围捕获图像中选择用户要观看的图像。信息处理设备1100的显示控制单元1150控制所选图像在用户操作设备的显示屏幕上的显示(步骤S181)。
相反地，当移动对象的移动方向与移动对象的参考方向之间的角度差在阈值内(在步骤S179中为是)时，信息处理设备1100的图像选择单元1120和显示控制单元1150如在步骤S181中一样控制图像在显示屏幕上的显示(步骤S183)。另外，信息处理设备1100的方向控制单元1190执行显示控制，使得以使得移动对象的移动方向或参考方向与用户的参考方向相匹配的预定速度旋转在显示屏幕上显示的周围捕获图像(步骤S185)。
相应地，信息处理设备1100可以校正由于成像设备的旋转而引起的周围捕获图像的抖动，并且即使在移动对象改变其移动方向时，也可以向用户提供自然的周围捕获图像。
已经参照图22简要描述了根据实施方式的信息处理方法的流程。
<信息处理方法的修改例>
接着，将参照图23描述实施方式的修改例。实施方式的修改例是如下信息处理设备和信息处理方法：其控制图像校正单元，使得当移动对象的运动(移动)与用户的运动(移动)同步时不对周围捕获图像执行旋转校正。
也就是说，在实施方式的修改例中，图像校正单元1130确定移动对象的运动是否与用户的运动同步。当确定移动对象的运动与用户的运动同步时，对图像校正单元1130的功能和方向控制单元1190的功能进行控制使得不执行这些功能。
具体地，本发明的发明人已经发现，当观察周围捕获图像的用户的移动或感知与移动对象(例如人类)所经历的移动同步时，可以减少“恶心”并且可以改善临场感。相应地，在实施方式的修改例中，通过在移动对象(例如人类)的移动与用户的移动同步时不对周围捕获图像执行旋转校正，可以向用户提供具有更强临场感的图像。在本发明的修改例中，当检测到在移动对象与用户之间的移动不同步时，通过对周围捕获图像执行旋转校正来防止用户出现“恶心”。
移动对象(例如人类)的运动与用户的运动同步的移动是例如跟随网球的移动。
此处，将参照图23描述移动对象的运动与用户的运动的“同步”。图23是示出移动对象的头部随时间的旋转角度改变和用户的头部随时间的旋转角度改变的曲线图。
如图23所示，移动对象的运动与用户的运动的“同步”表示例如移动对象的头部的旋转方向与用户的头部的旋转方向是相同的。具体地，在图23中，移动对象210的头部旋转的波形与用户230的头部旋转的波形在振幅和周期方面不同，但是较高峰的定时和较低谷的定时是基本相同的。在此情况下，可以说移动对象的移动与用户的移动是“同步”的。
更优选地，移动对象的运动与用户的运动的“同步”表示如下情况：其中，移动对象的头部的旋转方向与用户的头部的旋转方向相同，并且移动对象的头部旋转的旋转量和用户的头部旋转的旋转量等于或大于预定量。当移动对象的头部旋转的旋转量和用户的头部旋转的旋转量较小时，存在由于不自主移动等而引起移动对象的头部的旋转方向与用户的头部的旋转方向无意中匹配的可能性。相应地，当移动对象的头部旋转的旋转量和用户的头部旋转的旋转量等于或大于预定量并且移动对象的头部的旋转方向和用户的头部的旋转方向相同时，可以更可靠地认为用户有意将他的或她的移动与移动对象的移动“同步”。预定量例如为40°(即在每一侧为20°)。
除了检测移动对象的头部的旋转和用户的头部的旋转之外，还可以检测移动对象的运动与用户的运动的“同步”。
例如，当移动对象(例如人类)的重心位置的移动方向与用户的重心位置的移动方向相匹配时，可以认为移动对象的运动与用户的运动是“同步”的。当移动对象(例如人类)的身体的倾斜方向与用户的身体的倾斜方向相匹配时，可以认为移动对象的运动与用户的运动是“同步”的。可以例如使用已知的传感器诸如加速度传感器和运动传感器来检测移动对象的重心位置和身体倾向以及用户的重心位置和身体倾向。
例如，当移动对象的视线方向与用户的视线方向相匹配时，可以认为移动对象(例如人类)的运动与用户的运动是“同步”的。此外，当移动对象的注视点与用户的注视点相匹配时，可以认为移动对象的运动与用户的运动是“同步”的。这是因为认为在移动对象(例如人类)与用户之间意识或认识是基本匹配(同步)的。可以例如通过安装在移动对象(例如人类)和用户上的可佩戴式终端的视线检测功能来检测视线方向或注视点。可以根据在第一实施方式中所描述的方法或已知方法来实现视线检测功能。
通过结合用于检测移动对象的运动与用户的运动的“同步”的上述方法，可以更可靠地检测移动对象的运动与用户的运动的“同步”。
在实施方式的修改例中，当移动对象(例如人类)的移动与用户的移动同步时，图像校正单元1130不对周围捕获图像执行旋转校正。当检测到移动对象与用户之间不同步的移动时，图像校正单元1130对周围捕获图像执行旋转校正。将参照图24描述在实施方式的修改例中所执行的信息处理方法的流程。
此处，在以下描述中，假定移动对象和用户所经历的移动是在移动对象与用户之间的移动或者可能存在有意同步的移动。
在根据实施方式的修改例的信息处理方法中，首先从安装在移动对象上的成像设备(摄像机)获取捕获图像数据(步骤S191)。
接着，信息处理设备1100的图像生成单元1110基于所获取的捕获图像数据来生成周围捕获图像，例如球形图像或通过将球形图像转换成矩形形式而获得的矩形图像(步骤S193)。
此处，信息处理设备1100的图像校正单元1130确定移动对象(更具体地为成像设备)的旋转与安装在用户上的终端的旋转是否同步。更具体地，信息处理设备1100的图像校正单元1130确定成像设备的旋转方向与安装在用户上的终端的旋转方向是否相同(步骤S195)。
此处，当成像设备的旋转与安装在用户上的终端的旋转不同步(在步骤S195中为否)时，信息处理设备1100的图像校正单元1130对周围捕获图像执行图像处理，以从周围捕获图像中提取旋转分量并且对成像设备的旋转进行校正(步骤S197)。此处，方向控制单元1190还可以基于移动对象的移动方向来控制显示图像。
相反地，当移动对象的旋转与安装在用户上的终端的旋转同步(在步骤S195为是)时，信息处理设备1100的图像校正单元1130不用为了校正成像设备的旋转而对周围捕获图像执行图像处理。
此后，信息处理设备1100的图像选择单元1120在周围捕获图像中选择用户要观看的图像。信息处理设备1100的显示控制单元1150控制所选图像在用户操作设备的显示屏幕上的显示(步骤S199)。
相应地，当用户在观察周围捕获图像的同时经历与移动对象同步的运动时，信息处理设备1100可以向用户提供具有较高临场感的周围捕获图像。
以上已参照图24简要描述了根据实施方式的修改例的信息处理方法的流程。
<结论>
以此方式，在根据实施方式的信息处理设备和信息处理方法中，围绕移动对象的视频可以被实时观察为周围捕获图像，因此用户可以获得仿佛用户处于与移动对象相同的位置的临场感。通过执行前述校正处理，抑制了由于移动对象的旋转移动而引起的图像抖动，并且移动对象的移动方向的改变可以在显示图像中得到反映。因此，抑制了运动病(恶心)的发生，并且用户可以观看更自然的第一人捕获图像。
此外，在根据实施方式修改例的信息处理设备和信息处理方法中，当用户在观察周围捕获图像的同时经历与移动对象同步的运动时，可以向用户提供具有较高临场感的周围捕获图像。
以上已经详细描述了根据本发明的第二实施方式的信息处理设备和信息处理方法。
(第三实施方式)
在现有技术中，已经开发出用于用多个摄像机获取真实场景、在虚拟空间中重组场景并且使得用户观看该空间的许多技术。这些技术的示例包括：用于使得由安装在行驶汽车上的摄像机所捕获的图像能够在与位置信息相关联的图像内移动的技术；以及用于安装能够捕获全向图像的摄像机并且使得能够从特定位置自由地改变视线方向的技术。通过这些技术，可以在虚拟空间中在移动的同时观看周围图像。另一方面，虽然由于拍摄地点是离散的，因此可以用这些技术将观察点移动到附近观察点并且观察全向图像，但是可能无法平滑地移动视点。相应地，通过这些技术实现的图像与就好像用户在该位置处一样所再现的图像不同。
存在一种用于通过用以格状形式设置的摄像机对空间进行成像而使得视点位置能够移动的称为光线空间法(光场)的方法。在光线空间法中，在利用以格状形式设置的摄像机阵列拍摄空间之后，在捕获图像中包含的像素在空间上被投影到具有两个投影平面的空间，如图25所示。
相应地，穿过由投影平面A和平面B形成的矩形空间的光(例如图25中的光线1)可以被表示为四维空间中的一个点，其中该点是使用表示投影平面A上的位置的坐标(u，v)和表示投影平面B上的位置的坐标(s，v)的L(u，v，s，t)来实现的。通过在前述四维空间中表示穿过两个投影平面的光，可以从图25所示的四维空间中的某一视点重组图像。
例如，在图25中，点a表示视点，并且点b表示从视点a所看到的观察点。从视点a流动到观察点b的光(光线2)可以由前述L来表示。相应地，在位于投影平面A与投影平面B之间的任何投影平面上，可以通过在形成投影平面的各点处重复同样的处理来再现从视点a起的视场。
然而，在图25所示的光线空间的配置中，仍然存在对视点位置的自由度的约束。例如，由于图25中的从视点c起的视线(光线3)没有穿过投影平面A和投影平面B，所以视线可能无法表示为光线空间L中的点。相应地，在基于图25所示的光线空间对视场的重组中，存在对位置的约束。
相应地，本发明人通过勤奋调查已经提出了能够没有约束地重组视场的技术，从而实现了下面将要描述的信息处理设备。
<系统配置的示例>
图26是示出根据本公开内容的第三实施方式的系统的示意性配置的图。如图26所示，根据实施方式的系统20包括成像设备800和信息处理设备2000。
图25中所示的光线空间法的约束是由于作为成像设备的阵列式摄像机以二维格状形式进行布置而引起的。相应地，本发明人想到通过以三维格状形式布置摄像机来去除对视点的约束。然而，在此情况下可能存在以下问题：(1)某些摄像机隐藏了其他摄像机的视场；以及(2)所需摄像机的数目太大。
相应地，本发明人调查了用于成像的自我推进式成像设备，因此想出了可以使用可在空间自由移动的成像设备800以三维格状形式对空间进行成像的构思，同时避免了上述问题。下面将再次详细描述成像设备800。
在根据实施方式的系统20中，自我推进式成像设备800捕获的多条捕获数据被提供到信息处理设备2000，并且在信息处理设备2000中基于多条捕获数据来执行图像重构处理。
信息处理设备2000基于成像设备800捕获的多条捕获数据来执行图像重构处理。当信息处理设备2000执行图像重构处理时，信息处理设备2000使用成像设备800捕获的多条捕获数据来生成三维成像空间。信息处理设备2000使用所生成的成像空间或者基于所生成的成像空间而进一步生成的光线空间来执行图像重构处理。例如，信息处理设备2000可以由在参照图1所描述的根据第一实施方式的系统10中包括的服务器100以及客户端设备200至700中的至少一个来配置。在此情况下，服务器100和客户端设备200至700独立地或合作地被实现为以下关于整体系统20详细描述的信息处理设备2000。不用说，信息处理设备2000可以由各种独立计算机中的任意计算机来配置。由于信息处理设备2000的硬件设备配置与图2中相同，所以下面将省略其详细描述。下面将再次详细描述信息处理设备2000的配置。
<成像设备的配置>
根据实施方式的成像设备800可以被配置成单个成像设备，诸如可以在空间中自由移动的机器人。然而，优选地使用图27A或图27B所示的具有阵列式摄像机的自我推进式成像设备800。
在图27A所示的成像设备800中，摄像机801被设置成沿着一维方向进行布置。用于指定成像位置的至少一个位置识别标记物803安装在摄像机801上方。摄像机801和位置识别标记物803由具有车轮的便携式支架805来支撑。摄像机801或支架805由安装在支架上805上的并包括电池的控制计算机807来控制。在图27B所示的成像设备800中，图27A所示的摄像机801以二维方向的阵列形式来布置。
在根据实施方式的系统20中，图27A或图27B所示的成像设备800在空间中移动的同时重复成像处理。
安装在图27A和27B所示的成像设备800中的摄像机801可以是如图28A所示的仅预定方向的视场角被设置为成像视场的广角摄像机，或者可以是如图28B示出的其中整个周围为成像视场的全向摄像机。然而，如下面将要描述的，优选的是，在空间中尽可能多的方向上尽可能密集地进行成像。因此，图28B所示的全向摄像机优选的是安装在成像设备800中的摄像机801。
根据实施方式的成像设备800以预定间隔(优选地为恒定间隔)在空间中移动的同时重复成像，如图29示意性地示出的那样。此时，安装在成像设备800中的位置识别标记物803与成像同步地记录空间中的成像位置。
成像设备800捕获的多条捕获数据被输出至信息处理设备2000。
<信息处理设备的配置>
根据实施方式的信息处理设备2000包括如图30所示的成像空间生成单元2010、光线空间生成单元2020、以及图像重构单元2030。信息处理设备2000还可以包括显示控制单元2040、数据获取单元2050、数据提供单元2060、以及存储单元2070中的一者。此处，图30所示的处理单元可以由服务器100和客户端设备200至700中的任何一者来实现，或者可以被分配给多个设备来实现。
成像空间生成单元2010使用由在空间中移动的成像设备800或被安装在空间中移动的移动对象上的成像设备所捕获的多个捕获图像来生成成像空间，在该成像空间中，表示在空间中生成捕获图像的位置的信息与相应捕获图像相关联。由于位置识别标记物803与摄像机801一起被安装在根据实施方式的成像设备800中，所以很容易将捕获图像与成像位置相关联。例如，如在图31中示意性示出的那样，所生成的成像空间为三维空间，在该三维空间中，格点对应于成像设备800等的成像位置并且捕获图像与格点相关联。
通过生成这样的成像空间，例如，当存在来自用户的期望观看从视点(X，Y，Z)观看的图像的指定时，可以提供与最接近视点(X，Y，Z)的成像位置(X'，Y'，Z')相关联的捕获图像。特别地，当与每个格点相关联的捕获图像是全向图像时，进一步接收来自用户的视线方向的指定，并且从相应的全向图像裁剪出在视线方向上的指定图像，使得该图像可以被提供给用户观看。
根据这样的方法，为了将图像提供给用户，图31所示的成像空间中的格点的数目优选地尽可能大，并且彼此相邻的格点的间隔优选地尽可能短。
在根据实施方式的信息处理设备2000中，不仅可以提供基于图31所示的成像空间的自由视点图像，而且可以提供基于光线空间的自由视点图像。光线空间是光线空间生成单元2020基于成像空间生成单元2010生成的成像空间而生成的。
光线空间生成单元2020基于成像空间生成单元2010生成的成像空间来生成外接(circumscribing)成像空间的光线空间。例如，光线空间可以是如图32A所示的外接成像空间的长方体空间，或者可以是如图32B所示的外接成像空间的球形空间。
通过生成图32A或32B所示的外接成像空间的光线空间，穿过光线空间内部的光穿过光线空间的任意两个部分。通过生成这样的光线空间，可以在无需限制观察位置或观察方向的情况下描述从光线空间内部观察到的所有光线。
例如，如图32A所示，当光线空间是长方体空间时，穿过光线空间的光穿过长方体的六个表面中的两个部分。因此，可以使用光在长方体上的穿过点的坐标来定义光线L。以此方式所定义的光线L对应于四维空间中的被称为(u，v，s，t)的一个点。此处，对于长方体的各个表面而言坐标系是不同的。然而，如在图32A的下部所示的，通过考虑光线空间的展开视图可以在同一坐标系中表示各个点，而不管穿过了哪个表面。
例如，如图32B所示，当光线空间被设置为球形空间时，可以例如通过已知方法诸如等距圆柱投影将球形表面上的一个点转换成矩形平面上的一个点。相应地，如图32B所示，即使当光线空间被设置为球形空间时，光线L仍然可以对应于四维空间中的一个点，如在图25A的情况下一样。
可以根据以此方式生成的光线空间来重构在观看空间时所示的图像。由图像重构单元2030来执行重构处理。
图像重构单元2030基于由光线空间生成单元2020生成的光线空间以及与用户指定的视线方向和视点有关的重构信息来重构与重构信息对应的图像。此后，将参照图33描述图像重构方法。
用户所观看的图像的一个点可以通过由视点位置和从视点位置起的视点方向表示的矢量来表示，如图33所示。当基于重构信息来指定图33所示的向量时，图像重构单元2030延伸该矢量并且计算该矢量与光线空间之间的交叉点的位置。此处，当交叉点的坐标为(u，v)和(s，t)时，可以从L(u，v，s，t)再现与对应于重构信息的像素(重构图像中的像素)对应的光线L，如图33所示。
图像重构单元2030可以通过对重构图像中包括的所有像素重复执行上述处理来再现在用户所指定的任何视点处的图像。
可以通过使成像设备800密集地捕获多视点图像并且生成光线空间而以较高的精度来实现重构方法。由于所生成的光线空间与成像之间的关系是简单的并且上述空间再现方法是简单的，所以可以以低计算成本来执行上述处理。由于不需要如在现有技术中一样识别两个图像诸如多视点立体图像之间的对应点，所以可以说根据该实施方式的重构方法是能够相当简单地重构在任意视点处和在任意方向上的图像的通用方法。
显示控制单元2040控制显示设备(诸如安装在信息处理设备2000中或信息处理设备2000外部的显示器)的显示内容。具体地，显示控制单元2040可以允许用户观看由成像空间生成单元2010生成的成像空间、由光线空间生成单元2020生成的光线空间、由图像重构单元2030重构的图像等。相应地，用户可以始终了解在任何视点处或在任何方向上的图像。
数据获取单元2050获取从成像设备800输出的捕获图像数据或与成像位置有关的数据，或者获取与从用户操作设备、各种输入机构等输出的用户操作有关的数据。数据获取单元2050获取的各种数据可以被信息处理设备2000中包括的处理单元适当地使用。
数据提供单元2060将信息处理设备2000生成的各种数据(例如重构图像数据)提供给在信息处理设备2000外部安装的设备。相应地，即使在信息处理设备2000外部安装的设备也可以使用信息处理设备2000生成的各种信息。
存储单元2070可以适当地记录：各种数据库，其用于成像空间生成单元2010、光线空间生成单元2020、图像重构单元2030、显示控制单元2040、数据获取单元2050以及数据提供单元2060的处理；各种程序，其包括用于由这些处理单元执行的各种计算处理的应用程序；以及当执行某些处理时或者在中间车辆的过程中所需要存储的各种参数。
存储单元2070可以由每个处理单元(诸如成像空间生成单元2010、光线空间生成单元2020、图像重构单元2030、显示控制单元2040、数据获取单元2050以及数据提供单元2060)自由地访问，使得可以写数据或读数据。
已经描述了根据实施方式的信息处理设备2000的功能的示例。可以使用通用构件或电路来配置前述构成元件，或者可以通过专用于构成元件的功能的硬件来配置前述构成元件。构成元件的所有功能可以由CPU等来执行。相应地，可以根据在实现该实施方式时的技术水平来适当地改变要使用的配置。
可以创建用于实现根据上述实施方式的信息处理设备的每个功能的计算机程序以将其安装在个人计算机等上。还可以提供其中存储有这样的计算机程序的计算机可读记录介质。记录介质的示例包括磁盘、光盘、磁光盘和闪速存储器。可以不使用记录介质而是经由例如网络来传送计算机程序。
<信息处理方法的流程>
接着，将参照图34和图35简要描述由根据实施方式的信息处理设备2000执行的信息处理方法的流程。
[光线空间生成处理]
首先，将参照图34描述直到光线空间生成处理的流程。
根据实施方式的信息处理设备2000的成像空间生成单元2010获取成像设备800捕获的捕获数据，并且基于捕获数据以及与捕获数据相关联的成像位置的相关信息来生成图33所示的成像空间(步骤S201)。
接着，信息处理设备2000的光线空间生成单元2020首先使用由成像空间生成单元2010生成的成像空间来执行以步骤S203表示的光线L的定义循环。执行光线L的定义循环，直到对所有成像位置(Cx，Cy，Cz)的所有像素(Px，Py)的处理完成为止。
在光线L的定义循环中，光线空间生成单元2020首先设置成像位置(Cx，Cy，Cz)的每个像素(Px，Py)的亮度中的强度I(Cx，Cy，Cz，Px，Py)(步骤S205)。随后，光线空间生成单元2020基于参数Cx、Cy、Cz、Px和Py来计算光线空间的坐标(u，v，s，t)(步骤S207)。此后，光线空间生成单元2020设置L(u，v，s，t)＝I(Cx，Cy，Cz，Px，Py)(步骤S209)。
当光线L的上述定义循环结束时，光线空间生成单元2020执行以步骤S211所表示的光线L的补充循环。执行光线L的补充循环，直到针对光线空间的所有坐标(u，v，s，t)的处理结束为止。
在光线L的补充循环中，光线空间生成单元2020首先确定是否针对所关注的光线空间的坐标(u，v，s，t)定义了L(u，v，s，t)(步骤S213)。当预先定义了L(u，v，s，t)时，光线空间生成单元2020针对光线空间的其他坐标(u，v，s，t)继续步骤S213的处理。相反地，当没有定义L(u，v，s，t)时，光线空间生成单元2020基于在(u，v，s，t)附近的已定义的L来执行已知补充处理并且计算L(u，v，s，t)(步骤S215)。因此，基于所定义的L(u，v，s，t)来补充在未定义L的光线空间位置处的L(u，v，s，t)。
当光线L的上述补充循环结束时，生成图32A或图32B所示的光线空间。
[图像重构处理]
接着，将参照图35描述图像重构处理的流程。
根据实施方式的信息处理设备2000的图像重构单元2030首先参照与用户操作等有关的信息来指定视点位置(Cx，Cy，Cz)和要重构的图像中所包括的每个像素的位置(Px，Py)(步骤S301)。
接着，图像重构单元2030执行以步骤S303表示的亮度计算循环。执行亮度计算循环，直到对要重构的图像中所包括的所有像素(Px，Py)的处理结束为止。
在亮度计算循环中，图像重构单元2030首先基于参数(Cx，Cy，Cz，Px，Py)来计算光线空间的坐标(u，v，s，t)(步骤S305)。此后，图像重构单元2030使用L(u，v，s，t)来计算所关注像素的像素值I(Px，Py)＝L(Cx，Cy，Cz，Px，Py)(步骤S307)。
当光线L的上述补充循环结束时，重构了通过用户操作所指定的任意位置和任意视点处的图像。
图像重构单元2030经由显示控制单元2040或数据提供单元2060来输出以此方式重构的图像的数据(步骤S309)。相应地，用户观看所重构的图像。
已经参照图34和图35简要描述了根据实施方式的信息处理方法的流程。
<结论>
以此方式，在根据实施方式的信息处理设备和信息处理方法中，基于由在空间中移动的成像设备捕获的多条捕获图像数据来生成预定的光线空间，并且基于所生成的光线空间来重构在用户指定的任意视点处和任意方向上的图像。在通过根据实施方式的信息处理设备和信息处理方法所生成的光线空间中，可以在不限制观察位置或观察方向的情况下描述从光线空间内部观察到的所有光线。因此，可以没有约束地重组视场。
以上参照附图描述了本公开内容的优选实施方式，但本公开内容不限于以上示例。在所附权利要求范围内，本领域技术人员可以找到各种变型和修改，并且应当理解的是，这些变型和修改将自然落入本公开内容的技术范围内。
此外，在本说明书中所描述的效果仅是说明性和示范性的，而不是限制性的。换句话说，与基于本说明书的效果一起或者取代基于本说明书的效果，根据本公开内容的技术可以呈现出对于本领域技术人员而言明显的其他效果。
此外，本技术还可以如下进行配置。
(1)一种信息处理设备：
控制单元，所述控制单元被配置成执行控制使得基于以下信息而生成的显示图像显示在用户观看的显示区域中：图像信息，所述图像信息是通过安装在空间中移动的移动对象上的成像设备的成像而生成的；成像设备姿态信息，所述成像设备姿态信息是与所述成像设备的姿态有关的信息；以及用户观看信息，所述用户观看信息是从由所述用户操作的用户操作设备获得的并且指定在所述用户期望观看的区域。
(2)根据(1)所述的信息处理设备，还包括：
图像生成单元，所述图像生成单元被配置成使用所述图像信息中包括的捕获图像，生成在所述移动对象所在位置的周围所捕获的周围捕获图像；以及
图像选择单元，所述图像选择单元被配置成基于所述用户观看信息和所述图像生成单元生成的所述周围捕获图像，在所述周围捕获图像中选择与所述用户观看信息对应的捕获图像作为用户观看图像。
(3)根据(2)所述的信息处理设备，还包括：
图像校正单元，所述图像校正单元被配置成当所述成像设备的视线方向发生改变时，基于所述成像设备姿态信息来对所述周围捕获图像执行校正，使得伴随所述成像设备的视线方向的改变的所述周围捕获图像的改变被抑制。
(4)根据(3)所述的信息处理设备，
其中，所述图像校正单元根据校正施加信息来控制执行所述校正的程度，所述校正施加信息表示从所述用户操作设备获得的所述校正的施加程度。
(5)根据(4)所述的信息处理设备，
其中，所述图像校正单元根据所述校正施加信息来控制针对每个旋转坐标轴执行所述校正的程度，所述每个旋转坐标轴是关于所述成像设备相互独立定义的。
(6)根据(3)至(5)中任一项所述的信息处理设备，
其中，所述图像校正单元根据伴随所述成像设备的视线方向的改变的旋转角的量值执行校正，使得在所述移动对象的视线方向的改变之后的所述周围捕获图像反向旋转。
(7)根据(3)至(6)中任一项所述的信息处理设备，
其中，所述图像校正单元执行所述校正，使得在所述成像设备的视线方向的改变之前和改变之后局部特征量匹配。
(8)根据(2)至(7)中任一项所述的信息处理设备，
其中，所述图像生成单元生成在所述移动对象所在位置处的全向图像或通过将所述全向图像变换成矩形图像而获得的变换图像作为所述周围捕获图像。
(9)根据权利要求(1)至(8)中任一项所述的信息处理设备，
其中，所述成像设备姿态信息是关于所述成像设备的旋转的信息。
(10)根据权利要求(2)至(9)中任一项所述的信息处理设备，
其中，所述用户观看信息是指定在所述周围捕获图像中所述用户期望观看的显示视场角的信息。
(11)根据(2)所述的信息处理设备，还包括：
视线信息生成单元，所述视线信息生成单元被配置成基于所述成像设备姿态信息来生成视线信息，所述视线信息表示所述成像设备的视线方向，
其中，所述控制单元使用由所述视线信息生成单元生成的所述视线信息来显示对象以及所述用户观看图像，所述对象表示所述视线信息所表示的所述成像设备的视线方向。
(12)根据(10)或(11)所述的信息处理设备，
其中，所述控制单元：
生成姿态信息，在所述姿态信息中，所述成像设备的姿态的改变是使用关于旋转的旋转信息来可视化的并且是基于所述成像设备姿态信息来计算的，所述旋转伴随所述成像设备的视线方向的改变，并且
执行控制使得所述显示图像显示在所述用户观看的所述显示区域中，其中所生成的姿态信息重叠在所述显示图像上。
(13)根据(12)所述的信息处理设备，还包括：
图像校正单元，所述图像校正单元被配置成当在所述成像设备的位置不改变的情况下所述成像设备的视线方向发生改变时，对所述周围捕获图像执行校正，使得伴随所述成像设备的视线方向的改变的所述周围捕获图像的改变被抑制，
其中，所述控制单元将表示所述姿态信息的对象重叠在由所述图像校正单元所校正的周围捕获图像上。
(14)根据(13)所述的信息处理设备，
其中，所述控制单元将以下对象中的至少一个重叠在所述显示图像上：随着伴随所述成像设备的视线方向的改变的旋转运动进行旋转的对象；以及没有旋转的对象。
(15)根据(12)至(14)中任一项所述的信息处理设备，
其中，所述控制单元通过对被固定到所述成像设备所在空间的坐标系的运动进行固定并且对被固定到所述成像设备的坐标系进行改变，或者通过对被固定到所述成像设备所在空间的坐标系的运动进行改变并且对被固定到所述成像设备的坐标系的运动进行固定，使用所述旋转信息使所述成像设备的姿态的改变可视化。
(16)根据(15)所述的信息处理设备，
其中，当使用所述旋转信息使所述成像设备的姿态的改变可视化时，所述控制单元生成与以下情况对应的显示图像：在所述情况下，从与被固定到所述空间的坐标系的中心不同的位置虚拟地观看所述空间。
(17)根据(12)至(16)中任一项所述的信息处理设备，
其中，当所述用户操作设备请求向所述显示图像的特定位置添加注释时，所述控制单元将所述注释与所述特定位置在被固定到所述成像设备所在空间的坐标系中的对应点相关联。
(18)根据(12)至(17)中任一项所述的信息处理设备，
其中，根据所述旋转信息，所述控制单元控制在用户观看的所述显示区域中显示所述显示图像时的再现速度或显示视场角中的至少一个。
(19)根据(12)至(18)中任一项所述的信息处理设备，
其中，所述控制单元以从所述用户操作设备指定的任意位置为中心，生成在从所指定的任意位置对所述空间进行虚拟观看的情况下的显示图像。
(20)根据(13)至(19)中任一项所述的信息处理设备，
所述控制单元基于对所述成像设备和所述用户操作设备中的至少一个所执行的操作，改变针对所述图像校正单元中的校正处理的设置和针对所述控制单元中的所述姿态信息的重叠处理的设置。
(21)根据(2)所述的信息处理设备，还包括：
图像校正单元，被配置成对所述周围捕获图像执行校正，以使得伴随所述成像设备的旋转的、所述周围捕获图像的改变被抑制。
(22)根据(21)所述的信息处理设备，
其中，所述控制单元基于佩戴所述成像设备的移动对象的移动方向，控制所述显示图像的显示。
(23)根据(22)所述的信息处理设备，
其中，当所述移动对象的移动方向与所述移动对象的参考方向之间的角度差在阈值内时，所述控制单元以预定速度旋转在所述用户观看的显示区域中显示的所述显示图像的显示视场角，使得所述显示图像中的参考方向与所述移动对象的参考方向或移动方向相匹配。
(24)根据(23)所述的信息处理设备，
其中，所述预定速度是基于所述移动对象的移动速度和旋转速度中的至少一个来控制的。
(25)根据(21)至(24)中任一项所述的信息处理设备，
其中，所述用户操作设备是可佩戴设备，所述可佩戴设备被安装在用户上并且显示所述显示图像，并且
其中，当移动对象的旋转方向与所述用户操作设备的旋转方向相匹配时，所述图像校正单元不执行校正使得所述周围捕获图像的改变被抑制。
(26)根据(25)所述的信息处理设备，
其中，当所述成像设备的旋转量和所述用户操作设备的旋转量等于或小于阈值时，所述图像校正单元执行校正使得所述周围捕获图像的改变被抑制。
(27)根据(1)至(26)中任一项所述的信息处理设备，
其中，所述用户操作设备是安装在所述用户上的可佩戴设备，并且
其中，所述用户观看信息是根据所述可佩戴设备检测的所述用户的视线方向生成的。
(28)根据(1)至(27)中任一项所述的信息处理设备，
其中，所述移动对象是以下之一：与操作所述用户操作设备的所述用户不同的人类、在所述空间中自我推进的自我推进式对象、以及在所述空间中飞行的飞行对象。
(29)根据(1)所述的信息处理设备，还包括：
获取单元，所述获取单元被配置成获取基于所述图像信息和所述成像设备姿态信息而生成的中间图像信息，
其中，所述控制单元执行控制使得基于所述中间图像信息和所述用户观看信息而生成的显示图像显示在所述用户观看的显示区域中。
(30)一种信息处理方法，包括：
执行控制使得在用户观看的显示区域中显示基于以下信息而生成的显示图像：图像信息，所述图像信息是通过安装在空间中正在移动的移动对象上的成像设备的成像而生成的；成像设备姿态信息，所述成像设备姿态信息是与所述成像设备的姿态有关的信息；用户观看信息，所述用户观看信息是从由所述用户操作的用户操作设备获得的并且所述用户观看信息指定所述用户期望观看的区域。
(31)一种使计算机实现下述的控制功能的程序：
执行控制使得在用户观看的显示区域中显示基于以下信息而生成的显示图像：图像信息，所述图像信息是通过安装在空间中正在移动的移动对象上的成像设备的成像而生成的；成像设备姿态信息，所述成像设备姿态信息是与所述成像设备的姿态有关的信息；用户观看信息，所述用户观看信息是从由所述用户操作的用户操作设备获得的并且所述用户观看信息指定所述用户期望观看的区域。
附图标记列表
1000、1100、2000 信息处理设备
1010、1110 图像生成单元
1020、1120 图像选择单元
1030、1130 图像校正单元
1040 移动对象视线信息生成单元
1050、1150 显示控制单元
1060、1160、2010 数据获取单元
1070、1170、2060 数据提供单元
1080、1180、2070 存储单元
1190 方向控制单元
2020 成像空间生成单元
2030 光线空间生成单元
2040 图像重构单元

Claims (22)

1.一种信息处理设备：
控制单元，所述控制单元被配置成执行控制使得基于以下信息而生成的显示图像显示在用户观看的显示区域中：图像信息，所述图像信息是通过安装在空间中移动的移动对象上的成像设备的成像而生成的；成像设备姿态信息，所述成像设备姿态信息是与所述成像设备的姿态有关的信息；以及用户观看信息，所述用户观看信息是从由所述用户操作的用户操作设备获得的并且指定所述用户期望观看的区域。
2.根据权利要求1所述的信息处理设备，还包括：
图像生成单元，所述图像生成单元被配置成使用所述图像信息中包括的捕获图像，生成在所述移动对象所在位置的周围所捕获的周围捕获图像；以及
图像选择单元，所述图像选择单元被配置成基于所述用户观看信息和所述图像生成单元生成的所述周围捕获图像，在所述周围捕获图像中选择与所述用户观看信息对应的捕获图像作为用户观看图像。
3.根据权利要求2所述的信息处理设备，还包括：
图像校正单元，所述图像校正单元被配置成当所述成像设备的视线方向发生改变时，基于所述成像设备姿态信息来对所述周围捕获图像执行校正，使得伴随所述成像设备的视线方向的改变的所述周围捕获图像的改变被抑制。
4.根据权利要求3所述的信息处理设备，
其中，所述图像校正单元根据校正施加信息来控制执行所述校正的程度，所述校正施加信息表示从所述用户操作设备获得的所述校正的施加程度。
5.根据权利要求4所述的信息处理设备，
其中，所述图像校正单元根据所述校正施加信息来控制针对每个旋转坐标轴执行所述校正的程度，所述每个旋转坐标轴是关于所述成像设备相互独立定义的。
6.根据权利要求3所述的信息处理设备，
其中，所述图像校正单元根据伴随所述成像设备的视线方向的改变的旋转角的量值执行校正，使得在所述移动对象的视线方向的改变之后的所述周围捕获图像反向旋转。
7.根据权利要求3所述的信息处理设备，
其中，所述图像校正单元执行所述校正，使得在所述成像设备的视线方向的改变之前和改变之后局部特征量匹配。
8.根据权利要求2所述的信息处理设备，
其中，所述图像生成单元生成在所述移动对象所在位置处的全向图像或通过将所述全向图像变换成矩形图像而获得的变换图像作为所述周围捕获图像。
9.根据权利要求2所述的信息处理设备，还包括：
视线信息生成单元，所述视线信息生成单元被配置成基于所述成像设备姿态信息来生成视线信息，所述视线信息表示所述成像设备的视线方向，
其中，所述控制单元使用由所述视线信息生成单元生成的所述视线信息来显示对象以及所述用户观看图像，所述对象表示所述视线信息所表示的所述成像设备的视线方向。
10.根据权利要求8所述的信息处理设备，
其中，所述控制单元：
生成姿态信息，在所述姿态信息中，所述成像设备的姿态的改变是使用关于旋转的旋转信息来可视化的并且是基于所述成像设备姿态信息来计算的，所述旋转伴随所述成像设备的视线方向的改变，并且
执行控制使得所述显示图像显示在所述用户观看的所述显示区域中，其中所生成的姿态信息重叠在所述显示图像上。
11.根据权利要求10所述的信息处理设备，还包括：
图像校正单元，所述图像校正单元被配置成当在所述成像设备的位置不改变的情况下所述成像设备的视线方向发生改变时，对所述周围捕获图像执行校正，使得伴随所述成像设备的视线方向的改变的所述周围捕获图像的改变被抑制，
其中，所述控制单元将表示所述姿态信息的对象重叠在由所述图像校正单元所校正的周围捕获图像上。
12.根据权利要求11所述的信息处理设备，
其中，所述控制单元将以下对象中的至少一个重叠在所述显示图像上：随着伴随所述成像设备的视线方向的改变的旋转运动进行旋转的对象；以及没有旋转的对象。
13.根据权利要求10所述的信息处理设备，
其中，所述控制单元通过对被固定到所述成像设备所在空间的坐标系的运动进行固定并且对被固定到所述成像设备的坐标系进行改变，或者通过对被固定到所述成像设备所在空间的坐标系的运动进行改变并且对被固定到所述成像设备的坐标系的运动进行固定，使用所述旋转信息使所述成像设备的姿态的改变可视化。
14.根据权利要求13所述的信息处理设备，
其中，当使用所述旋转信息使所述成像设备的姿态的改变可视化时，所述控制单元生成与以下情况对应的显示图像：在所述情况下，从与被固定到所述空间的坐标系的中心不同的位置虚拟地观看所述空间。
15.根据权利要求10所述的信息处理设备，
其中，当所述用户操作设备请求向所述显示图像的特定位置添加注释时，所述控制单元将所述注释与所述特定位置在被固定到所述成像设备所在空间的坐标系中的对应点相关联。
16.根据权利要求10所述的信息处理设备，
其中，根据所述旋转信息，所述控制单元控制在用户观看的所述显示区域中显示所述显示图像时的再现速度或显示视场角中的至少一个。
17.根据权利要求10所述的信息处理设备，
其中，所述控制单元以从所述用户操作设备指定的任意位置为中心，生成在从所指定的任意位置对所述空间进行虚拟观看的情况下的显示图像。
18.根据权利要求11所述的信息处理设备，
所述控制单元基于对所述成像设备和所述用户操作设备中的至少一个所执行的操作，改变针对所述图像校正单元中的校正处理的设置和针对所述控制单元中的所述姿态信息的重叠处理的设置。
19.根据权利要求1所述的信息处理设备，
其中，所述用户操作设备是安装在所述用户上的可佩戴设备，并且其中，所述用户观看信息是根据由所述可佩戴设备检测的所述用户的视线方向生成的。
20.根据权利要求1所述的信息处理设备，
其中，所述移动对象是以下之一：与操作所述用户操作设备的所述用户不同的人类、在所述空间中自我推进的自我推进式对象、以及在所述空间中飞行的飞行对象。
21.一种信息处理方法，包括：
执行控制使得基于以下信息而生成的显示图像显示在用户观看的显示区域中：图像信息，所述图像信息是通过安装在空间中移动的移动对象上的成像设备的成像而生成的；成像设备姿态信息，所述成像设备姿态信息是与所述成像设备的姿态有关的信息；以及用户观看信息，所述用户观看信息是从由所述用户操作的用户操作设备获得的并且指定所述用户期望观看的区域。
22.一种使计算机实现下述的控制功能的程序：
执行控制使得基于以下信息而生成的显示图像显示在用户观看的显示区域中：图像信息，所述图像信息是通过安装在空间中移动的移动对象上的成像设备的成像而生成的；成像设备姿态信息，所述成像设备姿态信息是与所述成像设备的姿态有关的信息；以及用户观看信息，所述用户观看信息是从由所述用户操作的用户操作设备获得的并且指定所述用户期望观看的区域。
CN201480075275.XA 2014-02-17 2014-12-25 信息处理设备和信息处理方法 Active CN105980962B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2014028015 2014-02-17
JP2014-028015 2014-02-17
JP2014125799 2014-06-18
JP2014-125799 2014-06-18
JP2014-191990 2014-09-19
JP2014191990 2014-09-19
PCT/JP2014/084350 WO2015122108A1 (ja) 2014-02-17 2014-12-25 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN105980962A true CN105980962A (zh) 2016-09-28
CN105980962B CN105980962B (zh) 2019-07-23

Family

ID=53799862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480075275.XA Active CN105980962B (zh) 2014-02-17 2014-12-25 信息处理设备和信息处理方法

Country Status (7)

Country Link
US (3) US9787895B2 (zh)
EP (1) EP3109744B1 (zh)
JP (1) JP6515813B2 (zh)
KR (1) KR20160122702A (zh)
CN (1) CN105980962B (zh)
RU (1) RU2683262C2 (zh)
WO (1) WO2015122108A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108811520A (zh) * 2017-03-07 2018-11-13 林克物流有限公司 全方位影像成像方法及执行该方法的设备
CN109804408A (zh) * 2016-10-03 2019-05-24 三星电子株式会社 一致的球面照片和视频朝向校正
CN109983532A (zh) * 2016-11-29 2019-07-05 夏普株式会社 显示控制装置、头戴式显示器、显示控制装置的控制方法以及控制程序
CN110413108A (zh) * 2019-06-28 2019-11-05 广东虚拟现实科技有限公司 虚拟画面的处理方法、装置、系统、电子设备及存储介质
CN111868789A (zh) * 2018-03-20 2020-10-30 索尼公司 信息处理设备、信息处理方法以及程序
CN112805755A (zh) * 2018-10-04 2021-05-14 索尼公司 信息处理装置、信息处理方法和记录介质

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2524249B (en) * 2014-03-17 2021-01-20 Sony Interactive Entertainment Inc Image Processing
US10788948B2 (en) * 2018-03-07 2020-09-29 Quantum Interface, Llc Systems, apparatuses, interfaces and implementing methods for displaying and manipulating temporal or sequential objects
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6679856B2 (ja) * 2015-08-31 2020-04-15 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム
JPWO2017051592A1 (ja) 2015-09-25 2018-08-16 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2017068928A1 (ja) * 2015-10-21 2017-04-27 ソニー株式会社 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
WO2017068926A1 (ja) 2015-10-21 2017-04-27 ソニー株式会社 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
JP2017182130A (ja) 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9823477B1 (en) * 2016-05-02 2017-11-21 Futurewei Technologies, Inc. Head mounted display content capture and sharing
KR20180015921A (ko) 2016-08-04 2018-02-14 엘지전자 주식회사 디스플레이 장치
KR20180017591A (ko) * 2016-08-10 2018-02-21 삼성전자주식회사 카메라 장치, 디스플레이 장치 및 그 장치에서 움직임을 보정하는 방법
JP2018046430A (ja) * 2016-09-15 2018-03-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP6812803B2 (ja) 2017-01-12 2021-01-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP7180074B2 (ja) * 2017-01-31 2022-11-30 株式会社リコー 撮像装置
JPWO2018150659A1 (ja) 2017-02-14 2019-12-12 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3416381A1 (en) * 2017-06-12 2018-12-19 Thomson Licensing Method and apparatus for providing information to a user observing a multi view content
KR101843336B1 (ko) * 2017-06-29 2018-05-14 링크플로우 주식회사 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치
KR101856548B1 (ko) * 2017-08-23 2018-05-11 링크플로우 주식회사 스트리트 뷰 서비스 방법 및 이러한 방법을 수행하는 장치
JP6495398B2 (ja) * 2017-09-04 2019-04-03 株式会社コロプラ 仮想空間を提供するための方法、プログラム、および当該プログラムを実行するための情報処理装置
JP7013808B2 (ja) * 2017-11-15 2022-02-01 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
KR102213308B1 (ko) * 2017-12-01 2021-02-08 링크플로우 주식회사 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치
CN111512272B (zh) 2017-12-20 2024-09-20 索尼公司 信息处理设备、信息处理方法和程序
US10863154B2 (en) * 2018-02-20 2020-12-08 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US11480787B2 (en) 2018-03-26 2022-10-25 Sony Corporation Information processing apparatus and information processing method
WO2020032371A1 (ko) * 2018-08-09 2020-02-13 링크플로우 주식회사 영상 공유 방법 및 장치
JP2020043387A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び、記憶媒体
JP6655751B1 (ja) * 2019-07-25 2020-02-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
JP7485527B2 (ja) 2020-03-19 2024-05-16 Ｌｉｎｅヤフー株式会社 提供装置、提供方法及び提供プログラム
CN115315684A (zh) * 2020-03-30 2022-11-08 索尼集团公司 用于改变虚拟空间中的视点的方法
KR102398839B1 (ko) * 2020-12-01 2022-05-17 서울과학기술대학교 산학협력단 객체의 표면에 영상을 투영시키는 장치
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
WO2023100220A1 (ja) * 2021-11-30 2023-06-08 日本電信電話株式会社 映像処理装置、方法およびプログラム
WO2024201814A1 (ja) * 2023-03-29 2024-10-03 マクセル株式会社 映像共有システム及び映像共有方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1225541A (zh) * 1998-02-06 1999-08-11 财团法人工业技术研究院 全景图像式虚拟现实实时播放系统和方法
JP2006047748A (ja) * 2004-08-05 2006-02-16 Canon Inc 手ぶれ補正機能を有する光学機器
WO2007013685A1 (ja) * 2005-07-29 2007-02-01 The University Of Electro-Communications インタラクティブ画像取得装置
US20100259619A1 (en) * 2009-04-10 2010-10-14 Nicholson Timothy J Hmd with elevated camera
CN101916452A (zh) * 2010-07-26 2010-12-15 中国科学院遥感应用研究所 一种基于飞行控制信息的无人机遥感影像自动拼接方法
CN103155538A (zh) * 2010-10-05 2013-06-12 索尼电脑娱乐公司 图像显示装置及图像显示方法
CN102084650B (zh) * 2009-05-12 2013-10-09 华为终端有限公司 远程呈现系统、方法及视频采集设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690338B1 (en) * 1993-08-23 2004-02-10 Francis J. Maguire, Jr. Apparatus and method for providing images of real and virtual objects in a head mounted display
JPH11153987A (ja) * 1997-11-19 1999-06-08 Olympus Optical Co Ltd グラフィック表示装置
US7023913B1 (en) * 2000-06-14 2006-04-04 Monroe David A Digital security multimedia sensor
KR20020025301A (ko) * 2000-09-28 2002-04-04 오길록 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법
JP2002135641A (ja) 2000-10-27 2002-05-10 Nippon Telegr & Teleph Corp <Ntt> 視点・視線自由移動カメラシステム
JP3965560B2 (ja) 2002-03-26 2007-08-29 ソニー株式会社 画像処理装置および方法、撮像装置および方法、並びにプログラム
WO2004077820A1 (ja) * 2003-02-25 2004-09-10 Matsushita Electric Industrial Co. Ltd. 画像撮像処理方法および画像撮像装置
US8001623B2 (en) * 2005-05-26 2011-08-23 Gertsch Jeffrey H Electronic helmet
US9270976B2 (en) * 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
US9891435B2 (en) * 2006-11-02 2018-02-13 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
US20080118074A1 (en) * 2006-11-22 2008-05-22 Shuichi Takada Stereophonic sound control apparatus and stereophonic sound control method
CN104503608B (zh) * 2007-07-09 2017-08-11 索尼株式会社 电子设备及其控制方法
US8436788B2 (en) * 2008-01-08 2013-05-07 Lockheed Martin Corporation Method and apparatus for displaying
US9144714B2 (en) * 2009-05-02 2015-09-29 Steven J. Hollinger Ball with camera for reconnaissance or recreation and network for operating the same
JP2011205358A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
EP2485119A3 (en) * 2011-02-02 2012-12-12 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
US9219768B2 (en) * 2011-12-06 2015-12-22 Kenleigh C. Hobby Virtual presence model
US20130322683A1 (en) * 2012-05-30 2013-12-05 Joel Jacobs Customized head-mounted display device
JP6124517B2 (ja) * 2012-06-01 2017-05-10 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP5664677B2 (ja) 2013-02-19 2015-02-04 ソニー株式会社 撮像表示装置、撮像表示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1225541A (zh) * 1998-02-06 1999-08-11 财团法人工业技术研究院 全景图像式虚拟现实实时播放系统和方法
JP2006047748A (ja) * 2004-08-05 2006-02-16 Canon Inc 手ぶれ補正機能を有する光学機器
WO2007013685A1 (ja) * 2005-07-29 2007-02-01 The University Of Electro-Communications インタラクティブ画像取得装置
US20100259619A1 (en) * 2009-04-10 2010-10-14 Nicholson Timothy J Hmd with elevated camera
CN102084650B (zh) * 2009-05-12 2013-10-09 华为终端有限公司 远程呈现系统、方法及视频采集设备
CN101916452A (zh) * 2010-07-26 2010-12-15 中国科学院遥感应用研究所 一种基于飞行控制信息的无人机遥感影像自动拼接方法
CN103155538A (zh) * 2010-10-05 2013-06-12 索尼电脑娱乐公司 图像显示装置及图像显示方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109804408A (zh) * 2016-10-03 2019-05-24 三星电子株式会社 一致的球面照片和视频朝向校正
CN109804408B (zh) * 2016-10-03 2023-08-29 三星电子株式会社 一致的球面照片和视频朝向校正
CN109983532A (zh) * 2016-11-29 2019-07-05 夏普株式会社 显示控制装置、头戴式显示器、显示控制装置的控制方法以及控制程序
CN108811520A (zh) * 2017-03-07 2018-11-13 林克物流有限公司 全方位影像成像方法及执行该方法的设备
CN108811520B (zh) * 2017-03-07 2020-09-01 林克物流有限公司 全方位影像处理设备和处理方法及计算机可读存储介质
CN111868789A (zh) * 2018-03-20 2020-10-30 索尼公司 信息处理设备、信息处理方法以及程序
CN112805755A (zh) * 2018-10-04 2021-05-14 索尼公司 信息处理装置、信息处理方法和记录介质
CN112805755B (zh) * 2018-10-04 2024-04-12 索尼公司 信息处理装置、信息处理方法和记录介质
CN110413108A (zh) * 2019-06-28 2019-11-05 广东虚拟现实科技有限公司 虚拟画面的处理方法、装置、系统、电子设备及存储介质
CN110413108B (zh) * 2019-06-28 2023-09-01 广东虚拟现实科技有限公司 虚拟画面的处理方法、装置、系统、电子设备及存储介质

Also Published As

Publication number Publication date
EP3109744A1 (en) 2016-12-28
RU2683262C2 (ru) 2019-03-27
RU2016133123A3 (zh) 2018-09-04
US10389937B2 (en) 2019-08-20
EP3109744A4 (en) 2017-08-02
US20160301865A1 (en) 2016-10-13
JP6515813B2 (ja) 2019-05-22
WO2015122108A1 (ja) 2015-08-20
JPWO2015122108A1 (ja) 2017-03-30
CN105980962B (zh) 2019-07-23
US10574889B2 (en) 2020-02-25
US20160284048A1 (en) 2016-09-29
US20190349525A1 (en) 2019-11-14
RU2016133123A (ru) 2018-02-16
US9787895B2 (en) 2017-10-10
EP3109744B1 (en) 2020-09-09
KR20160122702A (ko) 2016-10-24

Similar Documents

Publication Publication Date Title
CN105980962B (zh) 信息处理设备和信息处理方法
WO2018048287A1 (ko) 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
TWI659335B (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
CN107079141B (zh) 用于三维视频的图像拼接
CN105809701B (zh) 全景视频姿态标定方法
US20190172227A1 (en) Information processing apparatus and method and program
CN107925753A (zh) 利用动态相机进行3d图像捕捉的方法和系统
CN111862348B (zh) 视频显示方法、视频生成方法、装置、设备及存储介质
CN108292489A (zh) 信息处理装置和图像生成方法
CN107024995A (zh) 多人虚拟现实交互系统及其控制方法
JP7249755B2 (ja) 画像処理システムおよびその制御方法、プログラム
CN109525771B (zh) 影像发布装置、影像发布系统、影像发布方法
CN109716398A (zh) 图像处理设备、图像生成方法和程序
Müller et al. PanoVC: Pervasive telepresence using mobile phones
JP7378243B2 (ja) 画像生成装置、画像表示装置および画像処理方法
JP2020008972A (ja) 情報処理装置、情報処理方法及びプログラム
CN107908278A (zh) 一种虚拟现实vr界面生成的方法和装置
KR20160060582A (ko) 시각 데이터를 처리하는 장치 및 방법, 및 관련된 컴퓨터 프로그램 제품
CN108933954A (zh) 视频图像处理方法、机顶盒以及计算机可读存储介质
JP2018033107A (ja) 動画の配信装置及び配信方法
CN107683604A (zh) 生成装置
CN114143460A (zh) 视频显示方法、装置及电子设备
CN109920519A (zh) 处理影像数据的方法、装置及设备
JP2020088571A (ja) 管理システム、情報処理システム、情報処理方法およびプログラム
Hsiao et al. Dream Home: a multiview stereoscopic interior design system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant