CN114208143A - 信息处理系统、信息处理方法和程序 - Google Patents

信息处理系统、信息处理方法和程序 Download PDF

Info

Publication number
CN114208143A
CN114208143A CN202080046845.8A CN202080046845A CN114208143A CN 114208143 A CN114208143 A CN 114208143A CN 202080046845 A CN202080046845 A CN 202080046845A CN 114208143 A CN114208143 A CN 114208143A
Authority
CN
China
Prior art keywords
information
virtual space
unit
anchor
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080046845.8A
Other languages
English (en)
Inventor
加藤嵩明
江岛公志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114208143A publication Critical patent/CN114208143A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

本发明能够生成用户期望的CG视频。根据实施方式的信息处理系统包括：获取单元(13)，其用于获取存在于真实空间中的设备的关于真实空间的第一位置信息；轨迹生成单元(15)，其用于基于第一位置信息生成设置在虚拟空间中的视点的虚拟空间中的移动轨迹；第一校正单元(15)，其用于校正虚拟空间中的视点的关于虚拟空间的第二位置信息；以及修正单元(22)，用于基于第二位置信息的校正来修正移动轨迹。

Description

信息处理系统、信息处理方法和程序
技术领域
本公开内容涉及信息处理系统、信息处理方法和程序。
背景技术
常规地，已经开发了以下技术：将虚拟摄像装置(在下文中，称为虚拟摄像装置)布置在由计算机图形(CG)创建的三维虚拟空间中并且生成CG视频，就好像虚拟空间是由虚拟摄像装置成像的一样。
近年来，还开发了以下技术：通过使用检测人的移动的技术(例如，运动捕获)，根据用户他自己/她自己或用户持有的设备(摄像装置等)的移动来控制布置在虚拟空间中的虚拟摄像装置的位置和姿态。
引用列表
专利文献
专利文献1：JP 2015-521419 W
专利文献2：JP 2014-507723 W
专利文献3：JP 2017-58752A
发明内容
技术问题
此处，为了准确地控制布置在虚拟空间中的虚拟摄像装置，需要将真实空间中的用户和设备的位置和姿态与虚拟空间中的虚拟摄像装置的位置和姿态正确地对准(对准)。当在对准中存在偏差时，用户无法准确地操纵虚拟空间中的虚拟摄像装置，这导致难以生成期望的CG视频的问题。
在这方面，本公开内容提出了能够生成用户期望的CG视频的信息处理系统、信息处理方法和程序。
问题的解决方案
为了解决上述问题，根据本公开内容的一个方面的信息处理系统包括：获取单元，其获取存在于真实空间中的设备的第一位置信息，该第一位置信息与真实空间有关；轨迹生成单元，其基于第一位置信息生成设置在虚拟空间中的视点的移动轨迹，该移动轨迹与虚拟空间有关；第一修改单元，其修改虚拟空间中的视点的第二位置信息，该第二位置信息与虚拟空间有关；以及校正单元，其基于对第二位置信息的修改来校正移动轨迹。
附图说明
图1是用于描述根据第一实施方式的Outside-in(由外到内)方法的虚拟摄像装置系统的概述的图。
图2是用于描述根据第一实施方式的Inside-out(由内到外)方法的虚拟摄像装置系统的概述的图。
图3是用于描述在Inside-out方法的虚拟摄像装置系统中出现的轨迹的偏差的图。
图4是示出根据第一实施方式的虚拟摄像装置系统的示意性配置示例的框图。
图5是示出根据第一实施方式的设备的背面的示意性配置示例的示意图。
图6是示出根据第一实施方式的存储在轨迹数据存储单元中的轨迹数据表的示例的图。
图7是示出根据第一实施方式的基本操作的示例的流程图。
图8是示出根据第一实施方式的锚登记操作和轨迹校正操作的示例的流程图。
图9是用于描述根据第一实施方式(部分1)的基于修改之后的虚拟摄像装置的自身位置来校正轨迹数据表的流程的示意图。
图10是用于描述根据第一实施方式(部分2)的基于修改之后的虚拟摄像装置的自身位置来校正轨迹数据表的流程的示意图。
图11是示出根据第二实施方式的虚拟摄像装置系统的示意性配置示例的框图。
图12是示出根据第二实施方式的关联表的示例的图。
图13是示出根据第二实施方式的控制值计算操作的示例的流程图。
图14是用于描述根据第三实施方式的虚拟摄像装置跨不同的虚拟空间的移动的图。
图15是示出根据第三实施方式的存储在轨迹数据存储单元中的轨迹数据表的示例的图。
图16是示出根据第三实施方式的设备的背面的示意性配置示例的示意图。
图17是用于描述当改变根据第三实施方式的修改的坐标系的比例时的虚拟摄像装置的移动的图。
图18是示出根据第三实施方式的修改的设备的背面的示意性配置示例的示意图。
图19是示出根据本公开内容的实施方式的服务器的硬件配置的框图。
具体实施方式
在下文中，将基于附图详细描述本公开内容的一个实施方式。顺便提及，在下面的实施方式中，相同的附图标记分配给相同的部分，并且将省略冗余的描述。
将根据以下描述的项的顺序来描述本公开内容。
1.虚拟摄像装置系统
2.第一实施方式
2.1虚拟摄像装置的示意性配置示例
2.2设备的示意性配置示例
2.3轨迹数据表的示意性配置示例
2.4操作示例
2.4.1基本流程
2.4.2锚登记和轨迹校正流程
2.4.3轨迹校正的具体示例
2.5作用和效果
3.第二实施方式
3.1虚拟摄像装置的示意性配置示例
3.2操作示例
3.2.1控制值计算流程
3.3作用和效果
4.第三实施方式
4.1轨迹数据表的示意性配置示例
4.2设备的示意性配置示例
4.3作用和效果
4.4修改
5.硬件配置
1.虚拟摄像装置系统
首先，将描述根据本公开内容的虚拟摄像装置的概述。如上所述，虚拟摄像装置是布置在由CG创建的虚拟空间中的虚拟摄像装置。
通过以虚拟摄像装置的位置作为视点来渲染虚拟摄像装置的视角内的虚拟空间，可以生成CG视频，就好像虚拟空间是由摄像装置成像的一样。
例如，作为操纵虚拟摄像装置的方法，存在Outside-in方法和Inside-out方法。
图1是用于描述Outside-in方法的虚拟摄像装置系统的概述的图。如图1所示，例如，在Outside-in方法中，由多个外部摄像装置110对布置在真实空间中的设备100进行成像，并且分析图像，使得指定真实空间中的设备100的三维位置。
例如，设备100设置有方向杆102H、102V和102F以清楚地指示设备100的姿态。方向杆102H指示设备100的横向方向，方向杆102V指示设备100的纵向方向，并且方向杆102F指示设备100的前向方向。在将设备100视为摄像装置的情况下，方向杆102F指示摄像装置的视角方向。因此，可以通过对由外部摄像装置110捕获的图像进行分析来指定设备100的姿态。顺便提及，姿态可以是由偏航角、滚动角和俯仰角确定的设备的倾斜或方向。
如上所述，在Outside-in方法中，通过使用从外部对设备100成像的外部摄像装置110来指定真实空间中的设备100的位置和姿态。
链接虚拟空间中的虚拟摄像装置以使虚拟摄像装置根据设备100在真实空间中的移动而移动。因此，在用户移动设备100或改变设备100的方向的情况下，虚拟空间中的虚拟摄像装置的位置和姿态根据设备100的移动而改变。因此，用户可以操纵设备100以根据虚拟空间中的期望位置生成期望角度的CG视频。顺便提及，设备100可以设置有监视器101，用于将由虚拟摄像装置捕获的视频实时呈现给用户。
另一方面，图2是用于描述Inside-out方法的虚拟摄像装置系统的概述的图。例如，在Inside-out方法中，设备200通过同步定位和映射(SLAM)来估计位置和姿态。例如，设备200包括在设备的壳体201的前表面上的摄像装置203L和203R，并且在基于由摄像装置203L和203R捕获的图像预先创建的地图(也称为初步地图)上指定设备自身的当前位置和设备自身的当前姿态。顺便提及，设备200可以基于由摄像装置203L和203R捕获的图像和由各种传感器获取的信息来实时地创建和更新地图。
类似于Outside-in方法，将虚拟空间中的虚拟摄像装置链接到设备200，并且可以通过用户移动设备200等来改变虚拟空间中的虚拟摄像装置的位置和姿态。因此，用户可以操纵设备200以从虚拟空间中的期望位置生成期望角度的CG视频。顺便提及，设备200可以设置有监视器202，用于将由虚拟摄像装置捕获的视频实时呈现给用户。
在Inside-out方法中采用的SLAM中，代替使用摄像装置203L和203R或者除了使用摄像装置203L和203R之外，还可以使用全球定位系统(GPS)、惯性测量单元(IMU)、各种距离测量传感器等来估计设备200的位置和姿态。
在如上所述的虚拟摄像装置系统中，为了利用虚拟摄像装置准确地再现用户所期望的摄像工作，必须正确地调整真实空间中的设备100/200的位置和姿态与虚拟空间中的虚拟摄像装置的位置和姿态之间的对准。
然而，即使当正确地调整了设备100/200与虚拟摄像装置之间的对准时，在使用中也存在出现偏差的情况。
例如，在Outside-in方法中，在设备100从安装有包括特定多个外部摄像装置110的系统的房间移动到安装有包括另外多个外部摄像装置110的系统的房间的情况下，当这两个坐标系的对准偏离时，存在当从一个系统移动到另一个系统时虚拟摄像装置出现无意行为并且无法获得期望的CG视频的可能性。
在采用SLAM的Inside-out方法中，设备200的位置和姿态是通过叠加其估计值而获得的值。因此，例如，在初始对准中存在偏差或者在叠加估计值的过程中出现偏差的情况下，用户不能准确地操纵虚拟空间中的虚拟摄像装置。
例如，如图3所示的示例中，当设置设备200的坐标系时，在设备200的初始方向从初始设置值向下的情况下，通过沿俯仰方向旋转实际设备200的轨迹T0来获得虚拟摄像装置的轨迹T1。因此，在设备200的操纵与虚拟摄像装置的摄像工作之间出现偏差，并且出现不能获得用户期望的CG视频的问题。
在这方面，在下面的实施方式中，将利用一些示例来描述能够通过对在真实空间中的设备与虚拟空间中的虚拟摄像装置之间生成的位置和姿态的偏差进行修改来生成用户期望的CG视频的信息处理系统、信息处理方法和程序。
2.第一实施方式
首先，将参照附图详细描述根据第一实施方式的信息处理系统、信息处理方法和程序。顺便提及，在该实施方式中，将例示上述Inside-out方法的虚拟摄像装置系统。
2.1虚拟摄像装置的示意性配置示例
图4是示出作为根据第一实施方式的信息处理系统的虚拟摄像装置系统的示意性配置示例的框图。如图4所示，虚拟摄像装置系统1包括：包括摄像装置11的传感器组10、真实空间自身位置估计单元(也称为估计单元或第二修改单元)(替选地，可以配置获取单元的一部分)13、地图数据库(DB)14、虚拟空间自身位置确定单元(也称为轨迹生成单元、第一修改单元或确定单元)15、虚拟空间渲染单元16、虚拟空间DB 17、CG视频数据存储单元18、监视器202、操作输入单元204、锚生成单元21、轨迹数据校正单元(也称为校正单元)22和轨迹数据存储单元(也称为轨迹存储单元)23。摄像装置203对应于例如在Inside-out方法中使用的摄像装置203L和203R。
传感器组10例如是获取用于估计真实空间中的设备200的自身位置的各种类型的信息的一组传感器。传感器组10包括摄像装置11，该摄像装置11作为用于获取设备200周围的信息(外部信息)的外部传感器。作为摄像装置11，可以使用各种图像传感器，例如所谓的RGB摄像装置和RGB-D摄像装置。此外，附加地，作为外部传感器，可以使用飞行时间(ToF)传感器、光检测和测距(LIDAR)传感器、GPS传感器、磁传感器、无线电场强度传感器等。
传感器组10还可以包括内部传感器，该内部传感器用于获取诸如移动距离、移动速度、移动方向或设备200的姿态的信息。作为内部传感器，可以使用IMU、加速度传感器、角速度传感器等。此外，在诸如用于自走式的致动器的驱动系统安装在设备200上的情况下，编码器、电位计等可以用作内部传感器。
地图数据库(DB)14存储预先创建的地图数据。顺便提及，可以基于由传感器组10获取的外部信息和/或内部信息来适当地更新地图DB 14中的地图。
真实空间自身位置估计单元13从地图DB 14读取地图，并且基于从传感器组10输入的外部信息和/或内部信息来估计和指定设备200的地图上的坐标(x,y,z)和姿态(Φ,θ,ψ)。在本说明书中，由真实空间自身位置估计单元13估计的地图上的设备200的位置和姿态被称为自身位置Tr。
虚拟空间自身位置确定单元15基于从真实空间自身位置估计单元13输入的设备200的自身位置Tr来确定虚拟空间中的虚拟摄像装置的自身位置Tv。然而，本发明不限于此，并且虚拟空间自身位置确定单元15可以基于从真实空间自身位置估计单元13输入的设备200的移动距离、方向等来确定虚拟空间中的虚拟摄像装置的自身位置Tv。
顺便提及，本说明书中的虚拟摄像装置是虚拟空间中设置的视点。该视点可以是点或平面或立体区域。
将由虚拟空间自身位置确定单元15确定的自身位置Tv与在确定自身位置Tv时的时间信息(例如，稍后描述的经过时间)一起登记在轨迹数据存储单元23中。因此，轨迹数据存储单元23存储沿虚拟摄像装置在虚拟空间中的时间序列的移动轨迹。顺便提及，在本说明书中，将由自身位置Tv指示的轨迹上的位置称为节点。
虚拟空间DB 17存储由CG创建的虚拟空间的坐标系、布置在虚拟空间中的对象的对象数据等。
还将由虚拟空间自身位置确定单元15确定的自身位置Tv输入至虚拟空间渲染单元16。虚拟空间渲染单元16通过从虚拟空间DB 17获取虚拟空间的坐标系、对象数据等来再现虚拟空间。然后，虚拟空间渲染单元16以从虚拟空间自身位置确定单元15输入的虚拟摄像装置的自身位置Tv作为视点来渲染再现的虚拟空间，从而在虚拟摄像装置的视角内生成CG视频。CG视频可以包括例如关键帧(也称为I帧)、差异帧(也称为P帧和B帧)等。
将由虚拟空间渲染单元16生成的CG视频输入至CG视频数据存储单元18中并且累积在CG视频数据存储单元18中。此外，将CG视频输入至安装在设备200上的监视器202，并且实时呈现给用户。因此，用户可以通过在监视器202上查看再现的CG视频来检查虚拟空间中当前捕获的CG视频。
顺便提及，在虚拟空间中设置音频源的情况下，可以将虚拟麦克风添加至虚拟摄像装置。在这种情况下，由虚拟空间渲染单元16生成的CG视频可以包括音频数据。
操作输入单元204是用户输入各种指令的用户接口。在触摸面板叠加在监视器202上的情况下，操作输入单元204可以是触摸面板。在这种情况下，可以在监视器202上显示用于输入支持等的各种按钮。替选地，操作输入单元204可以是设置在设备200的壳体201中的键(包括十字键等)、按钮、模拟杆等。
例如，通过对操作输入单元204进行操作，用户可以给出用于使设备200与虚拟摄像装置之间的链接开始或结束的指令。此外，例如，通过对操作输入单元204进行操作，用户可以给出用于使虚拟摄像装置进行的CG视频的捕获开始或结束的指令。
另外，例如，通过对操作输入单元204进行操作，不管设备200的位置和姿态如何，用户可以修改虚拟空间中的虚拟摄像装置的位置和姿态，即，虚拟摄像装置的自身位置Tv。
例如，通过对操作输入单元204进行操作，用户可以指示稍后描述的锚的登记。
例如，用户可以通过操作十字键204a来输入改变虚拟摄像装置的位置的指令。此外，用户可以通过操作模拟杆204b来输入改变虚拟摄像装置的方向的指令。
将从十字键204a和模拟杆204b输入的指令(即控制值)输入至虚拟空间自身位置确定单元15。虚拟空间自身位置确定单元15基于输入控制值来调整虚拟空间中的虚拟摄像装置的自身位置Tv，并且将经调整的自身位置Tv输入至虚拟空间渲染单元16。虚拟空间渲染单元16基于输入的自身位置Tv生成CG视频，并且将CG视频显示在监视器202上。
顺便提及，在用户使用操作输入单元204改变虚拟摄像装置的位置和姿态(自身位置Tv)的过程中，在虚拟摄像装置的移动期间来自自身位置Tv的视点CG视频可以显示在监视器202上。
然后，当根据投影在监视器202上的CG视频确定虚拟摄像装置已经移动到期望的位置和姿态时，用户按下锚登记按钮204c(Sync)。
锚生成单元21将关于真实空间的坐标与关于虚拟空间的坐标相关联。具体地，当用户经由操作输入单元204给出登记锚的指令时，锚生成单元21在输入该指令时将由真实空间自身位置估计单元13估计的自位置Tr与由虚拟空间自身位置确定单元15确定的自身位置Tv相关联。顺便提及，在该实施方式中，当用户经由操作输入单元204输入锚登记指令时，关于虚拟空间的虚拟摄像装置的自身位置Tv被称为锚。
例如，轨迹数据校正单元22基于用户输入至操作输入单元204的指令来校正存储在轨迹数据存储单元23中的虚拟摄像装置的轨迹数据表。
具体地，在用户通过使用操作输入单元204修改虚拟摄像装置的自身位置Tv之后指示登记锚的情况下，轨迹数据校正单元22对存储在轨迹数据存储单元23中的轨迹数据表中的连接先前登记的锚(可以是在设备200与虚拟摄像装置之间的链接开始的时间点或者是虚拟摄像装置开始成像的时间点的自身位置Tv)与当前登记的锚的轨迹上的设置的节点的坐标进行修改。
例如，轨迹数据校正单元22基于自身位置Tv(具体地，自身位置Tv是由虚拟空间自身位置确定单元15基于由真实空间自身位置估计单元13估计的自身位置Tr来确定的)通过旋转和/或平移轨迹来修改连接先前登记的锚与当前登记的锚的轨迹上的设置的节点的坐标，其中自身位置Tv是由虚拟空间自身位置确定单元15基于由用户输入至操作输入单元204的虚拟摄像装置的位置和/或姿态的移动量和移动方向，以先前登记的锚的自身位置Tv作为基点从锚的先前登记到锚的当前登记确定的。此时，可以基于由用户输入至操作输入单元204的虚拟摄像装置的位置和/或姿态的移动量和移动方向来修改虚拟摄像装置相对于设备200的姿态。
顺便提及，本说明书中的虚拟摄像装置的姿态可以是视点(或视角)的方向和倾斜(俯仰角方向的倾斜、偏航角和滚动角)。
因此，对由设备200与虚拟摄像装置之间的对准的偏差引起的虚拟摄像装置的轨迹进行修改，并且因此有可能生成用户期望的CG视频。
在上述配置中，除了监视器202和摄像装置11之外的传感器组10安装在例如设备200上。除了摄像装置11之外的传感器组10和除了监视器202之外的配置，即，除了摄像装置11之外的外部传感器、内部传感器12、真实空间自身位置估计单元13、地图数据库(DB)14、虚拟空间自身位置确定单元15、虚拟空间渲染单元16、虚拟空间DB 17、CG视频数据存储单元18、监视器202、操作输入单元204、锚点生成单元21、轨迹数据校正单元22、以及轨迹数据存储单元23——可以安装在设备200上，或者可以布置在连接到设备200的服务器(包括诸如云服务器的各种服务器)中，以能够以有线或无线方式与设备通信。
2.2设备的示意性配置示例
图5是示出根据第一实施方式的设备的背面(即，用户侧)的示意性配置示例的示意图。如图5所示，在设备200的壳体201的背面，例如，除了上述监视器202之外，还提供了十字键204a、模拟杆204b和锚登记按钮204c作为操作输入单元204。
十字键204a例如是用于输入在虚拟空间中向上、向下、向左和向右移动虚拟摄像装置的指令的操作输入单元204。模拟杆204b例如是沿箭头方向旋转的旋钮，并且是用于输入使虚拟空间中的虚拟摄像装置的方向旋转的指令的操作输入单元204。锚登记按钮204c例如是用于输入将虚拟摄像装置的当前自身位置Tv登记为锚的指令的操作输入单元204。
因此，例如，当根据在监视器202上检查的CG视频确定虚拟摄像装置的位置偏离期望位置时，用户操作十字键204a以将虚拟摄像装置移动到虚拟空间中的期望位置。此外，例如，当根据在监视器202上检查的CG视频确定虚拟摄像装置的姿态偏离期望姿态时，用户通过操作模拟杆204b来调整虚拟摄像装置的姿态。
例如，可以将监视器2022分成主区域202a和子区域202b。例如，在主区域202a中，显示由虚拟空间渲染单元16生成的CG视频。
另一方面，例如，在子区域202b中，可以显示支持用户在虚拟空间中成像的信息。例如，可以在子区域202b中显示各种类型的信息，诸如以虚拟摄像装置为中心的虚拟空间的二维或三维地图、虚拟摄像装置在虚拟空间中的轨迹和锚在轨迹上的位置，以及通过预先对真实空间的内部成像而获得的图像。这些信息可以由虚拟空间渲染单元16生成，或者可以预先登记在虚拟空间DB 17中。
顺便提及，根据该实施方式的设备200可以是由用户携带而移动的设备、由用户远程操作而移动的设备或者自主移动的设备。此外，在远程移动类型或自主移动类型的情况下，设备200可以是在地面上行进的行进类型、可以是在水面或水下行进的船类型或潜水类型或者可以是在空中飞行的飞行类型。
2.3轨迹数据表的示意性配置示例
图6是示出根据第一实施方式的存储在轨迹数据存储单元中的轨迹数据表的示例的图。顺便提及，在以下描述中，锚也被视为轨迹上的节点之一。
如图6所示，轨迹数据存储单元23中的轨迹数据表包括节点数据，其中，指示虚拟空间中的虚拟摄像装置的自身位置Tv的坐标(在下文中，称为虚拟空间坐标)与在虚拟空间自身位置确定单元15确定自身位置Tv时的经过时间(例如，从成像开始起经过的时间)相关联。顺便提及，虚拟空间坐标包括虚拟空间中的虚拟摄像装置的位置(vx,vy,vz)和关于虚拟摄像装置的姿态(例如指示虚拟摄像装置的偏航角vφ、滚动角vθ和俯仰角vψ的坐标(vφ,vθ,vψ)的信息。
轨迹数据表还包括与锚有关的节点数据(在下文中，也称为锚数据)。在锚数据中，除了自身位置Tv和在确定自身位置Tv时经过的时间之外，用于唯一地标识锚的锚标识符(ID)与用于确定自身位置Tv的设备200的自身位置Tr彼此相关联。
因此，通过根据经过时间来将轨迹数据表的每个节点数据顺序地输入至虚拟空间自身位置确定单元15，当虚拟摄像装置沿由轨迹数据表指示的轨迹移动时，可以使虚拟空间渲染单元16生成CG视频。
2.4操作示例
接下来，将参照附图详细描述根据第一实施方式的虚拟摄像装置系统的操作。
2.4.1基本流程
首先，将描述根据第一实施方式的虚拟摄像装置系统的基本操作。图7是示出根据第一实施方式的基本操作的示例的流程图。顺便提及，在下面的描述中，假设虚拟摄像装置从成像的开始到结束连续地执行CG视频的生成，例如关键帧(也称为I帧)、差异帧(也称为P帧和B帧)等的生成。
如图7所示，当虚拟摄像装置系统被激活时，首先，虚拟空间自身位置确定单元15从虚拟空间DB 17读取其中布置有虚拟摄像装置的虚拟空间的坐标系(在下文中，称为CG坐标系)，并且虚拟空间渲染单元16从虚拟空间DB 17读取其中布置有虚拟摄像装置的虚拟空间的场和对象(步骤S101)。顺便提及，用户可以适当地选择对于读取是对称的虚拟空间模型。
接着，虚拟空间自身位置确定单元15将所读取的CG坐标系的预定位置确定为虚拟摄像装置的自身位置Tv，从而将虚拟摄像装置布置在虚拟空间中(步骤S102)。
接着，处理等待直到设备200被用户激活为止(在步骤S103中为否)，并且当设备200被激活(在步骤S103中为是)时，虚拟空间身位置确定单元15开始设备200与虚拟摄像装置之间的链接(步骤S104)。具体地，虚拟空间自身位置确定单元15结合从真实空间自身位置估计单元13输入的设备200的自身位置Tr的改变，开始改变虚拟摄像装置的自身位置置Tv。
当设备200被激活时(步骤S103)，真实空间自身位置估计单元13基于从传感器组10输入的外部信息和/或内部信息以及存储在地图DB 14中的地图来估计真实空间中的设备200的自身位置Tr(步骤S105)。然后，虚拟空间自身位置确定单元15基于由真实空间自身位置估计单元13估计的自身位置Tr来确定虚拟空间中的虚拟摄像装置的自身位置Tv(步骤S106)。因此，结合真实空间中的设备200的位置和姿态(自身位置Tr)改变虚拟空间中的虚拟摄像装置的位置和姿态(自身位置Tv)。
继续步骤Sl05和S106中的操作直到从设备200的操作输入单元204输入开始成像的指令为止(在步骤S107中为否)。
当用户从操作输入单元204输入开始成像的指令时(步骤S107中为是)，首先，生成与成像起始位置对应的锚(在下文中，称为起始点锚)。具体地，例如，首先，真实空间自身位置估计单元13基于从传感器组10输入的外部信息和/或内部信息以及存储在地图DB 14中的地图来估计真实空间中的设备200的自身位置Tr(步骤S108)，并且虚拟空间自身位置确定单元15基于真实空间自身位置估计单元13估计的自身位置Tr来确定虚拟空间中的虚拟摄像装置的自身位置Tv(步骤S109)。然后，锚生成单元21生成用于唯一地标识起始点锚的锚ID，将锚ID与由真实空间自身位置估计单元13估计的自身位置Tr、由虚拟空间自身位置确定单元15确定的自身位置Tv、以及从开始成像起经过的时间相关联，从而生成起始点锚的锚数据，并且将起始点锚的锚数据登记在轨迹数据存储单元23中(步骤S110)。
接着，虚拟空间渲染单元16通过对在登记起始点锚时的虚拟摄像装置的自身位置Tv作为视点进行渲染来生成与起始点锚对应的帧数据(在下文中，称为锚对应帧)，并且将所生成的锚对应帧存储在例如CG视频数据存储单元18中(步骤S111)。锚对应帧可以用作例如CG视频的生成中的关键帧。
随后，直到用户从操作输入单元204指示成像结束为止，重复执行由真实空间自身位置估计单元13进行的自身位置Tr的估计(步骤S112)、由虚拟空间自身位置确定单元15进行的自身位置Tv的确定(步骤S113)、以及轨迹数据存储单元23中的自身位置Tv与经过时间彼此相关联的节点数据的登记(步骤S114)(在步骤S115中为否)。因此，虚拟摄像装置在成像期间的轨迹存储在轨迹数据存储单元23中。
此后，当用户从操作输入单元204输入结束成像的指令时(在步骤S15中为是)，确定是否结束该操作(步骤S116)，并且在该操作结束的情况下(在步骤S116中为是)，结束该操作。另一方面，在该操作尚未结束的情况下(在步骤S116中为否)，该操作返回至步骤S105，并且执行随后的操作。
2.4.2锚登记和轨迹校正流程
接下来，将描述在参照图7描述的基本操作期间执行的锚登记操作和轨迹校正操作。图8是示出根据第一实施方式的锚登记操作和轨迹校正操作的示例的流程图。顺便提及，例如，在虚拟摄像装置开始成像之后，图8所示的操作可以与图7所示的基本操作并行执行。
如图8所示，在该操作中，首先，处理等待直到从设备200的操作输入单元204输入用于修改虚拟摄像装置的自身位置Tv的控制值(在步骤S121中为否)。顺便提及，控制值可以包括例如由x轴、y轴和z轴表示的虚拟摄像装置的CG坐标(vx,vy,vz)的控制值(Δvx,Δvy,Δvz)，以及由偏航角vφ、滚动角vθ和俯仰角vψ表示的虚拟摄像装置的姿态(vφ,vθ,vψ)的控制值(Δvφ,Δvθ,Δvψ)。
当输入了控制值时(步骤S121中为是)，虚拟空间自身位置确定单元15根据输入控制值来修改虚拟摄像装置的自身位置Tv，以在虚拟空间中移动虚拟摄像装置(步骤S122)。因此，在渲染CG视频时的视点的位置和视角的方向改变。
接着，虚拟空间自身位置确定单元15确定操作输入单元204中的锚登记按钮204c是否被按下(步骤S123)，并且在锚被按下的情况下(步骤S123中为是)，锚生成单元21生成用于唯一地标识锚的锚ID，将锚ID与由真实空间自身位置估计单元13估计的设备200的当前自身位置Tr、由虚拟空间自身位置确定单元15确定的虚拟摄像装置的当前自身位置Tv、以及从开始成像起经过的时间相关联，从而生成锚的锚数据，并且将锚的锚数据登记在轨迹数据存储单元23中(步骤S124)。
接着，虚拟空间渲染单元16通过对在锚登记时的虚拟摄像装置的自身位置Tv作为视点进行渲染来生成经登记的锚的锚对应帧，并且将生成的锚对应帧存储在例如CG视频数据存储单元18中(步骤S125)。锚对应帧也可以用作例如CG视频的生成中的关键帧。
轨迹数据校正单元22基于新登记的锚对存储在轨迹数据存储单元23中的轨迹数据表进行校正(步骤S126)，并且处理进行至步骤S129。例如，轨迹数据校正单元22基于以第一锚作为基点的控制值，通过对部分的轨迹数据表进行旋转和/或扩展和收缩，来对由先前锚(称为第一锚)和紧接在该锚之前的锚(称为第二锚)划分的部分(不包括第一锚)的轨迹数据表进行校正。
另一方面，在步骤S123中确定操作输入单元204中的锚登记按钮204c没有被按下的情况下(在步骤S123中为否)，虚拟空间自身位置确定单元15确定是否取消了在步骤S121中输入的控制值(步骤S127)。顺便提及，例如，用户可以经由操作输入单元204输入控制值的取消。
在没有取消控制值的情况下(在步骤S127中为否)，虚拟空间自身位置确定单元15返回至步骤S121并且执行随后的操作。另一方面，在取消控制值情况下(在步骤S127中为是)，虚拟空间自身位置确定单元15丢弃在步骤S121中输入的控制值，并且将虚拟摄像装置移动到原始位置，即，将虚拟摄像装置的自身位置Tv返回至原始值(步骤S128)，并且处理进行至步骤S129。
在步骤S129中，确定是否结束该操作，并且在该操作结束的情况下(在步骤S129中为是)，结束该操作。另一方面，当该操作尚未结束时(在步骤S129中为否)，该操作返回至步骤S121，并且执行随后的操作。
2.4.3轨迹校正的具体示例
图9和图10是用于描述基于虚拟摄像装置的经修改的自身位置来校正轨迹数据表的流程的示意图。图9示出了在虚拟摄像装置从与第一锚A01对应的位置移动的过程中生成四个节点N01至N04的情况。
如图9所示，当用户对操作输入单元204进行操作以修改虚拟摄像装置的自身位置Tv并且将修改的自身位置Tv登记为第一锚A01时，轨迹T01的尖端位置和第二锚A02的位置彼此偏离。
在这种情况下，如图10所示，轨迹数据校正单元22基于以第一锚A01作为基点的控制值在第一锚A01之后旋转和/或扩展/收缩轨迹T01，使得轨迹T01的尖端与第一锚A01重合。具体地，基于从第一锚A01到第二锚A02的距离、从第一锚A01到节点N01至N04的距离以及控制值来校正第一锚A01与第二锚A02之间的节点N01至N04的节点数据。因此，轨迹T01被校正为具有与第一锚A01重合的尖端的轨迹T02。
当虚拟摄像装置沿校正轨迹移动时，以如下方式CG视频可以自动地生成并且存储(或更新)在CG视频数据存储单元18中：当轨迹数据表被校正时，虚拟空间自身位置确定单元15从轨迹数据存储单元23读取经校正的轨迹数据表并且将其输入至虚拟空间渲染单元16，或者CG视频可以以用户从操作输入单元204给出指令的方式生成并且存储(或更新)在CG视频数据存储单元18中。此时，基于经校正的轨迹数据表生成的CG视频可以再现在监视器202上。
2.5作用和效果
如上所述，根据该实施方式，即使在设备200的坐标系与虚拟摄像装置的坐标系之间存在偏差并且虚拟摄像装置具有非预期的位置和姿态的情况下，用户也可以经由操作输入单元204来修改虚拟摄像装置的位置和姿态。然后，基于修改来校正虚拟摄像装置的轨迹。这使得有可能生成用户期望的CG视频。
3.第二实施方式
接下来，将参照附图详细描述根据第二实施方式的信息处理系统、信息处理方法和程序。顺便提及，在该实施方式中，类似于第一实施方式，将例示上述Inside-out方法的虚拟摄像装置系统。此外，在下面的描述中，引用了与上述实施方式相同的配置和操作，并且将省略其冗余描述。
3.1虚拟摄像装置的示意性配置示例
图11是示出作为根据第二实施方式的信息处理系统的虚拟摄像装置系统的示意性配置示例的框图。如图11所示，除了与第一实施方式中使用图4所示的虚拟摄像装置系统1相同的配置之外，虚拟摄像装置系统2包括例如对象提取单元31和对象相关性DB 32。
对象相关性DB 32例如是存储预先创建并且保存真实世界中的真实对象(在下文中，称为真实对象)与虚拟空间中的虚拟对象(在下文中，称为虚拟对象)之间相关性的相关性表的数据库。图12示出了根据第二实施方式的相关性表的示例。
如图12所示，相关性表具有真实对象ID、真实空间坐标、三维对象数据、虚拟对象ID和虚拟空间坐标彼此相关联的结构。
真实对象ID是用于唯一地标识真实对象的标识符。
真实空间坐标是指示真实空间中真实对象的位置和姿态的位置和姿态信息。真实空间坐标可以是在诸如通用横轴墨卡托投影(universal transverse Mercatorprojection)或通用极坐标透视投影的地理坐标系统中表示的坐标，或者可以是以关联表中登记的一个真实对象的真实空间坐标为原点的坐标系中的坐标。
三维对象数据是用于识别真实对象的数据，并且可以是例如通过从对真实对象进行成像而获得的图像生成的三维对象数据等。顺便提及，使用三维对象数据的真实对象的识别处理可以是例如对捕获图像的图像识别处理。此时，用于图像识别处理的捕获图像可以是由设备200的摄像装置203捕获的图像或者由具有与设备200的摄像装置203不同的成像功能的电子设备(例如，智能电话、数码相机等)捕获的图像。然而，本发明不限于此，并且可以应用各种识别处理，例如，基于通过利用激光扫描仪等扫描环境而获取的三维数据，从三维对象数据中识别真实对象的处理。
虚拟对象ID是用于唯一地标识虚拟对象的标识符。虚拟对象ID可以与存储在虚拟空间DB 17中的虚拟对象的标识符相同。
虚拟空间坐标是指示虚拟空间中虚拟对象的位置和姿态的位置和姿态信息。
描述返回图3。例如，对象提取单元31通过对图像执行图像识别处理来提取包括在由摄像装置203捕获的图像中的真实对象。
然后，对象提取单元31通过参考登记在对象相关性DB 32中的真实对象数据来指定真实对象的真实空间坐标和与真实对象相关联的虚拟对象ID以及虚拟对象的虚拟空间坐标。
在指定的信息中，将真实对象的真实空间坐标和关于从摄像装置203输入的图像中的真实对象的区域的信息(在下文中，称为对象区域数据)一起输入至真实空间自身位置估计单元13。顺便提及，假设将相同的图像数据输入至对象提取单元31和真实空间自身位置估计单元13。
在该实施方式中，真实空间自身位置估计单元13基于从对象提取单元31输入的对象区域数据来指定从摄像装置203输入的图像中的真实对象的区域。
真实空间自身位置估计单元13基于真实对象的指定区域来指定设备200相对于真实对象的相对位置(包括距离和方向)，并且基于指定的相对位置和从对象提取单元31输入的真实对象的真实空间坐标来指定真实空间中的设备200的真实自身位置(在下文中，称为真实自身位置TR)。
然后，真实空间自身位置估计单元13计算基于紧接在之前的从传感器组10输入的信息估计的自身位置Tr相对于指定的真实自身位置TR的差。该差对应于与虚拟空间中用户预期的虚拟摄像装置的位置和姿态的偏离的量。在这方面，在该实施方式中，真实空间自身位置估计单元13基于该差来计算用于修改虚拟摄像装置的位置和姿态的控制值，并且将该控制值输入至虚拟空间自身位置确定单元15。
当从真实空间自身位置估计单元13输入控制值时，虚拟空间自身位置确定单元15如在第一实施方式中那样修改虚拟空间中的虚拟摄像装置的自身位置Tv。
在该实施方式中，当虚拟空间自身位置确定单元15基于从真实空间自身位置位估计单元13输入的控制值来修改虚拟摄像装置的位置时，虚拟空间自身位置确定单元指示锚生成单元21登记锚。
然后，类似于第一实施方式，锚生成单元21和轨迹数据校正单元22生成并且登记轨迹数据存储单元23中的锚数据，并且基于经修改的锚来修改轨迹数据存储单元23中的对应部分的轨迹数据表。
3.2操作示例
接着，在根据第二实施方式的虚拟摄像装置系统的操作中，将参照附图详细描述与第一实施方式的操作不同的操作。
3.2.1控制值计算流程
图13是示出根据第二实施方式的控制值计算操作的示例的流程图。顺便提及，例如，在虚拟摄像装置开始成像之后，图13所示的操作可以与第一实施方式中的图7所示的基本操作以及图8所示的锚登记操作和轨迹校正操作并行执行。
如图13所示，在该操作中，从摄像装置203将图像数据输入至对象提取单元31和真实空间自身位置估计单元13(步骤S201)。
接着，对象提取单元31通过对输入图像数据执行图像识别处理来提取包括在图像数据中的真实对象(步骤S202)。然后，对象提取单元31参考对象相关性DB 32，以确定所提取的真实对象是否被登记在相关性数据中(步骤S203)。在所提取的真实对象未被登记在相关性数据中的情况下(在步骤S203中为否)，该操作进行至步骤S211。
另一方面，在所提取的真实对象被登记在相关性数据中的情况下(在步骤S203中为是)，对象提取单元31将指示图像数据中的真实对象的区域的对象区域数据和从相关性数据指定的真实对象的真实空间坐标输入至真实空间自身位置估计单元13(步骤S204)。
另一方面，真实空间自身位置估计单元13基于输入对象区域数据来指定图像数据中的真实对象的区域(步骤S205)，并且基于图像数据中的指定的真实对象来指定设备200相对于真实对象的相对位置(步骤S206)。
接着，真实空间自身位置估计单元13基于所指定的相对位置和从对象提取单元31输入的真实对象的真实空间坐标来指定设备200的真实自身位置TR(步骤S207)。
然后，真实空间自身位置估计单元13计算基于紧接在之前的从传感器组10输入的信息估计的自身位置Tr相对于指定的真实自身位置TR的差(步骤S208)。
接着，真实空间自身位置估计单元13基于在步骤S208中计算的差来生成用于修改虚拟摄像装置的位置和姿态的控制值(步骤S209)，并且将控制值输入至虚拟空间自身位置确定单元15(步骤S210)。因此，根据第一实施方式中图8所示的锚登记操作和轨迹校正操作，虚拟空间中的虚拟摄像装置的自身位置Tv被修改，锚数据被登记在轨迹数据存储单元23中，并且轨迹数据存储单元23中的对应部分的轨迹数据表被轨迹数据校正单元22校正。
在步骤S211中，确定是否结束该操作，并且在该操作结束的情况下(在步骤S211中为是)，结束该操作。另一方面，当该操作尚未结束时(在步骤S211中为否)，该操作返回至步骤S201，并且执行随后的操作。
3.3作用和效果
如上所述，根据该实施方式，用于修改设备200的坐标系与虚拟摄像装置的坐标系之间的偏差的控制值自动地生成，并且被输入至虚拟空间自身位置确定单元15。因此，即使在虚拟摄像装置具有非预期的位置和姿态的情况下，也可以自动地修改虚拟摄像装置的位置和姿态。然后，基于该修改自动地校正虚拟摄像装置的轨迹。这使得有可能生成用户期望的CG视频。
顺便提及，其他配置、操作和效果可以类似于上述实施方式的配置、操作和效果，并且因此这里将省略其详细描述。
4.第三实施方式
接下来，将参照附图详细描述根据第三实施方式的信息处理系统、信息处理方法和程序。顺便提及，在该实施方式中，类似于上述实施方式，将例示上述Inside-out方法的虚拟摄像装置系统。此外，在下面的描述中，引用了与上述实施方式相同的配置和操作，并且将省略其冗余描述。
在第一实施方式和第二实施方式中，已经例示了虚拟摄像装置结合设备在单个虚拟空间中移动的情况。另一方面，在第三实施方式中，将例示虚拟摄像装置跨多个虚拟空间移动的情况。
如图14所示，例如，可以通过将特定虚拟空间(称为第一虚拟空间)301中的特定锚(称为第一锚)A32与另一虚拟空间(称为第二虚拟空间)401中的特定锚(称为第二锚点)A43预先链接并且在虚拟摄像装置到达第一虚拟空间301中的第一锚A32时将虚拟摄像装置移动(也称为跳跃)到第二虚拟空间401中的第二锚A43来实现虚拟摄像装置跨多个虚拟空间的移动。
根据该实施方式的虚拟摄像装置系统的示意性配置可以类似于例如在第一实施方式中例示的虚拟摄像装置系统1或在第二实施方式中例示的虚拟摄像装置系统2。然而，在该实施方式中，轨迹数据存储单元23中的轨迹数据表被替换为稍后描述的轨迹数据表。
4.1轨迹数据表的示意性配置示例
图15是示出根据第三实施方式的存储在轨迹数据存储单元中的轨迹数据表的示例的图。顺便提及，在本说明书中，将说明虚拟摄像装置跨图14所示的第一虚拟空间301和第二虚拟空间401移动的情况。
如图15所示，根据该实施方式的轨迹数据表具有这样的配置，其中，在与第一实施方式中参照图6描述的轨迹数据表类似的配置中，锚ID被替换为第一锚ID和第二锚ID，并且虚拟空间坐标被替换为第一虚拟空间坐标和第二虚拟空间坐标。
第一锚ID是用于唯一地标识第一虚拟空间301中的每个第一锚的标识符。第二锚ID是用于唯一地标识第二虚拟空间中的每个第二锚的标识符。
第一虚拟空间坐标是指示第一虚拟空间中的锚或与锚对应的节点的坐标的位置信息。第二虚拟空间坐标是指示第二虚拟空间中的锚或与锚对应的节点的坐标的位置信息。
在这样的结构中，在链接不同的虚拟空间中的锚的情况下，在轨迹数据表中，与两个经链接的锚有关的信息(第一/第二锚ID、经过时间、真实空间坐标以及第一/第二虚拟空间坐标)存储在同一记录中。如上所述，在轨迹数据表中，将至少用于指定要被链接的两个锚的信息(第一锚ID和第二锚ID)关联。顺便提及，在本说明书中，将链接不同的虚拟空间中的两个锚称为分组。
如上所述，通过将不同的虚拟空间中的两个锚分组，在结合设备200的移动而移动的虚拟摄像装置到达第一虚拟空间301中的第一锚A32的情况下，虚拟摄像装置的位置可以被移动至第二虚拟空间401中的第二锚A43。此外，相反的情况也是可以的。
4.2设备的示意性配置示例
图16是示出根据第三实施方式的设备的背面(即，用户侧)的示意性配置示例的示意图。如图16所示，根据该实施方式的设备200例如具有这样的配置，其中，除了类似于第一实施方式中参照图5描述的设备200的配置之外，还添加了分组按钮204d(Grp)作为操作输入单元204。此外，监视器202设置有用于支持锚分组的子区域202c。
例如，在子区域202c中，显示在轨迹数据存储单元23中登记的第一锚和第二锚的列表。
例如，在将两个锚分组在不同的虚拟空间中的情况下，用户在从监视器202的子区域202c中显示的第一锚和第二锚中选择要分组的两个锚的状态下按下分组按钮204d。
例如，以这种方式输入的分组指令经由虚拟空间自身位置确定单元15被输入至锚生成单元21。锚生成单元21从轨迹数据存储单元23中的轨迹数据表中提取选择作为分组对称性的两个锚的记录、将提取的记录收集为一个记录并且更新轨迹数据存储单元23中的轨迹数据表。
4.3作用和效果
如上所述，根据该实施方式，虚拟摄像装置可以跨不同的虚拟空间移动。因此，例如，在游戏等中，当玩家在真实空间中根据预定路线移动时，可以使由玩家携带的设备的屏幕上显示的虚拟空间跳到另一虚拟空间。顺便提及，在这种情况下，以上描述中的用户对应于游戏创建者。
其他配置、操作和效果可以类似于上述实施方式的配置、操作和效果，并且因此这里将省略冗余描述。
4.4修改
在上述第三实施方式中，已经例示了当虚拟摄像装置到达特定锚时将虚拟摄像装置所属的虚拟空间切换至另一虚拟空间的情况。然而，这样的配置也可以应用于当虚拟摄像装置到达特定锚时虚拟空间的比例被放大或缩小的情况。
即，如图17所示，例如，可以进行配置使得：为单个虚拟空间设置具有不同比例的两个坐标系(第一坐标系501和第二坐标系601)，并且当到达特定锚(其被称为第一锚A52)同时在第一坐标系501中再现虚拟空间时，将虚拟空间的坐标系切换至第二坐标系601。在这种情况下，如图17所示，在第二坐标系601的比例大于第一坐标系501的比例的情况下，可以实现伴随虚拟摄像装置的角色在虚拟空间中被突然放大的观看效果。
顺便提及，如图18所示，例如，当提供比例切换按钮204e(在图18所示的示例中，也使用模拟杆204b)作为设备200中的操作输入单元204并且由用户操作时，可以实现比例的切换和调整。
可以使用例如具有与第三实施方式中参照图15描述的轨迹数据表类似的配置的轨迹数据表来管理用于切换比例的锚的分组。然而，在这种情况下，第一虚拟空间坐标被替换为指示第一坐标系501中的虚拟空间坐标的第一坐标系虚拟空间坐标，并且第二虚拟空间坐标被替换为指示第一坐标系601中的虚拟空间坐标的第二坐标系虚拟空间坐标。
5.硬件配置
例如，通过具有如图19所示的配置的计算机1000来实现根据上述每个实施方式的用于实现虚拟相机系统1或2的设备100/200和服务器(可通信地连接至设备200的服务器)。
如图19所示，计算机1000包括中央处理单元(CPU)1100、RAM 1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的每个单元通过总线1050连接。
CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作，并且控制每个单元。例如，CPU 1100将存储在ROM 1300或HDD 1400中的程序署到RAM 1200中，并且执行与各种程序对应的处理。
ROM 1300存储诸如在计算机1000启动时由CPU 1100执行的基本输入输出系统(BIOS)之类的引导程序、取决于计算机1000的硬件的程序等。
HDD 1400是非暂态地记录由CPU 1100执行的程序、该程序使用的数据等的计算机可读记录介质。具体地，HDD 1400是记录根据本公开内容的图像处理程序(作为程序数据1450的示例)的记录介质。
通信接口1500是用于计算机1000连接至外部网络1550(例如，因特网)的接口。例如，CPU 1100从另一设备接收数据或经由通信接口1500将由CPU 1100生成的数据发送至另一设备。
输入输出接口1600是用于连接输入/输出设备1650与计算机1000的接口。例如，CPU 1100经由输入/输出接口1600从诸如键盘和鼠标的输入设备接收数据。此外，CPU 1100经由输入/输出接口1600将数据发送至诸如显示器、扬声器或打印机的输出设备。此外，输入/输出接口1600可以用作读取记录在预定记录介质(介质)中的程序等的介质接口。该介质例如是诸如数字通用盘(DVD)或相变可重写盘(PD)的光学记录介质、诸如磁光盘(MO)的磁光记录介质、磁带介质、磁记录介质、半导体存储器等。
例如，在计算机1000用作根据上述实施方式的服务器的情况下，计算机1000的CPU1100执行加载在RAM 1200上的程序，以实现真实空间自身位置估计单元13、虚拟空间自身位置确定单元15、虚拟空间渲染单元16、锚生成单元21、轨迹数据校正单元22和对象提取单元31中的功能的至少之一。此外，HDD 1400存储根据本公开内容的程序以及存储在地图DB14、虚拟空间DB 17、CG视频数据存储单元18、轨迹数据存储单元23和对象相关性DB 32中的至少之一中的数据。顺便提及，CPU 1100从HDD 1400读取程序数据1450，并且执行程序数据，但是作为另一示例，可以经由外部网络1550从另一设备获取这些程序。
尽管上面已经描述了本公开内容的实施方式，但是本公开内容的技术范围并不限于上述实施方式中的每个，并且在不脱离本公开内容的要旨的情况下可以进行各种修改。此外，可以在不同的实施方式和修改中适当地组合该组件。
在本说明书中描述的每个实施方式中的效果仅是示例而非限制，并且可以存在其他效果。
上述实施方式中的每一个可以单独使用，或者可以与另一实施方式结合使用。
顺便提及，本技术还可以如下配置。
(1)
一种信息处理系统，包括：
获取单元，其获取存在于真实空间中的设备的第一位置信息，所述第一位置信息与所述真实空间有关；
轨迹生成单元，其基于所述第一位置信息生成设置在虚拟空间中的视点的移动轨迹，所述移动轨迹与所述虚拟空间有关；
第一修改单元，其修改所述虚拟空间中的视点的第二位置信息，所述第二位置信息与所述虚拟空间有关；以及
校正单元，其基于对所述第二位置信息的修改来校正所述移动轨迹。
(2)
根据(1)所述的信息处理系统，其中，
所述获取单元包括：
外部传感器和内部传感器中的至少之一，所述外部传感器获取所述设备周围的外部信息，所述内部传感器获取所述设备内部的内部信息，以及
估计单元，其基于所述外部信息和所述内部信息中的至少之一来估计所述第一位置信息。
(3)
根据(1)或(2)所述的信息处理系统，其中，
所述第一修改单元包括操作输入单元，所述操作输入单元用于用户输入针对所述虚拟空间中的视点的第二位置信息的修改指令，并且所述第一修改单元基于所述修改指令修改所述第二位置信息。
(4)
根据(3)所述的信息处理系统，其中，
所述操作输入单元包括：
第一操作输入单元，其用于所述用户输入针对所述虚拟空间中的视点的位置的修改指令；
第二操作输入单元，其用于所述用户输入针对所述虚拟空间中的视点的位置和方向中的至少之一的修改指令。
(5)
根据(1)至(4)中任一项所述的信息处理系统，还包括：
摄像装置，其设置在存在于所述真实空间的所述设备中；
提取单元，其从所述摄像装置获取的图像数据提取所述图像数据中包括的对象；以及
第二修改单元，其基于所述提取单元提取的所述对象在所述真实空间中的位置来修改所述设备的第一位置信息，其中，
所述第一修改单元基于所述第二修改单元对所述第一位置信息的修改来修改所述第二位置信息。
(6)
根据(5)所述的信息处理系统，其中，
所述第二修改单元根据所述真实空间中的所述对象与设备之间的相对位置来指定所述真实空间中的设备的真实位置，并且基于所述真实位置来修改所述第一位置信息。
(7)
根据(1)至(6)中任一项所述的信息处理系统，还包括：
轨迹存储单元，其沿时间序列存储所述虚拟空间中的视点的第二位置信息以保存所述移动轨迹，其中，
所述校正单元校正保存在所述轨迹存储单元中的移动轨迹。
(8)
根据(7)所述的信息处理系统，还包括：
锚生成单元，其生成用于将所述第一位置信息和所述第二位置信息关联的锚信息，其中，
所述轨迹存储单元将所述锚信息保存为所述移动轨迹的一部分。
(9)
根据(8)所述的信息处理系统，其中，
所述锚生成单元基于来自用户的指令生成所述锚信息。
(10)
根据(5)所述的信息处理系统，还包括：
轨迹存储单元，其沿时间序列存储所述虚拟空间中的视点的第二位置信息，以保存所述移动轨迹；以及
锚生成单元，其生成指示所述第一位置信息与所述第二位置信息之间的对应关系的锚信息，其中，
所述轨迹存储单元将所述锚信息保存为所述移动轨迹的一部分，以及
在所述提取单元从所述图像数据中提取所述对象的情况下，所述锚生成单元生成所述锚信息。
(11)
根据(8)所述的信息处理系统，其中，
所述虚拟空间包括第一虚拟空间和与所述第一虚拟空间不同的第二虚拟空间，以及
所述轨迹存储单元彼此相关联地存储第一锚信息和第二锚信息，所述第一锚信息包括所述第一虚拟空间中的第二位置信息，所述第二锚信息包括所述第二虚拟空间中的第二位置信息。
(12)
根据(11)所述的信息处理系统，还包括：
确定单元，其确定所述第一虚拟空间中的视点的位置，其中，
在所述视点到达由所述第一锚信息指示的所述第一虚拟空间中的位置的情况下，所述确定单元将所述视点的位置确定为由所述第二锚信息指示的所述第二虚拟空间中的位置。
(13)
根据(8)所述的信息处理系统，其中，
由第一比例的第一坐标系和第二比例的第二坐标系再现所述虚拟空间，所述第二比例与所述第一比例不同，以及
所述轨迹存储单元彼此相关联地存储第一锚信息和第二锚信息，所述第一锚信息包括关于所述第一坐标系的第二位置信息，所述第二锚信息包括关于所述第二坐标系的第二位置信息。
(14)
根据(13)所述的信息处理系统，还包括：
确定单元，其确定所述虚拟空间中的视点的位置，其中，
在所述视点到达由包括在所述第一锚信息中的关于所述第一坐标系的第二位置信息指示的位置的情况下，所述确定单元将所述视点的位置确定为由包括在所述第二锚信息中的关于所述第二坐标系的第二位置信息指示的位置。
(15)
根据(1)至(14)中任一项所述的信息处理系统，其中，
所述第一位置信息包括关于所述真实空间中的设备的位置的信息和关于所述真实空间中的设备的姿态的信息，并且
所述第二位置信息包括关于所述虚拟空间中的视点的位置的信息和关于所述虚拟空间中的视点的方向和倾斜的信息。
(16)
根据(1)至(15)中任一项所述的信息处理系统，还包括：
视频生成单元，其通过基于所述视点渲染所述虚拟空间的内部来生成视频。
(17)
一种信息处理方法，包括：
获取存在于真实空间中的设备的第一位置信息；
基于所述第一位置信息生成设置在虚拟空间中的视点的移动轨迹；
修改所述虚拟空间中的视点的第二位置信息；以及
基于对所述第二位置信息的修改来校正所述移动轨迹。
(18)
根据(17)所述的信息处理方法，其中，
通过使用基于对所述第二位置信息的修改而校正的移动轨迹渲染所述虚拟空间的内部来生成虚拟摄像装置的视角内的CG视频。
(19)
一种程序，用于使计算机执行以下操作：
获取存在于真实空间中的设备的第一位置信息；
基于所述第一位置信息生成设置在虚拟空间中的视点的移动轨迹；
修改所述虚拟空间中的视点的第二位置信息；以及
基于对所述第二位置信息的修改来校正所述移动轨迹。
参考标记列表
1,2虚拟摄像装置系统
10传感器组
12内部传感器
13真实空间自身位置估计单元
14映射DB
15虚拟空间自身位置确定单元
16虚拟空间渲染单元
17虚拟空间DB
18CG视频数据存储单元
21锚生成单元
22轨迹数据校正单元
23轨迹数据存储单元
31对象提取单元
32对象相关性DB
100,200设备
101,202监视器
102F,102H,102V方向杆
110外部摄像装置
201壳体
202a主区域
202b子区域
203,203L,203R摄像装置
204操作输入单元
204a交叉键
204b模拟杆
204c锚登记按钮

Claims (19)

1.一种信息处理系统，包括：
获取单元，其获取存在于真实空间中的设备的第一位置信息，所述第一位置信息与所述真实空间有关；
轨迹生成单元，其基于所述第一位置信息生成设置在虚拟空间中的视点的移动轨迹，所述移动轨迹与所述虚拟空间有关；
第一修改单元，其修改所述虚拟空间中的视点的第二位置信息，所述第二位置信息与所述虚拟空间有关；以及
校正单元，其基于对所述第二位置信息的修改来校正所述移动轨迹。
2.根据权利要求1所述的信息处理系统，其中，
所述获取单元包括：
外部传感器和内部传感器中的至少之一，所述外部传感器获取所述设备周围的外部信息，所述内部传感器获取所述设备内部的内部信息，以及
估计单元，其基于所述外部信息和所述内部信息中的至少之一来估计所述第一位置信息。
3.根据权利要求1所述的信息处理系统，其中，
所述第一修改单元包括操作输入单元，所述操作输入单元用于用户输入针对所述虚拟空间中的视点的第二位置信息的修改指令，并且所述第一修改单元基于所述修改指令修改所述第二位置信息。
4.根据权利要求3所述的信息处理系统，其中，
所述操作输入单元包括：
第一操作输入单元，其用于所述用户输入针对所述虚拟空间中的视点的位置的修改指令；
第二操作输入单元，其用于所述用户输入针对所述虚拟空间中的视点的位置和方向中的至少之一的修改指令。
5.根据权利要求1所述的信息处理系统，还包括：
摄像装置，其设置在存在于所述真实空间的所述设备中；
提取单元，其从所述摄像装置获取的图像数据提取所述图像数据中包括的对象；以及
第二修改单元，其基于所述提取单元提取的所述对象在所述真实空间中的位置来修改所述设备的第一位置信息，其中，
所述第一修改单元基于所述第二修改单元对所述第一位置信息的修改来修改所述第二位置信息。
6.根据权利要求5所述的信息处理系统，其中，
所述第二修改单元根据所述真实空间中的所述对象与设备之间的相对位置来指定所述真实空间中的设备的真实位置，并且基于所述真实位置来修改所述第一位置信息。
7.根据权利要求1所述的信息处理系统，还包括：
轨迹存储单元，其沿时间序列存储所述虚拟空间中的视点的第二位置信息以保存所述移动轨迹，其中，
所述校正单元校正保存在所述轨迹存储单元中的移动轨迹。
8.根据权利要求7所述的信息处理系统，还包括：
锚生成单元，其生成用于将所述第一位置信息和所述第二位置信息关联的锚信息，其中，
所述轨迹存储单元将所述锚信息保存为所述移动轨迹的一部分。
9.根据权利要求8所述的信息处理系统，其中，
所述锚生成单元基于来自用户的指令生成所述锚信息。
10.根据权利要求5所述的信息处理系统，还包括：
轨迹存储单元，其沿时间序列存储所述虚拟空间中的视点的第二位置信息以保存所述移动轨迹；以及
锚生成单元，其生成指示所述第一位置信息与所述第二位置信息之间的对应关系的锚信息，其中，
所述轨迹存储单元将所述锚信息保存为所述移动轨迹的一部分，以及
在所述提取单元从所述图像数据中提取所述对象的情况下，所述锚生成单元生成所述锚信息。
11.根据权利要求8所述的信息处理系统，其中，
所述虚拟空间包括第一虚拟空间和与所述第一虚拟空间不同的第二虚拟空间，以及
所述轨迹存储单元彼此相关联地存储第一锚信息和第二锚信息，所述第一锚信息包括所述第一虚拟空间中的第二位置信息，所述第二锚信息包括所述第二虚拟空间中的第二位置信息。
12.根据权利要求11所述的信息处理系统，还包括：
确定单元，其确定所述第一虚拟空间中的视点的位置，其中，
在所述视点到达由所述第一锚信息指示的所述第一虚拟空间中的位置的情况下，所述确定单元将所述视点的位置确定为由所述第二锚信息指示的所述第二虚拟空间中的位置。
13.根据权利要求8所述的信息处理系统，其中，
由第一比例的第一坐标系和第二比例的第二坐标系再现所述虚拟空间，所述第二比例与所述第一比例不同，以及
所述轨迹存储单元彼此相关联地存储第一锚信息和第二锚信息，所述第一锚信息包括关于所述第一坐标系的第二位置信息，所述第二锚信息包括关于所述第二坐标系的第二位置信息。
14.根据权利要求13所述的信息处理系统，还包括：
确定单元，其确定所述虚拟空间中的视点的位置，其中，
在所述视点到达由包括在所述第一锚信息中的关于所述第一坐标系的第二位置信息指示的位置的情况下，所述确定单元将所述视点的位置确定为由包括在所述第二锚信息中的关于所述第二坐标系的第二位置信息指示的位置。
15.根据权利要求1所述的信息处理系统，其中，
所述第一位置信息包括关于所述真实空间中的设备的位置的信息和关于所述真实空间中的设备的姿态的信息，并且
所述第二位置信息包括关于所述虚拟空间中的视点的位置的信息和关于所述虚拟空间中的视点的方向和倾斜的信息。
16.根据权利要求1所述的信息处理系统，还包括：
视频生成单元，其通过基于所述视点渲染所述虚拟空间的内部来生成视频。
17.一种信息处理方法，包括：
获取存在于真实空间中的设备的第一位置信息；
基于所述第一位置信息生成设置在虚拟空间中的视点的移动轨迹；
修改所述虚拟空间中的视点的第二位置信息；以及
基于对所述第二位置信息的修改来校正所述移动轨迹。
18.根据权利要求17所述的信息处理方法，其中，
通过使用基于对所述第二位置信息的修改而校正的移动轨迹渲染所述虚拟空间的内部来生成虚拟摄像装置的视角内的CG视频。
19.一种程序，用于使计算机执行以下操作：
获取存在于真实空间中的设备的第一位置信息；
基于所述第一位置信息生成设置在虚拟空间中的视点的移动轨迹；
修改所述虚拟空间中的视点的第二位置信息；以及
基于对所述第二位置信息的修改来校正所述移动轨迹。
CN202080046845.8A 2019-07-02 2020-06-24 信息处理系统、信息处理方法和程序 Pending CN114208143A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-123863 2019-07-02
JP2019123863 2019-07-02
PCT/JP2020/024801 WO2021002256A1 (ja) 2019-07-02 2020-06-24 情報処理システム、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN114208143A true CN114208143A (zh) 2022-03-18

Family

ID=74100722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080046845.8A Pending CN114208143A (zh) 2019-07-02 2020-06-24 信息处理系统、信息处理方法和程序

Country Status (5)

Country Link
US (1) US20220237819A1 (zh)
EP (1) EP3996052B1 (zh)
JP (1) JPWO2021002256A1 (zh)
CN (1) CN114208143A (zh)
WO (1) WO2021002256A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11887251B2 (en) 2021-04-23 2024-01-30 Lucasfilm Entertainment Company Ltd. System and techniques for patch color correction for an immersive content production system
US11978154B2 (en) 2021-04-23 2024-05-07 Lucasfilm Entertainment Company Ltd. System and techniques for lighting adjustment for an immersive content production system
US11762481B2 (en) * 2021-04-23 2023-09-19 Lucasfilm Entertainment Company Ltd. Light capture device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020181741A1 (en) * 2001-05-30 2002-12-05 Koichi Masukura Spatiotemporal locator processing method and apparatus
US20050159916A1 (en) * 2002-12-27 2005-07-21 Canon Kabushiki Kaisha Information processing apparatus, and information processing method
US20120212405A1 (en) * 2010-10-07 2012-08-23 Benjamin Zeis Newhouse System and method for presenting virtual and augmented reality scenes to a user
US20130219344A1 (en) * 2012-02-17 2013-08-22 Autodesk, Inc. Editable motion trajectories
US20140378222A1 (en) * 2013-06-19 2014-12-25 Drexel University Mobile virtual cinematography system
US20170243401A1 (en) * 2016-02-23 2017-08-24 Canon Kabushiki Kaisha Apparatus and method for displaying image in virtual space
CN107408003A (zh) * 2015-02-27 2017-11-28 索尼公司 信息处理设备、信息处理方法和程序

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070402B2 (en) * 2006-03-13 2015-06-30 Autodesk, Inc. 3D model presentation system with motion and transitions at each camera view point of interest (POI) with imageless jumps to each POI
JP6586834B2 (ja) 2015-09-14 2019-10-09 富士通株式会社 作業支援方法、作業支援プログラム、及び作業支援システム
US10845188B2 (en) * 2016-01-05 2020-11-24 Microsoft Technology Licensing, Llc Motion capture from a mobile self-tracking device
JP6957215B2 (ja) * 2017-06-06 2021-11-02 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6924079B2 (ja) * 2017-06-12 2021-08-25 キヤノン株式会社 情報処理装置及び方法及びプログラム
JP2019029721A (ja) * 2017-07-26 2019-02-21 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6945409B2 (ja) * 2017-10-02 2021-10-06 株式会社コロプラ 情報処理方法、コンピュータ、及びプログラム
JP2019211864A (ja) * 2018-05-31 2019-12-12 株式会社コロプラ コンピュータプログラム、情報処理装置および情報処理方法
WO2020005757A1 (en) * 2018-06-26 2020-01-02 Magic Leap, Inc. Waypoint creation in map detection
JP2020042665A (ja) * 2018-09-12 2020-03-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
US10659698B2 (en) * 2018-09-19 2020-05-19 Canon Kabushiki Kaisha Method to configure a virtual camera path
US11057609B2 (en) * 2019-02-27 2021-07-06 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and computer readable storage medium for determining a moving path of virtual viewpoint
US11257283B2 (en) * 2019-03-07 2022-02-22 Alibaba Group Holding Limited Image reconstruction method, system, device and computer-readable storage medium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020181741A1 (en) * 2001-05-30 2002-12-05 Koichi Masukura Spatiotemporal locator processing method and apparatus
US20050159916A1 (en) * 2002-12-27 2005-07-21 Canon Kabushiki Kaisha Information processing apparatus, and information processing method
US20120212405A1 (en) * 2010-10-07 2012-08-23 Benjamin Zeis Newhouse System and method for presenting virtual and augmented reality scenes to a user
US20130219344A1 (en) * 2012-02-17 2013-08-22 Autodesk, Inc. Editable motion trajectories
US20140378222A1 (en) * 2013-06-19 2014-12-25 Drexel University Mobile virtual cinematography system
CN107408003A (zh) * 2015-02-27 2017-11-28 索尼公司 信息处理设备、信息处理方法和程序
US20170243401A1 (en) * 2016-02-23 2017-08-24 Canon Kabushiki Kaisha Apparatus and method for displaying image in virtual space

Also Published As

Publication number Publication date
EP3996052A4 (en) 2022-08-17
US20220237819A1 (en) 2022-07-28
JPWO2021002256A1 (zh) 2021-01-07
WO2021002256A1 (ja) 2021-01-07
EP3996052A1 (en) 2022-05-11
EP3996052B1 (en) 2024-05-08

Similar Documents

Publication Publication Date Title
CN114208143A (zh) 信息处理系统、信息处理方法和程序
JP6329343B2 (ja) 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法
JP5155145B2 (ja) 画像補正装置、方法、プログラム、集積回路、システム
JP6632232B2 (ja) 自立移動装置によって部屋を掃除または処理するための方法および自立移動装置
EP2936060B1 (en) Display of separate computer vision based pose and inertial sensor based pose
KR20190026762A (ko) 3d 공간에서의 포즈 추정
JP2009169845A (ja) 自律移動ロボット及び地図更新方法
JP2013539872A (ja) マルチユーザ拡張現実におけるオンライン参照生成および追跡
JP2002233665A5 (zh)
US10838515B1 (en) Tracking using controller cameras
US9242379B1 (en) Methods, systems, and computer readable media for producing realistic camera motion for stop motion animation
US20170277196A1 (en) Method for specifying position, terminal device, autonomous device, and program
JP2010128799A (ja) 複合メディア合成装置及び複合メディア表示システム及び複合メディア合成方法及び複合メディア合成プログラム
US20170193666A1 (en) Motion capture from a mobile self-tracking device
JP2017207942A (ja) 画像処理装置、自己位置推定方法、及び、プログラム
JP7479793B2 (ja) 画像処理装置、仮想視点映像を生成するシステム、画像処理装置の制御方法及びプログラム
CN113677412A (zh) 信息处理装置、信息处理方法和程序
US8995751B2 (en) Method for virtually expanding and enriching the field of view of a scene
CN111581322B (zh) 视频中兴趣区域在地图窗口内显示的方法和装置及设备
CN113344981A (zh) 位姿数据处理方法、装置及电子设备
EP4075392A1 (en) Information processing system, information processing method, and program
WO2024070763A1 (ja) 情報処理装置、撮影システム、情報処理方法、プログラム
JP4515884B2 (ja) カメラスタビライザ目標位置補正方法
US11696034B1 (en) Automatic adjusting of video analytics rules for camera movement
WO2023157338A1 (ja) 情報処理装置およびデバイス位置推定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination