CN112074873A - 信息处理装置、信息处理方法、程序和地板建模系统 - Google Patents

信息处理装置、信息处理方法、程序和地板建模系统 Download PDF

Info

Publication number
CN112074873A
CN112074873A CN201980030064.7A CN201980030064A CN112074873A CN 112074873 A CN112074873 A CN 112074873A CN 201980030064 A CN201980030064 A CN 201980030064A CN 112074873 A CN112074873 A CN 112074873A
Authority
CN
China
Prior art keywords
floor
sensor data
information processing
model data
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201980030064.7A
Other languages
English (en)
Inventor
本间俊一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112074873A publication Critical patent/CN112074873A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

根据本技术的信息处理装置包括控制单元。该控制单元包括判定单元和模型数据生成单元。判定单元基于与移动体的移动相关联地获取的传感器数据，判定是否满足规定的建模条件。在判定单元判定满足规定的建模条件的情况下，模型数据生成单元通过使用传感器数据生成与地板表面有关的模型数据。

Description

信息处理装置、信息处理方法、程序和地板建模系统
技术领域
本技术涉及一种信息处理装置、信息处理方法、程序以及地板建模系统，该信息处理装置生成现实世界地板作为可以被计算机处理的模型数据。
背景技术
在相关技术中，已经提出了多种HMD(头戴式显示器)作为用于向用户提供具有沉浸感的AR/VR应用的装置。这样的HMD具有以叠加的方式显示与现实世界对应的虚拟信息或根据佩戴HMD的用户的头部的移动来改变显示信息的功能。通常，HMD经常配备有用于掌握用户的头部的移动的自身位置估计装置和用于提高自身位置估计装置的估计精度的传感器组。
为了在HMD上显示符合现实世界的虚拟信息，需要获取现实世界的三维信息。例如，专利文献1描述了一种技术，在该技术中，通过利用相机拍摄要建模的对象(例如地板)来获取对象在现实世界中的三维信息，并且将该对象表示为可以由使用该信息的计算机进行处理的模型数据。
引文列表
专利文献
专利文献1：日本专利申请特许公开第2005-92820号
发明内容
技术问题
为了向用户提供具有沉浸感的AR/VR应用，必须准确地对地板进行建模。为此，需要准确地获取关于作为建模目标的地板的三维信息。然而，为了通过使用专利文献1中描述的技术准确地获取地板的三维信息，例如，需要使佩戴装配有相机的HMD的用户保持特定的姿势，这可能会增加用户的负担。
鉴于上述情况，本技术的目的是提供一种信息处理装置、信息处理方法、程序以及地板建模系统，该信息处理装置能够在减轻用户负担的同时准确地对地板进行建模。
问题的解决方案
为了实现上述目的，根据本技术的实施方式的信息处理装置包括控制部。
控制部包括判定部和模型数据生成部。
判定部基于随着移动体的移动而获取的传感器数据来判定预定建模条件是否被满足。
在判定部判定满足预定建模条件的情况下，模型数据生成部使用传感器数据生成与地板有关的模型数据。
如果满足预定建模条件，则本技术的信息处理装置自动生成与地板有关的模型数据。这使得可以在无需直接观察作为建模目标的地板的情况下生成与地板有关的模型数据。因此，为了观察地板，例如不需要使用户保持始终面对地板侧的特定姿势，从而可以减轻用户的负担。
此外，仅当满足预定建模条件时，本技术的信息处理装置才随着移动体的移动生成与地板有关的模型数据。这消除了错误识别，即，仅在物理上正确的地板上移动的移动体将除了地板以外的区域识别为地板，并且这能够对地板进行准确建模。
因此，根据本技术，可以提供能够在减轻用户负担的同时准确地对地板进行建模的信息处理装置。
控制部还可以包括数据获取部，该数据获取部随着能够在地板上移动的移动体的移动，每隔预定时间获取传感器数据。
控制部还可以包括计算部，该计算部基于从数据获取部获取的传感器数据来计算移动体的移动量和移动体的姿势的位移量，
判定部可以根据计算部的计算结果判定移动量是否满足预定的第一条件以及位移量是否满足预定的第二条件，以及
模型数据生成部可以使用基于判定部所判定的第一条件和第二条件被满足的判定结果的传感器数据来生成模型数据。
这避免了当移动体不处于预定姿势时对地板的建模。即，可以仅在移动体处于接近预定姿势的状态下对地板进行建模，并且仅对物理上正确的地板进行建模。
计算部可以计算移动体在第一姿势下在重力方向上距地板的高度与移动体在第二姿势下在重力方向上距地板的高度之差作为移动量，
如果所述差等于或小于预定阈值，则判定部可以判定满足第一条件。
计算部可以根据从数据获取部获取的传感器数据来计算移动体的重力加速度矢量，并且可以基于重力加速度矢量计算位移量。
计算部可以计算移动体在第一姿势下的重力加速度矢量和移动体在第二姿势下的重力加速度矢量所形成的角度，作为位移量，并且
如果角度等于或小于预定阈值，则判定部可以判定满足第二条件。
计算部可以计算移动体的重力加速度矢量与平行于地板的虚拟平面正交处的坐标位置，作为移动体的初始位置，并且
模型数据生成部可以在重力方向上与虚拟平面相距预定距离的位置处生成模型数据。
由此，在重力方向上与虚拟平面相距预定距离的位置处生成与地板有关的模型数据。因此，由于总是在距虚拟平面一定距离处生成模型数据，因此在地板仅由平滑平面(不包括楼梯、斜坡等)而构造的环境下，更适合于地板的建模成为可能。
计算部可以根据在标记坐标系中移动体的坐标位置来计算放置有标记的地板与移动体之间的距离，其中该标记坐标系参照在地板上放置的标记，并且
模型数据生成部可以在重力方向上与虚拟平面相距预定距离的位置处生成模型数据。
因此，在不使用用户的高度的情况下对地板进行建模成为可能，并且抑制了由用户的不同高度而引起的建模精度的变化。
控制部还可以包括步行状态判定部，该步行状态判定部基于从数据获取部获取的传感器数据来判定具有移动体的用户是否处于步行状态。
即使在存在斜坡等的环境下，这也使得能够对地板进行连续建模。
控制部还可以包括执行更新处理的更新部，在该更新处理中，在用户被步行状态判定部判定为处于步行状态的时段等于或大于预定阈值的情况下，与移动体的基准姿势时所检测的传感器数据不同的传感器数据作为新的基准姿势的传感器数据。
这使得能够在具有诸如斜坡、楼梯等的高度差异的环境下，对除了具有与基准姿势对应的高度以外的高度的地板进行建模。
为了实现上述目的，根据本技术的实施方式的信息处理方法包括：基于随着移动体的移动而获取的传感器数据，判定是否满足预定建模条件。
在判定满足预定建模条件的情况下，使用上述传感器数据生成与地板有关的模型数据。
为了实现上述目的，根据本技术的实施方式的程序使信息处理装置执行以下步骤：
基于随着移动体的移动而获取的传感器数据来判定是否满足预定建模条件的步骤；以及
在判定满足预定建模条件的情况下，使用传感器数据生成与地板有关的模型数据的步骤。
为了实现上述目的，根据本技术的实施方式的地板建模系统包括自身位置估计装置、加速度传感器和信息处理装置。
自身位置估计装置安装在在地板上移动的移动体上，并且被构造成能够估计该移动体在三维空间中的位置。
加速度传感器安装在移动体上。
信息处理装置具有控制部。
控制部包括判定部和模型数据生成部。
判定部基于随着移动体的移动而获取的传感器数据，判定是否满足预定建模条件。
在判定部判定满足预定建模条件的情况下，模型数据生成部使用传感器数据生成与地板有关的模型数据。
发明的有益效果
如上所述，根据本技术，可以提供一种能够在减轻用户负担的同时准确地对地板进行建模的信息处理装置、信息处理方法、程序以及地板建模系统。注意，上述效果不必被限制，并且可以与上述效果一起或者代替于上述效果来实现说明书中示出的任何效果或可以从本说明书中领会的其他效果。
附图说明
[图1]是示出根据本技术的实施方式的地板建模系统的配置示例的框图。
[图2]是示出根据地板建模系统对地板进行建模的方法的流程图。
[图3]是用于说明条件1的概念图。
[图4]是用于说明条件2的概念图。
[图5]是示出根据本技术的地板建模系统生成与地板有关的模型数据的示例的概念图。
[图6]是示出根据本技术的地板建模系统生成与地板有关的模型数据的示例的概念图。
[图7]是示出根据本技术的地板建模系统生成与地板有关的模型数据的示例的概念图。
[图8]是示出根据本技术的地板建模系统生成与地板有关的模型数据的示例的概念图。
[图9]是示出通过根据本技术的第二实施方式的地板建模系统对地板进行建模的方法的流程图。
[图10]是用于说明实施方式的地板建模方法的概念图。
[图11]是示出根据本技术的第二实施方式的地板建模系统的配置示例的框图。
[图12]是示出了地板建模系统的地板建模方法的流程图。
[图13]是用于说明实施方式的地板建模方法的概念图。
[图14]是示出根据本技术的第四实施方式的地板建模系统的配置示例的框图。
[图15]是示出了地板建模系统的地板建模方法的流程图。
[图16]是用于说明实施方式的地板建模方法的概念图。
[图17]是示意性示出一般专用AI的处理过程的框图。
[图18]是示出根据本技术的第五实施方式的地板建模系统的配置示例的框图。
[图19]是示出了地板建模系统的地板建模方法的流程图。
[图20]是用于说明实施方式的地板建模方法的概念图。
具体实施方式
在下文中，将参照附图描述将根据本技术的地板建模系统应用于头戴式显示器(以下称为“HMD”)的实施方式，头戴式显示器是在地板上移动的移动体的示例。
1.第一实施方式
[地板建模系统的配置]
图1是示出根据本技术的实施方式的地板建模系统100的配置示例的框图。如图1所示，地板建模系统100包括信息处理装置20、自身位置估计装置30和加速度传感器40。
信息处理装置20包括计算机所需的硬件，例如控制部21(CPU)、存储部22、I/O接口23和总线24。存储部22包括ROM 221和RAM 222。
ROM 221是一种存储设备，其中以固定的方式存储信息处理装置20中所使用的各种类型的数据、程序等。
RAM 222用作控制部21的工作区域、历史数据的临时存储空间等。RAM 222可以是例如SRAM(静态随机存取存储器)、DRAM(动态随机存取存储器)、SDRAM(同步动态随机存取存储器)等。
存储部22可以包括诸如HDD(硬盘驱动器)和闪存(固态驱动器)的非易失性存储器。存储部22存储从自身位置估计装置30和加速度传感器40输出的传感器数据以及从控制部21输出的模型数据等。
控制部21将存储在ROM 221中的根据本技术的程序加载到RAM 222并执行该程序。这控制地板建模系统100的整体操作以及如下所述的对地板进行建模的方法。该程序例如通过各种存储介质(内部存储器)安装在信息处理装置20中。替选地，例如，可以经由因特网来执行程序的安装。
此外，如图1所示，控制部21在功能上包括数据获取部211、计算部212、判定部213和模型数据生成部214。
数据获取部211每隔预定时间获取从自身位置估计装置30和加速度传感器40输出的传感器数据。
计算部212基于从数据获取部211获取的传感器数据来计算HMD的移动量和HMD的姿势的位移量。判定部213基于从数据获取部211获取的传感器数据判定是否满足预定建模条件。
如果判定部213判定满足预定建模条件，则模型数据生成部214使用从数据获取部211获取的传感器数据来生成与地板有关的模型数据。
I/O接口23经由总线24连接至控制部21和存储部22。I/O接口23用作信息处理装置20的输入/输出接口。因此，经由I/O接口23从自身位置估计装置30和加速度传感器40输出的传感器数据被输出至控制部21和存储部22。
总线24是用于在信息处理装置20的各个部分之间输入和输出各种信号的信号传输路径。控制部21、ROM 221、RAM 222和I/O接口23通过总线24彼此连接。
自身位置估计装置30安装在HMD上，其被配置成估计HMD在三维空间中的位置。自身位置估计装置30例如是使用相机传感器的SLAM(同步定位与建图)等。
加速度传感器40安装在HMD上，并且被配置成测量代表HMD在三维空间中位置的坐标系在三轴方向上的加速度。作为加速度传感器40，可以采用压电型加速度传感器、伺服型加速度传感器、应变型加速度传感器、半导体型加速度传感器等，并且其类型不重要。
[地板建模方法]
图2是示出根据地板建模系统100的对地板进行建模的方法的流程图。在下文中，将适当地参照图2描述根据本技术的对地板进行建模的方法。
首先，在适当的坐标系中初始化HMD在三维空间中的坐标位置(步骤S101)。在步骤S101中，例如，进行对于在世界坐标系中沿着X、Y和Z轴方向的移动参数以及围绕X、Y和Z轴的旋转参数的校准。因此，HMD在三维空间中的位置由坐标系表示。
接下来，对HMD的基准姿势(第一姿势)进行登记(步骤S102)。具体地，在佩戴HMD的用户直立的状态下，将从自身位置估计装置30和加速度传感器40输出的传感器数据，以及从任意输入部(未示出)输出的关于用户身高的信息输入至数据获取部211。然后，数据获取部211将信息输出至计算部212，并且由计算部212执行计算处理。
由此，计算基准姿势时的HMD的坐标位置和重力加速度矢量Vb，以及基准姿势时的HMD与地板之间的距离h(见图5)，这些被存储在存储部22中。
注意，基准姿势是在佩戴HMD的用户直立的状态下HMD的姿势，并且在以下描述中具有相同的含义。在将任意世界坐标系中沿X、Y和Z轴的移动参数设置成t、并且将围绕X、Y和Z轴的旋转参数设置成R的情况下，基准姿势时HMD的坐标位置由(Rb，tb)表示。
基于佩戴HMD的用户的身高来计算HMD与地板之间的距离h。这里，由于距离h与用户的身高不匹配，因此应考虑用户头部的顶部与HMD之间的距离来计算距离h。例如，通过以下方式来获得距离h：根据存储在存储部22中的HMD与用户头部的顶部之间的距离的样本集来确定平均值，并计算用户的身高与该平均值之间的差。
随后，在从执行步骤S102开始经过预定时间之后，从自身位置估计装置30和加速度传感器40输出传感器数据。将传感器数据经由I/O接口45输出至数据获取部211(步骤S103)。数据获取部211将从自身位置估计装置30和加速度传感器40输出的传感器数据输出至计算部212。
从数据获取部211获取传感器数据的计算部212基于传感器数据计算从基准姿势移动之后的HMD(第二姿势时的HMD)的坐标位置和重力加速度矢量Vg，并将它们存储在存储部22中。在任意世界坐标系中沿X、Y和Z轴的移动参数为t、并且围绕X、Y和Z轴的旋转参数为R的情况下，从基准姿势移动之后的HMD的坐标位置被表示为(R，t)，并且由与基准姿势中的坐标位置(Rb，tb)相同的坐标系来表示。
接下来，计算部212计算HMD的移动量和HMD的姿势的位移量(步骤S104)。具体地，计算部212使用在先前的步骤S102中所计算的基准姿势时的HMD的坐标位置(Rb，tb)和从基准姿势移动之后的HMD的坐标位置(R，t)来计算HMD的移动量。移动量是从基准姿势移动之后的HMD与地板之间的距离和基准姿势下的HMD与地板之间的距离之间的差Δh(见图3)。
此外，计算部212通过使用在先前步骤S102中所计算的基准姿势时的HMD的重力加速度矢量Vb和从基准姿势移动之后的HMD的重力加速度矢量Vg来计算HMD的姿势的位移量。位移量是由重力加速度矢量Vb和重力加速度矢量Vg形成的角度θ。关于计算部212计算出的差Δh和角度θ的信息被输出至判定部213。
接下来，判定部213判定在先前的步骤S104中计算出的移动量和位移量是否满足预定建模条件(步骤S105)。建模条件是指差Δh是否等于或小于预定阈值(条件1)，以及角度θ是否等于或小于预定阈值(条件2)。
图3是用于说明条件1的概念图。在条件1中，确认HMD距地板的高度是否接近基准姿势时HMD距地板的高度。顺便提及，条件1和2的阈值可以由用户任意设置。在这种情况下，可以使用机器学习来计算条件1和2之一或两者的阈值。具体地，例如，可以通过将来自用户的任意输入数据应用于经学习的模型来计算条件1和2之一或两者的阈值，其中通过使学习算法的机器学习在过去设置的阈值来获得该经学习的模型(参见图17)。
此外，图4是用于说明条件2的概念图。在条件2中，确认从基准姿势移动之后的HMD的旋转参数是否接近基准姿势时的HMD的旋转参数。顺便提及，条件2的阈值可以由用户任意设置。
接下来，如果判定部213判定在步骤S104中计算的移动量满足条件1(差Δh等于或小于预定阈值)并且位移量满足条件2(角度θ等于或小于预定阈值)(S105中为“是”)，则模型数据生成部214从存储部22读取基于判定结果的传感器数据，并且使用传感器数据在重力方向上与HMD相距h的位置处生成与地板有关的模型数据(步骤S106)。
另一方面，如果判定部213没有判定在步骤S104中计算的移动量满足条件1并且位移量满足条件2(步骤S105中为“否”)，则模型数据生成部214不使用基于判定结果的传感器数据，并且不生成与地板有关的模型数据(步骤S107)。
此后，直到用户步行到所有期望区域为止，每隔预定时间重复从步骤S103至步骤S107的一系列操作(步骤S103至步骤S104至步骤S105至步骤S106(步骤S107))，并且在佩戴HMD的用户步行时对地板进行建模(参见图16)。
这里，本技术中的建模是指通过计算和处理信息来生成与地板对应的模型数据，在该信息中，物理上和实际上存在的地板被转换成数值数据。图5至图8是示出根据本技术的地板建模系统生成与地板有关的模型数据的示例的概念图。
本技术中的模型数据由以任意坐标位置为中心的半径r的区域来限定(参见图6)，并且该区域内的地板变成建模后的地板。此时，假设在任意时间T在HMD的三维空间上的坐标位置为Pc[X，Y，Z]T，重力方向单位矢量为eg，并且从HMD到地板的距离为h，则模型数据的中心位置由下式(1)表示。注意，r是任意参数，并且可以由用户任意设置，或者可以通过识别周围环境来设置。
[数学式1]
mPfc＝mPc+h·＊eg…(1)
(m：模型数据坐标，c：相机，fc：地板模型的中心)
表示模型数据的方法的示例包括通过点云(point cloud)表示模型数据的方法，通过多边形数据表示模型数据的方法等。
在模型数据由点云表示的情况下，模型数据(对地板进行建模的区域)包括一组三维点，这些三维点构成了由距中心位置mPfc的半径r限定的虚拟区域(参见图7)。图7中的箭头指示与各个点相关联的法线矢量。
此外，在由多边形数据表示模型数据的情况下，模型数据(对地板进行建模的区域)包括一组平面，这些平面构成了由距中心位置mPfc的半径r限定的虚拟区域(参见图8)。这些平面包括以任意密度填充在虚拟区域中的一组点(顶点数据)。图8中的箭头是与各个点和平面相关联的法线矢量。
[动作]
如果满足上述条件1和2，则根据本实施方式的地板建模系统100自动生成与地板有关的模型数据。即，仅当HMD接近基准姿势时，才认为用户直立，并且相对于用户的脚生成模型数据。
这使得可以生成与地板有关的模型数据，而无需直接观察要建模的地板。因此，为了生成与地板有关的模型数据，不需要使佩戴HMD的用户保持特定姿势，例如始终面对地板侧，从而减轻了用户负担。
另外，由于不需要直接观察地板，因此不需要诸如用于观察地板的高视角传感器的传感器，从而可以降低装置成本，从而降低用于配置地板建模系统100的功耗。
此外，在本实施方式的地板建模系统100中，如果移动体的移动量满足第一条件，并且如果移动体的姿势的位移量满足第二条件，则地板的建模无需使用用于地板观察的传感器即可执行。这也实现了对于使用普通传感器难以观察的地板的建模。这样的地板的示例包括不适合通过立体方法估计三维结构的无纹理地板、不适合通过主动深度传感器观察的黑色地板以及由具有高反射率或高透光率的材料制成的地板。
另外，在地板建模系统100中，仅当满足条件1和条件2时，随着移动体移动而生成与地板有关的模型数据。换言之，当佩戴HMD的用户在满足条件1和2的同时移动时，累积地生成与地板有关的模型数据(参见图16)。
由此，当佩戴HMD的用户仅在要建模的地板上步行时，因此仅生成与该地板有关的模型数据。在这种情况下，由于佩戴HMD的用户仅在物理上正确的地板上移动，所以不会错误地将除了地板以外的区域识别为地板，并且可以准确地对地板进行建模。
例如，在将椅子放置在地板上并且佩戴HMD的用户没有在地板上步行的情况下，避免了对其上放置有椅子的地板的建模。即使用户坐在椅子上，也不满足条件1，因此无论如何都避免了对其上放置有椅子的地板的建模。
2.第二实施方式
[地板建模方法]
图9是示出根据本技术的第二实施方式的地板建模系统100对地板进行建模的方法的流程图，图10是用于说明第二实施方式的地板建模方法的概念图。在下文中，将适当地参照图9描述第二实施方式的地板建模方法。顺便提及，与第一实施方式中的步骤相似的步骤由相似的附图标记表示，并且省略或简化其描述。
首先，在佩戴HMD的用户站立在地板上的状态下，将从加速度传感器40输出的传感器数据和从任意输入部(未示出)输出的关于用户身高的信息输入至数据获取部211。然后，数据获取部211将信息输出至计算部212，并且由计算部212执行计算处理。由此，计算HMD的基准姿势时的重力加速度矢量Vb以及基准姿势时的HMD与地板之间的距离h，并将它们存储在存储部22中(步骤S201)。
然后，计算部212使用在先前步骤S201中的重力加速度矢量Vb的计算中使用的传感器数据，计算虚拟平面P，该虚拟平面P垂直于重力加速度矢量Vb并且平行于佩戴HMD的用户所站立的地板，并且进一步计算虚拟平面P与重力加速度矢量Vb正交的坐标位置，作为HMD的初始位置(步骤S202)。由此，在将重力加速度矢量Vb与虚拟平面P正交的坐标位置作为初始位置(原点位置)的坐标系统中表示HMD在三维空间中的位置。顺便提及，虚拟平面P被设置在例如构成任意世界坐标系的三个轴(X轴，Y轴，Z轴)之中与地板平行的两个轴(X轴，Y轴)上(见图10)。
接下来，在判定部213判定在步骤S104中计算的移动量满足条件1(差Δh等于或小于预定阈值)并且位移量满足条件2(角度θ等于或小于预定阈值)(步骤S105中为“是”)的情况下，模型数据生成部214从存储部22读出基于判定结果的传感器数据，并使用传感器数据在重力方向上与虚拟平面P相距h的位置处生成与地板有关的模型数据(步骤S203)。
此后，直到用户步行到所有期望的区域为止，每隔预定时间重复从步骤S103到步骤S107的一系列操作(步骤S103到步骤S104到步骤S105到步骤S203(步骤S107))，并且在佩戴HMD的用户步行时进行建模(参见图16)。
[动作]
在根据第二实施方式的地板建模系统100中，当佩戴HMD的用户步行时，在重力方向上与虚拟平面P相距h的位置处生成与地板有关的模型数据。因此，总是在距虚拟平面P恒定距离处生成模型数据。因此，在地板仅由平滑平面(不包括楼梯、斜坡等)而构成的环境中，更适合于地板的建模成为可能。另外，由于总是在与虚拟平面P相距恒定距离处生成模型数据，所以即使当佩戴HMD的用户的头部摇动时，也可以抑制由摇动引起的建模精度的劣化。
3.第三实施方式
[地板建模系统的配置]
图11是示出根据本技术的第三实施方式的地板建模系统200的配置示例的框图。在下文中，与上述实施方式相似的配置由相似的附图标记标注，并省略其详细说明。
第三实施方式的地板建模系统200与第一实施方式的地板建模系统的不同之处在于，其还包括如图11所示的成像装置50。
成像装置50是例如具有图像传感器(例如CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体))的数字相机或摄像机。
例如，利用成像装置50进行拍摄，生成诸如JPEG、MPEG2和MPEG4的拍摄图像(或以预定帧率拍摄的运动图像)，并将其输出至信息处理装置20。顺便提及，在第三实施方式中，通常采用单目相机作为成像装置。
[地板建模方法]
图12是示出根据本技术的第三实施方式的地板建模系统200的对地板进行建模的方法的流程图，图13是用于说明第三实施方式的地板建模方法的概念图。在下文中，将适当地参照图12描述第三实施方式的地板建模方法。顺便提及，与上述实施方式中的那些步骤类似的步骤由相似的附图标记表示，并且省略或简化其描述。
首先，成像装置50拍摄放置在地板上的已知对象(标记M)(步骤S301)。成像装置50将通过拍摄标记M而生成的图像数据输出至数据获取部211。数据获取部211将从成像装置50获取的图像数据输出至计算部212，并且执行计算部212的计算处理(图像处理)。
由此，计算了HMD在参照标记M的标记坐标系中的三维坐标位置。即，在标记坐标系中表示(初始化)HMD在三维空间中的位置。注意，标记M通常是物理结构，但不限于此，并且可以是诸如条形码的标识符。
接下来，通过在佩戴HMD的用户直立在地板上的状态下执行触发操作来登记HMD的基准姿势(步骤S302)。因此，当用户处于直立姿势时地板与HMD之间的距离Hm被存储在存储部22中。
另外，在登记HMD的基准姿势时，在佩戴HMD的用户直立在地板上的状态下将从自身位置估计装置30和加速度传感器40输出的传感器数据输入至数据获取部211。然后，数据获取部211将传感器数据输出至计算部212，并且由计算部212执行计算处理。由此，在佩戴HMD的用户直立在地板上的状态下在标记坐标系中在基准姿势时的HMD的坐标位置(Rb，tb)和重力加速度矢量Vb被计算，并且它们被存储在存储部22中。
接下来，在判定部213判定在步骤S104中计算的移动量满足条件1(差Δh等于或小于预定阈值)并且位移量满足条件2(角度θ等于或小于预定阈值)(S105中为“是”)的情况下，模型数据生成部214从存储部22读取基于判定结果的传感器数据，并且使用传感器数据在重力方向上与HMD相距Hm的位置处生成与地板有关的模型数据(步骤S303)。
此后，直到用户步行到所有期望的区域为止，每隔预定时间重复从步骤S103至步骤S107的一系列操作(步骤S103至步骤S104至步骤S105至步骤S303(步骤S107))，并且在佩戴HMD的用户步行时进行建模(参见图16)。
[动作]
第三实施方式的地板建模系统200使用放置在地板上的标记M来计算从HMD到地板的距离Hm，并且在与HMD相距距离Hm的位置处生成与地板有关的模型数据。这使得能够在不使用佩戴HMD的用户身高的情况下对地板进行建模。因此，抑制了由不同的用户高度引起的建模精度的变化。
4.第四实施方式
[地板建模系统的配置]
图14是示出根据本技术的第四实施方式的地板建模系统300的配置示例的框图。在下文中，与上述实施方式相似的配置由相似的附图标记标注，并省略其详细说明。
第四实施方式的地板建模系统300与上述实施方式的不同之处在于，其在功能上包括步行状态判定部215，如图14所示。
步行状态判定部215基于从数据获取部211获取的传感器数据，判定佩戴HMD的用户是否处于步行状态。
[地板建模方法]
图15是示出根据本技术的第四实施方式的地板建模系统300的对地板进行建模的方法的流程图，图16是用于说明第四实施方式的地板建模方法的概念图。在下文中，将适当地参照图15描述第四实施方式的地板建模方法。顺便提及，与上述实施方式中的那些步骤相似的步骤由相似的附图标记标注，并且省略或简化其描述。
将从加速度传感器40输出的传感器数据输入至数据获取部211(步骤S401)。数据获取部211将传感器数据输出至步行状态判定部215。
从数据获取部211获取传感器数据的步行状态判定部215基于传感器数据判定佩戴HMD的用户是否处于步行状态(步骤S402)。在这种情况下，步行状态判定部215通过使用代替用户的智力工作的所谓的专用AI(人工智能)来判定用户是否处于步行状态。图17是示意性示出一般专用AI的处理过程的框图。
专用AI大致是指通过将任意输入数据应用于经学习的模型来获得结果的机制，其中通过将学习数据合并到用作为学习程序的算法而构建该经学习的模型。在下文中，将适当地参照图17来描述步骤S402。
首先，通过步行状态判定部215从存储部22读出特征量(平均值、离差、偏度、峰度、信号功率、过零次数或最大峰值频率等)，该特征量是预先存储在存储部22中的、根据从加速度传感器40输出的传感器数据而提取的。例如，通过以预定的时间宽度切出(cut out)从加速度传感器40输出的传感器数据来提取特征量，该特征量与图17中的“学习数据”对应。
接下来，步行状态判定部215通过将从存储部22读取的学习数据合并到预设算法中来构造状态判定部215a。因此，步行状态判定部215被配置成包括状态判定部215a。
上述算法对应于图17中的“算法”，并且用作例如机器学习算法。状态判定部215a对应于图17中的“经学习的模型”。状态判定部215a通常由单个经学习的模型构成，但是不限于此，并且例如可以通过组合多个经学习的模型来构成。
机器学习算法的类型不受特别限制，并且可以是使用诸如RNN(递归神经网络)、CNN(卷积神经网络)或MLP(多层感知器)的神经网络的算法，或者用于执行监督学习方法、非监督学习方法、半监督学习方法、增强学习方法等的任何算法。
接下来，步行状态判定部215根据从数据获取部211获取的传感器数据提取上述特征量。然后，通过将关于特征量的信息施加于状态判定部215a来判定佩戴HMD的用户是否处于步行状态。判定结果被输出至存储部22，并作为新的学习数据存储在存储部22中。
随后，在步行状态判定部215判定佩戴HMD的用户处于步行状态的情况下(步骤S402中为“是”)，模型数据生成部214从存储部22读出基于判定结果的传感器数据，并使用传感器数据在重力方向上与HMD相距h的位置处生成与地板有关的模型数据(步骤S403)。
另一方面，如果步行状态判定部215没有判定佩戴HMD的用户处于步行状态(步骤S402中为“否”)，则模型数据生成部214不使用基于判定结果的传感器数据，并且不生成与地板有关的模型数据(步骤S404)。
顺便提及，在步骤S402中，根据从数据获取部211获取的传感器数据而提取的特征量对应于图17中的“输入数据”，并且步行条件判定部215的判定结果对应于图17中的“结果产品”。
此后，直到用户步行到所有期望的区域为止，每隔预定时间重复从S401到S404的一系列操作(步骤S401到步骤S402到步骤S403(步骤S404))，并且在佩戴HMD的用户步行时执行对地板的建模(参见图16)。
[动作]
在第四实施方式的地板建模系统300中，仅当佩戴HMD的用户正在步行时才执行地板的建模。这避免了对地板以外的区域进行建模，因为仅当用户移动很大时才对地板进行建模。另外，即使在存在斜坡等的环境中，也可以连续地对地板进行建模。
此时，可以根据自身位置估计装置30的输出的变化来判定是否建模为像斜坡那样高度平滑变化的地板或者建模为像楼梯那样高度离散化的地板，或者可以将平坦表面步行、斜坡步行和楼梯步行的标签输出至状态判定部215a，并且建模方法可以根据该标签而改变。
5.第五实施方式
[地板建模系统的配置]
图18是示出根据本技术的第五实施方式的地板建模系统400的配置示例的框图。在下文中，与上述实施方式相似的配置由相似的附图标记标注，并省略其详细说明。
第五实施方式的地板建模系统400与上述实施方式的不同之处在于，其在功能上包括更新部216，如图18所示。
在通过步行状态判定部215判定用户处于步行状态的时段等于或大于预定阈值的情况下，更新部216执行更新处理，其中与HMD的基准姿势时所检测的传感器数据不同的传感器数据被用作新的基准姿势的传感器数据。
[地板建模方法]
图19是示出根据本技术的第五实施方式的地板建模系统400的对地板进行建模的方法的流程图，图20是用于说明第五实施方式的地板建模方法的概念图。在下文中，将参照图19描述第五实施方式的地板建模方法。顺便提及，与上述实施方式中的那些步骤详细的步骤由相似的附图标记标注，并且省略或简化其描述。
在通过步行状态判定部215判定用户处于步行状态的时段等于或大于预定阈值(例如，3秒至10秒或更多)的情况下(在步骤S501中为“是”)，更新部216在执行前一步骤S102之后经过预定时段后，从存储部22读取从自身位置估计装置30和加速度传感器40获取的传感器数据，并且将该传感器数据作为新基准姿势的传感器数据输出至计算部212(步骤S502)。注意，步行状态判定部215进行更新处理的时间间隔可以由用户任意设置。
从更新部216获取传感器数据的计算部212基于传感器数据计算在新的基准姿势时的HMD的坐标位置(Rb，tb)和重力加速度矢量Vb，并将它们存储在存储部22中。
接下来，计算部212计算HMD的移动量和HMD的姿势的位移量(步骤S503)。具体地，计算部212使用在新的基准姿势时的HMD的坐标位置(Rb，tb)和基于在先前步骤S103中获取的传感器数据而计算的HMD的坐标位置(R，t)来计算HMD的移动量。移动量是以下距离之间的差Δh：从新的基准姿势移动之后的HMD与地板之间的距离，在新的基准姿势期间的HMD与地板之间的距离。
此外，计算部212通过使用新的基准姿势时的HMD的重力加速度矢量Vb和基于在先前步骤S103中获取的传感器数据而计算的HMD的重力加速度矢量Vg来计算HMD的姿势的位移量。位移量是新基准姿势时的HMD的重力加速度矢量Vb与从新基准姿势移动后的HMD的重力加速度矢量Vg之间形成的角度θ。
另一方面，在判定用户正在步行的时段小于预定阈值(例如，小于3秒)的情况下(步骤S501中为“否”)，步行状态判定部215执行在第一实施方式中描述的计算处理(步骤S104)。
接下来，在判定部213判定在步骤S503(步骤S104)中计算的移动量满足条件1(差Δh等于或小于预定阈值)并且位移量满足条件2(角度θ等于或小于预定阈值)的情况下(在S105中为“是”)，模型数据生成部214从存储部22读出基于判定结果的传感器数据，并且使用传感器数据在重力方向上与HMD相距h的位置处生成与地板有关的模型数据(步骤S106)。
此后，直到用户步行所有期望区域为止，每隔预定时间重复从步骤S103到步骤S107的一系列操作(步骤S103至步骤S402至步骤S501至步骤S502至步骤503至步骤105至步骤S106(步骤S107)，或步骤S103至步骤S402至步骤S107，或步骤S103至步骤S402至步骤S501至步骤S104至步骤S105至步骤S106(步骤S107))，并在佩戴HMD用户步行时进行地板的建模(参见图16)。
[动作]
第五实施方式的地板建模系统400每隔预定时间执行随着佩戴HMD的用户的移动来更新基准姿势的坐标位置(Rb，tb)和重力加速度矢量Vb的更新处理。
因此，可以抑制由于随着时间的流逝发生HMD的丢失或位移而引起基准姿势不起作用。另外，在存在诸如斜坡、楼梯等的高度差的环境中，可以对具有对应于基准姿势的高度以外的高度的地板进行建模。
尽管以上已经描述了本技术的实施方式，但是本技术不限于上述实施方式，并且应当理解，可以添加各种修改。
例如，在以上实施方式中，通常将使用相机传感器的SLAM用作自身位置估计装置30，但不限于此，也可以采用使用深度传感器或毫米波传感器等的SLAM。此外，本技术中的地板建模系统100、200、300和400不仅是自身位置估计装置30和加速度传感器40，而且还可以配置有陀螺仪传感器、水平仪等。
此外，在上述第四实施方式中，基于用户是否在步行而判定是否生成与地板有关的模型数据，但不限于此，并且在生成该模型数据时的判定标准可以是用户是否在步行以及是否满足条件1或2中的至少之一。
另外，在第五实施方式中，每隔预定时间自动更新基准姿势的HMD的坐标位置(Rb，tb)和重力加速度矢量Vb，但是不限于此，并且可以根据用户的意图进行更新。
另外，在以上实施方式中，已经描述了将地板建模系统100、200、300和400应用于HMD的示例，但是其不限于此，并且可以应用于相对于地板移动的一般移动体(例如，动物、车辆、自主移动机器人等)，其应用无关紧要。
本技术还可具有以下结构。
(1)一种信息处理装置，包括：
控制部，其包括：
判定部，其基于随着移动体的移动而获取的传感器数据来判定是否满足预定建模条件；以及
模型数据生成部，其在所述判定部判定满足所述预定建模条件的情况下使用所述传感器数据生成与地板有关的模型数据。
(2)根据(1)所述的信息处理装置，其中，所述控制部还包括数据获取部，所述数据获取部随着能够在所述地板上移动的移动体的移动，每隔预定时间获取生成所述模型数据所需要的传感器数据。
(3)根据(2)所述的信息处理装置，其中，
所述控制部还包括计算部，所述计算部基于从所述数据获取部获取的传感器数据来计算所述移动体的移动量以及所述移动体的姿势的位移量；以及
所述判定部根据所述计算部的计算结果判定所述移动量是否满足预定的第一条件以及所述位移量是否满足预定的第二条件，以及
所述模型数据生成部使用基于所述判定部所判定的所述第一条件和所述第二条件被满足的判定结果的传感器数据来生成所述模型数据。
(4)根据(3)所述的信息处理装置，其中，
所述计算部计算所述移动体在第一姿势下在重力方向上距所述地板的高度与所述移动体在第二姿势下在重力方向上距所述地板的高度之间的差，作为所述移动量，以及
如果所述差等于或小于预定阈值，则所述判定部判定满足所述第一条件。
(5)根据(3)或(4)所述的信息处理装置，其中，
所述计算部根据从所述数据获取部获取的所述传感器数据来计算所述移动体的重力加速度矢量，并且基于所述重力加速度矢量计算所述位移量。
(6)根据(3)至(5)中任一项所述的信息处理装置，其中，
所述计算部计算所述移动体在第一姿势下的重力加速度矢量与所述移动体在第二姿势下的重力加速度矢量所形成的角度，作为所述位移量，以及
如果所述角度等于或小于预定阈值，则所述位移量判定满足所述第二条件。
(7)根据(3)至(6)中任一项所述的信息处理装置，其中，
所述计算部计算所述移动体的重力加速度矢量与平行于所述地板的虚拟平面正交处的坐标位置，作为所述移动体的初始位置，以及
所述模型数据生成部在重力方向上与所述虚拟平面相距预定距离的位置处生成所述模型数据。
(8)根据(3)至(7)中的任一项所述的信息处理装置，其中，
所述计算部根据在标记坐标系中所述移动体的坐标位置来计算放置有标记的地板与所述移动体之间的距离，其中所述标记坐标系参照在所述地板上放置的所述标记，以及
所述模型数据生成部在重力方向上与所述移动体相距所述距离的位置处生成所述模型数据。
(9)根据(2)至(8)中任一项所述的信息处理装置，其中，
所述控制部还包括步行状态判定部，所述步行状态判定部基于从所述数据获取部获取的传感器数据来判定具有所述移动体的用户是否处于步行状态。
(10)根据(9)所述的信息处理装置，其中，
所述控制部还包括执行更新处理的更新部，在所述更新处理中，在所述用户被所述步行状态判定部判定为处于步行状态的时段等于或大于预定阈值的情况下，与所述移动体的基准姿势时所检测的传感器数据不同的传感器数据作为新的基准姿势的传感器数据。
(11)一种信息处理方法，包括：
基于随着移动体的移动而获取的传感器数据来判定是否满足预定建模条件；以及
在判定满足所述预定建模条件的情况下，使用预定传感器数据生成与地板有关的模型数据。
(12)一种程序，其使信息处理装置执行：
基于随着移动体的移动而获取的传感器数据来判定是否满足预定建模条件的步骤；以及
在判定满足所述预定建模条件的情况下，使用所述传感器数据生成与地板有关的模型数据的步骤。
(13)一种地板建模系统，包括：
自身位置估计装置，其安装在在地板上移动的移动体上，并且被配置成能够估计所述移动体在三维空间中的位置；
安装在所述移动体上的加速度传感器；以及
信息处理装置，其包括：
控制部，其包括：
判定部，其基于随着移动体的移动而获取的传感器数据来判定是否满足预定建模条件；以及
模型数据生成部，其在所述判定部判定满足预定建模条件的情况下使用所述传感器数据生成与地板有关的模型数据。
附图标记列表
20 信息处理装置
30 自身位置估计装置
40 加速度传感器
211 数据获取部
212 计算部
213 判定部
214 模型数据生成部
215 步行状态判定部
216 更新部
100、200、300、400 地板建模系统

Claims (13)

1.一种信息处理装置，包括：
控制部，其包括：
判定部，其基于随着移动体的移动而获取的传感器数据来判定预定建模条件是否被满足；以及
模型数据生成部，其在所述判定部判定所述预定建模条件被满足的情况下使用所述传感器数据生成与地板有关的模型数据。
2.根据权利要求1所述的信息处理装置，其中，
所述控制部还包括数据获取部，所述数据获取部随着能够在所述地板上移动的移动体的移动，每隔预定时间获取所述模型数据的生成所需要的传感器数据。
3.根据权利要求2所述的信息处理装置，其中，
所述控制部还包括计算部，所述计算部基于从所述数据获取部获取的所述传感器数据来计算所述移动体的移动量以及所述移动体的姿势的位移量，
所述判定部根据所述计算部的计算结果判定所述移动量是否满足预定的第一条件以及所述位移量是否满足预定的第二条件，以及
所述模型数据生成部使用基于所述判定部所判定的所述第一条件和所述第二条件被满足的判定结果的传感器数据来生成所述模型数据。
4.根据权利要求3所述的信息处理装置，其中，
所述计算部计算所述移动体在第一姿势下在重力方向上距所述地板的高度与所述移动体在第二姿势下在重力方向上距所述地板的高度之间的差，作为所述移动量，以及
如果所述差等于或小于预定阈值，则所述判定部判定所述第一条件被满足。
5.根据权利要求3所述的信息处理装置，其中，
所述计算部根据从所述数据获取部获取的所述传感器数据计算所述移动体的重力加速度矢量，并且基于所述重力加速度矢量计算所述位移量。
6.根据权利要求3所述的信息处理装置，其中，
所述计算部计算所述移动体在所述第一姿势下的重力加速度矢量与所述移动体在所述第二姿势下的重力加速度矢量所形成的角度，作为所述位移量，以及
如果所述角度等于或小于预定阈值，则所述判定部判定所述第二条件被满足。
7.根据权利要求3所述的信息处理装置，其中，
所述计算部计算所述移动体的重力加速度矢量与平行于所述地板的虚拟平面正交处的坐标位置，作为所述移动体的初始位置，以及
所述模型数据生成部在重力方向上与所述虚拟平面相距预定距离的位置处生成所述模型数据。
8.根据权利要求3所述的信息处理装置，其中，
所述计算部根据在标记坐标系中所述移动体的坐标位置来计算放置有标记的地板与所述移动体之间的距离，其中所述标记坐标系参照在所述地板上放置的所述标记，以及
所述模型数据生成部在重力方向上与所述移动体相距所述距离的位置处生成所述模型数据。
9.根据权利要求2所述的信息处理装置，其中，
所述控制部还包括步行状态判定部，所述步行状态判定部基于从所述数据获取部获取的传感器数据来判定具有所述移动体的用户是否处于步行状态。
10.根据权利要求9所述的信息处理装置，其中，
所述控制部还包括执行更新处理的更新部，在所述更新处理中，在所述用户被所述步行状态判定部判定为处于步行状态的时段等于或大于预定阈值的情况下，与所述移动体的基准姿势时所检测的传感器数据不同的传感器数据作为新的基准姿势的传感器数据。
11.一种信息处理方法，包括：
基于随着移动体的移动而获取的传感器数据来判定预定建模条件是否被满足；以及
在判定所述预定建模条件被满足的情况下，使用所述传感器数据生成与地板有关的模型数据。
12.一种程序，其使信息处理装置执行：
基于随着移动体的移动而获取的传感器数据来判定是否满足预定建模条件的步骤；以及
在判定所述预定建模条件被满足的情况下，使用所述传感器数据生成与地板有关的模型数据的步骤。
13.一种地板建模系统，包括：
自身位置估计装置，其安装在移动体上并且被配置成能够估计所述移动体在三维空间中的位置，其中所述移动体在地板上移动；
加速度传感器，其安装在所述移动体上；以及
信息处理装置，其包括：
控制部，其包括：
判定部，其基于随着移动体的移动而获取的传感器数据来判定预定建模条件是否被满足；以及
模型数据生成部，其在所述判定部判定所述预定建模条件被满足的情况下使用所述传感器数据生成与地板有关的模型数据。
CN201980030064.7A 2018-05-10 2019-02-25 信息处理装置、信息处理方法、程序和地板建模系统 Withdrawn CN112074873A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018091548 2018-05-10
JP2018-091548 2018-05-10
PCT/JP2019/007011 WO2019215997A1 (ja) 2018-05-10 2019-02-25 情報処理装置、情報処理方法、プログラム及び床面モデリングシステム

Publications (1)

Publication Number Publication Date
CN112074873A true CN112074873A (zh) 2020-12-11

Family

ID=68467369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980030064.7A Withdrawn CN112074873A (zh) 2018-05-10 2019-02-25 信息处理装置、信息处理方法、程序和地板建模系统

Country Status (5)

Country Link
US (1) US11372475B2 (zh)
EP (1) EP3792878A4 (zh)
JP (1) JPWO2019215997A1 (zh)
CN (1) CN112074873A (zh)
WO (1) WO2019215997A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023125711A (ja) * 2022-02-28 2023-09-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および床面高さ調整方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3994950B2 (ja) 2003-09-19 2007-10-24 ソニー株式会社 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
JP4055701B2 (ja) * 2003-11-25 2008-03-05 松下電工株式会社 自律移動車両
JP2008264946A (ja) * 2007-04-20 2008-11-06 Toyota Motor Corp 移動ロボット、及び床面形状データの補正方法
JP2009136987A (ja) * 2007-12-10 2009-06-25 Toyota Motor Corp 移動ロボット、及び床面形状データの補正方法
US10111197B2 (en) 2011-11-02 2018-10-23 Navin Systems Ltd. Generating and using a location fingerprinting map
JP6132659B2 (ja) 2013-02-27 2017-05-24 シャープ株式会社 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
US9037396B2 (en) 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot
US20160343173A1 (en) 2015-05-20 2016-11-24 Daqri, Llc Acousto-optical display for augmented reality
US10403043B2 (en) 2016-04-14 2019-09-03 The Research Foundation For The State University Of New York System and method for generating a progressive representation associated with surjectively mapped virtual and physical reality image data
KR20180041890A (ko) * 2016-10-17 2018-04-25 삼성전자주식회사 가상 객체를 표시하는 방법 및 장치
KR20180093558A (ko) * 2017-02-14 2018-08-22 삼성전자주식회사 피사체의 이미지를 획득하기 위한 인터페이스를 제공하는 방법 및 전자 장치
US11175146B2 (en) * 2017-05-11 2021-11-16 Anantak Robotics Inc. Autonomously moving machine and method for operating an autonomously moving machine
US10565719B2 (en) * 2017-10-13 2020-02-18 Microsoft Technology Licensing, Llc Floor detection in virtual and augmented reality devices using stereo images

Also Published As

Publication number Publication date
WO2019215997A1 (ja) 2019-11-14
EP3792878A1 (en) 2021-03-17
EP3792878A4 (en) 2021-05-19
JPWO2019215997A1 (ja) 2021-05-20
US11372475B2 (en) 2022-06-28
US20210255695A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
CN112567201B (zh) 距离测量方法以及设备
JP5987823B2 (ja) 画像センサおよび運動または位置センサから生じたデータを融合するための方法およびシステム
JP6108818B2 (ja) 移動装置及び移動装置の位置認識方法
WO2019138836A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
JP4479372B2 (ja) 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置
Shen et al. Vision-Based State Estimation and Trajectory Control Towards High-Speed Flight with a Quadrotor.
EP2590042B1 (en) Walking robot performing position recognition using several local filters and a fusion filter
Xu et al. Visual-haptic aid teleoperation based on 3-D environment modeling and updating
JP5444952B2 (ja) センサフュージョンによる地図の自動生成、およびそのように自動生成された地図を用いて移動体の移動をするための、装置、方法、ならびにプログラム
JP5480667B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、プログラム
JP7131994B2 (ja) 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、学習装置、学習方法及び学習プログラム
WO2020195875A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2020157862A1 (ja) 障害物回避制御装置、障害物回避制御システム、障害物回避制御方法および記録媒体
JP2003266349A (ja) 位置認識方法、その装置、そのプログラム、その記録媒体及び位置認識装置搭載型ロボット装置
US11372475B2 (en) Information processing apparatus, information processing method, and floor modeling system
JP2022502791A (ja) ロボットの姿勢を推定するシステムおよび方法、ロボット、並びに記憶媒体
WO2022014322A1 (ja) 情報処理システム、及び情報処理装置
CN111971149A (zh) 记录介质、信息处理设备和信息处理方法
JP7242040B2 (ja) 移動体制御装置、移動体制御方法及びコンピュータプログラム
JP2022011821A (ja) 情報処理装置、情報処理方法、移動ロボット
Serres et al. Event-based visual guidance inspired by honeybees in a 3D tapered tunnel
WO2022172831A1 (ja) 情報処理装置
WO2023219058A1 (ja) 情報処理方法、情報処理装置及び情報処理システム
CN117207190B (zh) 基于视觉与触觉融合的精准抓取机器人系统
Martínez et al. A closed-loop approach for tracking a humanoid robot using particle filtering and depth data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201211

WW01 Invention patent application withdrawn after publication