CN115428031A - 信息处理装置、信息处理方法和信息处理程序 - Google Patents

信息处理装置、信息处理方法和信息处理程序 Download PDF

Info

Publication number
CN115428031A
CN115428031A CN202180028825.2A CN202180028825A CN115428031A CN 115428031 A CN115428031 A CN 115428031A CN 202180028825 A CN202180028825 A CN 202180028825A CN 115428031 A CN115428031 A CN 115428031A
Authority
CN
China
Prior art keywords
unit
occluding
information processing
processing apparatus
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180028825.2A
Other languages
English (en)
Inventor
藤泽春香
小原俊逸
若林一
诚·丹尼尔·德永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115428031A publication Critical patent/CN115428031A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

根据实施例的一个方面的信息处理装置(1)设置有绘制单元(6b)、设置单元(6c)和扩展单元(6e)。绘制单元(6b)绘制要在显示设备(4)上显示的虚拟对象。设置单元(6c)示出存在于真实空间中的真实对象的形状,并且设置要叠加在真实对象上的遮蔽对象。扩展单元(6e)在满足遮蔽条件的情况下向虚拟对象侧扩展遮蔽对象,该遮蔽条件指示由绘制单元(6b)绘制的虚拟对象被设置单元所设置的遮蔽对象部分遮蔽。

Description

信息处理装置、信息处理方法和信息处理程序
技术领域
本发明涉及信息处理装置、信息处理方法和信息处理程序。
背景技术
近年来,向用户提供用于将虚拟对象叠加和显示在显示器上的增强现实(augmented reality)的技术已变得普遍。在这样的增强现实中,为存在于真实空间中的真实对象设置表示形状的遮蔽(遮挡)区域。
例如,专利文献1公开了一种技术,该技术为存在于真实空间中的用户的手设置遮蔽区域,并将在遮蔽区域中遮蔽的虚拟对象切换为非显示,从而使得用户能够适当地掌握手与虚拟对象之间的位置关系(例如,参见专利文献1)。
引文列表
专利文献
专利文献1:WO 2019/031015 A
发明内容
技术问题
然而,在相关技术中,未考虑遮蔽区域关于真实对象的叠加偏移,并且存在由于遮蔽区域的叠加偏移而使用户感到不适的情况。
鉴于以上做出了本发明,并且本发明的目的是提供信息处理装置、信息处理方法和信息处理程序,其能够减少由遮蔽区域的叠加偏移引起的不适感。
问题的解决方案
为了解决上述问题并且实现目的,根据实施例的一方面的信息处理装置包括绘制单元、设置单元和扩展单元。绘制单元绘制在显示设备上显示的虚拟对象。设置单元设置指示存在于真实空间中的真实对象的形状并要叠加在真实对象上的遮蔽对象。在满足遮蔽条件时,扩展单元朝向虚拟对象侧扩展遮蔽对象,该遮蔽条件指示由绘制单元绘制的虚拟对象被设置单元所设置的遮蔽对象部分遮蔽。
发明的有益效果
根据实施例的一个方面,可以减少由遮蔽区域的叠加偏移引起的不适感。
附图说明
图1是示出根据实施例的信息处理装置的概要的图。
图2是示出根据实施例的信息处理装置的概要的图。
图3是根据实施例的信息处理装置的框图。
图4是示出由根据实施例的确定单元进行的处理的示例的图。
图5是示出由根据实施例的确定单元进行的处理的示例的图。
图6是示出由根据实施例的扩展单元进行的处理的示例的图。
图7是示出由根据实施例的扩展单元进行的处理的示例的曲线图。
图8是示出由根据实施例的扩展单元进行的处理的示例的图。
图9是示出根据实施例的显示图像的示例的图。
图10是示出由根据实施例的信息处理装置执行的处理过程的流程图。
图11是示出由根据实施例的信息处理装置执行的处理过程的流程图。
图12是示出自身位置的移动距离与扩展程度之间的关系的示例的曲线图。
图13是示出针对每个用户的扩展对象的示例的图。
图14是示出实现信息处理装置的功能的计算机的示例的硬件配置图。
具体实施方式
在下文中,将参照附图详细描述本公开内容的实施例。注意,在以下实施例中的每一个中,相同的部件由相同的附图标记表示,并且将省略冗余描述。
首先,将参照图1和图2描述根据实施例的信息处理装置的概要。图1和图2是示出信息处理装置的概要的图。
在图1所示的示例中,信息处理装置1是提供增强现实(AR)的AR设备,并且是头戴式显示器(HMD)。
信息处理装置1是所谓的光学透视型HMD,其包括光学透明的显示单元4并且在显示单元4上显示存在于虚拟空间中的虚拟对象。信息处理装置1基于通过由外向摄像装置3a进行的成像获得的真实空间的信息——例如,存在于真实空间中的对象的位置和形状的信息——来控制虚拟对象的布置、形状等。
具体地,信息处理装置1识别存在于真实空间中的诸如墙壁的各种对象(下文中称为真实对象),并且针对真实对象设置遮蔽对象。遮蔽对象是用于隐藏虚拟空间中存在于后面的虚拟对象的三维数据(网格数据),并且也被称为遮挡区域或碰撞器(collider)。
通过不显示被遮蔽对象遮蔽的虚拟对象,信息处理装置1可以使得用户能够容易地掌握真实对象与和遮蔽对象对应的虚拟对象之间的前后关系。
顺便提及,例如,当不能正确地识别真实空间的信息时,可能会存在关于真实对象叠加有遮蔽对象的位置偏移——即,发生所谓的叠加偏移——的情况。例如,如图2所示,假设下述场景:从用户U观看时,虚拟对象A被显示在作为真实对象的墙壁W后面。
例如,当关于墙壁W发生与墙壁W对应的遮蔽对象d的叠加偏移时,在虚拟对象A被遮蔽对象d遮蔽的遮蔽区域中发生偏移。此时,可能存在以下情况:从用户U观看时应存在于墙壁W后面的虚拟对象A被显示为好像存在于墙壁W的前面。
因此,在这种情况下,用户U难以掌握虚拟对象A与墙壁W之间的前后关系,并且用户U感到不适。另一方面,在根据实施例的信息处理装置1中,在虚拟对象A满足指示虚拟对象A被遮蔽对象d部分遮蔽的遮蔽条件的情况下,向虚拟对象A侧扩展遮蔽对象d。
此处,遮蔽条件指示从用户U观看时存在于后侧的虚拟对象A被存在于虚拟对象A的前侧的遮蔽对象d部分遮蔽。换言之,遮蔽条件指示跨遮蔽对象d的边界显示了存在于遮蔽对象d后面的虚拟对象A。
如上所述,根据实施例的信息处理装置1可以通过扩展遮蔽对象d并减小虚拟对象A的显示区域来适当地表达虚拟对象A与墙壁W之间的位置关系。
因此,依据根据实施例的信息处理装置1,可以减少由遮蔽对象d的叠加偏移引起的不适感。
接下来,将参照图3描述根据实施例的信息处理装置1的配置示例。图3是根据实施例的信息处理装置1的框图。在图3所示的示例中,信息处理装置1包括传感器3、显示单元4、存储单元5和控制单元6。
传感器3包括向外摄像装置3a、取向传感器3b、9dof(自由度)传感器3c和定位传感器3d。注意,图3所示的传感器3的配置是示例,并且不特别限定于图3所示的配置。例如,除了图3所示的每个单元之外,还可以包括诸如环境传感器如照度传感器和温度传感器、超声传感器以及红外传感器的各种传感器,并且每个传感器可以是一个或两个或更多个。
外向摄像装置3a是所谓的红绿蓝(RGB)摄像装置,并且捕获真实空间中的用户周围的视频。期望的是,外向摄像装置3a的视角和方向被设置成当外向摄像装置3a被佩戴时捕获真实空间中的用户的面部的方向的图像。此外,可以设置多个外向摄像装置3a。此外,每个外向摄像装置3a可以包括深度传感器。
此外,外向摄像装置3a例如包括镜头系统、驱动系统、固态成像元件阵列等。镜头系统包括成像镜头、光圈、变焦镜头、聚焦镜头等。驱动系统使镜头系统执行聚焦操作和变焦操作。固态成像元件阵列对由镜头系统获得的成像光进行光电转换以生成成像信号。固态成像元件阵列可以通过例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)来实现。取向传感器3b是检测显示单元4的取向的传感器,并且由地磁传感器实现。
9dof传感器3c获取用于估计用户(信息处理装置1)的相对自身位置和姿势的信息。9dof传感器3c是具有9个自由度的惯性测量设备,并且包括三轴加速度传感器、三轴陀螺仪传感器和三轴地磁传感器。9dof传感器3c检测作用于用户(信息处理装置1)的加速度、作用于用户(信息处理装置1)的角速度(旋转速度)以及用户(信息处理装置1)的绝对取向。定位传感器3d例如是使用全球定位系统(GPS)测量信息处理装置1的当前位置的传感器。
显示单元4具有由例如半透反射镜或透射导光板构成的显示表面。显示单元4通过从显示表面的内侧朝向用户的眼球投射视频(光)来使用户观看视频。注意,显示单元4也可以是诸如智能电话的显示设备。
存储单元5存储用于实现信息处理装置1的各种功能的程序和数据。存储单元5例如由诸如随机存取存储器(RAM)或闪速存储器的半导体存储元件或者诸如硬盘或光盘的存储设备实现。存储单元5还用作在各种处理中使用的参数、用于各种处理的工作区域等。
在图3所示的示例中,存储单元5包括地图信息存储单元5a、网格数据存储单元5b和内容信息存储单元5c。地图信息存储单元5a是存储指示真实空间中的周围环境的地图信息(所谓的环境地图)的存储区域。
网格信息存储单元5b是存储上述遮蔽对象的存储区域。注意,存储在网格信息存储单元5b中的遮蔽对象是指示存储在地图信息存储单元5a中的真实对象的形状的3D网格数据。
内容信息存储单元5c是存储与虚拟对象有关的各种内容的存储区域。注意,存储在地图信息存储单元5a、网格信息存储单元5b和内容信息存储单元5c中的各种类型的信息可以存储在服务器中。在这种情况下,信息处理装置1可以经由通信单元(未示出)从服务器适当地下载数据。
控制单元6控制在信息处理装置1中执行的各种处理。控制单元6通过例如中央处理单元(CPU)、微处理单元(MPU)等使用RAM作为工作区域来执行存储在信息处理装置1内部的存储设备中的各种程序来实现。此外,控制单元6例如由诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的集成电路来实现。此外,在图3所示的示例中,控制单元6包括自身位置估计单元6a、绘制单元6b、设置单元6c、确定单元6d和扩展单元6e。
自身位置估计单元6a估计用户(信息处理装置1)的自身位置。例如,自身位置估计单元6a基于由外向摄像装置3a捕获的视频,使用同时定位和映射(SLAM)方法来创建环境地图并且估计自身位置。
例如,自身位置估计单元6a估计显示单元4的位置和取向,并且基于所估计的显示单元4的位置和取向来计算指示用户的视线方向的视线向量。由自身位置估计单元6a创建的环境地图作为地图信息存储在地图信息存储单元5a中。此外,根据需要,将关于由自身位置估计单元6a估计的用户的视线向量的信息通知给绘制单元6b、设置单元6c等。
注意,除了由外向摄像装置3a捕获的捕获图像之外,自身位置估计单元6a还可以基于取向传感器3b和9dof传感器3c的测量结果,使用视觉惯性里程计(VIO)方法来创建环境地图并且估计自身位置。
此外,在已经为其创建环境地图的真实空间中,自身位置估计单元6a还可以通过从由外向摄像装置3a捕获的捕获图像中提取特征点并对所提取的特征点与存储在地图信息存储单元5a中的环境地图的特征点进行核对来校正自身位置。此时,自身位置估计单元6a也可以基于由定位传感器3d进行的定位结果(全局坐标)来校正自身位置。
绘制单元6b绘制在显示单元4上显示的虚拟空间中存在的虚拟对象。例如,绘制单元6b基于自身位置估计单元6a的估计结果来绘制用户的当前视野中的虚拟对象。
此时,绘制单元6b根据用户的当前视点,使用存储在内容信息存储单元5c中的3D内容来绘制作为2D图像的虚拟对象。即,绘制单元6b执行从3D内容到2D图像的渲染。由绘制单元6b绘制的虚拟对象与包括深度信息的虚拟空间中的坐标信息相关联地存储在Z缓冲器(未示出)中。注意,Z缓冲器是缓冲器的示例,并且是存储包括虚拟对象A和遮蔽对象d的每个对象的深度信息的存储器区域。稍后将参照图4描述Z缓冲器的示例。
设置单元6c设置指示存在于真实空间中的真实对象的形状并且要叠加在真实对象上的遮蔽对象。具体地,首先,设置单元6c参照地图信息存储单元5a,并且基于自身位置估计单元6a的估计结果来提取存在于显示单元4的当前显示范围内的真实对象。即,设置单元6c提取落入用户的当前视野内的真实对象。
随后,针对所提取的真实对象,设置单元6c从网格信息存储单元5b中选择呈真实对象的形状的遮蔽对象,并针对真实对象设置所选择的遮蔽对象。此时,与绘制单元6b类似地,设置单元6c将3D遮蔽对象渲染为2D的,然后针对真实对象设置遮蔽对象。
与由绘制单元6b绘制的虚拟对象类似地,由设置单元6c设置的遮蔽对象与包括深度信息的坐标信息相关联地存储在Z缓冲器中。注意,遮蔽对象可以在创建环境地图时被创建,或者可以针对遮蔽对象的每个设置由设置单元6c动态地生成。
确定单元6d确定是否满足遮蔽条件,该遮蔽条件指示由绘制单元6b绘制的虚拟对象被设置单元6c设置的遮蔽对象部分遮蔽。
图4和图5是示出由确定单元6d进行的处理的示例的图。图4和图5是示出由根据实施例的确定单元6d进行的处理的示例的图。图4示意性地示出了Z缓冲器。
如图4所示,在Z缓冲器上虚拟对象A和遮蔽对象d被布置在对应位置(深度)处。图4的示例示出了从用户的当前视点位置V观看时,与虚拟对象A相比遮蔽对象d被布置在较近侧的情况。注意,视点位置V指示显示单元4的位置,并且视点位置V的方向指示显示单元4的方向。
因此,在这种情况下,虚拟对象A可以被遮蔽对象d遮蔽。因此,确定单元6d计算在从视点位置V观看虚拟对象A时的视角。
例如,如图5所示,在计算出的视角下,存在遮蔽区域As,在该遮蔽区域As中,虚拟对象A的一部分被遮蔽对象d遮蔽,并且虚拟对象A和遮蔽对象d彼此交叠。因此,在这种情况下,确定单元6d确定满足上述遮蔽条件。
确定单元6d在虚拟对象A在遮蔽对象d的近侧时,或者虚拟对象A在遮蔽对象d的远侧但不存在遮蔽区域As时,确定不满足遮蔽条件。注意,确定单元6d还可以在整个虚拟对象A被遮蔽对象遮蔽时,即,当整个虚拟对象A是遮蔽区域As时,确定满足上述遮蔽条件。
返回至图3的描述,将描述扩展单元6e。当确定单元6d确定满足遮蔽条件时,扩展单元6e扩展遮蔽虚拟对象A的遮蔽对象d。
然后,在设置最终的遮蔽对象d之后,扩展单元6e将存储在Z缓冲器中的虚拟对象A输出至显示单元4。因此,虚拟对象A被显示在显示单元4上。此外,当在遮蔽对象d被扩展之后不再满足遮蔽对象d时,扩展单元6e取消遮蔽对象d的扩展。
即,仅当满足遮蔽条件时才扩展遮蔽对象d。以这种方式,通过暂时扩展遮蔽对象d,当遮蔽对象d用作用于接收对真实对象的操作的碰撞确定的碰撞器时,可以减少对真实对象的错误操作。
此处,将参照图6至图8描述由扩展单元6e进行的处理的示例。图6至图8是示出由根据实施例的扩展单元6e进行的处理的示例的图。例如,如图6所示,扩展单元6e考虑到遮蔽对象d的面的取向来扩展遮蔽对象d。换言之,扩展单元6e针对构成遮蔽对象d的每个面确定遮蔽对象d的扩展程度。具体地,扩展单元6e计算由指示用户的当前位置和取向的视线向量V1和构成遮蔽对象d的面的法向量形成的角度θ。
图6的示例示出了所形成的角度θ是由面S1的法向量Vs1和视线向量V1形成的角度的情况。扩展单元6e基于所形成的角度θ来确定用于扩展面S1的每个顶点a的移动量。移动量对应于扩展程度的示例。
例如,如图7所示,扩展单元6e基于针对计算的所形成的角度θ预先设置的移动量来确定面S1的每个顶点a的移动量。在图7所示的示例中,当角度θ为0、π和2π时使移动量最小化,并且当所形成的角度θ为π/2和3π/2时,使移动量最大化。
即,在图7的示例中,法向量Vsl与视线向量Vl越接近于平行,移动量越小,并且法向量Vsl与视线向量Vl越接近于正交,移动量越大。
此外,图7的示例示出了以下情况:在所形成的角度θ在0与π/2之间、以及π与3π/2之间时,移动量线性地增大,并且在π/2与π之间以及3π/2与2π之间时,移动量线性地减小。
然后,在获得与所形成的角度θ对应的移动量之后,扩展单元6e通过在Z缓冲器上将图6所示的每个顶点a移动到顶点a1来扩展遮蔽对象d。以这种方式,扩展单元6e在Z缓冲器上的同一平面中扩展遮蔽对象d,以在Z缓冲器上移动每个顶点a。
换言之,在从视点位置V(参加图6)观看时,扩展单元6e不在深度方向上扩展遮蔽对象d,而是在面向深度方向的宽度方向上扩展遮蔽对象d。注意,图7所示的所形成的角度θ与移动量之间的关系是示例,并且本发明不限于此。
例如,可以针对每个内容适当地改变取得图7所示的移动量的最大值和最小值的点(θ)。此外,不是必需如图7所示那样在移动量的最大值与最小值之间进行线性插值,并且可以非线性地进行插值。
当完成了基于面S1的法向量Vs1的顶点a的移动时,扩展单元6e进一步基于其他面的法向量移动顶点a1。例如,如图8所示,扩展单元6e针对作为跟随面S1的目标的面S2计算面S2的法向量Vs2与视线向量V1之间的所形成的角度θ,并且通过将顶点从顶点a1移动到顶点a2,朝向面S2侧扩展遮蔽对象d。
扩展单元6e通过对构成遮蔽对象d的每个面执行上述处理,最终确定遮蔽对象d被扩展的区域。扩展单元6e对满足遮蔽条件的每个遮蔽对象d执行处理。
然后,扩展单元6e将扩展遮蔽对象之后存储在Z缓冲器上的遮蔽对象和虚拟对象A输出至显示单元4。因此,在显示单元4上显示具有大了遮蔽对象d的扩展量的遮蔽部分的虚拟对象A。
以这种方式,在满足上述遮蔽条件的情况下,扩展单元6e可以通过考虑用户的取向而扩展遮蔽对象d来减少由遮蔽对象d的叠加偏移引起的不适感。注意,扩展单元6e不需要扩展遮蔽对象d的所有面,并且可以扩展遮蔽对象d与虚拟对象A之间的边界区域。此处,扩展区域指示在显示在显示单元4上的状态下与虚拟对象A接触的遮蔽对象d的面。
接下来,将参照图9描述显示单元4上显示的显示图像的示例。图9是示出根据实施例的显示图像的示例的图。在图9所示的示例中,示出了虚拟对象A1至A3,并且还示出了实际上未显示在显示单元4上的遮蔽对象d1和d2。
在图9的示例中,虚拟对象A1被作为电线杆的真实对象B1部分遮蔽,并且虚拟对象A2被作为汽车的真实对象部分遮蔽。因此,虚拟对象A1和虚拟对象A2以及与真实对象B1和真实对象B2对应的遮蔽对象d1和遮蔽对象d2分别满足上述遮蔽条件。
因此,遮蔽对象d1和遮蔽对象d2分别从实际真实对象B1和真实对象B2扩展。此外,布置在真实对象B1中的虚拟对象A3比真实对象B1更靠近用户。
因此,由于虚拟对象A3和与真实对象B1对应的遮蔽对象d1不满足上述遮蔽条件,因此遮蔽对象d1不向虚拟对象A3侧(即,前侧)扩展。因此,可以防止位于遮蔽对象d1前侧的虚拟对象A3被遮蔽对象d1遮蔽。
接下来,将参照图10和图11描述由根据实施例的信息处理装置1执行的处理过程。图10和图11是示出由根据实施例的信息处理装置1执行的处理过程的流程图。注意,由控制单元6重复执行以下处理过程。
如图10所示,当执行自身位置估计(步骤S101)时,根据实施例的信息处理装置1基于自身位置估计的结果来获取视线向量V1(步骤S102)。
随后,根据实施例的信息处理装置1基于自身位置和视线向量Vl来指定用户的当前视野(步骤S103)。随后,信息处理装置1绘制虚拟内容(步骤S104),并且针对真实对象设置遮蔽对象(步骤S105)。
此后,信息处理装置1基于直到步骤S105的结果对遮蔽对象执行扩展处理(步骤S106),并结束处理。
接下来,将参照图11详细描述图10所示的步骤S106中的扩展处理。如图11所示,信息处理装置1选择存储在Z缓冲器中的任意遮蔽对象(步骤S111),并且确定所选择的遮蔽对象是否满足遮蔽条件(步骤S112)。
随后,当确定满足遮蔽条件(步骤S112,是)时,信息处理装置1选择遮蔽对象的面(步骤S113),并且获取所选择的面的法向量(步骤S114)。
随后,信息处理装置1计算由用户的视线向量和法向量形成的角度θ(步骤S115),并且基于计算的所形成的角度θ来计算每个顶点的移动量(步骤S116)。
随后,信息处理装置1通过基于计算的移动量移动顶点来扩展遮蔽对象(步骤S117),并且确定是否已针对遮蔽对象的所有面完成顶点的移动(步骤S118)。
当在步骤S118的确定中确定已针对所有面完成处理(步骤S118,是)时,信息处理装置1确定是否已针对所有遮蔽对象完成处理(步骤S119)。
当在步骤S119的确定中确定已针对所有遮蔽对象完成处理(步骤S119,是)时,信息处理装置1结束处理。当确定未针对所有遮蔽对象完成处理(步骤S119,否)时,信息处理装置1进行至步骤111的处理。
此外,当在步骤S112中确定遮蔽对象不满足遮蔽条件(步骤S112,否)时,信息处理装置1进行至步骤S119中的处理。当在步骤S118中确定未针对所有面完成处理(步骤S118,否)时,信息处理装置1进行至步骤S113中的处理。
同时,在上述实施例中,已经描述了基于所形成的角度θ而扩展遮蔽对象的情况,但是本发明不限于此。例如,可以基于自身位置估计单元6a的估计结果和估计准确度来扩展遮蔽对象。
具体地,在自身位置估计单元6a对自身位置的估计结果中,随着用户移动而累积误差。因此,自身位置估计单元6a例如使用AR标记等周期性地校正自身位置。
因此,当自身位置从自身位置的校正改变为自身位置的下一次校正时,在自身位置中误差增加了改变量。然后,随着自身位置中包括的误差增加,自身位置的估计准确度降低,使得容易发生遮蔽对象关于真实对象的叠加偏移。因此,扩展单元6e可以基于校正自身位置之后的自身位置的改变量来扩展遮蔽对象。
将参照图12描述此点的具体示例。图12是示出自身位置与扩展程度之间的关系的示例的曲线图。注意,自身位置的改变量是包括移动距离和旋转角度的概念,但下面将描述移动距离作为示例。图12所示的纵轴上的扩展程度指示遮蔽对象的扩展程度,并且横轴上的移动距离指示自身位置估计单元6a校正自身位置之后的自身位置的移动距离。
在图12所示的示例中,扩展程度随着移动距离增大而增加。因此,扩展单元6e随着移动距离增大而更大地扩展遮蔽对象。
此外,由于在自身位置估计单元6a校正自身位置时,移动距离被重置,因此扩展单元6e可以在重置阶段将遮蔽对象d的扩展程度返回至初始值。
此外,本发明不限于以上示例,并且可以基于从捕获图像获得的特征点来确定遮蔽对象d的扩展程度。这是因为假设存在于真实空间中的每个真实对象的识别准确度可能随着从捕获图像获得的特征点的数量增大而提高。
因此,由于随着识别准确度提高,可以更准确地掌握真实对象的实际位置,因此假设遮蔽对象d的叠加偏移不太可能发生。因此,扩展单元6e可以随着真实对象的识别准确度提高而减小遮蔽对象d的扩展程度。
此外,例如,可以基于传感器3中包括的各种误差来确定遮蔽对象d的扩展程度。例如,可以预先得出取向传感器3b或9dof传感器3c的检测结果中所包括的误差分量,并且可以基于误差分量来确定扩展程度。
接下来,将参照图13描述多个用户观看相同内容的示例。如图13所示,例如,假设用户A和用户B从不同的位置观看部分隐藏在作为真实对象的墙壁W中的虚拟对象A。
此时,用户A的信息处理装置1和用户B的信息处理装置1中的每一个均扩展针对墙壁W设置的遮蔽对象d。因此,如图13的下部的图所示,例如,由于与墙壁W的角度(上述的所形成的角度θ)在用户A和用户B之间不同,因此在针对用户A的信息处理装置1和用户B的信息处理装置1中的每一个设置遮蔽对象的扩展程度之后,显示虚拟对象A。
以这种方式,通过在每个单独的信息处理装置1中扩展遮蔽对象d,可以在每个信息处理装置1中减少由遮蔽对象d的叠加偏移引起的不适感。
此外,在上述实施例中,已经描述了扩展遮蔽对象d的情况,但是本发明不限于此,并且可以使遮蔽对象d整体地朝向虚拟对象A滑动。
例如,通过具有如图14所示的配置的计算机1000来实现诸如根据上述每个实施例的信息处理装置的信息设备。在下文中,作为示例将描述信息处理装置1。图14是示出实现信息处理装置1的功能的计算机1000的示例的硬件配置图。计算机1000包括CPU 1100、RAM1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的每个单元通过总线1050连接。
CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作,并控制每个单元。例如,CPU 1100在RAM 1200中展开存储在ROM 1300或HDD 1400中的程序,并且执行与各种程序对应的处理。
ROM 1300存储诸如在计算机1000启动时由CPU 1100执行的基本输入输出系统(BIOS)的引导程序、取决于计算机1000的硬件的程序等。
HDD 1400是非暂态地记录由CPU 1100执行的程序、由该程序使用的数据等的计算机可读记录介质。具体地,HDD 1400是记录根据本公开内容的信息处理程序(作为程序数据1450的示例)的记录介质。
通信接口1500是用于将计算机1000连接至外部网络1550(例如,因特网)的接口。例如,CPU 1100经由通信接口1500从另一设备接收数据或者将由CPU 1100生成的数据发送至另一设备。
输入/输出接口1600是用于将输入/输出设备1650连接至计算机1000的接口。例如,CPU 1100经由输入/输出接口1600从诸如键盘和鼠标的输入设备接收数据。此外,CPU1100经由输入/输出接口1600将数据发送至诸如显示器、扬声器或打印机的输出设备。此外,输入/输出接口1600可以用作媒体接口,该媒体接口用于读取记录在预定记录介质(介质)中的程序等。该介质例如是诸如数字通用盘(DVD)或相变可重写盘(PD)的光学记录介质、诸如磁光盘(MO)的磁光记录介质、磁带介质、磁记录介质、半导体存储器等。
例如,当计算机1000用作信息处理装置1时,计算机1000的CPU1100执行加载在RAM1200上的信息处理程序,以实现自身位置估计单元6a等的功能。此外,HDD 1400存储根据本公开内容的信息处理程序、地图信息存储单元5a中的数据等。注意,CPU 1100从HDD 1400读取程序数据1450并执行该程序数据,但是作为另一示例,可以经由外部网络1550从另一设备获取这些程序。
注意,本技术还可以具有以下配置。
(1)
一种信息处理装置,包括:
绘制单元,其绘制在显示设备上显示的虚拟对象;
设置单元,其设置指示存在于真实空间中的真实对象的形状并且要叠加在所述真实对象上的遮蔽对象;以及
扩展单元,其在满足遮蔽条件时,朝向所述虚拟对象的一侧扩展所述遮蔽对象,所述遮蔽条件指示由所述绘制单元绘制的所述虚拟对象被所述设置单元所设置的所述遮蔽对象部分遮蔽。
(2)
根据(1)所述的信息处理装置,其中,
所述扩展单元:
在所述遮蔽对象被扩展之后不再满足所述遮蔽条件时,取消所述遮蔽对象的扩展。
(3)
根据(1)或(2)所述的信息处理装置,其中,
所述绘制单元:
基于三维内容来绘制二维的所述虚拟对象,并且将所述虚拟对象存储在缓冲器上,并且
所述扩展单元:
在所述缓冲器上扩展所述遮蔽对象。
(4)
根据权利要求(3)所述的信息处理装置,其中,
所述设置单元:
关于所述真实对象设置二维的所述遮蔽对象,并且
所述扩展单元:
在所述缓冲器的同一平面上扩展所述遮蔽对象。
(5)
根据(1)至(4)中任一项所述的信息处理装置,其中,
所述扩展单元:
扩展所述遮蔽对象与所述虚拟对象之间的边界区域。
(6)
根据(1)至(5)中任一项所述的信息处理装置,还包括:
自身位置估计单元,其估计所述显示设备的自身位置,其中,
所述设置单元:
基于所述自身位置估计单元的估计结果,针对包括在所述显示设备的显示范围中的所述真实对象设置所述遮蔽对象。
(7)
根据权利要求(6)所述的信息处理装置,其中,
所述扩展单元:
针对构成所述遮蔽对象的每个面,确定作为扩展所述遮蔽对象的程度的扩展程度。
(8)
根据权利要求(7)所述的信息处理装置,其中,
所述扩展单元:
基于由指示所述显示设备的位置和取向的视线向量与指示所述面的法线的法向量形成的角度来确定所述扩展程度。
(9)
根据权利要求(8)所述的信息处理装置,其中,
所述扩展单元:
通过针对所述遮蔽对象的每个所述面,根据所述扩展程度移动该面的每个顶点,来扩展所述遮蔽对象。
(10)
根据权利要求(9)所述的信息处理装置,其中,
所述扩展单元:
随着所形成的角度更接近于平行而减小所述扩展程度,并且随着所形成的角度更接近于正交而增大所述扩展程度。
(11)
根据(6)至(10)中任一项所述的信息处理装置,其中,
所述扩展程度是基于所述自身位置估计单元的估计准确度来确定的。
(12)
根据(11)所述的信息处理装置,其中,
所述自身位置估计单元:
以预定周期校正所述自身位置,并且
所述扩展单元:
基于校正之后的所述自身位置的改变量来确定所述扩展程度。
(13)
根据(1)至(12)中任一项所述的信息处理装置,其中,
所述显示设备
是包括光学透明的显示单元的头戴式显示器。
(14)
一种信息处理方法,包括:
由计算机:
绘制在显示设备上显示的虚拟对象;
设置指示存在于真实空间中的真实对象的形状并且要叠加在所述真实对象上的遮蔽对象;以及
在满足遮蔽条件时,朝向所述虚拟对象的一侧扩展所述遮蔽对象,所述遮蔽条件指示所绘制的虚拟对象被所设置的遮蔽对象部分遮蔽。
(15)
一种信息处理程序,所述信息处理程序使计算机用作:
绘制单元,其绘制在显示设备上显示的虚拟对象;
设置单元,其设置指示存在于真实空间中的真实对象的形状并且要叠加在所述真实对象上的遮蔽对象;以及
扩展单元,其在满足遮蔽条件时,朝向所述虚拟对象的一侧扩展所述遮蔽对象,所述遮蔽条件指示由所述绘制单元绘制的所述虚拟对象被所述设置单元所设置的所述遮蔽对象部分遮蔽。
附图标记列表
1 信息处理装置
3 传感器
3a 外向摄像装置(成像设备的示例)
3b 取向传感器
3c 9dof 传感器
3d 定位传感器
4 显示单元(显示设备的示例)
5 存储单元
5a 地图信息存储单元
5b 网格信息存储单元
5c 内容信息存储单元
6 控制单元
6a 自身位置估计单元
6b 绘制单元
6c 设置单元
6d 确定单元
6e 扩展单元
A 虚拟对象
d 遮蔽对象。

Claims (15)

1.一种信息处理装置,包括:
绘制单元,其绘制在显示设备上显示的虚拟对象;
设置单元,其设置指示存在于真实空间中的真实对象的形状并且要叠加在所述真实对象上的遮蔽对象;以及
扩展单元,其在满足遮蔽条件时,朝向所述虚拟对象的一侧扩展所述遮蔽对象,所述遮蔽条件指示由所述绘制单元绘制的所述虚拟对象被所述设置单元所设置的所述遮蔽对象部分遮蔽。
2.根据权利要求1所述的信息处理装置,其中,
所述扩展单元:
在所述遮蔽对象被扩展之后不再满足所述遮蔽条件时,取消所述遮蔽对象的扩展。
3.根据权利要求1所述的信息处理装置,其中,
所述绘制单元:
基于三维内容来绘制二维的所述虚拟对象,并且将所述虚拟对象存储在缓冲器上,并且
所述扩展单元:
在所述缓冲器上扩展所述遮蔽对象。
4.根据权利要求3所述的信息处理装置,其中,
所述设置单元:
关于所述真实对象设置二维的所述遮蔽对象,并且
所述扩展单元:
在所述缓冲器上的同一平面中扩展所述遮蔽对象。
5.根据权利要求1所述的信息处理装置,其中,
所述扩展单元:
扩展所述遮蔽对象与所述虚拟对象之间的边界区域。
6.根据权利要求1所述的信息处理装置,还包括:
自身位置估计单元,其估计所述显示设备的自身位置,其中,
所述设置单元:
基于所述自身位置估计单元的估计结果,针对包括在所述显示设备的显示范围中的所述真实对象设置所述遮蔽对象。
7.根据权利要求6所述的信息处理装置,其中,
所述扩展单元:
针对构成所述遮蔽对象的每个面,确定作为扩展所述遮蔽对象的程度的扩展程度。
8.根据权利要求7所述的信息处理装置,其中,
所述扩展单元:
基于由指示所述显示设备的位置和取向的视线向量与指示所述面的法线的法向量形成的角度来确定所述扩展程度。
9.根据权利要求8所述的信息处理装置,其中,
所述扩展单元:
通过针对所述遮蔽对象的每个所述面,根据所述扩展程度移动该面的每个顶点,来扩展所述遮蔽对象。
10.根据权利要求9所述的信息处理装置,其中,
所述扩展单元:
随着所形成的角度更接近于平行而减小所述扩展程度,并且随着所形成的角度更接近于正交,而增大所述扩展程度。
11.根据权利要求7所述的信息处理装置,其中,
所述扩展程度是基于所述自身位置估计单元的估计准确度来确定的。
12.根据权利要求11所述的信息处理装置,其中,
所述自身位置估计单元:
以预定周期校正所述自身位置,并且
所述扩展单元:
基于校正之后的所述自身位置的改变量来确定所述扩展程度。
13.根据权利要求1所述的信息处理装置,其中,
所述显示设备
是包括光学透明的显示单元的头戴式显示器。
14.一种信息处理方法,包括:
由计算机:
绘制在显示设备上显示的虚拟对象;
设置指示存在于真实空间中的真实对象的形状并且要叠加在所述真实对象上的遮蔽对象;以及
在满足遮蔽条件时,朝向所述虚拟对象的一侧扩展所述遮蔽对象,所述遮蔽条件指示所绘制的虚拟对象被所设置的遮蔽对象部分遮蔽。
15.一种信息处理程序,所述信息处理程序使
计算机用作:
绘制单元,其绘制在显示设备上显示的虚拟对象;
设置单元,其设置指示存在于真实空间中的真实对象的形状并且要叠加在所述真实对象上的遮蔽对象;以及
扩展单元,其在满足遮蔽条件时,朝向所述虚拟对象的一侧扩展所述遮蔽对象,所述遮蔽条件指示由所述绘制单元绘制的所述虚拟对象被所述设置单元所设置的所述遮蔽对象部分遮蔽。
CN202180028825.2A 2020-04-21 2021-03-29 信息处理装置、信息处理方法和信息处理程序 Pending CN115428031A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020075734 2020-04-21
JP2020-075734 2020-04-21
PCT/JP2021/013170 WO2021215196A1 (ja) 2020-04-21 2021-03-29 情報処理装置、情報処理方法および情報処理プログラム

Publications (1)

Publication Number Publication Date
CN115428031A true CN115428031A (zh) 2022-12-02

Family

ID=78270648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180028825.2A Pending CN115428031A (zh) 2020-04-21 2021-03-29 信息处理装置、信息处理方法和信息处理程序

Country Status (3)

Country Link
US (1) US20230127539A1 (zh)
CN (1) CN115428031A (zh)
WO (1) WO2021215196A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019031015A1 (ja) * 2017-08-09 2019-02-14 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11481920B2 (en) * 2018-05-21 2022-10-25 Sony Corporation Information processing apparatus, server, movable object device, and information processing method
JP2020003898A (ja) * 2018-06-26 2020-01-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
WO2021215196A1 (ja) 2021-10-28
US20230127539A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
US10852847B2 (en) Controller tracking for multiple degrees of freedom
EP3460761A1 (en) Image processing apparatus, image processing method, image processing system, and program
US7613356B2 (en) Position and orientation detection method and apparatus
EP2813082B1 (en) Head pose tracking using a depth camera
EP3086292B1 (en) Information processing device, information processing method, and program
US10825249B2 (en) Method and device for blurring a virtual object in a video
KR20170053007A (ko) 자세 추정 방법 및 자세 추정 장치
US12010288B2 (en) Information processing device, information processing method, and program
CN113474819A (zh) 信息处理装置、信息处理方法和程序
JP5769755B2 (ja) 画像処理システム、画像処理装置及び画像処理方法
JP4144888B2 (ja) 画像処理方法、画像処理装置
KR20230072757A (ko) 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
US11443719B2 (en) Information processing apparatus and information processing method
JP6456551B1 (ja) 光学機器制御装置、光学機器制御方法、及び光学機器制御プログラム
US20230127539A1 (en) Information processing apparatus, information processing method, and information processing program
US20230177781A1 (en) Information processing apparatus, information processing method, and information processing program
CN114972514A (zh) Slam定位方法、装置、电子设备和可读存储介质
TWI694719B (zh) 影像處理方法,電子裝置及非暫態電腦可讀取儲存媒體
CN111489376B (zh) 跟踪交互设备的方法、装置、终端设备及存储介质
WO2023090213A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2021065607A1 (ja) 情報処理装置および方法、並びにプログラム
JP2020095671A (ja) 認識装置及び認識方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination