CN115917609A - 信息处理装置、信息处理方法和存储介质 - Google Patents

信息处理装置、信息处理方法和存储介质 Download PDF

Info

Publication number
CN115917609A
CN115917609A CN202180045233.1A CN202180045233A CN115917609A CN 115917609 A CN115917609 A CN 115917609A CN 202180045233 A CN202180045233 A CN 202180045233A CN 115917609 A CN115917609 A CN 115917609A
Authority
CN
China
Prior art keywords
captured image
display
recognition
virtual object
load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180045233.1A
Other languages
English (en)
Inventor
石原敦
市川浩丈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115917609A publication Critical patent/CN115917609A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/08—Details of timing specific for flat panels, other than clock recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

[问题]提供一种当通过使用视频透视显示器将虚拟对象叠加视场上时能够适当地减少显示延迟的信息处理装置、信息处理方法和存储介质。[解决方案]信息处理装置设置有显示控制单元，其中，显示控制单元控制视频透视显示器以用于显示由成像单元获取的捕获图像，如果基于预定捕获图像的真实空间的识别处理的负荷是第一负荷，则将虚拟对象叠加在第一捕获图像上，虚拟对象是基于真实空间的识别而绘制的；以及如果识别处理的负荷是高于第一负荷的第二负荷，则将虚拟对象叠加在第二捕获图像上，第二捕获图像是在第一捕获图像之前获取的。

Description

信息处理装置、信息处理方法和存储介质
技术领域
本公开内容涉及信息处理装置、信息处理方法和存储介质。
背景技术
近年来，已经开发了用于观看真实空间和虚拟空间的合并的各种技术。例如，增强现实(AR)已经被开发为用于显示叠加在直接观看的真实空间上的虚拟空间图像(将被称为虚拟对象)的技术。用于实现增强现实的装置是例如光学透视头戴式显示器(下文中称为“HMD”)。
例如，专利文献1描述了在AR技术中显示与真实空间中的对象链接的虚拟对象。具体地，识别对象在真实空间中的位置或取向，并且然后根据识别结果显示虚拟对象。在专利文献1中，在预测对象在真实空间中的位置或取向的改变的同时，显示虚拟对象。此外，在专利文献1中，如果显示受到干扰，例如，由于从预测信息的获取时间到虚拟对象的显示时间的时间滞后，虚拟对象的显示位置或取向从要显示的位置或取向发生位移，则通过利用运动模糊等使显示位置模糊，使得显示的位移不太明显。
专利文献2还描述了当佩戴HMD的用户或真实空间中的对象以AR技术移动时，根据该运动来设置虚拟对象的位置和取向，从而减少由显示延迟引起的不自然。具体地，在专利文献2中，预测HMD的位置和取向，并且然后根据预测来使虚拟对象图像变形，使得用户不太可能感觉到叠加位置的位移和显示延迟。在专利文献2中，使用光栅扫描显示器，并且垂直于光栅扫描的扫描方向将光栅扫描显示器划分成多个切片(显示区域)。根据扫描对切片顺序地进行显示。换言之，专利文献2的HMD包括具有多个相邻显示区域的显示器，所述多个相邻显示区域具有不同的显示定时。紧接在显示每个切片之前，专利文献2的HMD在显示每个切片时预测HMD的位置和取向，并且根据预测结果使每个切片的图像变形，使得用户不太可能感测叠加位置的位移和显示延迟。
引用列表
专利文献
专利文献1：WO 2017/047178
专利文献2：WO 2019/181263
发明内容
技术问题
现有技术没有研究当虚拟对象叠加在视频透视显示器上时用户的视场中的显示延迟的问题。
因此，本公开内容提出了当虚拟对象叠加在视频透视显示器的视场上时能够适当地减少显示延迟的信息处理装置、信息处理方法和存储介质。
技术的解决方案
本公开内容提出了一种信息处理装置，该信息处理装置包括显示控制单元，其中，该显示控制单元控制视频透视显示器，该视频透视显示器被配置成显示由成像单元获取的捕获图像，显示控制单元在基于预定捕获图像的真实空间的识别处理的负荷为第一负荷的情况下将虚拟对象叠加在第一捕获图像上，虚拟对象是基于真实空间的识别处理而绘制的，并且显示控制单元在识别处理的负荷是大于第一负荷的第二负荷的情况下将虚拟对象叠加在第二捕获图像上，第二捕获图像是在第一捕获图像之前获取的。
本公开内容提出了一种信息处理方法，该方法包括：使处理器执行视频透视显示器的显示控制，视频透视显示器被配置成显示由成像单元获取的捕获图像；使处理器执行以下显示控制，在基于预定捕获图像的真实空间的识别处理的负荷为第一负荷的情况下，将虚拟对象叠加在第一捕获图像上，虚拟对象是基于真实空间的识别处理而绘制的；以及使处理器执行以下显示控制，在识别处理的负荷是大于第一负荷的第二负荷的情况下，将虚拟对象叠加在第二捕获图像上，第二捕获图像是在第一捕获图像之前获取的。
本公开内容提出了一种存储有程序的存储介质，该程序使计算机用作显示控制单元，其中，显示控制单元控制视频透视显示器，视频透视显示器被配置成显示由成像单元获取的捕获图像，显示控制单元在基于预定捕获图像的真实空间的识别处理的负荷为第一负荷的情况下将虚拟对象叠加在第一捕获图像上，虚拟对象是基于真实空间的识别处理而绘制的；并且显示控制单元在识别处理的负荷是大于第一负荷的第二负荷的情况下将虚拟对象叠加在第二捕获图像上，第二捕获图像是在第一捕获图像之前获取的。
附图说明
[图1]图1是示出根据本公开内容的实施方式的信息处理装置的硬件配置示例的框图。
[图2]图2是示出由虚拟对象的显示延迟引起的不自然的说明图。
[图3]图3是指示用于说明虚拟对象的显示延迟的一系列处理的流程的时序图。
[图4]图4是指示用于说明由根据本实施方式的信息处理装置执行的显示控制的一系列处理的流程的流程图。
[图5]图5是指示由本实施方式的信息处理装置执行的显示控制的流程的示例的流程图。
[图6]图6是根据本实施方式的用于切换控制的叠加停止线和判断标准要素的说明图。
[图7]图7是指示根据本实施方式的低延迟期间的切换流程的示例的流程图。
[图8]图8是指示根据本实施方式的高延迟期间的切换流程的示例的流程图。
[图9]图9是用于说明根据本实施方式的在从高延迟切换到低延迟时在预定数目的帧上切换视图图像的时序图。
[图10]图10是用于说明根据本实施方式的在从低延迟切换到高延迟时在预定数目的帧上切换视图图像的时序图。
[图11]图11是用于说明根据本实施方式的在从高延迟切换到低延迟时视图图像的快速切换的时序图。
[图12]图12是用于说明根据本实施方式的在从低延迟切换到高延迟时视图图像的快速切换的时序图。
[图13]图13是指示根据本实施方式的使用三维对象识别算法时的识别中的更新频率的示例的时序图。
[图14]图14是指示根据本实施方式的使用二维对象识别算法时的识别中的更新频率的示例的时序图。
[图15]图15是指示根据本实施方式的三维识别和与特征点的跟踪相结合的二维识别并行执行的识别中的更新频率的示例的时序图。
[图16]图16是根据本实施方式的基于与特征点的跟踪相结合的二维识别的虚拟对象的显示的说明图。
[图17]图17是视觉与触觉之间的不匹配状态的说明图。
[图18]图18是示出根据本实施方式的用于触觉不匹配的支持的示例的说明图。
[图19]图19示出了根据本实施方式的多个虚拟对象的显示示例。
[图20]图20是指示用于说明在根据本实施方式的信息处理装置中使用多个识别算法执行的显示控制的一系列处理的流程的时序图。
具体实施方式
将参照附图详细描述本公开内容的优选实施方式。在本说明书和附图中，具有基本相同的功能配置的组成元件将由相同的附图标记表示，并且省略其重复描述。
将按以下顺序给出描述。
1.配置示例
1-1.信息处理装置的配置示例
1-2.问题的组织
2.技术特征
2-1.虚拟对象的显示延迟时间的减少
2-2.操作处理
2-3.安全支持
2-4.触觉不匹配的支持
3.结论
<<1.配置示例>>
<1-1.信息处理装置的配置示例>
下面将首先描述根据本公开内容的实施方式的信息处理装置10的基本配置。图1是示出根据本公开内容的实施方式的信息处理装置10的基本配置的示例的框图。如图1所示，信息处理装置10包括控制单元100、通信单元110、相机120、操作输入单元130、传感器单元140、显示单元150、扬声器160和存储单元170。
根据本实施方式的信息处理装置10主要执行以下控制，将真实空间中的捕获图像显示在显示单元150上，并且根据捕获图像中包括的真实空间中的对象(下文中称为真实对象)的位置来显示叠加的虚拟对象。下面将描述信息处理装置10的配置。
(1)通信单元110
通信单元110连接至外部装置，并且经由有线或无线电通信向外部装置发送数据并从外部装置接收数据。例如，通信单元110连接至网络以向网络上的服务器发送数据并从网络上的服务器接收数据。例如，通信单元110可以从服务器接收关于要被叠加在真实空间的捕获图像上的虚拟对象的数据或关于叠加的各种数据。通信单元110连接至外部装置或网络，以经由例如有线/无线LAN(局域网)、Wi-Fi(注册商标)、蓝牙(注册商标)或移动通信网络(LTE(长期演进)、3G(第三代移动通信系统)、4G(第四代移动通信系统)和5G(第五代移动通信系统))执行通信。
(2)相机120
相机120是具有捕获真实空间的图像的功能的成像单元的示例。由相机120捕获的真实空间的图像显示在显示单元150上。显示单元150上的捕获图像被显示为与信息处理装置10的用户的视图相对应的所谓的直通图像。直通图像可以被看作是实时显示的捕获图像。替选地，直通图像可以被认为是由相机120捕获的图像中的最新的一个。由相机120捕获的真实空间的图像可以用于识别真实空间。
在本说明书中，与用户的视图相对应的显示图像也被称为视图图像。旨在获取视图图像的相机120被理想地定向在使用信息处理装置10的用户的视线方向上。假设用户在使用信息处理装置10时观看显示单元150。因此，如果信息处理装置10由例如安装在用户的头部上的HMD来实现，并且被配置有在安装时直接放置在用户的眼睛的前面的显示单元150，则相机120被定向在与用户的头部相同的方向上。
相机120可以是单个相机或多个相机。替选地，相机120可以被配置为所谓的立体相机。
(3)操作输入单元130
操作输入单元130具有接收用户操作的功能。操作输入单元130将关于接收的操作的信息输入至控制单元100。操作输入单元130可以由例如触摸面板或按钮的输入装置来实现。
(4)传感器单元140
传感器单元140具有感测真实空间例如信息处理装置10的位置(用户位置)和运动以及周围环境的功能。传感器单元140例如包括位置测量单元、加速度传感器、角速度传感器和地磁传感器。传感器单元140还可以包括用于捕获用于识别真实空间的图像的相机(用于识别的相机)，该相机不同于用于捕获视图图像的相机120。在这种情况下，用于识别的相机的视角可以至少包括用于捕获视图图像的相机120的视角。此外，传感器单元140可以包括用于测量距存在于真实空间中的对象的距离的传感器。用于测量距离的传感器可以是用于基于由立体相机或红外传感器捕获的立体图像进行测量的传感器。
位置测量单元具有计算信息处理装置10的绝对或相对位置的功能。例如，位置测量单元可以基于从外部获取的信号来检测当前位置。具体地，GNSS(全球导航卫星系统)通过接收例如来自人造卫星的无线电波来检测信息处理装置10的当前位置。除了GNSS之外，Wi-Fi(注册商标)、蓝牙(注册商标)、从蜂窝电话、PHS和智能电话的发送以及到蜂窝电话、PHS和智能电话的接收、或短距离通信可以用于检测位置的方法。位置测量单元可以基于加速度传感器或角速度传感器等的检测结果来估计指示相对变化的信息。
(5)显示单元150
显示单元150由所谓的视频透视显示器实现。视频透视显示器通过在显示器上显示由相对于显示器固定的成像装置捕获的真实空间的运动图像(即，实时直通图像)来为用户提供真实空间的图像。在典型的视频透视显示器的情况下，真实空间中的光被视频透视显示器的外壳阻挡，并且不直接到达用户的眼睛。
显示单元150可以在视频透视显示器与光学透视显示器之间切换。光学透视显示器是可以将真实空间中的光直接发送至用户的眼睛的显示器。光学透视显示器可以用于已知的模式，包括：半镜模式、光导板模式和视网膜直绘模式。光学透视显示器的外表面具有例如调光元件的配置，该调光元件动态地阻挡真实空间中的光，使得能够在光学透视显示器与视频透视显示器之间切换。
此外，用于实现显示单元150的视频透视显示器可以是用于智能电话的手持显示器或用于可佩带显示器的移动终端。移动终端可以无线地或经由线缆连接至与移动终端分离的计算机。可以在包括汽车的各种移动对象中提供用于实现显示单元150的视频透视显示器。控制视频透视显示器的显示的功能可以由独立终端来执行，或者可以由多个信息处理装置经由无线网络或有线连接来执行。
(6)扬声器160
扬声器160具有输出声音的功能。例如，扬声器160可以被配置为头戴式耳机、耳机或骨传导扬声器。
(7)存储单元170
存储单元170由其中存储用于控制单元100的处理的程序和算术参数等的ROM(只读存储器)以及其中临时存储可选地改变的参数等的RAM(随机存取存储器)实现。
(8)控制单元100
控制单元100用作算术处理单元和控制器，并且根据各种程序来控制信息处理装置10中的所有操作。控制单元100由例如CPU(中央处理单元)和诸如微处理器的电子电路实现。控制单元100还可以包括其中存储要使用的程序和算术参数等的ROM(只读存储器)以及其中临时存储可选地改变的参数等的RAM(随机存取存储器)。
根据本实施方式的控制单元100还用作识别单元101、虚拟对象绘制单元102、视图绘制单元103和显示处理单元104。
(识别单元101)
识别单元101识别输入到控制单元100的各种数据。具体地，识别单元101基于真实空间的捕获图像来识别真实空间。替选地，识别单元101可以基于从传感器单元140输入的感测数据等来识别其自身的位置或取向。当控制单元100将虚拟对象叠加在真实空间的捕获图像上，使得虚拟对象对应于真实对象时，使用真实对象的位置和取向或者相机120(换言之，包括相机120的信息处理装置10或者佩戴信息处理装置10的用户)的位置和取向。
-真实空间的识别
识别单元101基于真实空间的捕获图像来识别真实空间。在真实空间的识别中，例如，识别真实空间的捕获图像中的对象(真实对象)。对象识别的算法没有特别限制。例如，可以使用三维对象识别或骨骼估计算法。此外，可以通过同时使用多个识别算法来执行识别，所述识别算法包括用于识别人的算法和用于识别除人之外的对象的算法。对象的识别至少包括对象的位置或取向。用于识别的捕获图像可以是由捕获要显示在显示单元150上的图像(直通图像)的相机捕获的图像，或者可以是由不同于相机并被提供用于识别的相机捕获的图像。识别单元101可以从相机120或传感器单元140获取深度数据，并且使用该数据来识别真实空间。识别单元101可以获取距真实空间中的对象的距离。
–自身位置的识别
识别单元101基于传感器单元140的检测结果来识别信息处理装置10(更具体地，相机120)的位置和取向中的至少一个。识别单元101的识别可以包括由位置测量单元执行的处理，或者可以是用于从位置测量单元获取指示其自身位置的信息的处理。例如，识别单元101基于加速度传感器或角速度传感器等的检测结果将其自身的位置或取向识别为指示相对变化的信息。指示其自身位置的信息可以包括移动速度。
替选地，识别单元101可以通过与由SLAM(同时定位和映射)技术预先生成的空间映射进行比较来识别信息处理装置10(换言之，用户)的位置，或者识别与捕获图像中的真实对象的真实空间位置关系。如果信息处理装置10是安装在用户的头部上的HMD，则识别单元101可以将用户的头部的位置、取向、倾斜度和移动速度等识别为其自身位置的识别。在特定示例中，识别单元101检测作为用户的头部的运动的偏航方向、俯仰方向和滚动方向上的分量，从而识别用户的头部的位置和取向中的至少一个的变化。
(虚拟对象绘制单元102)
虚拟对象绘制单元102将要叠加在真实空间中的捕获图像(视图图像)上的虚拟对象绘制到相应的缓冲器中。缓冲器是用于临时或永久保持各种数据的存储单元(例如，闪速存储器或RAM)的存储区域的至少一部分。此外，缓冲器是用于存储屏幕的显示内容的所谓的帧缓冲器。在由识别单元101基于真实空间中的捕获图像完成识别时，虚拟对象绘制单元102基于识别结果(真实对象的位置或取向)在相对于真实对象的位置或取向的适当位置或适当取向处绘制虚拟对象。在下文中，其中绘制要叠加在视图图像上的虚拟对象的缓冲器也将被称为虚拟信息缓冲器。
(视图绘制单元103)
视图绘制单元103将由相机120在真实空间中捕获的图像(视图图像)绘制到相应的缓冲器中。作为示例，假设用于绘制视图图像的缓冲器和用于绘制虚拟对象的缓冲器为分离的存储区域。分离的存储区域可以是分配在一个存储单元中的不同存储区域，或者可以通过逻辑划分相同的存储区域来获得。替选地，可以分配不同的存储单元。在下文中，其中绘制真实空间中的捕获图像(视图图像)的缓冲器也将被称为视图信息缓冲器。
(显示处理单元104)
显示处理单元104执行控制(显示控制)以读取绘制在缓冲器中的信息，并且将该信息输出至显示单元150。具体地，例如，显示处理单元104执行控制，使得从虚拟信息缓冲器读取的虚拟对象叠加在从视图信息缓冲器读取的视图图像上，并且显示在显示单元150上。
上面具体描述了信息处理装置10的配置。根据本公开内容的信息处理装置10的配置不限于图1的示例。例如，信息处理装置10不需要包括图1中的所有配置。
用于实现信息处理装置10的装置例如是头戴式显示器(HMD)。根据本实施方式的信息处理装置10例如由视频透视HMD实现。视频透视HMD被配置成当安装在用户的头部或面部上时覆盖用户的眼睛。显示单元例如显示器(本实施方式中的显示单元150)直接保持在用户的眼睛的前方。此外，视频透视HMD包括用于捕获用户周围景色的图像的成像单元(本实施方式中的相机120)，并且在显示单元上显示由用户前方的成像单元捕获的景色的图像。利用这种配置，佩戴视频透视HMD的用户可能难以直接观看外部景色，但是可以通过显示单元上显示的图像来确认景色。如果信息处理装置10由视频透视HMD实现，则显示单元150包括固定在与用户的左眼和右眼相对应的位置处的左右屏幕，并且显示左眼图像和右眼图像。提供用于实现根据本实施方式的信息处理装置10的视频透视HMD的显示单元可以允许切换到光学透视显示器。
信息处理装置10可以是用户的手所保持的终端，例如智能电话、蜂窝电话或平板电脑或用户的身体上的可穿戴装置。
信息处理装置10可以由多个装置实现。例如，信息处理装置10可以是配置有至少包括图1中的相机120、传感器单元140和显示单元150的显示装置以及至少包括控制单元100的控制器的系统。显示装置和控制器经由有线或无线电通信相互连接，并且可以相互发送和接收数据。显示装置和控制器可以通过例如Wi-Fi(注册商标)、LAN(局域网)或蓝牙(注册商标)相互通信。
信息处理装置10中的控制单元100的至少一些功能可以通过设置在网络上的服务器、设置在与用户相同的空间中的专用终端、智能电话、平板电脑或PC来实现。
<1-2.问题的组织>
下面描述当使用视频透视显示器实时显示真实空间中的捕获图像并在其上叠加虚拟对象时的问题。
为了获得虚拟对象好像实际存在于真实空间中的视图，期望将虚拟对象显示在真实对象的位置处。此外，当使用视频透视显示器时，基于在真实空间中捕获的图像来识别真实对象。识别完成后，基于识别结果，根据真实对象的位置或取向，在适当的位置或利用适当的取向绘制虚拟对象。
虚拟对象的绘制需要在前面的步骤中识别真实空间，并且因此可能会延迟在真实空间中绘制捕获图像。例如，如果用户移动以改变视图，则用于绘制虚拟对象的处理可能落后于用于在真实空间中绘制捕获图像的处理。图2是示出由虚拟对象的显示延迟引起的不自然的说明图。图2中的显示图像是显示单元150上显示的图像的示例。显示的图像包括真实空间中的捕获图像(视图图像)和虚拟对象30。例如，如果用户向右转(相机120向右转)，相机120捕获的图像实时显示在显示单元150上(例如，从成像到显示约15毫秒)，如图2中的显示图像200和显示图像201所示，使得视图改变。如果视图被显示单元150覆盖并且真实空间中的场景没有直接进入视线中，则用户几乎不会注意到真实视图与显示在相机120上的视图图像之间的位移(显示延迟)，这不会干扰自然度。相比之下，虚拟对象30相对于视点图像的显示延迟即使位移相对较小也趋于明显，从而引起不自然。具体地，如图2的显示图像201所示，最新(当前)图像被显示为视图图像。此时，最新(当前)视图图像的识别没有完成，从而虚拟对象30的显示位置从桌子(真实对象)移位，从而引起不自然。此后，在基于该识别的识别和绘图完成时，虚拟对象30的显示位置被更新为与显示图像202所示的桌子的位置相对应的适当位置。
参照图3，下面将具体描述虚拟对象30的显示延迟的原理。图3是指示用于说明虚拟对象30的显示延迟的一系列处理的流程的时序图。
如图3所指示的，用于显示叠加在真实对象上的虚拟对象的系列包括真实空间的“成像”、通过分析捕获图像对真实对象的“识别”、要叠加的虚拟对象的“绘制(虚拟对象绘制)”、捕获图像的“绘制(视图绘制)”、以及绘制的虚拟对象和捕获图像的“显示(输出)”。在被获取时绘制捕获图像。在完成捕获图像的识别之后绘制虚拟对象。在该识别中，能够执行需要处理时间的处理(识别的负荷的示例)，例如三维对象识别。视图绘制、识别和虚拟对象绘制并行执行，但是虚拟对象绘制的完成使捕获图像的完成延迟。
在图3的示例中，用作视图图像的捕获图像和用于识别的捕获图像都被指示为从“成像”(成像单元)的单个步骤获得。“成像”(成像单元)可以在多个步骤中提供。具体地，可以提供用于获取用作视图图像的捕获图像的“成像”(成像单元)和用于获取用于识别的捕获图像的“成像”(成像单元)。显示的处理通常可以以90Hz更新。根据硬件性能、识别算法的种类和识别的目标，可以假设识别的时间例如约为12ms到13ms。
如图3所指示的，当由相机120执行成像I1时，识别单元101分析由成像I1获取的捕获图像(I)，并且执行用于识别真实对象的识别R1。然后，虚拟对象绘制单元102基于识别R1的识别结果执行虚拟对象的绘制Wv1。由于相机120连续地执行成像，因此通过成像I3获取的捕获图像(3)是虚拟对象绘制单元102完成绘制Wv1时的最新视图图像，并且然后视图绘制单元103执行捕获图像(3)的绘制Wf1。随后，显示处理单元104执行显示处理O1，以基于捕获图像(1)和在绘制Wf1中绘制的最新捕获图像(3)的识别结果在显示单元150上显示由绘图Wv1绘制的虚拟对象。具体地，在显示在绘制Wf1中绘制的最新捕获图像(3)的情况下，对最新捕获图像(3)的识别R2未完成，并且将基于该识别R1由绘制Wv1绘制的虚拟对象存储在用于读取的缓冲器中，从而读取由绘制Wv1绘制的虚拟对象，并且在叠加的同时显示该虚拟对象。
在显示处理O1中，如图3所示，可能发生视图的显示延迟和虚拟对象的显示延迟。视图的显示延迟是真实外部景色与所显示的视图图像之间的位移。具体地，例如，从成像I3到由成像I3获取的捕获图像(3)的显示(输出)的时间。虚拟对象的显示延迟是视图图像与虚拟对象之间的位移。具体地，在执行成像I3以获取视图图像(捕获图像(3))的时间与执行成像I1以基于在虚拟对象的绘制中参考的识别结果(识别R1)获取捕获图像(1)的时间之间的时间。换言之，在显示处理O1中输出的虚拟对象的显示位置或取向基于由成像I1获取的捕获图像(1)，并且视图图像是由成像I3获取的捕获图像(3)。如果视图在显示所绘制的虚拟对象之前改变，则在视图图像的真实对象的位置与所绘制的虚拟对象的叠加位置之间的相对位置关系中可能发生位移。
如上所述，如果视图被显示单元150覆盖并且真实空间中的景色不直接进入视线，则在视图的显示延迟中几乎不会注意到真实视图(外部景色)与相机120上显示的视图图像之间的位移，这不会干扰自然度。相比之下，如参照图2所描述的，即使虚拟对象的显示延迟较小，也会引起注意，从而导致不自然。在图3的示例中，要叠加在视图图像上的虚拟对象具有两帧的显示延迟(两个成像过程)。
因此，本公开内容提出了信息处理装置10，该信息处理装置10可以减小视频透视显示器中真实对象和虚拟对象之间的相对位置关系的位移(即，当虚拟对象叠加在视图上时的显示延迟)，并且执行更合适的显示控制。
<<2.技术特征>>
下面将描述根据本实施方式的信息处理装置10的技术特征。
<2-1.虚拟对象的显示延迟时间的减小>
图4是指示用于说明根据本实施方式的显示控制的一系列处理的流程的时序图。在本实施方式中，如图4所示，在显示处理O11中显示(输出)的视图图像不是最新(当前)捕获图像(由成像I3获取的捕获图像)，而是过去的捕获图像(例如，由成像I2获取的捕获图像)。具体地，显示处理单元104执行控制以显示叠加在视图图像上的虚拟对象，虚拟对象基于识别R1的识别结果由绘制Wv1绘制，其中，由成像I1获取的捕获图像(1)被分析和识别，视图图像基于由成像I2获取的捕获图像(2)由绘制Wf1绘制。在这种情况下，虚拟对象的显示相对于视图图像延迟一帧，使得显示延迟比图3的示例中的显示延迟短。相比之下，视图的显示延迟时间比图3的示例中的显示延迟时间长。然而，“视图的显示延迟”几乎不被用户注意到，因此即使“视图的显示延迟”被延长，通过优先减少“叠加在视图图像上的虚拟对象的显示延迟”来减少不自然度，从而实现更合适的显示控制。此外，不执行图像变形或预测，从而减少当叠加虚拟对象时的位置和取向的人为性。
在图4的示例中，在成像I3之后连续执行成像。省略后续成像。此外，在紧接在显示处理O11之前的显示处理中，将通过紧接在成像I1之前执行的成像而获取的捕获图像用作视图图像。省略捕获图像。此外，也省略了过去的显示处理。在本实施方式中，可以维持视图的成像速度和显示更新的频率。显示处理单元104使用当前(最新)捕获图像之前的捕获图像作为要显示的视图图像，同时保持显示更新的频率，从而减少要叠加在视图图像上的虚拟对象的显示延迟。在图4的示例中，选择紧接前一帧的捕获图像作为要显示的视图图像。该选择仅是示例性的。替代地，可以选择在当前帧之前的第二帧中的捕获图像，并且不特别限制要选择的图像的帧。
<2-2.操作处理>
图5是指示由根据本实施方式的信息处理装置执行的显示控制的流程的示例的流程图。如图5所示，首先，信息处理装置10的相机120执行成像以捕获真实空间的图像(步骤S103)。如果提供了用于识别的附加相机，则用于识别的相机还与相机120并行地执行成像以捕获真实空间的图像。
然后，信息处理装置10的识别单元101分析真实空间的捕获图像，并识别真实对象(步骤S106)。基于相对于识别的开始时间的最新捕获图像来执行识别。
随后，控制单元100测量识别的时间(步骤S109)。在本实施方式中，识别所需的“时间”被描述为识别的负荷的示例。识别所需的时间是指从虚拟对象绘制单元102对真实空间中的捕获图像的识别开始到识别完成的时间。识别所需的时间可以取决于用于分析捕获图像的识别算法的特征和所使用的算法的数目而变化。此外，识别所需的时间也取决于目标和识别水平而变化。例如，在具有高处理负荷的算法(例如，三维对象识别或骨骼估计)的情况下，与二维对象识别等相比，需要更长的时间。此外，可以使用多种识别算法，所述识别算法包括用于识别与过去捕获图像的变化(差异)的算法。替选地，多个识别算法可以用于要识别的不同对象。如果使用多个识别算法，则要测量的识别时间是直到完成所有算法的识别的时间。
随后，控制单元100确定识别时间是否长于视图绘制时间(步骤S112)。视图绘制时间是指从虚拟对象绘制单元102在缓冲器中绘制视图图像开始到绘制完成的时间。可以与视图绘制并行地处理识别。控制单元100可以确定在视图绘制时间之后识别是否完成。在本公开内容的第一负荷的示例中，识别时间等于或短于视图绘制时间。在本公开内容的大于第一负荷的第二负荷的示例中，识别时间长于视图绘制时间。换言之，第一负荷对应于识别所需的时间等于或短于绘制捕获图像的时间的情况。第二负荷对应于识别所需的时间长于绘制捕获图像的时间的情况。
随后，如果识别时间长于视图绘制时间(即，如果识别时间对应于第二负荷)(步骤S112/是)，则视图绘制单元103将视图绘制的对象改变为先前捕获图像(步骤S115)。换言之，视图绘制单元103选择过去捕获图像而不是当前(最新)捕获图像(即，直通图像)作为视图绘制的对象。不特别限制选择过去捕获图像中的哪一个。例如，所选择的图像可以是在与识别中用于绘制虚拟对象的捕获图像相同的定时获取的捕获图像，或者是更新的捕获图像。此外，过去捕获图像的成像时间可以在距当前时间的公差内。期望将公差设置在用户不会感觉到关于真实外部景色和与视图图像之间的差异(视图的显示延迟)的不自然的水平。“用户没有感觉到不自然的水平”可以被设置为预定值(视图的显示延迟的上限)，或者可以根据情况灵活地改变。该情况指示用户的运动范围和用户周围的变化。当视图的显示延迟延长时，虚拟对象的显示延迟可以缩短以减少不自然。考虑到安全性，期望抑制真实的外部景色与来自用户的视图图像之间的差异。
如上所述，在典型的视频透视显示器中，当前(最新)捕获图像尽可能被实时显示。在本实施方式中，通过延迟视图显示来抑制虚拟对象与视图图像之间的显示的位移。在本说明书中，用于将当前(最新)捕获图像(直通图像)绘制为视图图像的第一处理是在视图显示中具有小延迟的处理，并且被称为“低延迟处理”。此外，根据本实施方式，用于将过去捕获图像绘制为视图图像并延迟视图显示的第二处理是在视图显示中具有比“低延迟处理”更大的延迟的处理，并且在本说明书中被称为“高延迟处理”。
在本实施方式中，时间(识别所需的时间)被描述为识别的负荷的示例。本公开内容不限于此。例如，识别的负荷可以基于识别算法的种类或帧速率。
随后，控制单元100使视图绘制单元103将视图图像绘制到视图信息缓冲器中，并且使虚拟对象绘制单元102将虚拟对象绘制到虚拟信息缓冲器中(步骤S118)。这些绘图过程可以并行执行。
随后，如果识别时间等于或短于视图绘制时间(即，如果识别时间对应于第一负荷)(步骤S112/否)，则视图绘制单元103不改变视图绘制的对象。换言之，视图绘制单元103照常在视图信息缓冲器中绘制在最近成像时间处的捕获图像(即，直通图像)。
然后，控制单元100使显示处理单元104读取绘制在每个缓冲器中的信息，并且在显示单元150上显示信息(步骤S121)。具体地，显示处理单元104执行控制以显示叠加在视图图像上的虚拟对象。
重复步骤S103至步骤S121的处理，直到显示单元150的显示控制完成为止(步骤S124)。
上面具体描述了根据本实施方式的显示控制的流程。根据本公开内容的处理的顺序不限于图5的流程。例如，可以并行执行步骤S103中的成像和步骤S106中的识别。在完成识别时，识别单元101获取最新捕获图像作为随后的识别对象并开始识别。
<2-3.安全支持>
根据本实施方式的信息处理装置10可选地根据情况执行从用于将过去捕获图像显示为视图图像的高延迟处理(第二处理)切换到用于将当前(最新)捕获图像(直通图像)显示为视图图像的低延迟处理(第一处理)，从而支持安全性。
例如，当信息处理装置10的用户以指定速度或更高速度移动时，考虑到安全性，信息处理装置10执行控制以将高延迟处理切换到低延迟处理。在切换(从过去捕获图像的显示状态切换到当前捕获图像的显示状态)时，通过使用诸如使用根据速度在预定数目的帧上变形的视图图像(逐渐将视图图像带到当前/过去捕获图像)的措施，可以以降低的不自然度和人为性来实现切换。将在后面描述细节。
在切换到低延迟处理时，信息处理装置10可以通过改变要使用的识别算法的种类或增加帧速率来尽可能地缩短识别。这可以减少在低延迟处理期间虚拟对象的显示延迟。将在后面描述细节。
当移动对象出现在用户附近时，信息处理装置10可以执行控制以将高延迟处理切换到低延迟处理。如果用户可能与真实对象碰撞，则信息处理装置10可以停止叠加的虚拟对象的显示(通过低延迟处理来显示视图图像)。
下面将具体描述对每个安全项目的支持。
(1)高延时处理与低延时处理之间的切换控制
首先，下面将描述根据用户速度在高延迟处理与低延迟处理之间的切换控制。用户的速度是指将信息处理装置10佩戴或保持在头部等上的用户的速度。该速度也可以被称为信息处理装置10(至少相机120)的速度。除了高延迟处理与低延迟处理之间的切换控制之外，还设置用于停止虚拟对象的叠加的阈值。用于停止虚拟对象的叠加的阈值例如通过距离来设置。这样的阈值也称为叠加停止线。
图6是用于切换控制的叠加停止线和判断标准要素的说明图。如图6所示，信息处理装置10基于传感器单元140的感测和识别单元101的识别来获取自身位置P、自身速度s和距移动对象q的距离d。假设移动对象q是存在于真实空间中的对象和被重新定位(移动)的对象。例如，假设对象是人、自行车、汽车、自推进机器人或无人机。
信息处理装置10例如根据自身速度s设置用于停止虚拟对象的叠加显示的叠加停止线(距离D)。虚拟对象obj的显示位置可以包括深度信息。信息处理装置10在虚拟对象obj的显示位置比叠加停止线更近(靠近自身位置P)的情况下执行非显示控制，并且在虚拟对象obj的显示位置比叠加停止线更远的情况下执行显示控制。因此，在图6的示例中，显示位于比叠加停止线更远的虚拟对象V-obj1，而隐藏位于比叠加停止线更近的虚拟对象V-obj2。
此外，信息处理装置10可选地执行控制，以根据自身速度s和距移动对象q的距离d在高延迟处理与低延迟处理之间切换。
参照图7和图8，下面将描述低延迟/高延迟之间的切换的流程的示例。表1指示图7和图8中使用的针对自身速度s指定的阈值。
[表1]
低←→高
s1>s2>s3>s4>s5>s6
表2指示针对自身位置P和距移动对象q的距离d指定的阈值，在图7和图8中使用自身位置P和距离d。在表2中，“近”指示距自身位置P的短距离，而“远”指示距自身位置P的长距离。
[表2]
近←→远
d1>d2>d3
表3指示针对图7和图8中使用的叠加停止线指定的阈值(距自身位置P的距离D)。在表3中，“近”指示距自身位置P的短距离，而“远”指示距自身位置P的长距离。对于距离值建立d3<D4的关系。
[表3]
近←→远
D4>D5>D6>
–低延迟期间向高延迟的切换
图7是指示本实施方式的低延迟期间的切换的流程的示例的流程图。在低延迟期间，在视图显示中以小延迟执行控制。换言之，执行控制以将当前(最新)捕获图像绘制为视图图像，并在显示单元150上显示该图像。图7描述了在这种情况下向高延迟的切换。
如图7所指示的，首先，如果自身速度s大于(高于)s6(步骤S203/是)，则控制单元100将叠加停止线设置在D6(步骤S206)。
随后，如果自身速度s大于(高于)s5(步骤S209/是)，则控制单元100将叠加停止线设置在D5(步骤S212)。
此后，如果自身速度s大于(高于)s4(步骤S215/是)，则控制单元100将叠加停止线设置在D4(步骤S218)。
显示处理单元104执行处理，使得不叠加地显示位于比设置的叠加停止线更近(用户附近)的虚拟对象。下面将描述根据自身速度s和距移动对象q的距离d从低延迟切换到高延迟的处理。
如果自身速度s小于(低于)s2(步骤S221/否)，则控制单元100根据条件执行向高延迟处理(高延迟设置)的切换。
具体地，如果在用户与叠加停止线之间不存在移动对象q(步骤S224/否)，则控制单元100将视图绘制设置为高延迟(步骤S227)。换言之，根据本实施方式，控制单元100将视图绘制设置为用于在视图显示上执行延迟控制的模式，其中在缓冲器中绘制过去视图图像。在这种情况下，设置以下条件：
·条件1
自身速度s<s2
(注意，在用户与叠加停止线之间不存在移动对象q)
如果移动对象q存在于用户与叠加停止线之间(步骤S224/是)，则控制单元100确定自身速度s是否大于(高于)s1(步骤S230)。
如果自身速度s大于(高于)s1(步骤S230/是)，则控制单元100还确定距移动对象q的距离d是否大于(远于)d3(步骤S233)。
在距移动对象q的距离d大于(远于)d3的情况下(步骤S233/Yes)，控制单元100将视图绘制设置为高延迟(步骤S227)。在这种情况下，设置以下条件：
·条件2
s1<自身速度s<s2且距离d>d3
在步骤S230中，在确定自身速度s小于(低于)s1的情况下(步骤S230/否)，控制单元100进一步确定距移动对象q的距离d是否大于(远于)d1(步骤S236)。
如果距移动对象q的距离d大于(远于)d1(步骤S236/是)，则控制单元100将视图绘制设置为高延迟(步骤S227)。在这种情况下，设置以下条件：
·条件3
自身速度s<s1且距离d>d1
重复步骤S203至步骤S236的处理，直到低延迟处理完成为止(步骤S239)。
至此的描述已经说明了向高延迟的切换。如果不满足上述条件(步骤S221/是、步骤S233/否、步骤S236/否)，则控制单元100保持低延迟设置而不切换到高延迟。
-在高延迟期间到牵引延迟的切换
图8是指示根据本实施方式的高延迟期间的切换的流程的示例的流程图。在高延迟期间，在视图显示中以大延迟执行控制。换言之，执行控制以将过去捕获图像绘制为视图图像，并在显示单元150上显示该图像。图8描述了在这种情况下向低延迟的切换。
如图8所示，首先，在自身速度s大于(高于)s6的情况下(步骤S303/是)，控制单元100将叠加停止线设置在D6(步骤S306)。
随后，如果自身速度s大于(高于)s5(步骤S309/是)，则控制单元100将叠加停止线设置在D5(步骤S312)。
如果自身速度s大于(高于)s4(步骤S315/是)，则控制单元100将叠加停止线设置在D4(步骤S318)。
显示处理单元104执行处理，使得不重叠地显示位于比设置的叠加停止线更近(用户附近)的虚拟对象。
在自身速度s大于(高于)s6(步骤S303/是)、自身速度s大于(高于)s5(步骤S309/是)以及自身速度s大于(高于)s4(步骤S315/是)的所有情况下，控制单元100执行向低延迟处理(低延迟设置)的切换(步骤S321)。此外，在自身速度s大于(高于)s3的情况下(步骤S324/是)，控制单元100执行向低延迟处理(低延迟设置)的切换(步骤S321)。在这种情况下，设置以下条件：
·条件1
自身速度s>s3
如上所述，如果用户的速度超过阈值，则将高延迟处理切换到低延迟处理作为安全支持。
如果自身速度s小于(低于)s3(步骤S324/否)，则控制单元100根据条件执行向低延迟处理(低延迟设置)的切换。
具体地，控制单元100确定移动对象q是否存在于用户与叠加停止线之间(步骤S327)。
如果移动对象q存在于用户与叠加停止线之间(步骤S327/是)，并且距移动对象q的距离d小于(接近)d1(步骤S330/是)，则控制单元100执行向低延迟处理(低延迟设置)的切换(步骤S321)。在这种情况下，设置以下条件：
·条件2
自身速度s<s3且距离d<d1
如上所述，如果用户的速度没有超过阈值，但是移动对象非常接近用户，则将高延迟处理切换到低延迟处理作为安全支持。
如果在步骤S330中距离d大于(远于)d1(步骤S330/否)，则控制单元100确定自身速度s是否大于(高于)s1(步骤S333)。
如果自身速度s大于(高于)s1(步骤S333/是)，并且距移动对象q的距离d小于(接近)d2(步骤S336/是)，则控制单元100执行向低延迟处理(低延迟设置)的切换(步骤S321)。在这种情况下，设置以下条件：
·条件3
s1<自身速度s<s3且距离d<d2
如上所述，如果用户的速度没有超过阈值，但是移动对象接近用户，则将高延迟处理切换到低延迟处理作为安全支持。
重复步骤S303至步骤S336的处理，直到高延迟处理完成为止(步骤S339)。
至此的描述已经说明了向低延迟的切换。如果不满足上述条件(步骤S327/否、步骤S333/否、步骤S336/否)，则控制单元100保持高延迟设置而不切换到低延迟。
如在图7的步骤S221和图8的步骤S324中所示，当满足自身速度s>s3(即，s3用作高延迟的停止阈值)时，视图绘制单元103在高延迟处理期间切换到低延迟，并且当满足自身速度s<s2(即，s2用作高延迟的开始阈值)时，视图绘制单元103在低延迟处理期间切换到高延迟。由此在短时间内抑制高延迟的开始/停止的重复。
(2)切换时的措施
下面描述用于在高延迟处理与低延迟处理之间切换时减少不自然度和人为性的措施。
当在低延迟处理与高延迟处理之间切换时，控制单元100通过使用诸如使用在预定数目的帧上变形的视图图像(逐渐将视图图像带到当前/过去捕获图像)的措施，能够以减少的不自然度和人为性进行切换。例如，用于将视图图像带到当前/过去捕获图像的处理可以通过在捕获图像(视图图像)的绘制期间基于最新的自身位置使图像逐渐变形来实现。替选地，考虑到安全性，可以执行快速切换(无需将视图图像逐渐带到当前/过去捕获图像的处理)。
可以根据例如自身速度s来选择要使用哪一种切换方法。
-在逐渐将视图图像带到当前/过去捕获图像时进行切换
视图绘制单元103在要绘制的捕获图像的成像时间之后的预定时间基于信息处理装置10的自身位置使捕获图像变形，从而将图像逐渐带到当前/过去捕获图像。在这种情况下，可以通过使用例如由相机120捕获的图像中包括的视图图像的边缘来使图像变形。换言之，假设以比视图图像更大的视角来获取由相机120捕获的图像。视图绘制单元103通过在根据从成像时间的自身位置的改变(移动)在预定方向上移动通常位于捕获图像的中心的视图图像的范围之后执行绘制来实现图像变形。
图9是用于说明根据本实施方式的在从高延迟切换到低延迟时在预定数目的帧上切换视图图像的时序图。在图9的示例中，当在高延迟处理期间自身速度s超过s3时，高延迟处理切换到低延迟处理。
如图9所示，在高延迟处理期间的视图绘制Wf1和Wf2中，视图绘制单元103绘制例如紧接前一帧的捕获图像。在这种情况下，如果自身速度s超过s3，则视图绘制单元103从在自身速度s超过s3之后开始的视图绘制Wf3中，基于自身位置P来绘制图像变形之后的捕获图像。在图9的示例中，在视图绘制Wf3、Wf4和Wf5中(即，在三个帧上)使图像变形。帧的数目没有特别限制。
更具体地，例如，视图绘制Wf3中的视图绘制单元103基于时刻t1的自身位置P1变形并绘制由成像I2获取的捕获图像。随后，视图绘制Wf4中的视图绘制单元103基于时刻t2的自身位置P2变形并绘制由成像I3获取的捕获图像。然后，视图绘制Wf5中的视图绘制单元103基于时刻t3的自身位置P3变形并绘制由成像I3获取的捕获图像。然后，视图绘制单元103在视图绘制Wf6(低延迟处理)中绘制由成像I6获取的捕获图像。
具体地，由于在切换之前(在高延迟处理期间)绘制延迟了一帧的捕获图像，因此首先在延迟了四分之三帧的时刻t1、延迟了四分之二帧的时刻t2和延迟了四分之一帧的时刻t3，在自身位置P1处使要使用的捕获图像变形。这种延迟的逐渐减小可以减少在切换到低延迟时的不自然度和人为性。在t1至t3的时间间隔仅是示例性的，并且不必是规则间隔。
图10是用于说明根据本实施方式的在从低延迟切换到高延迟时在预定数目的帧上切换视图图像的时序图。在图10的示例中，在低延迟处理期间，在自身速度s低于s2的情况下，低延迟处理切换到高延迟处理。
如图10所示，在低延迟处理期间的视图绘制Wf1中，视图绘制单元103绘制当前(最新)捕获图像(通过成像I1获取的捕获图像)。在这种情况下，如果自身速度s低于s2，则视图绘制单元103从在自身速度s低于s2之后开始的视图绘制Wf2中，基于自身位置P绘制图像变形之后的捕获图像。在图10的示例中，在视图绘制Wf2、Wf3和Wf4中(即，在三个帧上)使图像变形。帧的数目没有特别限制。
更具体地，例如，视图绘制Wf2中的视图绘制单元103基于时刻t1的自身位置P1变形并绘制由成像I2获取的捕获图像。随后，视图绘制Wf3中的视图绘制单元103基于时刻t2的自身位置P2，变形并绘制通过成像I3获取的捕获图像。此后，视图绘制Wf4中的视图绘制单元103基于时刻t3的自身位置P3，变形并绘制通过成像I4获取的捕获图像。然后，视图绘制单元103在视图绘制Wf5(高延迟处理)中绘制通过成像I4获取的捕获图像(而不使图像变形)。
具体地，由于在切换之前(在低延迟处理期间)绘制最新捕获图像，因此首先在延迟四分之一帧的时刻t1、延迟四分之二帧的时刻t2和延迟四分之三帧的时刻t3，在自身位置P1处使要使用的捕获图像变形。这种延迟的逐渐增加可以减少在切换到高延迟时的不自然度和人为性。在t1至t3的时间间隔仅是示例性的，并且不必是规则间隔。
-快速切换
下面将描述考虑到安全性(没有用于逐渐将视图图像带到当前/过去捕获图像的处理)而执行的快速切换。
图11是用于解释根据本实施方式的在从高延迟切换到低延迟时的视图图像的快速切换的时序图。在图11的示例中，在高延迟处理期间自身速度s超过s4时，高延迟处理快速切换为低延迟处理。
如图11所示，在高延迟处理期间的视图绘制Wf1和Wf2中，视图绘制单元103绘制紧接前一帧的捕获图像。在这种情况下，如果自身速度s超过s4，则视图绘制单元103绘制在自身速度s超过s4之后开始的视图Wf3中的当前(最新)捕获图像(由成像I3获取的捕获图像)。因此，通过在自身速度s超过s4之后立即从视图绘制切换到当前捕获图像，可以实现支持安全性的快速切换。
图12是用于说明根据本实施方式的在从低延迟切换到高延迟时视图图像的快速切换的时序图。在图12的示例中，当在低延迟处理期间自身速度s下降到s1以下时，低延迟处理快速切换到高延迟处理。
如图12所示，在低延迟处理期间的视图绘制Wf1中，视图绘制单元103绘制当前(最新)捕获图像(由成像I1获取的捕获图像)。在这种情况下，如果自身速度s下降到s1以下，则视图绘制单元103绘制在自身速度s下降到s1以下之后开始的视图绘制Wf2中的紧接前一帧的捕获图像(由成像I1获取的捕获图像)。因此，通过在自身速度s下降到s1以下之后立即从视图绘制切换到过去捕获图像，可以实现支持安全性的快速切换。
(3)低延迟处理期间识别算法的变化
在识别中使用各种识别算法。例如，三维对象识别和骨骼估计算法可以识别位置和取向，但是导致相对长的处理时间。与三维对象识别和骨骼估计算法相比，二维对象识别往往具有比三维对象识别更短的处理时间，但是往往导致用于适当地叠加虚拟对象的真实空间识别不足。代替对象识别，用于跟踪来自先前帧的特征点的变化和该变化的方向的算法是可用的。这种算法可以与二维对象识别或三维对象识别等结合使用。
在这种情况下，当视图图像切换到低延迟处理时，控制单元100通过改变用于识别的算法来缩短识别时间，从而最小化虚拟对象的显示延迟(从真实对象的显示的位移)。
图13和图14指示当使用不同种类的识别算法时识别中更新的频率的示例。图13是指示使用三维对象识别算法时的识别中的更新的频率的示例的时序图。图14是指示使用二维对象识别算法时的识别中的更新的频率的示例的时序图。在图13与图14之间的比较中，使用三维对象识别算法的识别(位置和取向的识别)比使用二维对象识别算法的识别(位置的识别)更耗时，因此更新频率低。因此，当视图图像切换到低延迟处理时，识别单元101可以通过将三维识别算法改变为二维识别算法来缩短识别。
替选地，如图15所示，可以并行地执行与特征点的跟踪相结合的三维识别和二维识别。如果在二维识别中获得三维识别的结果，则输出三维识别的结果。当没有获得三维识别的结果时，输出结合特征点跟踪的二维识别的结果。换言之，在二维识别中使用特征点的跟踪结果，使得二维识别的结果可以接近三维识别的结果。因此，与单独的二维识别相比，可以用高频率的更新精确地执行识别。
参照图16，下面将描述基于与特征点的跟踪相结合的二维识别的虚拟对象的显示。图16的上行示出了仅基于二维识别而显示的虚拟对象。在显示图像210中，显示叠加在真实对象40上的虚拟对象32。在这种情况下，当用户移动时，真实对象42的位置和取向如显示图像211中所示地改变。在单独进行二维识别的情况下，只有要叠加的虚拟对象34的位置被正确地更新，而其取向被不自然地更新。
图16的下行示出了基于与特征点的跟踪相结合的二维识别而显示的虚拟对象。在显示图像215中，显示叠加在真实对象40上的虚拟对象32。在这种情况下，当用户移动时，真实对象42的位置和取向如显示图像216中所示地改变。视图绘制单元103通过与特征点的跟踪相结合的二维识别来估计取向的变化以绘制虚拟对象，由此显示虚拟对象36，同时减少取向中的人为性。
视图绘制单元103可以仅执行与特征点的跟踪相结合的二维识别。
<2-4.对触觉不匹配的支持>
下面将描述根据本实施方式的对触觉不匹配的支持。触觉不匹配可以由视图显示的延迟处理(高延迟处理)引起。
如果执行根据本实施方式的视图显示的延迟处理(高延迟处理)以减小虚拟对象的显示延迟，则显示在显示单元150上的视图图像相对于真实空间的景色延迟。这可能导致视觉和触觉之间的不匹配，例如，在视图图像中看不到触摸，但是在真实空间中的对象上可以感觉到触摸。图17是视觉与触觉之间的不匹配状态的说明图。图17示出了显示图像218(视图图像)。作为示例，假设用户实际持有的书等被交给其他人。
在图17中没有示出虚拟对象。假设根据本实施方式应用视图显示的延迟处理(高延迟处理)。因此，显示在显示单元150上的显示图像218相对于真实空间的景色延迟。因此，当用户将用手45握持的书46交到另一个人的手47时，书46可以在真实空间中被另一个人的手51触摸，而书46在显示图像218中没有被另一个人的手47触摸。此时，用户感觉到来自书46的阻力或振动，从而引起视觉与触觉之间的不匹配。
因此，在本实施方式中，作为支持触觉不匹配的示例，执行控制以显示用于帮助视觉消除触觉不匹配的虚拟对象。图18是示出根据本实施方式的支持触觉不匹配的示例的说明图。如图18所示，控制单元100在显示图像220(视图图像)中显示书46周围的帧图像37(虚拟对象)，从而在视觉上帮助另一人的手47触摸。所显示的帧图像37大到能够被另一人的手47触摸。因此，用户认识到用户实际持有的书46的帧图像37被另一人的手47触摸，从而减少与触觉的不匹配。帧图像37的大小根据另一人的手47的位置而改变。控制单元100根据对真实空间中的捕获图像的识别等来识别用户身体的至少一部分与真实空间中的对象接触，并执行控制，使得用于在视觉上帮助与对象的触摸的虚拟对象被叠加在视图图像上。用于视觉帮助触摸的虚拟对象的形状不限于图18的示例。
同样，在听觉与视觉之间可能发生不匹配。此外，在这种情况下，作为支持听觉不匹配的示例，控制单元100可以执行控制，使得用于视觉上帮助听觉的虚拟对象被叠加在视图图像上。例如，用于视觉上帮助触摸的虚拟对象的显示可以同时帮助触摸声音。
<2-5.每个虚拟对象的显示延迟的减少>
根据本实施方式的控制单元100可以通过对每个要识别的对象使用不同的识别算法(至少不同的识别时间)来进一步减小每个虚拟对象的显示延迟。这将参照图19和图20进行描述。
图19示出了根据本实施方式的多个虚拟对象的显示示例。如图19所示，作为示例，在显示图像240(视图图像)中显示虚拟对象38A和虚拟对象38B。虚拟对象38A例如是包括人48的姓名和部门的信息的图像，并且显示在人48周围。虚拟对象38B例如是叠加在人48的身体上时显示的图像。虚拟对象38B例如可以是虚拟衣服和配饰等的图像。
在这种情况下，虚拟对象38B在叠加在人48的身体上时被显示。与虚拟对象38A相比，虚拟对象38B相对于真实对象(人48)的显示延迟被期望地最小化。换言之，具有稍微大的显示延迟的虚拟对象38A几乎不引起不自然。
因此，在本实施方式中，将处理时间较短的识别算法用于显示叠加的虚拟对象38B的识别，由此减小虚拟对象38B相对于真实对象的显示延迟。下面参照图20提供具体描述。
图20是指示用于说明在根据本实施方式的信息处理装置中使用多个识别算法执行的显示控制的一系列处理的流程的时序图。如图20所示，识别单元101对通过成像I获得的捕获图像执行识别1和识别2。
例如，识别1和识别2是具有不同识别时间的识别算法。然后，当绘制虚拟对象时，虚拟对象绘制单元102获取识别1的识别结果R1-2和识别2的识别结果R2-1。识别结果R1-2是对由成像I3获取的捕获图像的识别，识别结果R2-1是对在成像I3之前由成像I1获取的捕获图像的识别。具体地，识别R2-1基于在识别R1-2的捕获图像之前获取的捕获图像。因此，基于识别结果R2-1从视图图像(例如，视图图像是通过成像I3获取的捕获图像)绘制的虚拟对象的显示延迟大于基于识别结果R1-2绘制的虚拟对象的显示延迟。
因此，虚拟对象绘制单元102基于识别结果R1-2绘制要被提供有较小显示延迟的虚拟对象38B，并且基于识别结果R2-1绘制即使具有比虚拟对象38B更大的显示延迟也几乎不引起不自然的虚拟对象38A。这可以适当地减少每个虚拟对象的显示延迟。在识别2中，识别算法可以用于使用识别结果仅识别与虚拟对象的绘制相关的真实对象。
<3.结论>
如上所述，在本公开内容的实施方式中，可以根据情况适当地减小虚拟对象的显示延迟。
已经参照附图详细描述了本公开内容的优选实施方式。本技术不限于这样的示例。明显的是，在本公开内容的技术领域中具有普通知识的技术人员可以在权利要求中阐述的技术思想的范围内构思各种修改示例或改变示例，并且应当理解，这些修改示例或改变示例自然也落入本公开内容的技术范围内。
例如，也可以在诸如信息处理装置10中的CPU、ROM和RAM的硬件中创建用于执行信息处理装置10的功能的计算机程序。还提供了其中存储有计算机程序的计算机可读存储介质。
在本说明书中描述的效果仅是说明性的或示例性的，而不是限制性的。换言之，根据本公开内容的技术可以表现出除了上述效果之外或代替上述效果的对于本领域技术人员而言从本文的描述中明显的其他效果。
本技术还可以如下配置：
(1)
一种包括显示控制单元的信息处理装置，其中，所述显示控制单元被配置成：
控制视频透视显示器，所述视频透视显示器被配置成显示由成像单元获取的捕获图像，
在基于预定捕获图像的真实空间的识别处理的负荷为第一负荷的情况下，将虚拟对象叠加在第一捕获图像上，所述虚拟对象是基于所述真实空间的识别处理而绘制的；
在所述识别处理的负荷是大于所述第一负荷的第二负荷的情况下，将所述虚拟对象叠加在第二捕获图像上，所述第二捕获图像是在所述第一捕获图像之前获取的。
(2)
根据(1)所述的信息处理装置，其中，所述第一负荷和所述第二负荷中的每个都与所述识别处理所需的时间有关。
(3)
根据(2)所述的信息处理装置，其中，所述第一负荷对应于所述识别处理所需的时间等于或短于用于绘制由所述成像单元获取的捕获图像的时间的情况，并且
所述第二负荷对应于所述识别处理所需的时间长于用于绘制由所述成像单元获取的捕获图像的时间的情况。
(4)
根据(1)至(3)中任一项所述的信息处理装置，其中，所述第一捕获图像是由所述成像单元获取并且被实时显示在所述视频透视显示器上的直通图像。
(5)
根据(4)所述的信息处理装置，其中，所述第二捕获图像是由所述成像单元获取的捕获图像，并且是比所述第一捕获图像早预定数目的帧的捕获图像。
(6)
根据(1)至(5)中任一项所述的信息处理装置，其中，在所述识别处理中，基于关于所述识别处理的开始时间的最新的捕获图像来进行所述真实空间的识别处理。
(7)
根据(1)至(6)中任一项所述的信息处理装置，其中，要显示在所述视频透视显示器上的捕获图像和要进行所述识别处理的所述预定捕获图像是在不同成像时间的不同捕获图像。
(8)
根据(1)至(7)中任一项所述的信息处理装置，其中，即使所述识别处理的负荷是大于所述第一负荷的第二负荷，所述显示控制单元也在预定条件下将所述虚拟对象叠加在所述第一捕获图像上。
(9)
根据(8)所述的信息处理装置，其中，所述预定条件与设置有所述成像单元和所述视频透视显示器的信息处理装置的移动速度有关。
(10)
根据(8)或(9)所述的信息处理装置，其中，所述预定条件与设置有所述成像单元和所述视频透视显示器的信息处理装置与所述真实空间中存在的运动对象之间的距离有关。
(11)
根据(1)至(10)中任一项所述的信息处理装置，其中，所述显示控制单元执行切换控制，以用于从在所述视频透视显示器上显示所述第二捕获图像并将所述虚拟对象叠加在所述第二捕获图像上的第二处理切换到在所述视频透视显示器上显示所述第一捕获图像并将所述虚拟对象叠加在所述第一捕获图像上的第一处理。
(12)
根据(11)所述的信息处理装置，其中，在所述切换控制中，执行以下处理：基于所述信息处理装置的最新的自身位置，将要显示在所述视频透视显示器上的捕获图像从所述第二捕获图像逐渐变形为所述第一捕获图像。
(13)
一种信息处理方法，包括：
使处理器执行视频透视显示器的显示控制，所述视频透视显示器被配置成显示由成像单元获取的捕获图像；
使所述处理器执行以下显示控制，在基于预定捕获图像的真实空间的识别处理的负荷为第一负荷的情况下，将虚拟对象叠加在第一捕获图像上，所述虚拟对象是基于所述真实空间的识别处理而绘制的；
使所述处理器执行以下显示控制，在所述识别处理的负荷是大于所述第一负荷的第二负荷的情况下，将所述虚拟对象叠加在第二捕获图像上，所述第二捕获图像是在所述第一捕获图像之前获取的。
(14)
一种存储有程序的存储介质，所述程序使计算机用作显示控制单元，
其中，所述显示控制单元被配置成：
控制视频透视显示器，所述视频透视显示器被配置成显示由成像单元获取的捕获图像，
在基于预定捕获图像的真实空间的识别处理的负荷为第一负荷的情况下，将虚拟对象叠加在第一捕获图像上，所述虚拟对象是基于所述真实空间的识别处理而绘制的；以及
在所述识别处理的负荷是大于所述第一负荷的第二负荷的情况下，将所述虚拟对象叠加在第二捕获图像上，所述第二捕获图像是在所述第一捕获图像之前获取的。
附图标记列表
10信息处理装置
100控制单元
101识别单元
102虚拟对象绘制单元
103视图绘制单元
104显示处理单元
110通信单元
120相机
130操作输入单元
140传感器单元
150显示单元
160扬声器
170存储单元

Claims (14)

1.一种包括显示控制单元的信息处理装置，其中，所述显示控制单元被配置成：
控制视频透视显示器，所述视频透视显示器被配置成显示由成像单元获取的捕获图像，
在基于预定捕获图像的真实空间的识别处理的负荷为第一负荷的情况下，将虚拟对象叠加在第一捕获图像上，所述虚拟对象是基于所述真实空间的识别处理而绘制的；
在所述识别处理的负荷是大于所述第一负荷的第二负荷的情况下，将所述虚拟对象叠加在第二捕获图像上，所述第二捕获图像是在所述第一捕获图像之前获取的。
2.根据权利要求1所述的信息处理装置，其中，所述第一负荷和所述第二负荷中的每个都与所述识别处理所需的时间有关。
3.根据权利要求2所述的信息处理装置，其中，所述第一负荷对应于所述识别处理所需的时间等于或短于用于绘制由所述成像单元获取的捕获图像的时间的情况，并且
所述第二负荷对应于所述识别处理所需的时间长于用于绘制由所述成像单元获取的捕获图像的时间的情况。
4.根据权利要求1所述的信息处理装置，其中，所述第一捕获图像是由所述成像单元获取并且被实时显示在所述视频透视显示器上的直通图像。
5.根据权利要求4所述的信息处理装置，其中，所述第二捕获图像是由所述成像单元获取的捕获图像，并且是比所述第一捕获图像早预定数目的帧的捕获图像。
6.根据权利要求1所述的信息处理装置，其中，在所述识别处理中，基于关于所述识别处理的开始时间的最新的捕获图像来进行所述真实空间的识别处理。
7.根据权利要求1所述的信息处理装置，其中，要显示在所述视频透视显示器上的捕获图像和要进行所述识别处理的所述预定捕获图像是在不同成像时间的不同捕获图像。
8.根据权利要求1所述的信息处理装置，其中，即使所述识别处理的负荷是大于所述第一负荷的第二负荷，所述显示控制单元也在预定条件下将所述虚拟对象叠加在所述第一捕获图像上。
9.根据权利要求8所述的信息处理装置，其中，所述预定条件与设置有所述成像单元和所述视频透视显示器的信息处理装置的移动速度有关。
10.根据权利要求8所述的信息处理装置，其中，所述预定条件与设置有所述成像单元和所述视频透视显示器的信息处理装置与所述真实空间中存在的运动对象之间的距离有关。
11.根据权利要求1所述的信息处理装置，其中，所述显示控制单元执行切换控制，以用于从在所述视频透视显示器上显示所述第二捕获图像并将所述虚拟对象叠加在所述第二捕获图像上的第二处理切换到在所述视频透视显示器上显示所述第一捕获图像并将所述虚拟对象叠加在所述第一捕获图像上的第一处理。
12.根据权利要求11所述的信息处理装置，其中，在所述切换控制中，执行以下处理：基于所述信息处理装置的最新的自身位置，将要显示在所述视频透视显示器上的捕获图像从所述第二捕获图像逐渐变形为所述第一捕获图像。
13.一种信息处理方法，包括：
使处理器执行视频透视显示器的显示控制，所述视频透视显示器被配置成显示由成像单元获取的捕获图像；
使所述处理器执行以下显示控制，在基于预定捕获图像的真实空间的识别处理的负荷为第一负荷的情况下，将虚拟对象叠加在第一捕获图像上，所述虚拟对象是基于所述真实空间的识别处理而绘制的；
使所述处理器执行以下显示控制，在所述识别处理的负荷是大于所述第一负荷的第二负荷的情况下，将所述虚拟对象叠加在第二捕获图像上，所述第二捕获图像是在所述第一捕获图像之前获取的。
14.一种存储有程序的存储介质，所述程序使计算机用作显示控制单元，
其中，所述显示控制单元被配置成：
控制视频透视显示器，所述视频透视显示器被配置成显示由成像单元获取的捕获图像，
在基于预定捕获图像的真实空间的识别处理的负荷为第一负荷的情况下，将虚拟对象叠加在第一捕获图像上，所述虚拟对象是基于所述真实空间的识别处理而绘制的；以及
在所述识别处理的负荷是大于所述第一负荷的第二负荷的情况下，将所述虚拟对象叠加在第二捕获图像上，所述第二捕获图像是在所述第一捕获图像之前获取的。
CN202180045233.1A 2020-06-30 2021-05-10 信息处理装置、信息处理方法和存储介质 Pending CN115917609A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-113039 2020-06-30
JP2020113039 2020-06-30
PCT/JP2021/017712 WO2022004130A1 (ja) 2020-06-30 2021-05-10 情報処理装置、情報処理方法、および記憶媒体

Publications (1)

Publication Number Publication Date
CN115917609A true CN115917609A (zh) 2023-04-04

Family

ID=79315183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180045233.1A Pending CN115917609A (zh) 2020-06-30 2021-05-10 信息处理装置、信息处理方法和存储介质

Country Status (4)

Country Link
US (1) US20230260220A1 (zh)
CN (1) CN115917609A (zh)
DE (1) DE112021003465T5 (zh)
WO (1) WO2022004130A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023242917A1 (ja) * 2022-06-13 2023-12-21 三菱電機株式会社 スマートグラスシステム、スマートグラス連携方法、サーバー装置およびサーバープログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4857196B2 (ja) * 2007-05-31 2012-01-18 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
JP2009048237A (ja) * 2007-08-13 2009-03-05 Canon Inc 画像処理装置、画像処理方法
JP6844542B2 (ja) 2015-09-16 2021-03-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6949475B2 (ja) * 2016-11-28 2021-10-13 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2021105749A (ja) 2018-03-20 2021-07-26 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
JP7121523B2 (ja) * 2018-04-10 2022-08-18 キヤノン株式会社 画像表示装置、画像表示方法
JP2020042592A (ja) * 2018-09-11 2020-03-19 ソニー株式会社 情報処理装置、描画制御方法及びそのプログラムを記録した記録媒体

Also Published As

Publication number Publication date
WO2022004130A1 (ja) 2022-01-06
US20230260220A1 (en) 2023-08-17
DE112021003465T5 (de) 2023-05-17

Similar Documents

Publication Publication Date Title
CN110189340B (zh) 图像分割方法、装置、电子设备及存储介质
CN110488977B (zh) 虚拟现实显示方法、装置、系统及存储介质
CN108027652B (zh) 信息处理设备、信息处理方法以及记录介质
JP6747504B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US9484005B2 (en) Trimming content for projection onto a target
US9541997B2 (en) Three-dimensional user interface apparatus and three-dimensional operation method
CN110809115B (zh) 拍摄方法及电子设备
US11372249B2 (en) Information processing device and information processing method
CN109743626B (zh) 一种图像显示方法、图像处理方法和相关设备
US20150205484A1 (en) Three-dimensional user interface apparatus and three-dimensional operation method
US20200202161A1 (en) Information processing apparatus, information processing method, and program
CN110868550B (zh) 一种拍照方法及终端设备电子设备
CN112287852B (zh) 人脸图像的处理方法、显示方法、装置及设备
CN107248137B (zh) 一种实现图像处理的方法及移动终端
US11244496B2 (en) Information processing device and information processing method
US20180316911A1 (en) Information processing apparatus
CN110807769B (zh) 图像显示控制方法及装置
CN115917609A (zh) 信息处理装置、信息处理方法和存储介质
JP7400721B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20190318503A1 (en) Non-transitory computer-readable storage medium, display apparatus, head-mounted display apparatus, and marker
CN110930372A (zh) 一种图像处理方法、电子设备及计算机可读存储介质
KR101488647B1 (ko) 모바일 단말의 가상 조명 동작방법 및 장치
CN109685881B (zh) 一种体绘制方法、装置及智能设备
CN111127539A (zh) 视差确定方法、装置、计算机设备及存储介质
CN112184802A (zh) 标定框的调整方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination