CN114787874A - 信息处理装置、信息处理方法和记录介质 - Google Patents

信息处理装置、信息处理方法和记录介质 Download PDF

Info

Publication number
CN114787874A
CN114787874A CN202080085282.3A CN202080085282A CN114787874A CN 114787874 A CN114787874 A CN 114787874A CN 202080085282 A CN202080085282 A CN 202080085282A CN 114787874 A CN114787874 A CN 114787874A
Authority
CN
China
Prior art keywords
user
information processing
omnidirectional image
viewpoint position
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080085282.3A
Other languages
English (en)
Inventor
杉原贤次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114787874A publication Critical patent/CN114787874A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开内容涉及使得能够向用户提供自然视听体验的信息处理装置、信息处理方法和记录介质。根据本发明，控制单元在基于用户的视点位置的三维坐标系上控制对包括具有距离信息的多个对象的二维图像的显示。控制单元基于用户的感兴趣区域中的对象的距离信息，来控制与视点位置在真实空间中的移动量相对应的二维图像的显示倍率。例如，本公开内容可以应用于提供全向图像的HMD。

Description

信息处理装置、信息处理方法和记录介质
技术领域
本公开内容涉及信息处理装置、信息处理方法和记录介质，并且具体地，涉及使得能够向用户提供更自然的观看体验的信息处理装置、信息处理方法和记录介质。
背景技术
通过在佩戴在用户的头部上的头戴式显示器(HMD)上显示虚拟空间的图像来提供具有高度沉浸感的虚拟现实(VR)体验的常规技术是已知的。
专利文献1公开了一种呈现用于对虚拟空间中的预定区域执行缩放控制的图形用户接口(GUI)的技术。
引文列表
专利文献
专利文献1：日本专利申请特许公开第2019-139673号
发明内容
本发明要解决的问题
在VR体验中，期望提供自然用户接口(NUI)而不是GUI。例如，期望用户在真实空间中的向前和向后的移动反映在对虚拟空间中的对象的缩放控制中。
在VR体验中，例如，在三维地投影诸如全向图像的二维图像的情况下，提供反映用户的视点(头部)的旋转的三自由度(3DoF)的观看体验。然而，在三维地投影的二维图像中，由于用户的视点在前后方向、左右方向和上下方向上的平移移动没有如在6DoF中那样反映，因此存在用户感觉到不舒服的可能性。
鉴于这样的情况做出了本公开内容，并且本公开内容的目的是使得能够向观看三维地投影的二维图像的用户提供更自然的观看体验。
问题的解决方案
本公开内容的信息处理装置是一种信息处理装置，该信息处理装置包括：控制单元，其在以用户的视点位置为基准的三维坐标系中控制对包括具有距离信息的多个对象的二维图像的显示，其中，控制单元基于作为用户的感兴趣区域的对象的距离信息，来控制与该视点位置在真实空间中的移动量相对应的二维图像的显示倍率。
本公开内容的信息处理方法是一种信息处理方法，该信息处理方法包括：通过信息处理装置进行以下操作：在以用户的视点位置为基准的三维坐标系中控制对包括具有距离信息的多个对象的二维图像的显示；以及基于作为用户的感兴趣区域的对象的距离信息，来控制与该视点位置在真实空间中的移动量相对应的二维图像的显示倍率。
本公开内容的记录介质是一种记录有程序的计算机可读记录介质，该程序被配置成使得执行以下处理：在以用户的视点位置为基准的三维坐标系中控制对包括具有距离信息的多个对象的二维图像的显示；以及基于作为用户的感兴趣区域的对象的距离信息，来控制与该视点位置在真实空间中的移动量相对应的二维图像的显示倍率。
在本公开内容中，在以用户的视点位置为基准的三维坐标系中控制对包括具有距离信息的多个对象的二维图像的显示，并且基于作为用户的感兴趣区域的对象的距离信息来控制与该视点位置在真实空间中的移动量相对应的二维图像的显示倍率。
附图说明
图1是用于说明通过根据本公开内容的技术呈现二维图像的图。
图2是用于说明通过根据本公开内容的技术呈现二维图像的图。
图3是用于说明通过根据本公开内容的技术呈现二维图像的图。
图4是示出应用了根据本公开内容的技术的图像呈现系统的配置示例的图。
图5是用于说明图像在真实世界中的外观的图。
图6是用于说明图像在全向图像中的外观的图。
图7是示出根据本实施方式的HMD的外部配置的图。
图8是示出HMD的硬件配置示例的框图。
图9是示出HMD的功能配置示例的框图。
图10是用于说明全向图像的第一显示处理的流程图。
图11是用于说明全向图像的半径的变化的图。
图12是用于说明第一显示处理中的问题的图。
图13是用于说明全向图像的第二显示处理的流程图。
图14是用于说明全向图像的中心位置的移动的图。
图15是用于说明全向图像的中心位置的预期移动的图。
图16是用于说明第二显示处理中的问题的图。
图17是用于说明全向图像的第三显示处理的流程图。
图18是用于说明全向图像的第三显示处理的流程图。
图19是用于说明全向图像的中心位置在视点位置处的移动的图。
图20是示出计算机的配置示例的框图。
具体实施方式
在下文中，将描述用于实现本公开内容的模式(下文中称为实施方式)。注意，按如下顺序给出描述。
1.根据本公开内容的技术的概述
2.全向图像的呈现及其问题
3.HMD的配置
4.全向图像的第一显示示例
5.全向图像的第二显示示例
6.全向图像的第三显示示例
7.计算机配置示例
<1.根据本公开内容的技术的概述>
(二维图像的呈现)
应用根据本公开内容的技术(本技术)的图像呈现系统在以用户的视点位置为基准的三维坐标系中显示包括具有距离信息的多个对象的二维图像。
例如，如图1所示，在以用户10的视点位置U为原点的xyz坐标系中，在与用户10的视点位置U相距预定距离的位置处显示二维图像20。二维图像20不是包括计算机图形(CG)数据的三维图像，而是例如通过三维地投影通过对真实世界成像获得的二维数据而获得的图像。
二维图像20包括第一对象21和第二对象22。对象21和对象22中的每一个都具有距离信息。距离信息对应于例如在对二维图像20成像时摄像装置与对象21、22中的每一个之间的真实世界距离(实际距离)。在图1的示例中，假设对象22在真实世界中存在于比对象21远的位置处，并且在二维图像20中具有比对象21大的距离信息。
在应用本技术的图像呈现系统中，基于用户10的视线前方的对象的距离信息来控制与用户10的视点位置U在真实空间中的移动量相对应的二维图像20的显示倍率。具体地，在如图1中的箭头#1所示的那样用户10的视线在对象21上的情况与如箭头#2所示的那样用户的视线在对象22上的情况之间，使得与用户10的视点位置U的移动量相对应的二维图像20的显示倍率的变化量不同。
例如，在用户10的视线在对象21上的情况下，如图2所示，按照视点位置U接近二维图像20的量来放大并且显示二维图像20。
另一方面，在用户10的视线在对象22上的情况下，如图3所示，按照视点位置U接近二维图像20的量来放大并且显示二维图像20，并且显示倍率的变化量小于图2的示例中的变化量。
在真实世界中，在用户向前移动一定距离的情况下，更靠近用户的对象看起来更大，但距离用户较远的对象的外观变化不大。
在应用本技术的图像呈现系统中，随着用户10的视线前方的对象的距离信息越小，与视点位置U的移动量对应的二维图像20的显示倍率的变化量越大。另一方面，随着用户10的视线前方的对象的距离信息越大，与视点位置U的移动量对应的二维图像20的显示倍率的变化量越小。因此，可以向观看二维图像20的用户10提供接近真实世界的更自然的观看体验。
(图像呈现系统的配置示例)
图4是示出实现上述图像呈现的图像呈现系统的配置示例的框图。
图4中的图像呈现系统包括信息处理装置50和显示设备60。
信息处理装置50被配置为例如个人计算机(PC)。信息处理装置50将通过成像获得的二维图像提供给对二维图像进行三维投影的显示设备60。显示设备60被配置为例如佩戴在用户的头部上的HMD，并且包括非透射的显示单元。二维图像被显示在显示单元上。
信息处理装置50包括控制单元51和存储单元52。
控制单元51在以用户的视点位置为基准的三维坐标系中控制在存储单元52中存储的二维图像在显示设备60上的显示。存储单元52存储包括具有距离信息的多个对象的二维图像。控制单元51基于在显示设备60上显示的二维图像中的作为用户的感兴趣区域(感兴趣区域)的对象的距离信息，来控制与用户的视点位置在真实空间中的移动量相对应的二维图像的显示倍率。
注意，在图4中，信息处理装置50与显示设备60分开配置，但可以与显示设备60一体地配置。
在图4的图像呈现系统中，全向图像被呈现为二维图像，但本发明不限于此，并且例如，可以呈现180度半天球图像。
<2.全向图像的呈现及其问题>
全向图像通过固定视点位置与呈现表面之间的位置关系来再现由360度摄像装置捕获的360度图像。即使在观看全向图像的用户移动头部的情况下，全向图像也需要跟随头部的移动而被呈现。然而，在用户在观看全向图像时通过接近或注视图像中的对象来移动头部的情况下，全向图像的位置是固定的，并且因此全向图像的外观不匹配用户在真实世界中移动头部时的外观。
例如，如图5的左侧所示，假设用户10在真实世界的视野70中看着树71和房屋72。用户10与树71之间的距离为1m，并且用户10与房屋72之间的距离为3m。
在用户10从图5的左侧的状态起向前移动0.5m的情况下，如图5的右侧所示，用户10与树71之间的距离为0.5m，并且用户10与房屋72之间的距离为2.5m。此时，在用户10的视野70中，近处的对象(树71)仅通过稍微靠近就看起来很大，而远处的对象(房屋72)即使通过稍微靠近也不会在外观上变化太多。如上所述，真实世界中的外观随着对象越近而受到距离上的变化的影响。
另一方面，如图6的左侧所示，假设用户10在全向图像的观看区域80中观看树木71和房屋72。用户10与观看区域80之间的距离(全向图像的半径)为1m。
在用户10从图6的左侧的状态起向前移动0.5m的情况下，如图6的右侧所示，用户10与观看区域80之间的距离为0.5m。此时，在用户10的观看区域80中，近处的对象(树71)仅通过稍微接近就看起来很大，而远处的对象(房屋72)也仅通过稍微接近就看起来很大。如上所述，在全向图像中的外观中，所有对象都同样受到距离上的变化的影响。
在全向图像的位置固定并且用户的头部移动的情况下，观看区域的外观(图像的大小和位置)取决于视点位置与呈现表面之间的距离而改变。例如，在对全向图像成像时摄像装置与对象之间的实际距离与全向图像的半径相匹配的情况下，观看区域的外观与头部在真实世界中移动时的外观相匹配。另一方面，具有距摄像装置的不同的实际距离的各种对象反映在全向图像中。因此，在将全向图像的半径调整为特定对象的实际距离的情况下，全向图像的半径与其他对象的实际距离不匹配，存在用户感到不舒服的可能性。
因此，在下文中，将描述其中通过基于全向图像中的作为用户的感兴趣区域的对象的距离信息改变全向图像的半径来控制与用户的视点位置(头部)的移动量相对应的全向图像的显示倍率的配置。
<3.HMD的配置>
(外部配置)
图7是示出根据本实施方式的HMD的外部配置的图。
图7示出了佩戴在用户10的头部上的HMD 100。
HMD 100被配置为能够显示全向图像的显示设备，并且包括非透射显示器。全向图像110被显示在显示器上。
通过头部上佩戴HMD 100的用户10改变头部的取向来移动用户10在全向图像110中的视野(观看区域)。
(硬件配置示例)
图8是示出根据本实施方式的HMD 100的硬件配置示例的框图。
图8中的HMD 100包括中央处理器单元(CPU)121、存储器122、传感器单元123、输入单元124、输出单元125和通信单元126。这些部件经由总线127互连。
CPU 121根据存储在存储器122中的程序、数据等执行用于实现HMD 100的各种功能的处理。
存储器122包括诸如半导体存储器或硬盘的存储介质，并且存储供CPU 121处理的程序和数据。
传感器单元123包括各种传感器，例如图像传感器、麦克风、陀螺仪传感器和加速度传感器。由传感器单元123获取的各种类型的传感器信息也用于CPU 121的处理。
输入单元124包括按钮、按键、触摸面板等。输出单元125包括上述显示器、扬声器等。通信单元126被配置作为调解各种类型的通信的通信接口。
(功能配置示例)
图9是示出HMD 100的功能配置示例的框图。
图9中的HMD 100包括控制单元150、传感器单元160、存储单元170和显示单元180。传感器单元160、存储单元170和显示单元180分别对应于传感器单元123、存储器122和构成图8中的输出单元125的显示器。
控制单元150包括视点位置/视线方向获取单元151、头部位置和姿势获取单元152、半径设置单元153、感兴趣区域设置单元154和显示控制单元155。在控制单元150中包括的功能块通过图8中的CPU 121执行预定程序来实现。
视点位置/视线方向获取单元151基于由传感器单元160感测的用户10在真实空间中的视点位置和视线方向来获取用户10在虚拟空间中的视点位置和视线方向，并将视点位置和视线方向提供给半径设置单元153和感兴趣区域设置单元154。
头部位置和姿势获取单元152基于由传感器单元160感测到的用户10的头部在真实空间中的位置和姿势来获取用户10的头部在虚拟空间中的位置和姿势，并将位置和姿势提供给感兴趣区域设置单元154。
半径设置单元153基于由视点位置/视线方向获取单元151获取的用户10的视点位置来设置在存储单元170中存储的全向图像的半径。将半径被设置的全向图像提供给感兴趣区域设置单元154和显示控制单元155。
存储单元170存储全向图像171。全向图像171包括具有距离信息171a的多个对象。距离信息171a是在对全方向图像进行成像时获取的深度数据等。
感兴趣区域设置单元154基于由视点位置/视线方向获取单元151获取的用户10的视线方向在具有由半径设置单元153设置的半径的全向图像中设置用户10的感兴趣区域。将所设置的感兴趣区域提供给半径设置单元153。半径设置单元153基于作为由感兴趣区域设置单元154在全向图像中设置的感兴趣区域的对象的距离信息来设置全向图像的半径。
显示控制单元155使显示单元180显示具有由半径设置单元153设置的半径的全向图像。
在下文中，将描述HMD 100中的全向图像的显示示例。
<4.全向图像的第一显示示例>
(第一显示处理)
首先，将参照图10中的流程图来描述全向图像的第一显示处理。当将HMD 100佩戴在头部上的用户10开始观看全向图像时，执行图10的处理。
在步骤S11中，如图11的A所示，视点位置/视线方向获取单元151获取用户10在虚拟空间中的视点位置U和视线方向V。
用户10的视点位置U可以是HMD 100在真实空间中的位置，或者可以是HMD 100中包括的双目透镜之间的中间位置。此外，在估计出用户10的双眼的眼球位置的情况下在，视点位置U可以是双眼的眼球位置的中间位置。
用户10的视线方向V可以是通过内置在HMD 100中的视线检测设备获得的用户10的双眼的视线方向的中值，或者在仅可以获得一只眼睛的视线方向的情况下，可以是一只眼睛的视线方向。此外，根据由头部位置和姿势获取单元152获取的用户10的头部的位置和姿势估计的用户10的面部的取向可以是用户10的视线方向V。此外，从诸如由用户10操作的VR控制器的指向设备输入的方向可以被设置为用户10的视线方向V。
在步骤S12中，如图11的A中所示，半径设置单元153以用户10的视点位置U为中心位置P来设置全向图像的半径r，使得全向图像具有可视大小。换言之，呈现开始时的全向图像的大小对于用户10而言不是非可视的大小就足够了。非可视大小的示例包括全向图像的直径为小于用户10的两只眼睛之间的距离的大小，以及全向图像的半径在视图剪切范围之外或小于HMD 100的最短呈现距离的大小。
在步骤S13中，如图11的B中所示，感兴趣区域设置单元154根据用户10的视线方向V与全向图像的交点在全向图像上设置感兴趣区域A。
感兴趣区域A可以是视线方向V与全向图像的交点，或者可以是示出包括该交点的对象的对象区域。通过使用语义分割、视觉显著性图等在全向图像上指定对象来获得对象区域。此外，可以通过使用语义分割等获取全向图像上的深度数据来获得对象区域。
此外，在虚拟对象被布置在全向图像中的情况下，当用户10的视线方向V与布置在全向图像中的虚拟对象而不是全向图像上的对象相交时，虚拟对象的显示区域可以被设置为感兴趣区域A。
此外，在获取双眼的会聚角的情况下，可以基于视线方向V和会聚角来设置包括深度的搜索区域，并且可以将搜索区域附近的区域设置为感兴趣区域A。
在步骤S14中，如图11的B中所示，半径设置单元153基于存储在存储单元170中的距离信息171a来获取在对感兴趣区域A中示出的对象进行成像时到摄像装置的实际距离d。
在与感兴趣区域A对应的距离信息一致的情况下，将该距离信息设置为实际距离d。
在存在与感兴趣区域A对应的多条距离信息的情况下，将与感兴趣区域A中的特定点对应的距离信息设置为实际距离d。特定点是感兴趣区域A的中心、感兴趣区域A中的到摄像装置最近的点、具有最高显著性和视觉吸引力的点等。此外，也可以将与感兴趣区域A对应的距离信息的平均值或通过显著性等加权的加权平均值设置为实际距离d。
此外，在不存在与感兴趣区域A对应的距离信息的情况下，可以获取邻近区域的距离信息，或者可以获取基于用户10的双眼的视线方向和会聚角估计的深度信息作为距离信息。
在步骤S15中，如图11的C中所示，半径设置单元153以视点位置U为中心，改变全向图像的大小，使得全向图像的半径r与实际距离d相匹配。例如，全向图像的半径r随着作为感兴趣区域A的对象的距离信息的增加而增加。在图11的C的示例中，放大了全向图像，但是可以改变全向图像的半径r，使得根据所获取的实际距离d来缩小全向图像。
全向图像的半径r改变的定时可以是感兴趣区域A改变(用户10的视线移动)的定时，或者可以是用户10的头部(视点位置)在真实空间中移动的定时。此外，在虚拟摄像装置的位置由VR控制器等控制的配置中，全向图像的半径r可以在虚拟摄像装置移动的定时处改变。
在用户10的视点位置U由于全向图像的大小的改变(放大或缩小)或用户10的移动而离开全向图像的情况下，可以结合虚拟摄像装置的位置移动全向图像，使得用户10的视点位置U落入全向图像内。在这种情况下，可以通过增加全向图像中的透射率或降低全向图像的亮度来使全向图像非可见。
注意，在不存在与感兴趣区域A对应的距离信息的情况下，可以不改变全向图像的半径r。
现在，在步骤S15中，当全向图像的半径r改变时，在步骤S16中，确定用户10是否结束全向图像的观看。在确定用户10没有结束全向图像的观看的情况下，处理进行至步骤S17。
在步骤S17中，如图11的A中所示，视点位置/视线方向获取单元151更新(新获取)用户10在虚拟空间中的视点位置U和视线方向V。此后，处理返回至步骤S13，并且重复步骤S13和后续步骤中的处理。
另一方面，在步骤S16中，在确定用户10结束全向图像的观看的情况下，全向图像的显示处理结束。
根据以上处理，即使在用户在观看全向图像的同时移动头部的情况下，感兴趣区域的外观(图像的大小和位置)的变化也符合从全向图像感知的距离，并与用户在真实世界中移动头部时的外观相匹配。因此，可以向观看全向图像的用户提供更自然的观看体验，而不会给用户带来不舒服的感觉。
(第一显示处理的问题)
在上述第一显示处理中，如图12的A中所示，以用户10的视点位置U作为中心位置P来呈现全向图像。
然而，如图12的B中所示，在用户10的视点位置U由于用户10的头部的移动而移动的状态下全向图像的大小改变的情况下，用户10在全向图像中的观看区域改变。
具体地，如图12的C中所示，在用户10的视点位置U移动的情况下，当全向图像被放大成使得全向图像的半径r与实际距离d相匹配时，在图中由虚线指示的经放大的观看区域中示出了与放大之前的观看区域中的图像不同的图像。
<5.全向图像的第二显示示例>
(第二显示处理)
此处，参照图13的流程图，将描述全向图像的第二显示处理，在该第二显示处理中，在视点位置从全向图像的中心位置起移动的情况下改变全向图像的半径，使得用户的观看区域在视点位置移动之前和之后变得相同。当将HMD 100佩戴在头部上的用户10开始观看全向图像时，也执行图13的处理。
注意，图13的流程图的步骤S21至S24、S26和S27的处理分别与图10的流程图的步骤S11至S14、S16和S17的处理类似，并且因此省略其描述。
即，在步骤S24中获取在对感兴趣区域A中所示的对象进行成像时到摄像装置的实际距离d之后，在步骤S25中，半径设置单元153移动全向图像的中心位置，并使得全向图像的半径r与实际距离d相匹配。
具体地，如图14所示，当设置放大之前的全向图像的中心位置P'、放大之后的全向图像的中心位置P和用户10的视点位置U时，半径设置单元153将全向图像的半径r与实际距离d相匹配，使得满足PU＝d/rP'U。此处，PU表示从P到U的距离(矢量)，而P'U表示从P'到U的距离(矢量)。
例如，以用户10的视点位置U为基准，将从视点位置U到全向图像上的所有点的距离乘以d/r。因此，放大之后的全向图像的中心位置P移动到通过将从视点位置U到放大之前的全向图像的中心位置P'的距离乘以d/r获得的位置。因此，满足PU＝d/rP'U。
此外，使用放大之前的全向图像的中心位置P'和用户10的视点位置U，从PU＝d/rP'U获得PU。然后，放大之前的全向图像的中心位置P'移动到以用户10的视点位置U为基准的位置U-PU，并且将全向图像的半径r改变为实际距离d。
尽管以上已经描述了放大全向图像的示例，但是同样在缩小全向图像的情况下，以类似方式移动全向图像的中心位置，并且改变全向图像的半径。
根据以上处理，即使在用户10的视点位置U移动的情况下，也以移动之后的视点位置U为基准来改变全向图像的大小。因此，如图14所示，可以防止用户10在全向图像中的观看区域被改变。因此，可以向观看全向图像的用户提供更自然的观看体验，而不会给用户带来不舒服的感觉。
(第二显示处理的问题)
如图15所示，即使在用户10的视点位置U在观看全向图像期间移动的情况下，也期望视点位置U通过沿相同距离的相反方向的移动来返回到原始位置，使得可以观看与移动之前的全向图像相同的全向图像。
然而，在上述第二显示处理中，在用户10的视点位置U如图16的A中所示的那样移动的状态下改变全向图像的大小的情况下，全向图像的中心位置从P'移动到P，如图16的B中所示的那样。
从该状态起，如图16的C中所示，即使用户10的视点位置U返回到放大之前的全向图像的中心位置P'，用户10也无法观看与移动之前相同的全向图像。
<6.全向图像的第三显示示例>
此处，参照图17和图18中的流程图，将描述全向图像的第三显示处理，在该第三显示处理中，在视点位置朝向移动之前的全向图像的中心位置移动的情况下，将改变半径之后的全向图像的中心位置移动到移动之前的全向图像的中心位置。当将HMD 100佩戴在头部上的用户10开始观看全向图像时，也执行图17和图18的处理。
注意，图17和图18的流程图中的步骤S31、S32、S34至S36、S39和S40的处理分别与图13的流程图中的步骤S21至S27的处理类似，并且因此将省略其描述。
即，在步骤S32中以用户10的视点位置U作为中心位置P来设置全向图像的半径r之后，在步骤S33中，半径设置单元153将全向图像的中心位置P保持为放大之前的中心位置P'。
此后，在步骤S36中，全向图像的中心位置P移动，并且全向图像的半径r改变为实际距离d，并且然后在步骤S37中，半径设置单元153确定用户10的视点位置U是否正在朝向放大之前的中心位置P'移动。
例如，在用户10的视点位置U与放大之前的中心位置P'之间的距离的每单位时间的变化量等于或大于预定量的情况下，确定视点位置U正在朝向中心位置P'移动。此外，在用户10的视点位置U与放大之前的中心位置P'之间的距离等于或小于预定距离的情况下，可以确定视点位置U正在朝向中心位置P'移动。此外，在通过使用基于用户10的面部的取向和用户10的视点位置U的移动量和移动方向的机器学习的手势确定来检测到扭转头部的操作的情况下，可以确定视点位置U正在朝向中心位置P'移动。
如图19所示，在确定视点位置U正在朝向中心位置P'移动的情况下，处理进行至步骤S38，并且半径设置单元153将全向图像的中心位置P移动到放大之前的中心位置P'。
在全向图像的中心位置的移动中，可以控制移动速度。例如，全向图像的中心位置可以以预定的恒定速度移动，或者速度可以在移动期间改变，例如在移动的开始或结束时缓慢移动。此外，全向图像的中心位置可以以根据用户10的头部的移动速度的速度来移动。
此外，全向图像的中心位置可以根据用户10的视点位置U移动。例如，随着视点位置U接近放大之前的中心位置P'，放大之后的中心位置P可以接近放大之前的中心位置P'。具体地，当视点位置U与放大之前的中心位置P'之间的距离减半时，放大之后的中心位置P与放大之前的中心位置P'之间的距离可以以与视点位置U与放大之前的中心位置P'之间的距离相同的比率改变，例如，放大之后的中心位置P与放大之前的中心位置P'之间的距离减半。此外，通过对视点位置U与放大之前的中心位置P'之间的距离进行加权，可以随着视点位置U接近放大之前的中心位置P'而增大放大之后的中心位置P的移动量。
另一方面，在步骤S37中确定视点位置U没有朝向中心位置P'移动的情况下，处理进行至步骤S40，并且在用户10的视点位置U和视线方向V更新之后，处理返回至步骤S34。
根据以上处理，可以避免在用户10的视点位置U移动的情况下发生的全向图像的中心位置的偏差的累积。因此，当用户10的视点位置U返回至放大之前的全向图像的中心位置P'时，用户10可以观看与移动之前相同的全向图像。
<7.计算机配置示例>
上述一系列处理可以由硬件执行，或者可以由软件执行。在由软件执行一系列处理的情况下，将构成软件的程序安装在计算机上。此处，例如，计算机包括并入在专用硬件中的计算机和能够通过安装各种程序来执行各种功能的通用个人计算机等。
图20是示出由程序执行上述一系列处理的计算机的硬件的配置示例的框图。
在计算机中，CPU 501、只读存储器(ROM)502和随机存取存储器(RAM)503通过总线504相互连接。
输入和输出接口505还连接至总线504。输入单元506、输出单元507、存储单元508、通信单元509以及驱动器510连接至输入与输出接口505。
输入单元506包括键盘、鼠标、麦克风等。输出单元507包括显示器、扬声器等。存储单元508包括硬盘、非易失性存储器等。通信单元509包括网络接口等。驱动器510驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质511。
在如上所述配置的计算机中，例如，CPU 501经由输入和输出接口505以及总线504将存储在存储单元508中的程序加载到RAM 503中，并且执行该程序，使得上述一系列处理被执行。
例如，可以通过将由计算机(CPU 501)执行的程序记录在作为封装介质等的可移除介质511上来提供该程序。此外，可以经由有线或无线传输介质例如局域网、因特网或数字卫星广播来提供程序。
在计算机中，通过将可移除记录介质511安装到驱动器510，程序可以经由输入和输出接口505安装在存储单元508中。此外，可以通过通信单元509经由有线或无线传输介质接收程序，并将程序安装在存储单元508中。此外，可以将程序预先安装在ROM 502或存储单元508上。
注意，由计算机执行的程序可以是根据本说明书中描述的顺序按时间顺序进行处理的程序，或者可以是并行处理的程序或者在必要定时例如进行调用时进行处理的程序。
本公开内容的实施方式不限于上述实施方式，并且在不脱离本公开内容的主旨的情况下可以进行各种修改。
此外，本说明书中描述的效果仅是示例而不是旨在限制，并且可以提供其他效果。
此外，本公开内容可以采用以下配置。
(1)
一种信息处理装置，包括：
控制单元，其在以用户的视点位置为基准的三维坐标系中控制对包括具有距离信息的多个对象的二维图像的显示，
其中，所述控制单元基于作为所述用户的感兴趣区域的所述对象的距离信息，来控制与所述视点位置在真实空间中的移动量相对应的所述二维图像的显示倍率。
(2)
根据(1)所述的信息处理装置，
其中，第一对象和第二对象具有不同的距离信息，并且
所述控制单元在所述感兴趣区域是所述第一对象的情况与所述感兴趣区域是所述第二对象的情况之间改变所述显示倍率的变化量。
(3)
根据(2)所述的信息处理装置，
其中，在所述第二对象的距离信息大于所述第一对象的距离信息情况下，当所述感兴趣区域是所述第二对象时，与所述感兴趣区域是所述第一对象的情况相比，所述控制单元减小所述显示倍率的变化量。
(4)
根据(1)至(3)中任一项所述的信息处理装置，
其中，所述二维图像是全向图像，并且
所述控制单元通过基于作为所述感兴趣区域的所述对象的距离信息改变所述全向图像的半径，来控制与所述视点位置的移动量相对应的所述全向图像的显示倍率。
(5)
根据(4)所述的信息处理装置，
其中，所述距离信息是在对所述全向图像进行成像时摄像装置与所述对象之间的实际距离，并且
所述控制单元将所述全向图像的半径与到存在所述感兴趣区域的所述对象的实际距离相匹配。
(6)
根据(5)所述的信息处理装置，
其中，所述控制单元以所述视点位置为中心来改变所述全向图像的半径。
(7)
根据(6)所述的信息处理装置，
其中，在所述视点位置从所述全向图像的中心位置移动的情况下，所述控制单元改变所述全向图像的半径，使得所述用户的观看区域在所述视点位置的移动之前和移动之后变得相同。
(8)
根据(7)所述的信息处理装置，
其中，所述控制单元基于移动之后的所述视点位置来移动所述全向图像的中心位置，以改变所述全向图像的半径。
(9)
根据(8)所述的信息处理装置，
其中，在所述视点位置朝向移动之前的所述全向图像的中心位置移动的情况下，所述控制单元将所述半径被改变之后的所述全向图像的中心位置移动到移动之前的所述全向图像的中心位置。
(10)
根据(1)至(9)中任一项所述的信息处理装置，
其中，所述控制单元基于所述用户的视线方向与所述二维图像的交点来设置所述感兴趣区域。
(11)
根据(10)所述的信息处理装置，
其中，所述控制单元将在所述二维图像中示出包括所述交点的对象的区域设置为所述感兴趣区域。
(12)
根据(1)至(11)中任一项所述的信息处理装置，
其中，所述控制单元在所述感兴趣区域改变的定时处改变所述二维图像的显示倍率。
(13)
根据(1)至(11)中任一项所述的信息处理装置，
其中，所述控制单元在所述视点位置在真实空间中改变的定时处改变所述二维图像的显示倍率。
(14)
根据(1)至(13)中任一项所述的信息处理装置，
其中，所述控制单元使佩戴在所述用户的头部上的头戴式显示器(HMD)显示所述二维图像。
(15)
根据(14)所述的信息处理装置，
其中，所述视点位置是所述HMD的位置。
(16)
根据(14)所述的信息处理装置，
其中，所述视点位置是基于所述HMD的透镜的位置的位置。
(17)
一种信息处理方法，包括：
通过信息处理装置进行以下操作：
在以用户的视点位置为基准的三维坐标系中控制对包括具有距离信息的多个对象的二维图像的显示；以及
基于作为所述用户的感兴趣区域的所述对象的距离信息，来控制与所述视点位置在真实空间中的移动量相对应的所述二维图像的显示倍率。
(18)
一种记录有程序的计算机可读记录介质，所述程序被配置成使得执行以下处理：
在以用户的视点位置为基准的三维坐标系中控制对包括具有距离信息的多个对象的二维图像的显示；以及
基于作为所述用户的感兴趣区域的所述对象的距离信息，来控制与所述视点位置在真实空间中的移动量相对应的所述二维图像的显示倍率。
附图标记列表
50 信息处理装置
51 控制单元
52 存储单元
60 显示设备
100 HMD
121 CPU
122 存储器
123 传感器单元
124 输入单元
125 输出单元
126 通信单元
150 控制单元
160 传感器单元
170 存储单元
180 显示单元
151 视线位置/视线方向获取单元
152 头部位置和姿势获取单元
153 半径设置单元
154 感兴趣区域设置单元
155 显示控制单元
171 全向图像
171a 距离信息

Claims (18)

1.一种信息处理装置，包括：
控制单元，其在以用户的视点位置为基准的三维坐标系中控制对包括具有距离信息的多个对象的二维图像的显示，
其中，所述控制单元基于作为所述用户的感兴趣区域的所述对象的距离信息，来控制与所述视点位置在真实空间中的移动量相对应的所述二维图像的显示倍率。
2.根据权利要求1所述的信息处理装置，
其中，第一对象和第二对象具有不同的距离信息，并且
所述控制单元在所述感兴趣区域是所述第一对象的情况与所述感兴趣区域是所述第二对象的情况之间改变所述显示倍率的变化量。
3.根据权利要求2所述的信息处理装置，
其中，在所述第二对象的距离信息大于所述第一对象的距离信息情况下，当所述感兴趣区域是所述第二对象时，与所述感兴趣区域是所述第一对象的情况相比，所述控制单元减小所述显示倍率的变化量。
4.根据权利要求1所述的信息处理装置，
其中，所述二维图像是全向图像，并且
所述控制单元通过基于作为所述感兴趣区域的所述对象的距离信息改变所述全向图像的半径，来控制与所述视点位置的移动量相对应的所述全向图像的显示倍率。
5.根据权利要求4所述的信息处理装置，
其中，所述距离信息是在对所述全向图像进行成像时摄像装置与所述对象之间的实际距离，并且
所述控制单元将所述全向图像的半径与到存在所述感兴趣区域的所述对象的实际距离相匹配。
6.根据权利要求5所述的信息处理装置，
其中，所述控制单元以所述视点位置为中心来改变所述全向图像的半径。
7.根据权利要求6所述的信息处理装置，
其中，在所述视点位置从所述全向图像的中心位置移动的情况下，所述控制单元改变所述全向图像的半径，使得所述用户的观看区域在所述视点位置的移动之前和移动之后变得相同。
8.根据权利要求7所述的信息处理装置，
其中，所述控制单元基于移动之后的所述视点位置来移动所述全向图像的中心位置，以改变所述全向图像的半径。
9.根据权利要求8所述的信息处理装置，
其中，在所述视点位置朝向移动之前的所述全向图像的中心位置移动的情况下，所述控制单元将所述半径被改变之后的所述全向图像的中心位置移动到移动之前的所述全向图像的中心位置。
10.根据权利要求1所述的信息处理装置，
其中，所述控制单元基于所述用户的视线方向与所述二维图像的交点来设置所述感兴趣区域。
11.根据权利要求10所述的信息处理装置，
其中，所述控制单元将在所述二维图像中示出包括所述交点的对象的区域设置为所述感兴趣区域。
12.根据权利要求1所述的信息处理装置，
其中，所述控制单元在所述感兴趣区域改变的定时处改变所述二维图像的显示倍率。
13.根据权利要求1所述的信息处理装置，
其中，所述控制单元在所述视点位置在真实空间中改变的定时处改变所述二维图像的显示倍率。
14.根据权利要求1所述的信息处理装置，
其中，所述控制单元使佩戴在所述用户的头部上的头戴式显示器(HMD)显示所述二维图像。
15.根据权利要求14所述的信息处理装置，
其中，所述视点位置是所述HMD的位置。
16.根据权利要求14所述的信息处理装置，
其中，所述视点位置是基于所述HMD的透镜的位置的位置。
17.一种信息处理方法，包括：
通过信息处理装置进行以下操作：
在以用户的视点位置为基准的三维坐标系中控制对包括具有距离信息的多个对象的二维图像的显示；以及
基于作为所述用户的感兴趣区域的所述对象的距离信息，来控制与所述视点位置在真实空间中的移动量相对应的所述二维图像的显示倍率。
18.一种记录有程序的计算机可读记录介质，所述程序被配置成使得执行以下处理：
在以用户的视点位置为基准的三维坐标系中控制对包括具有距离信息的多个对象的二维图像的显示；以及
基于作为所述用户的感兴趣区域的所述对象的距离信息，来控制与所述视点位置在真实空间中的移动量相对应的所述二维图像的显示倍率。
CN202080085282.3A 2019-12-19 2020-12-04 信息处理装置、信息处理方法和记录介质 Pending CN114787874A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-229315 2019-12-19
JP2019229315 2019-12-19
PCT/JP2020/045173 WO2021124920A1 (ja) 2019-12-19 2020-12-04 情報処理装置、情報処理方法、および記録媒体

Publications (1)

Publication Number Publication Date
CN114787874A true CN114787874A (zh) 2022-07-22

Family

ID=76477306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080085282.3A Pending CN114787874A (zh) 2019-12-19 2020-12-04 信息处理装置、信息处理方法和记录介质

Country Status (5)

Country Link
US (2) US20230005101A1 (zh)
EP (1) EP4080463A4 (zh)
JP (1) JPWO2021124920A1 (zh)
CN (1) CN114787874A (zh)
WO (1) WO2021124920A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019164514A1 (en) * 2018-02-23 2019-08-29 Google Llc Transitioning between map view and augmented reality view
WO2023053796A1 (ja) * 2021-09-30 2023-04-06 株式会社Ｎｔｔドコモ 仮想空間提供装置
JP7492497B2 (ja) * 2021-12-27 2024-05-29 株式会社コロプラ プログラム、情報処理方法、及び情報処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1363246A4 (en) * 2001-02-23 2006-11-08 Fujitsu Ltd "DISPLAY CONTROL DEVICE, INFORMATION EQUIPMENT EQUIPPED WITH THE DISPLAY CONTROL DEVICE AND VIEWPOINT POSITION CONTROL DEVICE"
US11282287B2 (en) * 2012-02-24 2022-03-22 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
JP2016062486A (ja) * 2014-09-19 2016-04-25 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
CN107637060B (zh) * 2015-05-27 2020-09-29 谷歌有限责任公司 相机装备和立体图像捕获
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
KR20180037721A (ko) * 2016-10-05 2018-04-13 엘지전자 주식회사 디스플레이 장치
JP2018110375A (ja) * 2016-12-28 2018-07-12 株式会社リコー 表示装置、プログラム、表示方法
US10388077B2 (en) * 2017-04-25 2019-08-20 Microsoft Technology Licensing, Llc Three-dimensional environment authoring and generation
WO2019043025A1 (en) * 2017-08-29 2019-03-07 Koninklijke Kpn N.V. ZOOMING AN OMNIDIRECTIONAL IMAGE OR VIDEO
KR102389157B1 (ko) * 2017-09-19 2022-04-21 한국전자통신연구원 계층 프로젝션 기반 6-자유도 전방위 입체 영상 제공 방법 및 장치
JP6523493B1 (ja) * 2018-01-09 2019-06-05 株式会社コロプラ プログラム、情報処理装置、及び情報処理方法
JP2019139673A (ja) 2018-02-15 2019-08-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法およびコンピュータプログラム
EP3780595A4 (en) * 2018-04-11 2022-01-05 LG Electronics Inc. METHOD AND DEVICE FOR TRANSMISSION OF 360 DEGREE VIDEOS USING METADATA RELATING TO HOTSPOT AND ROI
KR102278848B1 (ko) * 2018-07-31 2021-07-19 엘지전자 주식회사 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치

Also Published As

Publication number Publication date
EP4080463A4 (en) 2023-02-08
EP4080463A1 (en) 2022-10-26
JPWO2021124920A1 (zh) 2021-06-24
WO2021124920A1 (ja) 2021-06-24
US20230005101A1 (en) 2023-01-05
US20240242307A1 (en) 2024-07-18

Similar Documents

Publication Publication Date Title
CN107209386B (zh) 增强现实视野对象跟随器
EP3311249B1 (en) Three-dimensional user input
US10013812B2 (en) Method and system for controlling a head-mounted display system
US20240242307A1 (en) Information processing apparatus, information processing method, and recording medium
EP3616030B1 (en) Navigating a holographic image
EP3855290A1 (en) Remote rendering for virtual images
AU2021242208B2 (en) Devices, methods, and graphical user interfaces for gaze-based navigation
JP6002286B1 (ja) ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
US20130326364A1 (en) Position relative hologram interactions
CN110300994B (zh) 图像处理装置、图像处理方法以及图像系统
EP3196734B1 (en) Control device, control method, and program
US20170358280A1 (en) Method of controlling head-mounted display system
US20180143693A1 (en) Virtual object manipulation
JP2017204674A (ja) 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
US20220291744A1 (en) Display processing device, display processing method, and recording medium
KR20230072757A (ko) 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법
US20200273146A1 (en) Movement within an environment
JP6963399B2 (ja) プログラム、記録媒体、画像生成装置、画像生成方法
JP2017021824A (ja) ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
US20240103680A1 (en) Devices, Methods, and Graphical User Interfaces For Interacting with Three-Dimensional Environments
JP6223614B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
EP3599539B1 (en) Rendering objects in virtual views
EP3702008A1 (en) Displaying a viewport of a virtual space
KR101473234B1 (ko) 신체 트래킹에 기반한 영상 디스플레이 방법 및 시스템
JP7118383B1 (ja) 表示システム、表示方法、及び表示プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination