CN110546601B - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN110546601B
CN110546601B CN201880021403.0A CN201880021403A CN110546601B CN 110546601 B CN110546601 B CN 110546601B CN 201880021403 A CN201880021403 A CN 201880021403A CN 110546601 B CN110546601 B CN 110546601B
Authority
CN
China
Prior art keywords
user
information
specified
gaze
presenting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880021403.0A
Other languages
English (en)
Other versions
CN110546601A (zh
Inventor
齐藤真里
杉原贤次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110546601A publication Critical patent/CN110546601A/zh
Application granted granted Critical
Publication of CN110546601B publication Critical patent/CN110546601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00—Arrangements for display data security
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/14—Electronic books and readers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

根据本技术的实施方式的信息处理装置包括视线信息获取单元、输入信息获取单元和位置呈现单元。视线信息获取单元获取表示相对于指定对象的第一用户的注视位置的第一视线信息。输入信息获取单元获取与由所述第一用户或第二用户中的至少一方执行的输入有关的指定输入信息。位置呈现单元基于所述指定输入信息控制信息提供装置执行将不可视状态下所述第一用户的注视位置呈现给所述第二用户的位置呈现控制。

Description

信息处理装置、信息处理方法和程序
技术领域
本技术涉及可以使用与用户的视线有关的信息执行控制的信息处理装置、信息处理方法和程序。
背景技术
专利文献1公开了使用与用户视线有关的信息估计用户意图的技术。例如，基于相对于电子文件中文字的用户视线的特色量，确定用户是否难以理解该文字。当确定用户难以理解时，关于该文字自动参考词典(例如专利文献1说明书的第[0001]和[0060]到[0064]段)。
专利文献2公开了使用与用户视线有关的信息改变由用户输入的触摸操作的操作点的坐标。当操作点位于集中在位于视线末端的注视点的视线校正范围时，确定已经触摸注视点，然后改变操作点的坐标。当操作点位于视线校正范围之外时，确定操作部分本身已经被触摸，而不改变操作点的坐标(例如，专利文献2的说明书的第[0036]段和图5)。
引用目录
专利文献
专利文献1：日本专利申请特许公开号2004-246398
专利文献2：日本专利申请特许公开号2015-138426
发明内容
技术问题
如上所述，已经开发了使用有关用户视线的信息的各种技术，例如，需要可以在多个用户执行协作操作时提供高的操作性能的技术。
鉴于如上所述的情况，本技术的目的是提供能够改善多个用户执行的协作操作的操作性能的信息处理装置、信息处理方法和程序。
解决方案
为了实现如上所述的目的，根据本技术的实施方式的信息处理装置包括视线信息获取单元、输入信息获取单元和位置呈现单元。视线信息获取单元获取表示相对于指定对象的第一用户的注视位置的第一视线信息。输入信息获取单元获取与由所述第一用户或第二用户中的至少一方执行的输入有关的指定输入信息。位置呈现单元基于所述指定输入信息控制信息提供装置执行将不可视状态下所述第一用户的注视位置呈现给所述第二用户的位置呈现控制。
在该信息处理装置中，基于与第一用户或第二用户的至少一方执行的输入有关的指定输入信息将不可视状态下第一用户的注视位置呈现给第二用户。其结果是改善第一和第二用户执行的协作操作的操作性能。
根据本技术的实施方式的信息处理方法由计算机系统执行，并且包括获取表示相对于指定对象的第一用户的注视位置的第一视线信息。
获取与由所述第一用户或第二用户中的至少一方执行的输入有关的指定输入信息。
基于所述指定输入信息，控制信息提供装置执行将不可视状态下第一用户的注视位置呈现给第二用户的位置呈现控制。
一种根据本技术的实施方式的程序使计算机系统执行处理，该处理包括以下步骤：
获取表示相对于指定对象的第一用户的注视位置的第一视线信息；
获取与由所述第一用户或第二用户中的至少一方执行的输入有关的指定输入信息；和
基于所述指定输入信息，控制信息提供装置执行将不可视状态下第一用户的注视位置呈现给第二用户的位置呈现控制。
本发明的有益效果
如上所述，本技术能够改善多个用户执行的协作操作的操作性能。请注意，这里描述的效果不一定是限制性的，并且可能是本公开中描述的任何效果。
附图说明
图1示意地说明了根据实施方式的内容提供装置的外观。
图2是内容提供装置的功能配置的示例的方框图。
图3是说明内容提供装置的基本操作的示例的流程图。
图4是说明执行位置呈现控制的具体示例的流程图。
图5是说明其中执行图4中的流程的示例的示意图。
图6是说明其中执行图4中的流程的另一个示例的示意图。
图7是说明其中执行图4中的流程的还有再一个示例的示意图。
图8是说明其中执行图4中的流程的再一个示例的示意图。
图9是说明基于注视位置执行位置呈现控制的另一个示例的示意图。
图10是说明执行位置呈现控制的另一个示例的流程图。
图11是说明执行位置呈现控制的再一个示例的流程图。
图12是说明执行位置呈现控制的再一个示例的流程图。
图13是说明执行位置呈现控制的再一个示例的流程图。
图14是根据本技术的头部安装的显示器的配置的示例的透视图。
图15是根据本技术的头部安装的显示器的配置的示例的透视图。
具体实施方式
以下将参考附图描述根据本技术的实施方式。
[内容提供装置的配置]
图1示意地说明了根据本技术的实施方式的内容提供装置的外观。图2是该内容提供装置的功能配置的示例的方框图。
内容提供装置10是将内容提供给多个用户1的装置。在本实施方式中，电子图书40显示为对用户1a和1b可阅览。图1示出了电子图书40，其中两个页面42都打开以便显示为用于阅览电子图书40的阅览图像41。如在阅览真实世界书籍的情况下，可以通过翻动页面42来进行电子图书40的内容的阅读。
如图2中所示，内容提供装置10包括通信单元11、存储器12、显示单元13、操作单元14、摄像单元15、外部I/F(接口)16、话筒17、扬声器18、红外线(IR)通信单元19和控制器20。
通信单元11为用来通过网络例如LAN(局域网)或WAN(广域网)与其他装置通信的通信模块。可以设置例如Bluetooth(注册商标)的近距离无线通信用的通信模块。进一步地，可以使用通信设备，例如调制解调器或路由器。将内容(例如电子图书40)通过例如通信单元11下载至内容提供装置10。
存储器12为非易失性存储装置，存储器12的示例为HDD(硬盘驱动器)、SSD(固态开车)、闪速存储器及其他固态存储器。
存储器12在其内存储用于控制整个内容提供装置10的操作的控制程序、用于执行根据本技术的信息处理方法的应用程序和各种数据。将例如应用程序安装至内容提供装置10的方法不受限制。例如，可以通过任何通过例如各种记录介质或网络执行安装的方法来执行安装。
显示单元13为使用例如液晶或EL(电子发光)的显示装置。如图1中所示，将电子图书40显示在显示单元13上并被用户1a和1b阅览。操作单元14的示例为键盘、瞄准装置、触板及其他操作装置。当操作单元14包括触板时，该触板可以与显示单元13一体。
摄像单元15能够拍摄例如使用内容提供装置10的用户1a和1b的容貌以及上半身或全身的图像。例如，可以使用配备有图像传感器例如CMOS(互补金属氧化物半导体)或CCD(电荷耦合装置)的数字照相机作为摄像单元15。
外部I/F16为用于按照标准，例如USB和HDMI(注册商标)(高清晰度多媒体接口)与外部装置连接的接口。扩音器17能够采集用户1a和1b发出的声音。扬声器18能够输出声音。
IR通信单元19为用于执行与外部装置的IR通信的模块。在本实施方式中，内容提供装置10可以通过操作图1中示出的遥控器50来进行控制。这里，从遥控器50传输的红外命令(控制信号)被IR通信单元19接收。
控制器20包括对于电脑配置必需的硬件，例如CPU(中央处理器)、ROM(只读存储器)和RAM(随机存取存储器)。通过CPU将存储器12存储的控制程序下载至RAM并且执行控制程序来进行各种处理。
控制器20的具体配置不受限制，可以使用例如FPGA(字段可编程门阵列)、图像处理IC(集成电路)或ASIC(专用集成电路)等装置。
在本实施方式中，通过控制器20的CPU根据本实施方式执行程序来设置输入信息确定单元21、位置呈现控制单元22、视线检测器23、动作检测器24和声音确定单元25作为功能块。可以酌情使用专用硬件以设置各功能块。
在本实施方式中，由内容提供装置10获取表示各用户1的注视位置E的视线信息。表示注视位置E的视线信息为可以用来检测出各用户1的注视位置E的信息，并且典型地为关于各用户1的视线方向的信息。当然，其不限于有关视线方向的信息，并且可以获取例如有关注视位置E本身的信息。
在本实施方式中，通过视线检测器23使用摄像单元15拍摄的用户1的图像来检测各用户1的视线方向。然后，检测各用户1的注视位置E。视线检测器23能够确定各用户1的注视位置E在显示单元13上的所在位置。例如，如图1中所示，视线检测器23能够确定用户1a的注视位置Ea和用户1b的注视位置Eb在显示单元13上显示的电子图书40上的存在位置。
可以使用例如各用户1的眼球图像检测视线方向，或者使用各用户1的头部(面部)的方位检测视线方向。进一步地，可以采用任意的算法，并且可以使用机器学习，例如深度学习。在本实施方式中，摄像单元15和视线检测器23充当视线信息获取单元。
请注意，可以通过例如不同于内容提供装置10的装置生成表示各用户1的注视位置E的视线信息，并且可以将所生成的视线信息通过通信单元11或外部I/F16传输至内容提供装置10。在这种情况下，例如，接收表示注视位置E的视线信息的通信单元11充当视线信息获取单元。
如稍后所描述，在本实施方式中，执行各种位置呈现控制，其中用户1a和1b的一方为第一用户，另一方为第二用户。将哪个用户称为第一用户(第二用户)没有限制，并且用户1a和1b两者可以为第一用户(第二用户)。有关被称为第一用户的用户1的视线的视线信息为第一视线信息，有关被称为第二用户的用户1的视线的视线信息为第二视线信息。
请注意，代表各用户1的视线的箭头和各用户1的注视位置E在图1中给出。有关电子图书40的阅览方式的基本操作，视线和注视位置E不显示在显示电子图书40的阅览图像41上，并且处于不可视状态。这样避免防止电子图书40由于例如用户的注视位置E和他的/她的相对方的注视位置E被显示而被阅览。各用户1可以按他/她自己的进度进行阅读，而不被他的/她的相对方的注视位置E打扰。
进一步地，在本实施方式中，有关例如各用户1的面部表情、姿势、容貌(头部)和手的动作由使用摄像单元15拍摄的用户1的图像的动作检测器24来进行检测。然后，基于所检测的动作，生成手势信息，包括动作的具体内容，例如"手里握住遥控器50"、"触摸相对方用户1"、"两个用户1将其手放在一起"，和"用户1已经离开他的/她的座位"。
可以通过任意的用于例如使用机器学习等执行动作分析的技术来生成手势信息。请注意，可以通过不同于内容提供装置10的装置来生成有关用户1的手势的手势信息，并且可以将所生成的手势信息传输至内容提供装置10。
进一步地，在本实施方式中，通过使用麦克风17采集的声音的声音确定单元25来生成有关由于各用户1引起的声音的声音信息。可以使用任意的、使用机器学习等的声音分析技术来确定各用户1产生的声音的具体内容。
内容提供装置10是根据本技术的信息处理装置的实施方式，并且也是根据本技术的信息提供装置的实施方式。进一步地，内容提供装置10的显示单元13对应于提供指定内容的指定对象。当然，根据本技术的信息处理装置、信息提供装置和指定对象不限于由单个装置来设置。本技术也适用于由彼此不同的装置来对其进行设置的情况。
[位置呈现控制]
图3是示出了内容提供装置10的基本操作的示例的流程图。首先，由视线检测器23检测用户1a和1b的注视位置Ea和Eb(步骤101)。不断地执行注视位置Ea和Eb的检测，并且例如可以暂时存储有关从过去的时间点至目前为止的注视位置E的历史信息，过去的时间点是到目前为止经过了指定时段的时间点。
内容提供装置10检测是否已经获取了有关用户1a和1b的至少一方执行的输入的指定输入信息(步骤102)。在本实施方式中，将对应于操作遥控器50的各用户1传输的红外线命令的控制信息、有关用户1的视线的视线信息(注视位置E)、有关用户1的手势的手势信息和有关由于用户1发出的声音的声音信息输入至输入信息确定单元21，作为关于用户1执行的输入的输入信息。
输入信息确定单元21确定输入信息是否为预定输入信息。当确定结果为是(Yes)的时候，确定已经获取了指定输入信息，并且处理转至步骤103。例如，当例如输入指定控制信息、包括注视位置的指定移动的信息、包括指定手势的手势信息以及包括指定声音的声音信息时，确定已经获取了指定输入信息。在本实施方式中，输入信息确定单元21充当输入信息获取单元。
当已经获取了指定输入信息时(步骤102中"是")，位置呈现控制单元22执行位置呈现控制(步骤103)。基于获取的输入信息执行位置呈现控制。在本实施方式中，位置呈现控制单元充当位置呈现单元。
位置呈现控制是针对将不可视状态下的第一用户的注视位置呈现给第二用户的控制。例如，当图1中示出的用户1a为第一用户，图1中示出的用户1b为第二用户时，基于步骤102中获取的指定输入信息来执行针对将不可视状态下的用户1a的注视位置Ea呈现给用户1b的位置呈现控制。
例如，当用户1b为第一用户，用户1a为第二用户时，基于步骤102中获取的指定输入信息来执行针对将不可视状态下的用户1b的注视位置Eb呈现给用户1a的位置呈现控制。换言之，位置呈现控制也被认为是针对将不可视状态的一个用户1的注视位置E呈现给另一用户1的控制。
请注意，注视位置E的呈现不限于注视位置E的直接呈现，例如显示(如注视位置E上的光标)。例如，也包括可以知道注视位置E的大致位置(ballparkposition)的间接呈现。例如，注视位置E位于电子图书40的左页42或右页42之一的状态通过使页面42发光来呈现。进一步地，注视位置E位于阅览页面表示区域43的状态通过翻动页面42的一部分来呈现，该阅览页面表示区域43是其中注视位置E被设置在显示单元13的右下边缘部分的区域(参看例如图5)。这种呈现也包括在注视位置E的呈现中。
进一步地，注视位置E的呈现不限于通过控制显示单元13上显示的GUI(图形用户界面)而执行的呈现，并且还包括使用例如声音的呈现。可以采用任何方法作为呈现注视位置E的具体方法。
图4是示出了执行位置呈现控制的具体示例的流程图。图5是示出了其中执行图4中的流程的示例的示意图。在图4中示出的示例中，确定是否用户1a和1b的注视位置Ea和Eb中的两个或者一个位于指定位置(步骤202)。换言之，确定是否已经获取了表示各用户1的注视位置E位于指定位置的输入信息。
例如，如图5中所示，阅览页面表示区域43设置在作为指定对象的显示单元13的右下边缘部分(表示区域43的虚线未实际显示)。当用户1从左页42a开始阅读并且在右页42b结束阅读时，将阅览页面表示区域43酌情设置为包括用户1的注视位置E的区域。
例如，当用户1a和1b的注视位置Ea和Eb都位于阅览页面表示区域43内时，确定步骤202中为"是"。然后，执行翻动页面42和显示对应于后两个页面的页面42的位置呈现控制(步骤203)。
因此，在用户1a和1b两者都结束阅览页面42的时刻自动地翻动页面42。因此，当翻动页面的同时用户1a和1b执行协作操作以进行同一本电子图书40的阅读时，不需要就是否对于翻动页面无问题而达成一致。在用户1a和1b两者都结束阅读页面42的适当时刻自动地翻动页面42，这样提供非常高的操作性能。
对于翻动图5中示出的页面的控制是对于将位于阅览页面表示区域43的第一用户的注视位置呈现给第二用户的位置呈现控制。进一步地，对于翻动图5中示出的页面的控制可以是其中用户1a是第一用户的位置呈现控制或者是其中用户1b是第一用户的位置呈现控制。页面的翻动使得用户1a和1b知道他们的各自的相对方用户1也已经结束了至显示单元13的右下边缘部分的页面42的阅读。请注意，当用户1a和1b未意识到阅览页面表示区域43的位置时也自动地翻动页面。
当用户1a和1b的各自的注视位置Ea和Eb都位于阅览页面表示区域43时，可以通过被翻动的右页42b的右下端的一小部分来提示页面的翻动。可以在执行表示翻动页面的输入时，或者在未执行表示停止页面翻动的输入时，来翻动页面。这使得用户1a和1b两者都能够精确地获取希望翻动页面的时刻。
进一步地，可以基于表示在注视位置E顺序地从左页42a移动至右页42b之后已经进入阅览页面表示区域43a的输入信息，来执行对于翻动页面的位置呈现控制。这使得可以准确地决定确定各用户1已经结束页面42的阅读。此外，也使用表示注视位置E已经进入阅览页面表示区域43的有关注视位置的历史信息。例如，可以基于表示注视位置Ea和Eb都曾进入过阅览页面表示区域43的输入信息来执行对于页面翻动的位置呈现控制。因此，即使注视位置E比另一注视位置E更早地进入阅览页面表示区域43并且然后移动至不同的区域，当另一注视位置E进入阅览页面表示区域43时也会翻动页面。
请注意，阅览页面表示区域43的设置不限于其被设置在显示单元13的右下边缘部分的情况，并且它可以被设置在其他边缘部分。进一步地，可以在显示单元13的边缘部分设置区域，该区域对应于例如与页面42的阅览结束有关的行为或意图不同的行为或意图。此外，可以基于表示注视位置位于边缘部分中设置的区域中的指定输入信息来执行任意的位置呈现控制。
如上所述，可以基于表示注视位置E位于显示单元13中的指定位置的输入信息来执行位置呈现控制。当然，可以在将各用户1注视的、作为内容的电子图书40用作参考的状态下，设置指定位置。
例如，右页42b的下端为与对应于后两页的页面42的边界的位置。电子图书40的内容不推进，除非翻动目前显示的页面42。因而，右页42b的下端可以被认为是电子图书40的内容的推进停止的停止位置。可以在当注视位置Ea和Eb都进入对应于停止位置的右页42b的下端的区域时执行对于翻动页面的位置呈现控制。在该情况下，也提供与如上所述的效果类似的效果。
在图5中所示的示例中，对应于电子图书40的停止位置的区域是尺寸上基本上与显示单元13的右下边缘部分中设置的阅览页面表示区域43相等的区域。例如，如当电子图书40的尺寸小于显示单元13时，右页42b的下端的停止位置可以是不同于显示单元13附近的区域的区域。在该情况下，例如，可以通过再次将右页42b的停止位置设置为阅览页面表示区域43来执行类似的位置呈现控制。
当然，可以将页面42的其他位置设置为电子图书40的停止位置。例如，可以将内容的任意的位置，比如段落末尾的位置或章节空隙，设置为内容的停止位置。
在图6中所示的示例中，当一个用户1(用户1b)的注视位置E位于阅览页面表示区域43时执行对于翻动右页42b的右端的一小部分的位置呈现控制(步骤202中"是"，步骤203)。这使得另一用户1(用户1a)能够知道他的/她的相对方用户1已经结束了页面42的阅读。另一方面，这使得已经结束页面42的阅读的用户1能够知道他的/她的相对方用户1还未结束阅读。
对于翻动图6中示出的页面的一部分的控制是对于将位于阅览页面表示区域43的第一用户(用户1b)的注视位置E呈现给第二用户(用户1a)的位置呈现控制。请注意，假定如图5中所示执行当注视位置Ea和Eb进入阅览页面表示区域43时翻动页面42的位置呈现控制。在这种情况下，对于翻动图6中示出的页面的一部分的控制也可以被认为是将位于阅览页面表示区域43以外的区域的第一用户(用户1a)的注视位置E呈现给第二用户(用户1b)的位置呈现控制。
如图7中所示，可以执行当注视位置E位于阅览页面表示区域43时使用例如光标44直接显示位于阅览页面表示区域43的、一个用户1(用户1b)的注视位置E的位置呈现控制。这使得另一用户1(用户1a)能够知道他的/她的相对方用户1已经结束了页面的阅读。另一方面，这使得已经结束页面42的阅读的用户1能够知道他的/她的相对方用户1还未结束阅读。
如图8中所示，可以执行当另一用户1(用户1b)的注视位置E位于阅览页面表示区域43时使用例如光标45直接显示未进入阅览页面表示区域43的、一个用户1(用户1a)的注视位置E的位置呈现控制。这使得已经结束页面42的阅读的用户1能够知道他的/她的相对方用户1还未结束阅读并且知道相对方用户1正在阅读哪个部分。另一方面，这使得还未结束阅读的用户1能够知道他的/她的相对方用户1已经结束了阅读。
如在图6中示出的控制的情况下，图7和8中示出的控制也是将位于阅览页面表示区域43的第一用户(用户1b)的注视位置E呈现给第二用户(用户1a)的位置呈现控制。进一步地，它们也被认为是将位于阅览页面表示区域43以外的区域的、第一用户(用户1a)的注视位置E呈现给第二用户(用户1b)的位置呈现控制。
图9是示出了基于注视位置执行的位置呈现控制的另一示例的示意图。图9的A示出了用来选择要阅览的电子图书40的选择画面46。分别具有标题A到L的电子图书40的图标47显示在选择画面46上。存储器12在其中存储有关各图标47的位置的信息，特别是有关分别由相应图标47占据的图标区域48的信息。
如图9的A中所示，用户1a和1b的注视位置Ea和Eb两个都位于指定图标区域48，选择图标区域48中对应于图标47的电子图书40。然后，如图9的B所示，对于显示用来阅览所选的电子图书40的阅览图像41的位置呈现控制。因此，当两个用户执行协作操作以选择电子图书40时，将自动地选择两个用户所期望的电子图书40，而不需两个用户互相确认哪个电子图书40是他们的相对方所期望的。其结果是提供非常高的操作性能。
对于图9的A和B中示出的选择电子图书40的控制是将位于所选的电子图书40的图标区域48中的、第一用户的注视位置呈现给第二用户的位置呈现控制。进一步地，图9的A和B中示出的选择控制可以是其中用户1a是第一用户的位置呈现控制或者是其中用户1b是第一用户的位置呈现控制。电子图书40的选择使得用户1a和1b能够知道他们的相对方用户1已经选择了相同的电子图书40。
当一个用户1注视位置E停留在指定图标区域48中超过指定时段时，可以显示该一个用户1的注视位置E，或显示另一用户1的注视位置E，或显示两个用户1的注视位置。这使得用户1能够知道哪本电子图书40已经被他的/她的相对方选择，或知道相对方仍在考虑要选择哪本电子图书40。当然，可以使用例如光标直接地显示注视位置E，或可以通过注视位置E停留的图标47被突出来显示。
图10是示出了执行位置呈现控制的另一示例的流程图。如图10中所示，当用户1a和1b的注视位置Ea和Eb彼此具有指定位置关系时可以执行位置呈现控制(步骤302中"是"，步骤303)。例如，将各用户1的注视位置输入至输入信息确定单元21。输入信息确定单元21生成表示各用户1的注视位置E之间的位置关系的位置关系信息，并且确定所生成的位置关系信息是否为指定位置关系信息。当确定的结果为"是"时，确定已经获取了指定位置关系信息，然后执行位置呈现控制。
用户1的注视位置E分别对应于第一和第二用户的注视位置。表示各用户1的注视位置E之间的位置关系的位置关系信息对应于有关第一和第二用户的注视位置之间的位置关系的信息。哪个用户1对应于第一用户和第二用户的哪一个不受限制，并且任意用户1都可以是第一用户或第二用户。
指定位置关系信息的具体内容不受限制。换言之，什么时候执行对于各用户1的注视位置E彼此具有什么样的位置关系的位置呈现控制不受限制。例如，基于表示各用户1的注视位置E彼此关联的位置关系信息来执行位置呈现控制。
例如，可以基于表示各用户1的注视位置E在基本上恒等的方向上移动的位置关系信息来执行位置呈现控制。替代地，可以基于表示各用户1的注视位置E在基本上同时移动的位置关系信息来执行位置呈现控制。
例如，当用户1a和1b以基本上相等的速率在基本上相同的方向上阅读电子图书40的页面42上的相同文本时，执行将要显示的文本突出或者显示例如对应于文本的动画的位置呈现控制。这使得用户1能够知道用户1正在阅读与他的/她的相对方用户1相同的部分并且享受阅读。
进一步地，当电子图书40比如摄影图书或者绘画图书包含多个艺术作品并且当用户1a和1b在各自相同的时刻顺序地阅览相同的艺术作品时，执行例如提供音频指示或显示与所阅览的艺术作品相关的解说文本的位置呈现控制。这使得用户1a和1b能够共同享受相同的艺术作品的阅览。如上所述，不但可以提供高的工作性能，而且还提供出色的阅览体验。
进一步地，可以基于各用户1的注视位置E之间的距离执行位置呈现控制。例如，基于表示注视位置E之间的距离不大于给定值(阈值)的位置关系信息来执行位置呈现控制。例如，当用户1a和1b看着显示单元13的相同位置时执行推进内容比如翻动页面的位置呈现控制。可以在多个阶段设置给定值，并且可以根据注视位置E之间的距离分阶段地执行位置呈现控制。
例如，假定关于例如对于选择图9中示出的内容的控制，当用户1a和1b的注视位置停留在图标区域48中超过给定值的时段时，选择该内容。在这种情况下，可以根据图标区域48中注视位置E之间的距离控制确定停留时段所需的给定值。例如，如果注视位置E彼此较接近，那么停留时段的给定值较小。换言之，如果注视位置E彼此较接近，则更快地选择内容。进一步地，当注视位置E几乎重叠时，可以选择内容，而不需确定停留时段是多长。
图11是示出了执行位置呈现控制的再一个示例的流程图。如图11中所示，当获取了表示用户1的注视位置E已经移到他的/她的相对方用户1的输入信息时，可以执行位置呈现控制(步骤402中的"是"，步骤403)。
例如，当扫视的用户1为第一用户，而被扫视的用户为第二用户时，执行将第一用户的移动前的注视位置E可视化的位置呈现控制。这使得第一用户能够通知第二用户第一用户的注视位置(其移动前的注视位置)。
作为选择，可以执行将第一用户的注视位置E可视化的位置呈现控制，其中被扫视的用户为第一用户，扫视的用户为第二用户。这使得用户能够通过看相对方而知道他的/她的相对方的注视位置E。
图12是示出了执行位置呈现控制的再一个示例的流程图。如图12中所示，当由至少一个用户1输入指定声音时，可以执行位置呈现控制(步骤502中的"是"，步骤503)。换言之，当获取了关于由于第一和第二用户的至少一者引起的声音的指定声音信息时，可以基于获取的声音信息执行位置呈现控制。
例如，当输入包括指示语的声音时，执行位置呈现控制。例如，将发出例如"这个"、"它"或"那个"的用户1的注视位置E可视化。这样可以知道用户1指示了什么。当然，也包括例如对注视位置E重叠在其上的文本的突出和显示。进一步地，例如，可以根据指示语比如"这个"来选择注视位置E重叠的内容。此外，可以执行任意的位置呈现控制。可以通过与用户1引起的声音相关联地执行控制而进一步地改善协作操作的操作性能。
图13是示出了执行位置呈现控制的再一个示例的流程图。如图13中所示，当由至少一个用户1输入指定手势时，可以执行位置呈现控制(步骤602中的"是"，步骤603)。换言之，当获取了关于第一和第二用户的至少一者的手势的指定手势信息时，可以基于获取的手势信息执行位置呈现控制。
例如，当用户1"在他的/她的手里握着遥控器50"时，将用户1的注视位置E可视化。这样可以知道例如用户1正在看哪个菜单，并且知道使用遥控器50执行的操作的目标。进一步地，当"用户1已经离开他的/她的座位"时，呈现用户1在他/她离开前正在看什么。此外，当"两个用户1把他们的手放在一起"时，将各用户1的注视位置E可视化。可以执行此种任意的位置呈现控制。可以通过与用户的手势的相关联地执行控制而进一步地改善协作操作的操作性能。
如上所述，在根据本实施方式的内容提供装置10中，基于有关由第一和第二用户的至少一者执行的输入的指定输入信息，将不可视状态的第一用户的注视位置呈现给第二用户。这样进一步地改善第一和第二用户执行的协作操作的操作性能。
例如，如上使用示例所述，当多个用户1协同工作时，可以对使用注视位置(视线)的操作达成一致。例如，还可以通过共同注视共用的装置达成一致的同时共同执行操作。按特性，例如，可以共有相对方的视线以提示可操作的时刻；获取视线从操作目标到相对方的移动以执行操作；将用户共同注视的目标确定为操作目标；以及与话语相联系地确定操作。
进一步地，还可以通过执行位置呈现控制而知道相对方的意图。例如，可以自然地领会相对方希望翻动页面，而没有比如"我可以翻动页面吗？"的会话。例如，可以在例如结束阅读或者实现共同的兴趣的时刻，执行达成一致的操作，比如翻动页面或选择内容。换言之，各用户可以通过执行根据本实施方式的位置呈现控制来将他的/她的意图通知给他的/她的相对方。
<其他实施方式>
本技术不限于如上所述的实施方式，并且其可以实现其他各种实施方式。
上面已经描述了显示电子图书40的示例，但是本技术还适用于任何其他内容的提供。例如，直到接收到指定操作(包括例如视线的移动、声音和反应)才推进的内容被称为静止内容。换言之，静止内容可以被认为是其(自动)推进至少部分地被阻止直到输入指定操作的内容。如上所述的电子图书40也包括在静止内容里，因为不翻动页面42很难进行电子图书40的阅读。请注意，电子图书40可以被认为是原则上不推进除非输入具体操作的内容，即，其整体不是自动推进的内容。
本技术是适用于例如音乐内容、视频内容(移动内容)和例如web内容等等中包括的动画，音乐内容、视频内容和网内容等等作为静止内容创建。包括例如动画的音乐内容、视频内容和web内容等等可以被认为是包括自动地推进的部分和输入指定操作才推进的部分的内容。例如，当获取了与由用户1执行的输入有关的指定输入信息(典型地，与注视位置E有关的输入信息)时，执行例如使内容推进的位置呈现控制。当然，本申请不限于此。
例如，假定代替显示的电子图书40，由图1中示出的内容提供装置10播放音乐内容。换言之，假定内容提供装置10充当根据本技术的播放对象。在图3中的步骤102和103中，基于表示各用户1的注视位置E位于内容提供装置10上的输入信息来执行位置呈现控制。换言之，当用户1注视内容提供装置10时执行位置呈现控制。
例如，基于表示在播放的音乐内容的片段中用户1的注视位置E位于内容提供装置10上的输入信息，来执行位置呈现控制。在这种情况下，该音乐内容的片段可以认为是直到输入指定操作才推进内容的部分。例如，当例如唱片的每曲的结尾或者最后一曲的结尾是音乐内容的分隔点时，那么当用户1在到达该分隔点的时刻看向内容提供装置10时播放下一曲或下个唱片的第一曲。例如，所有正在看着内容提供装置10的多个用户1播放下一曲。因此，不需要通过例如会话来对是否播放下一曲达成一致，这样使得能够根据各用户1的意图自动地重放音乐内容。这样提供非常高的操作性能。
请注意，有关各用户1的视线的视线信息对应于第一视线信息。进一步地，例如，通过执行位置呈现控制例如播放下一曲而将内容提供装置10上的用户1的注视位置E提供给另一用户1(第二用户)。请注意，本技术也适用于除了静止内容以外的任何内容，并且可以提供高的操作性能。
进一步地，当播放视频内容时也可以执行类似的处理。例如，当例如视频内容的各段的结尾或者视频作品的结尾是视频内容的分隔点时，那么当用户1在到达该分隔点的时刻看向内容提供装置10时播放下一段或者下一视频作品。因此，不需要通过例如会话来对是否播放下一视频作品达成一致，这样使得能够根据各用户1的意图自动地重放视频内容。这样提供非常高的操作性能。
图14和15是可以用作根据本技术的信息处理装置和信息提供装置的头戴式显示器(HMD)的配置的示例的透视图。
图14中示出的HMD200是配有透射显示器的镜片装置，并且通过安装在用户1的头部使用。HMD200包括左右透镜201L和201R、左眼显示器202L和右眼显示器202R、左眼照相机203L和右眼照相机203R以及传感器204。
左右透镜201L和201R分别布置在用户的左眼前部和用户的右眼前部。左眼和右眼显示器202L和202R分别设置在左右透镜201L和201R中以覆盖用户1的视野。
左眼和右眼显示器202L和202R是透射显示器，并且例如左眼图像和右眼图像分别显示在左眼和右眼显示器202L和202R上。佩戴HMD200的用户1可以在视觉上同时确认真实世界景物和各显示器上显示的图像。这使得用户可以体验例如增强现实(AR)。
请注意，例如，可以在左眼和右眼显示器202L和202R的外侧(与用户1眼睛相对的一侧)设置光控元件(未示出)。光控元件为能够控制穿过光控元件传输的光的量的元件。例如，设置光控元件可以执行对于穿过各显示器传输的、由用户在视觉上确认的现实世界景物的控制，以及对由用户在视觉上确认的、在各显示器上显示的图像进行突出。这样能够使用户体验例如虚拟现实(VR)。
例如，将透射有机EL显示器或LCD(液晶显示、液晶显示元件)显示器用作左眼和右眼显示器202L和202R。进一步地，例如，将能够电控透射率的光控玻璃、光控纸张或液晶快门用作光控元件。
左眼和右眼照相机203L和203R分别设置在可以拍摄用户的左眼和右眼的图像的任意位置。例如，基于由左眼和右眼照相机203L和203R拍摄的左眼和右眼的图像来获取表示注视位置E的视线信息。
例如，将包括图像传感器例如CMOS互补金属氧化物半导体)传感器或CCD(电荷耦合装置)传感器的数字式照相机用作左眼和右眼照相机203L和203R。进一步地，例如，可以使用配备有红外线照射例如红外线LED的红外照相机。
传感器204的示例包括例如加速度传感器、陀螺仪和地磁传感器(九轴传感器)，传感器204获得如上所述有关用户1的动作的信息，用户1的动作包括用户1的移动和姿势(例如跑步、行走和停止)。可以基于由传感器204检测的用户1的头部(面部)的方位来获取表示注视位置E的视线信息。进一步地，可以设置能够获取用户1的生物信息的传感器，例如心跳传感器、排汗传感器、温度(体温)传感器和脑电波传感器，作为传感器204。此外，可以根据指定输入信息的获取(包括例如用户1的生物信息的变化)来执行位置呈现控制。
图15的A是HMD300的外观的示意透视图。图15的B是HMD300的示意分解图。HMD300包括安装在用户1的头部的安装部分301、布置在用户1的眼睛前部的显示单元302和配置为覆盖显示单元302的罩盖303。HMD300是配置为覆盖用户的视野的沉浸式头戴显示器，并且用作虚拟现实(VR)的HMD。
本技术可以用于可以通过佩戴这些HMD200和300而体验的虚拟空间中的虚拟对象。换言之，获取有关第一用户(第二用户)相对于虚拟对象的视线的第一视线信息(第二视线信息)。然后，可以基于有关第一和第二用户的至少一方执行的输入的指定输入信息来执行将第一用户在虚拟空间中的注视位置呈现给第二用户的位置呈现控制。当然，当AR空间通过佩戴HMD200而体验时，本技术适用于真实空间中的真实对象和AR空间中的虚拟对象两者。
在例如AR空间或VR空间的虚拟空间中，当用户与相对方沟通时，用户很难感受到与该用户协同作业的他的/她的相对方用户的存在，原因是该用户佩戴着例如HMD200。因此，很难对翻动页面或内容选择而达成一致。通过执行如上所述的根据本技术的位置呈现控制可以变得容易在虚拟空间中协同工作，并且这样提供高的工作性能。
任何装置都可以用作信息提供装置。使用具有图像显示功能或声音输出功能中的至少一种的装置，例如比如图1中示出的内容提供装置10。进一步地，使用能够显示虚拟现实图像或增强现实图像中的至少一种的装置，例如图14和15中示出的HMD200和200。此外，可以使用各种CE(消费类电子产品)装置例如，比如家用的电视装置、PC(个人电脑)、智能手机、平板终端、音频-视频接收机、视频监视器和游戏装置。
图1中示出的内容提供装置10同时作为根据本技术的信息处理装置和信息提供装置。然后，由位置呈现控制单元22执行内容提供装置10的位置呈现控制。配置不限于此，根据本技术的信息处理装置和信息提供装置可以彼此独立地配置，并且可以通过例如网络彼此可通信地连接。在这种情况下，信息处理装置的位置呈现控制单元控制信息提供装置执行位置呈现控制。
向其提供内容的用户1的数量没有限制，本技术适用于任意数量的用户1。当各用户1是第一用户时可以执行各种位置呈现控制。
以上已经描述了由用户1操作的电脑例如内容提供装置10、HMD200和HMD300执行根据本技术的信息处理方法的情况。然而，可以由用户操作的电脑和通过例如网络能够进行通信的其他电脑来执行根据本技术的信息处理方法和程序。进一步地，根据本技术的内容提供系统可以由用户1操作的电脑和彼此协同工作的其他电脑来构建。
换言之，根据本技术的信息处理方法和程序不仅可以在由单个电脑组成的计算机系统中执行，还可以在多个电脑彼此协同操作的计算机系统中执行。请注意，在本公开中，系统是指一组元件(例如装置和模块(组件))，无论所有元件是否在单个外壳内。因而，容纳在分离的外壳中并且彼此通过网络连接的多个装置，以及其中多个模块容纳在单个外壳中的单个装置都是系统。
有关例如获取与第一用户(第二用户)的视线有关的第一视线信息(第二视线信息)的处理；获取与第一和第二用户中的至少一方执行的输入有关的指定输入信息的处理；和控制信息提供装置执行位置呈现控制的处理，通过根据本技术的计算机系统、信息处理方法和程序进行的执行包括使单个电脑执行处理以及使不同的电脑执行各自的处理。进一步地，通过指定电脑执行各个处理包括使其他电脑执行处理的一部分或者所有处理并且获取其结果。
换言之，根据本技术的信息处理方法和程序也适用于其中多个装置分摊一个功能的任务并且通过网络协同工作以执行该一个功能的云计算的配置。
如上所述的根据本技术的特征的至少两个或者三个特征还可以结合。换言之，各实施方式中描述的各种特征可以选择性地结合，而不管是哪个实施方式。进一步地，如上所述的各种效果是非限定性的，而仅仅是说明性的，并且可以提供其他效果。
请注意，本技术还可以采取下列配置。
(1)一种信息处理装置，其包含：
视线信息获取单元，其获取表示相对于指定对象的第一用户的注视位置的第一视线信息；
输入信息获取单元，其获取与由所述第一用户或第二用户中的至少一方执行的输入有关的指定输入信息；和
位置呈现单元，其基于所述指定输入信息控制信息提供装置执行将不可视状态下所述第一用户的注视位置呈现给所述第二用户的位置呈现控制。
(2)根据(1)所述的信息处理装置，其中
所述视线信息获取单元获取表示相对于所述指定对象的所述第二用户的注视位置的第二视线信息，
所述输入信息获取单元获取与所述第一用户的注视位置和所述第二用户的注视位置之间的位置关系有关的位置关系信息作为所述指定输入信息，以及
基于所述位置关系信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
(3)根据(2)所述的信息处理装置，其中
基于表示所述第一用户的注视位置和所述第二用户的注视位置彼此相关联的所述位置关系信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
(4)根据(3)所述的信息处理装置，其中
基于表示所述第一用户的注视位置和所述第二用户的注视位置在实质上相同的方向上移动的所述位置关系信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
(5)根据(3)或(4)所述的信息处理装置，其中
基于表示所述第一用户的注视位置和所述第二用户的注视位置实质上同时地移动的所述位置关系信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
(6)根据(2)至(5)任一项所述的信息处理装置，其中
基于表示所述第一用户的注视位置和所述第二用户的注视位置之间的距离不大于指定值的所述位置关系信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
(7)根据(2)至(6)任一项的信息处理装置，其中
所述输入信息获取单元获取所述第一视线信息作为所述指定输入信息，以及
基于表示所述第一用户的注视位置存在于所述指定对象的指定位置的所述指定输入信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
(8)根据(7)所述的信息处理装置，其中
所述指定对象的所述指定位置为所述指定对象的边缘部分。
(9)根据(7)或(8)所述的信息处理装置，其中
所述指定对象为提供指定内容的对象，以及
所述指定对象的所述指定位置为所述第一用户和所述第二用户注视的所述指定内容的中止位置。
(10)根据(9)所述的信息处理装置，其中
所述指定内容为至少部分地阻止其推进直到输入指定操作的内容。
(11)根据(1)至(11)任一项所述的信息处理装置，其中
所述指定对象为播放音乐内容或动画内容的播放对象。
所述输入信息获取单元获取所述第一视线信息作为所述指定输入信息，以及
基于表示所述第一用户的注视位置存在于所述播放对象上的所述指定输入信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
(12)根据(11)所述的信息处理装置，其中
所述输入信息获取单元获取所述音乐内容或所述动画内容的分隔点中的所述第一视线信息作为所述指定输入信息，以及
基于表示所述音乐内容或所述动画内容的所述分隔点中的所述第一用户的注视位置存在于所述播放对象上的所述指定输入信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
(13)根据(1)至(12)任一项所述的信息处理装置，其中
所述输入信息获取单元获取所述第一视线信息作为所述指定输入信息，以及
基于指示所述第一用户的注视位置已经移动至所述第二用户的所述指定输入信息，所述位置呈现单元控制所述信息提供装置执行将所述移动前的所述第一用户的注视位置可视化的所述位置呈现控制。
(14)根据(1)至(13)任一项所述的信息处理装置，其中
所述输入信息获取单元获取有关所述第一用户或所述第二用户的至少一方引起的声音的声音信息作为所述指定输入信息，以及
基于所述声音信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
(15)根据(14)的信息处理装置，其中
基于包括由所述第一用户发出的指示语的所述声音信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
(16)根据(1)至(15)任一项所述的信息处理装置，其中
所述输入信息获取单元获取有关所述第一用户或所述第二用户的至少一方的手势的手势信息作为所述指定输入信息，以及
基于所述手势信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
(17)根据(1)至(16)任一项所述的信息处理装置，其中
所述信息提供装置具有图像显示功能或声音输出功能的至少一个。
(18)根据(1)至(17)任一项所述的信息处理装置，其中
所述信息提供装置能够显示虚拟现实图像或增强现实图像中的至少一种。
(19)一种计算机可读记录介质，其存储在程序中，所述程序使计算机系统执行以下处理：
获取表示相对于指定对象的第一用户的注视位置的第一视线信息。
获取与由所述第一用户或第二用户中的至少一方执行的输入有关的指定输入信息；和
基于所述指定输入信息控制信息提供装置执行将不可视状态下所述第一用户的注视位置呈现给所述第二用户的位置呈现控制。
参考符号列表
E、Ea、Eb注视位置
1、1a、1b用户
10 容提供装置
20 控制器
21 输入信息确定单元
22 位置呈现控制单元
23 视线检测器
24 动作检测器
25 声音确定单元
40 电子图书
42 页面
43 阅览页面表示区域
44、45 光标
47 图标
48 图标区域
50 遥控器
200、300HMD。

Claims (19)

1.一种信息处理装置，其包含：
视线信息获取单元，其获取表示相对于指定对象的第一用户的注视位置的第一视线信息以及表示相对于所述指定对象的第二用户的注视位置的第二视线信息；
输入信息获取单元，其获取与由所述第一用户或所述第二用户中的至少一方执行的输入有关的指定输入信息；和
位置呈现单元，其基于所述指定输入信息来控制信息提供装置执行将不可视状态下所述第一用户的注视位置呈现给所述第二用户的位置呈现控制，
其中，所述输入信息获取单元获取与所述第一用户的注视位置和所述第二用户的注视位置之间的位置关系有关的位置关系信息作为所述指定输入信息，并且所述位置呈现单元基于所述位置关系信息来控制所述信息提供装置执行所述位置呈现控制。
2.根据权利要求1所述的信息处理装置，其中
基于表示所述第一用户的注视位置和所述第二用户的注视位置彼此相关联的所述位置关系信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
3.根据权利要求2所述的信息处理装置，其中
基于表示所述第一用户的注视位置和所述第二用户的注视位置在实质上相同的方向上移动的所述位置关系信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
4.根据权利要求2所述的信息处理装置，其中
基于表示所述第一用户的注视位置和所述第二用户的注视位置实质上同时地移动的所述位置关系信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
5.根据权利要求1所述的信息处理装置，其中
基于表示所述第一用户的注视位置和所述第二用户的注视位置之间的距离不大于指定值的所述位置关系信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
6.根据权利要求1所述的信息处理装置，其中
所述输入信息获取单元获取所述第一视线信息作为所述指定输入信息，以及
基于表示所述第一用户的注视位置存在于所述指定对象的指定位置的所述指定输入信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
7.根据权利要求6所述的信息处理装置，其中
所述指定对象的所述指定位置为所述指定对象的边缘部分。
8.根据权利要求6所述的信息处理装置，其中
所述指定对象为提供指定内容的对象，以及
所述指定对象的所述指定位置为所述第一用户和所述第二用户注视的所述指定内容的中止位置。
9.根据权利要求8所述的信息处理装置，其中
所述指定内容为至少部分地阻止其推进直到输入指定操作的内容。
10.根据权利要求1所述的信息处理装置，其中
所述指定对象为播放音乐内容或动画内容的播放对象，
所述输入信息获取单元获取所述第一视线信息作为所述指定输入信息，以及
基于表示所述第一用户的注视位置存在于所述播放对象上的所述指定输入信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
11.根据权利要求10所述的信息处理装置，其中
所述输入信息获取单元获取所述音乐内容或所述动画内容的分隔点中的所述第一视线信息作为所述指定输入信息，以及
基于表示所述音乐内容或所述动画内容的所述分隔点中的所述第一用户的注视位置存在于所述播放对象上的所述指定输入信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
12.根据权利要求1所述的信息处理装置，其中
所述输入信息获取单元获取所述第一视线信息作为所述指定输入信息，以及
基于指示所述第一用户的注视位置已经移动至所述第二用户的所述指定输入信息，所述位置呈现单元控制所述信息提供装置执行将所述第一用户的移动前的注视位置可视化的所述位置呈现控制。
13.根据权利要求1所述的信息处理装置，其中
所述输入信息获取单元获取有关所述第一用户或所述第二用户的至少一方引起的声音的声音信息作为所述指定输入信息，以及
基于所述声音信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
14.根据权利要求13所述的信息处理装置，其中
基于包括由所述第一用户发出的指示语的所述声音信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
15.根据权利要求1所述的信息处理装置，其中
所述输入信息获取单元获取有关所述第一用户或所述第二用户的至少一方的手势的手势信息作为所述指定输入信息，以及
基于所述手势信息，所述位置呈现单元控制所述信息提供装置执行所述位置呈现控制。
16.根据权利要求1所述的信息处理装置，其中
所述信息提供装置具有图像显示功能或声音输出功能的至少一个。
17.根据权利要求1所述的信息处理装置，其中
所述信息提供装置能够显示虚拟现实图像或增强现实图像中的至少一种。
18.一种信息处理方法，其由计算机系统执行，所述信息处理方法包括以下步骤：
获取表示相对于指定对象的第一用户的注视位置的第一视线信息；
获取表示相对于所述指定对象的第二用户的注视位置的第二视线信息；
获取与由所述第一用户或所述第二用户中的至少一方执行的输入有关的指定输入信息，其中，获取与所述第一用户的注视位置和所述第二用户的注视位置之间的位置关系有关的位置关系信息作为所述指定输入信息；和
基于所述位置关系信息来控制信息提供装置执行将不可视状态下所述第一用户的注视位置呈现给所述第二用户的位置呈现控制。
19.一种存储有程序的计算机可读记录介质，所述程序使计算机系统执行处理，该处理包括：
获取表示相对于指定对象的第一用户的注视位置的第一视线信息；
获取表示相对于所述指定对象的第二用户的注视位置的第二视线信息；
获取与由所述第一用户或所述第二用户中的至少一方执行的输入有关的指定输入信息，其中，获取与所述第一用户的注视位置和所述第二用户的注视位置之间的位置关系有关的位置关系信息作为所述指定输入信息；和
基于所述位置关系信息来控制信息提供装置执行将不可视状态下所述第一用户的注视位置呈现给所述第二用户的位置呈现控制。
CN201880021403.0A 2017-04-03 2018-02-16 信息处理装置、信息处理方法和程序 Active CN110546601B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017073448 2017-04-03
JP2017-073448 2017-04-03
PCT/JP2018/005517 WO2018186031A1 (ja) 2017-04-03 2018-02-16 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN110546601A CN110546601A (zh) 2019-12-06
CN110546601B true CN110546601B (zh) 2023-09-26

Family

ID=63712464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880021403.0A Active CN110546601B (zh) 2017-04-03 2018-02-16 信息处理装置、信息处理方法和程序

Country Status (4)

Country Link
US (1) US11209900B2 (zh)
JP (1) JP7099444B2 (zh)
CN (1) CN110546601B (zh)
WO (1) WO2018186031A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021140195A (ja) * 2018-05-31 2021-09-16 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2020203999A1 (ja) * 2019-04-01 2020-10-08 住友電気工業株式会社 コミュニケーション支援システム、コミュニケーション支援方法、および画像制御プログラム
US11385726B2 (en) * 2020-06-01 2022-07-12 Science House LLC Systems, methods, and apparatus for enhanced presentation remotes
EP4172741A1 (en) 2020-06-30 2023-05-03 Snap Inc. Eyewear including shared object manipulation ar experiences
CN114527864B (zh) * 2020-11-19 2024-03-15 京东方科技集团股份有限公司 增强现实文字显示系统、方法、设备及介质
JP7296069B2 (ja) * 2021-01-28 2023-06-22 独立行政法人国立高等専門学校機構 視線入力装置、および視線入力方法
WO2023022109A1 (ja) * 2021-08-17 2023-02-23 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
JP7022250B1 (ja) 2021-10-04 2022-02-17 株式会社メディアドゥ バーチャルリアリティ又は拡張現実読書システム、書籍及び画像の３次元表示制御プログラム、ならびに、情報処理方法
US11520457B1 (en) * 2021-11-18 2022-12-06 Motorola Mobility Llc Cursor position based on focus of a glasses device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006107281A (ja) * 2004-10-07 2006-04-20 Queen Mary & Westfield College コミュニケーション支援装置
JP2009514090A (ja) * 2005-10-28 2009-04-02 トビイ テクノロジー アーベー 視覚的フィードバックを有するアイトラッカー
JP2016103109A (ja) * 2014-11-27 2016-06-02 富士通株式会社 表示装置、表示方法及び表示プログラム
WO2016151958A1 (ja) * 2015-03-20 2016-09-29 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9706711D0 (en) * 1997-04-02 1997-05-21 Philips Electronics Nv User interface with compound cursor
GB9800397D0 (en) * 1998-01-09 1998-03-04 Philips Electronics Nv Virtual environment viewpoint control
JP2004246398A (ja) 2003-01-29 2004-09-02 Nippon Telegr & Teleph Corp <Ntt> ユーザ意図推定装置，ユーザ意図推定方法，ユーザ意図推定プログラムおよびそのプログラムの記録媒体，並びに自動辞書引き装置，自動辞書引き処理方法，自動辞書引き処理プログラムおよびそのプログラムの記録媒体
US7727060B2 (en) * 2005-07-15 2010-06-01 Maurice Mills Land-based, on-line poker system
WO2007050029A2 (en) 2005-10-28 2007-05-03 Tobii Technology Ab Eye tracker with visual feedback
US7774703B2 (en) * 2006-02-09 2010-08-10 Microsoft Corporation Virtual shadow awareness for multi-user editors
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
US8723915B2 (en) * 2010-04-30 2014-05-13 International Business Machines Corporation Multi-participant audio/video communication system with participant role indicator
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
KR101891786B1 (ko) * 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
KR101872859B1 (ko) * 2012-01-20 2018-06-29 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
US9245497B2 (en) * 2012-11-01 2016-01-26 Google Technology Holdings LLC Systems and methods for configuring the display resolution of an electronic device based on distance and user presbyopia
JP5900388B2 (ja) * 2013-03-15 2016-04-06 コニカミノルタ株式会社 オブジェクト表示装置及び操作制御方法並びに操作制御プログラム
EP2837639B1 (en) * 2013-08-12 2020-02-26 Shin-Etsu Chemical Co., Ltd. Method for dehydrating hydrous low-substituted hydroxypropyl cellulose and method for producing low-substituted hydroxypropyl cellulose by using same
JP2015088086A (ja) * 2013-11-01 2015-05-07 ソニー株式会社 情報処理装置および情報処理方法
JP6165979B2 (ja) * 2013-11-01 2017-07-19 インテル コーポレイション 注視補助型タッチスクリーン入力
JP5968926B2 (ja) 2014-01-23 2016-08-10 京セラドキュメントソリューションズ株式会社 情報処理装置及び情報処理プログラム
KR20150096826A (ko) * 2014-02-17 2015-08-26 엘지전자 주식회사 디스플레이 장치 및 제어 방법
KR102193029B1 (ko) * 2014-05-09 2020-12-18 삼성전자주식회사 디스플레이 장치 및 그의 화상 통화 수행 방법
US9727136B2 (en) * 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration
US20150338939A1 (en) * 2014-05-23 2015-11-26 Microsoft Technology Licensing, Llc Ink Modes
JP6561988B2 (ja) * 2014-06-10 2019-08-21 株式会社ソシオネクスト 半導体集積回路およびそれを備えた表示装置並びに制御方法
US20150364140A1 (en) * 2014-06-13 2015-12-17 Sony Corporation Portable Electronic Equipment and Method of Operating a User Interface
US9766702B2 (en) * 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
JP6610546B2 (ja) * 2014-07-03 2019-11-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9678567B2 (en) * 2014-07-16 2017-06-13 Avaya Inc. Indication of eye tracking information during real-time communications
KR20160016468A (ko) * 2014-08-05 2016-02-15 삼성전자주식회사 리얼 3d 영상 생성 방법 및 그 장치
US10359842B2 (en) * 2014-09-16 2019-07-23 Ricoh Company, Limited Information processing system and information processing method
US20160147298A1 (en) * 2014-11-25 2016-05-26 Kobo Incorporated E-reading device page continuity bookmark indicium and invocation
US9300916B1 (en) * 2015-02-10 2016-03-29 International Business Machines Corporation Natural gazes during online video conversations
WO2016154123A2 (en) * 2015-03-21 2016-09-29 Mine One Gmbh Virtual 3d methods, systems and software
US10037312B2 (en) * 2015-03-24 2018-07-31 Fuji Xerox Co., Ltd. Methods and systems for gaze annotation
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
KR102415502B1 (ko) * 2015-08-07 2022-07-01 삼성전자주식회사 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
US10186086B2 (en) * 2015-09-02 2019-01-22 Microsoft Technology Licensing, Llc Augmented reality control of computing device
US9451210B1 (en) * 2015-12-10 2016-09-20 Google Inc. Directing communications using gaze interaction
US9691219B1 (en) * 2015-12-11 2017-06-27 Igt Canada Solutions Ulc Enhanced electronic gaming machine with electronic maze and eye gaze display
IL243422B (en) * 2015-12-30 2018-04-30 Elbit Systems Ltd Information management is displayed according to the directions of the user's gaze
US10133345B2 (en) * 2016-03-22 2018-11-20 Microsoft Technology Licensing, Llc Virtual-reality navigation
US10481682B2 (en) * 2016-03-29 2019-11-19 Google Llc System and method for generating virtual marks based on gaze tracking
US10466474B2 (en) * 2016-08-04 2019-11-05 International Business Machines Corporation Facilitation of communication using shared visual cue
US10410421B2 (en) * 2016-09-13 2019-09-10 3I, Corporation Method and server for providing virtual reality image about object
US9841814B1 (en) * 2017-01-27 2017-12-12 Emergent AR Platforms Corp. Intentional user experience
US10142686B2 (en) * 2017-03-30 2018-11-27 Rovi Guides, Inc. System and methods for disambiguating an ambiguous entity in a search query based on the gaze of a user

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006107281A (ja) * 2004-10-07 2006-04-20 Queen Mary & Westfield College コミュニケーション支援装置
JP2009514090A (ja) * 2005-10-28 2009-04-02 トビイ テクノロジー アーベー 視覚的フィードバックを有するアイトラッカー
JP2016103109A (ja) * 2014-11-27 2016-06-02 富士通株式会社 表示装置、表示方法及び表示プログラム
WO2016151958A1 (ja) * 2015-03-20 2016-09-29 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム

Also Published As

Publication number Publication date
CN110546601A (zh) 2019-12-06
US20200033942A1 (en) 2020-01-30
JP7099444B2 (ja) 2022-07-12
US11209900B2 (en) 2021-12-28
WO2018186031A1 (ja) 2018-10-11
JPWO2018186031A1 (ja) 2020-04-23

Similar Documents

Publication Publication Date Title
CN110546601B (zh) 信息处理装置、信息处理方法和程序
US11170580B2 (en) Information processing device, information processing method, and recording medium
US9886086B2 (en) Gesture-based reorientation and navigation of a virtual reality (VR) interface
US20220155909A1 (en) Methods for adjusting and/or controlling immersion associated with user interfaces
US9294670B2 (en) Lenticular image capture
KR102110208B1 (ko) 안경형 단말기 및 이의 제어방법
US11720171B2 (en) Methods for navigating user interfaces
US11270116B2 (en) Method, device, and system for generating affordances linked to a representation of an item
US20150213784A1 (en) Motion-based lenticular image display
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
US20230092282A1 (en) Methods for moving objects in a three-dimensional environment
US11768576B2 (en) Displaying representations of environments
US20230093979A1 (en) Devices, methods, and graphical user interfaces for content applications
US20240094819A1 (en) Devices, methods, and user interfaces for gesture-based interactions
US20240028177A1 (en) Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments
US20230221833A1 (en) Methods for displaying user interface elements relative to media content
EP3190503B1 (en) An apparatus and associated methods
WO2023230291A2 (en) Devices, methods, and graphical user interfaces for user authentication and device management
WO2018186004A1 (ja) 電子機器及びその制御方法
JP2018180050A (ja) 電子機器及びその制御方法
US20240103614A1 (en) Devices, methods, for interacting with graphical user interfaces
US20240104819A1 (en) Representations of participants in real-time communication sessions
US20240103678A1 (en) Devices, methods, and graphical user interfaces for interacting with extended reality experiences
US20240103677A1 (en) User interfaces for managing sharing of content in three-dimensional environments
US20240103684A1 (en) Methods for displaying objects relative to virtual surfaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant