CN111819518A - 信息处理设备、信息处理方法和记录介质 - Google Patents

信息处理设备、信息处理方法和记录介质 Download PDF

Info

Publication number
CN111819518A
CN111819518A CN201880090823.4A CN201880090823A CN111819518A CN 111819518 A CN111819518 A CN 111819518A CN 201880090823 A CN201880090823 A CN 201880090823A CN 111819518 A CN111819518 A CN 111819518A
Authority
CN
China
Prior art keywords
user
information processing
display
display object
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880090823.4A
Other languages
English (en)
Other versions
CN111819518B (zh
Inventor
斋藤真里
石川毅
横山谅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111819518A publication Critical patent/CN111819518A/zh
Application granted granted Critical
Publication of CN111819518B publication Critical patent/CN111819518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/107—Monophonic and stereophonic headphones with microphone for two-way hands free communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

[问题]为了提出一种能够改变真实空间的显示而不被通信伙伴注意到这种改变的信息处理设备、信息处理方法和记录介质。[解决方案]一种信息处理设备，包括：确定单元，其确定存在于第一真实空间中的第一用户是否正在注视被映射到不同于第一真实空间的第二真实空间的、并且由第一用户的显示设备显示的显示对象；以及显示控制单元，当注视状态切换为非注视状态时，所述显示控制单元改变显示对象的外观。

Description

信息处理设备、信息处理方法和记录介质
技术领域
本公开内容涉及信息处理设备、信息处理方法和记录介质。
背景技术
近年来，为了向用户呈现叠加在真实空间上的附加信息，称为增强现实(AR)的技术已经引起了注意。根据该AR技术，可以通过使用诸如文本、图标或动画的各种形式的虚拟对象来可视化呈现给用户的信息。此外，根据AR技术，呈现给用户的信息通常显示在与输入图像中捕获的任何一个真实对象相关联的位置处。
例如，在下述专利文献1中，公开了相对于以这样的AR技术呈现给用户的信息的控制来选择性地提高用户对期望信息的可视性的技术，所述期望信息在通过AR应用提供的多个信息中。
引用列表
专利文献
专利文献1：JP2013-218597A
发明内容
技术问题
然而，虽然根据AR技术与呈现给用户的信息的控制有关的常规技术能够使虚拟对象(AR虚拟对象)看起来自然，如同虚拟对象是现实对象一样，但是在现实对象被AR装饰或隐藏的情况下，通过AR自身的高可见性或者通过诸如AR的突然出现等突然改变而强调装饰或隐藏，并且因此在想要故意地对通信者隐藏他自己或他自己的空间中的真实对象的情况下，该常规技术是不合适的。
因此，本公开内容提出了一种使得能够在不被通信者注意到的情况下改变真实空间的显示的信息处理设备、信息处理方法和记录介质。
问题的解决方案
根据本公开内容，提供了一种信息处理设备，包括：确定单元，其确定存在于第一真实空间中的第一用户对于由第一用户的显示设备显示的显示对象的注视状态或非注视状态，所述显示对象与不同于第一真实空间的第二真实空间相关联；以及显示控制单元，当注视状态已被改变为非注视状态时，所述显示控制单元改变显示对象的外观。
根据本公开内容，提供了一种信息处理方法，其中，处理器执行包括以下操作的处理：确定存在于第一真实空间中的第一用户对于由第一用户的显示设备显示的显示对象的注视状态或非注视状态，所述显示对象与不同于第一真实空间的第二真实空间相关联；以及当注视状态已被改变为所述非注视状态时改变显示对象的外观。
根据本公开内容，提供了一种其中记录有程序的记录介质，所述程序用于使计算机用作以下装置：确定单元，其确定存在于第一真实空间中的第一用户对于由第一用户的显示设备显示的显示对象的注视状态或非注视状态，所述显示对象与不同于第一真实空间的第二真实空间相关联；以及显示控制单元，当注视状态已被改变为非注视状态时，所述显示控制单元改变显示对象的外观。
发明的有益效果
如上所述，根据本公开内容，真实空间的显示能够在不被通信者注意到的情况下改变。
上述效果不一定是限制性的，并且可以与该效果一起或者代替该效果实现本说明书中公开的任何效果或者能够从本说明书中感知的任何其他效果。
附图说明
图1是用于说明根据本公开内容的实施方式的信息处理系统的概要的图。
图2是用于说明根据本公开内容的实施方式的信息处理系统的系统配置的另一示例的图。
图3是示出根据本公开内容的实施方式的信息处理系统的配置的示例的图。
图4是示出根据本公开内容的实施方式的信息处理终端的配置的示例的框图。
图5是示出根据本公开内容的实施方式的服务器的配置的示例的框图。
图6是用于说明根据本公开内容的实施方式的在装饰控制中通过使用吸引对象来转移通信者的视线之后改变要装饰的显示对象的外观的示例的图。
图7是示出根据本公开内容的实施方式的操作处理中的修饰控制的流程的示例的流程图。
具体实施方式
下文将在参照附图的同时详细描述本公开内容的优选实施方式。在本说明书和附图中，将通过对具有基本相同的功能配置的部件分配相同的附图标记来省略重复的说明。
此外，将按以下顺序进行描述。
1.根据本公开内容的一个实施方式的信息处理系统的概要
2.配置
2-1. 信息处理终端10的配置
2-2. 服务器20的配置
3.操作处理
4.补充
5.结论
1.根据本公开内容的一个实施方式的信息处理系统的概要
图1是用于说明根据本公开内容的实施方式的信息处理系统的概要的图。根据该实施方式的信息处理系统1实现了空间A中存在的用户A与空间B中存在的用户B之间的通信，并且例如如图1所示包括：由头戴式显示器(HMD)等实现的信息处理终端10A，其被安装在存在于空间A中的用户A的头部上，并且具有输入和输出功能；以及由安装在存在于空间B中的用户B的头部上的HMD等实现的信息处理终端10B。信息处理系统1还可以包括外部摄像装置12，其捕获包括用户的空间中的视频(例如，房间的外观)。此外，根据该实施方式的信息处理系统1还可以包括经由网络连接至信息处理终端10A和信息处理终端10B的服务器20。
根据该实施方式的信息处理系统1借助于设置在信息处理终端10A中的外部摄像机12A和各种传感器获取空间A的信息(例如，图像和声音)，并且将该信息从信息处理终端10B输出到存在于空间B中的用户B。此外，信息处理系统1借助于设置在信息处理终端10B中的外部摄像装置12B和各种传感器获取空间B的信息(例如，图像和声音)，并将该信息从信息处理终端10A输出到存在于空间A中的用户A。因此，实时地实现了用户A与用户B之间的双向通信。
根据该实施方式，可以设想用于使用户在双向通信中彼此出现的各种方法。首先，如图1所示，将假设使用头戴式的HMD的情况作为根据该实施方式的信息处理终端10的一个示例。HMD广泛地指示头戴式的显示设备，并且可以具有例如借助于诸如头带的安装单元覆盖头部的形状，或者由耳朵支撑的眼镜形状。显示器的类型可以是：利用显示单元覆盖全部视野的非透射型(也称为沉浸式HMD)；视频透射型(也称为视频透视HMD)，其利用显示单元覆盖全部视野，借助于外部摄像装置拍摄外部如何出现的图像，以及在显示单元上显示该图像；所谓的光学透视型，在能够借助于具有光学透明性的显示单元视觉地识别外部环境的状态下，通过该光学透视型将图像叠加地显示在真实空间上；或者是视网膜投影型，其借助于保持在用户眼睛前方的投影单元(对应于投影仪)向用户眼睛投影图像。此外，HMD不一定是向两个眼睛呈现图像的显示器，而可以是仅向一个眼睛呈现图像的显示器。
沉浸式类型能够通过借助于头戴式耳机等进一步覆盖耳朵以阻挡外部环境上的信息来增加沉浸感，并且优选地用于虚拟现实(VR)。此外，透视型和视网膜投影型允许用户在日常佩戴HMD的状态下生活，并且优选地用于增强现实(AR)，如在要呈现与存在于用户的眼睛前方的真实对象有关的信息的情况下。
可以使用上述各种显示器类型中的任何一种的HMD设置有例如：向外摄像装置，其捕获外部环境的图像；向内摄像装置，其捕获佩戴HMD的人的面部或眼睛的图像；视线传感器(诸如红外传感器或视觉电位传感器，其中向外/向内摄像装置可以用作视线传感器)；和/或陀螺仪/加速器传感器。
此外，可以设想用于在根据本实施方式的信息处理系统1中使用户在双向通信中彼此出现的各种方法。例如，当信息处理系统1在用户B的信息处理终端10B的显示单元上显示包括用户A的房间的视频时，该视频已经由外部摄像装置12A捕获，信息处理系统1可以从所捕获的视频中提取预定对象(真实对象)，例如用户A或用户A所坐的椅子，并且将叠加在空间B上的预定对象显示在用户B所佩戴的光学透视型信息处理终端10B的显示单元上(对于所谓的AR，其中要叠加显示的对象可以是例如3D图像)。因此，用户B能够与用户A通信，就好像用户A存在于空间B中一样。或者，信息处理系统1能够通过将由外部摄像装置12A捕获的包括用户A的房间的视频显示在由用户B佩戴并且覆盖用户视野的非透射型HMD的信息处理终端10B上来提供好像用户B和用户A正在一起停留在空间A中的沉浸感。
此外，信息处理终端10不一定是如上所述的HMD，并且可以设想各种显示设备，例如PC、笔记本PC、电视设备、智能电话、平板终端、便携式电话终端和投影仪。图2示出了根据该实施方式的系统配置的另一示例。如图2所示，例如，借助于存在于空间A中的笔记本PC等在信息处理终端10a处输出关于空间B的信息(图像和声音)，并且借助于存在于空间B中的笔记本PC等在信息处理终端10b处输出关于空间A的信息(图像和声音)。具体地，例如，可以通过设置在信息处理终端10中的摄像装置111来获取包括用户的空间的视频。
例如，当在空间B中存在的信息处理终端10B处呈现用户A所在的空间A的视频时，用户B可能不希望看到空间A的视频中包括的用户A周围存在的真实对象40a至40f。例如，当在远程办公(也称为远程通信，意味着用户经由因特网从家等工作的工作形式)中用户的家和用户的办公室经由视频连接时，作为私人空间的家的视频(在用户的背景等中捕获的用户房间的外观)被发送至办公室，并且可以使办公室的人看到不期望看到的东西，例如，散乱的衣物或用户的孩子正在做的事情。此外，为了在远程办公中仅进行大约一小时的会议进行化妆可能是麻烦的。
提出了AR技术例如作为真实空间中的显示对象的叠加显示的上述常规技术，但是AR对象的边界表面是明显的，为了引起用户注意而生成AR对象本身，并且因此AR技术已经不适合一些用途，例如用于隐藏真实空间的一部分的用途。
此外，由于显示的改变，AR对象在期望隐藏的部分处突然出现相当突出，并且是不期望的。对于用户，通信者希望不会注意到任何隐藏或装饰本身。
因此，根据本公开内容的信息处理系统1使得能够通过在通信者没有密切关注显示对象的同时(逐渐)改变与真实空间相关联的显示对象的外观来在通信者没有注意到改变的情况下改变(装饰以隐藏)真实空间的显示。
此外，根据本公开内容的信息处理系统1更可靠地使得在通过故意显示吸引通信者的视线的吸引对象而从显示对象转移通信者的注意力之后通过改变要装饰的显示对象的外观来在通信者没有注意到改变的情况下改变真实空间的显示。
例如，如果信息处理终端10是如图1所示的诸如HMD之类的显示器类型，则能够基于由设置在HMD中的视线传感器113等感测到的数据来识别用户的视线。尽管稍后将描述识别视线的方法的细节，但是例如，可以通过使用作为视线传感器113的示例的红外传感器或视觉电位传感器来根据眼球的运动等来识别视线。或者，可以通过使用HMD中提供的摄像装置111(向外/向内摄像装置)或陀螺仪/加速器传感器(附图中未示出)等来从面部朝向、头部方向等识别视线。
例如，如果信息处理终端10是如图2所示的诸如笔记本PC之类的显示器类型，则能够基于由设置在笔记本PC中的视线传感器113、外部摄像装置12等感测到的数据来识别用户的视线。例如，基于在通过向观看笔记本PC的屏幕的用户发射红外光而在眼睛的角膜上形成反射点的状态下捕获的捕获图像，可以根据瞳孔点与反射点之间的位置关系(浦肯野图像)识别用户的视线。此外，用户的面部图像可以由设置在笔记本PC中的摄像装置111或外部摄像装置12捕获，并且可以根据面部的取向来识别视线。
以上已经描述了根据该实施方式的信息处理系统1的概要。并非由执行根据该实施方式的双向通信的用户使用的所有信息处理终端10都可以是相同的显示类型。例如，虽然用户A可以使用笔记本PC，但是用户B可以使用透视型HMD。
接下来，在图3中示出了根据该实施方式的信息处理系统1的系统配置的示例。如图3所示，信息处理系统1包括控制将信息输入到空间A和将信息从空间A输出的信息处理终端10A、控制将信息输入到空间B和将信息从空间B输出的信息处理终端10B、以及当在每个空间中输出信息时执行装饰控制的服务器20。信息处理终端10A、信息处理终端10B和服务器20经由网络30彼此连接，对于该实施方式，作为示例描述了用于实现两个用户A和B之间的通信的系统配置，但是本公开内容不限于该系统配置，并且可以采用用于实现三个用户或更多用户之间的通信的系统配置。
信息处理终端10包括输入单元110和输出单元130，并且执行控制以：将从输入单元110获取的空间信息发送到连接目的地；以及从输出单元130输出从连接目的地接收到的关于连接目的地的空间信息。空间信息的发送和接收可以经由服务器20执行，可以直接向连接目的地发送和从连接目的地接收，或者可以执行向服务器20和连接目的地两者的发送和从服务器20和连接目的地两者的接收。此外，信息处理终端10可以由多个设备形成。例如，输入单元110或输出单元130可以被配置成由与信息处理终端10分离的设备实现，并且有线或无线地连接至信息处理终端10。例如，输入单元110可以由摄像装置设备实现，输出单元130可以由HMD实现，信息处理终端10可以由固定专用终端实现，并且信息处理终端10可以被配置成有线地或无线地连接至摄像装置设备和HMD。
服务器20例如是云服务器，并且当关于通信者的空间的信息被输出到每个空间时，适当地执行对显示对象的装饰控制。在本说明书中，“显示对象”是在图像中拍摄的真实空间中的真实对象，并且显示对象的示例包括用户和真实空间中存在的对象。
在下文中，将参照附图描述根据该实施方式的信息处理系统1中包括的每个设备的具体配置。
2. 配置
2-1. 信息处理终端10的配置
图4是示出根据该实施方式的信息处理终端10的配置的示例的框图。如图4所示，信息处理终端10具有控制单元100、输入单元110、操作接口(I/F)120、输出单元130、通信单元140和存储单元150。
控制单元100
控制单元100用作算术处理设备和控制设备，并且根据各种程序控制信息处理终端10中的整体操作。控制单元100例如由电子电路实现，例如中央处理单元(CPU)或微处理器。此外，控制单元100可以包括：只读存储器(ROM)，其中存储有要使用的程序、算术参数等；以及随机存取存储器(RAM)，其中临时存储有适当改变的参数等。
根据该实施方式的控制单元100还用作视线识别单元101、声音控制单元102和显示控制单元103。
视线识别单元101识别在空间中的用户的视线方向和注视点中的至少一个，并且将识别结果输出至服务器20。例如，视线识别单元101跟踪正在观看显示器131的用户的视线。识别视线的方法不受特别限制，但是例如可以使用下面描述的方法。
首先，如果信息处理终端10由如图1所示的HMD实现，则视线识别单元101可以借助于设置在信息处理终端10中的传感器来检测作为佩戴HMD的人的用户的视线。例如，视线识别单元101可以将信息处理终端10中设置的并且用于识别环境的前置摄像装置(摄像装置111)的朝向识别为用户的视线方向。此外，视线识别单元101可以通过分析由例如作为视线传感器113的示例的红外传感器(红外光源和红外摄像装置(光学传感器))捕获的用户眼睛的捕获图像来根据眼球的移动识别视线。更具体地，例如，视线识别单元101可以通过获取瞳孔或虹膜的位置和移动以及瞳孔位置与浦肯野图像之间的位置关系来识别用户的视线。此外，视线识别单元101可以通过分析由例如作为视线传感器113的示例的视觉电位传感器感测到的视觉电位值来感知眼球的移动，从而识别视线方向。
此外，如果信息处理终端10由如图2所示的笔记本PC等实现，则视线识别单元101可以借助于设置在信息处理终端10中的视线传感器113或摄像装置111来识别正在注视信息处理终端10的显示器131的用户的视线(视线方向、显示器131上的注视点等)。例如，视线识别单元101通过分析由摄像装置111捕获的捕获图像来根据用户的面部/头部的取向识别视线方向。此外，视线识别单元101可以借助于作为视线传感器113的示例的红外传感器，通过分析用户的眼睛的捕获图像来根据瞳孔位置与浦肯野图像(通过用红外光照射角膜上的反射点)之间的位置关系识别视线。
声音控制单元102执行控制以用于从输出单元130的扬声器132输出声音。显示控制单元103执行控制以用于在输出单元130的显示器131上显示图像。例如，声音控制单元102和显示控制单元103执行控制以从扬声器132和显示器131输出从服务器20接收到的通信者的空间的声音和视频。
此外，根据该实施方式的控制单元100执行控制以将从输入单元110获取的捕获图像和声音信息经由网络30从通信单元140发送至连接目的地处的服务器20或信息处理终端10。
输入单元110
输入单元110具有输入空间信息的功能。例如，输入单元110包括摄像装置111、麦克风(以下称为麦克风)112和视线传感器113。摄像装置111例如是设置在HMD中的向外摄像装置，并且捕获周围的视频。可以设置多个摄像装置111。麦克风112获取周围声音。麦克风112可以是由多个麦克风形成的麦克风阵列。
视线传感器113是用于感测在识别用户的视线时使用的数据的传感器，并且例如由红外传感器(红外LED和红外摄像装置)或视觉电位传感器来实现。
操作I/F 120
操作I/F 120接收来自用户的操作输入以输出到控制单元100。操作I/F 120可以由键盘、鼠标、触摸面板、按钮、开关等中的任何一个来实现。
输出单元130
输出单元130具有将从控制单元100输出的各种类型的信息呈现给用户的功能。例如，输出单元130具有显示器131和扬声器132。显示器131在其上显示另一用户(存在于远程空间中的用户)的视频。扬声器132再现另一用户的语音。
通信单元140
通信单元140经由网络30连接至另一信息处理终端10和/或服务器20，并且执行数据的发送和接收。例如，通信单元140将由摄像装置111捕获的捕获图像和由麦克风112获取的声音数据发送至通信目的地处的信息处理终端10和/或服务器20。此外，通信单元140从通信目的地处的信息处理终端10和/或服务器20接收视频、声音数据等。
存储单元150
存储单元150由只读存储器(ROM)和随机存取存储器(RAM)实现，只读存储器在其中存储有用于控制单元100执行各种功能的程序和参数，随机存取存储器在其中临时存储有适当改变的参数等。此外，根据该实施方式的存储单元150可以在其中存储有经由通信单元140发送和接收的数据。
以上具体描述了根据该实施方式的信息处理终端10的配置。图3中所示的配置是示例，并且根据该实施方式的信息处理终端10的配置不限于该示例。例如，信息处理终端10可以由多个设备形成。具体地，输入单元110和输出单元130中的至少一个可以由另一设备实现。
2-2.服务器20的配置
图5是示出根据该实施方式的服务器20的配置的示例的框图。如图5所示，服务器20(信息处理设备)具有控制单元200、通信单元210、用户数据库(DB)220和装饰规则DB230。
控制单元200
控制单元200用作算术处理设备和控制设备，并且根据各种程序控制服务器20中的整体操作。控制单元200例如由诸如中央处理单元(CPU)或微处理器的电子电路实现。此外，控制单元200可以包括：只读存储器(ROM)，在其中存储有要使用的程序、算术参数等；以及随机存取存储器(RAM)，其临时存储有适当改变的参数等。
此外，根据该实施方式的控制单元200还用作装饰控制单元201和注视状态确定单元202。
装饰控制单元201执行控制以用于改变向通信者呈现的与真实空间相关联的显示对象的外观。因为实时地向通信者呈现其中捕获了真实空间的捕获图像，因此当用户移动或者摄像装置角度改变时，可能在捕获图像中捕获不希望看到的东西。此外，用户可能不希望她的没有化妆的面部被看到，但是可能发现仅仅在短时间的通信中进行化妆太麻烦。根据该实施方式的装饰控制单元201可以执行真实空间的视频的装饰，该装饰包括隐藏不希望被通信者看到的这样的部分或者在用户的面部上施加虚拟化妆。此外，装饰控制单元201的特征在于，装饰控制单元201通过根据通信者的注视区域等逐渐进行改变来在不被通信者注意到的情况下执行装饰，以避免在执行装饰时由于突然改变而被通信者注意到。即，装饰控制单元201也可以执行控制以用于基于第一用户对显示对象的注视状态或非注视状态的确定结果，在第一用户从注视状态进入非注视状态时改变由存在于第一真实空间中的第一用户的显示设备显示的并且与不同于第一真实空间的第二真实空间相关联的显示对象的外观。例如，基于在装饰规则DB 230中预设的装饰规则来确定在什么条件下将执行什么装饰。
现在将描述基于装饰规则执行的装饰控制的一些具体示例。
(1)根据注视区域的装饰控制
例如，装饰控制单元201执行控制以用于当通信者(例如，图1中所示的用户B)针对显示对象的注视状态改变为非注视状态时改变与用户空间(例如，空间A)相关联的并且由通信者所在的通信者的空间(例如，图1中所示的空间B)中的显示设备(例如，显示器131)显示的显示对象的外观(例如，图1中所示的空间A中存在的真实对象的捕获图像)。能够通过在通信者不看时改变外观来在不被通信者注意的情况下执行装饰。由稍后描述的注视状态确定单元202确定通信者的注视状态和非注视状态。
此外，由装饰控制单元201通过在每当注视状态被改变为非注视状态时逐渐改变显示对象的外观来一点一点地执行装饰，能够更可靠地防止通信者注意到装饰。此外，装饰控制单元201可以根据时间的流逝逐渐增加显示对象的外观的变化量。能够通过从小的改变开始来最大程度地防止通信者注意到改变。此外，装饰控制单元201可以通过从显示对象的边界表面逐渐进行改变来使改变不明显。此外，装饰控制单元201可以通过改变除了显示对象之外的区域来使得边界表面的改变不明显，该区域在显示对象的边界表面附近(即，显示对象的周围)。例如，通过使显示对象周围的区域的颜色更接近显示对象的边界表面的颜色并且还使显示对象的边界表面的颜色更接近周围区域的颜色，使得边界表面处的颜色变化小。
此外，装饰控制单元201可以在通过在与显示对象间隔开的位置处显示用于吸引通信者的视线的吸引对象来引导通信者对该吸引对象的注意之后执行显示对象的装饰。因此，能够使通信者对显示对象的注视状态进入非注视状态，并且显示对象的外观甚至能够更可靠地改变而不被通信者注意到。例如，吸引对象可以是：预定人物图像或代理图像；虚拟对象，例如内部装饰或发光和/或移动的装饰物；或者具有增强的装饰性的消息或者对通信者的通知。此外，吸引通信者的视线的方法不限于呈现该吸引对象，并且可以暂时增加用于吸引注意力的区域(即，吸引区域，优选地与显示对象间隔开的区域)的亮度、色度、辉度等(增加视觉吸引)。
将参照图6具体描述根据该实施方式的装饰控制。图6是用于说明根据本公开内容的实施方式的在装饰控制中通过使用吸引对象使通信者的视线转移之后改变要装饰的显示对象的外观的示例的图。在图6所示的示例中，假设存在于空间A中的用户A与存在于空间B中的用户B之间的通信。此外，图6所示的图像40-1至40-3是例如由外部摄像装置12a从空间A获取并在存在于空间B中的显示设备(信息处理终端10B)处输出的视频。尽管外部摄像装置12a被用作示例，但是实施方式不限于该示例，并且视频可以由信息处理终端10a的摄像装置111a获取。此外，声音可以由麦克风112a等获取。
如图6中的图像40-1所示，在用户A的背景中捕获不整齐的桌子和抽屉(显示对象41a和41b)的情况下，用户A希望这些桌子和抽屉自然隐藏。可以假设以下情况，其中希望隐藏的这些显示对象41a和41b例如在通信开始时通过被用户A的身体隐藏而不可见，但是由于用户的移动而变得可见。此外，可以假设以下情况，其中：第一通信者(例如同事)是不介意用户A的外观和房间的状态的人，并且因此不需要隐藏它们，但是从通信中间加入他们的另一通信者(例如老板)是介意用户A的外观和房间的状态的人，并且因此存在不利于可见的、并且是已经连接的第一通信者已经可见的部分的事物；并且当这些事物突然被虚拟图像隐藏时，反而可能造成奇怪。此外，如果用户A不想让通信者看到用户A的床上头发、外观和没有化妆的面部，则希望装饰(在其上加上虚拟化妆)与用户A的面部对应的显示对象41c，但是如果执行通过突然变化的装饰，则通信者可以注意到化妆已经被虚拟地加上。
因此，根据该实施方式，如图6中的图像40-2所示，在与显示对象41a至41c间隔开的位置处显示吸引对象43，并且吸引通信者(例如，用户B)的视线。基于借助于例如视线传感器113b或摄像装置111b感测至信息处理终端10B的显示器131b上显示的图像40-1的用户B的视线而得到的数据，例如由信息处理终端10B识别通信者的视线。吸引目标43可以是角色图像或代理图像，并且优选地通过移动和/或生成声音来引起通信者的注意。此外，根据关于通信者的喜好和偏好的信息，吸引对象43可以是通信者可能感兴趣的角色图像或代理图像。
在将通信者的视线吸引远离要装饰的区域之后，服务器20的装饰控制单元201开始显示对象41a至41c的装饰(外观的改变)。装饰控制的假设示例包括：图像处理，用于擦除分散在桌子上的垃圾、杂乱的笔和便条、打印文档等，和/或用于校正键盘的位置；以及叠加显示预先获取的通常桌子(干净状态下的桌子)的图像或通常通信时桌子(通信时干净的桌子)的图像。此外，装饰控制单元201可以添加粉底、腮红、眉毛化妆、眼部化妆和唇膏；去除雀斑和/或皱纹；执行美白处理等，以基于用户的带化妆的面部图像来再现通常的带化妆的面部，所述面部图像已被预先获取。
这样的装饰(外观的改变)可以随着时间的流逝而逐渐执行。例如，装饰控制单元201可以在每当通信者的视线被转移时逐渐进行改变，而不是在通信者的视线被转移一次时执行所有改变。此外，当存在多个显示对象时，装饰控制单元201可以同时开始装饰控制，或者可以从处于通信者的注意力更难以被引导的地方的显示对象(例如，屏幕端部的区域、与通信者的注视点间隔开的区域、在深度方向上较远的区域、通信者看起来熟悉的对象、或者具有比其他对象更小的视觉吸引的对象)起按顺序进行改变。
如图6的图像40-3所示，最终显示已经改变为桌子和抽屉是干净的状态的显示对象41a和42b以及在用户A的面部上已经化妆的显示对象41c。
上文中已经参照图6描述了装饰控制的具体内容。
此外，装饰控制单元201可以检测(估计)通信者的注意力未被引导到的区域，并且从该区域进行改变(如果已确定需要装饰)。关于“检测通信者的注意力未被引导到的区域”，除了基于对实际通信者的视线的识别的注视状态和非注视状态的上述确定的结果之外，可以采用以下方法。
例如，如果存在于空间中的对象已被通信者所知并且没有改变，则假设通信者将不会注意到该对象并且将不太可能注意到任何改变。因此，如果存在于空间中的对象已知并且不改变(例如，如果用户总是在同一房间中)，则装饰控制单元201可以估计吸引通信者注意的难易程度的顺序并且从该顺序中的最低等级开始进行改变。可以通过使用基于例如“Relations Between Obstructive Stimuli and Target Stimuli in Visual SearchProblems(Jeremy Wolfe and Todd S.Horowitz(2008),Scholarpedia,3(7)：3325.)”的算法来执行容易吸引通信者注意力的对象/区域的确定。
此外，装饰控制单元201还可以将与通信者的注视点相距长的空间距离的区域或者沿深度方向在长距离处的区域检测为“通信者的注意力未被引导到的区域”，并且从该区域起按顺序进行改变。此外，装饰控制单元201可以根据对象的颜色、尺寸、形状、显示位置等来估计视觉吸引，并且从具有最低视觉吸引的对象起按顺序进行改变。例如：对于人类，除了他们的“面部”以外的部分；以及对于对象，假设小对象、颜色不明显的对象和在视角末端处显示的对象的视觉吸引低。
(2)根据亲和性的装饰控制
此外，装饰控制单元201可以根据从通信者之前看到显示对象(或真实对象)的时间起所经过的时间来控制用于外观改变的变化量。例如，如果经过的时间比预定值更长，则该显示对象是通信者看起来不熟悉的对象，并且还存在通信者具有他之前已经看到过该对象的印象的可能性，并且因此，认为对于通信者容易注意到与之前的对象的任何改变或差异。因此，装饰控制单元201通过花费更多时间来缓慢地改变显示对象的外观。
相反，认为通信者不太可能将其注意力引导到他看起来熟悉的显示对象、视觉吸引小的显示对象或一般显示对象，并且装饰控制单元201因此可以在短时间内改变这样的显示对象。
可以从用户DB 220获取与通信者看起来熟悉的显示对象等有关的信息。
(3)改变程度的个性化
一些人对变化敏感而一些人对特定特征特别讲究和感兴趣，并且因此一些人被认为可能注意到改变。考虑到这样的假设，装饰控制单元201可以根据个体的特性来调整显示对象的改变程度(变化量)。可以从用户DB 220获取关于每个用户的品味、偏好、对改变的敏感度等的信息。控制单元200可以根据用户的通常话语、在通信中用户的视线的移动等来估计用户的兴趣和用户特别讲究的内容，并且将它们存储到用户DB 220中。例如，如果用户频繁地提及发型和装束的改变，则用户可以被假设为“对发型和装束的改变敏感的人”或“对发型和装束感兴趣的人”。此外，如果用户频繁地引用空间中的对象，例如内部装饰，则可以假设用户是“对内部装饰的改变敏感的人”。此外，如果在通信开始或会话中注视装束或周围环境的用户的频率等于或高于给定频率，则可以假设用户是对装束和周围环境的改变敏感的人。此外，可以使每个用户预先输入用户感兴趣的内容、品味和偏好等作为用户信息。
此外，用户可以设置通信者的特征。例如，用户自己可以从用户与这些人的通常对话中确定一个人对内部装饰敏感而另一人对服装敏感，并且设置这些特性。装饰控制单元201进行调整使得对于通信者感兴趣的或通信者讲究的显示对象，显示对象被更缓和地改变，以便尽可能地不被通信者注意到。
(4)控制颜色和形状的变化
装饰控制单元201可以预先预测由于要装饰的显示对象的颜色、形状等而容易发生显著变化的地方，并且通过动态地改变摄影装置角度或背景使该变化不明显或使显示对象从视角中排除。
例如，如果用户看起来苍白，由于受伤而在她的面部上具有伤疤，或者她的房间不整洁，则面部或房间可能引起通信者的注意并且面部或房间的变化趋于变得明显。在该情况下，装饰控制单元201改变显示对象的周围(背景)的颜色使得显示对象的颜色和/或形状的变化变得不明显，并且此后改变显示对象(例如，改变面部肤色或消除面部上的伤疤)以使得显示对象的改变尽可能不明显。
此外，如果一些摄像装置角度是可选择的，则装饰控制单元201可以选择不期望引起注意的区域变得不明显或被排除在视角之外的角度。例如，当用户正在移动并且被布置在用户周围的多个摄像装置跟踪并且用户的图像正被实时呈现给通信者时，装饰控制单元201预测在图像中将捕获不期望被通信者看到的部分的可能性(这可以通过用户的移动路径的预测来确定)，该部分例如是房间的不整洁部分或厨房的不干净部分。如果装饰控制单元201根据用户的移动路径确定在图像中将捕获不期望被通信者看到的部分的可能性高，则装饰控制单元201将摄像装置角度改变为不期望引起注意的区域变得不明显或被排除在视角之外的另一摄像装置角度。此外，如果通常带妆的用户在没有带妆的情况下已经开始通信，则装饰控制单元201可以执行控制使得向通信者呈现拉近镜头的视频，以使得不期望吸引注意力的区域变得不明显。
(5)用于改变的方法
如上所述，装饰控制单元201通过逐渐改变显示对象来防止显示对象的边界表面的改变变得明显并且防止通信者注意到该改变。此外，装饰控制单元201可以通过从显示对象的边界表面朝向中心逐渐进行改变来防止显示对象的改变变得明显。
此外，装饰控制单元201可以控制显示以使显示对象的边界表面模糊从而将边界表面融合到周围环境(背景)中。
此外，对于很可能不可避免地明显并且具有视觉吸引(基于颜色、形状、尺寸等被确定为高于视觉吸引的预定值)的显示对象，装饰控制单元201可以通过显示视觉吸引甚至更高的吸引对象来使通信者的视线从显示对象转移。吸引对象可以是如上所述的字符图像或代理图像，或者甚至是显著的内部装饰或装饰物、海报、壁纸等。装饰控制单元201执行控制以在显示视觉吸引高的这样的吸引对象的同时改变显示对象的外观。
(6)用于改变的触发
接下来，将描述用于通过装饰控制单元201的装饰控制的条件(在什么情况下执行装饰控制)的示例。
当与通常存在差异时
例如，如果用户处于与用户经由网络例行地执行通信的通信者的通常状况不同的状况下(例如，如果用户的房间不整洁，用户感觉不好并且看起来苍白，用户没有带妆，或者用户没有准备好她的身体)，则装饰控制单元201执行装饰。当经由网络执行通信时，装饰控制单元201可以分析要呈现给通信者的用户的视频，确定视频是否偏离给定趋势(用户的通常趋势)预定程度或更多，并且如果视频偏离特定趋势预定程度或更多，则执行装饰。即，在用户通常在用户的房间整洁的状态下执行通信但是房间碰巧在那时不整齐的情况下，视频将偏离给定趋势(对象处于良好状态的状况)，并且装饰控制单元201将因此确定装饰是必要的并且执行显示对象的装饰使得装饰的显示对象与通常趋势一致。
当与实际存在差异时
如果用户处于与用户实际上在真实空间中与通信者会面的情况不同的状况下(例如，当用户在办公室中良好地穿戴并且带妆，但是当用户在远程工作中从用户的家连接至办公室时，用户具有床上头发和/或没有带妆)，则装饰控制单元201执行装饰。装饰控制单元201可以记录例如，用户穿着的方式或用户外出时的面部图像，并且确定在网络通信中的用户的外观是否偏离通常趋势以确定是否需要装饰。此外，装饰控制单元201可以基于用户身体的准备是否满足已经设置的预定身体准备标准(例如，用户是否带妆和/或用户是否穿着休闲服或郊游服)来确定是否需要装饰。
当存在与通信目的不一致时
如果网络通信(用于工作、私人通信等)的目的与用户的状态或用户所在的空间不一致，则装饰控制单元201可以执行装饰。可以将与同目标一致的状态有关的信息预先设置为装饰规则，并且例如，与服装有关的假设规则可以在用于工作的网络通信中，带帽的运动衫、运动服、套头衫等是不适合的并且被改变为诸如带领衬衫和针织品的其他服装。
以上已经描述用于改变的触发的具体示例，但该实施方式并不限定于这些示例，并且例如用户可以预先或实时地指定显示对象。
注视状态确定单元202确定通信者针对显示对象的注视状态及非注视状态。例如，注视状态确定单元202基于从信息处理终端10获取的视线识别结果来确定用户对显示对象的注视状态或非注视状态。
通信单元210
通信单元210有线或无线地连接至网络30，并且经由网络30执行向每个信息处理终端10的数据发送和从每个信息处理终端10的数据接收。通信单元210连接至网络30以通过例如有线/无线局域网(LAN)或无线保真(Wi-Fi)(注册商标)进行通信。
用户DB 220
用户DB 220在其中累积与用户有关的信息。例如，其中累积的信息包括：用户的通信历史(口语语音、视频、通信者、通信目的等)；在通信时用户的服装和化妆；周围环境的外观的趋势；以及用户的品味和偏好、用户讲究什么以及用户的特征(对变化的敏感度等)。
装饰规则DB 230
装饰规则DB 230在其中累积有规定下述条件的规则，在所述条件下执行根据该实施方式的装饰。
用户DB 220和装饰规则DB 230被存储在服务器20中设置的存储单元(图中未示出)中。该存储单元由ROM和RAM来实现，该ROM在其中存储有在由控制单元200进行的处理中使用的程序、算术参数等，该RAM在其中临时存储有适当改变的参数等。
以上具体描述了根据该实施方式的服务器20的配置。图5中所示的服务器20的配置仅仅是示例，并且该实施方式不限于该示例。例如，服务器20的配置的至少一部分可以在外部设备中，或者控制单元200的功能中的至少一部分可以由信息处理终端10或在通信距离上与信息处理终端10相对接近的信息处理设备(例如，所谓的边缘服务器)来实现。如上所述，通过适当地分布服务器20的部件，能够更加实时地执行处理，能够减少处理负荷，并且能够提供安全性。
此外，图5中所示的控制单元200和DB的部件可以被全部设置在信息处理终端10中，并且根据该实施方式的信息处理系统可以由信息处理终端10中的应用来实现。即，该系统可以被配置成使得执行通信的用户的信息处理终端10彼此连接以进行通信。在该情况下，由一个或两个信息处理终端10适当地控制希望对通信者隐藏的显示对象的装饰。
3.操作处理
接下来，将参照图7描述根据该实施方式的操作处理。图7是示出根据该实施方式的操作处理中的装饰控制的流程的示例的流程图。
如图7所示，首先，服务器20开始经由网络在用户之间的通信(步骤S103)。
接着，服务器20执行空间状况的识别(步骤S106)。例如，基于从每个空间获取的信息(捕获图像、深度传感器数据等)，服务器20执行对存在于空间中的用户的位置和面部的识别、对对象的识别等。空间中的情况的识别可以由每个信息处理终端10执行。
随后，服务器20确定是否需要装饰(步骤S109)。例如，如果与通常的网络通信中的情况存在差异，如果与用户实际上会见通信者的情况存在差异，或者如果与通信目的存在不一致，则服务器20确定需要装饰。或者，如果用户已经输入执行装饰的指令，则服务器20确定需要装饰。
随后，如果确定需要装饰(步骤S109/是)，则装饰控制单元201确定装饰控制的方法(步骤S112)。如上所述，装饰控制方法的示例包括：根据通信者的注视状态(呈现吸引对象等)的装饰控制；基于根据视觉吸引估计的顺序的装饰控制；根据亲和性的修饰控制；以及根据通信者的特性，例如通信者对变化的敏感性，以及通信者是否讲究室内装饰的装饰控制。装饰控制单元201可以指定预设的装饰控制方法，可以根据情况指定适当的装饰控制方法，或者可以指定多个装饰控制方法的适当组合。例如，装饰控制单元201可以确定要执行根据通信者的注视状态的装饰控制；以及如果通信者关注显示对象周围的区域，则呈现吸引对象，如果存在多个需要装饰的显示对象，则在呈现吸引对象之后以视觉吸引的升序开始装饰，以及/或者考虑到亲和性和敏感度进一步调整变化量。
随后，如果所确定的装饰控制方法是使用通信者的视线信息的方法，则服务器20检测通信者的视线(步骤S115)。具体地，注视状态确定单元202确定在通信者侧的显示对象的注视状态/非注视状态。
随后，服务器20的装饰控制单元201对显示对象执行装饰控制(改变显示对象的外观)(步骤S118)。
相反，如果确定不需要装饰(步骤S109/否)，则服务器20将用户空间的视频输出到通信者的空间中的显示设备而不执行显示对象的装饰(步骤S121)。
重复上述步骤S106至S121的处理，直到通信结束(步骤S124)。
以上已经描述了根据该实施方式的操作处理的示例。图7所示的操作处理仅是示例，并且本公开内容不限于图7所示的示例，例如，本公开内容不限于图7所示的步骤的顺序。至少一些步骤可以并行处理或以相反的顺序处理。例如，步骤S115的处理和步骤S112的处理可以并行执行，或者可以以相反的顺序执行。
此外，不一定执行图7中所示的所有处理。
此外，并非图7中所示的所有处理都必须由单个设备执行。例如，可以由多个设备执行处理使得由信息处理终端10执行步骤S103至步骤S106和步骤S118的处理，并且由服务器20执行步骤S109至步骤S115的处理。
此外，图7中所示的步骤不必随时间顺序执行。例如，可以连续地执行步骤S106的状况识别处理，并且可以与状况识别处理并行地执行步骤S109至S118的处理。
4.补充
接下来，将为该实施方式添加补充。
装饰目标的补充
在不限于用户的面部和对象的装饰的情况下，装饰控制单元201可以擦除用户的动作的特性或习惯。例如，装饰控制单元201可以将用户的状态改变为用户已经通过擦除她的动作来降低她的手部的状态，所述动作例如用户玩弄她的头发、用户玩弄她的指甲、用户弯曲她的手臂或用户摇动她的腿部。优选地，控制向已经降低手部的状态的改变使得状态自然地从用户的动作之前引出并且向用户的动作之后引入。此外，用户的舌头的点击、口头抽搐等可能被家庭噪声、其他噪声等隐藏。
装饰控制单元201可以装饰用户的语音。例如，预先记录用户的通常语音，并且取决于情况和/或通信者来调整用户语音的输出。因此，即使用户由于感冒而喉咙不好，例如，用户的语音也能够在语音已被处理为通常语音的状态下被呈现给通信者。
此外，装饰控制单元201可以输出已经被处理成适合于该通信中的气氛的语音的用户语音。例如，即使用户的精神低迷，在以精神低迷的音调的通话不适合的通信中(例如，对于工作)，用户的声音可以以高音调输出和/或语速可以增加，使得用户看起来精神更高。此外，为了与商业伙伴通信，装饰控制单元201可以将用户的语音转换为更平静的音调。
此外，如果用户的语音明显，则装饰控制单元201可以通过呈现其他声音来吸引通信者的注意，从而掩盖对用户语音的改变。
用声音吸引视线
以上已经描述了将吸引对象呈现为转移通信者的注意力的方法的情况，但是实施方式不限于该情况，并且例如可以输出具有定位在与目标间隔开的位置处的声音图像的声音信息。例如，如果通信者所使用的信息处理终端是诸如HMD的可穿戴设备，则可以借助于已被空间上定向的声音来将注意力吸引到与显示对象不同的方向。
调光控制
装饰控制单元201可以在显示对象改变时控制调光使得该改变难以被看到。例如，当显示对象改变时，整个屏幕上的光可以从荧光灯的光改变为具有间接照明的颜色的光使得该改变变得不明显。此外，装饰控制单元201可以通过使显示对象周围的区域变暗而不是装饰显示对象来使得显示对象难以被看见。
要隐藏的目标的确定和隐藏级别
装饰控制单元201可以根据显示对象的重要性来确定是逐渐改变显示对象还是立即改变显示对象。例如，机密文档具有很高的重要性并且因此优选地立即隐藏(立即改变)，即使该改变对于通信者来说可能看起来有些不自然。
此外，装饰控制单元201可以根据参加通信的人或与该人的关系来确定要动态装饰的显示对象。例如，如果老板已经加入了作为用户的两个人与用户的同事之间的通信，则装饰控制单元201在不被同事和老板注意到的情况下将用户装饰成适合于与老板通信的衣服。
5.结论
如上所述，在根据本公开内容的实施方式的信息处理系统中，真实空间的显示能够在不被通信者注意到情况下(对通信者来说不会看起来奇怪)(通过真实空间中存在的人或对象的虚拟装饰而隐藏的尴尬的部分)被改变。
以上，参照附图详细描述了本公开内容的优选实施方式，但本技术并不限定于该示例。显然，本公开内容的技术领域的普通技术人员可以在权利要求书中记载的技术思想的范围内导出各种修改示例或修订示例，并且应当理解，这些修改示例或修订示例也完全属于本公开内容的技术范围。
例如，可以生成计算机程序，所述计算机程序用于硬件，例如并入上述信息处理终端10或服务器20中的CPU、ROM和RAM，以实现信息处理终端10或服务器20的功能，此外，还提供了其中存储有计算机程序的计算机可读存储介质。
此外，本说明书中描述的效果仅是说明性或示例性的，而不是限制性的。即，除了上述效果之外或者代替上述效果，根据本公开内容的技术可以实现本领域技术人员从本说明书的描述中明显的其他效果。
本技术还可以包括以下配置。
(1)一种信息处理设备，包括：
确定单元，其确定存在于第一真实空间中的第一用户对于由所述第一用户的显示设备显示的显示对象的注视状态或非注视状态，所述显示对象与不同于所述第一真实空间的第二真实空间相关联；以及
显示控制单元，当所述注视状态已被改变为所述非注视状态时，所述显示控制单元改变所述显示对象的外观。
(2)根据(1)所述的信息处理设备，其中，每当注视状态改变为非注视状态时，所述显示控制单元逐渐改变所述显示对象的外观。
(3)根据(1)所述的信息处理设备，其中，所述显示控制单元根据时间的流逝逐渐增加显示对象的外观的变化量。
(4)根据(1)或(2)所述的信息处理设备，其中，在执行控制以在与所述显示对象间隔开的位置处输出吸引区域之后，当所述第一用户处于对所述显示对象的非注视状态时，所述显示控制单元改变所述显示对象的外观，所述吸引区域用于吸引所述第一用户的视线。
(5)根据(4)所述的信息处理设备，其中，所述吸引区域的生成是在与所述显示对象间隔开的位置处显示吸引对象，或者进行控制以增加与所述显示对象间隔开的区域的视觉吸引。
(6)根据(1)至(3)中任一项所述的信息处理设备，还包括：
声音控制单元，其输出具有被定位在与所述显示对象间隔开的位置处的声音图像的声音信息，其中，
在已经输出所述声音信息之后，当所述第一用户处于对所述显示对象的非注视状态时，所述显示控制单元改变所述显示对象的外观。
(7)根据(1)至(6)中任一项所述的信息处理设备，其中，所述确定单元基于所述第一用户的视线或者所述第一用户的面部或头部的取向来确定所述第一用户对所述显示对象的注视状态或非注视状态。
(8)根据(1)至(7)中任一项所述的信息处理设备，其中，所述显示控制单元从被假设所述第一用户难以识别出改变的部分起进行改变。
(9)根据(8)所述的信息处理设备，其中，所述显示控制单元从多个所述显示对象之中的视觉吸引较低的显示对象起按顺序进行改变。
(10)根据(8)所述的信息处理设备，其中，所述显示控制单元从多个所述显示对象之中的距所述第一用户的注视点的空间距离较长的区域起进行改变。
(11)根据(8)所述的信息处理设备，其中，当所述显示对象是人时，所述显示控制单元从除了所述人的面部之外的部位进行改变。
(12)根据(8)所述的信息处理设备，其中，当所述显示对象是除了人之外的事物时，所述显示控制单元从位于由所述显示设备显示的视角的末端处的部分起进行改变。
(13)根据(1)至(12)中任一项所述的信息处理设备，其中，所述显示控制单元根据所述第一用户是否熟悉所述显示对象来控制所述变化量。
(14)根据(1)至(13)中任一项所述的信息处理设备，其中，所述显示对象是在所述第二真实空间中成像的真实对象。
(15)根据(1)至(14)中任一项所述的信息处理设备，其中，所述显示控制单元根据所述第一用户对改变的敏感度来调整所述显示对象的变化量。
(16)根据(14)所述的信息处理设备，其中，当所述真实对象的外观处于偏离给定趋势的状态时，所述显示控制单元执行控制以改变所述显示对象的外观使得改变后的外观满足所述给定趋势。
(17)一种信息处理方法，其中，处理器执行包括以下操作的处理：
确定存在于第一真实空间中的第一用户对于由所述第一用户的显示设备显示的显示对象的注视状态或非注视状态，所述显示对象与不同于所述第一真实空间的第二真实空间相关联；以及
当所述注视状态已被改变为所述非注视状态时改变所述显示对象的外观。
(18)一种其中记录有的程序的记录介质，所述程序用于使计算机用作以下装置：
确定单元，其确定存在于第一真实空间中的第一用户对于由所述第一用户的显示设备显示的显示对象的注视状态或非注视状态，所述显示对象与不同于所述第一真实空间的第二真实空间相关联；以及
显示控制单元，当所述注视状态已被改变为所述非注视状态时，所述显示控制单元改变所述显示对象的外观。
参考标记列表
1 信息处理系统
10 信息处理终端
20 服务器
30 网络
100 控制单元
101 视线识别单元
102 声音控制单元
103 显示控制单元
110 输入单元
111 摄像装置
112 麦克风
113 视线传感器
120 操作接口(I/F)
130 输出单元
131 显示器
132 扬声器
140 通信单元
150 存储单元
200 控制单元
201 装饰控制单元
202 注视状态确定单元
210 通信单元
220 用户DB
230 装饰规则DB

Claims (18)

1.一种信息处理设备，包括：
确定单元，其确定存在于第一真实空间中的第一用户对于由所述第一用户的显示设备显示的显示对象的注视状态或非注视状态，所述显示对象与不同于所述第一真实空间的第二真实空间相关联；以及
显示控制单元，当所述注视状态已被改变为所述非注视状态时，所述显示控制单元改变所述显示对象的外观。
2.根据权利要求1所述的信息处理设备，其中，每当所述注视状态被改变为所述非注视状态时，所述显示控制单元逐渐改变所述显示对象的外观。
3.根据权利要求1所述的信息处理设备，其中，所述显示控制单元根据时间的流逝逐渐增加所述显示对象的外观的变化量。
4.根据权利要求1所述的信息处理设备，其中，在执行控制以在与所述显示对象间隔开的位置处输出吸引区域之后，当所述第一用户处于对所述显示对象的非注视状态时，所述显示控制单元改变所述显示对象的外观，所述吸引区域用于吸引所述第一用户的视线。
5.根据权利要求4所述的信息处理设备，其中，所述吸引区域的生成是在与所述显示对象间隔开的位置处显示吸引对象，或者进行控制以增加与所述显示对象间隔开的区域的视觉吸引。
6.根据权利要求1所述的信息处理设备，还包括：
声音控制单元，其输出具有被定位在与所述显示对象间隔开的位置处的声音图像的声音信息，其中，
在已经输出所述声音信息之后，当所述第一用户处于对所述显示对象的非注视状态时，所述显示控制单元改变所述显示对象的外观。
7.根据权利要求1所述的信息处理设备，其中，所述确定单元基于所述第一用户的视线或者所述第一用户的面部或头部的取向来确定所述第一用户对所述显示对象的注视状态或非注视状态。
8.根据权利要求1所述的信息处理设备，其中，所述显示控制单元从被认为所述第一用户难以识别出改变的部分起进行改变。
9.根据权利要求8所述的信息处理设备，其中，所述显示控制单元从多个所述显示对象之中的视觉吸引较低的显示对象起按顺序进行改变。
10.根据权利要求8所述的信息处理设备，其中，所述显示控制单元从多个所述显示对象之中的距所述第一用户的注视点的空间距离较长的区域起进行改变。
11.根据权利要求8所述的信息处理设备，其中，当所述显示对象是人时，所述显示控制单元从除了所述人的面部之外的部分起进行改变。
12.根据权利要求8所述的信息处理设备，其中，当所述显示对象是除了人之外的事物时，所述显示控制单元从位于由所述显示设备显示的视角的末端处的部分起进行改变。
13.根据权利要求1所述的信息处理设备，其中，所述显示控制单元根据所述第一用户是否熟悉所述显示对象来控制变化量。
14.根据权利要求1所述的信息处理设备，其中，所述显示对象是在所述第二真实空间中成像的真实对象。
15.根据权利要求1所述的信息处理设备，其中，所述显示控制单元根据所述第一用户对改变的敏感度来调整所述显示对象的变化量。
16.根据权利要求14所述的信息处理设备，其中，当所述真实对象的外观处于偏离给定趋势的状态时，所述显示控制单元执行控制以改变所述显示对象的外观使得改变后的外观满足所述给定趋势。
17.一种信息处理方法，其中，处理器执行包括以下操作的处理：
确定存在于第一真实空间中的第一用户对于由所述第一用户的显示设备显示的显示对象的注视状态或非注视状态，所述显示对象与不同于所述第一真实空间的第二真实空间相关联；以及
当所述注视状态已被改变为所述非注视状态时改变所述显示对象的外观。
18.一种其中记录有程序的记录介质，所述程序用于使计算机作为以下单元发挥作用：
确定单元，其确定存在于第一真实空间中的第一用户对于由所述第一用户的显示设备显示的显示对象的注视状态或非注视状态，所述显示对象与不同于所述第一真实空间的第二真实空间相关联；以及
显示控制单元，当所述注视状态已被改变为所述非注视状态时，所述显示控制单元改变所述显示对象的外观。
CN201880090823.4A 2018-03-13 2018-12-28 信息处理设备、信息处理方法和记录介质 Active CN111819518B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-045141 2018-03-13
JP2018045141 2018-03-13
PCT/JP2018/048394 WO2019176236A1 (ja) 2018-03-13 2018-12-28 情報処理装置、情報処理方法、および記録媒体

Publications (2)

Publication Number Publication Date
CN111819518A true CN111819518A (zh) 2020-10-23
CN111819518B CN111819518B (zh) 2024-08-06

Family

ID=67907167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880090823.4A Active CN111819518B (zh) 2018-03-13 2018-12-28 信息处理设备、信息处理方法和记录介质

Country Status (4)

Country Link
US (1) US11417296B2 (zh)
JP (1) JP7259838B2 (zh)
CN (1) CN111819518B (zh)
WO (1) WO2019176236A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112415783A (zh) * 2021-01-19 2021-02-26 北京佳珥医学科技有限公司 一种美瞳式ar眼镜

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020129115A1 (ja) * 2018-12-17 2021-11-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理方法およびコンピュータプログラム
WO2021182126A1 (ja) * 2020-03-09 2021-09-16 ソニーグループ株式会社 情報処理装置、情報処理方法、および記録媒体
US20230245359A1 (en) * 2020-03-31 2023-08-03 Sony Group Corporation Information processing apparatus, information processing method, and computer-readable recording medium
JP2021192157A (ja) * 2020-06-05 2021-12-16 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
WO2022055821A1 (en) * 2020-09-11 2022-03-17 Sterling Labs Llc Method of displaying user interfaces in an environment and corresponding electronic device and computer readable storage medium
WO2022107582A1 (ja) * 2020-11-18 2022-05-27 ソニーグループ株式会社 情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体、及びモデルの生成方法
US11706381B2 (en) 2021-05-24 2023-07-18 Getac Technology Corporation Selective obfuscation of objects in media content
CN117980962A (zh) 2021-09-23 2024-05-03 苹果公司 用于内容应用的设备、方法和图形用户界面
WO2023176389A1 (ja) * 2022-03-15 2023-09-21 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
CN117111734A (zh) * 2023-07-04 2023-11-24 深圳云天励飞技术股份有限公司 道路病害的vr显示方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060268101A1 (en) * 2005-05-25 2006-11-30 Microsoft Corporation System and method for applying digital make-up in video conferencing
CN103927778A (zh) * 2013-05-31 2014-07-16 深圳信息职业技术学院 一种虚拟人环境感知的仿真方法及系统
US20140364212A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted dipslay
CN104887177A (zh) * 2014-03-07 2015-09-09 霍尼韦尔国际公司 用于确定对系统发起改变的飞行员意识的方法和装置
CN105208441A (zh) * 2014-06-20 2015-12-30 Lg电子株式会社 显示装置及操作显示装置的方法
CN107683497A (zh) * 2015-06-15 2018-02-09 索尼公司 信息处理设备、信息处理方法及程序

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227567B1 (en) 2004-09-14 2007-06-05 Avaya Technology Corp. Customizable background for video communications
US8253770B2 (en) 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
JP2011203446A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
JP2012175136A (ja) * 2011-02-17 2012-09-10 Nec Corp カメラシステムおよびその制御方法
JP2012213013A (ja) * 2011-03-31 2012-11-01 Nippon Telegr & Teleph Corp <Ntt> Ｔｖ会議システム
KR101754750B1 (ko) 2011-09-08 2017-07-10 인텔 코포레이션 상호작용 스크린 보기를 위한 장치, 매체 및 방법
JP6056178B2 (ja) 2012-04-11 2017-01-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US8917238B2 (en) * 2012-06-28 2014-12-23 Microsoft Corporation Eye-typing term recognition
US9124762B2 (en) 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
US10269180B2 (en) * 2013-04-16 2019-04-23 Sony Corporation Information processing apparatus and information processing method, display apparatus and display method, and information processing system
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
JP6205498B2 (ja) * 2014-01-31 2017-09-27 エンパイア テクノロジー ディベロップメント エルエルシー 対象者選択式拡張現実スキン
KR102610120B1 (ko) * 2016-01-20 2023-12-06 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US20180150204A1 (en) * 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060268101A1 (en) * 2005-05-25 2006-11-30 Microsoft Corporation System and method for applying digital make-up in video conferencing
CN103927778A (zh) * 2013-05-31 2014-07-16 深圳信息职业技术学院 一种虚拟人环境感知的仿真方法及系统
US20140364212A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted dipslay
CN104887177A (zh) * 2014-03-07 2015-09-09 霍尼韦尔国际公司 用于确定对系统发起改变的飞行员意识的方法和装置
CN105208441A (zh) * 2014-06-20 2015-12-30 Lg电子株式会社 显示装置及操作显示装置的方法
CN107683497A (zh) * 2015-06-15 2018-02-09 索尼公司 信息处理设备、信息处理方法及程序

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112415783A (zh) * 2021-01-19 2021-02-26 北京佳珥医学科技有限公司 一种美瞳式ar眼镜
CN112415783B (zh) * 2021-01-19 2021-04-06 北京佳珥医学科技有限公司 一种美瞳式ar眼镜

Also Published As

Publication number Publication date
US20200410960A1 (en) 2020-12-31
US11417296B2 (en) 2022-08-16
CN111819518B (zh) 2024-08-06
WO2019176236A1 (ja) 2019-09-19
JP7259838B2 (ja) 2023-04-18
JPWO2019176236A1 (ja) 2021-03-25

Similar Documents

Publication Publication Date Title
CN111819518B (zh) 信息处理设备、信息处理方法和记录介质
KR102246310B1 (ko) 시선-기반 미디어 선택 및 편집을 위한 시스템들 및 방법들
US11320655B2 (en) Graphic interface for real-time vision enhancement
US20240087256A1 (en) Methods for depth conflict mitigation in a three-dimensional environment
US20240104836A1 (en) Methods for time of day adjustments for environments and environment presentation during communication sessions
KR20230003154A (ko) 3차원 환경들에서 아바타들의 제시
US20230171484A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
US20240012601A1 (en) Wearable device for facilitating enhanced interaction
Dinică Non-verbal communication-indispensable complement of oral and written communication
US20240005623A1 (en) Positioning content within 3d environments
US12112441B2 (en) Content transformations based on reflective object recognition
US20230343049A1 (en) Obstructed objects in a three-dimensional environment
JP2023164418A (ja) 情報処理装置、情報処理方法及びプログラム
US20230221833A1 (en) Methods for displaying user interface elements relative to media content
US20240372968A1 (en) Devices, methods, and graphical user interfaces for displaying a representation of a person
US20240103608A1 (en) Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
US20240153205A1 (en) Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
CN112074804B (zh) 信息处理系统、信息处理方法和记录介质
US20240257486A1 (en) Techniques for interacting with virtual avatars and/or user representations
US20240221301A1 (en) Extended reality assistance based on user understanding
US20240104819A1 (en) Representations of participants in real-time communication sessions
US20240361835A1 (en) Methods for displaying and rearranging objects in an environment
CN117333788A (zh) 基于反射对象识别的内容转换
JP2024127033A (ja) プログラム及びシステム
JP2024127018A (ja) プログラム及びシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant