CN110199244A - 信息处理设备、信息处理方法以及程序 - Google Patents

信息处理设备、信息处理方法以及程序 Download PDF

Info

Publication number
CN110199244A
CN110199244A CN201780083329.0A CN201780083329A CN110199244A CN 110199244 A CN110199244 A CN 110199244A CN 201780083329 A CN201780083329 A CN 201780083329A CN 110199244 A CN110199244 A CN 110199244A
Authority
CN
China
Prior art keywords
image
user
information processing
processing equipment
facial expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780083329.0A
Other languages
English (en)
Other versions
CN110199244B (zh
Inventor
三木大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110199244A publication Critical patent/CN110199244A/zh
Application granted granted Critical
Publication of CN110199244B publication Critical patent/CN110199244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Abstract

本发明的目的是以更优选的模式实现经由网络的用户之间的通信。信息处理设备被设置有：通信单元，其用于经由指定网络与外部装置进行通信；以及控制单元，其用于执行关于向第二用户呈现第二图像的控制，该第二图像是通过对与第一用户相关联的第一图像执行基于与第一用户相关联的第一设置以及与第二用户相关联的第二设置的图像处理而生成的。

Description

信息处理设备、信息处理方法以及程序
技术领域
本公开内容涉及信息处理设备、信息处理方法以及程序。
背景技术
随着网络和通信工具的发展，在远程位置处的用户之间的通信模式变得更加多样化，并且不仅可以进行音频通信，而且可以经由诸如静止图像和运动图像的图像来进行通信。
此外，近年来，已经研究了在假设使用诸如头戴式显示器(HMD)的头戴式装置作为通信工具的情况下用于在远程位置处的用户之间的通信的各种技术。例如，专利文献1公开了使用头戴式装置的系统的示例，作为用于经由网络实现用户之间的通信的技术的示例。
引用列表
专利文献
专利文献1：日本专利申请特许公开第2013-258555号
发明内容
本发明要解决的问题
顺便提及，在面对面的用户之间，不仅使用利用诸如语音的语言的语言通信、而且还使用利用面部表情、视线、姿势、身体运动等的所谓的非语言通信来一起实现更顺畅的通信。在这种情况下，需要提供即使在经由网络进行用户之间的通信的情况下也能够以更有利的方式实现非语言通信的技术。
因此，本公开内容提出了一种能够以更有利的方式实现经由网络的用户之间的通信的信息处理设备、信息处理方法和程序。
针对问题的解决方案
根据本公开内容，提供了一种信息处理设备，该信息处理设备包括：通信单元，其被配置成经由预定网络与外部装置进行通信；以及控制单元，其被配置成执行关于向第二用户呈现第二图像的控制，该第二图像是通过向与第一用户相关联的第一图像应用基于与第一用户相关联的第一设置以及与第二用户相关联的第二设置的图像处理而生成。
此外，根据本公开内容，提供了一种信息处理方法，该信息处理方法包括：通过计算机执行以下步骤：经由预定网络与外部装置进行通信；以及执行关于向第二用户呈现第二图像的控制，该第二图像是通过向与第一用户相关联的第一图像应用基于与第一用户相关联的第一设置以及与第二用户相关联的第二设置的图像处理而生成的。
此外，根据本公开内容，提供了一种程序，该程序用于使计算机执行以下步骤：经由预定网络与外部装置进行通信；以及执行关于向第二用户呈现第二图像的控制，该第二图像是通过向与第一用户相关联的第一图像应用基于与第一用户相关联的第一设置以及与第二用户相关联的第二设置的图像处理而生成的。
发明的效果
根据上述的本公开内容，提供了能够以更有利的方式实现经由网络的用户之间的通信的信息处理设备、信息处理方法和程序。
注意，上述效果不必受限制，并且除了上述效果以外或代替上述效果，可以发挥本说明书中描述的任何效果或者可以从本说明书中理解的其他效果。
附图说明
图1是示出根据本公开内容的实施方式的信息处理系统的示意性系统配置的示例的图。
图2是用于描述根据实施方式的信息处理设备的示意性配置的示例的说明图。
图3是示出根据实施方式的信息处理设备的功能配置的示例的框图。
图4是示出根据面部表情的类型而应用的增益的设置的示例的图。
图5是用于描述根据实施方式的由信息处理系统进行的控制的示例的说明图。
图6是示出根据实施方式的信息处理设备的一系列处理的流程的示例的流程图。
图7是示出根据实施方式的信息处理设备的一系列处理的流程的示例的流程图。
图8是示出根据第一变型例的信息处理设备的功能配置的示例的框图。
图9是示出根据第二变型例的信息处理设备的功能配置的示例的框图。
图10是用于描述根据第二变型例的信息处理系统中的增益控制的示例的说明图。
图11是示出根据第三变型例的信息处理设备300的功能配置的示例的框图。
图12是用于描述根据第三变型例的信息处理系统中的增益控制的示例的说明图。
图13是示出根据第四变型例的信息处理系统的配置的示例的图。
图14是示出根据本公开内容的实施方式的信息处理设备的硬件配置的配置示例的功能框图。
具体实施方式
将参照附图来详细描述本公开内容的有利实施方式。注意，在本说明书和附图中，通过提供相同的附图标记而省略了对具有基本上相同的功能配置的配置元件的重复描述。
注意，将按以下顺序进行描述。
1.示意性配置
2.关于用户之间的通信的研究
3.技术特征
3.1.概述
3.2.功能配置
3.3.处理
3.4.变型例
4.硬件配置的示例
5.结论
<<1.示意性配置>>
首先，将描述根据本公开内容的实施方式的信息处理系统的示意性配置的示例。例如，图1是示出根据本公开内容的实施方式的信息处理系统的示意性系统配置的示例的图。
根据本实施方式的信息处理系统1提供了用于经由网络实现多个用户之间的通信的机制。具体地，如图1所示，根据本实施方式的信息处理系统1包括多个信息处理设备100。例如，在图1所示的示例中，用户Ua和Ub使用分别与用户Ua和Ub相关联的信息处理设备100a和100b作为通信工具。信息处理设备100a和信息处理设备100b被连接成能够经由预定网络N11向彼此发送信息以及从彼此接收信息。此外，信息处理系统1可以包括服务器800，并且信息处理设备100a与信息处理设备100b之间的通信可以由服务器800调解。
注意，网络N11的类型不受特别限制。作为具体示例，网络N11可以由所谓的无线网络(诸如基于Wi-Fi(注册商标)标准的网络)构成。此外，作为另一示例，网络N11可以由因特网、专用线路、局域网(LAN)、广域网(WAN)等构成。此外，网络N11可以包括多个网络，并且网络的至少一部分可以被配置为有线网络。
信息处理设备100被配置为诸如所谓的HMD的头戴式装置。例如，图2是用于描述根据实施方式的信息处理设备的示意性配置的示例的说明图。如图2所示，信息处理设备100被安装在用户的头部上以将用于显示图像的输出单元191(例如，显示面板)保持在用户的眼睛前方。此外，信息处理设备100还可以包括用于输出诸如语音的声音的声音输出单元，诸如所谓的扬声器、头戴式耳机或耳机(未示出)。
此外，虽然未示出，但是信息处理设备100可以包括诸如所谓的麦克风的用于收集声音(诸如用户的语音和周围环境声音)的声音收集单元；以及诸如所谓的数码摄像装置的用于捕获用户的图像的成像单元等。此外，声音收集单元和成像单元可以被提供为与信息处理设备100不同的装置，并且可以被配置成与信息处理设备100协作地进行操作。
注意，可应用作为信息处理设备100的头戴式显示器(HMD)包括所谓的沉浸式HMD、透视式HMD、视频透视式HMD以及视网膜投影HMD。
在沉浸式HMD被安装在用户的头部或面部上的情况下，沉浸式HMD被安装成覆盖用户的眼睛，并且诸如显示器的显示单元被保持在用户的眼睛前方。因此，佩戴沉浸式HMD的用户难以直接地让外部场景(换言之，现实世界的场景)进入视野中，并且仅显示单元上显示的图像进入视野中。利用这样的配置，沉浸式HMD可以向正在观看图像的用户提供沉浸式的感觉。注意，图2中所示的信息处理设备100可以被配置为沉浸式HMD。
透视式HMD使用例如半反射镜或透明导光板来将包括透明导光部等的虚拟图像光学系统保持在用户的眼睛前方，并且在虚像图像光学系统内显示图像。因此，佩戴透视式HMD的用户可以在观看虚像图像光学系统内显示的图像的同时让外部场景进入视野中。注意，透视式HMD的具体示例包括其中与眼镜的透镜对应的部分被配置为虚拟图像光学系统的所谓的眼镜型可穿戴装置。
类似于沉浸式HMD，视频透视式HMD被安装成覆盖用户的眼睛，并且诸如显示器的显示单元被保持在用户的眼睛前方。同时，视频透视式HMD包括用于捕获周围场景的成像单元，并且使显示单元在由成像单元捕获的用户的视线方向上显示场景的图像。利用这样的配置，佩戴视频透视式HMD的用户难以直接地让外部场景进入视野中，但是用户可以利用显示单元上显示的图像来确认外部场景。
视网膜投影HMD具有保持在用户的眼睛前方的投影单元，并且从投影单元朝用户的眼睛投射图像，使得图像被叠加在外部场景上。更具体地，在视网膜投影HMD中，将图像从投影单元直接投射至用户的眼睛的视网膜上，并且图像在视网膜上成像。利用这样的配置，即使在用户患有近视或远视的情况下，用户也可以观看较清晰的图像。此外，即使在观看从投影单元投射的图像的同时，佩戴视网膜投影HMD的用户也可以让外部场景进入视野中。
此外，根据本实施方式的信息处理设备100可以例如设置有诸如加速度传感器和角速度传感器(陀螺仪传感器)的各种传感器，并且被配置成能够检测穿戴信息处理设备100的用户的头部的移动(头部的姿势)。作为具体示例，信息处理设备100可以检测横摆方向、俯仰方向和滚转方向上的分量作为用户头部的移动。例如，基于这样的配置，信息处理设备100可以根据由各种传感器对用户头部的移动的检测结果来估计用户的视线方向，并且可以经由输出单元191向用户呈现根据估计的视线方向的图像。因此，例如，用户可以在移动视点以环顾图像的同时参考比用户的视野更宽延伸的图像，诸如所谓的全景图像(all-around image)或通过所谓的虚拟现实(VR)技术实现的虚拟空间中的图像。
例如，由用户Ua使用的信息处理设备100a基于上述配置而经由网络N11将由成像单元捕获的用户Ua的图像(例如，运动图像或静止图像)发送至另一信息处理设备100b。由用户Ub使用的信息处理设备100b经由输出单元191向用户Ub呈现经由网络N11从信息处理设备100a发送的用户Ua的图像。类似地，可以经由网络N11将用户Ub的图像从信息处理设备100b发送至信息处理设备100a，并且可以经由信息处理设备100a的输出单元191向用户Ua呈现该图像。此外，除了用户的图像以外，还可以在信息处理设备100a与信息处理设备100b之间发送和接收例如由诸如麦克风的声音收集单元收集的用户的语音，并且可以经由诸如扬声器、耳机或头戴式耳机的声音输出单元向用户呈现这些语音。利用上述配置，通过使用信息处理设备100作为通信工具，用户Ua和Ub即使在远程位置处也可以通过网络N11彼此通信。
已经参照图1和图2来描述了根据本公开内容的实施方式的信息处理系统的示意性配置的示例。
<<2.关于用户之间的通信的研究>>
随后，将特别关注使用诸如HMD的头戴式装置作为通信工具的情况来描述用户之间的通信，然后将整理根据本实施方式的信息处理系统的问题。
通常，在面对面的用户之间，不仅使用利用诸如语音的语言的语言通信、而且还使用面部表情、视线、姿势、身体运动等的所谓的非语言通信来一起实现更顺畅的通信。
此外，近年来，随着网络和通信工具的发展，在远程位置处的用户之间的通信模式变得更加多样化，并且不仅可以进行音频通信，而且可以经由诸如静止图像和运动图像的图像来进行通信。
例如，近年来，使用诸如HMD的头戴式装置作为通信工具已经引起了关注，并且也已经研究了在假设使用该装置的情况下用于远程位置处的用户之间的通信的各种技术。作为具体示例，通过应用VR技术，远程位置处的用户可以经由网络共享虚拟空间并且在虚拟空间中彼此通信。在虚拟空间中的这样的通信中，可以通过使用HMD作为通信工具来向用户提供如同用户在虚拟空间中一样的临场感。因此，例如，在虚拟空间中的用户之间的通信中，可以模拟如同用户彼此面对一样的状况。
此外，作为另一示例，可以将所谓的增强现实(AR)技术应用于经由网络的用户之间的通信。作为具体示例，可以呈现作为通信对象的另一用户的图像，以通过应用AR技术将该图像叠加在真实空间上。利用这样的配置，在远程位置处的用户之间的通信中，可以模拟如同作为通信对象的用户存在于其它用户的眼睛前方并且用户彼此面对一样的状况。注意，在这种情况下，例如可以应用透视式HMD、视频透视式HMD、视网膜投影HMD等作为通信工具。
以这种方式，随着近年来各种技术的发展，已经能够模拟如同远程位置处的用户彼此面对的状况。根据这样的背景，为了经由网络实现用户之间的更顺畅的通信，需要提供能够以更有利的方式实现用户之间的非语言通信的技术。
同时，在诸如HMD的头戴式装置用作通信工具的情况下，与安装在头部上的装置进行通信。因此，例如，即使用户的外观图像由外部成像单元等捕获，用户的面部的至少一部分(具体地，眼睛的周边)也被安装在头部上的装置挡住，因此，存在难以从捕获的图像中区分出用户的面部表情的情况。在这种情况下，可能难以使用用户的面部表情来实现非语言通信。
此外，在经由网络的通信中，当存在每个用户所处的环境不同的情况时，存在对于另一用户而言难以识别每个用户所处的环境的情况。因此，对于某一用户，假设用户采取相对大的反应会不舒服的状况，并且还存在另一用户难以识别这种状况的情况。在这种情况下，例如，假设迫使一个用户使得反应变小的状况，并且这样的反应给另一用户留下了反应与初始意图不同的印象，并且因此可以假设发生误解。
此外，从反应的大小接收的印象根据诸如身体条件的用户条件而不同，而在经由网络的通信中，存在另一用户难以识别用户的状态的情况。因此，例如，甚至在由于身体条件差等而使其他用户的反应过大对一个用户造成负担(例如，压力)的情况下，也可以假设其他用户难以鉴于一个用户的状态而自发地调整反应的大小。
鉴于前述内容，本公开内容提出了一种能够以有利的方式实现经由网络的用户之间的通信(具体地，使用诸如HMD的头戴式装置作为通信工具的非语言通信)的技术。
<<3.技术特征>>
<3.1.概要>
首先，将描述根据本实施方式的信息处理系统的概要。如上所述，由于在根据本实施方式的信息处理系统中使用诸如HMD的头戴式装置作为通信工具，因此存在难以从穿戴装置的用户的捕获图像中区分用户的面部表情的情况。
因此，根据本实施方式的信息处理设备100利用诸如各种传感器的预定的检测单元来检测用户的各种状态，并且根据检测结果估计用户的面部表情或情绪。作为具体示例，信息处理设备100可以基于由所谓的生物信息获取传感器对用户的生物信息的检测结果来估计用户的面部表情或情绪。生物信息的示例包括体温、脉搏、血液成分、出汗、脑电图、脑血流、眼电位、肌电位等。
注意，可以根据检测对象来适当地确定检测单元的配置和安装位置。例如，用于检测与脑电图有关的信息的脑电图传感器、用于检测与血液成分有关的信息的血液传感器等可以在用户穿戴信息处理设备100的情况下设置在信息处理设备100的壳体的更靠近脑部的位置处，诸如与用户的前额接触的地方。此外，作为另一示例，用于检测体温的体温传感器、用于检测脉搏的脉搏传感器等可以设置在信息处理设备100的壳体的、传感器可以容易地测量体温或脉搏的位置处，诸如与用户的耳朵或耳朵周围接触的地方。
当然，检测单元的上述示例仅仅是示例，并且检测对象的状态、用于检测状态的配置、配置的安装位置等不受特别限制，只要检测单元可以估计用户的面部表情或情绪即可。
接下来，信息处理设备100根据面部表情或情绪的估计结果来将图像处理应用于与用户相关联的图像(例如，用户的面部图像)，以生成反映用户的面部表情或情绪的图像。注意，此时，信息处理设备100可以根据预定设置(例如，基于初步用户输入的设置)来控制要应用于与用户相关联的图像的图像处理的应用量(例如，增益、程度或水平)。
然后，信息处理设备100将根据图像处理而生成的且反映用户的面部表情或情绪的图像经由网络发送至另一信息处理设备100。注意，在本描述中，假设由用户Ua使用的信息处理设备100a将反映用户Ua的面部表情或情绪的图像经由网络发送至用户Ub使用的信息处理设备100b。在这种情况下，信息处理设备100b经由输出单元191向用户Ub呈现从信息处理设备100a发送的图像(换言之，反映用户Ua的面部表情或情绪的图像)。
利用这样的配置，甚至在用户的面部的至少一部分被挡住的情况下，也可以由穿戴头戴式装置的用户经由网络向另一用户呈现反映用户的面部表情或情绪的图像。此外，如上所述，信息处理设备100根据预定设置来控制对于与用户相关联的图像的图像处理的应用量。通过这样的控制，例如，甚至在用户实际上采取过度反应而不舒服的状况下，也可以通过增加图像处理的应用量来向另一用户呈现模拟用户预期的面部表情或情绪的图像。
此外，当向用户Ub呈现反映用户Ua的面部表情或情绪的图像时，信息处理设备100b可以根据与用户Ub相关联的设置(例如，由用户Ub指定的设置)来调整图像中的用户Ua的面部表情。利用这样的配置，例如，甚至在用户Ua难以鉴于在用户Ub侧的状态而自发地调整面部表情的状况下，也可以根据用户Ub的状态来在信息处理设备100b侧调整要向用户Ub呈现的图像中的用户Ua的面部表情。
如上所述，根据本实施方式的信息处理系统经由网络、在用户之间以更有利的方式使用用户的面部表情来实现非语言通信。
已经描述了根据本实施方式的信息处理系统的概要。注意，在下文中，将更详细地描述根据本实施方式的信息处理系统。
<3.2.功能配置>
接下来，将参照图3来描述根据本实施方式的信息处理设备100的功能配置的示例。图3是示出根据本实施方式的信息处理设备100的功能配置的示例的框图。
如图3所示，根据本实施方式的信息处理设备100包括输出单元191、输入单元197、成像单元193、检测单元195、通信单元199、自身面部表情估计单元101、自身面部表情图像控制单元103、存储单元107、他人面部表情估计单元113、他人面部表情图像控制单元115和增益计算单元117。此外，信息处理设备100还可以包括压缩处理单元105和解压缩处理单元111。
通信单元199是用于信息处理设备100经由预定网络向另一设备(例如，诸如服务器800的外部设备或另一信息处理设备100)发送以及从该另一设备接收各种类型的信息的配置。在经由无线网络向另一设备发送以及从另一设备接收各种类型的信息的情况下，通信单元199可以例如包括通信天线、射频(RF)电路、基带处理器等。注意，在以下描述中，在信息处理设备100的每个配置向另一设备发送以及从另一设备接收信息的情况下，除非另外特别描述，否则经由通信单元199执行信息的发送和接收。
输出单元191对应于参照图2描述的输出单元191，并且将要向用户呈现的信息呈现为例如以视觉上可识别的方式呈现的图像信息。输出单元191可以由例如液晶显示器(LCD)、有机发光二极管(OLED)显示器等构成。
输入单元197是用户将各种类型的信息输入至信息处理设备100的输入接口。输入单元197可以包括例如输入装置，诸如按钮、操纵杆和触摸面板。
成像单元193被配置成捕获用户的图像，并且可以由例如所谓的摄像装置(数码摄像装置)等构成。例如，成像单元193被配置为与信息处理设备100不同的装置，并且可以捕获穿戴信息处理设备100的用户的外观的图像(例如，静止图像或运动图像)。然后，成像单元193将捕获的用户的图像输出至自身面部表情图像控制单元103。
存储单元107是用于临时或不断地存储各种数据的存储区域。在存储单元107中，例如，存储与信息处理设备100的用户相关联的图像。注意，与用户相关联的图像的示例包括其中呈现有用户的面部的图像。此外，另一示例包括可以被存储为与用户相关联的图像的预设角色的图像(具体地，角色的面部图像)，作为用于向另一用户呈现用户的面部表情的中介。作为具体示例，可以将为用户预设的化身图像(具体地，化身的面部图像)存储为与用户相关联的图像。注意，与用户相关联的上述图像对应于“第一图像”的示例。
检测单元195是用于检测用户的各种状态和状况的配置，并且可以包括例如一个或多个各种传感器(例如，图3中所示的传感器195a、195b等)。构成检测单元195的各种传感器的示例包括用于检测诸如体温、脉搏、血液成分、出汗、脑电图、脑血流、眼电位和肌电位的生物信息的生物信息获取传感器。此外，作为另一示例，检测单元195包括用于收集诸如语音的声音的声音收集单元，并且利用声音收集单元收集用户发出的语音，从而基于声音收集结果而获取指示用户的有声声音、音量等信息。此外，检测单元195还可以通过分析收集的声音来获取指示用户的会话内容的信息。此外，检测单元195还可以获取指示用户的眼睛的瞳孔状态的信息、指示眨眼状态的信息等。在这种情况下，例如，检测单元195包括诸如所谓的摄像装置的成像单元，并且利用成像单元对用户的眼睛的图像进行成像并分析图像的成像结果，从而获取指示瞳孔状态的信息或指示眨眼状态的信息。此外，成像单元可以基于用户的眼睛的图像的成像结果来检测用户是否正在流泪。
检测单元195如上所述的那样检测用户的各种状态和状况，并且将指示检测结果的信息输出至自身面部表情估计单元101。
自身的面部表情估计单元101从检测单元195获取指示对用户的各种状态和状况的检测结果的信息，并且基于所获取的信息来估计用户的面部表情或情绪(在下文中统称为“面部表情”)。具体地，自身面部表情估计单元101估计面部表情的预设类型En(诸如情绪等)以及指示面部表情的程度的面部表情水平ELmrn。注意，在本说明书中，将在假设“愉快(E1)”、“悲伤(E2)”、“愤怒(E3)”、“惊讶(E4)”、“焦虑(E5)”和“厌恶(E6)”被设置为面部表情的类型En的情况下给出描述。此外，可以使用现有技术作为用于通过使用诸如生物信息的对各种状态和状况的检测结果来估计面部表情的类型和面部表情水平的技术。因此，省略了对估计技术的详细描述。
然后，自身面部表情估计单元101将指示对面部表情的类型En和面部表情水平ELmrn的估计结果的信息输出至自身面部表情图像控制单元103。
增益计算单元117根据对用户的面部表情的估计结果、基于预定条件来确定用于控制要应用于与用户相关联的图像(例如，用户的面部的图像)的图像处理的应用量的增益。作为具体示例，增益计算单元117可以经由输入单元197基于来自用户的指定(换言之，用户输入)来确定增益。此外，增益计算单元117可以针对面部表情的每种类型En而单独地确定增益。
注意，尽管下面将描述细节，但是作为增益，设置有被应用于由自身面部表情图像控制单元103执行的图像处理的增益Gmn以及被应用于由他人面部表情图像控制单元115执行的图像处理的增益Gon。具体地，增益Gmn是用于控制对于与使用信息处理设备100的用户相关联的图像的图像处理的应用量的增益。此外，增益Gon是用于控制对于从另一信息处理设备100发送的与另一用户相关联的图像的图像处理的应用量的增益。注意，在以下描述中，使用信息处理设备100的用户也被称为“自身用户”，并且与自身用户相关联的图像也被称为“自身用户图像”。此外，使用另一信息处理设备100的另一用户也被称为“他人用户”，并且与另一用户相关联的图像也被称为“他人用户图像”。此外，应用于由自身面部表情图像控制单元103执行的图像处理的增益Gmn也被称为“用于自身图像的增益Gmn”。此外，应用于由他人面部表情图像控制单元115执行的图像处理的增益Gon也被称为“用于他人图像的增益Gon”。
例如，图4是示出根据面部表情的类型而应用的增益的设置的示例的图。在图4所示的示例中，为“愉快(E1)”、“悲伤(E2)”、“愤怒(E3)”、“惊讶(E4)”、“焦虑(E5)”和“厌恶(E6)”中的每一个设置用于自身图像的增益Gmn以及用于他人图像的增益Gon。
然后，增益计算单元117将指示根据预定条件确定的用于自身图像的增益Gmn的信息输出至自身面部表情图像控制单元103。此外，增益计算单元117将指示根据预定条件确定的用于他人图像的增益Gon的信息输出至他人面部表情图像控制单元115。
自身面部表情图像控制单元103被配置成生成自身用户的图像，该图像反映对自身用户的面部表情的估计结果。
具体地，自身面部表情图像控制单元103从自身面部表情估计单元101获取指示对自身用户的面部表情的估计结果的信息(换言之，指示对面部表情的类型En和面部表情水平ELmrn的估计结果的信息)。此外，自身面部表情图像控制单元103从存储单元107读取预先存储在存储单元107中的与用户相关联的图像(换言之，自身用户图像)。此外，自身的面部表情图像控制单元103从增益计算单元117获取指示用于自身图像的增益Gmn的信息(具体地，指示与对面部表情的类型En的估计结果对应的增益Gmn的信息)。然后，自身面部表情图像控制单元103基于所获取的指示用于自身图像的增益Gmn的信息来调整面部表情水平ELmrn。例如，在调整后的面部表情水平是ELman的情况下，通过下面被示为(式1)的计算式来计算调整后的面部表情水平ELman。
[数学式1]
ELman＝Gmn×ELmrn……(式1)
接下来，自身面部表情图像控制单元103根据调整后的面部表情水平ELman来以应用量向从存储单元107读取的自身用户图像应用根据对面部表情的类型En的估计结果的图像处理，从而生成反映自身用户的面部表情的估计结果的自身用户图像。注意，反映对自身用户的面部表情的估计结果的自身用户图像与“第三图像”的示例对应。
此外，自身面部表情图像控制单元103从成像单元193获取由成像单元193捕获的自身用户的外观的图像(换言之，穿戴信息处理设备100的自身用户的图像)。自身面部表情图像控制单元103向所获取的图像应用图像分析以估计图像中的自身用户的面部的位置和方向，并且根据估计结果将反映对自身用户的面部表情的估计结果的自身用户图像(例如，面部图像)与所获取的图像进行合成。通过合成，生成反映对自身用户的面部表情的估计结果的、自身用户的外观的图像。注意，在下文中，与自身用户图像合成的自身用户的外观的图像也被称为“自身图像”。然后，自身面部表情图像控制单元103将所生成的自身图像的数据输出至压缩处理单元105。
压缩处理单元105从自身面部表情图像控制单元103获取所生成的自身图像的数据，并且向所获取的自身图像的数据应用基于预定格式的压缩处理(编码处理)。此外，压缩处理单元105可以向自身图像的数据等应用例如根据预定标准的编码处理、加密处理。然后，压缩处理单元105将被应用了压缩处理的自身图像的数据经由预定网络发送至另一设备(例如，另一信息处理设备100、服务器800等)。
解压缩处理单元111经由预定网络从另一设备(例如，另一信息处理设备100、服务器800等)获取由另一信息处理设备100生成的另一用户的外观的图像(在下文中，该图像也称为“他人图像”)的数据。解压缩处理单元111向所获取的他人图像的数据应用基于预定格式的解压缩处理(解码处理)，以恢复他人图像。此外，此时，在已经向所获取的数据应用了根据预定标准的编码处理或加密处理情况下，解压缩处理单元111可以应用根据标准的解调处理或解密处理以恢复他人图像。然后，解压缩处理单元111将所恢复的他人图像的数据输出至他人面部表情估计单元113。
他人面部表情估计单元113从解压缩处理单元111获取他人图像的数据。他人面部表情估计单元113向所获取的他人图像应用图像分析处理以估计他人图像中的他人用户的面部的位置和方向，并且基于估计结果而从他人图像中提取他人用户的面部图像(换言之，他人用户图像)。注意，所提取的他人用户图像对应于根据由对应的他人用户使用的另一信息处理设备100中的他人用户的面部表情的估计结果而生成的他人用户的面部图像。
此外，他人面部表情估计单元113向所提取的他人用户图像应用图像分析处理以估计他人用户的面部表情。具体地，他人面部表情估计单元113估计他人用户的面部表情的类型En和指示面部表情的程度的面部表情水平ELorn。注意，可以使用现有技术作为用于基于图像分析来估计面部表情的类型和面部表情水平的技术。因此，省略了估计技术的详细描述。
然后，他人面部表情估计单元113将经由网络从另一设备获取的他人图像以及指示他人用户的面部表情的类型En和与他人图像对应的面部表情水平ELorn的估计结果的信息输出至他人面部表情图像控制单元115。
他人面部表情图像控制单元115是用于通过基于预定条件调整他人图像中呈现的他人用户的面部表情来生成向自身用户呈现的他人用户的图像(换言之，他人图像)的配置。
他人面部表情图像控制单元115从他人面部表情估计单元113获取从另一设备获取的他人图像以及指示他人用户的面部表情的类型En和与他人图像对应的面部表情水平ELorn的估计结果的信息。此外，他人面部表情图像控制单元115从增益计算单元117获取指示用于他人图像的增益Gon的信息(具体地，指示与面部表情的类型En的估计结果对应的增益Gon的信息)。然后，他人面部表情图像控制单元115基于所获取的指示用于他人图像的增益Gon的信息来调整面部表情水平ELorn。例如，在调整后的面部表情水平是ELoan的情况下，通过下面被示为(式2)的计算式来计算调整后的面部表情水平ELoan。
[数学式2]
ELoan＝Gon×ELorn……(式2)
注意，在考虑到自身面部表情图像控制单元103根据基于上述(式1)的估计结果来控制从另一设备获取的他人图像的面部表情水平的情况下，上述(式2)也可以通过下面被描述为(式3)的关系式来表达。
[数学式3]
ELoan＝Gon×Gmn×ELmrn……(式3)
在上述(式3)中，ELmrn对应于另一信息处理设备100对另一信息处理设备100的用户(换言之，他人用户)的面部表情水平的估计结果。此外，增益Gmn对应于另一信息处理设备100向面部表情水平ELmrn的估计结果应用的增益。换言之，还可以认为，在(式3)中所示的调整后的面部表情水平ELoan反映另一信息处理设备100中的面部表情的调整结果。
接下来，他人面部表情图像控制单元115根据调整后的面部表情水平ELoan来按应用量向他人图像中的他人用户的面部图像(例如，由他人面部表情估计单元113提取的他人用户图像)应用根据对面部表情的类型En的估计结果的图像处理，从而生成反映对他人用户的面部表情的估计结果的他人用户的图像。注意，反映对他人用户的面部表情的估计结果的他人用户图像与“第二图像”的示例对应。
然后，他人面部表情图像控制单元115经由输出单元191向用户呈现反映对他人用户的面部表情的估计结果的他人用户的图像。注意，关于由他人面部表情图像控制单元115经由输出单元191呈现他人用户的图像的控制对应于关于向自身用户呈现图像的控制的示例。
如上所述，在根据本实施方式的信息处理系统1中，用户Ua使用的信息处理设备100a基于检测单元195的检测结果来估计用户Ua的面部表情。接下来，信息处理设备100a向与用户Ua相关联的图像应用根据对面部表情的估计结果的图像处理，从而生成反映对面部表情的估计结果的用户Ua的图像(自身图像)。此外，此时，信息处理设备100a可以根据用于自身图像的预设增益Gmn来控制用于自身用户图像的图像处理的应用量。利用这种控制，例如，甚至在用户Ua采取过度反应而不舒服的情况下，也可以通过调整增益Gmn的设置来生成模拟用户Ua预期的面部表情或情绪的图像。
此外，在根据本实施方式的信息处理系统1中，在向使用信息处理设备100b的用户Ub呈现用户Ua的图像的情况下，信息处理设备100b可以控制从信息处理设备100a发送的图像中的用户Ua的面部表情。具体地，信息处理设备100b分析从信息处理设备100a发送的用户Ua的图像(他人图像)以估计用户Ua的面部表情。接下来，信息处理设备100b向从信息处理设备100a发送的他人图像应用根据对面部表情的估计结果的图像处理，以根据对面部表情的估计结果来调整他人图像中用户Ua的面部表情，从而生成要向用户Ub呈现的用户Ua的图像。此外，此时，信息处理设备100b可以根据用于他人图像的预设增益Gomn来控制对于他人图像的图像处理的应用量。利用这样的控制，例如，以根据在信息处理设备100b侧的设置的面部表情再次调整其中面部表情已经根据在信息处理设备100a侧的设置而被调整的用户Ua的图像，然后向用户Ub呈现调整后的用户Ua的图像。
这里，将参照图5来描述根据本实施方式的信息处理系统1中关于生成反映对用户的面部表情的估计结果的图像的控制的更具体示例。图5是用于描述根据本实施方式的由信息处理系统1进行的控制的示例的说明图。注意，将关注以下情况而给出本描述：向使用信息处理设备100b的用户Ub呈现反映对使用信息处理设备100a的用户Ua的面部表情的估计结果的、用户Ua的图像(面部图像)。
在图5中，附图标记V0表示与用户Ua相关联的图像(例如，用户Ua的面部图像)的示例。换言之，将根据对用户Ua的面部表情的估计结果的图像处理应用于面部图像V0，由此生成反映对面部表情的估计结果的、用户Ua的面部图像。
例如，假设用户Ua展示“愉快(E1)”的面部表情。在这种情况下，信息处理设备100a基于检测单元195的检测结果来估计用户Ua的面部表情的类型E1和面部表情的面部表情水平ELmr1。此外，信息处理设备100a根据对面部表情的类型E1的估计结果、基于用于自身图像的增益Gm1来调整面部表情水平ELmr1，从而计算调整后的面部表情水平ELma1。接下来，信息处理设备100a根据调整后的面部表情水平ELma1来按应用量向面部图像V0应用根据所估计的面部表情的类型E1的图像处理，从而生成反映对“愉快(E1)”的面部表情的估计结果的、用户Ua的面部图像V11。然后，信息处理设备100a经由预定网络将反映所生成的用户Ua的面部图像V11的、用户Ua的外观的图像发送至信息处理设备100b。
此外，信息处理设备100b经由预定网络获取反映从信息处理设备100a发送的面部图像V11的、用户Ua的外观的图像。信息处理设备100b分析所获取的图像以估计用户Ua的面部表情的类型E1和面部表情的面部表情水平ELor1。此外，信息处理设备100b根据对面部表情的类型E1的估计结果、基于用于他人图像的增益Go1来调整面部表情水平ELor1，从而计算调整后的面部表情水平ELoa1。接下来，信息处理设备100a根据调整后的面部表情水平ELoa1来按应用量向所获取的用户Ua的外观图像中的面部图像V11应用根据所估计的面部表情的类型E1的图像处理，从而生成根据对“愉快(E1)”的面部表情的估计结果调整的用户Ua的面部图像V13。然后，信息处理设备100b经由输出单元191向用户Ub呈现对具有调整后的面部表情的面部图像V13进行呈现的、用户Ua的外观图像。
此外，作为另一示例，附图标记V21表示在用户Ua展示“愤怒(E3)”的面部表情的情况下由信息处理设备100a生成的用户Ua的面部图像的示例。在这种情况下，基于由信息处理设备100a估计的用户Ua的面部表情的类型E3和面部表情的面部表情水平ELmr3、以及根据面部表情的类型E3的用于自身图像的增益Gm3对面部图像V0应用图像处理，由此生成面部图像V21。
此外，附图标记V23表示通过由信息处理设备100b向面部图像V21应用面部表情的调整而生成的用户Ua的面部图像的示例。在这种情况下，基于由信息处理设备100b估计的用户Ua的面部表情的类型E3和面部表情的面部表情水平ELor3、以及根据面部表情的类型E3的用于他人图像的增益Gom3对面部图像V21应用图像处理，由此生成面部图像V23。
利用这样的控制，例如，在图5所示的示例中，当向用户Ub呈现反映用户Ua的“愉快(E1)”的面部表情的、用户Ua的图像时，信息处理设备100b强调用户Ua的“愉快(E1)”的面部表情。此外，作为另一示例，当向用户Ub呈现反映用户Ua的“愤怒(E3)”的面部表情的、用户Ua的图像时，信息处理设备100b减轻用户Ua的“愤怒(E3)”的面部表情。如上所述，根据本实施方式的信息处理系统1，当向用户Ub呈现用户Ua的图像时，信息处理设备100b可以根据在信息处理设备100b侧的设置(例如，由用户Ub指定的设置)来控制用户Ua的面部表情。
注意，参照图3描述的信息处理设备100的功能配置仅仅是示例，并且信息处理设备100的功能配置不一定限于图3所示的示例，只要功能配置可以实现信息处理设备100的上述功能即可。例如，信息处理设备100的配置的一部分可以设置在信息处理设备100的外部。作为具体示例，输出单元191、检测单元195、输入单元197等可以从外部附接至信息处理设备100。此外，作为另一示例，自身面部表情估计单元101、自身面部表情图像控制单元103、他人面部表情估计单元113、他人面部表情图像控制单元115和增益计算单元117的配置的一部分可以设置在诸如服务器800的另一设备中，只要配置的一部分可以通过配置来实现一系列处理的流程即可。此外，在以上描述中，已经描述了其中在信息处理设备100之间发送或接收用户的图像的情况下向图像应用压缩处理的示例。然而，可以在信息处理设备100之间发送或接收未被应用压缩处理的图像。注意，在这种情况下，不言而喻，可以不执行与图像的压缩有关的处理以及与压缩图像的解压缩有关的处理。
接下来，将参照图3来描述根据本实施方式的信息处理设备100的功能配置的示例。
<3.3.处理>
接下来，将描述根据本实施方式的信息处理设备100的一系列处理的流程的示例。
(自身图像的生成和发送)
首先，将参照图6来描述其中信息处理设备100估计自身用户的面部表情并且将反映估计结果的自身图像发送至另一设备(例如，另一信息处理设备100、服务器800等)的处理。图6是示出根据本实施方式的信息处理设备100的一系列处理的流程的示例的流程图。
信息处理设备100(自身面部表情估计单元101)从预定的检测单元195获取指示对用户的各种状态和状况的检测结果的信息，并且基于所获取的信息来估计用户的面部表情。作为具体示例，信息处理设备100针对自身用户的面部表情而估计面部表情的类型En和面部表情水平ELmrn(S101)。
接下来，信息处理设备100(自身面部表情图像控制单元103)向与自身用户相关联的图像(自身用户图像)应用根据所估计的面部表情的类型En和面部表情水平ELmrn的图像处理，以生成反映对自身用户的面部表情的估计结果的自身用户图像(例如，面部图像)。此外，此时，信息处理设备100可以根据用于自身图像的预设增益Gmn来控制用于自身用户图像的图像处理的应用量(S103)。
接下来，信息处理设备100(自身面部表情图像控制单元103)获取由预定的成像单元193捕获的自身用户的外观的图像，并且向所获取的图像应用图像分析，以估计图像中自身用户的面部的位置和方向。然后，信息处理设备100基于估计结果而将反映对自身用户的面部表情的估计结果的自身用户图像(例如，面部图像)与自身用户的外观的图像进行合成。通过合成，生成反映对自身用户的面部表情的估计结果的、自身用户的外观的图像(换言之，自身图像)(S105)。
然后，信息处理设备100(压缩处理单元105)向所生成的自身图像应用基于预定格式的压缩处理(编码处理)，并且经由预定网络将压缩处理后的自身图像的数据发送至另一设备(例如，另一信息处理设备100、服务器800等)(S107)。
如上所述，已经参照图6描述了其中信息处理设备100估计自身用户的面部表情并且将反映估计结果的自身图像发送至另一设备(例如，另一信息处理设备100、服务器800等)的处理。
(他人图像的调整和呈现)
接下来，将参照图7来描述其中信息处理设备100在调整他人图像中的他人用户的面部表情之后向自身用户呈现从另一设备(例如，另一信息处理设备100、服务器800等)发送的他人图像的处理。图7是示出根据本实施方式的信息处理设备100的一系列处理的流程的示例的流程图。
信息处理设备100(解压缩处理单元111)经由预定网络从另一设备(例如，另一信息处理设备100、服务器800等)获取由另一信息处理设备100生成的他人用户的外观图像(换言之，他人图像)的数据。信息处理设备100向所获取的他人图像的数据应用基于预定格式的解压缩处理(解码处理)以恢复他人图像(S201)。
接下来，信息处理设备100(他人面部表情估计单元113)向所恢复的他人图像应用图像分析处理以估计他人图像中的他人用户的面部的位置和方向，并且基于估计结果而从他人图像中提取他人用户的面部图像(换言之，他人用户图像)。此外，信息处理设备100向所提取的他人用户图像应用图像分析处理以估计他人用户的面部表情。作为具体示例，信息处理设备100针对他人用户的面部表情来估计面部表情的类型En和面部表情水平ELorn(S203)。
接下来，信息处理设备100(他人面部表情图像控制单元115)向他人图像中的他人用户的面部图像(例如，所提取的他人用户图像)应用根据所估计的面部表情的类型En和面部表情水平ELmon的图像处理，以生成反映对他人用户的面部表情的估计结果的、他人用户的图像(换言之，以调整他人用户的面部表情)。此外，此时，信息处理设备100可以根据用于他人图像的预设增益Gon来控制对于他人用户的面部图像的图像处理的应用量(S205)。
然后，信息处理设备100(他人面部表情图像控制单元115)经由输出单元191向用户呈现反映对他人用户的面部表情的估计结果的、他人用户的图像(S207)。
如上所述，已经参照图7描述了其中信息处理设备100在调整他人图像中的他人用户的面部表情之后向自身用户呈现从另一设备(例如，另一信息处理设备100、服务器800等)发送的他人图像的处理。
<3.4.变型例>
接下来，将描述根据本实施方式的信息处理系统的变型例。
(第一变型例)
首先，作为第一变型例，将描述根据本实施方式的信息处理设备的配置的另一示例。注意，在以下描述中，根据第一变型例的信息处理设备可以被称为“信息处理设备100’”，以与根据上述实施方式的信息处理设备区分开。
例如，图8是示出根据第一变型例的信息处理设备的功能配置的示例的框图。注意，根据第一变型例的信息处理设备100’与根据上述实施方式的信息处理设备100的不同之处在于增益计算单元117的操作。因此，在本描述中，将关注与根据上述实施方式的信息处理设备100不同的部分来描述根据第一变型例的信息处理设备100’的配置，并且省略了与信息处理设备100基本类似的部分的详细描述。
在根据上述实施方式的信息处理设备100中，增益计算单元117已基于经由输入单元197的用户输入而确定了用于自身图像的增益Gmn和用于他人图像的增益Gon。相比之下，在根据第一变型例的信息处理设备100’中，增益计算单元117可以根据对预定状态或状况的检测结果来确定增益Gmn和增益Gon。
例如，增益计算单元117可以根据由检测单元195中包括的至少一部分传感器检测到的预定状态或状况来确定增益Gmn和增益Gon。作为更具体的示例，增益计算单元117可以基于检测单元195的检测结果来执行控制，以使得在用户意识到疲劳的情况下增益Gmn和Gon的波动宽度变得更小。
此外，作为另一示例，增益计算单元117可以根据对自身用户的面部表情的估计结果来确定用于他人图像的增益Gon。类似地，增益计算单元117可以根据对他人用户的面部表情的估计结果来确定用于自身图像的增益Gmn。此外，增益计算单元117可以根据经由输入单元197的用户输入和对预定状态或状况的检测结果来确定增益Gmn和Gon。作为具体示例，增益计算单元117可以根据经由输入单元197的用户输入来确定增益Gmn和Gon的初始值，并且可以以初始值作为参考、根据对预定状态或状况的检测结果来动态地控制增益Gmn和Gon。
此外，增益计算单元117根据对预定状态或状况的检测结果来控制的增益可以是针对面部表情的每种类型En而限定的增益Gmn和Gon的一部分或全部。此外，增益计算单元117可以向针对面部表情的每种类型En限定的增益Gmn和Gon的一部分应用与其他增益Gmn和Gon不同的控制。
此外，增益计算单元117可以根据预定设置来确定增益Gmn和Gon。例如，可以假设根据文化差异而可能发生面部表情差异。假设这种状况，增益计算单元117可以例如根据关于文化区域的设置而控制增益Gmn和Gon，以使得情绪的面部表情或面部表情的至少一部分例如被进一步抑制(或夸大)。除了文化区域以外，预定设置还可以基于关于种族、性别、年龄或国籍中的至少一个的多样性信息来限定。
当然，无须赘述，类似于根据上述实施方式的信息处理设备100的情况，增益计算单元117可以基于经由输入单元197的用户输入来确定增益Gmn和Gon。
上面已参照图8描述了根据本实施方式的信息处理设备的配置的另一示例作为第一变型例。
(第二变型例)
接下来，作为第二变型例，将描述根据本实施方式的信息处理系统的配置的另一示例。注意，在以下描述中，根据第二变型例的信息处理设备可以被称为“信息处理设备200”，以便与根据上述实施方式和另一变型例的信息处理设备区分开。
在根据上述实施方式的信息处理系统中，每个信息处理设备100已经向他人用户的图像(换言之，他人图像)应用图像分析，以估计他人用户的面部表情。相比之下，在根据第二变型例的信息处理系统中，在服务器800侧管理由每个信息处理设备200对自身用户的面部表情的估计结果。利用这样的配置，在根据第二变型例的信息处理系统中，信息处理设备200可以从服务器800获取对他人用户的面部表情的估计结果，而无需由信息处理设备200本身估计他人用户的面部表情。此外，根据第二变型例的信息处理系统可以在服务器800侧管理用于自身图像的增益Gmn和用于他人图像的增益Gon二者。因此，下面将描述根据第二变型例的信息处理设备200的更详细配置的示例。
例如，图9是示出根据第二变型例的信息处理设备200的功能配置的示例的框图。如图9所示，根据第二变型例的信息处理设备200包括输出单元191、输入单元197、成像单元193、检测单元195、通信单元199、以及自身面部表情估计单元201、自身面部表情图像控制单元203、存储单元207、他人面部表情图像控制单元215和增益计算单元217。此外，信息处理设备200还可以包括压缩处理单元205和解压缩处理单元211。
注意，输出单元191、输入单元197、成像单元193、检测单元195和通信单元199类似于根据上述实施方式的信息处理设备100(参见图3)的那些单元。此外，自身面部表情估计单元201、自身面部表情图像控制单元203、存储单元207、他人面部表情图像控制单元215和增益计算单元217分别对应于根据上述实施方式的信息处理设备100中的自身面部表情估计单元101、自身面部表情图像控制单元103、存储单元107、他人面部表情图像控制单元115和增益计算单元117。因此，在本描述中，将关注与根据上述实施方式的信息处理设备100不同的部分来描述根据第二变型例的信息处理设备200的功能配置，并且省略了与信息处理设备100基本类似的部分的详细描述。
自身面部表情估计单元201从检测单元195获取指示对用户的各种状态和状况的检测结果的信息，并且基于所获取的信息来估计用户的面部表情。作为具体示例，自身面部表情估计单元201基于从检测单元195获取的信息来估计面部表情的类型En和面部表情水平ELmrn。然后，自身面部表情估计单元201将指示对面部表情的类型En和面部表情水平ELmrn的估计结果的信息输出至自身面部表情图像控制单元203。此外，自身面部表情估计单元201经由预定网络将指示对面部表情的类型En和面部表情水平ELmrn的估计结果的信息发送至服务器800。
增益计算单元217可以根据预定条件来确定用于自身图像的增益Gmn和用于他人图像的增益Gon，并且经由预定网络将指示所确定的增益Gmn和Gon的信息发送至服务器800。通过该发送，增益Gmn和Gon由服务器800管理。此外，作为另一示例，可以针对每个信息处理设备200(即，针对使用信息处理设备200的每个用户)而预先在服务器800中管理指示增益Gmn和Gon的信息。
增益计算单元217可以经由预定网络从服务器800获取指示在服务器800中管理的增益Gmn的信息，并且将所获取的指示增益Gmn的信息输出至自身面部表情图像控制单元203。类似地，增益计算单元217可以经由网络从服务器800获取指示在服务器800中管理的增益Gon的信息，并且将所获取的指示增益Gon的信息输出至他人面部表情图像控制单元215。注意，此时获取的增益Gmn和Gon可以由服务器800根据预定条件来控制。注意，下面将详细描述由服务器800对增益Gmn和Gon进行的控制的示例。
自身面部表情图像控制单元203具有用于生成反映对自身用户的面部表情的估计结果的自身用户的图像(换言之，自身图像)的配置。注意，关于由自身面部表情图像控制单元203生成自身图像的处理类似于根据上述实施方式的信息处理设备100中的自身面部表情图像控制单元103中的处理。
换言之，自身面部表情图像控制单元203基于由自身面部表情估计单元201对面部表情的类型En和面部表情水平ELmrn的估计结果以及从增益计算单元217输出的增益Gmn，来向存储单元207中存储的自身用户图像应用图像处理，从而生成反映对自身用户的面部表情的估计结果的自身用户图像。此外，自身面部表情图像控制单元203将反映对自身用户的面部表情的估计结果的自身用户图像与由成像单元193捕获的自身用户的外观的图像进行合成，从而生成反映对自身用户的面部表情的估计结果的、自身用户的外观的图像(换言之，自身图像)。然后，自身面部表情图像控制单元203将所生成的自身图像的数据输出至压缩处理单元205。
压缩处理单元205基本上类似于根据上述实施方式的信息处理设备100中的压缩处理单元105。换言之，压缩处理单元205从自身面部表情图像控制单元203获取所生成的自身图像的数据，并且向所获取的自身图像的数据应用基于预定格式的压缩处理(编码处理)。然后，压缩处理单元205经由预定网络将已被应用了压缩处理的自身图像的数据发送至服务器800。注意，被发送至服务器800的自身图像的数据通过服务器800被发送至将成为信息处理设备100的通信对象的另一信息处理设备100。
解压缩处理单元211经由预定网络从服务器800获取由另一信息处理设备100生成的他人用户的外观的图像(换言之，他人图像)的数据、以及指示对他人用户的面部表情的估计结果(换言之，面部表情的类型En和面部表情水平ELorn)的信息。解压缩处理单元211向所获取的他人图像的数据应用基于预定格式的解压缩处理(解码处理)以恢复他人图像。然后，解压缩处理单元211将所恢复的他人图像的数据和所获取的指示对他人用户的面部表情的估计结果的信息输出至他人面部表情图像控制单元215。
他人面部表情图像控制单元215是用于通过基于预定条件调整在他人图像中呈现的他人用户的面部表情来生成要向自身用户呈现的他人用户的图像的配置。注意，关于由他人面部表情图像控制单元215生成要向自身用户呈现的他人用户的图像的处理类似于根据上述实施方式的信息处理设备100中的他人面部表情图像控制单元115的处理。
换言之，他人面部表情图像控制单元215基于从服务器800获取的对他人用户的面部表情的估计结果(换言之，对面部表情的类型En和面部表情水平ELorn的估计结果)、以及指示从增益计算单元217输出的增益Gon的信息，来向从服务器800获取的他人图像应用图像处理。通过该处理，生成反映对他人用户的面部表情的估计结果的、他人用户的图像(换言之，具有调整后的他人用户的面部表情的图像)。然后，他人面部表情图像控制单元215经由输出单元191向用户呈现反映对他人用户的面部表情的估计结果的、他人用户的图像。
接下来，将参照图10来描述根据第二变型例的信息处理系统中的由服务器800对增益Gmn和Gon的控制的示例。图10是用于描述根据第二变型例的信息处理系统中的增益控制的示例的说明图。
在图10所示的示例中，为每个用户设置角色，并且服务器800根据为用户设置的角色来针对每个用户控制针对面部表情的每种类型En而设置的增益Gmn和Gon的至少一部分。具体地，在图10所示的示例中，为用户Ua设置“教师”的角色，并且为用户Ub设置“学生”的角色。服务器800可以基于这样的配置来根据为用户设置的角色控制与用户对应的增益。
作为更具体的示例，在扮演“教师”的角色的用户Ua检查被设置了“学生”角色的用户Ub的面部表情的情况下，可以假设期望用户Ua可以在更忠实地反映对用户Ub的情绪的估计结果的状态下(换言之，在面部表情没有利用增益而被夸大的状态下)确认用户Ub的面部表情。此外，在向被设置了“学生”角色的用户Ub呈现扮演“教师”的角色的用户Ua的面部表情的情况下，可以假设期望在更忠实地反映对用户Ua的情绪的估计结果的状态下(换言之，在面部表情没有利用增益而被夸大的状态下)呈现用户Ua的面部表情。鉴于这样的状况，服务器800可以根据为每个用户设置的角色来控制针对每个用户而设置的增益Gmn和Gon。
例如，在图10所示的示例中，在用户Ub使用的信息处理设备200b中向用户Ub呈现用户Ua的图像的情况下，服务器800控制与用户Ub对应的增益Gon，以使得最终要应用于用户Ua的图像的增益被限制在0.8至1.1的范围内(换言之，设置了限制器(上限值和/或下限值))。例如，在用户Ua使用的信息处理设备200a中，对用户Ua的图像应用的增益Gmn中的与“愤怒(E3)”对应的增益Gm3被设置为“1.2”。换言之，增益Gm3被设置成使得“愤怒”的面部表情更加夸大。因此，在用户Ub使用的信息处理设备200b中，在与用户Ub对应的增益的设置中的增益Gon中的与“愤怒(E3)”对应的增益Go3被设置为“0.92”，使得最终要应用于用户Ua的图像的增益被控制为落入0.8至1.1的范围内(换言之，0.8≤Gm3×Go3≤1.1)。
类似地，在图10所示的示例中，在用户Ua使用的信息处理设备200a中向用户Ua呈现用户Ub的图像的情况下，服务器800控制与用户Ua对应的增益Gon，以使得最终要对用户Ub的图像应用的增益被限制在0.8至1.1的范围内。例如，在用户Ub使用的信息处理设备200b中，应用于用户Ub的图像的增益Gmn中的与“厌恶(E3)”对应的增益Gm6被设置为“0.2”。换言之，增益Gm6被设置成使得“厌恶”的面部表情不太容易被表达。因此，在用户Ua使用的信息处理设备200a中，在与用户Ua对应的增益的设置中的增益Gon中的与“厌恶(E3)”对应的增益Go6被控制为“4.0”，使得最终要应用于用户Ub的图像的增益被控制为落入0.8至1.1的范围内(换言之，0.8≤Gm6×Go6≤1.1)。
此外，服务器800可以针对每个用户而禁用针对面部表情的每种类型En设置的增益Gmn和Gon的至少一部分的设置。在这种情况下，服务器800可以将对应的增益设置为“1.0”。
此外，可以根据预定条件(例如，由管理员进行的操作)将关于由服务器800对增益的控制的上述功能选择性地控制成启用或禁用。此外，可以根据预定条件来改变关于由服务器800对上述的增益控制的至少一部分的控制的设置。
注意，根据上述第二变型例的信息处理系统的配置仅仅是示例，并且信息处理设备200和服务器800的配置不一定限于上述示例，只要实现信息处理设备200和服务器800的功能即可。例如，信息处理设备200的配置中的至少一部分可以设置在服务器800侧。
作为具体示例，与自身面部表情估计单元201对应的配置可以设置在服务器800中。在这种情况下，信息处理设备200可以仅将指示检测单元195的检测结果的信息发送至服务器800。此外，服务器800可以基于从信息处理设备200发送的信息而仅估计使用信息处理设备200的用户的面部表情。此外，此时，类似于参照图8描述的示例，服务器800可以基于从信息处理设备200发送的信息(换言之，指示检测单元195的检测结果的信息)来确定与信息处理设备200的用户对应的增益Gmn和Gon。
此外，与自身面部表情图像控制单元203对应的配置可以设置在服务器800中，并且与使用信息处理设备200的用户相关联的图像(换言之，自身用户图像)可以保持在服务器800侧。在这种情况下，信息处理设备200可以仅将由成像单元193捕获的用户的外观的图像发送至服务器800。此外，服务器800可以根据对用户的面部表情的估计结果来仅生成反映用户的面部表情的面部图像，并且将面部图像与从信息处理设备200发送的图像进行合成，从而生成反映用户的面部表情的图像(换言之，与自身图像对应的图像)。
类似地，与他人面部表情图像控制单元215对应的配置可以设置在服务器800中。在这种情况下，服务器800可以根据与作为发送目的地的另一信息处理设备200对应的增益Gon来仅调整在与作为发送源的信息处理设备200的用户对应的自身图像中的用户的面部表情，并且将调整后的图像发送至另一信息处理设备200。注意，在这种情况下，关于将调整后的图像从服务器800发送至另一信息处理设备200的控制对应于关于在服务器800中向另一信息处理设备200的用户呈现调整后的图像的控制的示例。此外，另一信息处理设备200可以经由输出单元191向自身用户仅呈现从服务器800发送的图像(换言之，与调整后的他人图像对应的图像)。在这种情况下，关于由另一信息处理设备200经由输出单元191呈现图像的控制对应于关于在另一信息处理设备200中向自身用户呈现图像的控制的示例。
此外，在以上描述中，已经描述了其中将已被应用了根据与作为发送源的另一信息处理设备200侧对应的增益Gmn的图像处理的图像作为他人用户的图像(换言之，他人图像)发送至信息处理设备200的示例。另一方面，可以在作为发送目的地的信息处理设备200侧执行根据增益Gmn的图像处理。在这种情况下，例如，与作为发送源的另一信息处理设备200的用户(换言之，他人用户)相关联的图像(换言之，他人用户图像)、对他人用户的面部表情的估计结果、以及指示与他人用户对应的增益Gmn的信息可以仅被发送至作为发送目的地的信息处理设备200。注意，利用这样的配置，作为发送目的地的信息处理设备200可以容易地再现未反映对他人用户的面部表情的估计结果的他人图像。
上面已经参照图9和图10将根据本实施方式的信息处理系统的配置的另一示例作为第二变型例进行描述。
(第三变型例)
接下来，作为第三变型例，将描述根据本实施方式的信息处理系统的配置的另一示例。在第三变型例中，将描述在三个或更多个用户中的每两个用户彼此进行通信的情况下信息处理系统的配置的示例。注意，在以下描述中，根据第三变型例的信息处理设备可以被称为“信息处理设备300”，以便与根据上述实施方式和其他变型例的信息处理设备区分开。此外，假设在本描述中，类似于根据第二变型例的信息处理系统，根据第三变型例的信息处理系统被配置成使得在服务器800侧管理由每个信息处理设备300对自身用户的面部表情的估计结果。
例如，图11是示出根据第三变型例的信息处理设备300的功能配置的示例的框图。如图11所示，根据第三变型例的信息处理设备300包括输出单元191、输入单元197、成像单元193、检测单元195、通信单元199、自身面部表情估计单元301、自身面部表情图像控制单元303、存储单元307、多个他人面部表情图像控制单元315和增益计算单元217。例如，在图11所示的示例中，信息处理设备300包括他人面部表情图像控制单元315a和315b作为多个他人面部表情图像控制单元315。此外，信息处理设备300可以包括压缩处理单元305和多个解压缩处理单元311。例如，在图11所示的示例中，信息处理设备300包括解压缩处理单元311a和311b作为多个解压缩处理单元311。
注意，输出单元191、输入单元197、成像单元193、检测单元195和通信单元199类似于根据上述实施方式的信息处理设备100(参见图3)的那些单元。此外，自身面部表情估计单元301、自身面部表情图像控制单元303、存储单元307和压缩处理单元305基本上类似于根据第二变型例的信息处理设备200中的自身面部表情估计单元201、自身面部表情图像控制单元203、存储单元207和压缩处理单元205。因此，在本描述中，将关注与根据上述第二变型例的信息处理设备200不同的部分来描述根据第三变型例的信息处理设备300的功能配置，并且省略了对与信息处理设备200基本上类似的部分的详细描述。
此外，在本描述中，为了简化根据第三变型例的信息处理设备300的特征，将关注以下情况的示例来给出描述：根据需要在用户Ua至Uc分别使用的信息处理设备300a至300c之间发送和接收用户的图像。
在根据第三变型例的信息处理设备300中，根据与用户对应的设置(例如，增益Gon等)来单独地调整分别从彼此不同的其他信息处理设备300发送的、使用其他信息处理设备300的用户的图像(换言之，他人图像)。
作为具体示例，假设用户Uc使用的信息处理设备300c向从信息处理设备300a和300b发送的与用户Ua和Ub对应的他人图像应用他人图像中的用户的面部表情的调整，并且向用户Uc呈现调整后的他人图像。在这种情况下，假设例如解压缩处理单元311a和他人面部表情图像控制单元315a处理与用户Ua对应的他人图像作为处理对象，并且解压缩处理单元311b和他人面部表情图像控制单元315b处理与用户Ub对应的他人图像作为处理对象。
此外，增益计算单元317经由预定网络从服务器800获取指示在服务器800中管理的与用户Ua对应的增益Gon的信息，并且将所获取的指示增益Gon的信息输出至他人面部表情图像控制单元315a。此外，增益计算单元317经由预定网络从服务器800获取指示在服务器800中管理的与用户Ub对应的增益Gon的信息，并且将所获取的指示增益Gon的信息输出至他人面部表情图像控制单元315b。
解压缩处理单元311a经由预定网络从服务器800获取由信息处理设备300a生成的用户Ua的外观的图像(换言之，与用户Ua对应的他人图像)的数据和指示对用户Ua的面部表情的估计结果(换言之，对面部表情的类型En和面部表情水平ELorn的估计结果)的信息。解压缩处理单元311a向所获取的与用户Ua对应的他人图像的数据应用基于预定格式的解压缩处理(解码处理)，以恢复与用户Ua对应的他人图像。然后，解压缩处理单元311a将所恢复的与用户Ua对应的他人图像的数据和所获取的指示对用户Ua的用户的面部表情的估计结果的信息输出至他人面部表情图像控制单元315a。
他人面部表情图像控制单元315a从解压缩处理单元311a获取与用户Ua对应的他人图像的数据和指示对用户Ua的面部表情的估计结果的信息。此外，他人面部表情图像控制单元315a从增益计算单元317获取指示与用户Ua对应的增益Gon的信息。接下来，他人面部表情图像控制单元315a基于指示对用户Ua的面部表情的估计结果的信息和指示与用户Ua对应的增益Gon的信息而向与用户Ua对应的他人图像应用图像处理，从而生成反映对用户Ua的面部表情的估计结果的、用户Ua的图像(换言之，具有调整后的用户Ua的面部表情的图像)。然后，他人面部表情图像控制单元315a将所生成的用户Ua的图像(换言之，反映对用户Ua的面部表情的估计结果的、用户Ua的外观的图像)输出至图像合成单元319。
此外，解压缩处理单元311b经由预定网络从服务器800获取由信息处理设备300b生成的用户Ub的外观的图像(换言之，与用户Ub对应的他人图像)的数据、以及指示对用户Ub的面部表情的估计结果(换言之，对面部表情的类型En和面部表情水平ELorn的估计结果)的信息。解压缩处理单元311b向所获取的与用户Ub对应的他人图像的数据应用基于预定格式的解压缩处理(解码处理)，以恢复与用户Ub对应的他人图像。然后，解压缩处理单元311b将所恢复的与用户Ub对应的他人图像的数据和所获取的指示对用户Ua的用户的面部表情的估计结果的信息输出至他人面部表情图像控制单元315b。
他人面部表情图像控制单元315b从解压缩处理单元311b获取与用户Ub对应的他人图像的数据和指示对用户Ub的面部表情的估计结果的信息。此外，他人面部表情图像控制单元315b从增益计算单元317获取指示与用户Ub对应的增益Gon的信息。接下来，他人面部表情图像控制单元315b基于指示对用户Ub的面部表情的估计结果的信息和指示与用户Ub对应的增益Gon的信息，来向与用户Ub对应的他人图像应用图像处理，从而生成反映对用户Ub的面部表情的估计结果的、用户Ub的图像(换言之，具有调整后的用户Ub的面部表情的图像)。然后，他人面部表情图像控制单元315b将所生成的用户Ub的图像(换言之，反映对用户Ub的面部表情的估计结果的、用户Ub的外观的图像)输出至图像合成单元319。
图像合成单元319从他人面部表情图像控制单元315a获取反映对用户Ua的面部表情的估计结果的、用户Ua的外观的图像。此外，图像合成单元319从他人面部表情图像控制单元315b获取反映对用户Ub的面部表情的估计结果的、用户Ub的外观的图像。接下来，图像合成单元319基于预定条件来合成所获取的用户Ua和Ub的外观的图像，从而生成其中呈现有各个用户Ua和Ub的外观且反映对各个用户Ua和Ub的面部表情的估计结果的图像。然后，图像合成单元319经由输出单元191向自身用户(换言之，用户Uc)呈现所生成的图像，换言之，其中呈现有各个用户Ua和Ub的外观的图像。
注意，可以按照根据第三变型例的信息处理系统的使用场景来适当地设置由图像合成单元319进行的合成所获取的各他人用户的图像的方法。例如，在假设在虚拟空间中进行用户Ua至Uc之间的通信的情况下，图像合成单元319可以根据虚拟空间中的用户Ua至Uc之间的位置关系来将用户Ua和Ub的各个图像与虚拟空间中的图像进行合成，从而生成要向用户Uc呈现的图像。
此外，图11仅示出了信息处理设备300的逻辑功能配置，并且不一定限制信息处理设备300的物理硬件配置。具体地，可以不在解压缩处理单元311a和他人面部表情图像控制单元315a中以及在解压缩处理单元311b和他人面部表情图像控制单元315b中单独地设置诸如IC或处理器的用于执行各种操作的装置。例如，由解压缩处理单元311a和他人面部表情图像控制单元315a进行的处理以及由解压缩处理单元311b和他人面部表情图像控制单元315b进行的处理可以由单个处理器执行。
此外，解压缩处理单元311a和311b以及他人面部表情图像控制单元315a和315b的各个逻辑配置也不受限制。例如，解压缩处理单元311a和311b可以被配置为一个解压缩处理单元311，并且解压缩处理单元311可以向与多个用户对应的他人图像的数据中的每一个应用解压缩处理(解码处理)，从而单独地恢复与用户对应的他人图像。类似地，他人面部表情图像控制单元315a和315b可以被配置为一个他人面部表情图像控制单元315，并且他人面部表情图像控制单元315向与用户对应的他人图像应用图像处理，从而单独地生成反映对用户的面部表情的估计结果的图像。此外，可以根据要成为通信的对象的用户的数量来适当地另外设置与解压缩处理单元311和他人面部表情图像控制单元315对应的配置。
接下来，将参照图12描述根据第三变型例的信息处理系统中的服务器800对增益Gmn和Gon的控制的示例。图12是用于描述根据第三变型例的信息处理系统中的增益控制的示例的说明图。
在图12所示的示例中，类似于参照图10描述的示例，为每个用户设置角色，并且服务器800根据为用户设置的角色来针对每个用户控制针对面部表情的每种类型En而设置的增益Gmn和Gon的至少一部分。具体地，在图12所示的示例中，为用户Ua设置“教师”的角色，并且为用户Ub和Uc设置“学生”的角色。服务器800可以基于这样的配置来根据为用户设置的角色控制与用户对应的增益。
注意，如图12所示，在假设在三个或更多个用户之间进行通信的情况下，可以单独地为可能成为通信对象的每个用户设置用于他人图像的增益Gon。作为具体示例，在与用户Ua对应的设置的情况下，可以单独地设置与用户Ub对应的增益Gon和与用户Uc对应的增益Gon。这同样适用于与用户Ub和Uc对应的设置。
此外，类似于参照图10描述的示例，可以根据进行通信的用户的各个角色来控制与用户对应的增益Gmn和增益Gon，以使得最终要应用于用户的各个图像的增益被限制为落入预定范围内。作为具体示例，在图12所示的示例中，在扮演“教师”的角色的用户Ua与扮演“学生”的角色的用户Ub和Uc之间，控制与用户对应的增益Gon，以使得最终要应用于用户的图像的增益被限制为落入0.8至1.1的范围内。
例如，在用户Ua使用的信息处理设备200a中，对用户Ua的图像应用的增益Gmn中的、与“愤怒(E3)”对应的增益Gm3被设置为“1.2”。换言之，增益Gm3被设置成使得“愤怒”的面部表情更加夸大。因此，在用户Ub使用的信息处理设备200b中，在设置与用户Ub对应的增益时为用户Ua设置的增益Gon中的、与“愤怒(E3)”对应的增益Go3被设置为“0.92”，使得最终要应用于用户Ua的图像的增益被控制为落入0.8至1.1的范围内(换言之，0.8≤Gm3×Go3≤1.1)。
此外，作为另一示例，在用户Ub使用的信息处理设备200b中，应用于用户Ub的图像的增益Gmn中的与“厌恶(E3)”对应的增益Gm6被设置为“0.2”。换言之，增益Gm6被设置成使得不太容易表现“厌恶”的面部表情。因此，在用户Ua使用的信息处理设备200a中，在设置与用户Ua对应的增益时为用户Ub设置的增益Gon中的、与“厌恶(E3)”对应的增益Go6被控制为“4.0”，使得最终要应用于用户Ub的图像的增益被控制为落入0.8至1.1的范围内(换言之，0.8≤Gm6×Go6≤1.1)。
同时，上述对增益的控制可以不在扮演“学生”的角色的用户Ub与用户Uc之间执行。例如，在图12所示的示例中，在设置与用户Ub对应的增益时，为用户Uc设置的增益Gon不由服务器800控制，并且由用户Ub预先设置的值可以按原样被应用。这类似地应用于在设置与用户Uc对应的增益时为用户Ub设置的增益Gon。
注意，以上描述仅仅是示例，并且不一定限制由服务器800对增益的控制。例如，由服务器800进行的控制不限于根据为每个用户设置的角色的上述控制，并且服务器800可以单独地控制用于每个用户的增益。作为具体示例，服务器800可以在用户Ua与用户Ub之间的通信和用户Ua与用户Uc之间的通信之间选择性地改变增益控制的内容。
此外，根据第三变型例的信息处理系统的配置仅仅是示例，并且信息处理设备200和服务器800的配置不必限于上述示例，只要实现信息处理设备200和服务器800的配置即可。
上面已经参照图11和图12来描述根据本实施方式的信息处理系统的配置的另一示例作为第三变型例。
(第四变型例)
接下来，作为第四变型例，将描述根据本实施方式的信息处理系统的系统配置的示例。
根据本实施方式的信息处理系统的系统配置不受特别限制，只要多个信息处理设备100可以经由预定网络相互发送和接收信息(例如，用户的图像)即可。例如，图13是示出根据第四变型例的信息处理系统的配置的示例的图。在图13所示的示例中，多个信息处理设备100(例如，信息处理设备100a至100d)中的每一个与其他信息处理设备100中的每一个构建网络，而无需在其间具有诸如服务器800的另一设备。更具体的示例包括多个信息处理设备100构建所谓的自组织网络的情况。
在这种情况下，类似于参照图3描述的示例，每个信息处理设备100可以单独地执行对自身用户的面部表情的估计以及对自身用户的面部表情的调整、以及对他人用户的面部表情的估计和对他人用户的面部表情的调整。
此外，作为另一示例，每个信息处理设备100可以将对除了自身用户的图像(换言之，自身图像)以外的自身用户的面部表情的估计结果发送至其他信息处理设备100。在这种情况下，类似于参照图9描述的示例，每个信息处理设备100可以使用从另一信息处理设备100发送的对另一信息处理设备100的用户(换言之，他人用户)的面部表情的估计结果来调整他人用户的图像(换言之，他人图像)。此外，可以在作为发送目的地的其他信息处理设备100侧共同地执行对作为发送源的信息处理设备100的用户的面部表情的调整。在这种情况下，例如，与信息处理设备100的用户相关联的图像(换言之，在应用图像处理之前的图像)可以与对用户的面部表情的估计结果和指示与用户对应的增益Gmn的信息一起从作为发送源的信息处理设备100被发送至作为发送目的地的其他信息处理设备100。
此外，作为另一示例，多个信息处理设备100中的至少一个或更多个信息处理设备100可以起到参照图9描述的示例中的服务器800的作用。此外，参照图9描述的示例中的服务器800的功能可以由多个信息处理设备100通过分布式处理来实现。
当然，上述示例仅仅是示例，并且配置不受特别限制，只要实现根据上述实施方式和各种变型例的信息处理系统的每个功能即可。
已经参照图13来描述了根据本实施方式的信息处理系统的系统配置的另一示例作为第四变型例。
<<4.硬件配置的示例>>
接下来，将参照图14详细地描述根据本公开内容的实施方式的构成信息处理系统的信息处理设备(诸如上述信息处理设备100或服务器800)的硬件配置的示例。图14是示出根据本公开内容的实施方式的构成通信系统的信息处理设备的硬件配置的配置示例的功能框图。
根据本实施方式的构成通信系统的信息处理设备900主要包括CPU 901、ROM 903和RAM 905。此外，信息处理设备900包括主机总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925。
CPU 901用作算术处理单元和控制单元，并且根据ROM 903、RAM 905、存储装置919或可移动记录介质927中记录的各种程序来控制信息处理设备900的全部操作或一部分。ROM 903存储CPU 901使用的程序、操作参数等。RAM 905主要存储CPU 901使用的程序、在执行程序时适当地改变的参数等。CPU 901、ROM 903和RAM 905通过由诸如CPU总线的内部总线构成的主机总线907相互连接。例如，自身面部表情估计单元101、自身面部表情图像控制单元103、压缩处理单元105、解压缩处理单元111、他人面部表情估计单元113、他人面部表情图像控制单元115和增益计算单元117可以由CPU 901构成。
主机总线907经由桥接器909连接至诸如外围部件互连/接口(PCI)总线的外部总线911。此外，输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925经由接口913连接至外部总线911。
输入装置915是由用户操作的操作装置，诸如鼠标、键盘、触摸面板、按钮、开关、操纵杆和踏板。此外，输入装置915可以是例如使用红外线或其他无线电波的遥控装置(所谓的遥控器)、或者诸如与信息处理设备900的操作对应的移动电话或PDA的外部连接装置929。此外，输入装置915例如由输入控制电路构成，该输入控制电路用于基于由用户使用上述操作装置输入的信息来生成输入信号并且将输入信号输出至CPU 901等。信息处理设备900的用户可以通过操作输入装置915来将各种数据输入至信息处理设备900并向信息处理设备900给出关于处理操作的指令。例如，图3中所示的输入单元197可以由输入装置915构成。
输出装置917由可以在视觉上或听觉上向用户通知所获取的信息的装置构成。这样的装置包括诸如CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置、灯等显示装置、诸如扬声器和头戴式耳机的声音输出装置、以及打印机装置。输出装置917输出例如通过由信息处理设备900执行的各种类型的处理而获得的结果。具体地，显示装置将由信息处理设备900执行的各种类型的处理的结果显示为文本或图像。同时，声音输出装置将包括再现声音数据、语音数据等的音频信号转换成模拟信号并且输出模拟信号。例如，图3中所示的输出单元191可以由输出装置917构成。
存储装置919是用于数据存储的装置，其被配置为信息处理设备900的存储单元的示例。存储装置919由诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等构成。存储装置919存储由CPU 901执行的程序、各种数据等。例如，图3所示的存储单元107可以由存储装置919构成。
驱动器921是用于记录介质的读写器，并且内置在信息处理设备900中或者外部附接至信息处理设备900。驱动器921读出诸如安装的磁盘、光盘、磁光盘或半导体存储器的可移动记录介质927上记录的信息，并且将信息输出至RAM 905。此外，驱动器921还可以将记录写入诸如安装的磁盘、光盘、磁光盘或半导体存储器的可移动记录介质927上。可移动记录介质927例如是DVD介质、HD-DVD介质、Blu-ray(注册商标)介质等。此外，可移动记录介质927可以是紧凑型闪存(CF(注册商标))、闪速存储器、安全数字(SD)存储卡等。此外，可移动记录介质927可以是例如其上安装有非接触式IC芯片的集成电路(IC)卡、电子装置等。
连接端口923是用于直接连接至信息处理设备900的端口。连接端口923的示例包括通用串行总线(USB)端口、IEEE 1394端口和小型计算机系统接口(SCSI)端口。连接端口923的其他示例包括RS-232C端口、光学音频端子和高清晰度多媒体接口(HDMI)(注册商标)端口。通过将外部连接装置929连接至连接端口923，信息处理设备900直接从外部连接装置929获取各种数据，并且将各种数据提供给外部连接装置929。
通信装置925例如是由通信装置构成的用于连接至通信网络(网络)931等的通信接口。通信装置925例如是用于有线或无线局域网(LAN)、Bluetooth(注册商标)、无线USB(WUSB)等的通信卡。此外，通信装置925可以是用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器、用于各种通信的调制解调器等。例如，通信装置925可以根据诸如TCP/IP的预定协议向因特网和其他通信装置发送信号等以及从因特网和其他通信装置接收信号等。此外，连接至通信装置925的通信网络931由通过有线或无线装置连接的网络等构成，并且可以是例如因特网、家庭LAN、红外通信、无线电波通信、卫星通信等。例如，图3所示的通信单元199可以由通信装置925构成。
在上文中，已经描述了根据本公开内容的实施方式的可以实现构成通信系统的信息处理设备900的功能的硬件配置的示例。上述构成元件中的每一个可以使用通用构件来配置、或者可以由专用于每个构成元件的功能的硬件来构成。因此，可以根据实现本实施方式的时间的技术水平来适当地改变要使用的硬件配置。注意，尽管在图14中未示出，但是自然地提供了与构成信息处理系统的信息处理设备900对应的各种配置。
注意，可以在个人计算机等上准备和实现用于实现构成根据上述本实施方式的信息处理系统的信息处理设备900的功能的计算机程序。此外，还可以提供其中存储有这种计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪速存储器等。此外，上述计算机程序可以经由例如网络传送而无需使用记录介质。此外，执行计算机程序的计算机的数量不受特别限制。例如，多个计算机(例如，多个服务器等)可以彼此协作地执行计算机程序。
<<5.结论>>
如上所述，在根据本实施方式的信息处理系统中，在向用户Ub呈现与用户Ua相关联的图像(例如，面部图像)的情况下，向与用户Ua相关联的图像应用基于与用户Ua相关联的第一设置和与用户Ub相关联的第二设置的图像处理。此处，与用户Ua相关联的第一设置的示例例如包括与基于对用户自己的情绪的估计结果对与用户自己(换言之，用户Ua)相关联的图像的图像处理的应用量有关的设置、已经由用户Ua设定的设置(该设置例如是由用户Ua设置的增益Gmn等)。此外，与用户Ub相关联的第二设置的示例例如包括与基于对他人用户的情绪的估计结果对与他人用户(例如，用户Ua)相关联的图像的图像处理的应用量有关的设置、已经由用户Ub设定的设置(该设置例如是由用户Ub设置的增益Gon等)。
利用这样的配置，根据本实施方式的信息处理系统，即使在用户的面部的至少一部分被挡住的情况下，也可以由穿戴头戴式装置的用户经由网络向另一用户呈现反映用户的面部表情或情绪的图像。此外，如上所述，根据本实施方式的信息处理设备100根据预定设置来控制对于与用户相关联的图像的图像处理的应用量。通过这样的控制，例如，即使在用户实际上采取过度反应而不舒服的状况下，也可以通过增加图像处理的应用量来向另一用户呈现模拟用户预期的面部表情或情绪的图像。
此外，例如，当向用户Ub呈现反映用户Ua的面部表情或情绪的图像时，信息处理设备100b可以根据与用户Ub相关联的设置(例如，由用户Ub指定的设置)来调整图像中的用户Ua的面部表情。利用这样的配置，例如，即使在用户Ua难以鉴于在用户Ub侧的状态而自发地调整面部表情(例如，调整反应的大小)的状况下，也可以根据用户Ub的状态在信息处理设备100b侧调整要向用户Ub呈现的图像中的用户Ua的面部表情。
如上所述，根据本实施方式的信息处理系统，可以以更有利的方式经由网络在用户之间实现使用用户的面部表情的非语言通信。
尽管已经参照附图来详细描述了本公开内容的有利实施方式，但是本公开内容的技术范围不限于这样的示例。显然，本公开内容的技术领域中具有普通知识的人员可以在权利要求书中描述的技术构思的范围内构思各种变型或变更，并且变型和变更自然被理解为属于本公开内容的技术范围。
此外，本说明书中描述的效果仅仅是说明性的或示例性的，而不是限制性的。也就是说，与上述效果一起或代替上述效果，根据本公开内容的技术可以从本说明书的描述中展示本领域技术人员显而易见的其他效果。
注意，以下配置也属于本公开内容的技术范围。
(1)一种信息处理设备，包括：
通信单元，其被配置成经由预定网络与外部装置进行通信；以及
控制单元，其被配置成执行关于向第二用户呈现第二图像的控制，所述第二图像是通过向与第一用户相关联的第一图像应用基于与所述第一用户相关联的第一设置以及与所述第二用户相关联的第二设置的图像处理而生成的。
(2)根据(1)所述的信息处理设备，其中，所述第一设置和所述第二设置中的至少一个是根据对所述第一用户的面部表情或情绪的估计结果来确定的。
(3)根据(1)或(2)所述的信息处理设备，其中，所述第二设置是针对所述第一用户中的每一个而设置的。
(4)根据(1)至(3)中任一项所述的信息处理设备，其中，所述第一设置和所述第二设置中的每一个包括与所述图像处理的应用量有关的信息。
(5)根据(4)所述的信息处理设备，其中，用于基于所述第一图像生成所述第二图像的图像处理的应用量是根据基于所述第一设置的图像处理的应用量和基于所述第二设置的图像处理的应用量来确定的。
(6)根据(4)或(5)所述的信息处理设备，其中，基于所述第二设置的图像处理的应用量是根据预定的限值来控制的。
(7)根据(4)至(6)中任一项所述的信息处理设备，其中，基于所述第一设置和所述第二设置中的至少一个的图像处理的应用量是根据来自与所述设置对应的用户的用户输入来控制的。
(8)根据(4)至(7)中任一项所述的信息处理设备，其中，基于所述第一设置和所述第二设置中的至少一个的图像处理的应用量是根据对预定状态或状况的检测结果来控制。
(9)根据(4)至(8)中任一项所述的信息处理设备，其中，基于所述第一设置和所述第二设置中的至少一个的图像处理的应用量是根据与文化、种族、国籍、性别和年龄中的至少一个有关的多样性信息来控制的。
(10)根据(1)至(9)中任一项所述的信息处理设备，其中，所述控制单元执行经由预定的输出单元向所述第二用户呈现所述第二图像的控制，作为所述控制。
(11)根据(10)所述的信息处理设备，还包括：
图像处理单元，其被配置成通过向第三图像应用基于所述第二设置的图像处理来生成所述第二图像，所述第三图像是通过向所述第一图像应用基于所述第一设置的图像处理而生成的，所述第三图像是经由所述网络从外部装置发送。
(12)根据(11)所述的信息处理设备，还包括：
估计单元，其被配置成通过向所述第三图像应用分析处理来基于所述分析处理的结果估计所述第一用户的面部表情或情绪，其中，
所述图像处理单元通过基于根据对所述第一用户的面部表情或情绪的估计结果而确定的所述第二设置向所述第三图像应用图像处理，来生成所述第二图像。
(13)根据(11)所述的信息处理设备，其中，
所述图像处理单元：
经由所述网络从所述外部装置获取指示对所述第一用户的面部表情或情绪的估计结果的信息，以及
通过基于根据所述估计结果确定的所述第二设置向所述第三图像应用图像处理，来生成所述第二图像。
(14)根据(10)所述的信息处理设备，还包括：
图像处理单元，其被配置成通过向经由所述网络从外部装置发送的所述第一图像应用基于所述第一设置和所述第二设置的图像处理来生成所述第二图像，所述第一设置和所述第二设置基于从所述外部装置通知的信息。
(15)根据(1)至(9)中任一项所述的信息处理设备，其中，所述控制单元执行经由所述网络将所述第二图像发送至与所述第二用户相关联的外部装置的控制，作为所述控制。
(16)根据(15)所述的信息处理设备，还包括：
图像处理单元，其被配置成通过向所述第一图像应用基于所述第一设置和所述第二设置的图像处理来生成所述第二图像，其中
所述控制单元将所生成的所述第二图像发送至与所述第二用户相关联的外部装置。
(17)根据(16)所述的信息处理设备，其中，所述第一设置和所述第二设置是根据经由所述网络从与所述第一用户相关联的外部装置通知的、指示对所述第一用户的面部表情或情绪的估计结果的信息来确定的。
(18)根据(16)所述的信息处理设备，还包括：
估计单元，其被配置成基于指示预定的检测单元的检测结果的信息来估计所述第一用户的面部表情或情绪，所述信息是经由所述网络从与所述第一用户相关联的外部装置的通知的，其中，
所述第一设置和所述第二设置是根据所述估计结果来确定的。
(19)根据(15)所述的信息处理设备，还包括：
图像处理单元，其被配置成通过向第三图像应用基于所述第二设置的图像处理来生成所述第二图像，所述第三图像是通过向所述第一图像应用基于所述第一设置的图像处理而生成的，其中，
所述控制单元将所生成的所述第二图像发送至与所述第二用户相关联的外部装置。
(20)根据(1)至(9)中任一项所述的信息处理设备，还包括：
图像处理单元，其被配置成通过向所述第一图像应用基于所述第一设置的图像处理来生成第三图像，其中，
所述控制单元执行经由所述网络将所生成的第三图像作为用于生成所述第二图像的数据发送至外部装置的控制，作为所述控制。
(21)根据(1)至(9)中任一项所述的信息处理设备，其中，
所述信息处理设备是与所述第一用户相关联的设备，以及
所述控制单元执行经由所述网络将所述第一图像和与所述第一设置有关的信息中的至少一个作为用于生成所述第二图像的数据发送至外部装置的控制，作为所述控制。
(22)根据(1)至(21)中任一项所述的信息处理设备，其中，所述第一图像是其中呈现有所述第一用户的面部的图像。
(23)一种信息处理方法，包括：
通过计算机执行以下步骤：
经由预定网络与外部装置进行通信；以及
执行与向第二用户呈现第二图像的控制，所述第二图像是通过向与第一用户相关联的第一图像应用基于与所述第一用户相关联的第一设置以及与所述第二用户相关联的第二设置的图像处理而生成的。
(24)一种程序，其用于使计算机执行以下步骤：
经由预定网络与外部装置进行通信；以及
执行关于向第二用户呈现第二图像的控制，所述第二图像是通过向与第一用户相关联的第一图像应用基于与第一用户相关联的第一设置以及与所述第二用户相关联的第二设置的图像处理而生成的。
附图标记列表
1 信息处理系统
100、200、300 信息处理设备
101、201、301 自身面部表情估计单元
103、203、303 自身面部表情图像控制单元
105、205、305 压缩处理单元
107、207、307 存储单元
111、211、311 解压缩处理单元
113 他人面部表情估计单元
115、215、315 他人面部表情图像控制单元
117、217、317 增益计算单元
191 输出单元
193 成像单元
195 检测单元
197 输入单元
199 通信单元
319 图像合成单元
800 服务器

Claims (24)

1.一种信息处理设备，包括：
通信单元，其被配置成经由预定网络与外部装置进行通信；以及
控制单元，其被配置成执行关于向第二用户呈现第二图像的控制，所述第二图像是通过向与第一用户相关联的第一图像应用基于与所述第一用户相关联的第一设置以及与所述第二用户相关联的第二设置的图像处理而生成的。
2.根据权利要求1所述的信息处理设备，其中，所述第一设置和所述第二设置中的至少一个是根据对所述第一用户的面部表情或情绪的估计结果来确定的。
3.根据权利要求1所述的信息处理设备，其中，所述第二设置是针对所述第一用户中的每一个而设置的。
4.根据权利要求1所述的信息处理设备，其中，所述第一设置和所述第二设置中的每一个包括与图像处理的应用量有关的信息。
5.根据权利要求4所述的信息处理设备，其中，用于基于所述第一图像生成所述第二图像的图像处理的应用量是根据基于所述第一设置的图像处理的应用量和基于所述第二设置的图像处理的应用量来确定的。
6.根据权利要求4所述的信息处理设备，其中，基于所述第二设置的图像处理的应用量是根据预定的限值来控制的。
7.根据权利要求4所述的信息处理设备，其中，基于所述第一设置和所述第二设置中的至少一个的图像处理的应用量是根据来自与所述设置对应的用户的用户输入来控制的。
8.根据权利要求4所述的信息处理设备，其中，基于所述第一设置和所述第二设置中的至少一个的图像处理的应用量是根据对预定状态或状况的检测结果来控制的。
9.根据权利要求4所述的信息处理设备，其中，基于所述第一设置和所述第二设置中的至少一个的图像处理的应用量是根据与文化、种族、国籍、性别和年龄中的至少一个有关的多样性信息来控制的。
10.根据权利要求1所述的信息处理设备，其中，所述控制单元执行经由预定的输出单元向所述第二用户呈现所述第二图像的控制，作为所述控制。
11.根据权利要求10所述的信息处理设备，还包括：
图像处理单元，其被配置成通过向第三图像应用基于所述第二设置的图像处理来生成所述第二图像，所述第三图像是通过向所述第一图像应用基于所述第一设置的图像处理而生成的，所述第三图像是经由所述网络从外部装置发送的。
12.根据权利要求11所述的信息处理设备，还包括：
估计单元，其被配置成通过向所述第三图像应用分析处理来基于所述分析处理的结果估计所述第一用户的面部表情或情绪，其中，
所述图像处理单元通过基于根据对所述第一用户的面部表情或情绪的估计结果而确定的所述第二设置向所述第三图像应用图像处理，来生成所述第二图像。
13.根据权利要求11所述的信息处理设备，其中，
所述图像处理单元：
经由所述网络从外部装置获取指示对所述第一用户的面部表情或情绪的估计结果的信息，以及
通过基于根据所述估计结果确定的所述第二设置向所述第三图像应用图像处理，来生成所述第二图像。
14.根据权利要求10所述的信息处理设备，还包括：
图像处理单元，其被配置成通过向经由所述网络从外部装置发送的所述第一图像应用基于所述第一设置和所述第二设置的图像处理来生成所述第二图像，所述第一设置和所述第二设置基于从所述外部装置通知的信息。
15.根据权利要求1所述的信息处理设备，其中，所述控制单元执行经由所述网络将所述第二图像发送至与所述第二用户相关联的外部装置的控制，作为所述控制。
16.根据权利要求15所述的信息处理设备，还包括：
图像处理单元，其被配置成通过向所述第一图像应用基于所述第一设置和所述第二设置的图像处理来生成所述第二图像，其中
所述控制单元将所生成的所述第二图像发送至与所述第二用户相关联的外部装置。
17.根据权利要求16所述的信息处理设备，其中，所述第一设置和所述第二设置是根据经由所述网络从与所述第一用户相关联的外部装置通知的、指示对所述第一用户的面部表情或情绪的估计结果的信息来确定的。
18.根据权利要求16所述的信息处理设备，还包括：
估计单元，其被配置成基于指示预定的检测单元的检测结果的信息来估计所述第一用户的面部表情或情绪，所述信息是经由所述网络从与所述第一用户相关联的外部装置通知的，其中，
所述第一设置和所述第二设置是根据所述估计结果来确定的。
19.根据权利要求15所述的信息处理设备，还包括：
图像处理单元，其被配置成通过向第三图像应用基于所述第二设置的图像处理来生成所述第二图像，所述第三图像是通过向所述第一图像应用基于所述第一设置的图像处理而生成的，其中，
所述控制单元将所生成的所述第二图像发送至与所述第二用户相关联的外部装置。
20.根据权利要求1所述的信息处理设备，还包括：
图像处理单元，其被配置成通过向所述第一图像应用基于所述第一设置的图像处理来生成第三图像，其中，
所述控制单元执行经由所述网络将所生成的第三图像作为用于生成所述第二图像的数据发送至外部装置的控制，作为所述控制。
21.根据权利要求1所述的信息处理设备，其中，
所述信息处理设备是与所述第一用户相关联的设备，以及
所述控制单元执行经由所述网络将所述第一图像和与所述第一设置有关的信息中的至少一个作为用于生成所述第二图像的数据发送至外部装置的控制，作为所述控制。
22.根据权利要求1所述的信息处理设备，其中，所述第一图像是其中呈现有所述第一用户的面部的图像。
23.一种信息处理方法，包括：
通过计算机执行以下步骤：
经由预定网络与外部装置进行通信；以及
执行关于向第二用户呈现第二图像的控制，所述第二图像是通过向与第一用户相关联的第一图像应用基于与所述第一用户相关联的第一设置以及与所述第二用户相关联的第二设置的图像处理而生成的。
24.一种程序，其用于使计算机执行以下步骤：
经由预定网络与外部装置进行通信；以及
执行关于向第二用户呈现第二图像的控制，所述第二图像是通过向与第一用户相关联的第一图像应用基于与所述第一用户相关联的第一设置以及与所述第二用户相关联的第二设置的图像处理而生成的。
CN201780083329.0A 2017-01-20 2017-10-20 信息处理设备、信息处理方法以及程序 Active CN110199244B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017008440 2017-01-20
JP2017-008440 2017-01-20
PCT/JP2017/038077 WO2018135057A1 (ja) 2017-01-20 2017-10-20 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN110199244A true CN110199244A (zh) 2019-09-03
CN110199244B CN110199244B (zh) 2022-05-24

Family

ID=62908030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780083329.0A Active CN110199244B (zh) 2017-01-20 2017-10-20 信息处理设备、信息处理方法以及程序

Country Status (5)

Country Link
US (1) US11368664B2 (zh)
JP (1) JP6969577B2 (zh)
CN (1) CN110199244B (zh)
DE (1) DE112017006881T5 (zh)
WO (1) WO2018135057A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6754412B2 (ja) * 2018-11-07 2020-09-09 スカパーＪｓａｔ株式会社 体験記録システム及び体験記録方法
JP7254346B2 (ja) * 2019-08-26 2023-04-10 株式会社Agama-X 情報処理装置及びプログラム
JP7476091B2 (ja) * 2020-12-18 2024-04-30 Ｌｉｎｅヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385697A (zh) * 2010-09-06 2012-03-21 索尼公司 图像处理装置、程序和图像处理方法
CN103339926A (zh) * 2011-11-24 2013-10-02 株式会社Ntt都科摩 表情输出装置和表情输出方法
CN103975291A (zh) * 2011-12-07 2014-08-06 株式会社尼康 电子设备、信息处理方法及程序
US20150042749A1 (en) * 2013-08-09 2015-02-12 Takeshi Homma Information processing device, information processing system, and information processing method
US20150061824A1 (en) * 2013-08-28 2015-03-05 Yahoo Japan Corporation Information processing device, determination method, and non-transitory computer readable storage medium
US20160217621A1 (en) * 2015-01-28 2016-07-28 Sony Computer Entertainment Europe Limited Image processing
CN105992986A (zh) * 2014-01-23 2016-10-05 索尼公司 图像显示装置和图像显示方法
CN106170083A (zh) * 2015-05-18 2016-11-30 三星电子株式会社 用于头戴式显示器设备的图像处理
US20160378965A1 (en) * 2015-06-26 2016-12-29 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling functions in the electronic apparatus using a bio-metric sensor

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659691A (en) * 1993-09-23 1997-08-19 Virtual Universe Corporation Virtual reality network with selective distribution and updating of data to reduce bandwidth requirements
JP2004185437A (ja) * 2002-12-04 2004-07-02 Nippon Hoso Kyokai <Nhk> 身体情報反映チャット用プログラム、身体情報反映チャット用サーバ、身体情報反映チャット用クライアントおよび身体情報反映チャット方法
US20060284791A1 (en) * 2005-06-21 2006-12-21 National Applied Research Laboratories National Center For High-Performance Computing Augmented reality system and method with mobile and interactive function for multiple users
JP2013258555A (ja) 2012-06-12 2013-12-26 Sony Computer Entertainment Inc ヘッドマウントディスプレイ、生体情報管理装置、および生体情報表示方法
KR20140061620A (ko) * 2012-11-13 2014-05-22 삼성전자주식회사 증강 현실을 활용한 소셜 네트워크 서비스 제공 시스템 및 방법과, 디바이스
JP6155643B2 (ja) * 2013-01-07 2017-07-05 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
US9784976B2 (en) * 2015-02-04 2017-10-10 Seiko Epson Corporation Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program
US10165949B2 (en) * 2015-06-14 2019-01-01 Facense Ltd. Estimating posture using head-mounted cameras
KR102136241B1 (ko) * 2015-09-29 2020-07-22 바이너리브이알, 인크. 표정 검출 성능을 갖는 머리-장착형 디스플레이
US10817066B2 (en) * 2016-12-05 2020-10-27 Google Llc Information privacy in virtual reality

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385697A (zh) * 2010-09-06 2012-03-21 索尼公司 图像处理装置、程序和图像处理方法
CN103339926A (zh) * 2011-11-24 2013-10-02 株式会社Ntt都科摩 表情输出装置和表情输出方法
CN103975291A (zh) * 2011-12-07 2014-08-06 株式会社尼康 电子设备、信息处理方法及程序
US20150042749A1 (en) * 2013-08-09 2015-02-12 Takeshi Homma Information processing device, information processing system, and information processing method
US20150061824A1 (en) * 2013-08-28 2015-03-05 Yahoo Japan Corporation Information processing device, determination method, and non-transitory computer readable storage medium
CN105992986A (zh) * 2014-01-23 2016-10-05 索尼公司 图像显示装置和图像显示方法
US20160217621A1 (en) * 2015-01-28 2016-07-28 Sony Computer Entertainment Europe Limited Image processing
CN106170083A (zh) * 2015-05-18 2016-11-30 三星电子株式会社 用于头戴式显示器设备的图像处理
US20160378965A1 (en) * 2015-06-26 2016-12-29 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling functions in the electronic apparatus using a bio-metric sensor

Also Published As

Publication number Publication date
US20190373242A1 (en) 2019-12-05
JP6969577B2 (ja) 2021-11-24
JPWO2018135057A1 (ja) 2019-11-21
CN110199244B (zh) 2022-05-24
US11368664B2 (en) 2022-06-21
WO2018135057A1 (ja) 2018-07-26
DE112017006881T5 (de) 2019-11-14

Similar Documents

Publication Publication Date Title
US20230333377A1 (en) Display System
JP7342191B2 (ja) 虹彩コードの蓄積および信頼性割当
US20210295025A1 (en) Classifying facial expressions using eye-tracking cameras
AU2015253557B2 (en) Facial expression tracking
CN105142498B (zh) 增强光学和感知数字护目镜
WO2020204000A1 (ja) コミュニケーション支援システム、コミュニケーション支援方法、コミュニケーション支援プログラム、および画像制御プログラム
US11428937B2 (en) Enhanced optical and perceptual digital eyewear
CN110785735A (zh) 用于语音命令情景的装置和方法
AU2024200190A1 (en) Presenting avatars in three-dimensional environments
CN110199244A (zh) 信息处理设备、信息处理方法以及程序
US20230290082A1 (en) Representation of users based on current user appearance
US11216648B2 (en) Method and device for facial image recognition
Nijholt Capturing obstructed nonverbal cues in augmented reality interactions: a short survey
US11810219B2 (en) Multi-user and multi-surrogate virtual encounters
KR20210070119A (ko) 스마트폰 전면 카메라와 인공지능 자세 분석을 이용한 명상 가이드 시스템
US20220035453A1 (en) Apparatus and method for user interfacing in display glasses
Takegawa et al. Digital full-face mask display with expression recognition using embedded photo reflective sensor arrays
WO2021236738A1 (en) Systems and methods for authenticating a user of a head-mounted display
JP2023036171A (ja) ユーザ行動支援装置、方法およびプログラム
US11908098B1 (en) Aligning user representations
WO2023062795A1 (ja) ビデオミーティング評価端末
US20240005537A1 (en) User representation using depths relative to multiple surface points
Xuan et al. SpecTracle: Wearable Facial Motion Tracking from Unobtrusive Peripheral Cameras
GB2621868A (en) An image processing method, device and computer program
Sabra Addressing Privacy Challenges in Modern Audio-Video Communication Systems and Applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant