CN115279466A - 用于调整虚拟环境的系统、游戏控制台和方法 - Google Patents

用于调整虚拟环境的系统、游戏控制台和方法 Download PDF

Info

Publication number
CN115279466A
CN115279466A CN202180020787.6A CN202180020787A CN115279466A CN 115279466 A CN115279466 A CN 115279466A CN 202180020787 A CN202180020787 A CN 202180020787A CN 115279466 A CN115279466 A CN 115279466A
Authority
CN
China
Prior art keywords
user
virtual environment
emotional state
adjusting
physical activity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180020787.6A
Other languages
English (en)
Inventor
克拉森·里克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115279466A publication Critical patent/CN115279466A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Abstract

一种用于非侵入性地调整虚拟环境的方法。该方法包括感测感知虚拟环境的用户的身体活动，以及基于感测到的身体活动确定用户的情感状态。此外，该方法提供使用用户的情感状态作为用户的非侵入性输入来调整虚拟环境，以增加和/或不破坏用户对虚拟环境的沉浸式体验。

Description

用于调整虚拟环境的系统、游戏控制台和方法
技术领域
本公开的实施方式涉及用于调整虚拟环境的系统、游戏控制台和方法。更具体地说，各实施方式涉及用于基于感知虚拟环境的用户的情感状态来调整虚拟环境的方法。
背景技术
感知虚拟环境的用户越来越欣赏对虚拟环境的身临其境的体验。在这种情况下，沉浸感，或沉浸式体验，是物理存在于由虚拟环境所表示的虚拟世界中的感知。例如，在虚拟现实应用中，虚拟环境表示用户在虚拟世界中的(虚拟的)第一人称视图。
通过键输入对控制虚拟环境的系统的用户反馈或用户输入可能会减少或“破坏”沉浸式体验。在建立的概念中，这种反馈或输入对于系统控制虚拟环境是强制性的。
当前的概念已经向其用户提供了可能不需要用户输入的沉浸式体验，但是如果没有用户输入或反馈，这些沉浸式体验将被简化为例如虚拟环境的脚本化场景。
发明内容
因此，可能需要提供用户虚拟环境的非侵入性自适应的概念。
这种需求可以通过所附的独立和从属权利要求来满足。
根据第一方面，本公开涉及一种用于非侵入性地调整虚拟环境的方法。该方法包括感测感知虚拟环境的用户的身体活动，以及基于感测到的身体活动确定用户的情感状态。此外，该方法提供使用用户的情感状态作为用户的非侵入性输入来调整虚拟环境，以增加和/或不破坏用户对虚拟环境的沉浸式体验。
虚拟环境特别地可以被理解为用户可以在视觉和/或声学上感知的虚拟设置，并且它向用户建议用户的可选环境，该环境至少部分是虚构的。所述虚拟环境例如是由诸如屏幕、虚拟现实眼镜、扬声器和/或多媒体系统之类的输出媒体表示的虚拟、增强或混合现实。
虚拟环境还可以指从“自身视角”看到的虚拟设置或用户的视觉表示的周围。
例如，用户的身体活动是指面部表情、重要功能(例如，心率、血压)、身体功能(例如，排汗)、噪声(例如，言语、惊呼)或用户的动作/手势。可以使用一个或多个传感器来监测用户的身体活动。例如，传感器包括用于监测用户的面部表情或手势的摄像头。另外地或可选地，传感器可以包括心率监测器、血压计、麦克风、眼睛跟踪设备和/或用于监测用户排汗的湿度传感器。
情感状态可以指用户的感觉或情绪。用户的身体活动可以反映用户的情感状态，就像微笑可以表达用户的快乐一样。相反，忙乱的手势、痛苦的面部表情、血压、心率、排汗和/或瞳孔宽度的增加可以反映紧张和/或愤怒。
因此，可以使用用户的身体活动来导出用户的情感状态。为此，传感器可以将指示用户身体活动的活动数据提供给数据处理电路，该数据处理电路被配置为从活动数据推断用户的情感状态。
根据用于感测用户身体活动的传感器，活动数据可以包括图像数据(例如，图像)、声谱、心电图和/或出汗和/或瞳孔宽度的记录。
为了从用户的图像数据确定情感状态，数据处理电路例如使用机器姿势和/或面部识别。以这种方式，数据处理电路例如根据用户的姿势和/或面部表情确定情感状态。
数据处理电路可以进一步适于使用用户的情感状态来调整虚拟环境。为此，数据处理电路可以耦接到向用户提供虚拟环境的输出介质。
这样，数据处理电路可以控制虚拟环境对用户情感状态的影响。例如，数据处理电路可以改变虚拟环境的外观或内容，以将用户的情感状态从“紧张”改变为“放松”。为此，虚拟环境可以从反映紧张场景(例如，用户需要尽可能快地做出反应)转变为不需要或更少(压力)的用户交互的放松场景。
这允许以“自然的”、非侵入性的方式调整虚拟环境，而不需要用户的任何“沉浸破坏”输入指令，这可能会减少或“破坏”用户的沉浸体验。
根据第二方面，本公开涉及一种包括指令的计算机程序，当计算机程序由处理器执行时，使得处理器执行上述方法。
根据第三方面，本公开涉及一种用于非侵入性地调整虚拟环境的系统。该系统包括被配置为感测感知虚拟环境的用户的身体活动的一个或多个传感器和数据处理电路。数据处理电路被配置为基于感测到的身体活动来确定用户的情感状态。此外，数据处理电路被配置为使用用户的情感状态作为用户的非侵入性输入来调整虚拟环境，以增加和/或不破坏用户对虚拟环境的沉浸式体验。
根据第四方面，本公开涉及一种被配置为生成虚拟环境的游戏控制台，其中所述游戏控制台包括前述系统，用于使用感知所述虚拟环境的用户的情感状态作为用户非侵入性输入来调整虚拟环境，以增加和/或不破坏用户对所述虚拟环境的沉浸式体验。
上述系统和上述游戏控制台可以特别地被实现用于执行上述方法。因此，与上述方法相关的特征因此可以通过类比应用于系统和游戏控制台。
附图说明
以下将仅通过示例的方式并参考附图来描述设备和/或方法的一些示例，其中
图1示出了示意性地说明用于非侵入性地调整虚拟环境的方法的流程图；
图2a示出了用于非侵入性地调整虚拟环境的系统的实施方式；
图2b示出了虚拟环境的第一示例；以及
图2c示出了虚拟环境的第二示例。
具体实施方式
现在将参考附图更全面地描述各种示例，在附图中示出了一些示例。在图中，为了清楚起见，可以夸大线、层和/或区域的厚度。
因此，尽管进一步的示例能够进行各种修改和替代形式，但其一些特定示例在图中示出，并随后将详细描述。然而，本详细描述并不将其他示例限于所描述的特定形式。其他示例可涵盖落入本公开范围内的所有修改、等同物和替代方案。贯穿附图的描述，相同或相似的数字指的是相同或相似的元件，当相互比较时，它们可以相同地或以修改的形式实现，同时提供相同或相似的功能。
应当理解，当元件被称为与另一元件“连接”或“耦接”时，元件可以直接连接或经由一个或多个中间元件耦接。如果两个元件A和B使用“或”组合，这将被理解为揭示所有可能的组合，即，仅A、仅B以及A和B，如果没有以其他方式明确或隐含地限定的话。相同组合的替代措辞是“A和B中的至少一者”或“A和/或B”。这同样适用于两个以上元件的组合。
此处用于描述特定示例的术语并不旨在限制进一步的示例。无论何时使用诸如“一个”、“一种”和“所述”之类的单数形式，并且仅使用单个元件既不显式也不隐式地限定为强制，进一步的示例也可以使用多个元件来实现相同的功能。同样，当功能随后被描述为使用多个元件来实现时，进一步的示例可以使用单个元件或处理实体来实现相同的功能。将进一步理解，术语“包括”、“包含”和/或“含有”在使用时指定所述特征、整数、步骤、操作、过程、动作、元件和/或组件的存在，但不排除一个或多个其他特征、整体、步骤、操作、过程、动作、元件、组件和/或其任何组的存在或添加。
除非另有限定，所有术语(包括技术和科学术语)在本文中以它们在本实施例所属的领域中的普通含义使用。
一些用于娱乐或游戏目的的应用程序向用户建议虚拟环境以提供沉浸式体验。在已建立的应用中，用户对虚拟环境的影响仅限于有意识地输入指令，例如通过按下一个或多个按钮。这些输入指令可以降低沉浸式体验的强度。
因此，可能需要提供用户虚拟环境的非侵入性自适应的概念。
图1示出示意性地示出用于非侵入性地调整虚拟环境的方法100的流程图。方法100包括感测110感知虚拟环境的用户的身体活动，以及基于感测到的身体活动确定120用户的情感状态。此外，方法100包括使用用户的情感状态作为用户的非侵入性输入来调节130虚拟环境，以增加和/或不破坏用户对虚拟环境的沉浸式体验。
以这种方式，用户对虚拟环境的影响不仅仅取决于于输入指令/命令(例如，键命令)，而是至少部分取决于用户的情感状态。这可以让用户感觉到虚拟环境以与现实世界相似的方式动作和反应。
换句话说，由于用户对虚拟环境的影响可能感觉到自然和非侵入性，上述方法可以使虚拟环境的体验显得逼真。该方法还可以允许定制的动态游戏玩法，该定制的动态游戏玩法比仅将用户的动作或指令作为输入时看起来更自然。
上述方法还使得不能以文本或键命令的形式提供特定输入的用户能够与虚拟环境交互。因此，例如，残疾人、儿童或文盲可以通过他们的情感状态与虚拟环境互动。
在下面，应该参考方法100的一些技术实现来更详细地说明方法100。因此，结合技术实现所述的特征应被理解为可类似地应用于该过程的特征。
图2a示出了适于执行上述方法100的系统的实施方式。
该系统包括多个传感器210-1、210-2和210-3，这些传感器被配置为感测感知屏幕230上显示的虚拟环境的用户250的身体活动。屏幕230例如是移动电话(例如，智能手机)、计算机监视器或电视(TV)屏幕、向用户250提供虚拟环境的头戴式显示器(hmd)的显示器。
传感器210-1例如是被配置为提供用户250的图像的摄像头，传感器210-2可以是用于记录用户250的身体功能(例如，出汗/出汗)或重要功能(例如，心率、血压)的身体传感器，传感器210-3是用于记录来自用户250的诸如言语或惊呼之类的噪声的微型电话。
传感器210-2例如是在用户250的可穿戴或视频游戏控制器中实现的心率监视器。
传感器210-1、210-2和210-3连接到系统的数据处理电路220，以用户的身体功能、生命功能和来自用户250的噪声的图像和记录的形式向数据处理电路220提供用户的身体活动。
传感器210-1、210-2和210-3可以有线或无线耦合到数据处理电路220。
数据处理电路220可以基于感测到的身体活动来确定用户250的情感状态，以便使用用户的情感状态作为用户250的非侵入性输入来调整虚拟环境，以增加和/或不破坏用户对虚拟环境的沉浸式体验。
为此目的，数据处理电路220可以使用例如面部和/或手势识别从用户250的图像确定情感状态。为此，数据处理电路220可以运行用于面部和/或手势识别的计算机程序。
监测或跟踪身体活动可以提供对情感状态的实时评估，允许对虚拟环境进行实时调整。
该系统可以安装/实现在游戏控制台、移动电话(例如，智能电话)、平板电脑、多媒体系统、头戴式显示器(hmd)或电视中。因此，数据处理电路220可以被配置为这样的游戏控制台的处理器，其可以计算地生成、控制和修改/调整虚拟环境。
或者，数据处理电路220可以是与用于生成、控制和修改/调整虚拟环境的处理器分离的辅助处理器。
如图2b中可见，显示在屏幕230上的虚拟环境例如包括一个或多个非玩家角色(NPC)260-1和260-2，其可以与被虚拟环境围绕的用户250或其化身252交互。化身252可以理解为用户250的(虚拟)视觉表示。
为了保持或保持用户250的沉浸式体验，NPC 260-1和260-2可以根据用户250的情绪状态与化身252进行不同的交互。例如，如果用户250平静，NPC 260-1和/或260-2可以友好地动作。否则，如果用户250例如心烦意乱，则NPC 260-1和260-2可以粗鲁或不尊重地动作。
这样，用户250对NPC 260-1和260-2的影响感觉比用户250通过侵入性输入指令与NPC 260-1和260-2的交互更真实。因此，用户250的这种影响方式可以保持沉浸式体验。例如，NPC 260-1和260-2可以是视频游戏中用户250的虚拟对手。
在视频游戏中，虚拟环境会受到视频游戏的游戏玩法的影响。在此上下文中，游戏玩法例如指用户250与视频游戏交互的特定方式，反之亦然。游戏玩法也可以理解为通过游戏规则、用户250和视频游戏之间的连接、挑战和克服它们、情节以及用户与它的连接限定的模式。
因此，游戏玩法例如限定用户250如何与虚拟环境的对象交互。因此，在视频游戏中，数据处理电路220可以通过调整视频游戏的游戏玩法来调整虚拟环境220。
该游戏还可以指定非玩家角色260-1和260-2的外观。因此，虚拟环境的调整还可以包括NPC 260-1和260-2的外观的调整。
在本公开的上下文中，NPC 260-1和260-2的外观可指NPC 260-1和260-2的视觉表示或外观，还可指NPC 260-1和260-2可能出现的数量或频率。因此，为了基于用户250的情感状态来调整虚拟环境，数据处理电路220例如改变NPC 260-1和260-2的外观或它们出现的频率。
该系统还可以检查NPC 260-1和260-2对用户情感状态的影响，以专门针对用户情感状态调整NPC 260-1和260-2的外观。例如，该系统检测NPC 260-1的出现使用户250高兴，而NPC 260-2的出现使用户250受惊吓。随后，数据处理电路220可以使NPC 260-1比以前更频繁地出现，以使用户250高兴。出于相同的目的，数据处理电路220可以改变NPC 260-2的外观以降低其对用户250的惊吓效果。
该游戏玩法可以进一步指定视频游戏的难度等级。难度等级可以指用户250克服视频游戏的挑战或任务的难度。数据处理电路220还可以基于用户的情感状态来调整视频游戏的难度等级。
例如，由于当前难度等级太高，用户250可能无法克服视频游戏的一个或多个挑战，因此，用户250可能会受挫。一旦系统检测到用户250的挫败感，数据处理电路220例如可以降低视频游戏的难度等级以减少用户的挫败感。反之亦然，如果系统检测到用户250在玩视频游戏时感到无聊，则数据处理电路220可以提高难度等级。
图2c示出了虚拟环境在远程用户250-1和250-2之间提供电子通信的场景。在该上下文中，虚拟环境可以理解为用户250-1和250-2的(图形)用户界面，其能够进行电子通信。电子通信的选项可以允许文本通信270-1、语音通信270-2和/或视频/可视通信270-3。
例如，用户250-1和250-2通过单独的互连设备进行通信，这些设备配备有包括摄像头210-la或210-lb、数据处理电路220-1或220-2和屏幕230-1或230-2的前述系统的实施方式。
数据处理电路220-1和220-2中的每一个可以分别从分别由(第一)相机210-1a和(第二)相机210-1b记录的图像确定(第一)用户250-1和(第二)用户250-2的情感状态。以这种方式，该设备可以确定电子通信对用户250-1和250-2的影响，以便通过调整电子通信的选项270-1、270-2和270-3来调整用户250-1和250-2的虚拟环境。
例如，在图2c中，第二用户的设备检测到第二用户250-2由于与第一用户250-1的电子通信而烦恼。因此，用户250-1和250-2之间的电子通信可能被限制为文本通信270-1，而语音通信270-2和视频/可视通信270-3被禁止。
对虚拟环境的调整也可以强化用户的情感状态。这可能会导致不必要的反馈循环，如“恐惧强制反馈循环”或成瘾效应。
为了抵消这一点，该系统还可以用于通过跟踪用户情感状态来检测用户情绪状态的强化，并基于用户情感状态的跟踪来调整虚拟环境以减少用户情感状态的强化。
在一些游戏控制台中，例如，如果系统检测到用户情感状态在预限定的一段时间内增强，则系统关闭游戏控制台。
以下示例涉及进一步的实施例：
(1)一种用于非侵入性调整虚拟环境的方法，包括：
感测感知所述虚拟环境的用户的身体活动；
基于感测到的身体活动确定用户的情感状态；以及
使用用户的情感状态作为用户的非侵入性输入来调整虚拟环境，以增加和/或不破坏用户对虚拟环境的沉浸式体验。
(2)如(1)所述的方法，
其中，所述虚拟环境围绕所述用户的视觉表示；以及
其中，所述方法进一步包括基于用户的情感状态来调整用户的视觉表示。
(3)如(1)或(2)所述的方法，其中，所述用户的身体活动包括由用户产生的运动、身体功能、面部表情和声音中的至少一者。
(4)如(1)至(3)中任一项所述的方法，
其中，所述虚拟环境受视频游戏的游戏玩法影响；以及
其中，调整虚拟环境包括调整游戏玩法。
(5)如(4)所述的方法，
其中，所述游戏玩法指定所述视频游戏的一个或多个非玩家角色(NPC)的外观；以及
其中，调整游戏玩法包括基于用户的情感状态来调整一个或多个NPC的外观。
(6)如(4)或(5)所述的方法，
其中，所述游戏玩法指定所述视频游戏的难度等级；以及
其中，调整所述游戏玩法包括基于所述用户的情感状态来适配所述视频游戏的难度等级。
(7)如(1)至(6)中任一项所述的方法，
其中，所述虚拟环境提供所述用户与一个或多个远程用户之间的电子通信；以及
其中，调整所述虚拟环境包括改变在所述用户与所述一个或多个远程用户之间的所述电子通信的选项。
(8)如(1)至(7)中任一项所述的方法，其中，所述虚拟环境包括虚拟现实、增强现实或混合现实。
(9)如(1)至(8)中任一项所述的方法，进一步包括：
通过跟踪用户的情感状态来检测用户情感状态的强化；以及
基于对用户情感状态的跟踪来调整虚拟环境，以减少对用户情绪状态的强化。
(10)一种包括指令的计算机程序，当计算机程序由处理器执行时，使得处理器执行(1)至(9)中任一项的方法。
(11)一种用于非侵入性地调整虚拟环境的系统，该系统包括：
一个或多个传感器，被配置为感测感知虚拟环境的用户的身体活动；以及
数据处理电路，被配置为：基于感测到的身体活动确定用户的情感状态；以及
使用用户的情感状态作为由用户的非侵入性输入来调整虚拟环境，以增加和/或不破坏用户对虚拟环境的沉浸式体验。
(12)如(11)所述的系统，
其中，所述传感器包括摄像头，所述摄像头被配置为提供反映所述用户的身体活动的一个或多个图像；以及
其中，所述数据处理电路被配置为基于所述用户的图像来确定所述用户的情感状态。
(13)如(11)或(12)所述的系统，
其中，所述传感器被配置为感测所述用户的心率、血压、瞳孔大小和/或出汗中的至少一者；以及
其中，所述数据处理电路被配置为基于所述用户的心率、血压、瞳孔大小和出汗中的一者来确定所述用户的情感状态。
(14)一种游戏控制台，被配置为生成虚拟环境，其中，所述游戏控制器包括(11)至(13)中任一项的系统，用于使用感知虚拟环境的用户的情感状态作为所述用户的非侵入性输入来调整所述虚拟环境，以增加和/或不破坏所述用户对所述虚拟环境的沉浸式体验。
与一个或多个先前详细的示例和附图一起提及和描述的方面和特征还可以与一个或多个其他示例相结合，以便替换另一个示例的类似特征或为了将该特征附加地引入另一个示例。
示例还可以是或涉及具有用于在计算机或处理器上执行计算机程序时执行上述方法中的一个或多个的程序代码的计算机程序。各种上述方法的步骤、操作或过程可以由编程计算机或处理器形成。示例还可以包括程序存储设备，例如数字数据存储介质，其是机器、处理器或计算机可读的，并对指令的机器可执行、处理器可执行或计算机可执行程序进行编码。所述指令执行或导致执行上述方法的一些或全部动作。程序存储设备可以包括或为例如数字存储器、诸如磁盘和磁带的磁存储介质、硬盘驱动器或光学可读数字数据存储介质。另外的示例还可能涵盖编程为执行上述方法的计算机、处理器或控制单元，或(场)可编程逻辑阵列((F)PLA)或(场)可编程门阵列((F)PGA)，被编程以执行上述方法的操作。
描述和附图仅说明本公开的原理。此外，这里所述的所有示例主要是明确地仅用于说明性目的，以帮助读者理解本发明的原理和发明人提出的概念，从而进一步推进本领域。在此背诵本公开的原理、方面和示例的所有陈述及其具体示例旨在包括其等同物。
表示为执行某一功能的“用于...的装置”的功能块可以指被配置为执行某一功能的电路。因此，“用于一些事物(s.th)的装置”可以被实现为“被配置为或适合于一些事物的装置”，例如被设计为或适合于各自任务的设备或电路。
图中所示的各种元件的功能，包括标记为“装置”、“用于提供信号的装置”、“用于产生信号的装置”等的任何功能块，可以以专用硬件的形式实现例如“信号提供器”、“信号处理单元”、“处理器”、“控制器”等，以及能够执行与适当软件相关联的软件的硬件。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独的处理器提供，其中一些或所有处理器可以共享。然而，术语“处理器”或“控制器”远不限于能执行软件的硬件，而是可以包括数字信号处理器(DSP)硬件、网络处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储器。也可以包括其他常规的和/或定制的硬件。
例如，框图可以示出实现本公开的原理的高级电路图。类似地，将认识到，任何流程图、流程附图、状态转变图、伪代码等可以表示各种过程、操作或步骤，例如，这些过程、操作和步骤可以基本上在计算机可读介质中表示，并由计算机或处理器执行，无论是否明显地示出了此类计算机或处理器。本说明书或权利要求书中公开的方法可以通过具有用于执行这些方法的各个动作中的每个动作的装置的设备来实现。
应理解，说明书或权利要求书中公开的多个动作、过程、操作、步骤或功能的公开可不被解释为在特定顺序内，除非明确或隐含地另有说明，例如出于技术原因。因此，披露多个动作或功能不会将这些动作或功能限制在一个特定的顺序上，除非这些动作或功能由于技术原因不能互换。此外，在一些例子中，单个动作、功能、过程、操作或步骤可以包括或可以分别分解为多个子-动作、子-功能、子-过程、子-操作或子-步骤。除非明确排除，否则这些子动作可以包括在本单一动作的披露中，并成为披露的一部分。
此外，下面的权利要求在此被合并到详细描述中，其中每个权利要求可以单独作为单独的示例。虽然每个权利要求可以单独作为一个单独的示例，但应当注意，尽管从属权利要求在权利要求中可以指与一个或多个其他权利要求的特定组合，但其他示例也可以包括从属权利要求与彼此附属或独立的权利要求的主题的组合。这样的组合在此被明确提出，除非声明不打算进行特定的组合。此外，它还打算包括任何其他独立权利要求的权利要求的特征，即使该权利要求并不直接依赖于独立权利要求。

Claims (14)

1.一种用于非侵入性地调整虚拟环境的方法，所述方法包括：
感测感知所述虚拟环境的用户的身体活动；
基于感测到的身体活动确定所述用户的情感状态；以及
使用所述用户的情感状态作为所述用户的非侵入性输入来调整所述虚拟环境，以增加和/或不破坏所述用户对所述虚拟环境的沉浸式体验。
2.根据权利要求1所述的方法，
其中，所述虚拟环境围绕所述用户的视觉表示；以及
其中，所述方法进一步包括基于所述用户的情感状态来调整所述用户的视觉表示。
3.根据权利要求1所述的方法，其中，所述用户的身体活动包括由所述用户产生的运动、身体功能、面部表情和声音中的至少一者。
4.根据权利要求1所述的方法，
其中，所述虚拟环境受视频游戏的游戏玩法影响；以及
其中，调整所述虚拟环境包括调整所述游戏玩法。
5.根据权利要求4所述的方法，
其中，所述游戏玩法指定所述视频游戏的一个或多个非玩家角色(NPC)的外观；以及
其中，调整所述游戏玩法包括基于所述用户的情感状态来调整一个或多个NPC的外观。
6.根据权利要求4所述的方法，
其中，所述游戏玩法指定所述视频游戏的难度等级；以及
其中，调整所述游戏玩法包括基于所述用户的情感状态来适配所述视频游戏的难度等级。
7.根据权利要求1所述的方法，
其中，所述虚拟环境提供所述用户与一个或多个远程用户之间的电子通信；以及
其中，调整所述虚拟环境包括改变所述用户与所述一个或多个远程用户之间的所述电子通信的选项。
8.根据权利要求1所述的方法，其中，所述虚拟环境包括虚拟现实、增强现实或混合现实。
9.根据权利要求1所述的方法，所述方法进一步包括：
通过跟踪所述用户的情感状态来检测所述用户的情感状态的强化；以及
基于对所述用户的情感状态的跟踪来调整所述虚拟环境，以减少对所述用户的情感状态的强化。
10.一种包括指令的计算机程序，当所述计算机程序由处理器执行时，使得所述处理器执行权利要求1的方法。
11.一种用于非侵入性地调整虚拟环境的系统，所述系统包括：
一个或多个传感器，被配置为感测感知虚拟环境的用户的身体活动；以及
数据处理电路，被配置为：
基于所述感测到的身体活动确定所述用户的情感状态；以及
使用所述用户的情感状态作为所述用户的非侵入性输入来调整所述虚拟环境，以增加和/或不破坏所述用户对所述虚拟环境的沉浸式体验。
12.根据权利要求11所述的系统，
其中，所述传感器包括摄像头，所述摄像头被配置为提供反映所述用户的身体活动的一个或多个图像；以及
其中，所述数据处理电路被配置为基于所述用户的图像来确定所述用户的情感状态。
13.根据权利要求11所述的系统，
其中，所述传感器被配置为感测所述用户的心率、血压、瞳孔大小和/或出汗中的至少一者；以及
其中，所述数据处理电路被配置为基于所述用户的心率、血压、瞳孔大小和出汗中的一者来确定所述用户的情感状态。
14.一种游戏控制台，被配置为生成虚拟环境，其中，所述游戏控制台包括根据权利要求11所述的系统，用于使用感知所述虚拟环境的用户的情感状态作为所述用户的非侵入性输入来调整所述虚拟环境，以增加和/或不破坏所述用户对所述虚拟环境的沉浸式体验。
CN202180020787.6A 2020-03-20 2021-03-05 用于调整虚拟环境的系统、游戏控制台和方法 Pending CN115279466A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20164559 2020-03-20
EP20164559.5 2020-03-20
PCT/EP2021/055584 WO2021185600A1 (en) 2020-03-20 2021-03-05 System, game console and method for adjusting a virtual environment

Publications (1)

Publication Number Publication Date
CN115279466A true CN115279466A (zh) 2022-11-01

Family

ID=70056797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180020787.6A Pending CN115279466A (zh) 2020-03-20 2021-03-05 用于调整虚拟环境的系统、游戏控制台和方法

Country Status (3)

Country Link
US (1) US20230053767A1 (zh)
CN (1) CN115279466A (zh)
WO (1) WO2021185600A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114608151A (zh) * 2022-02-16 2022-06-10 青岛海尔空调器有限总公司 用于控制空调器的方法及装置、空调器、存储介质
US20240091650A1 (en) * 2022-09-20 2024-03-21 Sony Interactive Entertainment Inc. Systems and methods for modifying user sentiment for playing a game
GB2623349A (en) * 2022-10-13 2024-04-17 Sony Interactive Entertainment Inc Affective gaming system and method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8390680B2 (en) * 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US9872968B2 (en) * 2013-04-17 2018-01-23 Sri International Biofeedback virtual reality sleep assistant

Also Published As

Publication number Publication date
WO2021185600A1 (en) 2021-09-23
US20230053767A1 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
US10636217B2 (en) Integration of tracked facial features for VR users in virtual reality environments
JP6700463B2 (ja) ヘッドマウントディスプレイ上の視覚的作用を制限するためのフィルタリング及びペアレンタルコントロール法
CN115279466A (zh) 用于调整虚拟环境的系统、游戏控制台和方法
US11030788B2 (en) Virtual reality presentation of body postures of avatars
US11100694B2 (en) Virtual reality presentation of eye movement and eye contact
US8766983B2 (en) Methods and systems for processing an interchange of real time effects during video communication
KR100985694B1 (ko) 컴퓨터 상호 작용 프로세싱과 관련된 선택적 음원 청취
KR101576294B1 (ko) 가상 현실 시스템에서 사운드 처리를 수행하기 위한 장치 및 방법
JP6775557B2 (ja) 動画配信システム、動画配信方法、及び動画配信プログラム
US20020109719A1 (en) Information processing device and method, and recording medium
KR101640043B1 (ko) 가상 세계 처리 장치 및 방법
JP2020202575A (ja) 動画配信システム、動画配信方法、及び動画配信プログラム
US20230199420A1 (en) Real-world room acoustics, and rendering virtual objects into a room that produce virtual acoustics based on real world objects in the room
JP7131542B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP3814661B2 (ja) ゲームプログラム及びゲーム装置
KR102389686B1 (ko) 혼합 현실(mixed reality, MR) 컨텐츠 상호 간의 전환을 위한 장치 및 방법
EP4335531A1 (en) Systems and methods of protecting personal space in multi-user virtual environment
Wennerberg Auditory immersion and the believability of a first-person perspective in computer games: Do players have a preference between mono and stereo foley, and is one perceived as more believable?
JP2023522581A (ja) ビデオゲームにおけるキャラクタ同士のインタラクション
JP2023061315A (ja) 出力制御装置、出力制御方法及び出力制御システム
CN111167115A (zh) 交互式游戏系统
KR20190031723A (ko) 격투 로봇 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination